这是我的第214篇原创文章。

一、引言

对于表格数据，一套完整的机器学习建模流程如下：

针对不同的数据集，有些步骤不适用即不需要做，其中橘红色框为必要步骤，由于数据质量较高，本文有些步骤跳过了，跳过的步骤将单独出文章总结！同时欢迎大家关注翻看我之前的一些相关文章。

AdaBoost（Adaptive Boosting）是一种集成学习算法，用于构建强大的分类器。它通过组合多个弱分类器（通常是决策树）来构建一个强分类器。每个弱分类器都在前一个分类器的错误样本上进行训练，以便更好地对这些错误样本进行分类。

AdaBoost的基本思想是对训练样本进行加权，将权重较大的样本放在优先训练的位置，从而使得分类器能够更关注分类错误的样本。在每个训练迭代中，AdaBoost根据前一个分类器的性能调整样本的权重，使得下一个分类器更关注分类错误的样本。最终，所有弱分类器的结果会被加权组合，形成最终的强分类器。

AdaBoost的一个关键优点是它能够处理高维度的数据和复杂的分类任务。它在实践中表现出色，并且具有较高的准确性。然而，AdaBoost也对噪声和异常值敏感，因此在使用时需要注意数据质量和异常值的处理。

本文利用scikit-learn（一个常用的机器学习库）实现了基于心脏疾病数据集建立AdaBoost模型对心脏疾病患者进行分类预测的完整过程。

二、实现过程

1、准备数据

data = pd.read_csv(r'Dataset.csv')
df = pd.DataFrame(data)

df：

数据基本信息：

print(df.head())
print(df.info())
print(df.shape)
print(df.columns)
print(df.dtypes)
cat_cols = [col for col in df.columns if df[col].dtype == "object"] # 类别型变量名
num_cols = [col for col in df.columns if df[col].dtype != "object"] # 数值型变量名

2、提取特征变量和目标变量

target = 'target'
features = df.columns.drop(target)
print(data["target"].value_counts()) # 顺便查看一下样本是否平衡

3、数据集划分

# df = shuffle(df)
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)

4、归一化

# 归一化
mm1 = MinMaxScaler()   # 特征进行归一化
X_train_m = mm1.fit_transform(X_train)
mm2 = MinMaxScaler()     # 标签进行归一化
y_train_m = mm2.fit_transform(y_train)

5、模型的构建与训练

# 模型的构建与训练
model = AdaBoostClassifier(n_estimators=100, random_state=0)
model.fit(X_train_m, y_train_m)

AdaBoostClassifier：

class sklearn.ensemble.AdaBoostClassifier(base_estimator=None, n_estimators=50, 
                    learning_rate=1.0, algorithm=’SAMME.R’, 
                    random_state=None)

参数解读：

• base_estimator：可选参数，默认为DecisionTreeClassifier。理论上可以选择任何一个分类或者回归学习器，不过需要支持样本权重。
• algorithm：可选参数，默认为SAMME.R。scikit-learn实现了两种Adaboost分类算法，SAMME和SAMME.R。两者的主要区别是弱学习器权重的度量，SAMME使用对样本集分类效果作为弱学习器权重，而SAMME.R使用了对样本集分类的预测概率大小来作为弱学习器权重。
• n_estimators：整数型，可选参数，默认为50。弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是50。
• learning_rate：浮点型，可选参数，默认为1.0。每个弱学习器的权重缩减系数，取值范围为0到1。
• random_state：整数型，可选参数，默认为None。如果RandomState的实例，random_state是随机数生成器; 如果None，则随机数生成器是由np.random使用的RandomState实例。

6、模型的推理与评价

# 模型推理与评价
# 对测试集特征进行相同规则mm1的归一化处理，然后输入到模型进行预测
X_test_m = mm1.transform(X_test) #注意fit_transform() 和 transform()的区别
y_pred_m = model.predict(X_test_m)
y_scores = model.predict_proba(X_test_m)
y_pred = mm2.inverse_transform(np.reshape(y_pred_m, (-1, 1)))


acc = accuracy_score(y_test, y_pred) # 准确率acc
cm = confusion_matrix(y_test, y_pred) # 混淆矩阵
cr = classification_report(y_test, y_pred) # 分类报告
fpr, tpr, thresholds = roc_curve(y_test, y_scores[:, 1], pos_label=1) # 计算ROC曲线和AUC值,绘制ROC曲线
roc_auc = auc(fpr, tpr)
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

cm：

cr:

ROC：

作者简介：

读研期间发表6篇SCI数据算法相关论文，目前在某研究院从事数据算法相关研究工作，结合自身科研实践经历不定期持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。

原文链接：

【Python机器学习系列】建立AdaBoost模型预测心脏疾病（完整实现过程）