用Python进行机器学习(2)之逻辑回归

前面介绍了线性回归，本次介绍的是逻辑回归。逻辑回归虽然名字里面带有“回归”两个字，但是它是一种分类算法，通常用于解决二分类问题，比如某个邮件是否是广告邮件，比如某个评价是否为正向的评价。逻辑回归也可以用于解决多分类问题，其基本思路就是把多分类拆解为多个二分类问题。

我们首先来看一下如何制造分类数据，这里我们使用sklearn的make_classification方法，代码如下所示：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification

# 生成数据集
X, y = make_classification(
    n_samples=300,  # 样本数量
    n_features=2,  # 特征数量
    n_informative=2,  # 有效特征数量
    n_redundant=0,  # 冗余特征数量
    n_classes=3,  # 类别数量
    n_clusters_per_class=1,  # 每个类别中的簇数量
    random_state=42
)

# 可视化数据集
plt.figure(figsize=(10, 6))
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='viridis', edgecolor='k', s=50)
plt.title(' make_classification dataset')
plt.xlabel('feature 1')
plt.ylabel('feature 2')
plt.colorbar(label='class')
plt.grid(True)
plt.show()

由于make_classification的核心参数都给了注释，所以就不再解释了，其效果就是产生了300个样本，并且分成三类，来看一下效果图吧：

这里的切分方式还是通过直线的方式把它们切分开，仔细看一下上面的图就可以看到黄色的和紫色的样本之间可以画一条线大致分隔开，而紫色的蓝色的样本之间也可以大致画一条线分开，所以逻辑回归本质上还是借助了前面的线性回归。

要实现一个逻辑回归其实还是蛮简单的，我们只需要新建一个LogisticRegression类的实例，然后调用它的fit方法来训练数据就可以了，这里我们可以通过predict方法来根据我们训练的模型来预测一下数据，我们可以通过模型预测的数据和实际数据是否一致来得到准确率，然后输出出来，整体代码如下所示：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# 生成二分类数据集
X, y = make_classification(
    n_samples=200, # 样本数量
    n_features=2, # 特征数量
    n_informative=2, # 信息特征数量
    n_redundant=0, # 冗余特征数量
    n_clusters_per_class=1, # 每个类别的簇数量
    random_state=42 # 随机种子
)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建并训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)
# 计算准确率
accuracy = np.mean(y_pred == y_test)
print(f"准确率是: {accuracy:.4f}")

# 可视化训练数据和决策边界
plt.figure(figsize=(10, 6))

# 绘制训练数据点
plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap='viridis', edgecolor='k', label='Training Data')

# 绘制决策边界
ax = plt.gca() # 获取当前的子图
xlim = ax.get_xlim() # 获取x轴的范围
ylim = ax.get_ylim() # 获取y轴的范围

# 创建网格来评估模型
# 在x轴上创建30个点
xx = np.linspace(xlim[0], xlim[1], 30) 
# 在y轴上创建30个点
yy = np.linspace(ylim[0], ylim[1], 30) 
# 创建网格
YY, XX = np.meshgrid(yy, xx) 
# 将网格展平并转置为2列的数组，每一行代表一个点的坐标
xy = np.vstack([XX.ravel(), YY.ravel()]).T 
# 计算每个点的决策函数值
Z = model.decision_function(xy).reshape(XX.shape) 

# 绘制决策边界和边界线
ax.contour(XX, YY, Z, colors='k', levels=[0], alpha=0.5, linestyles=['-'])

plt.title('Logistic Regression Decision Boundary')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.legend()
plt.show()

然后来看一下预测的准确率吧，如下所示：

可以看到准确率是87.5%，然后是数据的具体分布，可以看到紫色的样本和黄色的样本被一条斜线分割开来。不过和实际情况一样，这条线不能完全分隔开数据，可以看到在这条线两边还是有一些不属于当前类别的样本，如下所示：

在实际情况中，我们可以根据自己的诉求进行进一步的定制，对于基本的逻辑回归，就介绍到这里啦。