用Python进行机器学习(11)-主成分分析PCA

我们在机器学习中有时候需要处理很多个参数，但是这些参数有时候彼此之间是有着各种关系的，这个时候我们就会想：是否可以找到一种方式来降低参数的个数呢？这就是今天我们要介绍的主成分分析，英文是Principal Component Analysis，通常简写为PCA，PCA通过线性变换把高维数据投影到低维空间，同时会保留数据的主要特征，这也就是主成分的意思。

听上去有点抽象，让我们来举一个具体的例子，比如我们统计了人的好几个特征，其中就包括人的身高和手臂的长度，因为通常来说人的身高越高手臂的长度也就越长，那么是否这两个特征就可以合并成一个特征呢？注意，这里是把两个特征合并为一个新的特征，不是只使用其中的一个特征。

来看一组具体的数据吧，比如我的数据（x，y)的格式包括（1，2.1）、（2，4.3）、（3，6.5）、（4，8.9）、（5，10.9）这么五条数据，我们可以发现每个括号里的x和y大体上符合y是x的2.2倍，那么我们应该就可以对x和y合成一个新的特征。

这里直接来看一下具体的代码范例吧，还是老规矩使用了sklearn这个代码库：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# 随机种子
np.random.seed(42)

# 创建示例数据 
mean = [0, 0] # 平均值
cov = [[1, 0.8], [0.8, 1]]  # 协方差
X = np.random.multivariate_normal(mean, cov, 100)

# 数据标准化（PCA通常需要先标准化）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 原始数据可视化
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
plt.scatter(X_scaled[:, 0], X_scaled[:, 1], alpha=0.7)
plt.title('Original 2D Data')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.axhline(y=0, color='gray', linestyle='--')
plt.axvline(x=0, color='gray', linestyle='--')
plt.grid(True)

# 应用PCA降为1维
pca = PCA(n_components=1)
X_pca = pca.fit_transform(X_scaled)

# 将1维数据反向投影回2维空间以便可视化
X_reconstructed = pca.inverse_transform(X_pca)

# 可视化降维结果
plt.subplot(1, 2, 2)
# 绘制原始数据点
plt.scatter(X_scaled[:, 0], X_scaled[:, 1], alpha=0.3, label='Original Data')
# 绘制降维后的投影点
plt.scatter(X_reconstructed[:, 0], X_reconstructed[:, 1], alpha=0.7, color='red', label='PCA Projection')
# 绘制主成分方向
plt.quiver(0, 0, pca.components_[0, 0], pca.components_[0, 1], 
           color='green', scale=3, label='Principal Component')
plt.title('PCA: 2D → 1D')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.legend()
plt.axhline(y=0, color='gray', linestyle='--')
plt.axvline(x=0, color='gray', linestyle='--')
plt.grid(True)

plt.tight_layout()
plt.show()

# 打印PCA信息
print("主成分方向:", pca.components_[0])
print("解释方差比例:", pca.explained_variance_ratio_[0])

使用PCA的话倒是比较简单，直接实例化一个PCA类的实例，然后调用它的fit_transform方法即可，然后这里需要注意的就是我们使用了inverse_transform来进行升维，这样可以比较方便的和原来的数据做对比。

这里来看一下原始数据的可视化内容，如下：

然后是用PCA做了主成分分析后的数据，如下：

这里的关键要说明的内容就是，我们可以用这串红色的点来近似的代替原来的蓝色的点，而这个红色的点可以理解为蓝色的点在这条线上的投影。我们再看一下控制台的输出吧，如下所示：

我们这里是演示了一个从二维数据向一维数据进行压缩的例子，当然在实际场景中可能会把维数更高的数据压成二维的数据，这样可以方便我们对数据的可视化。