前言

在进行数据分析之前，很多统计理论，机器学习理论都是有一系列假设，在基本假设满足的情况下，利用既有的理论分析得出的结论才可靠。有的特征数据由于数据源量纲不同，使得样本特征不具有可比性，或者对目标函数影响权重不同。例如：回归分析中，要假设数据满足“正态性”......，PCA，样本相似性，量纲差异，异常数据影响，特征变异的影响.......。然而，数据源不一定就直接满足分析理论所需要的前提条件，这个时候就需要对数据进行预处理，使得待分析源数据经过变换处理后，满足后续进一步分析的要求。

sklearn.preprocessing是sklearn库中非常重要的一个module，集成了很多预处理数据的方法， 下面对常用的几个数据预处理方法进行解释说明和演示。

总体来说，"标准化"和"归一化""正则化"这两个中文词要指代特征缩放方法（Feature scaling）。

本篇先和大家介绍和分析两类四种标准化处理方法。

from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import minmax_scale

from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import scale

from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import normalize

1.标准化：minmax_scale函数与MinMaxScaler类

1.1将特征缩放至特定范围内：minmax_scale函数

函数：minmax_scale(X, feature_range=(0, 1), axis=0, copy=True)

作用：将样本的每个特征向量缩放到给定的范围，默认范围为[0,1]。这个估计器会独立地对每个特征向量，在训练集的给定范围内feature_range，进行缩放和转换。不改变分布。

模型：当'axis=0'时，按列进行转换，当'axis=1'时按行转换。

X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))

X_scaled = X_std (max - min) + min

其中：min, max = feature_range

这个变换经常被用来代替零均值，单位方差缩放，即z-score转换，也即scale方法转换。该方法与MinMaxScaler类计算结果等效，只是没有转换器API。

1.2示例

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])
X_train_minmax = minmax_scale(X_train)
X_train_minmax

1.3.将特征缩放至特定范围内：MinMaxScaler类

将特征缩放到给定的最小值和最大值之间，通常在0和1之间，也可以使用 MinMaxScaler类实现。使用这种缩放的目的是实现特征极小方差的鲁棒性以及在稀疏矩阵中保留零元素。其算法同scale函数的计算方法，与minmax_scale函数处理等效，结果一致。

1.4示例

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])
min_max_scaler = MinMaxScaler(feature_range=(0, 1))
min_max_scaler.fit(X_train)
X_train_minmax = min_max_scaler.fit_transform(X_train)
# 使用该转换器的API进行转换
min_max_scaler.transform(X_train)

2.标准化：scale函数与StandardScaler类

2.1标准化z-score方法1：scale函数

scale函数为数组形状的数据集标准化提供了一个快捷实现。

默认axis=0，经过缩放后的特征列数据具有0均值以及1标准方差。

算法：z = (x - u) / s ，其中：u，为样本均值；s，为样本标准差。

2.2示例

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])
X_scaled = scale(X_train)

2.3标准化z-score方法2：StandardScaler类

preprocessing模块还提供了一个实用类StandardScaler，它实现了转换器的API来计算训练集上的平均值和标准偏差， 以便以后能够在测试集上重新应用相同的变换。

算法：通过去除均值和方差来标准化特征，算法与scale函数算法一样。

z = (x - u) / s ，其中：u为样本均值；s为样本标准差。

2.4示例

scaler = StandardScaler().fit(X_train)
scaler.fit_transform(X_train)
# 直接使用训练器转换数据,得到转换后的数据
scaler.transform(X_train)  
# 缩放类对象可以在新的数据上实现和训练集相同缩放操作:
X_test = [[-1., 1., 0.]]
scaler.transform(X_test)

从上面的计算可以看出：scale方法与StandardScaler类对特征数据处理的算法是一样的，结果是一样的。

当不想创建对象时，可以使用minmax_scale函数。

如果数据包含许多异常值，使用均值和方差缩放可能并不是一个很好的选择。

这种情况下，你可以使用 robust_scale函数 以及 RobustScaler 类作为替代品，感兴趣的可以自己尝试一下。它们对数据的中心和范围使用更有鲁棒性的估计。

3.数据标准化转换前后分布的变化

为了更好的演示数据转换前后的变化，在此使用“fetch_california_housing”数据集来演示数据经过标准化处理后分布的变化情况。

3.1原始数据

from sklearn.datasets import fetch_california_housing
dataset = fetch_california_housing()
X_full, y_full = dataset.data, dataset.target
# Take only 2 features to make visualization easier
# Feature of 0 has a long tail distribution.
# Feature 5 has a few but very large outliers.
X = X_full[:, [0, 5]]

3.2原始数据分布可视化

# # 数据预处理前后比较
import numpy as np
import seaborn as sns
sns.set_style(style="ticks")
# 原始数据
f = sns.jointplot(x=X[:,0], y=X[:,1], kind="hex", color="#4CB391")
f.set_axis_labels("Median Income", "Number of households")
f.fig

# 对原始数据的异常值进行处理
percentile_range = (0, 99)
cutoffs_X0 = np.percentile(X[:, 0], percentile_range)
cutoffs_X1 = np.percentile(X[:, 1], percentile_range)
# 根据计算得到的百分位的值来筛选数据
non_outliers_mask = (
np.all(X > [cutoffs_X0[0], cutoffs_X1[0]], axis=1) &
np.all(X < [cutoffs_X0[1], cutoffs_X1[1]], axis=1))
X_cuted = X[non_outliers_mask]
f = sns.jointplot(x=X_cuted[:,0], y=X_cuted[:,1], kind="hex", color="#4CB391")
f.set_axis_labels("Median Income", "Number of households")
f.fig

3.3scale函数处理后可视化

# 进过标准化scale函数处理
X_scale = scale(X)
# 处理后直接显示
f = sns.jointplot(x=X_scale[:,0], y=X_scale[:,1], kind="hex", color="#4CB391")
f.set_axis_labels("Median Income", "Number of households")
f.fig

# 对scale函数转换后的数据进行筛选，排除异常值
percentile_range = (0, 99)
cutoffs_X0 = np.percentile(X_scale[:, 0], percentile_range)
cutoffs_X1 = np.percentile(X_scale[:, 1], percentile_range)
non_outliers_mask = (
np.all(X_scale > [cutoffs_X0[0], cutoffs_X1[0]], axis=1) &
np.all(X_scale < [cutoffs_X0[1], cutoffs_X1[1]], axis=1))
X_cuted = X[non_outliers_mask]
# 筛选后显示
f = sns.jointplot(x=X_cuted[:,0], y=X_cuted[:,1], kind="hex", color="#4CB391")
f.set_axis_labels("Median Income", "Number of households")
f.fig

3.4同理可以对minmax_scale函数对数据的转换前后进行可视化

4结论

这两类四种标准化数据处理方法不会改变数据的分布，能够消除特征向量不同量纲的影响，处理后数据可比。受异常值影响大，“物理上”排除异常值后能“识得庐山真面目”。达到了后续进一步分析所需的数据假设前提要求。

感兴趣的，可以关注我的该微信公众号：曾老师会计与统计。

或者关注我的今日头条公众号：曾老师财务数据Hub 。