K-最近邻（KNN）是一种有监督的机器学习算法，可用于解决分类和回归问题。它基于一个非常简单的想法，数据点的值由它周围的数据点决定。考虑的数据点数量由k值确定。因此，k值是算法的核心。

KNN分类器根据多数表决原则确定数据点的类别。如果k设置为5，则检查5个最近点的类别。也可以根据多数类进行回归预测，同样，KNN回归取5个最近点的平均值。

在本文中，我们将研究k值对于分类任务的重要性。

使用Scikit learn的make_classification函数创建一个示例分类数据集。

import numpy as np
import pandas as pd

from sklearn.datasets import make_classification

X, y = make_classification(
     n_samples=1000,
     n_features=2, n_informative=2, n_redundant=0, n_classes=2,
     class_sep=0.8
)

数据集包含属于2个类的1000个样本。还可以创建数据点的散点图（即样本）。

import matplotlib.pyplot as plt

plt.figure(figsize=(12,8))
plt.scatter(X[:,0], X[:,1], c=y)

选择最优k值是建立一个合理、精确的knn模型的必要条件。

• 如果k值太低，则模型会变得过于具体，不能很好地泛化。它对噪音也很敏感。该模型在训练组上实现了很高的精度，但对于新的、以前看不到的数据点，该模型的预测能力较差。因此，我们很可能最终得到一个过拟合的模型。
• 如果k选择得太大，模型就会变得过于泛化，无法准确预测训练和测试集中的数据点。这种情况被称为欠拟合。

我们现在创建两个不同的knn模型，k值为1和50。然后创建预测的散点图，以查看差异。

第一步是将数据集拆分为测试子集。

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

第一个模型是k=1的knn模型。

from sklearn.neighbors import KNeighborsClassifier

knn1 = KNeighborsClassifier(n_neighbors=1)
knn1.fit(X_train, y_train)
predict1 = knn1.predict(X_test)

plt.figure(figsize=(12,8))
plt.title("KNN with k=1", fontsize=16)
plt.scatter(X_test[:,0], X_test[:,1], c=predict1)

只需将n_neighbors参数更改为50，就可以创建下一个模型。下面是这个模型在测试集上的预测。

你可以看到当k增加时，泛化是如何变化的。

我们需要的不是一个过于笼统或过于具体的模型。我们的目标是创建一个健壮和精确的模型。

过拟合模型（过于具体）对数据点值的细微变化很敏感。因此，在数据点发生微小变化后，预测可能会发生巨大变化。

欠拟合模型（过于通用）可能在训练和测试子集上都表现不佳。

不幸的是，没有一个找到最佳k值的解决方案。它取决于数据集的底层结构。然而，有一些工具可以帮助我们找到最佳k值。

GridSearchCV函数可用于创建、训练和评估具有不同超参数值的模型。k是knn算法中最重要的超参数。

我们将创建一个GridSearchCV对象来评估k值从1到20的20个不同knn模型的性能。参数值作为字典传递给param_grid parameter。

from sklearn.model_selection import GridSearchCV

knn = GridSearchCV(
     estimator = KNeighborsClassifier(),
     param_grid = {'n_neighbors': np.arange(1,21)},
     scoring='neg_log_loss',
     cv = 5
)

你可以使用scikit learn的任何评分标准。我使用了log丢失，这是分类任务中常用的度量。

我们现在可以将数据集调整到GridSearchCV对象。不需要分割训练和测试子集，因为应用了5倍交叉验证。

knn.fit(X, y)

我们得到每个k值的交叉验证的平均测试分数。

scores = pd.Series(abs(knn.cv_results_['mean_test_score']))
scores.index = np.arange(1,21)

我更喜欢将结果保存在Pandas系列中，以便能够轻松地绘制它们。画出分数。

scores.plot(figsize=(12,8))

plt.title("Log loss of knn with k vales from 1 to 20", fontsize=16)

在k值为10之后，测试集上的损失似乎没有多少改善。

结论

knn算法是一种应用广泛的算法。它简单易懂。由于它不作任何假设，所以也可以用来解决非线性问题。

消极的一面是，由于模型需要存储所有的数据点，因此随着数据点数量的增加，knn算法变得非常缓慢。由于这个原因，它也不具有内存效率。

最后，它对离群值很敏感，因为离群值在决策中也有投票权。

感谢你的阅读。