本文来自：python机器学习的开发流程_东木月的博客-CSDN博客

一、标准机器学习的开发编程流程:

1获取数据(爬虫,、数据加载、业务部门获取)

2数据建模(摘选样本数据(特征、目标)

3数据清洗(异常值检测和过滤)

4特征工程(归一化处理: 提高算法模型的精度),

归一化目的: 使得每种特征数据的量级(权重)保持大致-致,

归一化方法(常用) : 1.普通归一化处理 2.区归一化 处理 3.使用函数

5模型选择(分类、回归)

6模型评估(打分分类边界图。残差直方图)

7算法调优(调整模型对象的参数值)

8绘图

 cmd命令窗口输入：jupyter notebook  
打开浏览器输入网址http://localhost:8888/ 

二、预测年收入是否大于50K美元

1、导包 使用K-近邻算法模型

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

from pandas import DataFrame,Series

#创建K-近邻算法模型
from sklearn.neighbors import KNeighborsClassifier
#对模型进行数据集拆分训练评分
from sklearn.model_selection import train_test_split

2、load数据

data=pd.read_csv(r'./adults.txt')

3、数据建模

3.1 摘取特征数据

features=data[['age','education_num','occupation',
			'hours_per_week']]
features.head()

3.2 数据转换，（特征数据中有string数据，需要转换成实质性数据才能参与运算，如string转number）

处理思路

a)获取职业种类n，然后根据创建一个n行n列的对角矩阵；

b)对职业列表中的每一种职业进行映射，得到一个n列的一维数组；

c)把职业这一列拆分成n列；

d)把特征数据的所有列转换成m列1行的二维数组

e)把二维数组合并形成新的特征数据(模型运算时需要的是二维数组)

#获取特征数据中职业有几种
unique=features['occupation'].unique()
occ_size=unique.size
# 把df中的某一列字符串转成对角矩阵
dm=np.eye(occ_size)
def str2Num(occ):
    global dm
    #获取当前职业在数组unique中的下标
    index=np.argwhere(occ==unique)[0][0]
    return dm[index]
    
#对职业进行映射
features['occupation']=features.occupation.map(str2Num)
features.head()

f)一维数组拆分成多列

#features['occupation'].unique().size的值为15
# occupation现在是一个1行15列的一维数组，把occupation分拆成15列，
#然后把每一列级联
occ1=features['occupation'][0]
for item in features['occupation'][1:]:
    occ1=np.concatenate((occ1,item))

g）把每一列级联合并

#转成二维数组
occupation=occ1.reshape(-1,15)
ages=features['age'].reshape(-1,1)
education_nums=features['education_num'].reshape(-1,1)
hours_per_week=features['hours_per_week'].reshape(-1,1)
#把每一列级联
new_features=np.hstack((occupation,h_age_edu,hours_per_week))

3.3 摘取目标数据

target=data['salary']
target.head()

4、模型选择

拆分训练和测试样本集

#random_state=1 : 固定随机状态种子
x_train,x_test,y_train,y_test=train_test_split(new_features,
											target, 
											test_size=0.2,
										    random_state=1)

训练模型

#k先取值为5，可根据后面评分高低调优
knn=KNeighborsClassifier(n_neighbors=5)
#训练模型
knn.fit(x_train,y_train)

5、模型评分

#评分
knn.score(x_test,y_test)

6、算法调优

knn=KNeighborsClassifier(n_neighbors=20)
#训练模型
knn.fit(x_train,y_train)
#重新评分
knn.score(x_test,y_test)

7、预测

knn.predict(x_test)

三、足球分类和图片压缩的机器学习案例具体见

机器学习之K均值算法（K-means）聚类_东木月的博客-CSDN博客