前面讲到如何使用OpenCV来检测和识别象棋棋子，具体可以参看：86.Python——基于OpenCV的象棋棋子检测与识别

OpenCV来检测和识别象棋棋子，一是使用霍夫圆检测圆形的棋子，提取每一个棋子与原始棋子作特征比对，取相似度最大的作为识别结果。

OpenCV用来检测和识别棋子，其实有很大的局限性，检测棋子时对参数的依赖很严重，在提取特征时，对图片的要求也是非常高的。

所以本文主要演示和测试一下使用卷积神经网络来训练一个分类模型，对象棋棋子的识别。

一、制作棋子的数据集

数据集的有效性直接影响着网络模型最后的结果。数据制作方法：还是先通过OpenCV来检测到所有的棋子，并保存，通过旋转图片来增强棋子的数量。棋子的平均大小：50*50

#旋转图片，生成训练数据
from PIL import Image
for fdir in os.listdir("chess"):
    for f in os.listdir("chess/"+fdir):
        fname="chess/"+fdir+"/"+f
        img=Image.open(fname)
        #旋转图片，间隔5度
        for i in range(0,360,5):
            newimg=img.rotate(i)
            #保存图片
            newimg.save(fname.replace(".jpg","_"+str(i)+".jpg"))

二、选择ResNet50作为分类模型进行数据训练

训练过程省略。这里的训练数据集有二个问题：一是图片大小不够大，可以的话大小最好能达到112*112，二是棋子图片来源比较单一，建议采集不同规格的棋子图片。

三、模型预测，棋子识别

#加载模型，把训练好的模型输出部署模型
predictor=pdx.deploy.Predictor("output/resnet50-chess/inference_model",use_gpu=True)

#预测识别棋子
#棋子分类名称字典
chessclass={"hejiang":"黑将","heju":"黑车","hema":"黑马","hepao":"黑炮","heshi":"黑士","hexiang":"黑象","hezu":"黑卒",
            "hongbing":"红兵","hongju":"红车","hongma":"红马","hongpao":"红炮","hongshi":"红士","hongshuai":"红帅","hongxiang":"红相"}
lstname=[] #棋盘上的棋子名称
newimg=np.ones(img.shape,dtype=np.uint8)*255 #新建一个空白图像，用来存放检测结果
plt.rcParams['font.sans-serif']=['SimHei']
#遍历所有的检测到的棋子，并预测
for xy in lstrect:
    x1,y1,x2,y2=xy
    chessimg=img[y1:y2,x1:x2]    
    result=predictor.predict(chessimg)    #预测结果
    newimg[y1:y2,x1:x2]=chessimg    #把结果对应放到新的图像中
    if chessclass[result[0]["category"]][0]=="红": #文字的颜色
        color="r"
    else:
        color="b"
    #棋子对应的文字    
    plt.text(x1+img.shape[1],y1,chessclass[result[0]["category"]],color=color,fontsize=10) 
    lstname.append(chessclass[result[0]["category"]])

print(lstname)
dst=np.hstack((img,newimg))
plt.imshow(dst[:,:,::-1])
plt.show() 
    

['红兵', '黑将', '红马', '黑炮', '红士', '黑车', '红相', '黑士', '红马', '红车', '红兵', '黑士', '红士', '红相']

检测棋子的还是使用OpenCV，而识别棋子则使用的是卷积神经网络。从结果来看，有一个棋子预测错误，可以通过完善数据集来提高准确度。