在某些业务场景中，有时需要对两幅图像进行比较，图像的结构是否相似，或图像的质量。觉见的两种经典的方法是：SSIM和MS-SSIM。

下面有三幅图像，分别是ss1.jpg(原图)，ss3.jpg(图像的对比度和亮度都有变化)，ss2.jpg(l图像缩小一些)。

SSIM简介

• SSIM（Structural SIMilarity）即结构相似性指数，是一种测量两个图像之间相似性的方法
• 假定其中一幅图像具有完美的质量，则 SSIM 指数可以被视为另一幅图像质量的度量。

由 SSIM 测量系统可得相似度的测量可由三种对比模块组成，分别为：亮度（l），对比度（c），结构（s）

MS-SSIM

• MS-SSIM（Multi-Scale Structural Similarity）即多尺度结构相似性指数
• 是一种基于多尺度（图片按照一定规则，由大到小缩放）的 SSIM 指数

实现代码

这里使用的是paddle_msssim模块。

import cv2
import os
import paddle
import numpy as np
import paddle_msssim as msssim

imglst=["ss1.jpg","ss3.jpg","ss2.jpg"]

for img in imglst:
    #第一幅图像，作为原始图像
    img0=cv2.imread(os.path.join("img",imglst[0]))
    #读取图像    
    imgpath=os.path.join("img",img)
    img=cv2.imread(imgpath)
    #水平拼接图像，并显示
    dst=np.hstack((img0,img))
        
    #转成tensor,并计算msssim,
    img0=paddle.to_tensor(img0).unsqueeze(0).astype("float32")
    img=paddle.to_tensor(img).unsqueeze(0).astype("float32")
    img0=paddle.transpose(img0,(0,3,1,2))
    img=paddle.transpose(img,(0,3,1,2))
    #计算
    valssim=msssim.ssim(img0,img).item()
    valmssim=msssim.ms_ssim(img0,img).item()
    #输出结果
    res="ssim:"+str(valssim)+"---"+"ms-ssim:"+str(valmssim)
    print(valssim,valmssim,res)
    cv2.putText(dst,res,(0,20),cv2.FONT_HERSHEY_SIMPLEX,0.5,(255,255,255),1)  
    cv2.imshow("img0+img",dst)  
    cv2.waitKey(0)

cv2.destroyAllWindows()

输出结果：
1.0 1.0 ssim:1.0---ms-ssim:1.0
0.8962425589561462 0.9523621201515198 ssim:0.8962425589561462---ms-ssim:0.9523621201515198
0.6207066178321838 0.7086322903633118 ssim:0.6207066178321838---ms-ssim:0.7086322903633118

应用场景如：我们需要提取视频中的字幕，就可以判断前后帧是否相似，如果相似度大于一定的阈值（0.9），我们就认为是同一画面，则不用重复提取字幕，直接跳过该帧。

参考资料：https://github.com/AgentMaker/Paddle-MSSSIM