天池伪造图像的篡改检测比赛TOP2/3方案分享

天池的安全AI挑战赛第五期在最近落下帷幕，其中的伪造图像的篡改检测赛共有1471个团队参加了比赛。

1
篡改检测比赛介绍

这是近期天池上颇受欢迎的一次竞赛，这个比赛本质上可以看成一个图像分割问题，但是图像分割方法偏向于强信号特征（可视的，跟内容特征强相关），而图像篡改定位更偏向于弱信号特征（不可视的，跟内容特征弱相关），只有对传统分割的方法进行创新，才能够获得高分。

我们的团队在终榜只获得了 20/1471 的成绩，在这里复盘总结一下比赛，并分享已经公开的rank2和rank3的方案。

比赛链接：

https://tianchi.aliyun.com/competition/entrance/531812/introduction

1.1
赛题背景

本次比赛的背景是由于随着各种P图工具的普及，篡改伪造出视觉无痕迹的假图门槛大幅降低，于是我们看到大量的假图用于散播谣言、编造虚假新闻、非法获取经济利益，更有甚者，还可能会被用来恶意地充当法庭证据。因此需要设计出能够准确检测出图像篡改区域的算法，避免假图造成的危害。

1.2
题目描述

比赛的任务是通过提供的训练集学习出有效的检测算法，对测试集的伪造图像进行篡改定位。比赛的难点在于其分割区域是不能依靠边缘轮廓，因为篡改特征是偏向于弱信号特征（不可视的，跟内容特征弱相关），而且相对要分割出来的区域可能面积偏小。

1.3
数据分析

• 数据集数量偏小：数据包括训练集和测试集，训练集有1500张JPEG图像及对应mask，测试集有1500张JPEG图像。训练集的数量偏小，训练epoch过多和复杂的网络容易出现过拟合情况。
• 图片大小不均匀：篡改数据集图片大小层次不齐，并且图片尺寸分布为[500,1400]，大部分图片为正方形，但是有部分图片宽不等于高。
• 篡改区域分布不均匀：不论是官方提供的mask还是经过crop之后的mask中篡改区域的大小不均匀，在这样的数据集进行训练得到的效果并不会很好。
• 数据分布不一致：测试集中有部分篡改特征为splcing，但是在比赛提供的训练集中并没有含有此类特征的图像，所以在含有此类特征测试集中预测所得mask为全黑，即模型没有检测这类特征的能力。
• 存在noisy label：分析图像中的篡改类型，我们同样发现在某些篡改为将字体中的黑色（0）直接篡改为了白色（255），这类篡改不论对于人眼还是模型都是难以检测的。
• 子类过多问题：我们可以看到赛道一的数据中已经有篡改区域，即一次篡改，赛道二的数据是在一次篡改之后进行二次篡改得到的，所以在一张图片里面包含的篡改类型中包含多个子类（splicing, copy-move, remove,以及赛道一选手进行的篡改）

1.4
评估指标

在测试集的1500张图像中选手需要进行篡改定位，生成对应的二值化mask图像。根据提交的mask与基准mask计算F1值与IOU值。

F1 指标计算：

IOU 指标计算：

总成绩： Score = Siou + SF1

Score 计算代码：单张图片

# 通过矩阵的逻辑运算分别计算出tp,tn,fp,fn  
#  pre   p   n 
#  con p tp  fn 
#      n fp  tn 
# 判原始为0，判篡改为1 
seg_inv, gt_inv = np.logical_not(premask), np.logical_not(groundtruth) 
true_pos = float(np.logical_and(premask, groundtruth).sum())  # float for division 
true_neg = np.logical_and(seg_inv, gt_inv).sum() 
false_pos = np.logical_and(premask, gt_inv).sum() 
false_neg = np.logical_and(seg_inv, groundtruth).sum() 
f1 = 2 * true_pos / (2 * true_pos + false_pos + false_neg + 1e-6) 
cross = np.logical_and(premask, groundtruth) union = np.logical_or(premask, groundtruth) 
iou = np.sum(cross) / (np.sum(union) + 1e-6)

2
TOP2 方案：淡泊湖队

2.1
Baseline：RRU-Net

RRU-Net是基于U-Net 提出了一种环状残差网络 RRU-Net 用于图像拼接伪造检测。RRU-Net 的核心思想是加强 CNN 的学习方式，并由CNN中残差的传播和反馈过程实现。残余传播调用输入的特征信息以解决更深层网络中的梯度退化问题；残差反馈合并输入特征信息，使未篡改区域和篡改区域之间的图像属性差异更加明显。具体介绍可以看这里。

2.2
方案介绍

1、数据处理：

• 滑窗crop，将图像尺寸crop到一致，这样降低了显存占用，并且也能提升训练时的batch size，选择的窗口大小为512*512。
• 在crop的时候设置了一个阈值，将不符合阈值的数据丢弃。因为数据经过crop之后，数量增多，去除一些极端数据，例如全白的区域。
• 训练集引入了含有splcing特征的外部数据集 cassia 2.0。
• 将训练集分为一次篡改和二次篡改的两部分，这个区分该队是根据官方提供赛道一和赛道二数据集的规律，赛道一的数据都是只有发生一次篡改的图片，赛道二的数据部分数据是发生篡改后再篡改的图片。如下图所示：

2.3
孪生网络

参考孪生网络的思想，在网络的输入部分实例化两个结构相同但是参数不共享的encoder分别编码一次篡改和二次篡改的图像，将得到特征图进行相加，最终经过decoder输出mask，模型结构如下：

最终结果如下，可以从图中看出，mask中绿色部分为模型检测明显篡改区域（easy sample）得到，图中红色方框中为模型利用辅助信息进行检测特征较弱区域（hard sample）得到。

该模型不仅能检测到图像中大部分的篡改区域，也就是easy sample，而且还能利用一次篡改图中的辅助信息，帮助模型对于部分hard sample进行检测。

Output：图中红色框内为hard sample，绿色框内为easy sample。

3
榴莲流奶牛角包队

代码链接：

https://github.com/HighwayWu/Tianchi-FFT2

3.1
Baseline：U-Net

Unet 是非常经典的图像分割算法，具体介绍可以看快速回顾U-Net Family

3.2
模型方案

Se-Resnet50作为编码器

该队将Se-Resnet50作为编码器，Se-Resnet50 就是将在 ResNet50网络中引入SE模块，我们先介绍SE模块：

SE模块是在ImageNet冠军模型SE-Net中提出的block，SE模块看成是channel-wise的attention，可以嵌入到含有skip-connections的模块中，ResNet,VGG,Inception等等，SE结构如下图：

通过上图可以理解他的实现过程，通过对卷积得到的feature map进行处理，得到一个和通道数一样的一维向量作为每个通道的评价分数，然后将改分数分别施加到对应的通道上，得到其结果，就在原有的基础上只添加了一个模块。

Se-Resnet：

U-Net 引入 scSE感知模块

该队参考了FCN 加入SE模块的方法https://arxiv.org/abs/1808.08127，构建了三种新的模块cSE、sSE、scSE，最终将scSE感知模块加入到U-Net中，这一改进十分有效主要是因为其进行的"感知"操作能够很好的让模型对篡改区域的特征进行re-weighting。

简单来说cSE和sSE分别是根据通道和feature map cell的重要性来校准采样。scSE则是同时进行两种不同采样校准，并将它们的结果结合起来使用。

scSE代码如下：

class SCSEModule(nn.Module):
    def __init__(self, ch, re=16):
        super().__init__()
        self.cSE = nn.Sequential(nn.AdaptiveAvgPool2d(1),
                                 nn.Conv2d(ch,ch//re,1),
                                 nn.ReLU(inplace=True),
                                 nn.Conv2d(ch//re,ch,1),
                                 nn.Sigmoid())
        self.sSE = nn.Sequential(nn.Conv2d(ch,ch,1),
                                 nn.Sigmoid())
    def forward(self, x):
        return x * self.cSE(x) + x * self.sSE(x)

3.3
数据处理

数据扩增：

由于原始训练集数据较少，且大量重复，所以重新制作了一批数据用于训练。

扩增方式：

• 按照赛道一的图像处理方法对赛道一的图片进行篡改。(放置于…/s2_data/expand_data/s1_fake_w/)
• 从网络下载了一批证书类文件并按照赛道一的图像处理方法进行篡改。(放置于…/s2_data/expand_data/online_*/)
• 将原始训练集中所拍摄的书籍封面类(以下简称书籍类)图片进行PS/拼接篡改。(放置于…/s2_data/expand_data/book_*/)
• 在训练的过程中随机对训练集图像进行缩放(90%~110%)、旋转、翻转、噪声，以及最后在随机位置裁剪出512x512的小图像。具体请看…/code/main.py中Dataset类的aug函数。

训练集、验证集划分：

由于原始训练集大量数据来源相同，若简单使用随机划分训练集、验证集则容易导致过拟合，所以按照不同源将训练集进行简单划分为四个fold。

4
总结

本次比赛对于参赛选手是个前沿且有挑战的领域，针对伪造文档资质类的图像取证技术仍未被深入研究。通过参加图像取证技术挑战赛，既可以获取宝贵经验，也可以进一步钻研，把在比赛中的一些经验和技巧转化为学术论文，工程和学术两不误。

END

更多干货都在公众号:AI约读社

我们还建立交流群，备注交流群