paper：https://arxiv.org/pdf/1807.06521v2

Code：https://github.com/Jongchan/attention-module

1、CBAM

作者提出了一种用于前馈卷积神经网络的简单而有效的注意力模块（Convolutional Block Attention Module，CBAM）。该模块由通道注意力（Channel Attention）和空间注意力（Spatial Attention）组成。通过在给定一个中间特征图的情况下，模块沿着两个独立的维度（即通道和空间）顺序地推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。并且由于CBAM是一个轻量级的通用模块，因此可以无缝集成到任何CNN架构中，开销极小的同时对性能提升很大。

CBAM 结构图：

2、Channel Attention

其中，通道注意力通过利用特征的通道间关系来产生通道注意力图。作者通过使用平均合并和最大合并特征（而不是单独使用某一个特征）。具体操作是：

1、利用平均池和最大池操作聚合特征地图的空间信息，生成两个不同的空间上下文描述。

2、将两个描述转发到共享网络（Shared MLP）以产生我们的信道注意力图。其中，Shared MLP由一个隐层的多层感知器（MLP）组成；

3、将Shared MLP应用于每个描述之后再使用逐元素求和来合并输出特征向量。

Channel Attention结构图：

3、Spatial Attention

与通道注意不同的是，空间注意力是利用特征的空间关系生成空间注意图，与通道注意是互补的。

1、首先沿着通道轴应用平均池和最大池操作，并将它们连接起来以生成有效的特征描述符；

2、然后应用卷积层来生成空间2D注意力图，该注意力图对强调或抑制的位置进行编码。

Spatial Attention结构图：

4、代码实现

import torch
import torch.nn as nn


class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
        self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)  # kernel_size=1
        self.relu1 = nn.ReLU()
        self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x))))
        max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x))))
        out = avg_out + max_out
        return self.sigmoid(out)


class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()
        assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
        padding = 3 if kernel_size == 7 else 1
        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv1(x)
        return self.sigmoid(x)


class CBAM(nn.Module):
    def __init__(self, in_planes):
        super(CBAM, self).__init__()
        self.ca = ChannelAttention(in_planes)
        self.sa = SpatialAttention()

    def forward(self, x):
        ca = self.ca(x) * x
        sa = self.sa(ca) * ca
        return sa

本文只是对论文中的即插即用模块做了整合，对论文中的一些地方难免有遗漏之处，如果想对这些模块有更详细的了解，还是要去读一下原论文，肯定会有更多收获。