( 即插即用模块-Attention ) 三、(CVPR 2020)ECA 有效通道注意力

ztj100 2025-01-01 23:49 15 浏览 0 评论

paper：https://arxiv.org/pdf/1910.03151v4

Code：https://github.com/BangguWu/ECANet

1、ECA Layer

在重新审视 SE通道注意力的基础上，作者对通道降维和跨通道交互等方面对通道注意力的影响进行了重新审视。在此基础上，提出了一种更为高效的 ECA 通道注意力。ECA模块首先利用GAP层聚合卷积特征后自适应地确定核的大小；然后进行一维卷积；最后利用Sigmoid函数学习信道关注度，最终生成注意力图。与SE模块相比，ECA模块更为有效地避免了降维的问题，从而能够更有效地捕捉通道间的交互。

ECA layer 结构图：

2、代码实现

import torch
import torch.nn as nn


class ECAModule(nn.Module):
    def __init__(self, channel, k_size=3):
        super(ECAModule, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.conv = nn.Conv1d(1, 1, kernel_size=k_size, padding=(k_size - 1) // 2, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        y = self.avg_pool(x)
        y = self.conv(y.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1)
        y = self.sigmoid(y)
        return x * y.expand_as(x)

本文只是对论文中的即插即用模块做了整合，对论文中的一些地方难免有遗漏之处，如果想对这些模块有更详细的了解，还是要去读一下原论文，肯定会有更多收获。

conv1d

上一篇：k8s - kubeadm join 之 token 失效
下一篇：GPS 数据、RGB 数据、LiDAR 数据、RADAR 数据以及 mmWave数据

( 即插即用模块-Attention ) 三、(CVPR 2020)ECA 有效通道注意力

1、ECA Layer

2、代码实现

相关推荐

取消回复欢迎你发表评论:

Vue自定义Hook示例:useUrlState（vue中的自定义指令如何使用）

Vue-实现自定义插件弹窗（vue 实现弹窗）

MySQL中这14个小玩意，让人眼前一亮!

旗舰机新标杆 OPPO Find X2系列正式发布售价5499元起

什么是幂等?分布式锁如何实现业务幂等?

如何快速切换node版本?利用n包快速切换nodejs版本

如何发个 npm 包?

手把手教你搞定菜单权限设计，精确到按钮级别，建议收藏

【Python机器学习系列】建立多层感知机模型预测心脏疾病

详解MySQL 字符串拼接之concat\concat_ws\group_concat

( 即插即用模块-Attention ) 三、(CVPR 2020)ECA 有效通道注意力

1、ECA Layer

2、代码实现

相关推荐

取消回复欢迎 你 发表评论:

Vue自定义Hook示例:useUrlState（vue中的自定义指令如何使用）

Vue-实现自定义插件弹窗（vue 实现弹窗）

MySQL中这14个小玩意，让人眼前一亮!

旗舰机新标杆 OPPO Find X2系列正式发布 售价5499元起

什么是幂等?分布式锁如何实现业务幂等?

如何快速切换node版本?利用n包快速切换nodejs版本

如何发个 npm 包?

手把手教你搞定菜单权限设计，精确到按钮级别，建议收藏

【Python机器学习系列】建立多层感知机模型预测心脏疾病

详解MySQL 字符串拼接之concat\concat_ws\group_concat

取消回复欢迎你发表评论:

旗舰机新标杆 OPPO Find X2系列正式发布售价5499元起