mindspore 版 AdaptiveAvgPool2d 替代方案参考
ztj100 2024-11-14 19:23 37 浏览 0 评论
前言
最近用 mindspore 复现 Fast SCNN 网络的时候，里面用到了一个自适应平均池化算子 “nn.AdaptiveAvgPool2d”，但是 mindspore 目前的版本还没有提供对应的算子供开发者使用，所以笔者查阅了一部分资料，了解了其计算原理。实验结果表明，下述方法可以替代 AdaptiveAvgPool2d 算子，可以此为基础迁移至其他 AI 框架(比如mindspore、tensorflow)中。
一、AdaptiveAvgPool2d
AdaptiveAvgPool2d 的功能简单来讲就是，开发者只需要传入“待处理数据” 和 “目标大小”，该算子会自动计算池化操作时的kernel_size和stride等数据，使得输出结果的shape为“目标大小”。
但其实上述理解是不完全正确的，甚至是错误的。基于此理解可以稍微理解其功能，但是如果想对其进行复现，则会完全陷入误区。
目前普遍存在的一种复现方式是，既然我们知道普通池化操作的计算过程是：
已知池化层的kernel_size、padding、stride 以及输入张量的大小input_size，则输出张量大小 output_size 为：
output_size =（input_size+2*padding-kernel_size）/stride +1
（此处简化了计算，如果输入张量的 column 值和 row 值不等，则分别计算）
那么我们就想办法通过 input_size 和 output_size 反推出 kernel_size、stride 等数值就好了，反向回去计算一定可以得到我们需要的数据。
但其实这种方法仅合其形，不对其意。我们只能使得输出张量是我们需要的“目标大小”，其内部数值却和 “nn.AdaptiveAvgPool2d” 的计算结果有不小差异，究其原因，在于出发点的错误。
二、AdaptiveAvgPool2d 计算原理
笔者翻阅了不少资料，最终在https://discuss.pytorch.org/t/what-is-adaptiveavgpool2d/26897 找到了我需要的内容。其中 Thomas 对AdaptiveAvgPool2d 做了相当准确的解释，我将其分享的代码改进为了 NCHW 的模式：
import torch.nn as nn
import torch
def torch_pool(inputs, target_size):
#NCHW
H = target_size[0]
W = target_size[1]
s_p1 = (torch.arange(W, dtype=torch.float32) * (inputs.size(-1) / W)).long()
e_p1 = ((torch.arange(W, dtype=torch.float32)+1) * (inputs.size(-1) / W)).ceil().long()
s_p2 = (torch.arange(H, dtype=torch.float32) * (inputs.size(-2) / H)).long()
e_p2 = ((torch.arange(H, dtype=torch.float32)+1) * (inputs.size(-2) / H)).ceil().long()
pooled2 = []
for i_H in range(H):
pooled = []
for i_W in range(W):
res = torch.mean(inputs[:, :, s_p2[i_H]:e_p2[i_H],s_p1[i_W]:e_p1[i_W]], dim=(-2,-1), keepdim=True)
pooled.append(res)
pooled = torch.cat(pooled, -1)
pooled2.append(pooled)
pooled2 = torch.cat(pooled2,-2)
return pooled2
if __name__ == '__main__':
data = [[[[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]]
,
[[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]]
]]
inputs = torch.tensor(data,dtype=torch.float32)
print(inputs)
print(inputs.size())
print("*********************************")
avgpool1 = torch_pool(inputs, (1,3))
avgpool2 = torch_pool(inputs, (2,3))
avgpool3 = torch_pool(inputs, (3,3))
avgpool6 = torch_pool(inputs, (6,5))
print(avgpool1)
print("*********************************")
print(avgpool2)
print("*********************************")
print(avgpool3)
print("*********************************")
print(avgpool6)
计算结果：
tensor([[[[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.]],
[[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.]]]])
torch.Size([1, 2, 6, 8])
*********************************
tensor([[[[3., 6., 8.]],
[[3., 6., 8.]]]])
*********************************
tensor([[[[3., 6., 8.],
[3., 6., 8.]],
[[3., 6., 8.],
[3., 6., 8.]]]])
*********************************
tensor([[[[3., 6., 8.],
[3., 6., 8.],
[3., 6., 8.]],
[[3., 6., 8.],
[3., 6., 8.],
[3., 6., 8.]]]])
*********************************
tensor([[[[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000]],
[[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000]]]])
与 pytorch 的 nn.AdaptiveAvgPool2d 算子进行对比验证：
import torch.nn as nn
import torch
if __name__ == '__main__':
data = [[[[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]]
,
[[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]
,[2,3,4,5,6,9,7,8]]
]]
x = torch.tensor(data,dtype=torch.float32)
print(x)
print(x.size())
print("*********************************")
avgpool1 = nn.AdaptiveAvgPool2d((1,3))
avgpool2 = nn.AdaptiveAvgPool2d((2,3))
avgpool3 = nn.AdaptiveAvgPool2d((3,3))
avgpool6 = nn.AdaptiveAvgPool2d((6,5))
print(avgpool1(x))
print("*********************************")
print(avgpool2(x))
print("*********************************")
print(avgpool3(x))
print("*********************************")
print(avgpool6(x))
计算结果：
tensor([[[[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.]],
[[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.],
[2., 3., 4., 5., 6., 9., 7., 8.]]]])
torch.Size([1, 2, 6, 8])
*********************************
tensor([[[[3., 6., 8.]],
[[3., 6., 8.]]]])
*********************************
tensor([[[[3., 6., 8.],
[3., 6., 8.]],
[[3., 6., 8.],
[3., 6., 8.]]]])
*********************************
tensor([[[[3., 6., 8.],
[3., 6., 8.],
[3., 6., 8.]],
[[3., 6., 8.],
[3., 6., 8.],
[3., 6., 8.]]]])
*********************************
tensor([[[[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000]],
[[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000],
[2.5000, 4.0000, 5.5000, 7.3333, 7.5000]]]])
可以发现，无论是输出 shape 还是 Tensor 内部数值，二者都是一样的。
而且无论改变 NCHW 的哪一部分内容，扩充 N、C、H、W 的任意一维，最后的计算结果都是保持一致的。
三、AdaptiveAvgPool2d 计算原理详解
待补充。
至此，探究明白了 “nn.AdaptiveAvgPool2d” 的内部计算原理。并可以此为基础迁移至其他 AI 框架中。
四、mindspore版 AdaptiveAvgPool2d
观察上述代码，如果要重写成mindspore版的代码，我们只需要替换掉‘torch.arange’、‘torch.mean’、‘torch.cat’这三个主要算子，以及添加一个取整操作，在mindspore中就是ops.ReduceMean(keep_dims=True)、P.Concat(axis=-1)等算子，只要做对应替换就可以了。
但我之前在重写 res = torch.mean(inputs[:, :, s_p2[i_H]:e_p2[i_H],s_p1[i_W]:e_p1[i_W]], dim=(-2,-1), keepdim=True)这一句时，发现mindspore对‘变量下标’做切片操作时会发生异常，不太清楚是不是我的用法有问题。不过我写了一个临时的版本，比如如果要将NCx32x64的数据池化成NCx6x6大小,我们可以提前计算出需要切片的下标，就可以得到这样一版可用的代码了：
def _AvgPool2d6x6(self,x):
s_p1 = [ 0, 10, 21, 32, 42, 53]
e_p1 = [11, 22, 32, 43, 54, 64]
s_p2 = [ 0, 5, 10, 16, 21, 26]
e_p2 = [ 6, 11, 16, 22, 27, 32]
pooled2 = []
for i_H in range(6):
pooled = []
for i_W in range(6):
res = self.reduceMean(x[:, :, s_p2[i_H]:e_p2[i_H],s_p1[i_W]:e_p1[i_W]], (-2,-1))
pooled.append(res)
pooled = self.concat1((pooled[0],pooled[1],pooled[2],pooled[3],pooled[4],pooled[5]))
pooled2.append(pooled)
pooled2 = self.concat2((pooled2[0],pooled2[1],pooled2[2],pooled2[3],pooled2[4],pooled2[5]))
return pooled2
原载于http://luxuff.cn ，作者还是我自己。
转载请注明出处。
相关推荐
- 再说圆的面积-蒙特卡洛（蒙特卡洛方法求圆周率的matlab程序）
-
在微积分-圆的面积和周长(1)介绍微积分方法求解圆的面积，本文使用蒙特卡洛方法求解圆面积。...
- python创建分类器小结（pytorch分类数据集创建）
-
简介：分类是指利用数据的特性将其分成若干类型的过程。监督学习分类器就是用带标记的训练数据建立一个模型，然后对未知数据进行分类。...
- matplotlib——绘制散点图（matplotlib散点图颜色和图例）
-
绘制散点图不同条件（维度）之间的内在关联关系观察数据的离散聚合程度...
- python实现实时绘制数据（python如何绘制）
-
方法一importmatplotlib.pyplotaspltimportnumpyasnpimporttimefrommathimport*plt.ion()#...
- 简单学Python——matplotlib库3——绘制散点图
-
前面我们学习了用matplotlib绘制折线图，今天我们学习绘制散点图。其实简单的散点图与折线图的语法基本相同，只是作图函数由plot()变成了scatter()。下面就绘制一个散点图：import...
- 数据分析-相关性分析可视化（相关性分析数据处理）
-
前面介绍了相关性分析的原理、流程和常用的皮尔逊相关系数和斯皮尔曼相关系数，具体可以参考...
- 免费Python机器学习课程一:线性回归算法
-
学习线性回归的概念并从头开始在python中开发完整的线性回归算法最基本的机器学习算法必须是具有单个变量的线性回归算法。如今，可用的高级机器学习算法，库和技术如此之多，以至于线性回归似乎并不重要。但是...
- 用Python进行机器学习(2)之逻辑回归
-
前面介绍了线性回归，本次介绍的是逻辑回归。逻辑回归虽然名字里面带有“回归”两个字，但是它是一种分类算法，通常用于解决二分类问题，比如某个邮件是否是广告邮件，比如某个评价是否为正向的评价。逻辑回归也可以...
- 【Python机器学习系列】拟合和回归傻傻分不清?一文带你彻底搞懂
-
一、拟合和回归的区别拟合...
- 推荐2个十分好用的pandas数据探索分析神器
-
作者：俊欣来源：关于数据分析与可视化...
- 向量数据库:解锁大模型记忆的关键!选型指南+实战案例全解析
-
本文较长，建议点赞收藏，以免遗失。更多AI大模型应用开发学习视频及资料，尽在...
- 用Python进行机器学习(11)-主成分分析PCA
-
我们在机器学习中有时候需要处理很多个参数，但是这些参数有时候彼此之间是有着各种关系的，这个时候我们就会想：是否可以找到一种方式来降低参数的个数呢？这就是今天我们要介绍的主成分分析，英文是Princip...
- 神经网络基础深度解析:从感知机到反向传播
-
本文较长，建议点赞收藏，以免遗失。更多AI大模型应用开发学习视频及资料，尽在...
- Python实现基于机器学习的RFM模型
-
CDA数据分析师出品作者：CDALevelⅠ持证人岗位：数据分析师行业：大数据...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)