通过7个版本的attention的变形，搞懂transformer多头注意力机制

——1——

Transformer模型架构

Transformer 由两个独立的模块组成，即Encoder和Decoder

Encoder

编码器是一个堆叠N个相同的层。每层由两个子层组成，第一个是多头自注意力机制，第二个是简单的全连接的前馈神经网络。论文的作者还使用了ADD&Norm的残差连接与归一化操作

当然，输入数据需要经过word-embedding与位置编码后，然后再传递给多头注意力机制，当然关于位置编码与详细的word-embedding操作可以参考如下动画视频教程，使用矩阵变化动画来讲解位置编码与word-embedding

Decoder

解码器层与编码器类似，都是堆叠N个相同的层，但是解码器每层有三个子层组成

除了编码器层中的两个子层之外，解码器还插入了第三个子层，该子层对编码器的输出执行多头注意力机制，当然解码器还有三个ADD与Norm的残差与归一化层，这里需要注意一下，其解码器的输入的第一个子层是带掩码的多头注意力机制，为何需要掩码，掩码如何操作？pad mask与sequence mask的作用是什么？如下视频教程都有详细的讲解

其输入部分与编码器一致，都是需要word-embedding与位置编码后传递给多头注意力机制

编码器和解码器是围绕一个称为多头注意力模块的中心部分构建的。它将 Transformers 置于深度学习食物链的顶端。一经发布，Transformers模型便横扫了很多大的模型，特别是NLP领域大杀四方。

其实，在Transformers发布前，也有类似的模型结构，我们来演变一下Transformer模型的注意力机制

——2——

Transformers模型版本1

为了直觉的理解注意力，我们从输入矩阵X与查询矩阵Q开始，我们来计算输入矩阵与查询矩阵的相似度，得到相似度分数后，我们将输入矩阵转换为输出向量，输出向量是输入矩阵的加权求和。直观地说，加权求和得到的矩阵应该比原始矩阵的信息更丰富，其示意图如下

输入：

相似函数： fatt是一个**前馈网络**。前馈网络接受Q与X矩阵，并将它们都投影到维度DE.

输出:

——3——

Transformers模型版本2

版本2的改进点是使用点积操作来替换前馈神经网络，事实证明，这是十分有效的，并且效果明显

输入:

相似函数：点积操作

输出

——4——

Transformers模型版本3

版本三的改进，也是transformer模型提出的一个概念，缩放点积，而不是正常的点积操作，这里的点积与标准的点积操作完全一致，只是作者提出了一个缩放系数的概念，缩放比例一般是1/根号下dim.

注意力机制的问题:

梯度消失问题：神经网络的权重与损失的梯度成比例地更新。问题是，在某些情况下，梯度会很小，有效地阻止了权重更新。这反过来又阻止了神经网络的训练。这通常被称为梯度消失问题。

Unnormalized softmax：考虑一个正态分布。分布的 softmax 值在很大程度上取决于它的标准差。由于标准偏差很大，softmax 只存在一个峰值，其他全部为0。我们可以随机生成一些数据来可视化这个问题

import torch

import numpy as np

import torch.nn as nn

import matplotlib.pyplot as plt

a = np.random.normal(0,100,size=(20000))

plt.hist(a)

plt.show()

创建均值为 0、标准差为 100 的正态分布

import torch

import numpy as np

import torch.nn as nn

import matplotlib.pyplot as plt

#import tensorflow as tf

a = np.random.normal(0,100,size=(20000))

#plt.hist(a)

#plt.show()

#attn = tf.nn.softmax(a)

attn = nn.Softmax(dim=-1)(torch.from_numpy(a))

plt.plot(attn)

plt.show()

导致梯度消失的非归一化 softmax

我们可以考虑使用logits的方法来进行softmax操作，这样我们就得到了数据的交叉熵，softmax的错误输出，将会被反向传播，那么就跟我们以上得到的数据，经过softmax后，只存在一个数据为1的值，其他地方全部是0 ，那么数据为1的值会被神经网络反向传播，而其他地方的数据并不会得到训练，这样就产生了梯度消失的问题

解决方案

为了解决由于未归一化的 softmax 导致的梯度消失问题，我们需要找到一种方法来获得更好的 softmax 输出。事实证明，分布的标准差很大程度上影响了 softmax 输出，我们依然初始化一个数据

import torch

import numpy as np

import torch.nn as nn

import matplotlib.pyplot as plt

#import tensorflow as tf

a = np.random.normal(0,100,size=(20000))

b = a/100

plt.hist(a)

plt.show()

plt.hist(b)

plt.show()

#plt.show()

#attn = tf.nn.softmax(a)

创建一个均值为 0，标准差为 100 的正态分布。并将标准差缩放到1。

2种分布的直方图计划完全一致，只是数据的标准差一个是100，另一个是1，那么我们来看一下2种数据的softmax值

attn = nn.Softmax(dim=-1)(torch.from_numpy(a))

plt.plot(attn)

plt.show()

attn_b = nn.Softmax(dim=-1)(torch.from_numpy(b))

plt.plot(attn_b)

plt.show()

将 softmax 应用于两个分布

可以看到，经过缩放的softmax的分布比较分散，符合神经网络训练的要求，此时便可以让梯度进行反向传播，避免模型出现崩溃问题,这就是为什么transformer使用缩放点积。

输入

相似函数：点积

——5——

Transformers模型版本4

前面的版本只有一个Q查询向量，我们把此向量扩展到多个查询向量，我们来计算输入矩阵与多个查询向量的相似性

输入

相似函数：点积

输出：

——6——

Transformers模型版本5，交叉注意力

为了建立交叉注意力，我们做了一些改变。这些更改特定于输入矩阵。我们已经知道，注意力需要一个输入矩阵和一个查询矩阵。假设我们将输入矩阵投影成一对矩阵，即K矩阵和V矩阵。这样做是为了解耦复杂性。输入矩阵现在可以有一个更好的投影矩阵，负责建立注意力权重和更好的输出矩阵。Cross Attention的可视化如下

输入

相似函数：点积

输出

——7——

Transformers模型版本6，self-attention，自注意力机制

通过交叉注意力机制，我们了解到注意力模块中有三个矩阵：Q K V。K和V矩阵是输入矩阵的投影版本。如果Q矩阵也是从输入中投影出来的呢？

这就是我们所说的自注意力机制。它构成了 Transformer 模型的架构基础。Self-Attention 的可视化，从这里就便是我们重点讲解的transformer模型的自注意力机制了，如何来做注意力机制

输入：

相似函数：点积

输出

——8——

Transformers模型版本7，多头注意力机制

这是transformer模型作者提出的终极版本，作者希望引入多个注意力来进一步提取输入矩阵的不同维度信息，这就意味着QKV矩阵会被拆分为多个头进行投影，最后再把每个头的注意力合并在一起

相信看到这里，你对注意力以及多头注意力有了清晰的认识，以上的每个版本的注意力，都在上一版本的基础上进行了改进

版本 1： 从基线开始，其中使用前馈网络计算输入矩阵和查询矩阵之间的相似度函数。

版本 2 ，我们将前馈网络换成了简单的点积。

版本3 由于梯度消失和非归一化概率分布等问题，提出了缩放点积的概念

版本 4 ，我们使用多个查询向量Q，而不仅仅是一个。

版本 5 ，我们通过将输入向量分解为K和V矩阵来构建交叉注意力

版中6，我们也从输入矩阵中获取查询向量Q，然后计算注意力，称之为自注意力机制。

版本 7 QKV三个矩阵被拆分成多个头，来计算注意力，便是我们说的多头注意力机制