自注意力是神经网络中使用的基本机制，在变压器模型中尤其突出，使它们能够有效地处理顺序数据。它使模型能够对序列中的不同单词或元素进行不同的权重，在计算过程中更多地关注相关部分。
自注意力的组成部分
-
查询、键和值：在自注意力中，输入序列被转换为三个向量：查询、键和值。这些向量是从输入序列通过线性变换获得的，生成将用于计算注意力分数的组件。
-
注意力分数：获得这些向量后，通过测量查询向量和关键向量之间的相似性来计算注意力分数 * 序列中的所有元素*。这通常是使用点积来完成的，然后进行缩放并应用softmax函数来获取每个元素的注意力权重。
-
加权和：获得的注意力权重用于对值向量进行加权。这些值的加权和，基于它们各自的注意力权重，产生自注意力层的输出。
-
多头注意力：为了捕获单词或元素之间的不同关系，并行执行多组查询、键和值转换，从而产生多组注意力权重和输出向量。然后将它们连接并再次转换以获得最终输出。
促进学习远程依赖
自注意力在捕获序列中的远程依赖性方面表现出色，因为它能够直接对序列中所有元素之间的交互进行建模。循环神经网络 (RNN) 等传统架构存在梯度消失或爆炸问题，限制了它们学习远程依赖关系的能力。另一方面，自注意力可以捕获遥远的单词或元素之间的关系，而不会出现这些问题，从而更有效地理解序列中的上下文和关系。
相对于传统架构的优势
-
并行化：自注意力允许并行计算序列中所有元素的注意力分数，使其比 RNN 中的顺序处理更有效。
-
长程依赖关系：与 RNN 不同，RNN 由于其顺序性质而难以捕获长距离的依赖关系，而自注意力可以有效地捕获这些依赖关系。
-
减少路径长度：自注意力直接连接序列中的所有元素，减少远处元素之间的路径长度，从而在训练过程中实现更好的梯度流。
限制和计算复杂性
-
二次复杂度：自注意力涉及序列中所有元素之间的成对比较，导致计算量随着序列长度的增加而二次增加。对于很长的序列来说，这在计算上可能是昂贵的。
-
内存要求：与 CNN 或 RNN 等更简单的架构相比，Transformer 由于其自注意力机制，通常需要更多内存。
-
注意掩码：处理可变长度的序列需要使用注意掩码来处理填充，这会增加模型和训练过程的复杂性。
尽管存在这些限制，自注意力已被证明是自然语言处理任务中的一种非常有效的机制，并且正在进行的研究旨在解决其计算复杂性，以实现更好的效率和可扩展性。
