Self Attention:Transformer中的新注意力机制

释放双眼,带上耳机,听听看~!
本文介绍了Self Attention作为Transformer中的新注意力机制的优越之处,与传统的Seq2Seq Attention、RNN和CNN相比的特点和优势。详细探讨了Self Attention在捕捉长期依赖关系和并行计算方面的优势,以及与CNN的区别和优势。

self attention是提出Transformer的论文《Attention is all you need》中提出的一种新的注意力机制,这篇博文仅聚焦于self attention,不谈transformer的其他机制。Self attention直观上与传统Seq2Seq attention机制的区别在于,它的query和massage两个序列是相等的。大家可能都以为self attention是attention的改进版,但其实self attention的设计思想来自RNN和CNN,希望这篇博文能对你有所启发。

广义注意力机制

在谈论self attention之前我们首先认识一下以KQV模型来解释的Attention机制。

假定输入为Q(Query), Memory中以键值对(K,V)形式存储上下文。那么注意力机制其实是Query到一系列键值对(Key, Value)上的映射函数。
Self Attention:Transformer中的新注意力机制Attention Value=QKTVAttention Value = QK^TV
Self Attention:Transformer中的新注意力机制
Attention本质上是为序列中每个元素都分配一个权重系数,这也可以理解为软寻址。如果序列中每一个元素都以(K,V)形式存储,那么attention则通过计算Q和K的相似度来完成寻址。Q和K计算出来的相似度反映了取出来的V值的重要程度,即权重,然后加权求和就得到了attention值。
Self Attention:Transformer中的新注意力机制

Self Attention

Self Attention机制在KQV模型中的特殊点在于Q=K=V,这也是为什么取名self attention,因为其是文本和文本自己求相似度再和文本本身相乘计算得来。
Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(frac{QK^T}{sqrt d_k})V
Self Attention:Transformer中的新注意力机制

Self Attention机制的优越之处

抖音算法面试题,Self Attention和Seq2Seq Attention相比,优越在哪里。

RNN本身对于长距离的依赖关系有一定的捕捉能力,但由于序列模型是通过门控单元使得信息保持流动,并且选择性地传递信息。但这种方式在文本长度越来越长的条件下,捕捉依赖关系的能力越来越低,因为每一次递归都伴随着信息的损耗,所以有了Attention机制来增强对我们所关注的那部分依赖关系的捕捉。除此之外,序列模型也不能对层次结构的信息进行有效的表达

Attention(包括self attention在内)本身的优点(相较于RNN而言):

  • 对长期依赖关系有着更强的捕捉能力
  • 可以并行计算

CNN在NLP领域也有比较广泛的应用。CNN模型可以被看作n-gram的detector,n-gram的n对应CNN卷积核的大小。CNN基于的假设是局部信息存在相互依赖关系,而卷积核可以把这些依赖关系以类似于n-gram的形式提取出来。另外,CNN具备Hierachicial Receptive Filed,使得任意两个位置之间的长度距离是对数级别。
Self Attention:Transformer中的新注意力机制
Self-Attention的优点(相较于CNN而言):

  • 元素与元素之间的距离从CNN的logarithmic path length进一步缩短到constant path length
  • 由CNN fixed size perceptive变成了variable-sized的 perceptive,具体的长度等于文本长度,这也是self-attention相对于普通attention的优点。
    Self Attention:Transformer中的新注意力机制
    图片中的文字讲的是self-attention和卷积的区别,不能看作是优点。从图中能看出self-attention和卷积的关联之处

如果普通attention机制在一个窗口下计算attention score,正如我这篇博文介绍的attention机制,那么这种attention机制的感受野就只有窗口,而且随着窗口移动还需要计算多次。

所以self-attention相较于Seq2Seq attention还有另一个优点:

  • 一步矩阵计算得到了文本序列中任意两个元素的相似度,而且是以整个文本作为观察范围的。

再类比于CNN的multi-kernel,实现self-attention的时候也可以有多份的self-attention score,这产生了multi-head self attention。
Self Attention:Transformer中的新注意力机制

Self-Attention归纳如下

Self Attention:Transformer中的新注意力机制

Self-attention的优点归纳为以下:

Self Attention:Transformer中的新注意力机制
Transformer里面一共有三种self-attetnion:
Self Attention:Transformer中的新注意力机制
三种Self-attention的区别:
Self Attention:Transformer中的新注意力机制

参考文献

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

快速接入ChatGPT的Node.JS教程

2023-11-25 10:30:14

AI教程

图像直方图及其在图像处理中的应用

2023-11-25 10:41:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索