注意力机制
注意力机制(Attention Mechanism)浅谈
1. 注意力机制的由来,解决了什么问题?
早期在解决机器翻译这一类序列到序列(Sequence to Sequence)的问题时,通常采用的做法是利用一个编码器(Encoder)和一个解码器(Decoder)构建端到端的神经网络模型,但是基于编码解码的神经网络存在两个问题,拿机器翻译举例:
问题1:
如果翻译的句子很长很复杂,比如直接一篇文章输进去,模型的计算量很大,并且模型的准确率下降严重。
问题2:
在翻译时,可能在不同的语境下,同一个词具有不同的含义,但是网络对这些词向量并没有区分度,没有考虑词与词之间的相关性,导致翻译效果比较差。
同样在计算机视觉领域,如果输入的图像尺寸很大,做图像分类或者识别时,模型的性能就会下降。
针对这样的问题,注意力机制被提出。
标签:模型,Attention,Mechanism,读懂,机器翻译,机制,注意力 From: https://www.cnblogs.com/wangxuegang/p/16901089.html