注意力机制
注意力机制(Attention Mechanism)浅谈
1. 注意力机制的由来，解决了什么问题？
早期在解决机器翻译这一类序列到序列(Sequence to Sequence)的问题时，通常采用的做法是利用一个编码器(Encoder)和一个解码器(Decoder)构建端到端的神经网络模型，但是基于编码解码的神经网络存在两个问题，拿机器翻译举例：
问题1：
如果翻译的句子很长很复杂，比如直接一篇文章输进去，模型的计算量很大，并且模型的准确率下降严重。
问题2：
在翻译时，可能在不同的语境下，同一个词具有不同的含义，但是网络对这些词向量并没有区分度，没有考虑词与词之间的相关性，导致翻译效果比较差。
同样在计算机视觉领域，如果输入的图像尺寸很大，做图像分类或者识别时，模型的性能就会下降。
针对这样的问题，注意力机制被提出。
标签：模型,Attention,Mechanism,读懂,机器翻译,机制,注意力 From： https://www.cnblogs.com/wangxuegang/p/16901089.html