《动手学深度学习》的最后一篇文章,在这篇文章里,将学习什么是编码器解码器的结构,什么是束搜索,以及注意力机制是什么,最后就是仔细地研究一下课本中最后一个机器翻译的代码实例,来综合运用上述的编码器-解码器和注意力机制!
1、编码器—解码器(seq2seq)
在自然语言处理的很多应用中,输入和输出都可以是不定长序列。以机器翻译为例,输入可以是一段不定长的英语文本序列,输出可以是一段不定长的法语文本序列,例如
- 英语输入:“They”、“are”、“watching”、“.”
- 法语输出:“Ils”、“regardent”、“.”
当输入和输出都是不定长序列时,我们可以使用编码器—解码器(encoder-decoder)或者seq2seq模型。
这两个模型本质上都用到了两个循环神经网络,分别叫做编码器和解码器。
标签:输出,编码器,机器翻译,动手,解码器,搜索,深度,序列,输入 From: https://www.cnblogs.com/caolanying/p/16768384.html