转自：https://kexue.fm/archives/7867
以T5的预训练为例，其包含的无监督和有监督两部分都改成了Seq2Seq模式：
无监督部分
使用完形填空的形式
输入：明月几时有，[M0] 问青天，不知[M1]，今夕是何年？我欲[M2]归去，又恐琼楼玉宇，高处[M3]；起舞[M4]清影，何似在人间。
输出：[M0]把酒[M1]天上宫阙[M2]乘风[M3]不胜寒[M4]弄
有监督部分
收集了常见的NLP监督任务数据，并也统一转化为SeqSeq任务来训练。
比如情感分类可以这样转化：
输入：识别该句子的情感倾向：这趟北京之旅我感觉很不错。
输出：正面
主题分类可以这样转化：
输入：下面是一则什么新闻？ 八个月了，终于又能在赛场上看到女排姑娘们了。
输出：体育
阅读理解可以这样转化：
输入：阅读理解：特朗普与拜登共同竞选下一任美国总统。根据上述信息回答问题：特朗普是哪国人？
输出：美国
可以看到，这种转化跟GPT3、PET的思想都是一致的，都是希望用文字把我们要做的任务表达出来，然后都转化为文字的预测，总的来说模型够大、数据够多以及有监督预训练都是T5成功的关键因素，“万事皆可Seq2Seq”则提供了有效地融合这些关键因素的方案。
标签：输出,Seq2Seq,转化,监督,特朗普,万事,输入 From： https://www.cnblogs.com/ying-chease/p/17176497.html