Motivation
- Facebook 的 MetaICL,牛逼就对了;
- 对 LM 针对 ICL 进行微调(而不是特定的任务);
- 去除了自然语言的 Template,使用更直接的方式,排除了 Template 设计对 output distribution 造成的影响,让模型自己推测要进行的任务(所以感觉这种方式无法进行 Zero-Shot 了?):
- $$former:\;This\;movie \;is \;funny, \;so \;my \;altitude \;towards \;this \;movie \;is <positive>$$
- $$now:\;Iput: \;This \;movie\; is \;funny. \;output:\;<positive>$$
- Noisy Channel 模式;(这里应该有个链接但是相关的文章我还没看 标签:funny,Learning,movie,Context,Learn,Template,MetaICL,rightarrow From: https://www.cnblogs.com/metaz/p/16800452.html