首页 > 其他分享 >论文笔记 - MetaICL: Learning to Learn In Context

论文笔记 - MetaICL: Learning to Learn In Context

时间:2022-10-17 21:02:03浏览次数:64  
标签:funny Learning movie Context Learn Template MetaICL rightarrow

Motivation

  • Facebook 的 MetaICL,牛逼就对了;
  • 对 LM 针对 ICL 进行微调(而不是特定的任务);
  • 去除了自然语言的 Template,使用更直接的方式,排除了 Template 设计对 output distribution 造成的影响,让模型自己推测要进行的任务(所以感觉这种方式无法进行 Zero-Shot 了?):
    • $$former:\;This\;movie \;is \;funny, \;so \;my \;altitude \;towards \;this \;movie \;is <positive>$$
    • $$now:\;Iput: \;This \;movie\; is \;funny. \;output:\;<positive>$$
  • Noisy Channel 模式;(这里应该有个链接但是相关的文章我还没看

    标签:funny,Learning,movie,Context,Learn,Template,MetaICL,rightarrow
    From: https://www.cnblogs.com/metaz/p/16800452.html

相关文章