首页 > 其他分享 >论文笔记 - Noisy Channel Language Model Prompting for Few-Shot Text Classification

论文笔记 - Noisy Channel Language Model Prompting for Few-Shot Text Classification

时间:2022-10-18 21:25:34浏览次数:52  
标签:Noise Shot Classification Language shift Direct test distribution Channel

Direct && Noise Channel

进一步把语言模型推理的模式分为了:

  1. 直推模式(Direct);
  2. 噪声通道模式(Noise channel)。

直观来看:

Direct 模式

Noise Channel 模式

也就是说把数据和标签调换了位置。

公式推导

Direct:

$$y_{test}=argmax\;P(y_{test}|\theta,c,x_{test})\;\;\;c=context$$

Noise Channel:

$$y_{test}=argmax\;P(y)P(x_{test}|\theta,c',y)\;\;\;c'=context_{reversed}$$

注意这个式子 y 也就是条件是变化的,反而是 $x_test$ 固定了 。

为什么 Noise Channel 性能更好呢:

不太严谨的理解:由于 $y$ 维度比较小(一般也就几个类别)容易受到 distribution shift 的影响,x (由于维度比较大)稍微的变化会造成 output 的 distribution shift(比方说比提供的 prompt 全是 positive 的,你预测一个 $x_test$ 也会有 positive 的 bias)。但是把 x 作为输出,x 的 distribution shift 对 x 出现的概率影响不大,也就是 robust 变强了。

 

标签:Noise,Shot,Classification,Language,shift,Direct,test,distribution,Channel
From: https://www.cnblogs.com/metaz/p/16804223.html

相关文章