Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ]
论文信息
论文标题：MetaAdapt: Domain Adaptive Few-Shot Misinformation Detection via Meta Learning
论文作者：Zhenrui Yue、Huimin Zeng、Yang Zhang、Lanyu Shang、Dong Wang
论文来源：2023 ACL
论文地址：download
论文代码：download
视屏讲解：click
1 介绍
出发点：域偏移导致的性能下降 ；
简介：为了解决数据稀缺性的问题，提出了一种基于元学习的领域自适应小样本错误信息检测方法。MetaAdapt 利用有限的目标例子来提供反馈，并指导从源领域到目标领域的知识转移。特别地，本文用多个源任务来训练初始模型，并计算它们与元任务的相似性得分。基于相似性得分，重新调整了元梯度，以自适应地从源任务中学习；
2 方法
模型框架： 
场景：
小样本元域适应：源域带标记数据+目标域 k-shot 带标记数据；
2.1 MetaAdapt
双层优化目标（训练目标）：
$\underset{\boldsymbol{\theta}}{\text{min}}\frac{1}{n} \sum^{n} \mathcal{L}\left(\mathcal{A} l g\left(\boldsymbol{\theta}, \operatorname{Sampler}\left(\boldsymbol{X}_{s}\right)\right), \boldsymbol{X}_{t}^{\prime}\right) \quad\quad(1)$
内部优化目标（源域）：
$\mathcal{A} l g(\boldsymbol{\theta}, \boldsymbol{X})=\boldsymbol{\phi}=\boldsymbol{\theta}-\alpha \nabla_{\boldsymbol{\theta}} \mathcal{L}(\boldsymbol{\theta}, \boldsymbol{X}) \quad\quad(2)$
任务梯度（task gradient）：
$\text{task gradient}\doteq \phi_{i}-\theta \quad\quad(3)$
其中：
$\begin{array}{l}\phi &= \frac{d \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)}{d \boldsymbol{\theta}}\\&=\quad \frac{d \mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X})}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}} \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)\end{array}\quad\quad(4)$
元梯度（meta gradient）：
$\frac{d \phi_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)$ Note：二阶导数假设：如果任务梯度和元梯度产生较高的相似性得分，则参数在内环和外环优化中都收敛到相同的方向；
假设源域上存在 $n$ 个任务，则得到 $n$ 个相似性得分：
$s_{i}=\operatorname{CosSim}\left(\phi_{i}-\boldsymbol{\theta}, \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)\right)\quad\quad(5)$
因此，计算相似性得分概率分布：
$s=\operatorname{softmax}\left(\left[\frac{s_{1}}{\tau}, \frac{s_{2}}{\tau}, \ldots, \frac{s_{n}}{\tau}\right]\right) \quad\quad(6)$
目标域参数的更新如下（任务相似性得分加权）：
$\boldsymbol{\theta}-\beta \sum_{i}^{n} s_{i} \cdot \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right) \quad\quad(7)$
2.2 算法
3 实验
监督训练
小样本元域适应
大模型
鲁棒性研究
消融研究
