首页 > 其他分享 >迁移学习(CLDA)《CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation》

迁移学习(CLDA)《CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation》

时间:2023-08-31 20:00:09浏览次数:56  
标签:Domain right CLDA Semi text tilde 对齐 mathcal left

Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ]

论文信息

论文标题:CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation
论文作者:Ankit Singh
论文来源:NeurIPS 2021
论文地址:download 
论文代码:download
视屏讲解:click

1 简介

  动机:半监督导致来自标记源和目标样本的监督只能确保部分跨域特征对齐,导致目标域的对齐和未对齐子分布形成域内差异;

  贡献:

    • 提出基于质心的对比学习框架;  
    • 提出基于类级的实例对比学习框架;  

2 方法

2.1 整体框架

  

2.2 源域监督训练

  源域、目标域监督损失:

    $\mathcal{L}_{\text {sup }}=-\sum_{k=1}^{K}\left(y^{i}\right)_{k} \log \left(\mathcal { F } \left(\mathcal{G}\left(\left(x_{l}^{i}\right)\right)_{k}\right.\right.$

2.3 域间对比对齐

  基于 $\text{mini-batch}$ 的源域质心(类级):

    $C_{k}^{s}=\frac{\sum_{i=1}^{i=B} \mathbb{1}_{\left\{y_{i}^{s}=k\right\}} \mathcal{F}\left(\mathcal{G}\left(x_{i}^{s}\right)\right)}{\sum_{i=1}^{i=B} \mathbb{1}_{\left\{y_{i}^{s}=k\right\}}}$

  动量更新源域质心:

    $C_{k}^{s}=\rho\left(C_{k}^{s}\right)_{s t e p}+(1-\rho)\left(C_{k}^{s}\right)_{s t e p-1}$

  无标签目标域样本的伪标签:

    $\hat{y_{i}^{t}}=\operatorname{argmax}\left(\left(\mathcal{F}\left(\mathcal{G}\left(x_{i}^{t}\right)\right)\right)\right.$

  域间对比对齐(类级):

    $\mathcal{L}_{c l u}\left(C_{i}^{t}, C_{i}^{s}\right)=-\log \frac{h\left(C_{i}^{t}, C_{i}^{s}\right)}{h\left(C_{i}^{t}, C_{i}^{s}\right)+\sum_{\substack{r=1 \\ q \in\{s, t\}}}^{K} \mathbb{1}_{\{r \neq i\}} h\left(C_{i}^{t}, C_{r}^{q}\right)}$

  其中:

    $h(\mathbf{u}, \mathbf{v})=\exp \left(\frac{\mathbf{u}^{\top} \mathbf{v}}{\|\mathbf{u}\|_{2}\|\mathbf{v}\|_{2}} / \tau\right)$

2.4 实例对比对齐

  目的:使用实例对比学习在目标域中形成稳定和正确的集群质心,在实例对比对齐中,对输入和强增强的未标记图像的一致预测迫使未对齐的目标子分布从低密度区域向对齐的分布移动,确保了在未标记的目标分布中更好的聚类,在使用实例对比对齐和域间对比对齐后,通过如 Table 5 验证了这一点。

  强数据增强:

    $\tilde{x}_{i}^{t}=\psi\left(x_{i}^{t}\right)$

  实例对比损失:

    $\mathcal{L}_{i n s}\left(\tilde{x}_{i}^{t}, x_{i}^{t}\right)=-\log \frac{h\left(\mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{i}^{t}\right), \mathcal{F}\left(\mathcal{G}\left(x_{i}^{t}\right)\right)\right)\right.}{\sum_{r=1}^{B} h\left(\mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{i}^{t}\right)\right), \mathcal{F}\left(\mathcal{G}\left(x_{r}^{t}\right)\right)\right)+\sum_{r=1}^{B} \mathbb{1}_{\{r \neq i\}} h\left(\mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{i}^{t}\right)\right), \mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{r}^{t}\right)\right)\right)}$

2.5 训练目标

    $\mathcal{L}_{\text {tot }}=\mathcal{L}_{\text {sup }}+\alpha * \mathcal{L}_{\text {clu }}+\beta * \mathcal{L}_{\text {ins }}$

3 总结

  略

标签:Domain,right,CLDA,Semi,text,tilde,对齐,mathcal,left
From: https://www.cnblogs.com/BlairGrowing/p/17323915.html

相关文章

  • 论文解读(AdSPT)《Adversarial Soft Prompt Tuning for Cross-Domain Sentiment Analysi
    Note:[wechat:Y466551|可加勿骚扰,付费咨询]论文信息论文标题:AdversarialSoftPromptTuningforCross-DomainSentimentAnalysis论文作者:HuiWu、XiaodongShi论文来源:2022ACL论文地址:download 论文代码:download视屏讲解:click1介绍 动机:直接使用固定的预定义模......
  • GBU816-ASEMI功率整流器件GBU816
    编辑:llGBU816-ASEMI功率整流器件GBU816型号:GBU816品牌:ASEMI芯片个数:4封装:GBU-4恢复时间:>50ns工作温度:-55°C~150°C浪涌电流:200A正向电流:8A反向耐压:1600V正向压降:1.10V引脚数量:4GBU816特性:ASEMI品牌GBU816是采用工艺芯片,该芯片具有良好的稳定性及抗冲击能力,能够持续......
  • GBU814-ASEMI功率整流器件GBU814
    编辑:llGBU814-ASEMI功率整流器件GBU814型号:GBU814品牌:ASEMI封装:GBU-4恢复时间:>50ns正向电流:8A反向耐压:1400V芯片个数:4引脚数量:4类型:整流桥、功率整流器件特性:功率整流器件、高耐压整流桥浪涌电流:200A正向压降:1.10V封装尺寸:如图工作温度:-55°C~150°CGBU814特性超快速切换,实现高效率......
  • 论文解读(DEAL)《DEAL: An Unsupervised Domain Adaptive Framework for Graph-level Cl
    Note:[wechat:Y466551|可加勿骚扰,付费咨询]论文信息论文标题:DEAL:AnUnsupervisedDomainAdaptiveFrameworkforGraph-levelClassification论文作者:NanYin、LiShen、BaopuLi、MengzhuWang、论文来源:2023aRxiv论文地址:download 论文代码:download视屏讲解:click1......
  • 论文解读(PERL)《PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextua
    Note:[wechat:Y466551|可加勿骚扰,付费咨询]论文信息论文标题:PERL:Pivot-basedDomainAdaptationforPre-trainedDeepContextualizedEmbeddingModels论文作者:EyalBen-David、CarmelRabinovitz、RoiReichart论文来源:2020TACL论文地址:download 论文代码:download视屏......
  • 论文解读(TAMEPT)《A Two-Stage Framework with Self-Supervised Distillation For Cros
     论文信息论文标题:ATwo-StageFrameworkwithSelf-SupervisedDistillationForCross-DomainTextClassification论文作者:YunlongFeng,BohanLi,LiboQin,XiaoXu,WanxiangChe论文来源:2023aRxiv论文地址:download 论文代码:download视屏讲解:click1介绍 动......
  • ASEMI-APT80DQ40BG二极管快速恢复特性及应用
    编辑-Z本文主要介绍了APT80DQ40BG二极管的快速恢复特性以及应用。首先,对该二极管的结构和工作原理进行了简要介绍。接着,详细阐述了其快速恢复特性及其在电源、逆变器和电动汽车等领域的应用。最后,对APT80DQ40BG二极管的优点和未来发展进行了总结归纳。 1、APT80DQ40BG二极管的结构......
  • ASEMI快恢复二极管APT80DQ60BG特点应用
    编辑-ZAPT80DQ60BG参数描述:型号:APT80DQ60BG最大峰值反向电压(VRRM):600V最大直流阻断电压VR(DC):600V平均整流正向电流(IF):80A非重复峰值浪涌电流(IFSM):600A工作接点温度和储存温度(TJ,Tstg):-55to+150℃最大热阻(RθJC):0.8℃/W正向电压(VF):1.3V最大瞬时反向电流(IR):10uA最大反向恢......
  • ASEMI-APT80DQ40BG二极管快速恢复特性及应用
    编辑-Z本文主要介绍了APT80DQ40BG二极管的快速恢复特性以及应用。首先,对该二极管的结构和工作原理进行了简要介绍。接着,详细阐述了其快速恢复特性及其在电源、逆变器和电动汽车等领域的应用。最后,对APT80DQ40BG二极管的优点和未来发展进行了总结归纳。 1、APT80DQ40BG二极管的......
  • ASEMI快恢复二极管APT80DQ60BG特点应用
    编辑-ZAPT80DQ60BG参数描述:型号:APT80DQ60BG最大峰值反向电压(VRRM):600V最大直流阻断电压VR(DC):600V平均整流正向电流(IF):80A非重复峰值浪涌电流(IFSM):600A工作接点温度和储存温度(TJ,Tstg):-55to+150℃最大热阻(RθJC):0.8℃/W正向电压(VF):1.3V最大瞬时反向电流(IR):10u......