首页 > 其他分享 >论文解读(UDALM)《UDALM: Unsupervised Domain Adaptation through Language Modeling 》

论文解读(UDALM)《UDALM: Unsupervised Domain Adaptation through Language Modeling 》

时间:2023-08-17 21:14:20浏览次数:42  
标签:Domain mathbf Language 训练 Unsupervised 论文 through UDALM

Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ]

论文信息

论文标题:UDALM: Unsupervised Domain Adaptation through Language Modeling 
论文作者:Constantinos Karouzos, Georgios Paraskevopoulos, Alexandros Potamianos
论文来源:2021 aRxiv
论文地址:download
论文代码:download
视屏讲解:click

1 介绍 

  动机:探索了无监督域自适应(UDA)中针对下游任务的预训练语言模型的;

  摘要:引入了 UDALM,使用分类和屏蔽语言模型损失,可以以鲁棒和样本效率的方式适应目标域分布;

  贡献:

    • 提出了 UDALM ,一个基于多任务学习的 简单、健壮的无监督域适应过程下游 Bert 模型;
    • 在 亚马逊评论基准数据集 分类为 SOTA;
    • 基于理论概念和经验观察,探讨了距离与目标误差的关系,并总结了领域对抗训练的理论;

2 方法

模型框架:

  

2.1 训练步骤

  Step1:Fig.1a 在大规模数据集上进行 MLM 、NSP 预训练;

  Step2:Fig.1b 使用上述预训练好的模型在 目标域内进行 MLM 训练;

  Step3:在源域数据上进行监督训练,在目标域数据上进行 MLM 训练;

  Step3 的损失函数:

    $L(\mathbf{s}, \mathbf{t})=\lambda L_{C L F}(\mathbf{s})+(1-\lambda) L_{M L M}(\mathbf{t})$

  其中:

    $\lambda=\frac{n}{n+m}$

3 实验

结果

  

标签:Domain,mathbf,Language,训练,Unsupervised,论文,through,UDALM
From: https://www.cnblogs.com/BlairGrowing/p/17638671.html

相关文章

  • 论文解读(CBL)《CNN-Based Broad Learning for Cross-Domain Emotion Classification》
    Note:[wechat:Y466551|付费咨询,非诚勿扰]论文信息论文标题:CNN-BasedBroadLearningforCross-DomainEmotionClassification论文作者:RongZeng,HongzhanLiu,SanchengPeng,LihongCao,AiminYang,ChengqingZong,GuodongZhou论文来源:2023aRxiv论文地址:download ......
  • 论文解读(ECACL)《ECACL: A Holistic Framework for Semi-Supervised Domain Adaptation
     Note:[wechat:Y466551|付费咨询,非诚勿扰]论文信息论文标题:ECACL:AHolisticFrameworkforSemi-SupervisedDomainAdaptation论文作者:KaiLi,ChangLiu,HandongZhao,YulunZhang,Y.Fu论文来源:2021ICCV论文地址:download 论文代码:download视屏讲解:click1介绍 ......
  • the-c-programming-language-reading-notes
    TheCProgrammingReadingNotesCreated:2023-06-06T15:59+08:00Published:2023-08-16T12:14+08:00Categories:C|ReadingNotes我看的是第二版,解决了初学C语言和OS课程的时候的一些疑惑,比如:extern的使用,原来function和object没有什么区别,比如下面的代码,将a和......
  • CLIP: Learning Transferable Visual Models From Natural Language Supervision
    CLIP:LearningTransferableVisualModelsFromNaturalLanguageSupervision论文链接:https://arxiv.org/pdf/2103.00020.pdf代码链接:https://github.com/openai/CLIPblog链接:https://openai.com/research/clipCLIP的英文全称是ContrastiveLanguage-ImagePre-trainin......
  • LLMOps(Large Language Model Operations)简介
    LLMOps是一个新兴领域,专注于管理大型语言模型的整个生命周期,包括数据管理、模型开发、部署和伦理等方面。HuggingFace、Humanloop和NVIDIA等公司正在引领这一领域的发展。HuggingFace的Transformers库已成为构建和微调各种NLP任务的大型语言模型的首选开源库。类似地,Humanloop......
  • Learning Transferable Visual Models From Natural Language Supervision
    LearningTransferableVisualModelsFromNaturalLanguageSupervision作者:AlecRadford*1JongWookKim*1ChrisHallacy1AdityaRamesh1GabrielGoh1SandhiniAgarwal1GirishSastry1AmandaAskell1PamelaMishkin1JackClark1GretchenKrueger1Ily......
  • 论文解读(Moka‑ADA)《Moka‑ADA: adversarial domain adaptation with model‑orient
     Note:[wechat:Y466551|可加勿骚扰,付费咨询]论文信息论文标题:Moka‑ADA:adversarialdomainadaptation withmodel‑orientedknowledgeadaptation forcross‑domainsentimentanalysis论文作者:MaoyuanZhangXiangLiFeiWu论文来源:2023aRxiv论文地址:download 论......
  • 论文解读(MCD)《Maximum Classifier Discrepancy for Unsupervised Domain Adaptation》
    Note:[wechat:Y466551|付费咨询,非诚勿扰]论文信息论文标题:MaximumClassifierDiscrepancyforUnsupervisedDomainAdaptation论文作者:KuniakiSaito,KoheiWatanabe,Y.Ushiku,T.Harada论文来源:2018CVPR论文地址:download论文代码:download视屏讲解:click1介绍 ......
  • 论文解读(DWL)《Dynamic Weighted Learning for Unsupervised Domain Adaptation》
    [Wechat:Y466551|付费咨询,非诚勿扰]论文信息论文标题:DynamicWeightedLearningforUnsupervisedDomainAdaptation论文作者:JihongOuyang、ZhengjieZhang、QingyiMeng论文来源:2023aRxiv论文地址:download 论文代码:download视屏讲解:click1介绍  2方法2.1......
  • 自然语言处理(Natural Language Processing,NLP)
    自然语言处理(NaturalLanguageProcessing,NLP)是人工智能领域的一个重要分支,旨在使计算机能够理解、处理和生成人类自然语言。NLP的目标是让计算机能够像人类一样有效地理解和交流,从而实现更自然、更智能的人机交互。NLP的理解概括:文本理解和分析:NLP技术能够从文本中提取有价值......