首页 > 其他分享 >迁移学习(MEnsA)《MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Poi

迁移学习(MEnsA)《MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Poi

时间:2023-04-25 09:48:29浏览次数:56  
标签:Multi right Clouds MEnsA frac mathcal quad left lambda

论文信息

论文标题:MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Point Clouds
论文作者:Ashish Sinha, Jonghyun Choi
论文来源:2023 CVPR
论文地址:download 
论文代码:download
视屏讲解:click

1 前言

  单目标域和多目标域

2 介绍

  单目标域和多目标域的差异:

  

3 方法

3.1 整体框架

  

3.2 域 mixup 模块

  Mixup 模块:

    $F_{i}^{m}=\lambda F_{s}+(1-\lambda) F_{T_{i}}  \quad\quad(1)$

    $L_{i}^{m}=\lambda L_{s}+(1-\lambda) L_{T_{i}}   \quad\quad(2)$

  线性差值的好处:

    • 有助于创建一个连续域不变的潜在空间,使混合特征能够映射到源域和目标域的潜在空间之间的位置,这种连续的潜在空间对于跨多个域的域不变推理至关重要;
    • 作为一个有效的正则化器,帮助领域分类器 $D$ 在预测混合特征嵌入 $F_{mi}$ 的领域(源或目标) 的软分数方面有所提高;

3.3 对比

  

  基线:【多目标域场景下】

    • 形式:单源域和单目标域线性差值;
    • 问题:存在灾难性遗忘问题,只专注于学习源域和一个目标域之间的域不变特征,忽略了跨多个域的共享特征;

  本文:单源域 和 多目标域集成线性差值;

    • 形式:$F_{m}^{M}=\frac{1}{n} \sum_{i=1}^{n} F_{i}^{m}  \quad\quad(3)$;
    • 目的:旨在捕获跨多个域共享的域不变特征,减轻域间的冲突信息,提高泛化性;

3.4 训练目标

  总损失:

    $\mathcal{L}=\log \left(\sum\left(e^{\gamma\left(\mathcal{L}_{c l s}+\eta \mathcal{L}_{d c}+\zeta \mathcal{L}_{a d v}\right)}\right)\right) / \gamma  \quad\quad(4)$

  其中:

    源域分类损失: $\mathcal{L}_{c l s}  =\mathcal{L}_{C E}\left(C\left(F_{s}\right), y_{s}\right)  \quad\quad(4)$

    单源域单目标域鉴别损失:$\mathcal{L}_{d c}  =\mathcal{L}_{C E}\left(D\left(F_{s}\right), L_{s}\right)+\mathcal{L}_{C E}\left(D\left(F_{T_{i}}, L_{T_{i}}\right)\right)    \quad\quad(5)$

    对抗损失:$\mathcal{L}_{a d v} =\lambda_{1} \mathcal{L}_{m m d}+\lambda_{2} \mathcal{L}_{d c}+\lambda_{3} \mathcal{L}_{\text {mixup }}  \quad\quad(6)$

  关于对抗损失:

    MMD 损失:$\mathcal{L}_{m m d}=\mathcal{L}_{r b f}\left(C\left(F_{s}\right), F_{T_{i}}, \sigma\right)    \quad\quad(7)$

    线性差值域鉴别损失:$\mathcal{L}_{\text {mixup }}=\mathcal{L}_{C E}\left(D\left(F_{m}^{M}\right), L_{i}^{m}\right)  \quad\quad(8)$ 

 Note:

  线性差值:

    $F_{m}^{\text {factor }}=\lambda F_{s}+\sum_{i=1}^{n} \frac{1-\lambda}{n} F_{T_{i}}$

    $F_{m}^{\text {concat }}=\left[\lambda F_{s}, \frac{1-\lambda}{n} F_{T_{1}}, \ldots, \frac{1-\lambda}{n} F_{T_{n}}\right]$

    $.L_{m}^{\text {concat }}=[\lambda, 2 \frac{1-\lambda}{n}, \ldots, N \frac{1-\lambda}{n}]$

    $F_{m}^{T}=\lambda F_{T_{1}}+(1-\lambda) F_{T_{2}}$

    $L_{m}^{T}=\lambda L_{T_{1}}+(1-\lambda) L_{T_{2}} $

 

标签:Multi,right,Clouds,MEnsA,frac,mathcal,quad,left,lambda
From: https://www.cnblogs.com/BlairGrowing/p/17348882.html

相关文章

  • [ABC212D] Querying Multiset
    2023-01-08题目传送门翻译难度&重要性(1~10):1题目来源AtCoder题目算法模拟,优先队列解题思路用优先队列存储下加入的元素编号,对操作\(2\)把所有的\(k\)存在一起。完成状态已完成易错点注意,操作\(2\)只对已加入的编号\(+k\)。所以在新加入编号时要先拿编号减去......
  • DIA-48448: This command does not support multiple ADR homes
    在使用adrci命令清空日志时遇到错误:“DIA-48448:ThiscommanddoesnotsupportmultipleADRhomes”如何解决呢?如下所示$ adrciADRCI: Release 19.0.0.0.0 - Production on Mon Apr 24 17:13:32 2023Copyright (c) 1982, 2019, Oracle and/or its affiliate......
  • Validating multiple properties with FluentValidation(FluentValidator多个相关属性
    Sourcelink:ValidatingmultiplepropertieswithFluentValidation|TheCodetripper(wordpress.com)publicclassFooBarRequestValidator:AbstractValidator<FooBarRequest>{privatereadonlyIRepositoryrepository;publicFooBarRequestValid......
  • filebeat Configure 篇章—Input—Manage multiline messages
    Input——Managemultilinemessages ThefilesharvestedbyFilebeatmaycontainmessagesthatspanmultiplelinesoftext.Forexample,multilinemessagesarecommoninfilesthatcontainJavastacktraces.Inordertocorrectlyhandlethesemultilineeven......
  • [CMU 15-418] Lecture2 A Modern Multi-Core Processor
    本系列文章为CMU15-418/15-618:ParallelComputerArchitectureandProgramming,Fall2018课程学习笔记课程官网:CMU15-418/15-618:ParallelComputerArchitectureandProgramming参考文章:CMU15-418notes相关资源与介绍:CMU15-418/StanfordCS149:ParallelComput......
  • A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms
    介绍多视图立体重建是计算机视觉领域中一个非常重要的研究方向,它可以应用于三维建模、虚拟现实、机器人导航等多个领域。然而,目前多视图立体重建领域存在着很多问题和挑战,例如精度不高、完整性不足等。因此,作者希望通过本文对当前主流算法进行比较和评估,为该领域的进一步发展提供......
  • hive出现MetaException(message:Metastore contains multiple versions (2)异常
    1、使用Spark操作Hive表时发生的报错2、错误日志23/04/1908:49:28WARNmetadata.Hive:Failedtoaccessmetastore.Thisclassshouldnotaccessedinruntime.org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateor......
  • 如何在 .NET Core WebApi 中处理 MultipartFormDataContent 中的文件
    在上一篇文章(如何在.NETCoreWebApi中处理MultipartFormDataContent)中,我们有描述过如何以最简单的方式在.NETCoreWebApi中处理MultipartFormDataContent。基于框架层面的封装,我们可以快速的从Request.Form中分别拿到文件内容和文本内容,但是这些默认的解析方式都是建......
  • M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missi
     摘要 提出SimCLR,用于视觉表征的对比学习,简化了最近提出的对比自监督学习算法,为了理解是什么使对比预测任务能够学习有用的表示,系统研究了提出框架的主要组成部分,发现:(1)数据增强的组成在定义有效的预测任务中起着关键的作用(2)在表示和对比损失之间引入一个可学习的非线性变换......
  • 4月19日map和multimap以及AVL树的学习
    map的插入比较繁琐,但是用方括号运算符就可以直接插入。也可以用方括号查找键的位置并且用它的返回值来修改值。同样map也可以用迭代器来遍历。map头文件中还有一个multimap关键字,他与map不同点在于它可以存入键相同的键值对,以应对某些情况。给定一个单词列表 words 和一个整数......