论文笔记 - ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation

摘要

文章提出了一个 任务导向 的无监督域自适应。认为不是所有的特征都需要对齐，而是根据任务的先验知识，将源域特征分解为与任务相关的要对齐的，和与任务无关的可忽略的。使域对齐主动服务于任务。

1 介绍

以前的 UDA 方法，第一是将源域和目标域整体对齐；第二，是对齐任务和分类任务并行。由于并行，所以缺少使 对齐任务 明确辅助于 分类任务 的机制，这使对齐任务可能会干扰分类任务。

文章提出 ToAlign 的 UDA 方法，使 对齐任务 精确服务于 分类任务。通过先验知识的指导下，使目标特征和积极特征（对任务作用大）对齐，避免消极特征（任务无关）的对齐。

2 相关工作

Grad-CAM : 能够帮我们定位网络对于某个类别的关注区域（即在该网络中，哪里的特征对任务影响力更大）

大致的做法如下：

​ 首先，CNN对于特征信息的提取是层数越高，提取的信息特征越抽象，语义越丰富，也就越是任务需要的特征。所以Grad-CAM使用最后一层的输出特征，它包含了任务最感兴趣的语义信息。那么，对于分类任务而言，不同类别所对应的语义信息是不同的，通过对类别 c的预测值 yc 进行反向传播，得到反传的梯度值，梯度越大，网络认为越重要。

公式：

• A代表某个特征层，在论文中一般指的是最后一个卷积层输出的特征层
• k代表特征层A中第k个通道(channel)
• c代表类别c
• A^k代表特征层A中通道k的数据
• αkc 代表针对A^k 的权重，就是反传的梯度

3 Task-Oriented Alignment for UDA

域对抗UDAs概述

和 DANN 一致的思想和过程

D 被优化使 Ld 最小，G 被优化使 Lcls 最小、Ld 最大

Ld :

面向任务的特征分解

​ 把源域的输入先走一遍搭建的基础网络，根据grad-cam，会计算反传梯度和最后一个特征层输出的乘积 fp 返回。经softmax激活后，这个就是加权后的特征，把它作为输入走需要的网络。一些计算的公式如下：

ToAlign

与基础的对抗训练相比，只是把 整体的源域特征 替换成了 积极特征 ，引导目标特征和积极特征对齐。

损失函数：

4. 实验

在两个不同的基础方法 DANNP 和 HDA 上应用 ToAlign 看效果，并分别在SUDA（单源无监督域自适应）、MUDA（多源无监督域自适应）、SSDA（半监督域自适应）问题上用了ResNet-50，ResNet-101 和ResNet-34 作为基础骨架。