首页 > 其他分享 >迁移学习(Deep CORAL)《Deep CORAL: Correlation Alignment for Deep Domain Adaptation》

迁移学习(Deep CORAL)《Deep CORAL: Correlation Alignment for Deep Domain Adaptation》

时间:2023-01-25 22:44:35浏览次数:70  
标签:Domain right frac top Deep mathbf quad CORAL left

论文信息

论文标题:Deep CORAL: Correlation Alignment for Deep Domain Adaptation
论文作者:Baochen Sun, Kate Saenko
论文来源:ECCV 2016
论文地址:download 
论文代码:download
引用次数:2203

1 介绍

  解决的问题:深度神经网络可以在大规模的标注数据中学校到特征,但是输入数据分布不同的时候泛化不是很好。因此提出了域适应来弥补性能。本文针对目标域没有标注数据情况,对 $\text{CORAL}$ 进行了改进。 

  $\text{CORAL}$ 方法用线性变换方法将源域和目标域分布的二阶统计特征进行对齐,对于无监督域适应效果很好。问题出在依赖的是线性变换,而且不是端到端训练。训练分为两步,首先提取特征,应用变换,然后训练 $\text{SVM}$ 分类。

2 方法

  模型框架:

  

  设源域训练样本 $D_{s}=\left\{\mathrm{x}_{\mathrm{i}}\right\}, \mathrm{x} \in \mathbb{R}^{\mathrm{d}}$ ,标签 $L_{s}=y_{i}, i \in\{1, \cdots, L\}$。无标签的目标域数据  $D_{T}=\left\{\mathrm{u}_{\mathrm{i}}\right\}, \mathrm{u} \in \mathbb{R}^{\mathrm{d}}$  。其中,$d$  为网络  $\mathrm{fc} 8$  的输出维度。令  $D_{S}^{i j}$、$D_{T}^{i j}$  分别表示第  $i$  个源域、目标域样本的第  $j$  维特征。$C_{S}\left(C_{T}\right)$  表示特征协方差矩阵。

  $\text{CORAL loss}$ 是源域和目标域特征的 协方差距离:

    $\ell_{C O R A L}=\frac{1}{4 d^{2}}\left\|C_{S}-C_{T}\right\|_{F}^{2}  \quad\quad\quad(1)$

  其中,

    $C_{S}=\frac{1}{n_{S}-1}\left(D_{S}^{\top} D_{S}-\frac{1}{n_{S}}\left(\mathbf{1}^{\top} D_{S}\right)^{\top}\left(\mathbf{1}^{\top} D_{S}\right)\right) \quad\quad\quad(2)$

    $C_{T}=\frac{1}{n_{T}-1}\left(D_{T}^{\top} D_{T}-\frac{1}{n_{T}}\left(\mathbf{1}^{\top} D_{T}\right)^{\top}\left(\mathbf{1}^{\top} D_{T}\right)\right)\quad\quad\quad(3)$

  其中,$\mathbf{1} $ 代表全 $1$ 的列向量。

  上述公式的梯度表达式:

    $\frac{\partial \ell_{C O R A L}}{\partial D_{S}^{i j}}=\frac{1}{d^{2}\left(n_{S}-1\right)}\left(\left(D_{S}^{\top}-\frac{1}{n_{S}}\left(\mathbf{1}^{\top} D_{S}\right)^{\top} \mathbf{1}^{\top}\right)^{\top}\left(C_{S}-C_{T}\right)\right)^{i j}\quad\quad\quad(4)$

    $\frac{\partial \ell_{C O R A L}}{\partial D_{T}^{i j}}=-\frac{1}{d^{2}\left(n_{T}-1\right)}\left(\left(D_{T}^{\top}-\frac{1}{n_{T}}\left(\mathbf{1}^{\top} D_{T}\right)^{\top} \mathbf{1}^{\top}\right)^{\top}\left(C_{S}-C_{T}\right)\right)^{i j}\quad\quad\quad(5)$

  损失函数:

    $\ell=\ell_{C L A S S .}+\sum\limits _{i=1}^{t} \lambda_{i} \ell_{C O R A L}\quad\quad\quad(6)$

标签:Domain,right,frac,top,Deep,mathbf,quad,CORAL,left
From: https://www.cnblogs.com/BlairGrowing/p/17067133.html

相关文章