MCTL

MCTL流行准则引导的迁移学习

原理：

通过源域和目标域的投影矩阵P寻找投影的公共子空间，在子空间中，利用源域数据和流行准则求解生成矩阵Z，利用源域数据生成一个中间域数据（以无监督的方式求解与源域数据具有相似分布的生成数据），并希望保持真实目标域数据与生成域数据之间的内在结构和分布差异最小化。如果生成的数据与真实目标域具有相似的局部结构，满足流行准则，说明可以利用源域数据来生成目标域的数据，从而得出源域与目标域具有相似分布的结论。

若满足流行准则，则完成了域适应或分布对齐

公共子空间下，希望利用流行准则作为域差异度量，生成的中间域DGT和真实目标域DT的分布保持一致

流行准则可以有效减小局部域差异

MCTL模型的生成矩阵中嵌入了低秩约束（LRC），从而保证源域数据在生成过程中可以呈现出近似的块对角结构

利用LRC可以保证局部结构的流行准则不失真

旨在以源域数据为基础，生成与真实目标域数据分布相似的中间域，流行准则采用新的局部生成差异度量方法（LDGM），可以有效对齐局部结构，采用MMD作为全局生成差异度量（GGDM）

模型 ：

• 基于流行准则的LGDM（局部生成差异度量）损失

  满足：

  就说明中间域和目标域的分布一致，从而完成了域迁移

  Φ表示线性组合系数矩阵 ，D是对角矩阵

  令

  ​

  D是对角矩阵

• GGDM（全局生成差异度量）损失，用于最小化生成的中间域与真实目标域之间的边缘分布来度量全局域差异

  （为了减少生成域数据与真实目标数据之间的分布不匹配）

  

  利用投影矩阵P来寻找源域和目标域的潜在公共子空间

  DGT、DT表示生成域和目标域的分布

  

  

• LRC正则化（低秩约束），为了保持全局结构，保证了不同域数据在域生成过程中保持良好对齐

  损失函数来解释生成的目标域数据和真实目标域的相关性

  采用生成转移矩阵Z的低秩结构作为增强域相关性的一个正则化项

MCTL目标函数：

τ和λ1是超参数

有Φ和Z两个变量，采用交替优化（固定一个变量求解另一个）

固定Z时，采用特征值分解求解Φ

固定Φ时，使用不精确的增广拉格朗日乘数（IALM）和梯度下降法求解Z