0. 前言

• 相关资料：

  • arxiv

  • github(官方实现，其他实现)

  • 论文解读(作者解读，知乎)

• 论文基本信息：

• 领域：自监督表示学习

• 发表时间：arxiv 2022（2022.2.7）

1.针对的问题

　　BEiT和ViT中的方法法均使用单一ViT结构同时进行编码和解码，将表征学习和代理任务实现耦合在一起。因此，只探索了ViT的部分编码和表示学习能力，限制了表示质量。本文希望通过解决从图像中的可见块估计掩码块这一代理任务来预训练编码器，分离表征学习和代理任务的实现，提高表征学习能力，并相应地帮助下游任务。

2.方法

　　模型框架如下，包括一个编码器、一个带有一致性约束的潜在上下文回归器和一个解码器。编码器只接受可见块作为输入，并学习其表征。潜在上下文回归器根据可见块的表征预测被掩码部分的表征，同时约束预测出来的掩码块表征和编码器得到的掩码块表征一致，最后通过解码器将预测表征映射到目标上。

　　整个框架被分成了三个部分，(a)把可见图像块输入到编码器中，抽取可见图像块的表征。(b) 在编码表征空间中做预测，使得掩码图像块的表征和从可见图像块预测得到表征一致。(c) 将掩码图像块的表征输入到解码器中，预测掩码图像块。通过这样的设计，作者希望编码模块 (a) 和任务解决部分 (b，c) 分离；把掩码图像建模任务转成掩码表征建模任务 (b) ，在编码表征空间中，完成预测任务。

　　计算图如下：

　　(a)为CAE的计算图，(b)为BEiT的计算图，(c)为DAE的计算图。浅蓝色部分代表损失函数。(a)编码器F接收可见块X_v并输出它们的潜在表示Z_v。潜在上下文回归器H预测了Zv中掩码块的潜在表征Z_m。该解码器预测了Zm中掩码块的目标Y_m。l_z和l_y是损失函数。在训练过程中，不计算梯度。Q_m代表掩码块。

3.与其他模型对比

　　BEiT把可见图像块的颜色信息和掩码图像块掩码 token (不包含掩码图像块的颜色信息) ，输入到ViT中，然后ViT输出通过一个线性层来做预测。尽管可以把 ViT 称为编码器，不过，ViT 负责了两项任务：表征编码，以及预测掩码图像块的任务，没有把这两个任务分离。换句话中，ViT也在不停的解决任务 (也就是预测任务)。正因为如此，BEiT 预训练得到 ViT 语义表征能力一般，从其 linear probing 可以看到。

　　MAE 只把可见图像块输入到编码器中，然后编码器的输出的可见图像块的表征和掩码图像块的掩码 token，输入到由 self-attention 组成的解码器中去。这样的结构比 BEiT 有了进步，但是解码器中可见图像块的表征可能会进一步更新，所以表征学习的任务没有由编码器完全负责，所以 MAE 得到的编码器能力也不足够好。

　　相比较，CAE尽量做到编码和MIM任务分离。除此，CAE在编码表征空间中做预测。