Akbari, Hassan, et al. "Vatt: Transformers for multimodal self-supervised learning from raw video, audio and text." Advances in Neural Information Processing Systems 34 (2021): 24206-24221.
这篇论文针对如何利用大规模、无标签的多模态数据赋能Transformer问题,提出了一个使用Transformer架构从无标签数据中学习多模态表示的框架。现有的Transformer架构大多是应用在单模态及监督训练中,从而忽略了现实中更丰富的多模态数据,限制了它的应用范围。作者先分别研究三个模态不同的Transformer,以及尝试了共享一个Transformer的方法,然后通过对比学习的方法建立起不同模态的联系,进行自监督训练。
本文的优点在于作者在扩展中直接让三个模态共享同一个Transformer骨干网络,共享权重,经过实验验证,可以取得与使用不同模态骨干网络相似的结果,可以降低模型的复杂性,提高其泛化性。并提出了一个DeepToken方法,随机的将输入的视频和音频标记进行丢弃,从而降低了Transformer 的训练复杂度。
本文的不足在于无法处理缺失视频模态的数据,因为其模态的联系对齐是靠视频模态进行的。并且DropToken中是随机丢弃的,虽然可以降低训练的复杂性,但也可能会降低精度和性能,比如丢弃一些比较重要的特征,是不是可以对这个随机丢弃做一个限制。
2022年12月16日
标签:模态,Transformer,Transformers,21,训练,丢弃,共享,NeurIPS From: https://www.cnblogs.com/FBprivacy/p/16987785.html