多模态是近年来深度学习圈子里的热点话题，最近的sora、去年的sam等。
究竟何为多模态？而多模态中又有哪些难题呢？（可参考https://zhuanlan.zhihu.com/p/582762843?utm_id=0）
多模态应当指多种异构数据协同参与，实现任务目的。多模态主要研究：1.特征对齐 2.特征交互 3.特征共性。
特征对齐是指异构数据特征在时间、空间等维度上存在对映关系，建立这样的对映关系就是对齐。
特征对齐相当重要，尤其是在进行特征交互、跨模态这样的操作。因为特征交互需要做一些对映的加性、乘性操作，而将无法对映的元素进行交互，只会得到误差。跨模态虽没有这样的要求，但是实验证明，特征对齐总是好的。
一、DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
这篇文章是典型的多模态，将雷达数据、相机数据特征融合作目标检测。
多模态模型要比单模态数据需要更多的样本(维度灾难问题),通过数据增广等手段可以解决该问题，但是增广后的数据往往是不对齐的！
因此，作者提出了一种增广后逆增广的手段。
此外，作者还融入了交叉注意力机制，这种机制很好地阐述两种异常数据的交互作用。
二、
标签：模态,增广,特征,对映,融合,传感器,对齐,数据 From： https://www.cnblogs.com/xmds/p/18125659