A Survey of Multimodal Large Language Model from A Data-centric Perspective

本文是LLM系列文章，针对《A Survey of Multimodal Large Language Model from A Data-centric Perspective》的翻译。

以数据为中心的多模态大型语言模型综述

• 摘要
• 1 引言
• 2 背景和分类
• 3 数据收集和处理
• 4 以数据为中心的预训练
• 5 以数据为中心的自适应
• 6 评估
• 7 未来方向
• 8 结论

摘要

多模态大型语言模型 （MLLM） 通过集成和处理来自多种模态（包括文本、视觉、音频、视频和 3D 环境）的数据来增强标准大型语言模型的功能。数据在这些模型的开发和改进中起着关键作用。在这项调查中，我们从以数据为中心的角度全面回顾了有关 MLLM 的文献。 具体来说，我们探索了在 MLLM 的预训练和适应阶段准备多模态数据的方法。此外，我们还分析了数据集的评估方法，并回顾了评估 MLLM 的基准。我们的调查还概述了未来潜在的研究方向。这项工作旨在为研究人员提供对 MLLM 数据驱动方面的详细理解，促进该领域的进一步探索和创新。

1 引言

2 背景和分类

3 数据收集和处理

4 以数据为中心的预训练

5 以数据为中心的自适应