为什么多模态大语言模型最近用BLIP2中Q-Former结构的变少了？

前言

本篇介绍为什么多模态大语言模型（MLLM）最近的工作中用BLIP2中Q-Former结构的变少了？

简单来说，相较于MLP的方案，即LLaVA-1.5，BLIP-2中的Q-Former模型在参数量上更为庞大，其收敛过程也相对缓慢。在同等条件下，Q-Former的性能并未达到LLaVA-1.5所展现出的卓越水平。值得注意的是，即使在数据和计算资源都很充裕的情况下，Q-Former的性能提升也并不显著。

下面说明原因：

虽然许多人不愿意将Q-Former的成就归功于BLIP系列，并且更倾向于将其称为Attention Pooling。在MLP与Q-Former之间的竞争实质上反映了LLaVA系列与BLIP系列之间的竞争。社群普遍偏好MLP的选择，实际上就是对LLaVA工作的追随和支持。

下图为BLIP2和LLaVA的架构图。

从图中可以看到，使用query token来压缩视觉信息无法确保无损，并且随着压缩程度的增加，可能导致更严重的幻觉问题。相比之下，直接使用投影（projection）方法将视觉信息无损地传递给大型语言模型（LLM），由其自主决定如何使用这些信息，可能是一个更好的选择。Q-Former的主要动机是减少图像标记的长度，试图通过压缩来简化模型。然而，Q-Former的训练具有一定的挑战性，因为它引入了大量的参数，而在样本量有限的情况下，这些参数难以有效收敛。

另外，Q-Former模型的参数量超过100百万，这样庞大的参数集使得模型在有限的数据量下难以实现有效训练。那么，如果假设数据量充足，Q-Former的性能上限是否可能超越MLP呢？事实上，即便是性能强劲的Qwen-VL模型，在经过大量数据训练后，也未能显著超越LLaVA-1.5的性能表现。这表明即便我们继续沿着BLIP的研究方向前进，也可能会面临一定的困难。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。