Paper:https://arxiv.org/pdf/2408.04840Github:https://github.com/X-PLUG/mPLUG-OwlHuggingFace：https://huggingface.co/mPLUG/mPLUG-Owl3-7B-240728Author:JiaboYeetal.阿里巴巴文章目录0总结(省流版)1模型结构1.1Cross-attentionBasedAchitecture1.2H

关注公众号：青稞AI，第一时间了解最新AI技术

​引子多模态的大模型也写了很多篇，阿里系的之前有一篇Qwen-VL的相关部署，感兴趣的童鞋请移步（Qwen-VL环境搭建&推理测试-CSDN博客）。今天这个mPLUG-Qwl3，更新换代也很快，这都第三代，据说，这个专门用来理解多图、长视频，OK，让我们开始吧。一、模型介绍论文作者来自阿里mPLUG团队，他们一直

         阿里的mPLUG系列在多模态大模型领域产出了多项研究工作。从mPLUG-Owl初代模型引入了视觉对齐-语言模型微调的训练模式，到mPLUG-Owl2通过模块化的模态自适应解决模态拉扯，再到mPLUG-DocOwl通过切图建模高分辨率。这一系列模型一直在探索更为高效有效的多模态