LLaVa家族
官方资源汇总
: 项目主页 || https://huggingface.co/liuhaotian
23.04.LLaVA1.0论文: Large Language and Vision Assistant(Visual Instruction Tuning)
23.06 LLaVA-Med(医学图片视觉助手): Training a Large Language-and-Vision Assistant for Biomedicine in One Day
23.10 LLaVA-1.5论文: Improved Baselines with Visual Instruction Tuning
23.11 LLaVA-Plus项目:LLaVA-Plus: Large Language and Vision Assistants that Plug and Learn to Use Skills
24.01 LLaVA-1.6 博客(论文还未出): LLaVA-NeXT: Improved reasoning, OCR, and world knowledge
一、前置解析博客、论文
23.04.
LLaVA1.0
:.论文解析、原理、本地部署: (一)
【LLaVA所用的预训练大语言模型LLMs
】23.03.Vicuna: 类似GPT4的开源聊天机器人( 90%* ChatGPT Quality)
参考的论文 (可跳过)
22.02.BLIP 图片简单描述生成: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
23.06.BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
23.06.InstructBLIP
: Towards General-purpose Vision-Language Models with Instruction Tuning
23.08.Qwen-VL
阿里的视觉语言模型: A Frontier Large Vision-Language Model with Versatile Abilities
二、LLaVA1.5的简介
2.1 结构与改进
下图左边部分为LLaVA1.0的模型结构与训练数据量,右侧为改进LLaVA1.5
- 结构上,将视觉特征提取器从 CLIP-vit-L-14 (224x224图像输入)改为了CLIP-vit-L/336(将真实图像resize到336x336再输入编码器)
- 结构上,视觉特征从线性映射(单个神经元),改进为多层告感知机(MLP)
- 数据上,大量提高数据量,特别是视觉微调 158K到了560K。。
- 训练上,LLaVA1.5可以使用Lora微调
2.2 论文展示效果
2.2.1 原文表3 回答棘手问题
在提示验证问题时可以检测和回答棘手的问题。
2.2.2 原图4 LLAAVA-1.5 可以根据所需的格式从图像中提取信息和答案,
但与 GPT-4V 相比有一些差距
2.3 性能测试(在12个专门测试数据集)
2.3.0 测评数据集全称
VQAv2: Visual Question Answering version 2
GQA: General Question Answering
VizWiz: Visual Question Answering for the visually impaired
TextVQA: Text-based Visual Question Answering
SQA-IMG: Sequential Question Answering - Images
。。。。
2.3.1 与当时的 InstructBLIP ,Qwen-VL对比
2.3.2 具体指标 (基础大语言模型、图像分辨率、微调数据量)
PT: 预训练的数据量(文本图像对,训练图像特征到语言特征)
IT: 详细视觉图片微调,基于GPT4制作
2.4 原文摘要
大型多模态模型 (LMM或MLLM) 最近在视觉指令微调(visual instruction tuning)方面显示出令人鼓舞的进展。我们注意到,我们表明 LLAVA 中的全连接视觉语言跨模态连接器(fully-connected vision-language cross-modal connector*)非常强大和数据效率。
通过对LLAVA1.0 进行简单的修改,即使用带有MLP projection
的CLIP-ViT-L-336px
,
并添加具有简单响应格式提示的面向学术任务的VQA数据,我们建立了更强的模型——可以在11个基准测试中实现最先进的性能。
最终的 13B 模型仅使用约 1.2M (120W数据)公开可用数据,并在单8卡-A100 训练约 1 天的完整训练
三、本地部署
主要参考上一篇博文:第三小节,本地部署部分。
23.04.LLaVA1.0
:.论文解析、原理、本地部署: (一)