首页 > 其他分享 >【大语言视觉助手+LLaVA1.5】23.10.LLaVA-1.5改善后视觉语言大模型: Improved Baselines with Visual Instruction Tuning

【大语言视觉助手+LLaVA1.5】23.10.LLaVA-1.5改善后视觉语言大模型: Improved Baselines with Visual Instruction Tuning

时间:2024-03-21 15:30:07浏览次数:43  
标签:1.5 语言 Language 论文 LLaVA 2.2 2.3 视觉

LLaVa家族

官方资源汇总项目主页 || https://huggingface.co/liuhaotian
23.04.LLaVA1.0论文: Large Language and Vision Assistant(Visual Instruction Tuning)
23.06 LLaVA-Med(医学图片视觉助手): Training a Large Language-and-Vision Assistant for Biomedicine in One Day
23.10 LLaVA-1.5论文: Improved Baselines with Visual Instruction Tuning
23.11 LLaVA-Plus项目:LLaVA-Plus: Large Language and Vision Assistants that Plug and Learn to Use Skills
24.01 LLaVA-1.6 博客(论文还未出): LLaVA-NeXT: Improved reasoning, OCR, and world knowledge
在这里插入图片描述

图from 多模态综述

一、前置解析博客、论文

23.04.LLaVA1.0:.论文解析、原理、本地部署: (一)
【LLaVA所用的预训练大语言模型LLMs23.03.Vicuna: 类似GPT4的开源聊天机器人( 90%* ChatGPT Quality)

参考的论文 (可跳过)

22.02.BLIP 图片简单描述生成: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
23.06.BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
23.06.InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
23.08.Qwen-VL 阿里的视觉语言模型: A Frontier Large Vision-Language Model with Versatile Abilities

二、LLaVA1.5的简介

2.1 结构与改进

下图左边部分为LLaVA1.0的模型结构与训练数据量,右侧为改进LLaVA1.5

  1. 结构上,将视觉特征提取器从 CLIP-vit-L-14 (224x224图像输入)改为了CLIP-vit-L/336(将真实图像resize到336x336再输入编码器)
  2. 结构上,视觉特征从线性映射(单个神经元),改进为多层告感知机(MLP)
  3. 数据上,大量提高数据量,特别是视觉微调 158K到了560K。。
  4. 训练上,LLaVA1.5可以使用Lora微调

在这里插入图片描述

2.2 论文展示效果

2.2.1 原文表3 回答棘手问题

在提示验证问题时可以检测和回答棘手的问题。
在这里插入图片描述

2.2.2 原图4 LLAAVA-1.5 可以根据所需的格式从图像中提取信息和答案,

但与 GPT-4V 相比有一些差距
在这里插入图片描述

2.3 性能测试(在12个专门测试数据集)

2.3.0 测评数据集全称

VQAv2: Visual Question Answering version 2
GQA: General Question Answering
VizWiz: Visual Question Answering for the visually impaired
TextVQA: Text-based Visual Question Answering
SQA-IMG: Sequential Question Answering - Images
。。。。

2.3.1 与当时的 InstructBLIP ,Qwen-VL对比

在这里插入图片描述

2.3.2 具体指标 (基础大语言模型、图像分辨率、微调数据量)

PT: 预训练的数据量(文本图像对,训练图像特征到语言特征)
IT: 详细视觉图片微调,基于GPT4制作
在这里插入图片描述

2.4 原文摘要

大型多模态模型 (LMM或MLLM) 最近在视觉指令微调(visual instruction tuning)方面显示出令人鼓舞的进展。我们注意到,我们表明 LLAVA 中的全连接视觉语言跨模态连接器(fully-connected vision-language cross-modal connector*)非常强大和数据效率。
通过对LLAVA1.0 进行简单的修改,即使用带有MLP projectionCLIP-ViT-L-336px
并添加具有简单响应格式提示的面向学术任务VQA数据,我们建立了更强的模型——可以在11个基准测试中实现最先进的性能。
最终的 13B 模型仅使用约 1.2M (120W数据)公开可用数据,并在单8卡-A100 训练约 1 天的完整训练

三、本地部署

主要参考上一篇博文:第三小节,本地部署部分。
23.04.LLaVA1.0:.论文解析、原理、本地部署: (一)

在这里插入图片描述

文章目录

标签:1.5,语言,Language,论文,LLaVA,2.2,2.3,视觉
From: https://blog.csdn.net/imwaters/article/details/136896668

相关文章

  • C语言(一级指针)
    指针本质:地址一级指针一级指针变量名:存储普通变量的地址格式:存储类型        数据类型        *指针变量名                                int                *pinta=5;int*p=&a;--------......
  • C语言 - 字符串截取
    1、字符串截取#include<stdio.h>#include<stdlib.h>#include<string.h>intmain(){charstr[80]="1001#8888#你好";constchars[2]="#";char*token;char*Array[10];/*获取第一个子字符串*/token=......
  • C语言字符串
    字符串由双引号引起来的一串字符称为字符串,例如“abcdef”,字符串的结束标志是\0,在计算字符串长度时\0是结束标志,不算做字符串内容。字符与字符串的程序监控intmain(){    chararr1[]="abcdef";    chararr2[]={'a','b','c','d','e','f'};    ......
  • LLM进阶——预训练语言模型
    文章目录一、概念二、GPT1、概念2、自回归3、zero-shot三、bert1、概念2、maskedLM一、概念最早的预训练语言模型(plms)是word2vec,现在的模型(gpt&bert)都是基于transformer以下是一些常见的预训练语言模型分类:基于Transformer的模型:BERT(BidirectionalEncoder......
  • 【C语言】求1-1/2+1/3-1/4+......-1/100
    用for循环,第二个数就为负数第三个负负为正依次推类。intmain(){ intsign=1; doublesum=0.0; intdeno=1; for(intdeno=1;deno<=100;deno++){ doubleterm=sign*(1.0/deno); sum+=term; sign=-sign; } printf("结果为:%f\n",sum)......
  • 判断是否为闰年?【C语言】
    感觉就for有些别扭。对了也可以用其他方法l#includ<stdio.h>intmain(){intyear=0;printf("请输入年份:%d\n",year);scanf("%d\n",&year);for(;(year%4==0&&year%100!=0)||year%400==0;){printf("%d:是闰年\n",year);}......
  • C语言之打鱼晒网问题
    目录一简介二代码实现步骤一:判断输入日期步骤二:计算总天数步骤三:判断行为模式三时空复杂度一简介打鱼晒网问题是一个经典的编程题目,源自中国的俗语“三天打鱼两天晒网”,意思是周期性地工作和休息。在C语言中实现这一问题的程序设计目标是:当给定一个日期后,计算......
  • C语言之求任意次方的最后三位
    目录一简介二代码实现三时空复杂度一简介在C语言中,求一个整数任意次方的最后三位数可以使用快速幂算法结合取模运算来实现。二代码实现#include<stdio.h>//使用快速幂算法计算x的y次方对1000取模的结果intlastThreeDigits(intx,inty){int......
  • C语言之计算某日是该年的第几天
    目录一简介二代码实现三时空复杂度一简介 在C语言中,计算某日是该年的第几天通常涉及以下步骤:判断输入的年份是否为闰年。根据判断结果,确定当年二月的天数(28或29天)。然后,根据月份从前几个月开始累计天数。二代码实现以下是一个简单的C语言函数示例,它接收一......
  • 大型LLM模型语言全面解读-开篇
    目录由于1万字的要求过于庞大,我将先给出论文的大纲以及部分内容的详细撰写,以确保内容的质量和完整性。如果您需要更完整的内容,可以在之后继续输入。大型LLM模型语言全面解读**摘要:**本文旨在对大型语言模型(LargeLanguageModel,简称LLM)进行全面深入的解读,包括其定义、底层原......