首页 > 其他分享 >VLM 系列——Qwen2 VL——论文解读

VLM 系列——Qwen2 VL——论文解读

时间:2024-09-30 16:48:12浏览次数:8  
标签:模态 视频 VLM 缩放 Qwen2 VL 理解 2B 3D

一、概述

1、是什么

    是一系列多模态大型语言模型(MLLM),其中包括2B、7B、72B三个版本,整体采用视觉编码器(标准VIT输出后面接patch merger )+ LLM形式。比较创新的是统一视觉处理方式(3D CNN统一视频、图片)+图像缩放方式(自适应缩放)+3D LLM位置编码。能够处理包括文本、图像在内的多种数据类型,具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解(代码编写和debug论文暂时未提)。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。和qwen vl一样采用三阶段训练。

2、亮点

    *大尺寸图:读懂不同分辨率和不同长宽比的图片,在DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现;在多种多模态场景中与GPT-4o和Claude3.5-Sonnet等顶级模型相匹配,超越了所有其他开放权重LVLM模型。

    *视频理解:引入多模态旋转位置嵌入(M-RoPE),理解20分钟以上长视频,支持基于视频的问答、对话和

标签:模态,视频,VLM,缩放,Qwen2,VL,理解,2B,3D
From: https://blog.csdn.net/u012863603/article/details/142659314

相关文章

  • AVLTree【c++实现】
    目录AVL树1.AVL树的概念2.AVLTree节点的定义3.AVLTree的插入4.AVLTree的旋转4.1左单旋4.2右单旋4.3左右双旋4.4右左双旋5.AVLTree的验证6.AVLTree的性能AVL树AVLTree的代码实现连接:AVLTree代码链接1.AVL树的概念学习了二叉搜索树之后,我们知道二叉搜索树虽可以......
  • Servlet详细讲解(一篇就够)
    目录一、Servlet1.1Servlet介绍1.2HTTP1.2.1在http请求中有请求报文1.2.2在http响应中有响应报文1.3GET和POST1.3.1GET1.3.2POST二、第一个Servlet程序[重点]2.1创建web项目2.2pom依赖2.3编写Servlet2.4配置Servlet2.5部署项目2.6启动2.7访问2......
  • AVL树(平衡二叉树)的介绍以及相关构建
    欢迎光临:      羑悻的小杀马特-CSDN博客目录一·AVL树的介绍:二·AVL树的实现:1·结构框架:2·节点的插入: 旋转: 2·1左单旋:2.1.1左单旋介绍及步骤:2.1.2左单旋代码实现:2.1.3左单旋技巧总结: 2·2右单旋:2.2.1右单旋介绍及步骤:2.2.2右单旋代码实现:2.......
  • 基于qwen2.5 手把手实战 自定义数据集 微调(llama-factory)
    基于qwen2.5手把手实战自定义数据集微调(llama-factory)准备工作1.数据集准备(例:民法典.txt)2.服务器准备(阿里云DSW白嫖)3.环境配置pip升级模型下载微调助手4.数据集处理脚本文件4.1文本分割(bert-base-chinese)4.2数据集生成4.3.1数据集转换(只有一个数据集)alpaca格式......
  • 使用世界领先的 Qwen2.5-Math 开源模型当 AI 数学老师,让奥数解题辅导不在鸡飞狗跳(文末
    在上篇文章中,我们使用Qwen2.5-Coder编写了一个自动编程的多智能体系统(基于Qwen2.5-Coder模型和CrewAI多智能体框架,实现智能编程系统的实战教程),着实感受到了Qwen2.5-Coder和CrewAI强强联合所发挥出来的强大威力。我们知道最新发布的Qwen2.5全家桶共有3个模型,除常规的大语言......
  • 【C++进阶】AVL树的介绍及实现
    【C++进阶】AVL树的介绍及实现......
  • 网工秘籍:VLAN划分,守护饭碗的智慧之道
    一、什么是VLAN?VLAN(VirtualLocalAreaNetwork,即虚拟局域网)乃是一种能够把物理网络中的各类设备划分成诸多逻辑网段的先进技术。借助VLAN这一手段,您能够于同一物理网络基础设施之上构建起多个相互隔离的网络环境。在每个VLAN当中,设备仅仅能够在其自身所属的VLAN范围内展开通......
  • 什么是 Servlet? 它的主要用途是什么?
    在JavaWeb开发中,Servlet是一种服务器端技术,它用来扩展Web服务器的功能。Servlet是运行在Web服务器上的小型程序,主要用于处理客户端请求并生成响应。简单来说,Servlet就是一个Java类,实现了javax.servlet.Servlet接口或继承了其子类(如HttpServlet),可以用来处理HTTP请求和响应。......
  • 计算机网络中的VLAN详解
    文章目录计算机网络中的VLAN详解一、引言二、VLAN的作用与原理1、VLAN的作用2、VLAN的工作原理2.1、VLAN标签(Tag)三、VLAN的配置与接口类型1、VLAN的配置2、接口类型四、VLAN的应用场景1、企业网络2、数据中心3、教育网络五、VLAN间的通信六、总结计算机网络中的V......
  • Qwen2.5系列模型在GenStudio平台开源并提供API调用
    9月19日,通义千问宣布新一代模型Qwen2.5系列开源。无问芯穹Infini-AI异构云平台GenStudio目前已上架Qwen2.5-7B/14B/32B/72B,您可轻松调用模型API。快来GenStudio,加入这场Qwen2.5基础模型大派对!GenStudio模型体验地址:cloud.infini-ai.com/genstudio/model此次Qwen2.5开源......