引子
2024年8月30号，阿里推出Qwen2-VL，开源了2B/7B模型，处理任意分辨率图像无需分割成块。之前写了一篇Qwen-VL的博客，感兴趣的童鞋请移步（Qwen-VL环境搭建&推理测试-CSDN博客），这么小的模型，显然我的机器是跑的起来的，OK，那就让我们开始吧。
一、模型介绍
Qwen2-VL 的一项关键架构改进是实现了动态分辨率支持（Naive Dynamic Resolution support）。与上一代模型 Qwen-VL 不同，Qwen2-VL 可以处理任意分辨率的图像，而无需将其分割成块，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。另一个关键架构增强是 Multimodal Rotary Position Embedding（M-ROPE）。通过将 original rotary embedding 分解为代表时间和空间（高度和宽度）信息的三个部分，M-ROPE 使 LLM 能够同时捕获和集成 1D 文本、2D 视觉和 3D 视频位置信息。这使 LLM 能够充当多模态处理器和推理器。
二、环境搭建
1、模型下载
https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct
2、环境安装
docker run -it --rm --gpus=all -v /datas/work/zzq:/workspace pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash
git clone inputs,Qwen2,VL,ids,Qwen,pixels,搭建 From： https://www.cnblogs.com/nick-algorithmer/p/18418457