【模型部署】vLLM 部署 Qwen2-VL 踩坑记 03 - 多图支持和输入格式问题

NLP Github 项目：

• NLP 项目实践：fasterai/nlp-project-practice

  介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

• AI 藏经阁：https://gitee.com/fasterai/ai-e-book

  介绍：该仓库主要分享了数百本 AI 领域电子书

• AI 算法面经：fasterai/nlp-interview-handbook#面经

  介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

• NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

  介绍：该仓库汇总了 NLP 算法工程师高频面题

其他细节（非常重要）

多图支持问题

多张图片请求失败，状态码400：

在启动命令中添加多图支持的参数：

nohup python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-VL-7B-Instruct --model Qwen/Qwen2-VL-7B-Instruct --limit-mm-per-prompt image=5 > ./logs/output.log 2>&1 &

重新启动服务：

多图请求成功：

输入格式问题

本地推理：

vllm部署：

系列文章：

• 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 01 - 环境安装
• 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 02 - 推理加速
• 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 03 - 多图支持和输入格式问题

本文由mdnice多平台发布