网站首页
编程语言
数据库
系统相关
其他分享
编程问答
AddLoraRequest
2024-06-02
给vllm添加热添加lora的功能
写在前面原生vllm并不支持热添加lora,但是考虑到微调机微调后,需要在不停机的情况下传递lora,于是我们需要增加一个逻辑修改VLLM包中的vllm/entrypoints/openai/api_server.py文件,添加下方的代码:1frompydanticimportBaseModel23classAddLoraRequest(BaseModel):4