• 2024-06-02给vllm添加热添加lora的功能
    写在前面原生vllm并不支持热添加lora,但是考虑到微调机微调后,需要在不停机的情况下传递lora,于是我们需要增加一个逻辑修改VLLM包中的vllm/entrypoints/openai/api_server.py文件,添加下方的代码:1frompydanticimportBaseModel23classAddLoraRequest(BaseModel):4