vLLMhttps://github.com/vllm-project/vllmhttps://docs.vllm.ai/en/latest/推理和服务，但是更加偏向推理。 vLLMisafastandeasy-to-uselibraryforLLMinferenceandserving.vLLMisfastwith:State-of-the-artservingthroughputEfficientmanagementofat

LLM大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使

FastChathttps://github.com/lm-sys/FastChat为服务基于大模型的chat应用，FastChat提供框架。提供三个功能training,serving,andevaluating有评价功能、训练功能（finetuning）主要的还是serving能力，可以支持大模型的负载均衡 FastChatisanopenplatformfortrain

       在离线知识库服务(Langchain-Chatchat)本地搭建时，虽然在虚拟环境中安装了fastchat：0.2.36，但在运行时，仍报错ModuleNotFoundError:Nomodulenamed'fastchat.protocol'。              经过在网上查询，发现部署成功的案例采用的0.2.34版本的fast

langchainchatchat的简介就不多说了，大家可以去看github官网介绍，虽然当前版本停止了更新，下个版本还没有出来，但作为学习还是很好的。一、关键启动过程：1、start_main_server入口2、run_controller启动fastchatcontroller端口200013、run_openai_api启动fastchat对外提供的类