LitServe是一个基于fastapi包装的快速推理api服务，以下只简单说明下关于server启动部分的处理参考使用我们可以通过配置devices以及每个device对应的worker数执行以那种模式进行server的启动（多线程还是多进程）参考使用if__name__=="__main__":#EnabletheOp

以前简单说明过LitServe支持openai接口格式的服务api，以下是一个简单试用参考代码app.pyimportlitserveaslsclassSimpleLitAPI(ls.LitAPI):defsetup(self,device):self.model=Nonedefpredict(self,prompt):#`prompt`isalisto