网站首页
编程语言
数据库
系统相关
其他分享
编程问答
SimpleLitAPI
2024-11-08
LitServe 快速部署类openai 接口服务
以前简单说明过LitServe支持openai接口格式的服务api,以下是一个简单试用参考代码app.pyimportlitserveaslsclassSimpleLitAPI(ls.LitAPI):defsetup(self,device):self.model=Nonedefpredict(self,prompt):#`prompt`isalisto