网站首页
编程语言
数据库
系统相关
其他分享
编程问答
L2G3000
2024-12-01
书生浦语大模型实战训练营L2G3000 LMDeploy 量化部署实践闯关任务
LMDeploy量化部署实践闯关任务文章目录LMDeploy量化部署实践闯关任务前言一、任务一W4A16量化+KVcache+KVcache量化二、任务二前言使用结合W4A16量化与kvcache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话。使用Functioncall功能