一、大模型部署
1、模型部署及大模型特点
模型大，token不固定，结构简单
2、大模型部署遇到的问题及解决方案
硬件、速度、技术、方案
模型部署存在的问题：1、硬件需求相对较大，特别在于显卡及内存方面。2、由于模型较大，则速度就会很慢
优化方法：1、在卷积神经网络中是有：剪枝、量化及其他。2、大模型中有：太通透了！大模型训练和推理优化技术最全汇总！ - 知乎 (zhihu.com)
二、LMDeploy 略
解决方案
标签：部署,解决方案,模型,笔记,书生,浦语 From： https://www.cnblogs.com/russellwang/p/18033879