微调原理
想象一下,你有一个超大的玩具,现在你想改造这个超大的玩具。但是,对整个玩具进行全面的改动会非常昂贵。
※ 因此,你找到了一种叫 LoRA 的方法:只对玩具中的某些零件进行改动,而不是对整个玩具进行全面改动。
※ 而 QLoRA 是 LoRA 的一种改进:如果你手里只有一把生锈的螺丝刀,也能改造你的玩具。
微调过后得到的文件将 HuggingFace adapter 合并到大语言模型:
部署过程中出现问题
没有切换commit版本,导致部署出错
最后结果
标签:改动,超大,微调,玩具,xtuner,笔记,LoRA,模型 From: https://blog.51cto.com/u_16507376/9392123