deepseek-coder模型量化

简介

DeepSeek-Coder在多种编程语言和各种基准测试中取得了开源代码模型中最先进的性能。
为尝试在开发板进行部署，首先利用llama.cpp对其进行量化。

llama.cpp安装

git clone之后进入文件夹make即可，再将依赖补全pip install -r requirements.txt

量化

可以将模型文件放到llamacpp的models文件夹下，也可以在命令行输入模型所在位置，通过--outfile指定输出的文件名以及位置

# 生成 GGUF model
python convert.py ${model_path} --outfile ${out_model.gguf} --pad-vocab

# 量化 最后一个参数表示量化的bit数
./quantize ${out_model.gguf} ${out_model-q5_0.gguf} q5_0