FastChat-vicuna 运行

第一步 安装python3.9,3.8到后面不支持

第二步 安装依赖

pip install torch1.12.0+cu102 torchvision0.13.0+cu102 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu102 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install fschat -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步，权值格式转化（上一篇介绍如何下载7B）

python convert_llama_weights_to_hf.py --input_dir ./ --model_size 7B --output_dir ./output/7B

第四步，下载小羊驼权值

https://huggingface.co/lmsys/vicuna-7b-delta-v1.1/tree/main

大文件建议用迅雷下载，否则太慢了

第五步 生成小羊驼模型

python -m fastchat.model.apply_delta --base ./output/7B --target ./vicuna-7b --delta ./vicuna_data

第六步 测试

ython -m  fastchat.serve.cli --model-path ./vicuna-7b --num-gpus 2

感觉对中文支持不错

参考：

https://zhuanlan.zhihu.com/p/620801429

https://zhuanlan.zhihu.com/p/622020107?utm_id=0