Llama2是Meta开源的语言大模型,它经过训练的数据集包含2万亿个token。相比Llama,Llama2的上下文长度已经从2048扩展到4096,这使其能够理解和生成更长的文本。Llama2包括了多个模型,分别是7B、13B和70B的模型。
一、准备工作
- 在autodl平台租用实例(直接搜索,有许多租用教程,建议租用显存大于24G的显卡)
- 安装需要用的依赖包
Python 3.8+
PyTorch 1.13.1+
transformers 4.31.0
peft 0.5.0
二、模型下载
Llama网址:https://github.com/LlamaFamily/Llama-Chinese
下载代码文件,以及Chinese-Llama-2-7b的模型权重,放在项目里。
1.将模型文件上传AutoDL
将模型文件放在/root/autodl-tmp下
2.自定义数据集训练微调
dataset_info.json包含所有数据集的信息,并且需要重新创建一个self_cognition.json文件,self_cognition-base.json为原来的self_cognition.json文件
self_cognition-base.json文件部分数据展示,可以自行修改内容。