Llama2是Meta开源的语言大模型，它经过训练的数据集包含2万亿个token。相比Llama，Llama2的上下文长度已经从2048扩展到4096，这使其能够理解和生成更长的文本。Llama2包括了多个模型，分别是7B、13B和70B的模型。
一、准备工作
- 在autodl平台租用实例（直接搜索，有许多租用教程，建议租用显存大于24G的显卡）
- 安装需要用的依赖包
Python 3.8+
PyTorch 1.13.1+
transformers 4.31.0
peft 0.5.0
二、模型下载
Llama网址：https://github.com/LlamaFamily/Llama-Chinese
下载代码文件，以及Chinese-Llama-2-7b的模型权重，放在项目里。
1.将模型文件上传AutoDL
将模型文件放在/root/autodl-tmp下
2.自定义数据集训练微调
dataset_info.json包含所有数据集的信息，并且需要重新创建一个self_cognition.json文件，self_cognition-base.json为原来的self_cognition.json文件
self_cognition-base.json文件部分数据展示，可以自行修改内容。