导读：本文是“数据拾光者”专栏的第六十四篇文章，这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本篇主要从理论到实践介绍低成本训练一个媲美ChatGPT效果的Vicuna模型，对于希望搭建自己的大语言模型并应用到实际业务场景感兴趣的小伙伴可能有帮助。欢迎转载，转载请注明出处

Vicuna和StableVicuna都是LLaMA的微调版本，均遵循CCBY-NC-SA-4.0协议，性能方面Stable版本更好些。CCBY-NC-SA-4.0是一种知识共享许可协议，其全称为"署名-非商业性使用-相同方式共享4.0国际"。即用的时候要署名原作者，不能商用，下游使用也必须是相同的共享原则。VicunaVicuna（小羊驼

Vicuna和StableVicuna都是LLaMA的微调版本，均遵循CCBY-NC-SA-4.0协议，性能方面Stable版本更好些。CCBY-NC-SA-4.0是一种知识共享许可协议，其全称为"署名-非商业性使用-相同方式共享4.0国际"。即用的时候要署名原作者，不能商用，下游使用也必须是相同的共享原则。VicunaVicun

大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面：模型规模的增长：LLM的规模越来越大，参数数量显著增加。这种扩展使得模型能够处理更复杂、更长的输入序列，并生成更准确、更具连贯性的输出。同时，更大规模的模型还

第一步安装python3.9,3.8到后面不支持第二步安装依赖pipinstalltorch1.12.0+cu102torchvision0.13.0+cu102torchaudio==0.12.0--extra-index-urlhttps://download.pytorch.org/whl/cu102-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstallfschat-ihttps://pypi

一、项目背景WeintroduceVicuna-13B,anopen-sourcechatbottrainedbyfine-tuningLLaMAonuser-sharedconversationscollectedfromShareGPT.PreliminaryevaluationusingGPT-4asajudgeshowsVicuna-13Bachievesmorethan90%* qualityofOpenAIChatGPT

LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比ClosedAI，至少LLaMa论文和模型都开源出来了，目前huggingface