EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA https://arxiv.org/pdf/2304.08177v1.pdf https://github.com/ymcui/Chinese-LLaMA-Alpaca 针对于中文而言,LLaMA存在的问题: 为了解决这些问题,我们建议用额外的中文标记来扩展LLaMA标记器,并为新的标记器调整模型(Yang等人,2022): 我们的初步实验表明,中文LLaMA标记器产生的标记数量大约是原始LLaMA标记器的一半。表1显示了原始LLaMA标记器和我们的中文LLaMA标记器之间的比较实例。正如我们所看到的,使用中文LLaMA标记器大大减少了与原始标记器相比的编码长度。在固定的语境长度下,该模型可以容纳大约两倍的信息,而且生成速度比原来的LLaMA标记器快两倍。这证明了我们提出的方法在提高LLaMA模型的中文理解和生成能力方面的有效性。 在完成上述适应步骤后,我们在标准的休闲语言建模(CLM)任务中使用中文-LLaMA标记器对中文-LLaMA模型进行预训练。 在获得预训练的中文LLaMA模型后,我们按照斯坦福大学Al-paca(Taori等人,2023)中使用的方法,应用自我训练的微调来训练指令跟随模型。 每个例子由一条指令和一个输出组成。我们将指令输入模型,并提示模型自动生成输出。这个过程类似于普通的语言建模任务。我们采用以下来自斯坦福大学Alpaca的提示模板,用于自我指导的微调,这也是在推理过程中使用的: 我们的方法和Stanford Alpaca的一个关键区别是,我们只使用为没有输入字段的例子设计的提示模板,而Stanford Alpaca为有输入字段和没有输入字段的例子分别采用了两个模板。如果例子中包含一个非空的输入字段,我们用一个"/n "将指令和输入连接起来,形成新的指令。注意,Alpaca模型有一个额外的填充标记,导致词汇量为49,954。 低等级适应(LoRA)(Hu等人,2021)是一种参数高效的训练方法,它在引入可训练的等级分解矩阵的同时保留了预训练的模型权重。这种方法大大减少了可训练参数的数量。LoRA的一般公式如下,其中r是预先确定的等级,d是隐藏的大小,A和B是分解的可训练矩阵: 为了在遵守严格预算的情况下实现参数有效的训练,我们在所有的实验中都将LoRA应用于chinese-LalaMA/Alpaca模型,包括预训练和微调阶段。我们主要将LoRA适配器纳入注意力模块的权重中,在某些情况下,还包括额外的MLP层。进一步的细节,请参考下一节和表2。 预训练:我们用原始的LLaMA权重初始化中文-LLaMA模型,并在一般的中文语料上进行预 训练,与中文BERT-wwm(Cui等人,2021)、MacBERT(Cui等人,2020)、LERT(Cui 等人,2022)等使用的语料一致,形成了一个20GB的文本语料。预训练过程包括两个阶段: 指令微调:在得到预训练的模型后,我们根据第3章对其进行微调。我们还使用LoRA进行有效的微调,通过在MLP层添加LoRA适配器来增加可训练参数的数量。我们利用大约200万个数据点,包括翻译(Xu,2019)、pCLUE3 , Stanford Alpaca,以及爬行的SFT数据,用于调整7B模型。 对于抓取的数据,我们采用了Taori等人(2023)使用的从ChatGPT(gpt-3.5-turboAPI)中自动获取数据的自我指导(Wang等人,2022)方法。模板和代码细节可在GitHub上找到。超参数列于表2。有关微调数据的详细信息在表3中提供。 预训练:13B模型的预训练过程与7B模型的预训练过程基本相同,只是我们跳过了预训练的 第1阶段。我们直接将LoRA应用于注意力和MLPs的训练,同时将嵌入和LM头设置为可训练。 指令微调:LoRA设置和可训练参数与预训练阶段保持一致。我们在13B模型的微调中使用了额外的100万个爬行的自我指导的数据点,使得13B模型的总数据量为3M。表2中列出了超参数。 LLMs的解码过程在决定生成文本的质量和多样性方面起着关键作用。在我们的实验中,我们使用了以下解码超参数: 请注意,这些值对于每个测试场景来说可能都不是最佳的。我们没有对每个任务的这些超参数进行进一步的调整,以保持一个平衡的观点。 在个人电脑上部署大型语言模型,特别是在CPU上部署,由于其巨大的计算需求,历来都是一个挑战。然而,在许多社区努力的帮助下,如llama.cpp(Gerganov,2023),用户可以有效地将LLM量化为4位形式,大大减少内存使用和计算需求,使LLM更容易部署在个人电脑上。这也使得与模型的互动更加快速,并有利于本地数据处理。量化LLM并将其部署在个人电脑上,有几个好处。首先,它帮助用户保护他们的数据隐私,确保敏感信息留在他们的本地环境中,而不是被传输到外部服务器。其次,它通过使计算资源有限的用户更容易接触到LLMs,实现了对它们的民主化访问。最后,它促进了利用本地LLM部署的新应用和研究方向的发展。总的来说,使用llama.cpp(或类似的)在个人电脑上部署LLM的能力,为在各种领域中更多地利用LLM和关注隐私铺平了道路。在下面的章节中,我们将使用4位的圆对近(RTN)(Yao等人,2022;Dettmers等人,2022)量化的中国羊驼进行评估,从用户的角度来看,这比面向研究的观点更现实。作为一个善意的提醒,4位量化的模型一般比FP16或FP32模型的表现要差。 评估文本生成任务的性能可能具有挑战性,因为它们的形式有很大的不同,这与自然语言理解任务(如文本分类和提取式机器阅读理解)不同。继以前利用GPT-4作为评分方法的工作之后,我们也采用GPT-4为每个样本提供一个总分(10分制),这比人工评估更有效。然而,GPT-4可能并不总是提供准确的分数,所以我们对其评分进行人工检查,必要时进行调整。人工检查确保了评分的一致性,并反映了被评估模型的真实性能。我们使用以下提示模板对系统的输出进行评分: 通过采用GPT-4作为评分方法,结合人工检查,我们建立了一个可靠的评估框架,有效地衡量了我们的中国羊驼模型在一系列自然语言理解和生成任务中的表现。 我们的评估集旨在对中国羊驼模型在广泛的自然语言理解和生成任务中提供全面的评估。该评估集由160个样本组成,涵盖10个不同的任务,包括问题回答、推理、文学、娱乐、翻译、多轮对话、编码和伦理等。一项具体任务的总分是通过将该任务中所有样本的分数相加,并将总分归一化为100分来计算的。这种方法确保了评价集反映了模型在各种任务中的能力,为其性能提供了一个平衡而有力的衡量。 在这一节中,我们介绍并分析了我们用4位量化的中国Alpaca-7B和Alpaca-13B模型进行实验的结果,如表4所示。评估是基于GPT-4在10个不同的NLP任务中的评分结果,共包括160个样本。值得注意的是,所提出的分数只可以相互比较,而不能与其他模型比较,这就需要对系统重新评分。 对于问题回答任务,中国的Alpaca-13B获得了77分,而7B模型为53分。在开放式问答中也可以看到类似的改进,13B和7B模型的得分分别为73和64。数字推理显示出更大的改进,13B模型的得分是50,而7B模型的得分是23。 在诗歌、文学、哲学、音乐、体育和娱乐等领域,13B模型的表现继续优于7B模型,其得分分别为54和65,而7B模型为31和36。在涉及信件和文章、翻译和多轮对话的任务中,性能差距仍然很大,13B模型一直取得较高的分数。有趣的是,我们观察到,即使我们没有使用任何多轮对话数据来调整系统,中国羊驼仍然有能力跟踪对话历史,并以连续的方式遵循用户指令。 编码任务表现出明显的改进,中国的Alpaca-13B模型得到49分,而7B模型得到27分。最显著的性能差异可以在伦理学任务中观察到,13B模型获得了100分的满分,而7B模型的得分是50分,这表明在拒绝任何不道德的用户输入方面表现出色。 总之,实验结果表明,中国的Alpaca-7B和Alpaca-13B模型都比原来的LLaMA模型有明显的改进,其中13B模型在所有任务中的表现一直优于7B模型。这强调了我们的方法在提高LLaMA和Alpaca模型的中文理解和生成能力方面的有效性。 在这份技术报告中,我们提出了一种方法来提高LLaMA模型的中文理解和生成能力。认识到原来的LLaMA中文词汇的局限性,我们通过加入2万个额外的中文符号来扩展它,极大地提高了它对中文的编码效率。在中文LLaMA的基础上,我们用指令数据进行了监督性的微调,从而开发出了中文羊驼模型,它表现出了更好的指令跟随能力。 为了有效地评估我们的模型,我们在10种不同的任务类型中注释了160个样本,并使用GPT-4进行评估。我们的实验表明,所提出的模型在中文理解和生成任务中明显优于原LLaMA,与7B变体相比,13B变体一直取得更大的改进。 展望未来,我们计划探索从人类反馈中强化学习(RLHF)或从人工智能指导的反馈中再强化学习(RLAIF),以进一步使模型的输出与人类的偏好一致。此外,我们打算采用更先进和有效的量化方法,如GPTQ(Frantar等人,2022)等。此外,我们还打算研究LoRA的替代方法,以便更有效地对大型语言模型进行预训练和微调,最终提高它们在中文NLP社区各种任务中的性能和适用性。 限制条件
虽然这个项目成功地加强了对LLaMA和Alpaca模型的中文理解和生成能力,但必须承认有几个局限性: 未来的工作应该解决这些局限性,以进一步提高模型的能力,使其在中文NLP社区的更广泛的应用中更强大、更易获得和更有效。Part1介绍
Part2CHINESE LLAMA
Part3CHINESE ALPACA
Part4用LORA进行参数有效的微调
Part5实验设置
1用于预训练和微调的实验设置
7B版本
13B版本
2解码的设置
3在CPU上部署
4评价和任务设置
Part6结果
中国的Alpaca-7B和Alpaca-13B模型的性能都显示出比原来的LLaMA模型有明显的提高。中国的Alpaca-13B模型的性能一直优于7B变体,突出了增加模型容量的好处。
Part7结论