Chinese-LLaMA-Alpaca-2: 新一代开源中文大语言模型
近日,由哈尔滨工业大学讯飞联合实验室推出的Chinese-LLaMA-Alpaca-2项目引起了广泛关注。该项目是中文LLaMA&Alpaca大模型的第二期,基于Meta发布的可商用大模型Llama-2进行开发,推出了一系列全新的中文大语言模型。本文将对这个备受瞩目的开源项目进行全面介绍。
项目亮点
Chinese-LLaMA-Alpaca-2项目在多个方面都有显著特色和创新:
优化的中文词表: 项目团队重新设计了55,296大小的新词表,进一步提升了中文字词的覆盖程度,同时统一了LLaMA和Alpaca的词表,避免了混用词表带来的问题。这一改进有望提升模型对中文文本的编解码效率。
采用FlashAttention-2技术: 所有模型均使用了FlashAttention-2进行训练,这是一种高效注意力机制的实现,相比一代技术具有更快的速度和更优化的显存占用。这一技术对于长上下文尤其重要,可以有效避免显存的爆炸式增长。
超长上下文扩展: 项目采用了基于位置插值(PI)和YaRN的超长上下文扩展技术。其中16K长上下文版模型支持16K上下文,并可通过NTK方法最高扩展至24K-32K;64K长上下文版模型则支持高达64K的上下文长度。项目还设计了方便的自适应经验公式,降低了使用难度。
简化的双语系统提示语: Alpaca-2系列模型简化了系统提示语,同时遵循Llama-2-Chat指令模板,以便更好地适配相关生态。
人类偏好对齐: 项目推出了Alpaca-2-RLHF系列模型,通过基于人类反馈的强化学习(RLHF)实验,显著提升了模型传递正确价值观的能力。
Chinese LLaMA and Alpaca logo
模型系列
Chinese-LLaMA-Alpaca-2项目推出了丰富的模型系列,以满足不同场景的需求:
基座模型: Chinese-LLaMA-2 (1.3B, 7B, 13B)
适用于文本续写等场景
不需要特定输入模板
指令模型: Chinese-Alpaca-2 (1.3B, 7B, 13B)
适用于问答、写作、聊天等指令理解场景
需要套用特定输入模板
长上下文模型:
Chinese-LLaMA-2-16K (7B, 13B)
Chinese-Alpaca-2-16K (7B, 13B)
Chinese-LLaMA-2-64K (7B)
Chinese-Alpaca-2-64K (7B)
偏好对齐模型: Chinese-Alpaca-2-RLHF (1.3B, 7B)
这些模型在参数规模、上下文长度和训练方式上各有特点,用户可以根据具体需求选择合适的模型。值得注意的是,如需进行聊天交互,应选择Alpaca而非LLaMA系列模型。
模型下载
项目提供了多种下载渠道,包括百度网盘、Google Drive、Hugging Face和ModelScope等。以下是部分模型的下载链接:
Chinese-LLaMA-2-7B:
标签：13B,中文,Alpaca,Chinese,模型,LLaMA From： https://www.cnblogs.com/dongai/p/18472289