随时更新!汇总2023年开源的大型中文大规模语言模型,入选标准:
- 对中文支持能力强
- 模型规模 ≥ 1B
- 公布模型权重、推理代码
- 公布模型训练细节
Chinese-Vicuna
项目地址:https://github.com/Facico/Chinese-Vicuna
- 基座模型:LLaMA 7B
- 特点:提供了非常详细的训练指南!量化工具、C++推理、huggingface - Meta转化。
- 友好度:colab推理&微调代码点击运行,中文文档,社区回复很活跃。
- 效果:实测效果…有点一言难尽,没有面向多轮对话进行优化
Chinese-LLaMA-Alpaca
项目地址:https://github.com/ymcui/Chinese-LLaMA-Alpaca
- 基座模型:LLaMA 7B/13B
- 特点:扩充中文词典,CPU/GPU部署支持,huggingface推理接口
- 效果:issue中反馈来看,性能中规中矩,但相比于原生LLaMA中文能力已经大幅度提升了 https://github.com/ymcui/Chines
Luotuo-Chinese-LLM
项目地址:https://github.com/LC1332/Luotuo-Chinese-LLM
- 基座模型:Chat-GLM-6B
- 试玩地址:https://colab.research.google.com/github/LC1332/Luotuo-Chinese-LLM/blob/main/notebook/ChatLuotuo.ipynb#scrollTo=h8E_zffFBBS8
- 特点:上手简单,摊子铺的有点大…子项目很多,文档感觉一直在介绍作者
- 效果:不是很好
ChatGLM-6B
- 项目地址:https://github.com/THUDM/ChatGLM-6B
- 试玩地址:无
- 特点:huaggingface 集成,面向对话优化,有完善的部署和finetune方案
- 效果:等GPU空闲再测试,看官方案例还不错
Chinese-ChatLLaMA
项目地址:https://github.com/ydli-ai/Chinese-ChatLLaMA
- 基座模型:完整训练
- 试玩地址:无
- 特点:huggingface 集成,完整训练,有完善的部署和finetune方案
- 效果:
RWKV-LM
项目地址:https://github.com/BlinkDL/RWKV-LM
- 基座模型:RNN
- 特点:参考Transformer设计的RNN语言模型(类似convnext与ViT的关系)
- 效果:等GPU空闲再测试
随时更新欢迎关注收藏。