Index-1.9B模型简介
Index-1.9B是哔哩哔哩自主研发的一款轻量级多语言大模型系列,包含以下几个版本:
Index-1.9B base: 基础模型,具有19亿非嵌入参数,在2.8T主要为中英文的语料上进行预训练,在多项评测基准上领先同级别模型。
Index-1.9B pure: 基础模型的对照版本,参数和训练策略相同,但从语料中严格过滤掉所有指令相关数据,用于验证指令对基准测试的影响。
Index-1.9B chat: 基于Index-1.9B base进行SFT和DPO对齐的对话模型。由于预训练中引入了大量互联网社区语料,该模型相比同级别模型具有更有趣的聊天能力和更强的多语言(尤其是东亚语言)翻译能力。
Index-1.9B character: 在SFT和DPO基础上引入RAG技术,实现少样本角色扮演定制。
Index-1.9B模型在轻量化的同时保持了优秀的性能,为用户提供了灵活多样的应用选择。接下来我们将详细介绍该模型的评测结果、下载方式和使用方法。
模型评测结果
Index-1.9B在多项评测基准上表现优异,以下是与其他同级别及更大规模模型的对比结果:
模型 平均分 英语平均分 MMLU CEVAL CMMLU HellaSwag Arc-C Arc-E
Google Gemma 2B 41.58 46.77 41.81 31.36 31.02 66.82 36.39 42.07
Phi-2 (2.7B) 58.89 72.54 57.61 31.12 32.05 70.94 74.51 87.1
Qwen1.5-1.8B 58.96 59.28 47.05 59.48 57.12 58.33 56.82 74.93
Qwen2-1.5B(report) 65.17 62.52 56.5 70.6 70.3 66.6 43.9 83.09
MiniCPM-2.4B-SFT 62.53 68.75 53.8 49.19 50.97 67.29 69.44 84.48
Index-1.9B-Pure 50.61 52.99 46.24 46.53 45.19 62.63 41.97 61.1
Index-1.9B 64.92 69.93 52.53 57.01 52.79 80.69 65.15 81.35
Llama2-7B 50.79 60.31 44.32 32.42 31.11 76 46.3 74.6
Mistral-7B (report) / 69.23 60.1 / / 81.3 55.5 80
从评测结果可以看出,Index-1.9B在总体平均分和英语平均分上表现优异,甚至超过了一些参数量更大的模型。特别是在HellaSwag、Arc-C和Arc-E等测试上,Index-1.9B展现出了强大的性能。这些结果充分证明了Index-1.9B在轻量化的同时,仍然保持了卓越的语言理解和生成能力。
模型下载
Index-1.9B系列模型可以从以下渠道下载:
模型 HuggingFace ModelScope
Index-1.9B-Chat