本文是LLM系列文章, 针对《BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline》的翻译。
百川SEED:通过引入有竞争力的大型语言模型基线,共享可扩展数据收集和重复数据删除的潜力
摘要
大型语言模型(LLM)的一般能力高度依赖于对大量预训练数据集的组合和选择,这些数据集被多个机构视为商业机密。为了缓解这个问题,我们开源了一个普遍适用的数据处理管道的细节,并通过引入有竞争力的LLM基线来验证其有效性和潜力。具体而言,数据处理管道包括广泛的收集以扩大规模和重新加权以提高质量。然后,我们使用我们的管道处理的3Ttoken预训练了一个7B模型的百川SEED,而没有任何刻意的下游任务相关优化,然后是一个简单但有效的监督微调阶段。百川SEED在整个训练过程中表现出一致性和可预测性,并在综合基准测试中与Qwen1.5和Llama3等几种商业高级大型语言模型取得了相当的性能。我们还进行了几个启发式实验,讨论进一步优化下游任务(如数学和编码)的潜力。