本文是LLM系列文章,针对《Phi-4 Technical Report》的翻译。
Phi-4技术报告
摘要
我们介绍了phi-4,这是一个140亿参数的语言模型,使用集中关注数据质量的训练配方开发。与大多数语言模型不同,在大多数语言模型中,预训练主要基于网络内容或代码等有机数据源,而phi-4在整个训练过程中战略性地整合了合成数据。虽然Phi家族的先前模型在很大程度上提取了教师模型(特别是GPT-4
标签:Phi,训练,Technical,模型,phi,Report From: https://blog.csdn.net/c_cpp_csharp/article/details/144540242