本文是LLM系列文章,针对《Distilling System 2 into System 1》的翻译。
将系统2蒸馏成系统1
摘要
大型语言模型(LLM)可以在推理过程中花费额外的计算来生成中间思想,这有助于产生更好的最终响应。自思维链以来,已经提出了许多这样的系统2技术,如改写和响应、系统2注意力和分支求解合并。在这项工作中,我们研究了自监督方法,将系统2技术的更高质量输出“编译”(提取)回LLM代,而无需中间推理token序列,因为这种推理已被蒸馏到系统1中。我们表明,可以成功地蒸馏出几种这样的技术,与原始的系统1性能相比,结果有所改善,并且推理成本低于系统2。我们认为,系统2的蒸馏将是未来持续学习人工智能系统的一个重要特征,使它们能够将系统2的能力集中在它们还不能很好地完成的推理任务上。
1 引言
2 相关工作
3 将系统2蒸馏到系统1
4 实验
5 结论
最近的工作表明,在内环中使用LLM的复杂推理过程,称为系统2方法,可以提高性能。在这项工作中,我们表明,在许多情况下,可以将系统2的推理蒸馏到LLM的输出中,而无需中间生成,同时保持甚至有时提高性能。虽然并非所有方法都可以使用我们的方法轻松蒸馏,但复杂推理的思维链是一个具有挑战性的反例,对于不同的方法来说,这是可能的。我们的方法适用于系统2注意力,用于处理偏见和不相关的上下文,改写和响应,用于
标签:蒸馏,方法,into,系统,System,LLM,推理,Distilling From: https://blog.csdn.net/c_cpp_csharp/article/details/140524044