本文是LLM系列文章，针对《A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models》的翻译。
大型语言模型中加速生成技术的全面调查
摘要
尽管在大型语言模型 （LLM） 中加速文本生成对于高效生成内容至关重要，但此过程的连续性通常会导致高推理延迟，从而给实时应用程序带来挑战。已经提出和开发了各种技术来应对这些挑战并提高效率。本文对自回归语言模型中的加速生成技术进行了全面调查，旨在了解最先进的方法及其应用。我们将这些技术分为几个关键领域：推测解码、早期退出机制和非自回归方法。我们讨论了每个类别的基本原则、优势、局限性和最新进展。通过这项调查，我们旨在提供对 LLM 技术现状的见解，并为自然语言处理这一关键领域的未来研究方向提供指导。
1 引言
2 推测解码
3 早退
4 非自回归模型
5 讨论和局限性
6 结论
本调查论文探讨了旨在减少与 LLM 推理相关的延迟的加速生成算法。我们探索了各种策略，这些策略可实现并行或更高效的token生成，以加快解码过程，同时保持生成输出的质量。我们的调查包
标签：Language,Generation,Comprehensive,解码,调查,生成,非自,LLM,模型 From： https://blog.csdn.net/c_cpp_csharp/article/details/142023875