在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现，并看看它与原始transformer 实现相比到底能快多少。
推测解码是一种“先推测后验证” (Draft-then-Verify) 的解码算法，涉及并行运行两个模型，可与i将语言模型推理的速度有望提高2-3倍。
https://avoid.overfit.cn/post/5a5ec75eec9f48a685c2686b0009e8fc
标签：解码,准确性,推测,LLM,速度,推理 From： https://www.cnblogs.com/deephub/p/18125416