SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models

本文是LLM系列文章，针对《SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models》的翻译。

SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models

• 摘要
• 1 引言
• 2 Self-Logits进化解码
• 3 实验
• 4 相关工作
• 5 结论

摘要

大型语言模型（LLM）已经证明了其卓越的能力，但它们的输出有时可能不可靠或事实不正确。为了解决这个问题，我们引入了Self-Logits进化解码（SLED），这是一种新的解码框架，可以增强LLM的真实性，而不依赖于外部知识库或需要进一步的微调。从优化的角度来看，我们的SLED框架通过对比最后一层和早期层的输出逻辑，利用了LLM中嵌入的潜在知识。然后，它利用近似梯度方法使潜在知识能够指导输出的自我细化，从而有效地提高了事实的准确性。在各种模型族（LLaMA 2、LLaMA 3、Gemma）和规模（从2B到70B）的既定基准上进行了广泛的实验，包括更先进的架构配置，如专家混合（MoE）。我们的评估涵盖了各种各样的任务，包括多选、开放生成和对思维链推理任务的适应。结果表明，与现有的解码方法相比，SLED始终将事实准确性提高了20%，同时保持了自然语言的流畅性和可忽略的延迟开销。此外，它可以灵活地与其他解码方法相结合，以进一步提高其性能。