INSIDE: LLMS’ INTERNAL STATES RETAIN THE POWER OF HALLUCINATION DETECTION

本文是LLM系列文章，针对《INSIDE: LLMS’ INTERNAL STATES RETAIN THE POWER OF HALLUCINATION DETECTION》的翻译。

INSIDE：LLMS的内部状态保留了幻觉检测的力量

• 摘要
• 1 引言
• 2 幻觉检查的背景
• 3 方法
• 4 实验
• 5 相关工作
• 6 结论

摘要

知识幻觉引起了人们对部署的LLM的安全性和可靠性的广泛关注。之前在检测幻觉方面的努力已被用于logit级不确定性估计或语言级自一致性评估，在这些评估中，语义信息在标记解码过程中不可避免地会丢失。因此，我们建议探索LLM内部状态中保留的密集语义信息，以进行特征检测（INSIDE）。特别是，提出了一种简单而有效的特征分数度量来更好地评估响应的自一致性，该度量利用响应协方差矩阵的特征值来衡量密集嵌入空间中的语义一致性/多样性。此外，从自洽幻觉检测的角度来看，探索了一种测试时间特征裁剪方法来截断内部状态中的极端激活，这减少了过度自信的产生，并可能有利于过度自信幻觉的检测。对几种流行的LLM和问答（QA）基准进行了广泛的实验和消融研究，表明了我们的建议的有效性。

1 引言

2 幻觉检查的背景

3 方法

4 实验

5 相关工作

6 结论