本文是LLM系列文章,针对《PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics》的翻译。
PoLLMgraph:通过状态转换动力学揭示大型语言模型中的幻觉
摘要
尽管近年来大型语言模型(LLM)取得了巨大进步,但其实际部署面临的一个特别紧迫的挑战是“幻觉”现象,即模型捏造事实并产生非事实陈述。作为回应,我们提出了PoLLMgraph——LLM的测谎仪——作为一种有效的基于模型的白盒检测和预测方法。PoLLMgraph明显不同于现有的大量研究,后者专注于通过黑箱评估来应对这些挑战。特别是,我们证明,通过可处理的概率模型分析LLM在生成过程中的内部状态转换动力学,可以有效地检测幻觉。在各种开源LLM上的实验结果证实了PoLLMgraph的有效性,其性能远远优于最先进的方法,在TruthyQA等常见基准数据集上AUCROC提高了20%以上就证明了这一点。我们的工作为基于模型的LLM白盒分析铺平了新的道路,激励研究界进一步探索、理解和完善LLM行为的复杂动态。