大型语言模型（LLMs）在各种任务中展现出惊人的能力，但仍然面临着诸如幻觉等挑战。幻觉是指LLMs生成与事实不符或毫无意义的响应。造成幻觉的一个潜在原因是缺乏相关知识或上下文。因此，一个很有前景的解决方案是指示LLMs在问题超出其知识范围或提供的上下文时，回答“我不知道”。然而，在这项研究中，我们观察到LLMs难以承认其知识的局限性，这主要是因为现有的指令数据集旨在鼓励特定的答案。
为了提高大型语言模型识别其知识边界的能力，我们提出了一种名为“不确定性敏感训练”的新方法。该方法包含一个两阶段训练过程，专门针对不确定性识别和提示敏感激活。在第一阶段，我们引导LLMs拒绝未知问题。在第二阶段，我们通过整合设计的因果指令来恢复问答任务中下降的性能。通过利用这种方法，我们旨在增强模型识别不确定性区域的能力。
LLMs 为什么难以承认“不知道”？
现有的研究表明，在训练数据和过度估计方面存在不确定性。模型倾向于模仿训练集中的输出，导致对不足的疑问-上下文对生成合理的答案，从而产生幻觉。此外，模型可能对其能力过于自信，无法识别未知问题。
为了解决这个问题，一些研究人员建议提示LLMs承认其知识的缺乏。然而，这样做会导致LLMs忽略提示中包含的重要指令。如图1所示，即使有明确的指令，例如“如果上下文不足以回答问题，请用‘未提供’回答”，LLMs仍然可能利用提供的语料库之外的知识。
不确定性敏感训练：两阶段训练方法
为了增强大型语言模型识别其知识局限性的能力，我们提出了一种名为“不确定性敏感训练”的新训练框架。该方法包含一个两阶段训练过程，专门针对不确定性识别和提示敏
标签：不确定性,训练,LLMs,模型,知识,训练方法,敏感,识别 From： https://blog.csdn.net/weixin_36829761/article/details/139758968