Dated Data: Tracing Knowledge Cutoffs in Large Language Models

本文是LLM系列文章，针对《Dated Data: Tracing Knowledge Cutoffs in Large Language Models
》的翻译。

日期数据：追踪大型语言模型中的知识截断

• 摘要
• 1 引言
• 2 相关工作
• 3 方法
• 4 结果
• 5 为什么模型与截止日期不一致？
• 6 结论

摘要

已发布的大型语言模型（LLM）通常与声称的知识截止日期或收集训练数据的日期配对。这些信息对于LLM必须提供最新信息的应用程序至关重要。然而，这种说法只触及了表面：训练数据中的所有资源是否共享相同的知识截止日期？模型证明的这些子集的知识是否与它们的截止日期密切相关？在这项工作中，我们定义了有效截止的概念。这与LLM设计者报告的截止值不同，并分别适用于子资源和主题。我们提出了一种简单的方法，通过在不同版本的数据之间进行探测来估计LLM的资源级时间对齐的有效截止点。通过这种分析，我们发现有效的截止值往往与报告的截止值不同。为了了解这种观察的根本原因，我们对开放的预训练数据集进行了直接的大规模分析。我们的分析揭示了这些不一致的两个原因：（1ÿ