时间知识图谱补全的历时嵌入

原文

Diachronic Embedding for Temporal Knowledge Graph Completion

出版

The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20)

申明

版权归原文作者及出版单位所有，如有侵权请联系删除

摘要

知识图谱（Knowledge graphs，简称KGs）通常包含表示实体在不同时间之间关系的时间性质。由于它们的不完整性，已经提出了多种方法来基于现有的事实推断KG中的新事实，这个问题被称为KG补全。KG嵌入方法已经证明对于KG补全是有效的，然而，它们主要是针对静态KG进行开发的。开发时序KG嵌入模型是一个越来越重要的问题。在本文中，我们通过为静态模型添加历时实体嵌入函数来构建时序KG补全的新模型，该函数可以提供实体在任何时间点的特征。这与现有的时序KG嵌入方法相反，后者只提供静态实体特征。所提出的嵌入函数是模型无关的，并且可以与任何静态模型潜在地结合使用。我们证明将其与SimplE（一种用于静态KG嵌入的最新模型）结合，可以得到一个完全表达能力的时序KG补全模型。我们的实验证明了我们的提议相对于现有基线模型的优越性。

介绍

在这篇论文中，我们基于一种直观的假设来开发时序知识图谱补全（Temporal KG Completion，TKGC）的模型：为了给出例如（Mary，喜欢，教父，1995）这样的关系一个分数，我们需要了解Mary和教父在1995年的特征；基于它们当前的特征来提供分数可能会引导错误。这是因为Mary的个性和对教父的情感在1995年与现在相比可能大不相同。因此，学习每个实体的静态表示——正如现有方法所做的那样——可能是次优的，因为这种表示只捕捉了实体在当前时间的特征，或者是在时间上的实体特征的聚合。

为了在任何给定的时间提供实体特征，我们定义了实体嵌入作为一个函数，它接受实体和时间戳作为输入，并为该时间点上的实体提供隐藏表示。受到历时词嵌入的启发，我们将我们提出的嵌入称为历时嵌入（Diachronic Embedding，DE）。DE是模型无关的：通过利用DE，任何静态KG嵌入模型都有潜力扩展为TKGC模型。我们证明将DE与SimplE（Kazemi和Poole，2018b）相结合可以得到一个完全表达能力的TKGC模型。

据我们所知，这是第一个具有完全表达能力证明的TKGC模型。我们在ICEWS（Boschee等人，2015）和GDELT（Leetaru和Schrodt，2013）数据集的子集上展示了我们模型的优点。

历时嵌入

实体的历时嵌入

其中 a(v)、w(v)、b(v) 是具有可学习参数的（实体特定的）向量，σ 是一个激活函数。直观地说，实体可能具有随时间变化的一些特征和保持不变的一些特征。方程（1）中向量的前γd个元素捕捉时间特征，而其他（1 − γ）d个元素捕捉静态特征。

0 ≤ γ ≤ 1 是一个超参数，控制时间特征的百分比。虽然在方程（1）中，如果优化器将w(v)的某些元素设为零，静态特征可以从时间特征中获得，但显式地建模静态特征有助于减少可学习参数的数量，并避免对时间信号的过拟合（参见消融研究）。

直观地说，通过学习 w(v) 和 b(v)，模型学习如何在不同时间点上打开和关闭实体特征，从而可以在任何时间对它们进行准确的时间预测。a(v) 控制特征的重要性。我们主要在方程（1）中使用正弦函数作为激活函数，因为一个正弦函数可以模拟多个打开和关闭状态。我们的实验证明还探索了其他激活函数，并提供了更多的直观理解。

实验

关系的历时嵌入:

与实体相比，我们假设关系可能以非常低的速率进化，或者对于某些关系，进化可以忽略不计。

因此，用静态(而不是历时的)表示来建模关系可能就足够了。为了测试这个假设，我们在ICEWS14上运行了DE-trans和DE-DistMult，其中关系嵌入也是时间的函数。从表3中获得的结果可以看出，具有实体和关系的历时嵌入的模型与仅具有实体的历时嵌入的模型表现相当。我们在ICEWS0515(时间跨度更长)和GDELT上进行了相同的实验，观察到了类似的结果。这些结果表明，至少在我们的基准上，对关系的演变建模可能没有帮助。未来的工作可以在具有其他类型关系和更长时间跨度的数据集上测试这一假设。