会议：SIGIR，时间：2023，学校：国防科技大学
摘要：
之前模型存在的问题：未能利用快照内结构信息的关系之间的语义相关性与快照间时间交互沿时间轴的周期性时间模式。
本文的工作：提出了一种新的推理模型（RPC）；它通过两个新的通信单元，即关系通信单元(RCU)和周期通信单元(PCU)，充分挖掘关系关联和周期模式背后的信息。其中，关系图卷积网络(RGCN)和关系图卷积网络(RCU)分别用于实体和关系的快照内图结构信息编码。此外，门控循环单元(GRU)和门控循环单元(PCU)分别用于时序和周期性快照间时间交互。此外，由time2vector编码器生成与模型无关的时间向量，以指导时间相关的解码器进行事实评分。
介绍：
TKG实例：(Mike, date, Amy, Dec. 11)表示Mike与Amy在12月11日有一个约会，如下图 (a)所示。子图(a)和(b)是两种不同的tkg视图。通过挖掘TKGs背后的逻辑模式，TKGR模型旨在推断缺失的事件，这些事件用红色虚线表示。此外，蓝框表示不同的KG快照，两条灰线表示“intra-”和“inter-”分别用于描述快照“内部”和“之间”的交互。
图1
本文的主要工作是针对TKGR中的外推推理，即为推测未来的事实。为了完成这一任务，本文发现两种类型的信息，即快照内的结构信息和快照间的时间交互，主要有助于在以前的模型中学习到用于推理的表示。前一个信息描述了每个KG快照的图结构中的逻辑模式，而后一个信息描述了不同时间戳的KG快照之间的临时交互。
但是以前的模型存在一定的局限性，主要表现在：
1.对于快照内的信息，这些模型没有利用关系之间的语义相关性。实体间的相互作用往往被抽象成图中的边，这种结构信息可以很容易地通过大多数GNN模型获得。但是常见的关系相关性背后的丰富信息在TKG中往往被忽视，这需要被利用起来，有利于优化模型的表达能力。例如，由于冠状病毒Omicron XBB在两个亲自接触的人之间具有高度传染性，因此，关系感染将与会面、日期等关系具有很强的相关性。
2.对于快照间的相互作用，这些模型忽略了沿着时间轴挖掘周期时间信息。本文认为，当未来发生类似事件时，过去围绕此类事件的相关信息将在推理中发挥重要作用，因为它们将留下类似的影响。例如，在奥运会期间，每四年就会出现一次旅游热潮。
本文的模型：一种新的编码器-解码器外推时间关系推理模型，称为RPC
模型构成：通过两个新的对应单元，即关系对应单元(RCU)和周期对应单元(PCU)，充分挖掘关系关联和周期模式背后的信息。
快照内信息：分别使用关系图卷积网络(RGCN)和RCU对实体和关系进行编码。具体来说，在RCU中，关系是基于关系对应图进行编码的，关系对应图是根据设计的构造策略从原始图中重构出来的
快照间信息：采用门控循环单元(GRU)来获取时序时间信息，并提出新的周期对应单元(PCU)，通过计算不同KG快照之间的对应分数来捕获特定范围(即k-Historical window)内的周期时间信息
其余操作：由time2vector编码器生成与模型无关的时间向量，以指导时间相关的解码器进行事实评分。
相关工作：
TKGR：
插值任务：
大多数早期的TKGR尝试都是在这种情况下提出的。例如，TTransE[10]是TransE[3]的变体，它将关系和时间都视为实体之间的转换。此外，TComplEx和TNTComplEx[21]都是在ComplEx的基础上发展起来的，它将带有附加时间信息的事实建模为四阶张量。然而，这些模型不能很好地扩展到外推推理任务。
外推任务：
Know-Evolve[45]和DyREP[46]利用时间点过程来模拟事实的发生。在此基础上，GHNN[17]进一步整合被查询实体周围的子图信息来辅助推理。随后，CyGNet[57]倾向于通过对具有相同头部实体和关系的重复事实建模来捕捉重复模式。此外，在TANGO[16]中设计了用于连续时间推理的特定神经常微分方程。此外，xERTE[15]使用子图采样技术构建可解释推理图。此外，在TKGR中使用强化技术来搜索最可能的事实，如CluSTeR[27]和TITer[43]。此外，有大量的模型分别使用图神经网络(GNN)和递归神经网络(RNN)模型来学习每个KG快照中图结构的表示以及不同KG快照之间的时间交互，包括RE-NET[19]、RE-GCN[29]、CEN[26]、EvoKG[38]、TiRGN[25]、HIP[18]。本文模型也可以归入这一类。
结构信息学习：
快照之间的交互通常被建模为知识图快照在特定时间戳处的图结构信息。图神经网络(gnn)被认为是挖掘图结构信息的有效模型。最常用的是RGCN[40]及其变体[4,44]。这些模型更侧重于学习实体的表示，而忽略了不同关系之间丰富的关联语义。最近对静态知识图推理的两种尝试倾向于基于不同的关系对应图(即描述关系之间对应关系的图)来挖掘这些信息。
时间交互建模：
TKGR模型需要额外的机制来模拟不同KG快照之间的时间交互，在本工作中也称为快照内时间信息。研究人员通常利用递归神经网络(RNN)模型来研究它，这些模型中的大多数可以很好地挖掘这种时间信息。然而，我们可以很容易地发现一些周期性和周期性的事件，如体育世界杯、奥运会、国家领导人选举。然而，以前的模型将忽略周期性事件背后的周期性时间信息。最近的一些研究尝试基于具体事件的重复频率来解决这个问题，如CyGNet， TiRGN，这种方法并不智能，需要人工对高频事件进行选择。
模型方法：
前置信息：
在本文中，定义TKG为\({\mathcal{G}=\left\{ \mathcal{E},\mathcal{R},\mathcal{S}_\mathcal{G},\mathcal{T}\right\}}\)，我们可以将其视为一系列静态知识图谱的快照集合\({\mathcal{S}_\mathcal{G}=\left\{ \mathcal{G}_1,\mathcal{G}_2,\cdots,\mathcal{G}_T\right\}}\)，其中\({\mathcal{G}_t=\left\{(e_h,r_{h,t},e_t,t)\right\}}\),任务可以被描述为：在时间戳\({0<t<T}\)的TKG上，预测查询事实\({\left( e_{h}^{q},r_{h,t}^{q},?,t^q \right)}\)的可能性，并给出最可信尾实体\({e_q^t}\)。此外，本文观察到现有的TKGR模型主要利用两类信息进行推理，即快照内的结构信息和快照间的时间信息，如图1 (b)所示，为了更好地理解我们的模型，我们在下面定义了这两类信息：
快照内部结构信息：给定一个TKG，每个KG快照中的信息称为快照内信息。由于这些信息通常是作为图结构表示来挖掘的，所以它也被称为快照内结构信息，可以从两个来源进一步学习，即KG快照中的实体和关系
快照间时间信息：给定一个TKG，不同KG快照之间的信息称为快照间信息。这些信息通常建模为时间交互，可以分为两种类型，即连续KG快照之间的顺序时间信息和不同时间戳的类似周期性KG快照之间的周期性时间信息。
模型架构：
本文提出的RPC框架通过两个新颖而简单的通信单元，即关系通信单元(RCU)和周期通信单元(PCU)，充分挖掘了关系关联和周期模式背后的信息。具体来说，GNN和RCU分别用于实体和关系的快照内图结构信息编码。此外，GRU和PCU分别设计用于
标签：right,快照,补全,Graph,Temporal,PCU,RCU,mathcal,left From： https://www.cnblogs.com/csqh/p/17851162.html