少样本知识图谱补全技术研究概述（持续更新，现在读文献还太少，等我读文献的）

一、少样本知识图谱补全概述和相关内容

1、知识图谱概述

1.1知识图谱定义

        知识图谱（knowledge graph，KG）用结构化的形式描述客观世界中概念、实体及其关系，它将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。

        知识图谱以三元组的形式（头实体，关系，尾实体）存储知识和事件，以网络的形式作为展示，在网络中每个节点代表实体，节点之间相互连接的边代表关系。

        知识图谱 G 表示为三元组 {(h,r,t)}⊆ E × R × E 的集合，其中 E 和 R 是实体集合和关系集合。每个三元组都由一个关系 r ∈ R 和两个实体 h,t ∈ E 组成，它们之间可以表示为头实体 h 到尾实体 t 有一条有向边r连接。

        目前一些大规模知识图谱 NELL（never-ending language learner）、Wikidate、YAGO（yet another great ontology）等被广泛应用于各种自然语言处理任务中，例如语义搜索、智能问答、推荐系统等。

1.1.2知识图谱嵌入

        知识图谱嵌入（knowledge graph embedding，KGE）旨在将实体和关系嵌入到潜在的低维数字表示中。

        在过去几年，KGE 方法被证明在知识图谱补全任务上是有效的，并且许多 KGE 方法已经应用于知识图谱补全任务，其中包括TransE（translating embedding）、ComplEx（complex embeddings）和 ConvE（convolutional 2D knowledge graph embeddings）等方法。

        但是目前的这些方法都假设知识图谱包含足够的实体和关系数据，然而在KG中少样本关系数据是广泛存在的 ，例如Wikidate中大约有10%的关系只有不超过10个三元组实例。此外，在实际应用的过程中，社交媒体或推荐系统产生的KG，会随着时间的流动进行动态更新，更新后的新关系通常只有少量的三元组实例。这种情况会导致大部分知识图谱补全方法的效果下降，因为这些方法都要求拥有足够的训练实例，所以在只拥有少数三元组实例的情况下，如何完成知识图谱补全任务是重要且具有挑战性的。

2、知识图谱补全概述

2.1知识图谱补全目的

        尽管知识图谱中有着大量的实体、关系、三元组，但是现有的大部分知识图谱都是不完整的，具体体现在一些实体之间缺少对应的关系，一些头实体和关系间缺少对应的尾实体。知识图谱补全任务（knowledge graph completion，KGC）旨在学习知识图谱中现有的实体关系三元组，进而推断出知识图谱缺失的实体或关系。

2.2知识图谱补全任务分类        

        1、在已知两个实体 (h,?,t) 的情况下，预测其中的关系r ；

        2、在已知头部实体和关系 (h,r,?) 的情况下，预测尾部实体 t 。

        目前研究者更专注于后一种研究。

2.3少样本知识图谱补全面临的困难

        1、少样本/零样本知识图谱补全程度不高

        2、无法很好利用知识图谱中的结构信息

        3、邻域信息的使用和去噪：忽略三元组周围的高阶邻域信息（多跳邻域信息）；在集合实体邻域信息时，有些实体并没有很多邻居信息，但是伴随编码范围的扩大，会引入很多无关的信息甚至是噪音信息

        4、动态时序知识图谱补全任务相关研究较少

2.4少样本知识图谱补全的一些相关内容

        1、背景知识图谱G'：当前知识图谱G的一个子集，其中包含和任务关系r相关的三元组

        2、实体的一跳邻居集合Ne：一般在FKGC任务中 Ne也被称为实体e的邻域，它是由背景知识图谱G′产生，其中包含所有与实体e相连接的关系r和尾实体t

        3、少样本关系的邻域：针对少样本关系 r 而言，它自身的邻域可以被定义为 {h,t,Nh,Nt} ，其中 h、t 是头实体和尾实体，它们和关系 r 可以构成一个三元组(h,r,t) ；Nh、Nt 是头实体和尾实体的一跳邻居集合。

二、少样本知识图谱补全方法简要介绍

1、基于度量学习的方法

        度量学习的方法一般是从一组待训练的任务中学习到可概括的距离公式和相应的匹配函数，进而推广到新出现的任务中，此类方法大多采用深度孪生网络中所提出的通用匹配框架 Matching Nets。

        在 KGC 中，很多 KGC 模型在训练过程中都需要大量的数据作为支撑，如果在FKGC任务中使用，就会面对性能受限制或者没有足够数据支持的问题。

1.1Gmatching

        参考文献：Xiong W, Yu M, Chang S, et al. One-shot relational learning for knowledge graphs[J]. arXiv preprint arXiv:1808.09040, 2018.

        Xiong等人在2018年提出（第一次定义少样本知识图谱补全概念）

        Gmatching 模型的核心是利用实体嵌入信息和局部图结构来构建匹配度量函数。模型思想是针对当前任务的关系 r ，计算查询实体对与参考实体对的相似度，排序得到正确尾实体 ttrue 的排名。

邻居编码器：利用实体的一跳邻居增强每个实体的表示的信息量；传入（关系，邻居实体）；手动限定最大邻居数；

匹配处理器：将从邻居编码器中取得的任意两个实体对的向量表示，然后在两个实体对之间执行多步匹配，并输出标量作为相似度分数。

1.2FSRL

        参考文献：Zhang C, Yao H, Huang C, et al. Few-shot knowledge graph completion[C]//Proceedings of the AAAI conference on artificial intelligence. 2020, 34(03): 3041-3048.

        Zhang等人在2020年提出FSRL（few- shot relation learning）

1.3FAAN

        参考文献：Sheng J, Guo S, Chen Z, et al. Adaptive attentional network for few-shot knowledge graph completion[J]. arXiv preprint arXiv:2010.09638, 2020.

1.4TransAM

        参考文献：Liang Y, Zhao S, Cheng B, et al. Exploring entity interactions for few-shot relation learning (student abstract)[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(11): 13003-13004.

2、基于元学习的方法

        元学习就是学会学习的学习，其特点是只使用少量的训练样本，也能快速学习新的概念或知识。在 FKGC的研究中，基于元学习的方法旨在学习训练任务中的关联三元组特征，从而在新的任务上进行泛化。

2.1MetaR

        参考文献：Chen M, Zhang W, Zhang W, et al. Meta relational learning for few-shot link prediction in knowledge graphs[J]. arXiv preprint arXiv:1909.01515, 2019.

        MetaR 模型是由 Chen 等人在 2019 年提出的，该模型是第一个将元学习应用于 FKGC 上的方法。MetaR 模型的核心是利用关系元信息和梯度元信息来加速模型的更新迭代与完成 FKGC任务。

2.2Meta-KGR

        参考文献：Lv X, Gu Y, Han X, et al. Adapting meta knowledge graph information for multi-hop reasoning over few-shot relations[J]. arXiv preprint arXiv:1908.11513, 2019.

2.3GANA

        参考文献：Niu G, Li Y, Tang C, et al. Relational learning with gated and attentive neighbor aggregator for few-shot knowledge graph completion[C]//Proceedings of the 44th international ACM SIGIR conference on research and development in information retrieval. 2021: 213-222.

2.4Meta-iKG

        参考文献：Zheng S, Mai S, Sun Y, et al. Subgraph-aware few-shot inductive link prediction via meta-learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2022.

3、基于其他模型的方法

3.1基于双重过程理论的模型 CogKR

        参考文献：Du Z, Zhou C, Ding M, et al. Cognitive knowledge graph reasoning for one-shot relational learning[J]. arXiv preprint arXiv:1906.05489, 2019.

3.2基于知识协同微调方法的模型KnowCo-Tuning

        参考文献：张宁豫, 谢辛, 陈想, 等. Knowledge collaborative fine-tuning for low-resource knowledge graph completion[J]. Journal of software, 2022, 33(10): 3531-3545.

3.3基于对抗迁移学习的模型 wRAN

       参考文献：Zhang N, Deng S, Sun Z, et al. Relation adversarial network for low resource knowledge graph completion[C]//Proceedings of the web conference 2020. 2020: 1-12.

3.4基于注意力机制的模型Attention-Model       

        参考文献：Xie H, Li A, Jia Y. Few-shot knowledge reasoning method based on attention mechanism[C]//Proceedings of the 2019 8th International Conference on Computing and Pattern Recognition. 2019: 46-51

三、少样本知识图谱补全实验比较

1、常用数据集

2、常用评价指标

        目前针对少样本知识图谱补全算法，还没有特定的评价指标，而是使用传统的知识图谱补全算法的评价指标 MRR 以及 Hits@n，其中 MRR 是每个少样本知识图谱补全算法普遍使用的评价指标，此外，不同的少样本知识图谱补全算法也会采用不同的Hits@n指标。

2.1MRR

        MRR指标代表在所有预测的三元组中正确实体在预测结果中的平均排名的倒数，该指标数值越大代表正确实体的排名越靠前，是评价少样本知识图谱补全算法的重要指标。

2.2Hits@n

        Hits@n 指标代表在所有预测的三元组中正确的缺失实体排名在前 n 名的概率，例如 Hits@1 代表正确的缺失实体在所有预测结果中排名第一的概率。该指标的数值越大代表少样本知识图谱补全算法的性能越好，常见的指标参数为 Hits@10、Hits@3 和Hits@1。

3、模型比较

注：后续会更新简要介绍每个模型的整体思路，具体模型详解请按参考文献自行查找

注：本文模型整理规划存在遗漏或偏差，后续随缘补充更新新的参考文献及模型