论文结构
摘要:
为了实现跨语言的知识对齐,提出了MTransE,一个基于翻译的多语言知识图谱嵌入模型。通过在分离的嵌入空间中编码每种语言的实体和关系,MTransE为每个嵌入向量提供了过渡到其他空间中跨语言对应物的功能,同时保留了单语种嵌入的功能。
动机(待解决的问题):
嵌入能够帮助提升单语言知识的完整性<应该指的是知识图谱补全>,但没有应用于多语言场景下。
挑战:
- 跨语言知识领域更加宽广<?>
- 实体和关系在不同语言中具有不连贯的词汇表
- 训练用的对齐样本通常占比较小
解决方法:
提出MTransE模型,这个模型分为两个子部分(知识模型和对齐模型)。
知识模型负责编码实体和关系(单语言TransE),对齐模型负责学习从一种语言编码到另一种编码的转化方法。
相关工作:
知识图谱嵌入、多语言词嵌入、知识库对齐
结论:对齐模型采用线性变换函数结果最好
未来工作:
- 如何用涉及关系特定实体转换的更高级模型来替代MTransE中使用的知识模型的简单损失函数。
- 可以进行更复杂的跨语言知识图谱完成任务。
- 将MTransE与多语言词嵌入结合起来,因为它将提供一个有用的工具,用于从多语言文本语料库中提取新的关系。
数据集:WK3l-15K、WK3l-120K
其它:第一篇将知识图谱嵌入泛化到多语言场景的研究。
技术细节
知识模型
就是TransE模型(后文解释没有负采样),损失函数是所有单语言损失的和,具体如下:
其中\(L\)是某种语言。
对齐模型
同样是最小化一个损失函数,它遍历2种语言的所有预对齐的事实\(T=(h,r,t)\),对每个事实对计算损失并求和。
对齐的损失计算公式有三种:
- Distance-based Axis Calibration
调整嵌入空间的轴来对齐。
细分为两种:只对实体约束,同时对实体和关系约束
- Translation Vectors
将对齐实体(或关系)之间的差异视为“翻译向量”。
- Linear Transformations
推导出嵌入空间之间的线性变换。
知识+对齐模型
综合上述两个子部分模型
标签:Multi,嵌入,语言,MTransE,模型,知识,lingual,对齐,Knowledge From: https://www.cnblogs.com/Chen0495/p/18119135