首页 > 其他分享 >【论文笔记-1】Multi-lingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment

【论文笔记-1】Multi-lingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment

时间:2024-04-07 15:48:03浏览次数:25  
标签:Multi 嵌入 语言 MTransE 模型 知识 lingual 对齐 Knowledge

论文结构

摘要:
为了实现跨语言的知识对齐,提出了MTransE,一个基于翻译的多语言知识图谱嵌入模型。通过在分离的嵌入空间中编码每种语言的实体和关系,MTransE为每个嵌入向量提供了过渡到其他空间中跨语言对应物的功能,同时保留了单语种嵌入的功能。

动机(待解决的问题):
嵌入能够帮助提升单语言知识的完整性<应该指的是知识图谱补全>,但没有应用于多语言场景下。

挑战

  1. 跨语言知识领域更加宽广<?>
  2. 实体和关系在不同语言中具有不连贯的词汇表
  3. 训练用的对齐样本通常占比较小

解决方法:
提出MTransE模型,这个模型分为两个子部分(知识模型和对齐模型)。
知识模型负责编码实体和关系(单语言TransE),对齐模型负责学习从一种语言编码到另一种编码的转化方法。

相关工作
知识图谱嵌入、多语言词嵌入、知识库对齐

结论:对齐模型采用线性变换函数结果最好

未来工作

  1. 如何用涉及关系特定实体转换的更高级模型来替代MTransE中使用的知识模型的简单损失函数。
  2. 可以进行更复杂的跨语言知识图谱完成任务。
  3. 将MTransE与多语言词嵌入结合起来,因为它将提供一个有用的工具,用于从多语言文本语料库中提取新的关系。

数据集:WK3l-15K、WK3l-120K

其它:第一篇将知识图谱嵌入泛化到多语言场景的研究。

技术细节

知识模型

就是TransE模型(后文解释没有负采样),损失函数是所有单语言损失的和,具体如下:
MtransE知识模型损失函数
其中\(L\)是某种语言。

对齐模型

MtransE对齐模型损失函数
同样是最小化一个损失函数,它遍历2种语言的所有预对齐的事实\(T=(h,r,t)\),对每个事实对计算损失并求和。

对齐的损失计算公式有三种:

  1. Distance-based Axis Calibration
    调整嵌入空间的轴来对齐。
    细分为两种:只对实体约束,同时对实体和关系约束
    只对实体约束

同时对实体和关系约束

  1. Translation Vectors
    将对齐实体(或关系)之间的差异视为“翻译向量”。

基于翻译向量

  1. Linear Transformations
    推导出嵌入空间之间的线性变换。

线性变换

知识+对齐模型

综合上述两个子部分模型

标签:Multi,嵌入,语言,MTransE,模型,知识,lingual,对齐,Knowledge
From: https://www.cnblogs.com/Chen0495/p/18119135

相关文章