首页 > 其他分享 >论文阅读:Unifying Large Language Model and Knowledge Graph:A RoadMap

论文阅读:Unifying Large Language Model and Knowledge Graph:A RoadMap

时间:2023-10-22 11:11:06浏览次数:33  
标签:KG Knowledge Language LLMs Graph Large LLM 2.1 enhanced

1 Introduction

大模型和知识图谱结合的综述。
简单介绍一下大模型和知识图谱的优缺点:
image
如上所示。

本文主要划分为三个模块,分别为:

  1. KG-enhanced LLMs
  2. LLM-augmented KGs
  3. Synergized LLM + KG

2 Background

主要介绍了LLM和KG

2.1 Large Language Model(LLMs)

主要依靠transformer和注意力机制

image

分类如上所示。

LLM根据结构分类如下:

2.1.1 Encoder-only LLMs

主要根据输入句子来预测mask words。
主要应用在文本分类,实体识别领域。

2.1.2 Encoder-decoder LLMs

将输入文本编码至隐藏层,再生成目标文本。
主要应用在总结、翻译和问答系统

2.1.3 Decoder-only LLMs

仅生成目标文本,最先进的模型一般都是这类

2.2 Prompt Engineering

创造和重定义prompts来最大化LLMs的性能
image
一些比较先进的工作:
Chain-of-thought(CoT)使得大模型实现复杂推理。
Autmatic prompt engineer(APE)自动生成prompt提升LLMs的性能

2.3 Knowledge Graphs(KGs)

根据存储信息的不同主要划分为4类:
image
分别为百科全书式、常识性、特定领域、多模态的知识图谱。
image
一些常用的应用如上所示。

3 Roadmap & Categorization

image
主要分为如上几个方面。
接下来详细讲述KG如何和LLM结合

4 KG-enhanced LLMs

4.1 KG-enhanced LLM Pre-training

KGs进行大模型预训练主要分为如下三个方面:

标签:KG,Knowledge,Language,LLMs,Graph,Large,LLM,2.1,enhanced
From: https://www.cnblogs.com/zjz2333/p/17780118.html

相关文章

  • 呜呜呜我要拿Go赢他~ Go language MacOs build development environment Hello! Go !
    前言Go编程语言是一个开源项目,旨在提高程序员的工作效率。Go富有表现力、简洁、干净且高效。它的并发机制使编写能够充分利用多核和联网机器的程序变得容易,而其新颖的类型系统可以实现灵活和模块化的程序构建。Go可以快速编译为机器代码,同时还具有垃圾收集的便利性和运行时反射......
  • Makefile knowledge summarization
    WildcardThewildcardinmakefileissimilarwithmacroinC/C++,itisn'tsimilarwithwildcardinlinuxshell,soitdoesn'texpendautomatically.object1=*.c//*.cobject2=$(wildcard*.cpp)//main.cppt1.cppt2.cppAutomaticallygene......
  • 从零开始打造基于GraphView的行为树框架
    本文主要介绍了行为树的一些特点,以及如何在Unity中从零开始实现基于事件驱动的行为树Runtime框架(包括黑板参数、可扩展的自定义序列化数据格式等),与如何基于GraphView开发配套的行为树可视化编辑器与调试器(包括注释块、复制粘贴、Undo/Redo等)。 本课程属于进阶课程,适合已经有......
  • Metropolis Algorithms for Representative Subgraph Sampling
    目录概主要内容MetropolisgraphsamplingH\¨{u}blerC.andKriegelH.,BorgwardtK.andGhahramaniZ.Metropolisalgorithmsforrepresentativesubgraphsampling.ICDM,2008.概提出了一种尽可能保持拓扑结构的子图采样方法.主要内容假设我们有一个大图\(G\),......
  • GRLSTM:基于图的残差LSTM轨迹相似性计算《GRLSTM: Trajectory Similarity Computation
    2023年10月18日,14:14。来不及了,这一篇还是看的翻译。论文:GRLSTM:TrajectorySimilarityComputationwithGraph-BasedResidualLSTM(需要工具才能访问)Github: AAAI2023的论文。 摘要轨迹相似性的计算是许多空间数据分析应用中的一项关键任务。然而,现有的方法主要是......
  • Sampling from Large Graphs
    目录概主要内容LeskovecJ.andFaloutsosC.Samplingfromlargegraphs.KDD,2006.概讨论了不同稀疏化方法对于large-graph的`结构'的保持.主要内容作者本文的目的是希望比较不同的'稀疏化'方法:利用一些方法从大图\(G\)中采样子图\(g\)(更少的结点数或更少......
  • 论文阅读:Knowledge Distillation via the Target-aware Transformer
    摘要Knowledgedistillationbecomesadefactostandardtoimprovetheperformanceofsmallneuralnetworks.知识蒸馏成为提高小型神经网络性能的事实上的标准。Mostofthepreviousworksproposetoregresstherepresentationalfeaturesfromtheteachertothes......
  • Internet-augmented language models through few-shot prompting for open-domain qu
    Internet-augmentedlanguagemodelsthroughfew-shotpromptingforopen-domainquestionanswering 其实我没怎么正经读过论文,尤其是带实验的,我目前认真读过的(大部头)也就是一些LLM的综述。记录这个文档主要是防止自己读着读着玩手机去了/注意力不集中了跑路了/没记录困惑导......
  • 3D Math for Graphics and Game笔记
    这个机器人的原点在世界坐标系下的(4.5,1.5),而她右肩膀上的那个灯的模型坐标系为(-1,5),怎样计算这个灯的世界坐标呢?开始:获取原点,这个原点为(4.5,1.5)向右移动一个位置,机器人的"左边"是[0.87,0.50],这样得到的位置为(4,5,1.5)+(-1)X[0.87,0.50]=(3.63,1)向上移动5个位......
  • 学习笔记:Graph WaveNet
    GraphWaveNetforDeepSpatial-TemporalGraphModeling用于深度时空图模型的GraphWaveNet期刊:IJCAI2019作者:ZonghanWu,ShiruiPan,GuodongLong,JingJiang,ChengqiZhang论文地址:https://www.ijcai.org/Proceedings/2019/0264代码地址:https://github.com/nnzhan/Gr......