首页 > 其他分享 >知识图谱与LLMs:实时图分析(通过其关系的上下文理解数据点)

知识图谱与LLMs:实时图分析(通过其关系的上下文理解数据点)

时间:2024-07-17 18:57:11浏览次数:18  
标签:检索 LLMs 图谱 知识 应用程序 聊天 LLM 上下文

大型语言模型 (LLM) 极大地改变了普通人获取数据的方式。不到一年前,访问公司数据需要具备技术技能,包括熟练掌握各种仪表板工具,甚至深入研究数据库查询语言的复杂性。然而,随着 ChatGPT 等 LLM 的兴起,随着所谓的检索增强型 LLM 应用程序的兴起,隐藏在私人数据库中或可通过各种 API 访问的丰富知识现在比以往任何时候都更容易获得。

检索增强生成应用程序。

检索增强应用程序背后的想法是从各种来源检索更多信息,以便 LLM 生成更好、更准确的结果。OpenAI 似乎也注意到了这一趋势,他们最近推出了 OpenAI函数。新的 OpenAI 模型经过训练,可以使用为函数(或其他库所称的工具))提供参数,这些函数的签名和描述在上下文中传递,以便在查询时根据需要检索更多信息。

我们观察到,在检索增强应用中,向量相似性搜索具有很强的偏向性。如果您在过去三个月内打开过 Twitter 或 LinkedIn,您可能已经看到过各种“与 PDF 聊天”应用。在这些示例中,实现相对简单。文本从 PDF 中提取,根据需要拆分成块,最后连同其文本嵌入表示一起存储在向量数据库中。

这类应用的入门门槛很低,特别是当你处理少量数据时。如今发表的很多文章给人的印象是只有矢量数据库才适用于检索增强应用,这真是令人着迷。

虽然基于向量相似度的非结构化文本信息检索具有巨大的潜力,但我们相信结构化信息在 LLM 应用中发挥着重要作用。

上次我们写了关于多跳问答以及知识图谱如何帮助解决从多个文档中检索信息以生成准确答案的问题。此外,我们暗示向量相似性搜索不是为分析工作流设计的,因为我们依赖结构化信息。

例如,以下问题:

  • 谁可以把我介绍给 Emil Eifrém(Neo4j 的首席执行官)?
  • ALOX5 基因与克罗恩病有何关系?
  • 当我们的某个微服务出现中断时,它会对我们的产品产生什么影响?
  • 航班延误是如何在网络中传播的?
  • 哪些用户可以为社交媒体帖子的病毒式传播做出贡献?

所有这些问题都需要高度关联的信息才能准确回答问题。例如,要了解谁可以把你介绍给埃米尔,你需要有关人际关系的信息。

另一方面,您需要映射微服务和产品之间的依赖关系,以评估特定微服务故障的规模和严重程度。

在这篇博文中,我们将介绍一些您可能希望在 LLM 应用程序中实现的实时图形分析的常见用例。

寻找(最短)路径

关系是原生图形数据库中的头等公民。尽管知识图谱允许您执行典型的聚合和过滤来回答诸如“本周我们获得了多少客户?”之类的问题,但我们将更多地关注以遍历关系为主要组成部分的分析用例。一个这样的例子是找到数据点之间的最短或所有可能路径。例如,要回答这个问题:

谁可以把我介绍给 Emil Eifrem?

我们必须在图中找到我和埃米尔·艾弗莱姆之间的最短路径。

单一最短路径
单一最短路径

实时查找最短路径的另一个有用用例是任何类型的运输、物流或路线规划应用程序。在这些应用程序中,您可能需要评估前 N 条最短路径,以确保在发生意外情况时有某种后备计划。

罗马站点间最短的两条路径

此图显示了罗马两站之间的前 2 条最短路径。这些最短路径可针对距离、时间、成本或组合进行优化。

另一个在 LLM 申请中寻找数据点之间路径的领域是生物医学领域。在生物医学领域,你要处理基因、蛋白质、疾病、药物等。也许更重要的是,这些实体并不是孤立存在的,而是相互之间存在复杂的、通常是多层的关系。

例如,一个基因可能与多种疾病有关,一种蛋白质可能与许多其他蛋白质相互作用,一种疾病可能可以通过多种药物治疗,一种药物可能对不同的基因和蛋白质产生多种影响。

鉴于可用的生物医学数据量惊人,这些数据点之间的潜在关系数量是巨大的,非常适合以知识图谱的形式来表示。

使用Hetionet 数据集查找克罗恩病和 ALOX5 基因之间的所有最短路径。

生物医学知识图谱可以支持 LLM 应用程序,其中用户有兴趣回答以下问题

ALOX5 基因与克罗恩病有何关系?

虽然我们今天看到的大多数 LLM 应用程序都以自然语言生成答案,但也有一个绝佳的机会以线、条甚至网络可视化的形式返回响应。通常 LLM 甚至可以返回图表库所需的配置结构。

网络传播信息

另一个强大的知识图谱匹配是具有依赖关系网络的域。例如,您可以拥有一个包含系统完整微服务架构的知识图谱。这样的知识图谱将允许您为 DevOps 聊天机器人提供支持,使您能够实时评估架构并执行假设分析。

微服务与人员图表

 

我想到的另一个领域是供应链。

 图片来自 Graph Databases for Automotive & Manufacturing Data

供应链数据纳入知识图谱可以显著增强大型语言应用程序的功能。这种方法使我们能够将复杂的供应链信息结构化为节点和关系,从而生成材料、组件和产品如何从供应商流向客户的整体图景。内在的互连和依赖关系变得显而易见且易于分析。

对于语言应用程序,这可以实现更深入的上下文理解和知识生成。例如,像 ChatGPT 这样的人工智能模型可以利用这种数据结构来对供应链场景、中断或管理策略做出更准确、更有见地的响应。它可以理解和解释某个组件短缺的连锁反应,预测潜在的瓶颈,或提出优化策略。

通过将供应链动态的复杂性与人工智能的认知能力相结合,我们可以增强众多工业和商业环境中大型语言应用的功能和价值。

社会网络分析与数据科学

如果您的公司聊天机器人超越了文档范围,并作为人员分析的一部分帮助提供见解和建议,那会怎样?

 图片来自 Neo4j as a Critical Aspect of Human Capital Management (HCM)

HCM 中的知识图谱可以成为推动公司内部人员分析的宝贵工具,主要通过创建一个强大、互联的信息系统,可以深入、全面地了解员工的行为、技能、能力、互动和绩效。本质上,知识图谱捕获并链接复杂的员工数据(包括人口统计信息、角色历史、项目参与度、绩效指标和技能组合),从而进行多方面的分析。

这种互联数据和机器学习工具的结合使人力资源和团队领导者能够发现隐藏的模式、识别高潜力人才、预测未来表现、评估技能差距并告知培训需求,从而推动数据驱动的决策。通过利用知识图谱,公司可以简化人才管理和发展流程,提高整体组织效率并培养持续学习和改进的文化。

将聊天机器人界面整合到这个知识图谱驱动的人员分析系统中,可能会彻底改变公司处理人力资源和人才管理的方式。具体方法如下:

方便用户访问复杂数据

聊天机器人界面为用户提供了一种直观的对话方式来与复杂的数据集进行交互。员工、经理或人力资源人员无需了解复杂的数据库或分析工具;他们只​​需向聊天机器人询问有关员工绩效、技能或团队动态的问题即可。

该聊天机器人具有自然语言处理能力,可以解释问题,从知识图谱中检索相关信息,并以可理解的格式提供答复。

实时洞察

聊天机器人界面可以提供即时访问数据洞察的功能,从而实现及时决策。

如果经理想知道有多少个项目正在进行中,以及哪些人适合且可以参与特定项目,他们可以询问聊天机器人并实时获得答案,而不必等待全面的报告。

可扩展的培训和支持

聊天机器人可以为员工提供个性化支持,回答有关公司政策、程序或职业发展机会的问题。

它甚至可以根据个人的角色、技能和职业目标提供个性化的培训建议(甚至实际培训本身)。这将使学习和发展资源的获取更加民主化,使员工更容易提高技能或重新学习技能。

预测分析

先进的人工智能聊天机器人可以分析知识图谱中的模式和趋势,从而做出预测,例如哪些员工可能面临离职风险,或者未来哪些技能可能会受到追捧。这些预测分析功能可以帮助公司在人力资源战略方面采取主动而不是被动的态度。

从本质上讲,将聊天机器人界面与知识图谱驱动的人员分析系统相结合,将使复杂的员工数据更易于访问、可操作且对组织的所有成员都更有用。这将彻底改变人才管理和发展,推动人力资源采用更加数据化、主动性和个性化的方法。

总结

总之,随着我们深入大型语言模型时代,我们必须牢记知识图谱在这些应用程序中构建、组织和检索信息的巨大潜力。结构化和非结构化数据检索的结合为更准确、更可靠、更有影响力的结果铺平了道路,超越了自然语言答案,延伸到视觉呈现信息的领域。

尽管基于向量相似性的数据检索(召回率)非常流行,但我们不应低估结构化信息的作用及其为 LLM 应用带来的巨大价值。无论是寻找最短路径、理解复杂的生物医学关系、分析供应链场景,还是通过人员分析彻底改变人力资源,知识图谱的应用都是广泛而深远的。我们相信基于 LLM 的应用的未来是向量相似性搜索方法与 Cypher 等数据库查询语言的结合。

通过这篇博文,我们探索了一些令人兴奋的实时图形分析用例,这些用例可以实现到您的 LLM 应用程序中。这只是一个开始。我们预计未来大型语言模型将与知识图谱更加紧密地协同工作,为现实世界的问题带来更多创新的解决方案。

项目开源地址

NaLLM项目开源地址:GitHub - neo4j/NaLLM: Repository for the NaLLM project

标签:检索,LLMs,图谱,知识,应用程序,聊天,LLM,上下文
From: https://blog.csdn.net/weixin_40986713/article/details/140424745

相关文章

  • 新手学习AIGC的步骤与图谱
    学习人工智能和生成式对话模型(ArtificialIntelligenceandGenerativeConversationalModels)是一项令人兴奋且具有挑战性的任务!以下是一些我认为可行的学习步骤和路径:初学者学习AIGC的步骤:掌握基础知识:学习基本的编程语言,如Python,这是人工智能领域中最常用的语言之......
  • d3.js生成知识图谱--实现节点的颜色分类,节点点击事件处理
    首先看一下节点的数据内容:nodes:[{id:1,name:'刘备',type:'皇上'},{id:2,name:'关羽',type:'将军'},{id:3,name:'张飞',type:'将军'},{id:4,name:'诸葛亮',type:......
  • Python读Excel数据,创建Word文档上下文字典列表,元素为字典
    #读Excel数据,创建Word文档上下文字典列表,元素为每个培训人员的上下文字典defcreate_docx_context_dict_list(_excel_path):"""输入参数::param_excel_path:Excel全路径功能:创建Word文档上下文字典列表,元素为每个培训人员的上下文字典字典的键为......
  • 探索GraphRAG:构建高效的知识图谱索引与查询引擎
    GraphRAG系统简介GraphRAG是一个基于图的检索增强生成系统,它通过索引文本数据,然后使用这些索引数据来回答有关文档的问题。系统的核心在于其索引管道和查询引擎,它们共同工作,以提供快速且准确的信息检索服务。环境准备在开始之前,请确保你的开发环境中已安装Python3.10至3......
  • 如何与 LLMs 有效沟通?6位数提示词工程师经验(LLMs 提示词小白必学)
    除非你活在太空里,完全脱离了现代社交媒体和新闻的关注,否则你不太可能错过大型语言模型    欢迎来到云闪世界。除非你活在太空里,完全脱离了现代社交媒体和新闻的关注,否则你不太可能错过大型语言模型(LLM)的突飞猛进带给我们生活中的革命性进步。LLM的演变。......
  • flask 定时任务(APScheduler)使用current_app app_context()上下文
    前言:描述:flask定时任务调用的方法中使用了current_app.logger.info()记录日志报错 报错代码raiseRuntimeError(unbound_message)fromNoneRuntimeError:Workingoutsideofapplicationcontext.Thistypicallymeansthatyouattemptedtousefunctionality......
  • MEGALODON:突破传统,实现高效无限上下文长度的大规模语言模型预训练和推理
    在人工智能领域,尤其是在自然语言处理(NLP)中,大模型(LLMs)的预训练和推理效率一直是研究的热点。最近,一项突破性的研究提出了一种新型神经网络架构——MEGALODON,旨在解决传统Transformer架构在处理长序列时面临的挑战。MEGALODON-7B、LLAMA2-7B和LLAMA2-13B在训练过程中处理......
  • 知识图谱数据库基本知识
    文章目录知识图谱数据模型知识图谱查询语言    随着知识图谱规模的日益增长,数据管理愈加重要。一方面,以文件形式保存的知识图谱显然无法满足用户的查询、检索、推理、分析及各种应用需求;另一方面,传统数据库的关系模型与知识图谱的图模型之间存在显著差异,关......
  • AutoKG:为语言模型打造高效自动化知识图谱
    在人工智能领域,大型语言模型(LLMs)如BERT、RoBERTa、T5和PaLM等,以其在自然语言处理(NLP)任务中的卓越性能而著称。然而,这些模型在提供信息时可能会产生“幻觉”,即提供看似合理但与事实不符的预测。同时它们的“黑箱”特性也影响了模型的可解释性和准确性。为了解决这些问题,研究者们......
  • 《三体开源传》第二章 科技图谱
    科技树:科技树是一种结构图,它将技术按照发展顺序排列成树状,展示从基础技术到高级应用的演进路径,通常用于指导科技研究或游戏中的技能进阶。每项技术的解锁往往需要满足特定前置条件,形象地描绘了技术进步的依赖关系和层次。(来自:GPT-4)随着汪淼敲下“Enter”键的那一刻,一张围绕着......