首页 > 其他分享 >大模型实战项目:基于大模型+知识图谱的知识库问答 (附项目)

大模型实战项目:基于大模型+知识图谱的知识库问答 (附项目)

时间:2024-11-16 14:47:07浏览次数:3  
标签:知识 项目 图谱 模型 知识库 数据

今天给大家介绍一个git开源的宝藏项目 — 基于大模型+知识图谱的知识库问答,这里还搭配了一个演示dome给大家,如需要此项目练手的,我已经打包好了放在文末~

<iframe allowfullscreen="true" data-mediaembed="csdn" frameborder="0" id="6YJ5U9Oi-1731556850328" src="https://live.csdn.net/v/embed/432804"></iframe>

基于大模型+知识图谱的知识库问答系统

项目整体流程介绍

项目整体包含5个部分:数据重构、图谱构建、图谱补全、对话模型、网页承载

在这里插入图片描述

首先是数据构建的逻辑

在这里插入图片描述

然后利用数据和ChatGPT定义的规则构建种子知识图谱

在这里插入图片描述

接下来对种子知识图谱进行补全操作(需要对自己的数据进一步的筛选,有洞察的认知)

在这里插入图片描述

利用chatglm-6b作为核心模型,基于flask构建框架的对话模型

在这里插入图片描述

前端界面构建和项目部署

在这里插入图片描述

环境配置


python 3.8.16 torch 1.11.0+cu113~ paddlenlp 2.5.1 paddlepaddle-gpu 2.3.2 transformer 2.6.0

初始模型:


种子知识图图谱模型:paddlenlp-model-zoo-uie 所用模型类型:‘信息提取’

训练模型:SPN4RE-NYT—精确


训练集参与:50% 验证集参与:10% 测试集参与:40%

数据来源:


初始数据:《舰船损管和潜水技术》 新增数据:《舰船损管技术》等

数据标注

利用doccanco不同类型的数据约100条作为警示uie的初始数据,在uie进行初次抽取后,针对数据中效果较差的部分进行二次标注。

训练设备:3090 * 2

标签:知识,项目,图谱,模型,知识库,数据
From: https://blog.csdn.net/AAI666666/article/details/143765423

相关文章

  • 上交出品《动手学大模型》LLM 实战课,课件+实战教程(教程分享)
    来了来了!上海交通大学的大模型超超超级牛掰的大模型编程实战课公开了,课件+教程,本套实战教程旨在提供大模型相关的入门编程参考。通过简单实践,帮助同学快速入门大模型,更好地开展课程设计或学术研究。上海交大大模型实验室整了一份针对入门阶段的大模型教程,已经看完了非常不......
  • 大模型开源入门教程:《开源大模型食用指南》全网发布,轻松助你速通大模型!
    前言《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程,针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导,简化开源大模型的部署、使用和应用流程,让更多的普通学生、研究者更好地使用......
  • 上海交大动手学大模型教程,助力快速入门LLM大模型(附课件)
    前有李沐大神的动手学深度学习,现有上海交大的动手学大模型教程,对大模型感兴趣的直接冲!就在4月份上交大发布了动手学大模型教程,这份教程来自上海交大《人工智能安全技术》课程讲义拓展,教师是是张倬胜教授。朋友们如果有需要全套《上海交大的动手学大模型教程》,扫......
  • 手把手教你部署并使用清华智谱ChatGLM3-6B大模型
    部署一个自己的大模型,没事的时候玩两下,这可能是很多技术同学想做但又迟迟没下手的事情,没下手的原因很可能是成本太高,近万元的RTX3090显卡,想想都肉疼,又或者官方的部署说明过于简单,安装的时候总是遇到各种奇奇怪怪的问题,难以解决。本文就来分享下我的安装部署经验,包括本地和......
  • 探索大型语言模型(LLMs)能否在不泄露私人信息的情况下联合其他大型语言模型共同解决问题
    概述谷歌的GeminiUltra(2023年)和OpenAI的GPT-4(2023年)等大规模语言模型在许多任务中都表现出了令人印象深刻的性能。然而,这些模型不仅推理成本高昂,而且运行于数据中心,而数据中心并非本地环境,无法获得私人数据。另一方面,可以在私人环境中运行的模型,如GeminiNano,可以......
  • AI大模型微调训练营,全面解析微调技术理论,掌握大模型微调核心技能
    AI大模型微调训练营:全面解析微调技术理论,掌握核心技能随着人工智能技术的飞速发展,大型预训练模型(如BERT、GPT等)在自然语言处理(NLP)、计算机视觉(CV)等领域取得了显著成效。然而,这些通用模型在处理特定任务时往往难以达到最佳性能。因此,大模型微调技术应运而生,成为提升模型性能、适应......
  • 大模型微调实战营-精通+指令微调+开源大模型微调+对齐+垂直领域应用
    ‌大模型微调实战营是一个专注于大模型微调技术的训练营,涵盖指令微调、开源大模型微调、对齐以及垂直领域应用等多个方面。‌‌指令微调‌:通过添加特定的指令或模板,对大模型进行微调,使其能够生成更符合期望的回答。‌开源大模型微调‌:利用开源的大模型资源,进行微调训练,以适应特......
  • 生鲜加工任务模型设计
    1.业务背景:1.1:领料业务流程1.2:退料业务流程 1.3:业务现状: 针对上面加工台加工人员的领料需求,退料需求,现在的做法是生成领料需求单和退料需求单,然后作业流转人员根据领料需求单和退料需求单去进行领料和退料操作。这么实现,好像没什么问题,但如果从长远角度......
  • 书生·共学大模型训练营第4期 L1G200任务提交
    MindSearch搜索引擎示例书生·浦语对话模型调用示例书生·万象开源视觉语言模型调用实例进阶任务:MindSearch话题挑战https://www.zhihu.com/people/zhang-shu-yang-92-96......
  • AI大模型实战:打造银行智能营销助手:大模型助力精准营销的8大优势
    在金融科技快速发展的时代,银行的业务模式和客户需求都发生了巨大变化。为了应对日益激烈的市场竞争,银行必须依托先进技术,提升客户服务水平和营销效率。银行智能营销助手应运而生,它通过结合知识图谱和大模型(LLM),帮助银行精确获取客户信息、分析市场需求、定制个性化营销方案,为......