首页 > 其他分享 >有手就会之使用Dify构建RAG聊天应用(基于私有知识库和搜索引擎)

有手就会之使用Dify构建RAG聊天应用(基于私有知识库和搜索引擎)

时间:2024-09-02 19:56:31浏览次数:13  
标签:RAG Dify dify langchain 有手 file persist path 应用

之前我的文章里写的是通过langchain来构建RAG应用,对于很多人来说。langchain作为一个框架上手难度大,代码不够直观。但是通过dify你将学会可视化搭建工作流。

什么是dify?

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

通俗点说,通过手机点击创建ai应用,而不用写代码了。

官网链接

阅读本文之前,假设读者已经了解llm、prompt、chatglm、git、github、docker、rag流程、向量数据(embedding)的相关知识,假如没有,可以先学习这些知识。

怎么使用dify?
安装dify
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d  

检查

输入docker ps,出现以下服务就是正常的
在这里插入图片描述
安装好之后,打开localhost:80(如果你安装在服务器或者wsl中),需要将localhost转换为对应的ip。

第一次登陆需要设置管理员账户

在这里插入图片描述

假设你已经完成了管理员的创建
创建一个llm应用

创建应用
在这里插入图片描述
在这里插入图片描述
添加llm model
在这里插入图片描述
这里我使用chat glm的在线model,读者可以根据自己的喜好添加model。
输入完secret key选择相应的model之后就可以使用了。

在这里插入图片描述
这样你就完成了dify的第一个应用!!!

是不是很简单!!!

进阶

接下来我们将使用dify搭建一个RAG聊天应用

再次创建应用

这一次我们选择工作流编排的方式创建聊天机器人
在这里插入图片描述
进去之后我们会看到一个开始模块,然后会在左下角看见几个icon,点击
在这里插入图片描述
创建完知识检索的块,之后上传你的pdf文件,然后向量化,检索的话可以使用多种方式,嫌麻烦可以默认。

在这里插入图片描述

在这里插入图片描述
这里相当于之前使用langchain的时候进行的文档加载与向量化,具体可以看下我这篇文章,langchain入门系列之六 使用langchain构建PDF解析助手

具体作用相当于这一块的代码

# 解析pdf并保存到本地向量数据库中
def save_pdf(file_path, file_name):
    loader = PyPDFLoader(file_path)
    # 分割
    text_spliter = RecursiveCharacterTextSplitter(
        chunk_size=200,
        chunk_overlap=5,  # 每个块之间的重叠长度
        length_function=len,
    )
    pages = loader.load_and_split(text_spliter)
    persist_path = persist_directory + file_name
    # 持久化到本地
    Chroma.from_documents(
        documents=pages,
        embedding=embedding,
        persist_directory=persist_path
        )

# 加载向量索引
def load_index(file_name):
    persist_path = persist_directory + file_name
    print(persist_path)
    index = Chroma(persist_directory=persist_path, embedding_function=embedding)
    return index

在这里面需要注意的是查询变量,我们用的sys.query,这是最开始的输出。
在这里插入图片描述
根据文章内容测试一下,发现有内容返回,那就没问题。

创建条件流

在这里插入图片描述
json解析
在这里插入图片描述
条件分支
在这里插入图片描述

在这里插入图片描述
QA
在这里插入图片描述
QA 答案
在这里插入图片描述
duckduckgo搜索
在这里插入图片描述
搜索答案提取

在这里插入图片描述
搜索答案回复
在这里插入图片描述

小试牛刀

在这里插入图片描述
当我输入拿破仑意识到了什么时?llm根据书中内容,回复了答案。

注意的事

配置duckduckgo貌似需要科学上网,否则会超时,这里可以替换成bing。

标签:RAG,Dify,dify,langchain,有手,file,persist,path,应用
From: https://blog.csdn.net/qq_40244755/article/details/141825368

相关文章

  • 【树莓派开发】gcc编译器中出现warning: #pragma once in main file
    众所周知,#pragmaonce语句是防止头文件重复包含非常常用的一条语句VS编译器在创建.h文件的时候会自动帮你在开头添加这个语句但是在gcc编译器下,这个语句就可能会出现一些问题所使用编译器:VS2019(windows10)树莓派(linux-gcc)warning:#pragmaonceinmainfile在我尝试在linux环境......
  • RAG在PostgreSQL上的实现:使用Azure Container Apps和OpenAI构建智能问答系统
    RAG在PostgreSQL上的实现:使用AzureContainerApps和OpenAI构建智能问答系统随着人工智能技术的快速发展,越来越多的企业和开发者开始探索如何将AI能力整合到现有的应用系统中。本文将介绍一种基于检索增强生成(RetrievalAugmentedGeneration,RAG)的方案,通过结合AzureCo......
  • GraphRAG 检索增强+图模型
    https://arxiv.org/pdf/2404.16130往期的NaiveRAG基本都是显式检索,而GraphRAG通过知识图谱实现了总结能力。知识图谱通常是事先生成的,并存储在系统中,供用户查询和模型使用。1引入通常意义上,RAG的作用是从外部知识源中检索相关信息,使LLM能够回答有关私有或以前未见过的文档集......
  • 云存储抽象层-FluentStorage
    FluentStorage是一个.NET云存储抽象层,支持多种云服务提供商。它提供了一个统一的API来处理不同云服务提供商的Blob存储(如AWSS3,GCP,FTP,SFTP,AzureBlob/File/EventHub/DataLake)和消息传递(如AWSSQS,AzureQueue/ServiceBus)。这个库完全用C#编写,支持.NET5+和.NETStanda......
  • Dify大语言模型应用开发平台新手必备:安装注册与私有服务器部署全步骤
    Dify简介Dify是一个开源的大语言模型(LargeLanguageModel,LLM)应用开发平台。它融合了后端即服务(BackendasaService,BaaS)和LLMOps的理念,旨在帮助开发者,甚至是非技术人员,能够快速搭建和部署生成式AI应用程序。Dify的主要特点包括:简化开发流程:通过提供一系列工具和服务来简......
  • 大模型 | RAG 架构设计三阶段:Naive RAG 架构设计、Advanced RAG 架构设计、Agentic RA
    第一阶段:NaiveRAG架构设计大型语言模型(LLMs)虽然展现出卓越的性能,但在处理特定领域或知识密集型任务时,存在一些挑战,比如:产生虚假信息、知识陈旧以及推理过程的非透明性和不可追溯性。RAG技术作为一种有希望的解决方案,通过融合外部数据库的知识,有效应对了这些问题。它显著......
  • Dify 与 FastGPT 流程编排能力对比分析
    Dify与FastGPT流程编排能力对比分析一、引言在人工智能快速发展的今天,大语言模型(LLM)应用平台正在重塑各行各业的工作流程。其中,Dify和FastGPT作为两款具有重要影响力的工具,凭借各自独特的流程编排能力,为开发者和使用者提供了强大的支持。流程编排的优劣直接影响着......
  • 【K8s】专题十二(4):Kubernetes 存储之 StorageClass
    本文内容均来自个人笔记并重新梳理,如有错误欢迎指正!如果对您有帮助,烦请点赞、关注、转发、订阅专栏!专栏订阅入口Linux专栏 | Docker专栏 | Kubernetes专栏往期精彩文章【Docker】(全网首发)KylinV10下MySQL容器内存占用异常的解决方法【Docker】(全网首发)Kyli......
  • 通过vue-draggable-plus实现一个简单的菜单拖拽功能
    <divclass="my-content-list"v-draggable="[nameList,{animation:300,}]":onStart="onStart":onUpdate="onUpdate">......
  • WPF draw thumbs on livecharts and drag drop thumb
    //xaml<Windowx:Class="WpfApp299.MainWindow"xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d="http://schemas.mi......