【RAG 项目实战 01】在 LangChain 中集成 Chainlit

【RAG 项目实战 01】在 LangChain 中集成 Chainlit

NLP Github 项目：

• NLP 项目实践：fasterai/nlp-project-practice

  介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

• AI 藏经阁：https://gitee.com/fasterai/ai-e-book

  介绍：该仓库主要分享了数百本 AI 领域电子书

• AI 算法面经：fasterai/nlp-interview-handbook#面经

  介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

• NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

  介绍：该仓库汇总了 NLP 算法工程师高频面题

1、 环境安装

pip install chainlit

2、 创建 app.py 文件

from langchain.chat_models import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.schema import StrOutputParser
from langchain.schema.runnable import Runnable
from langchain.schema.runnable.config import RunnableConfig

import chainlit as cl


@cl.on_chat_start
async def on_chat_start():
	""" 监听会话开始事件 """
	image = cl.Image(url="https://qingsong-1257401904.cos.ap-nanjing.myqcloud.com/wecaht.png")

    # 发送一个图片
    await cl.Message(
        content="欢迎关注 **FasterAI**， 让每个人的 AI 学习之路走的更容易些！",
        elements=[image],
    ).send()

    model = ChatOpenAI(streaming=True)
    prompt = ChatPromptTemplate.from_messages(
        [
            (
                "system",
                "You're a very knowledgeable historian who provides accurate and eloquent answers to historical questions.",
            ),
            ("human", "{question}"),
        ]
    )
    runnable = prompt | model | StrOutputParser()
    cl.user_session.set("runnable", runnable)


@cl.on_message
async def on_message(message: cl.Message):
	""" 监听用户消息事件 """
    runnable = cl.user_session.get("runnable")  # type: Runnable

    msg = cl.Message(content="")

    async for chunk in runnable.astream(
        {"question": message.content},
        config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),
    ):
        await msg.stream_token(chunk)

    await msg.send()

3、使用千帆模型替换ChatGPT

import os

from langchain_community.chat_models import QianfanChatEndpoint
from langchain.prompts import ChatPromptTemplate
from langchain.schema import StrOutputParser
from langchain.schema.runnable import Runnable
from langchain.schema.runnable.config import RunnableConfig

import chainlit as cl

# 配置百度千帆大模型（免费、无需翻墙）
os.environ["QIANFAN_AK"] = "千帆模型 Token"
os.environ["QIANFAN_SK"] = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"

model = QianfanChatEndpoint(
    streaming=True,
    model="ERNIE-Speed-8K",
)


@cl.on_chat_start
async def on_chat_start():
	""" 监听会话开始事件 """
	image = cl.Image(url="https://qingsong-1257401904.cos.ap-nanjing.myqcloud.com/wecaht.png")

    # 发送一个图片
    await cl.Message(
        content="欢迎关注 **FasterAI**， 让每个人的 AI 学习之路走的更容易些！",
        elements=[image],
    ).send()

    prompt = ChatPromptTemplate.from_messages(
        [
            (
                "system",
                "You're a very knowledgeable historian who provides accurate and eloquent answers to historical questions.",
            ),
            ("human", "{question}"),
        ]
    )
    runnable = prompt | model | StrOutputParser()
    cl.user_session.set("runnable", runnable)


@cl.on_message
async def on_message(message: cl.Message):
	""" 监听用户消息事件 """
    runnable = cl.user_session.get("runnable")  # type: Runnable

    msg = cl.Message(content="")

    async for chunk in runnable.astream(
            {"question": message.content},
            config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),
    ):
        await msg.stream_token(chunk)

    await msg.send()

4、启动程序

chainlit run app.py -w

5、访问 http://localhost:8000/

与大模型进行对话：

[!NOTE] 问题
未结合上下文进行多轮对话

【动手学 RAG】系列文章：

• 【RAG 项目实战 01】在 LangChain 中集成 Chainlit
• 【RAG 项目实战 02】Chainlit 持久化对话历史
• 【RAG 项目实战 03】优雅的管理环境变量
• 【RAG 项目实战 04】添加多轮对话能力
• 【RAG 项目实战 05】重构：封装代码
• 【RAG 项目实战 06】使用 LangChain 结合 Chainlit 实现文档问答
• 【RAG 项目实战 07】替换 ConversationalRetrievalChain（单轮问答）
• 【RAG 项目实战 08】为 RAG 添加历史对话能力

本文由mdnice多平台发布