首页 > 其他分享 >5分钟明白LangChain 的输出解析器和链

5分钟明白LangChain 的输出解析器和链

时间:2024-05-31 14:04:45浏览次数:22  
标签:解析器 输出 prompt invoke AI 模型 parser LangChain instructions

本文介绍 LangChain 的输出解析器OutputParser的使用,和基于LangChain的LCEL构建

1. 输出解析器OutputParser

1.1、为什么需要OutputParser

常规的使用LangChain构建LLM应用的流程是:Prompt 输入、调用LLM 、LLM输出。有时候我们期望LLM给到的数据是格式化的数据,方便做后续的处理。

这时就需要在Prompt里设置好要求,然后LLM会在输出内容后,再将内容传给输出解析器,输出解析器会解析成我们预期的格式。

1.2、代码实践

调用系统自带的输出解析器

示例1:将调用 LLM 的结果,解析为逗号分隔的列表。比如询问某个城市有N个景点。

ini
复制代码
from langchain_openai import ChatOpenAI
from langchain.output_parsers import CommaSeparatedListOutputParser
from langchain.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "{parser_instructions}"),
    ("human", "列出{cityName}的{viewPointNum}个著名景点。")
])

output_parser = CommaSeparatedListOutputParser()
parser_instructions = output_parser.get_format_instructions()
# 查看解析器的指令内容
print(parser_instructions)

final_prompt = prompt.invoke({"cityName": "南京", "viewPointNum": 3, "parser_instructions": parser_instructions})

model = ChatOpenAI(model="gpt-3.5-turbo",
                   openai_api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
                   openai_api_base="https://api.aigc369.com/v1")
response = model.invoke(final_prompt)
print(response.content)

ret = output_parser.invoke(response)
print(ret)

自定义格式的输出解析器

除了使用自带的一些输出格式,还可以使用自定义的输出格式。使用步骤如下:

  • 定义数据结构类,继承pydanticBaseModel
  • 使用输出解析器PydanticOutputParser
  • 后续是常规操作:生成prompt、调用LLM执行、将输出按照Parser解析

示例2:比如给LLM一段书籍的介绍,让他按照指定的格式总结输出。

ini
复制代码
from typing import List

from langchain.output_parsers import PydanticOutputParser
from langchain.prompts import ChatPromptTemplate
from langchain.schema import HumanMessage
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI


class BookInfo(BaseModel):
    book_name: str = Field(description="书籍的名字")
    author_name: str = Field(description="书籍的作者")
    genres: List[str] = Field(description="书籍的体裁")


output_parser = PydanticOutputParser(pydantic_object=BookInfo)
# 查看输出解析器的内容,会被输出成json格式
print(output_parser.get_format_instructions())

prompt = ChatPromptTemplate.from_messages([
    ("system", "{parser_instructions} 你输出的结果请使用中文。"),
    ("human", "请你帮我从书籍的概述中,提取书名、作者,以及书籍的体裁。书籍概述会被三个#符号包围。\n###{book_introduction}###")
])

book_introduction = """
《朝花夕拾》原名《旧事重提》,是现代文学家鲁迅的散文集,收录鲁迅于1926年创作的10篇回忆性散文, [1]1928年由北京未名社出版,现编入《鲁迅全集》第2卷。
此文集作为“回忆的记事”,多侧面地反映了作者鲁迅青少年时期的生活,形象地反映了他的性格和志趣的形成经过。前七篇反映他童年时代在绍兴的家庭和私塾中的生活情景,后三篇叙述他从家乡到南京,又到日本留学,然后回国教书的经历;揭露了半殖民地半封建社会种种丑恶的不合理现象,同时反映了有抱负的青年知识分子在旧中国茫茫黑夜中,不畏艰险,寻找光明的困难历程,以及抒发了作者对往日亲友、师长的怀念之情 [2]。
文集以记事为主,饱含着浓烈的抒情气息,往往又夹以议论,做到了抒情、叙事和议论融为一体,优美和谐,朴实感人。作品富有诗情画意,又不时穿插着幽默和讽喻;形象生动,格调明朗,有强烈的感染力。
"""

model = ChatOpenAI(model="gpt-3.5-turbo",
                   openai_api_key="sk-BuQK7SGbqCZP2i2z7fF267AeD0004eF095AbC78d2f79E019",
                   openai_api_base="https://api.aigc369.com/v1")
final_prompt = prompt.invoke({"book_introduction": book_introduction,
                              "parser_instructions": output_parser.get_format_instructions()})
response = model.invoke(final_prompt)
print(response.content)
result = output_parser.invoke(response)
print(result)

2. 利用LCEL构建链

2.1、LCEL是啥

LCEL是LangChain 表达式语言(LangChain Expression Language)的简称。使用LCEL可以快速将各种组合到一起,那又是啥呢?

在LangChain里只要实现了Runnable接口,并且有invoke方法,都可以成为。实现了Runnable接口的类,可以拿上一个链的输出作为自己的输入。

比如以上代码的ChatPromptTemplateChatOpenAIPydanticOutputParser等,都实现了Runnable接口,且都有invoke方法。

LCEL提供了多种方式将链组合起来,比如使用管道符 |,这种方式既方便书写,表达力也很强劲。

2.2、使用区别

不使用LCEL

不使用LCEL时,代码写起来是,各种invoke满天飞。比如这样:

ini
复制代码
final_prompt = prompt.invoke({"book_introduction": book_introduction,
                              "parser_instructions": output_parser.get_format_instructions()})
response = model.invoke(final_prompt)
result = output_parser.invoke(response)

使用LCEL

使用LCEL时,代码简洁,并且表达力强许多,比如这样:

ini
复制代码
chain = prompt | model | output_parser
ret = chain.invoke({"book_introduction": book_introduction,
                    "parser_instructions": output_parser.get_format_instructions()})

3、总结

本文主要聊了LangChain的输出解析器 和 使用LCEL构建链,希望对你有帮助!

如何系统的去学习大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来

标签:解析器,输出,prompt,invoke,AI,模型,parser,LangChain,instructions
From: https://blog.csdn.net/2301_81940605/article/details/139233482

相关文章

  • C++ IO流:控制台输入输出
    C++输入输出头文件#include<iostream>,常用于控制台打印/OJ数据读取分别对应:控制台IO流/文件流/字符串流,本文主要介绍控制台输出输出流cin>>空格分隔cout<<控制台输出已知待读取元素的数量:cin>>n未知待读取元素的数量:while(cin>>val)另外,可以整行读取数据,然......
  • 基于BeautifulSoup实现pubmed文献摘要的爬虫与无格式输出
    一、实现背景        为了满足项目数据集的构造,我们需要针对各领域医学文献的摘要进行爬取工作,因此编写了pubmed的文献摘要爬虫代码。代码基于python语言,可使用pycharm直接运行,同时基于BeautifulSoup库实现了解析HTML,为了获取纯文本内容,输出结果是以各个文献在pubmed......
  • Langchain试用百度千帆
    之前聊了向量数据库,大模型也火了一段时间了,今天特地尝试一下基于Langchain进行百度千帆大模型的使用。Langchain相当于一个LLM编程框架,开发中无需过多关心各个大模型的接入,只需安装相关模型,统一通过Langchain去调用相关大模型进行使用。1.环境准备(1)python安装       ......
  • 【开源啦!】Langchain官方文档中文翻译项目 ——langchain-doc-zh
    【开源啦!】Langchain官方文档中文翻译项目——langchain-doc-zh一、项目简介LangChain是使用非常广的大模型编排工具,可以低代码的做大模型各种应用,有点类似在数据分析处理里面Pandas的地位。所以我有了一些想把一些工具的文档翻译成中文的想法。希望对于大家有一些帮助。......
  • C语言-字符输入/输出-20
    题目:那些一个通过命令运行的程序计算幂,第一个命令行参数是double类型的数,作为幂的底数,第二个参数是整数,作为幂的指数源代码:#include<stdio.h>#include<stdlib.h>intmain(intargc,char*argv[]){intnum;doublebase,base_total;while(argc<3......
  • C语言-字符输入/输出-19
    题目:编写一个程序,反序显示命令行的单词。源代码:#include<stdio.h>intmain(intargc,char*argv[]){for(inti=argc-1;i>0;i--){printf("%s",argv[i]);}return0;}演示效果:如果朋友你感觉文章的内容对你有帮助,可以点赞,关注文章和......
  • 输出二月份天数
    <!DOCTYPEhtml><htmllang="en"><head>  <metacharset="UTF-8">  <metaname="viewport"content="width=device-width,initial-scale=1.0">  <metahttp-equiv="X-UA-Compati......
  • 基于 MATLAB 的麻雀算法 (SSA) 优化注意力机制卷积神经网络结合门控循环单元 (SSA-Att
    鱼弦:公众号【红尘灯塔】,CSDN博客专家、内容合伙人、新星导师、全栈领域优质创作者、51CTO(Top红人+专家博主)、github开源爱好者(go-zero源码二次开发、游戏后端架构https://github.com/Peakchen)基于MATLAB的麻雀算法(SSA)优化注意力机制卷积神经网络结合门控循环单元......
  • Langchain初体验-GLM4使用
    GLM4智谱AI推出新一代基座模型GLM-4LangchainLangChain是一个由大型语言模型(LLMs)驱动的应用开发框架。依赖pipinstalllangchainlangchain_communityhttpxhttpx_ssePyJWTDemoimportosfromlangchain_community.chat_modelsimportChatZhipuAIfromlangchain......
  • Zynq学习笔记--AXI4-Stream 图像数据从仿真输出到图像文件
    目录1.简介2.构建工程2.1Vivado工程2.2TestBench代码2.3关键代码分析3. VPG BackgroundPatternID(0x0020)Register4.总结1.简介使用SystemVerilog将AXI4-Stream图像数据从仿真输出到图像文件(PPM)。用到的函数包括$fopen、$fwrite和$fclose......