一、前言
像OpenAI的GPT-4这样的大型语言模型(LLM)已经风靡全球。它们可以自动执行各种任务,如回答问题、翻译语言、分析文本等等。LLM是第一种真正让人感觉像是“人工智能”的机器学习类型。
然而,在实际产品中应用LLM仍存在挑战。特别是LLM管理,这是其中最棘手和繁琐的挑战之一。如果想要搭建由LLM驱动的应用程序,需要管理以下几个方面:
-
不同的LLM类型——OpenAI、Anthropic、开源等等。
-
模型版本——更新到最新版本。
-
提示版本——不断调整和改进提示。
-
模型链接——可能需要组合或链接多个LLM的输入和输出,以获得最终结果。
要独立完成所有这些工作需要付出大量努力。
这就是LangChain的用武之地!
二、介绍LangChain
【LangChain】:https://www.langchain.com/
LangChain使构建由LLM驱动的应用程序变得简单。它提供的工具极大简化了上述所有挑战。使用LangChain,可以轻松地在统一的界面中与不同的LLM类型进行交互,管理模型版本、管理提示版本,并连接LLM。所有这些功能都打包在一个易于使用的API(应用程序接口)中,因此可以在应用程序中快速利用LLM。
2.1 安装
开始使用LangChain非常简单。可以使用pip
安装它,如下所示:
pip install langchain
或者使用conda
:
conda install langchain -c conda-forge
最后,如果想要获取所有最新功能,可以直接从GitHub存储库构建该库。
【GitHub repo】:https://github.com/langchain-ai/langchain
2.2 设置
为了充分利用LangChain,需要将其与模型提供商和API等不同组件集成。可以为每个要连接的提供商设置环境变量。
例如,对于OpenAI,可以设置OpenAI API密钥:
export OPENAI_API_KEY="..."
或者,在Python应用程序中开始使用LangChain后,可以在代码中设置变量:
from langchain.llms import OpenAI llm = OpenAI(openai_api_key="...")
三、LangChain的关键部分
LangChain的出色之处在于它非常灵活和模块化,这使得它可以将语言处理分解为不同的部分,让开发者可以创建自定义工作流程。以下是它的关键部分:
-
组件和链: 在语言处理中执行特定任务的模块。链将这些组件连接起来以创建自定义工作流程。
-
提示模板: 可重复使用的提示,可以更改特定值。例如,可以对询问用户姓名的提示进行个性化设置。
-
向量存储: 它们通过文档的数值意义来保存和搜索信息。
-
索引和检索器: 存储和查找有关模型训练数据的详细信息,以获得更好的响应。
-
输出解析器: 管理和优化模型的响应,使其更结构化。
-
示例选择器: 从模型的训练数据中选择正确的示例,提高响应的准确性。
-
代理: 具有特定任务的独特实例,如聊天机器人或移动应用程序。
四、在LangChain中构建基于LLM的应用程序
LangChain的LLM类可连接到不同的语言模型提供商,如OpenAI和Hugging Face。可以使用LangChain轻松构建一个应用程序,该应用程序接受提示并生成输出。
例如:
import os from langchain.llms import OpenAI llm = OpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.environ["OPENAI_API_KEY"]) print(llm("Tell me a joke about pizza!"))
这可能会输出如下结果:
Why did the pizza maker go to art school? Because they wanted to get a "pizza" the creative action!
如果想要切换模型,只需在代码中更改一些细节就可以了。
五、在LangChain中管理LLM的提示信息
LLM需要特定的提示信息才能产生正确的输出。LangChain中的PromptTemplate通过使用模板生成提示信息来提供帮助。用户可以在保持主要结构的同时轻松更改值。
例如:
from langchain.llms import OpenAI from langchain import PromptTemplate import os USER_INPUT = "chocolate cake" llm = OpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.environ["OPENAI_API_KEY"]) template = """I'm interested in making {dish}. Can you provide me with a simple recipe for it, including the main ingredients and basic instructions?""" prompt = PromptTemplate(input_variables=["dish"], template=template) final_prompt = prompt.format(dish=USER_INPUT) print(f"LLM Output: {llm(final_prompt)}")
这样可以轻松管理所有的提示信息并处理动态输入。
六、将LLM和提示信息结合在多步骤工作流程中
在LangChain中的链接(Chaining)意味着将LLM与其他元素结合起来用于应用程序。你可以:
-
使用一个LLM的输出作为另一个LLM的输入。
-
将LLM与模板相结合。
-
将LLM与外部数据或聊天记录混合。
例如:
from langchain.llms import OpenAI from langchain.chains import LLMChain, SimpleSequentialChain from langchain import PromptTemplate import os llm = OpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.environ["OPENAI_API_KEY"]) # 链中的第一步 template = "Can you provide a brief summary of the movie {movie_title}? Please keep it concise." first_prompt = PromptTemplate(input_variables=["movie_title"], template=template) chain_one = LLMChain(llm=llm, prompt=first_prompt) # 链中的第二步 second_prompt = PromptTemplate(input_variables=["actor"], template="Can you list three movies featuring {actor}?") chain_two = LLMChain(llm=llm, prompt=second_prompt) # 将第一步和第二步链结合起来 overall_chain = SimpleSequentialChain(chains=[chain_one, chain_two], verbose=True) final_answer = overall_chain.run("Inception")
这个示例建立了一个两步骤的链,用于查找关于城市的旅游信息。
七、结论和了解更多
LangChain是一个使用LLM构建应用程序的Python框架。它可与各种模型连接,使得与LLM和提示信息管理有关的一切都变得简单。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
标签:游刃有余,模型,LangChain,OpenAI,langchain,LLM,llm,入门 From: https://blog.csdn.net/aolan123/article/details/141831435