首页 > 编程语言 >利用AI大语言模型和Langchain开发智能车算法训练知识库(上篇)

利用AI大语言模型和Langchain开发智能车算法训练知识库(上篇)

时间:2024-09-06 23:54:32浏览次数:14  
标签:Jupyter AI 模型 知识库 Agent Notebook Langchain

今天小李哥将介绍亚马逊云科技的Jupyter Notebook机器学习托管服务Amazon SageMaker上,通过AI大语言模型、向量知识库和LangChain Agent,创建用于AI 智能车模型训练的RAG问答知识库。整个项目的架构图如下:

本系列共分为上下两篇。在上篇内容中,我将分享该知识库的GitHub项目开源代码,大家可以自行下载学习和测试使用。并带大家在亚马逊云科技平台的Jupyter Notebook里部署项目搭建该知识库。也欢迎大家继续关注本系列下篇,我们将利用AI生成训练和测试数据集,以及利用Stable Diffusion图像生成模型评估智能车模型性能。

方案所需基础知识

什么是Amazon SageMaker?

Amazon SageMaker 是亚马逊云科技提供的一项全托管机器学习服务,帮助开发者和数据科学家轻松构建、训练和部署机器学习模型。SageMaker 提供了全套的工具和基础设施支持,用户无需管理底层的服务器和环境,即可快速处理从数据准备到模型训练再到部署的完整机器学习流程。

SageMaker 提供了灵活的开发环境,支持多种常用的机器学习框架,如 TensorFlow、PyTorch 等,同时也支持用户自定义的算法和模型。无论是使用预训练模型还是从头开始训练,SageMaker 都能够提供高效的分布式训练能力,并通过自动调优(如超参数优化)提升模型的精度。

关于LangChain?

LangChain Agent 是围绕大语言模型(LLM)作为其核心引擎构建的 AI 系统,可实现超越文本生成的能力。Agent 将 LLM 的自然语言优势与规划、记忆和工具使用等附加组件相结合。规划允许 Agent 将复杂目标分解为可管理的子任务。记忆提供短期的上下文学习和长期知识存储,以便快速检索。工具使用使 Agent 能够通过调用 API、利用搜索引擎、执行代码等来收集信息和采取行动。

精心设计的提示通过编码角色、指令、权限和上下文来塑造 Agent 行为。这使开发人员能够为各种应用程序定制 Agent,如对话助手、工作流自动化、模拟和科学发现。LLM Agent 的主要优势包括自然语言理解、推理和自主任务完成。然而,在有限的上下文大小、不可靠的自然语言接口以及长期规划困难等方面仍然存在挑战。

推理和行动 (ReAct) Agent框架

本实验中使用的 Agent 使用一种称为 ReAct 的技术。ReAct(推理和行动)是一种新的范式,它结合了语言模型在推理和行动能力方面的进步,使它们能够解决复杂的语言推理和决策任务。使用 ReAct,语言模型可以生成推理跟踪来创建、维护和调整高级计划,并采取行动从外部源(如 API 和知识库)中获取额外信息。

ReAct 的主要优点是推理和行动之间的协同作用。推理允许模型推导和更新计划,而行动使收集额外信息以支持推理成为可能。这有助于解决仅推理方法中的幻觉和错误级联等问题。与仅推理和仅行动的基线相比,ReAct 已被证明在多跳问答、事实检查和交互式决策等任务上实现了更优越的性能。

本实践包括的内容

1. 创建运行Jupyter Notebook的计算资源服务器

2. 分享利用AI大语言模型和Langchain构建智能车算法训练知识库的GitHub源代码

3. 在Jupyter Notebook中运行代码创建向量数据库、LangChain Agent,并利用Bedrock上的大语言模型构建RAG知识库,用于智能车模型算法训练相关问题的查询

项目实操步骤

部署云资源

1. 首先我们登录亚马逊云科技控制台,进入Sagemaker服务主页

2. 在左侧菜单栏中点击Notebook, 点击Create Notebook Instances创建计算实例,用于运行Jupyter Notebook服务器

3. 为Instance命名为”DeepRacerLab“,选择实例类型为”ml.t2.medium“,将磁盘容量设置为64GB

4. 为Jupyter Instance分配必要IAM权限,并开启Root Access,这样用户在Jupyter服务器中运行命令时会以root用户权限运行。

 5. 同时我们可以在创建服务器时自动添加Github项目代码,我们如图添加项目url:”https://github.com/jeremypedersen/deepracer-genai“,该项目包括了利用Amazon Bedrock上的大模型和LangChain构建DeepRacer "智能 Agent" 的模型文件和 notebooks

6. 添加完全部参数后,点击”Create notebook instance“创建运行Jupyter Notebook的计算服务器

打开Jupyter Notebook控制台

7. 当刚创建的Notebook实例的状态变为”InService“后,在SageMaker Instance页面中点击“Open JupyterLab”:

 8. 打开后就会在网页中弹出Jupyter Notebook控制台界面

开始运行代码创建知识库

9. 在左侧文件列表中打开文件:”00_deepracer_model_evaluation.ipynb“

 10. 打开文件后,会提示选择运行代码的内核,我们选择 conda_python3

11.  最后按照Jupyter Notebook里的步骤依次运行就可以创建RAG知识库了!

以上就是利用亚马逊云科技AI大语言模型和Langchain开发智能车算法训练知识库上篇内容。欢迎大家关注小李哥的亚马逊云科技AI服务深入调研系列,关注小李哥未来不要错过更多国际前沿的AWS云开发/云架构方案。 

标签:Jupyter,AI,模型,知识库,Agent,Notebook,Langchain
From: https://blog.csdn.net/m0_66628975/article/details/141975849

相关文章

  • AI绘画作品能不能商用?一文说清楚AI作品的版权问题
    前言AI绘画作品能不能商用?什么情况会被判定侵权?如何避免侵权?这三个问题一定要有个清楚的认知,不然你可能突然就收到律师函,这篇内容我将通过一个案例,两个角度,三个立场说清楚AI绘画的商用与版权问题1个案例前段时间我分享过一个AI绘画的操作视频,这个操作用到一个lora模型......
  • AI大语言模型LLM学习-Token及流式响应
    token是什么?比较官方的token解释:Token是对输入文本进行分割和编码时的最小单位。它可以是单词、子词、字符或其他形式的文本片段。token是自然语言处理的最细粒度。简单点说就是,LLM的输入是一个个的token,输出也是一个个的token。token是由LLM处理的基本数据单元。......
  • 常见的raid有哪些,使用场景是什么
    RAID(冗余独立磁盘阵列)是一种将多个物理硬盘组合成一个逻辑单元的技术,以提高数据的可靠性、性能或两者兼而有之。以下是一些常见的RAID级别及其使用场景:1.RAID0特点:数据条带化,没有冗余。所有数据均分散在多个硬盘上。提供最高的读写性能。使用场景:适用于对性能......
  • 带你1分钟玩转AI大模型微调推理,更有限时福利等你领
    本文分享自华为云开发者联盟微信公众号《如何1分钟玩转AI大模型微调推理?(文末有福利)》想要低成本用好大模型,必然离不开对它的微调(FineTuning)。那么,为什么大模型需要微调呢?举个例子:一个通用大模型涵盖了许多语言信息,我们和它可以进行流畅的对话。但是如果想要它正确回答“布......
  • jsp仓储管理系统9e8ai 本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上
    jsp仓储管理系统9e8ai本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表项目功能客户,库存人员,入库人员,出库人员,商品类别,商品信息,仓区信息,商品入库,商品出库开题报告内容一、项目背景与意义随着电子商......
  • AI产品经理:掌握核心技能:成为AI产品经理的完全指南(附赠福利)
    1.AI产品经理是什么回答这个问题前我们首先得理清楚什么是AI产品经理,它和传统的互联网产品经理有什么区别。1.1AI产品经理职责主要职责一方面是规划如何将成熟的AI技术应用在各个领域不同场景中,提升原有场景的效率或效果等;另一方面是基于业务方的需求如何用现有的AI技......
  • 如何成为AI产品经理?AI产品经理成长秘籍:关键技能与职业发展路径全解析
    点点说在前面:本篇文章由KingJames来分享关于AI产品经理的必备技能和成长策略。KingJames之前做过AI咨询,对接公司内部AI产品经理,外部对接过很多甲方AI产品经理,也曾手持多家公司AI产品经理的offer。快读完这则诚意满满的大佬干货帖吧!—1—AI产品经理是什么回答这个问......
  • AI产品经理:零经验转行AI产品经理:从入门到精通的全面指南
    本篇文章来自于一个YouTube视频的内容,对于如何成为AI产品是一个很好的入门贴,这篇文章也是通过AI协助编辑过来的。通过这次编辑,也初步尝试了各大Chatbot的能力,总体体验,拥有长上下文能力的kimibot的体验最好,能将4000+字的英文完整翻译并进行初步的排版。但是通过这个......
  • LLM大模型:从新手到专家:AI大模型学习与实践完全指南
    一、初聊大模型1、什么是大模型?大模型,通常指的是在人工智能领域中的大型预训练模型。你可以把它们想象成非常聪明的大脑,这些大脑通过阅读大量的文本、图片、声音等信息,学习到了世界的知识。这些大脑(模型)非常大,有的甚至有几千亿个参数,这些参数就像是大脑中的神经元,它们通过......
  • 使用centos7搭建RAID磁盘阵列,RAID0,RAID1,RAID5,ARID10,讲述RAID0、1、5、10的原理。
    1.RAID概念磁盘阵列(RedundantArraysofIndependentDisks,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,以硬件(RAID卡)或软件(MDADM)形式组合成一个容量巨大的磁盘组,利用多个磁盘组合在一起,提升整个磁盘系统效能。利用这项技术,将数据切割......