首页 > 其他分享 >改进了编排控制并增强了推理的可视性,Agents for Amazon Bedrock 现已上市

改进了编排控制并增强了推理的可视性,Agents for Amazon Bedrock 现已上市

时间:2023-12-14 16:12:58浏览次数:44  
标签:可视性 代理 Amazon API Agents Bedrock 推理

七月份的时候,我们推出了 Agents for Amazon Bedrock 预览版。如今,Agents for Amazon Bedrock 全面上市。

Agents for Amazon Bedrock 通过编排多步任务,有助于您加速生成人工智能 (AI) 应用程序的开发。代理使用基础模型 (FM) 的推理功能将用户请求的任务分解为多个步骤。他们使用开发人员提供的指令创建编排计划,然后通过调用公司 API 和使用检索增强生成 (RAG) 访问知识库来执行该计划,从而为终端用户提供最终响应。如果您想知道其中的工作原理,请查看我之前发布的关于代理的文章,其中包括高级推理入门和 RAG 入门

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

即日起, Agents for Amazon Bedrock 的功能已得到增强,包括改进了编排控制并增强了思维链推理的可视性。

Agents for Amazon Bedrock 在后台会自动化用户请求任务的提示工程和编排,例如管理零售订单或处理保险索赔。代理会自动构建编排提示,如果连接到知识库,则会使用您公司特定信息扩充提示,并调用 API 以自然语言向用户提供响应。

作为开发人员,您可以使用新的追踪功能来追踪执行计划时使用的推理过程。您可以查看编排过程中的中间步骤,并使用这些信息来解决问题。

您还可以访问和修改代理自动创建的提示,以便进一步增强终端用户体验。您可以更新此自动创建的提示(或提示模板),从而帮助 FM 增强编排和响应,使您能够更好地控制编排。

接下来,我将为您展示如何查看推理步骤以及如何修改提示。

查看推理步骤

追踪功能可以让您了解代理的推理,即思维链 (CoT) 。您可以使用 CoT 追踪查看代理如何逐步执行任务。 CoT 提示基于一种名为 ReAct (协同推理和行动)的推理技术。请查阅我上一篇博客文章中关于高级推理的入门知识,了解更多关于 ReAct 和特定提示结构的信息。

首先请导航到 Amazon Bedrock 控制台并选择现有代理的工作草稿。然后,选择“测试”按钮并输入示例用户请求。在代理的响应中,选择“显示追踪”。

图片

CoT 追踪逐步显示代理的推理。打开每个步骤查看 CoT 的详细信息。

图片

增强的可视性有助于您了解代理完成任务所使用的基本原理。作为开发人员,您可以使用这些信息来完善提示、说明和操作描述,以便在迭代测试和改进用户体验时调整代理的操作和响应。

修改代理创建的提示

代理根据提供的说明自动创建提示模板。您可以更新用户输入的预处理、编排计划和 FM 响应的后处理。首先请导航到 Amazon Bedrock 控制台并选择现有代理的工作草稿。然后,选择“高级”提示旁边的“编辑”按钮。
图片

在这里,您可以访问四种不同类型的模板。预处理模板定义了代理如何对用户输入进行情景化和分类。编排模板为代理提供了短期记忆、可用操作和知识库的列表及其描述,以及如何在不同序列或组合中分解问题并使用这些操作和知识的少量示例。知识库响应生成模板定义了知识库在响应中的使用和总结方式。后处理模板定义了代理如何对最终响应进行格式化和呈现给终端用户。您可以选择保留模板默认设置,也可以编辑和覆盖模板默认设置。

需要了解的事项

使用 Agents for Amazon Bedrock 的一些最佳实践和需要了解的重要事项如下。

当您让代理集中处理一个特定任务时,它们能够发挥最佳性能。目标(指令)越明确,可用的操作集 (API) 越专注, FM 就越容易推理和确定正确步骤。如果您需要代理来处理各种任务,请考虑创建单独的独立代理。

以下是一些额外的指南:

  • API 数量–在代理中使用三到五个带有几个输入参数的 API 。
  • API 设计——遵循设计 API 的一般最佳实践,例如确保等幂性。
  • API 调用验证–遵循 API 设计的最佳实践,对所有 API 调用进行详尽的验证。这一点尤其重要,因为大型语言模型 (LLM) 可能会产生幻觉输入和输出,事实证明,这些验证对于处理这种情况非常有帮助。

可用性和定价

Agents for Amazon Bedrock 今天在美国东部(北弗吉尼亚州)和美国西部(俄勒冈州)的亚马逊云科技地区上市。将根据代理进行的推理调用 (InvokeModel API)向您收费。InvokeAgent API 不单独收费。详情请查阅 Amazon Bedrock 定价

了解更多信息

Agents for Amazon Bedrock 产品页面

Agents for Amazon Bedrock 用户指南

控制台中的 Agents for Bedrock

文章来源:
https://dev.amazoncloud.cn/column/article/65716ba80ddfe627e00c7792?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=bokey

标签:可视性,代理,Amazon,API,Agents,Bedrock,推理
From: https://www.cnblogs.com/AmazonwebService/p/17901386.html

相关文章

  • Amazon CodeWhisperer:AI 编程助手
    文章作者:prigioni1.什么是AmazonCodeWhisperer?AmazonCodeWhisperer能够理解以自然语言(英语)编写的注释,并能实时生成多条代码建议,以此提高开发人员生产力。该服务可以直接在集成开发环境(IDE)的代码编辑器中给出关于整个功能和逻辑代码块(通常包含多达10-15行代码)的建议。生成......
  • 宣布全面推出适用于 macOS 的 Amazon EC2 M2 Pro Mac 实例
    即日起,AmazonElasticComputeCloud(AmazonEC2)M2ProMac实例现已全面推出(GA)。在为Apple平台(例如iOS、macOS、iPadOS、tvOS、watchOS、visionOS和Safari)构建和测试应用程序时,这些实例的性能比现有的M1Mac实例提高了35%。M2ProMac实例由AmazonNitroSystem......
  • 技术分享丨Amazon Q,新一代生成式人工智能助手
    生成式人工智能助手—AmazonQAmazonQ是一款完全托管、由生成式AI支持的企业聊天助手,您可以在组织内部署它。AmazonQ通过支持关键任务(例如回答问题、知识发现、编写电子邮件、总结文本、起草文档大纲和集思广益)来提高员工的工作效率。用户向AmazonQ提出问题并获得以对话......
  • Guardrails for Amazon Bedrock 基于具体使用案例与负责任 AI 政策实现定制式安全保障
    作为负责任的人工智能(AI)战略的一部分,您现在可以使用 GuardrailsforAmazonBedrock(预览版),实施专为您的用例和负责任的人工智能政策而定制的保障措施,以此促进用户与生成式人工智能应用程序之间的安全交互。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术......
  • Amazon CodeWhisperer 审查:最新的 AI 代码伴侣
    最近,亚马逊云科技宣布了一项机器学习支持的服务,该服务通过根据开发人员在自然语言中的评论和他们在集成开发环境中的代码生成代码建议来帮助提高开发人员的工作效率。这项名为AmazonCodeWhisprer 的服务仍处于预览阶段,可以免费使用。这项服务类似于微软去年推出的GitHubcopi......
  • Amazon CodeWhisperer 免费的 AI 代码生成助手!最新体验反馈~
    文章作者:段小草自这一波生成式AI浪潮以来,大家尝鲜之余最关心的问题还是如何提高生产力。我们在测试大语言模型能力的时候,往往会将代码能力作为一项重要的评价指标,也说明程序员还是希望能在AI的加持下更快捷安全地编写代码。亚马逊云科技开发者社区为开发者们提供全球的开发......
  • Amazon如何日志实践的?
    1深入研究日志第一次工作遇到代码报错尝试解决并没有做好,而且我不清楚是哪里做错了。一位同事建议我打开日志看看是哪里出错了。而要这样做,他说我应该“cat日志文件”。当时我真以为同事们在和我开玩笑,或者在说一个关于猫的笑话,只不过我没听懂。我在大学里使用Linux只是为了......
  • Amazon S3 Glacier 将检索大量存档数据时的还原吞吐量提升高达 10 倍
    AmazonS3Glacier将检索大量存档数据时的还原吞吐量提升高达10倍。增加的吞吐量自动应用于 AmazonS3GlacierFlexibleRetrieval和AmazonS3GlacierDeepArchive 存储类中的所有标准和批量检索,无需额外付费。使用更高的还原吞吐量,应用程序现在可以更快地处理存档数据......
  • Amazon CodeWhisperer 开箱初体验
    文章作者:Coder9527科技的进步日新月异,正当人工智能发展如火如荼的时候,各大厂商在“解放”码农的道路上不断创造出各种Coding利器,今天在下就带大家开箱体验一个Coding利器: AmazonCodeWhisperer。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、......
  • Amazon WorkSpaces 推出 Amazon WorkSpaces Web
    今天,我们宣布全面推出AmazonWorkSpacesWeb。WorkSpacesWeb是我们的最终用户计算套件中的一项新功能,它是一项低成本的完全托管式WorkSpace,专用于辅助基于Web的安全工作负载。WorkSpacesWeb使得客户能够轻松、安全地为其员工提供对内部网站和软件即服务Web应用程序的访......