首页 > 其他分享 >大模型-大模型-架构设计-6种设计模式-09

大模型-大模型-架构设计-6种设计模式-09

时间:2024-11-08 09:29:54浏览次数:3  
标签:架构设计 架构 模型 Agent 查询 模式 设计模式

目录
架构设计模式已成为程序员的重要技能。然而,当我们转向大模型应用领域,情况可能会有所不同。面对新兴技术,比如:生成式 AI,我们尚缺乏成熟的设计模式来支撑这些解决方案。
总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中的一些挑战,比如:成本问题、延迟问题以及生成的幻觉等问题。

1. 路由分发架构模式


当用户输入一个 Prompt 查询时,该查询会被发送到路由转发模块,而路由转发模块则扮演着对输入 Prompt 进行分类的角色。
如果 Prompt 查询是可以识别的,那么它会被路由到小模型进行处理,这通常是一个更准确、响应更快且成本更低的操作。
如果 Prompt 查询无法被识别,那么它将由大模型来处理。尽管大模型的运行成本较高,但它能够成功返回更多种类型查询的答案。通过这种方式,大模型应用产品可以在成本、性能和用户体验之间实现平衡。

2. 代理架构模式

针对特定任务领域的专家,并行工作以处理特定类型的查询,然后将这些响应整合在一起,形成一个全面的答案。

这样的架构模式非常适合复杂的问题解决场景,在这种场景中,问题的不同方面需要不同的专业知识,就像一个由专家组成的小组,每个专家负责处理更大问题的一个方面。
更大的模型(比如:GPT-4)负责理解上下文,并将其分解为特定的任务或信息请求,这些任务或信息请求被传递给更小的代理模型。这些代理模型可能是较小模型,它们已经接受过特定任务的训练,或者是具有特定功能的通用模型,比如:BERT、Llama-2、上下文提示和函数调用。

3. 基于缓存的微调架构模式

将缓存和微调引入到大模型应用架构中,可以解决成本高、推理速度慢以及幻觉等组合问题。

通过缓存初始结果,能够在后续查询中迅速提供答案,从而显著提高了效率。
当我们累积了足够的数据后,微调层将启动,利用早期交互的反馈,进一步完善一个更为专业化的私有大模型。
专有私有大模型不仅简化了操作流程,也使专业知识更好地适应特定任务,使其在需要高度精确性和适应性的环境中,比如:客户服务或个性化内容创建,表现得更为高效。

4.面向目标的 Agent 架构模式

对于用户的 Prompt 提示词,Agent 会基于大模型先做规划(Planning),拆解成若干子任务,然后对每个子任务分别执行(Action),同时对每一步的执行结果进行观测(Observation),如果观测结果合格,就直接返回给用户最终答案,如果观测结果不合格或者执行出错,会重新进行规划(Replanning)。
这种面向目标的 Agent 架构模式非常常见,也是 AGI 大模型时代,每一个程序员都需要掌握的架构设计模式。

5. Agent 智能体组合架构模式

该架构设计模式强调了灵活性,通过模块化 AI 系统,能自我重新配置以优化任务性能。
这就像一个多功能工具,可以根据需求选择和激活不同的功能模块,对于需要为各种客户需求或产品需求定制解决方案的企业来说,这是非常有效的。

我们可以通过使用各种自主代理框架和体系结构来开发每个 Agent 智能体,比如:CrewAI、Langchain、LLamaIndex、Microsoft Autogen 和 superAGI等。
通过组合不同的模块,一个 Agent 可以专注于预测,一个处理预约查询,一个专注于生成消息,一个 Agent 来更新数据库。将来,随着专业 AI 公司提供的特定服务的增多,我们可以将一个模块替换为外部或第三方服务,以处理特定的任务或领域的问题。

6. 双重安全架构设计模式

大模型的核心安全性至少包含两个关键组件:一是用户组件,我们将其称为用户 Proxy 代理;二是防火墙,它为大模型提供了保护层。

用户 Proxy 代理在查询发出和返回的过程中对用户的 Prompt 查询进行拦截。该代理负责清除个人身份信息和知识产权信息,记录查询的内容,并优化成本。
防火墙则保护大模型及其所使用的基础设施。尽管我们对人们如何操纵大模型以揭示其潜在的训练数据、潜在功能以及当今恶意行为知之甚少,但我们知道这些强大的大模型是脆弱的。

在安全性相关的技术栈中,可能还存在其他安全层,但对于用户的查询路径来说,Proxy 代理和防火墙是最关键的。

标签:架构设计,架构,模型,Agent,查询,模式,设计模式
From: https://www.cnblogs.com/cavalier-chen/p/18534486

相关文章

  • 【YOLOv11[基础]】实例分割Seg | 导出ONNX模型 | ONN模型推理以及检测结果可视化 | py
    本文将导出YOLO-Seg.pt模型对应的ONNX模型,并且使用ONNX模型推理以及结果的可视化。话不多说,先看看效果图吧!!!目录一导出ONNX模型二推理及检测结果可视化1代码2效果图......
  • 【Simulink仿真】新能源电动汽车VCU,BMS hil硬件在环仿真测试电动汽车模型
    摘要本文基于Simulink平台构建了新能源电动汽车控制器硬件在环(Hardware-in-the-Loop,HIL)仿真测试系统。该系统包含整车控制器(VehicleControlUnit,VCU)与电池管理系统(BatteryManagementSystem,BMS)的仿真模型。通过搭建仿真环境,对VCU和BMS进行实时交互测试,验证控制策略......
  • springboot策略设计模式最佳实践
    假设我们希望实现以下需求:支付方式(如支付宝、微信支付)可以动态切换。支付方式配置从配置文件中加载,或者支持在数据库中动态更新。配置文件或数据库中指定当前生效的支付方式。步骤1:配置文件定义支付方式我们可以在application.yml或application.properties中定义支......
  • YOLOv11 正式发布!你需要知道什么? 另附:YOLOv8 与YOLOv11 各模型性能比较
    YOLOv11目标检测创新改进与实战案例专栏点击查看文章目录:YOLOv11创新改进系列及项目实战目录包含卷积,主干注意力,检测头等创新机制以及各种目标检测分割项目实战案例点击查看专栏链接:YOLOv11目标检测创新改进与实战案例2024年9月30日,Ultralytics在他们的YOLOVision活动......
  • 大语言模型是搜索匹配还是智能生成?
    随着人工智能技术的迅猛发展,尤其是大语言模型(如GPT-3、GPT-4等)的问世,许多人开始讨论这些模型到底是依靠“搜索匹配”还是“智能生成”来回答问题、生成文本。这个问题关系到大语言模型的本质及其应用前景,对AI的认知和使用也有深远影响。在辩论这一话题时,我们可以从以下几个方......
  • 训练好的模型怎么使用(非常详细),零基础入门到精通,看这一篇就够了
    前言“训练大模型的目的,就是为了解决业务问题”学习机器学习的人大部分都知道怎么设计并训练一个模型,但开发模型的目的是为了解决业务问题,所以怎么使用大模型也是重中之重。刚训练好的大模型事实上虽然可以用,但由于没有用户接口,所以只能自己用,无法对外提供服务;所以,刚训......
  • HTML弹性盒子模型
    目录1.Flex基本属性(1)display(2)flex-direction(3)flex-wrap(4)justify-content(5)align-items2.自己制作一个简单的个人页面之前我们提到过,当我们创建一个元素时,相当于在HTML中创造了一个盒子,并且可以用适当的方法改变他的位置和其他属性,今天我们将会介绍一种更为便捷,有效的......
  • 足彩人工智能足球预测软件模型
    足彩人工智能预测模型:AI智能发展带来的好处引言人工智能(ArtificialIntelligence,简称AI)是近年来科技领域的一大热点,它以模拟人类智能为目标,通过机器学习和深度学习等技术手段,实现了在特定领域具备高度智能的计算机系统。其中,足彩人工智能预测模型是人工智能在体育领域应......
  • AI辅助Kano模型进行产品开发
    AI集成Kano模型可以改变游戏规则,了解客户需求和加强产品开发。Kano模型有助于识别不同类别的产品功能,例如必不可少、令人愉悦和无关紧要,让您优先考虑真正重要的事情。这种理解可以提高客户满意度和整体产品成功。AI集成Kano模型:简化产品开发并提高客户满意度。使用Generative......
  • 使用AMD GPU进行图像分类的ResNet模型
    ResNetforimageclassificationusingAMDGPUs—ROCmBlogs2024年4月9日,作者:LoganGrado。在这篇博客中,我们演示了如何使用ROCm在AMDGPU上训练一个简单的ResNet模型来进行CIFAR10数据集的图像分类。在AMDGPU上训练ResNet模型非常简单,仅需安装ROCm和适当的PyTorch库,无......