首页 > 其他分享 >手搓大模型Task03:手搓一个最小的 Agent 系统

手搓大模型Task03:手搓一个最小的 Agent 系统

时间:2024-09-27 23:44:54浏览次数:12  
标签:调用 模型 最小 Agent pass Task03 self def

前言

  训练一个大模型是一件高投入低回报的事情,况且训练的事情是由大的巨头公司来做的事情;通常我们是在已有的大模型基础之上做微调或Agent等;大模型的能力是毋庸置疑的,但大模型在一些实时的问题上,或是某些专有领域的问题上,可能会显得有些力不从心。因此,我们需要一些工具来为大模型赋能,给大模型一个抓手,让大模型和现实世界发生的事情对齐颗粒度,这样我们就获得了一个更好的用的大模型。

1.构造Agent

  这里就简单说一下Agent的结构,Agent的结构是一个React的结构,提供一个system_prompt,使得大模型知道自己可以调用那些工具,并以什么样的格式输出。每次用户的提问,如果需要调用工具的话,都会进行两次的大模型调用,第一次解析用户的提问,选择调用的工具和参数,第二次将工具返回的结果与用户的提问整合。这样就可以实现一个React的结构,具体如下图所示。

class Agent:
    def __init__(self, path: str = '') -> None:
        pass

    def build_system_input(self):
        # 构造上文中所说的系统提示词
        pass
    
    def parse_latest_plugin_call(self, text):
        # 解析第一次大模型返回选择的工具和工具参数
        pass
    
    def call_plugin(self, plugin_name, plugin_args):
        # 调用选择的工具
        pass

    def text_completion(self, text, history=[]):
        # 整合两次调用
        pass

2.调用示例

  使用了InternLM2-chat-7B模型,进行了问答测试:

3.总结

  使用4060ti 16G显卡测试Agent,消耗显存15G,整体测试下来感觉 书生·浦语7b 的模型完成一些基本的问答任务没什么问题,但是联系上下文回答问题还是理解不到位;不够那么聪明。

标签:调用,模型,最小,Agent,pass,Task03,self,def
From: https://www.cnblogs.com/xinjieli/p/18436807

相关文章

  • 【免费领51CTO博客定制咖啡杯】agent智能体开发流程
    1、激励策略的设计在“自我激励心灵大师”的开发过程中,设计有效的激励策略是关键。智能体通过分析用户的目标和情绪状态,提供定制化的建议。例如,对于需要提高效率的用户,智能体提供时间管理和目标设定的建议。2、用户情绪挑战用户在实际使用过程中会遇到各种情绪挑战,如焦虑或挫败感。......
  • Leetcode 154. 寻找旋转排序数组中的最小值 II
    1.题目基本信息1.1.题目描述已知一个长度为n的数组,预先按照升序排列,经由1到n次旋转后,得到输入数组。例如,原数组nums=[0,1,4,4,5,6,7]在变化后可能得到:若旋转4次,则可以得到[4,5,6,7,0,1,4]若旋转7次,则可以得到[0,1,4,4,5,6,7]注意,数组[a[0],a[1],a[2],......
  • Open3D 点云分割之最小图割算法(C++)
    文章目录一、原理概述1.1基本原理1.2最小割算法二、实现代码三、实现代码参考资料一、原理概述1.1基本原理(1)首先用一个无向图G=<V,E>来表示要分割的点云,V和E分别是顶点和边的集合(构建无向图),其中每条边均有着相应的权重。不同于普通的图结构,GraphCuts图......
  • 关于最小二乘法
    最小二乘法的核心思想简单而优雅:我们希望找到一条最佳的曲线,使其尽可能贴近所有的数据点。想象一下,当你在画布上描绘一条线,目标是让这条线与点的距离最小。数学上,这可以表示为:在这个公式中,yi​是你观察到的值,f(xi) 则是你预测的值。通过调整模型的参数,我们努力去缩小这个误......
  • 如何让智能客服像真人一样对话?容联七陌揭秘:多Agent大模型
    科技云报到原创。经历了多年的“答非所问”、“一问三不知”,很多人已经厌倦了所谓的“智能客服”。哪怕是技术已经非常成熟、可以模拟真人发音的外呼机器人,也会因为“机感”重而被用户迅速挂机或转向人工客服。智能客服似乎遇到了一道坎,在理解用户、和用户对话方面,始终无法实现真正......
  • P8563 Magenta Potion 题解
    前排警告这是较为通用,不需要脑子,但是代码量巨大的题解,请谨慎食用解题思路不知道大家做没做过带修改的区间最大连续子段和,这一题其实就是带修改的区间最大连续子段积。那么其实做法是类似的。我们用线段树维护五个量:当前区间答案,区间前缀最小值,区间前缀最大值,区间后缀最小值,区......
  • 大疆DJI无人机等你来拿,蚂蚁集团agentUniverse多智能体框架有奖征文
    agentUniverse有奖征文活动来啦!分享agentUniverse的实践经验、亦或是剖析市面上各路智能体技术理念、对比开源框架的洞见,都有机会获得大疆无人机!agentUniverse是一个专业多智能体框架,面向严谨产业中的复杂任务优化设计。该框架是蚂蚁集团探索大模型技术在金融场景中的最新成果,已被......
  • 最小割解决广义差分约束问题
    描述该做法解决了一类“广义差分约束”问题(当然名字是我自己取的),除了可以解决常见的求解\(A_1+c_1\geqA_2,A_2+c_2\geqA_3\dots\)问题外,还可以求解形如“如果\(A_1\geqc_1\),那么\(A_2\geqc_2\)”这样涉及条件逻辑运算的问题。另外,变量的取值还可以带权,即\(A_i\)取值\(......
  • AI Agent学习攻略:从入门到精通,看我这篇就够了!附资料
    可以先学习AIAgent相关理论,再结合应用和实践去理解。下面我从AIAgent的基本概念、原理、组成、应用、实现方法等方面来详细介绍~一、理论篇AIagent是什么?AIagent人工智能代理是指能够感知环境、做出决策并采取行动以实现特定目标的智能系统。更先进的系统还可以随着......
  • AgentLite 一个轻量级LLM Agent框架
    一些初步的想法AI代理的核心架构开始趋于稳定,开发人员似乎更关注实践上。AI代理将扩展其功能,特别是在视觉探索、网页浏览和移动操作系统集成等领域。Salesforce似乎正在大力推动其在AI代理研究方面的进步,特别是关注大型动作模型及其开发框架。比较开发框架本质上是具有......