首页 > 其他分享 >深入浅出:Agent如何调用工具——从OpenAI Function Call到CrewAI框架

深入浅出:Agent如何调用工具——从OpenAI Function Call到CrewAI框架

时间:2025-01-14 23:22:01浏览次数:1  
标签:Function 调用 模型 Agent CrewAI 参数 工具

深入浅出:Agent如何调用工具——从OpenAI Function Call到CrewAI框架

嗨,大家好!作为一个喜欢折腾AI新技术的算法攻城狮,最近又学习了一些Agent工作流调用工具的文章,学完之后,我真的是“啊这”,一边感慨AI技术的强大,一边觉得自己打开了新世界的大门。于是,我决定写这篇博客,把我的学习心得分享给大家!如果你对AI智能体、工具集成,以及如何让它们更“聪明”感兴趣,那千万别错过这篇文章!


引言:Agent与工具,天作之合?

Agent,直译就是“代理”,但在AI领域,它更像是一个“智能小帮手”,可以帮用户完成各种复杂任务,比如回答问题、处理数据,甚至操控其他系统。

但问题来了:Agent再智能,它的基础能力终归有限,比如它不可能自带所有最新的数据,也不可能直接执行某些复杂操作。这时候,就需要一个“外挂”神器——工具

工具可以赋予Agent超能力,比如:

  • 调用外部API:获取实时数据,比如天气、汇率。
  • 执行函数:进行复杂计算或数据处理。
  • 访问数据库:提取大规模业务数据。

Agent+工具的组合,就像盖伦拿到了一把三相之力(好吧,暴露年龄了),能力瞬间爆炸!而这篇调研报告的核心就是:如何设计这些工具,并让Agent高效调用它们。重点关注了OpenAI的Function Call机制CrewAI框架下的工具创建方法。下面,我就把我的学习心得分享给大家。

img


正文:拆解Agent调用工具的秘密

一、 工具是什么?分类了解一下!

在AI领域,工具可以理解为一些功能模块,通过标准化接口与Agent交互。文中将工具分为以下几类:

  1. 信息获取工具:比如调用API获取实时数据,或者从网页爬取信息。
  2. 计算处理工具:执行数学运算、运行代码,甚至处理图像。
  3. 交互工具:比如发邮件、推送消息。
  4. 控制工具:调整Agent的参数,或者控制它的行为,比如让它“安静点”。

引入工具,可以让Agent像开了挂一样,具备模型本身无法完成的能力。就好比给钢铁侠的战甲装上各种黑科技,简直不要太爽!

img


二、Agent中集成工具的步骤

想要把工具整合到Agent中,大体需要以下几个步骤:

  1. 工具注册:注册工具的schema,通常包括工具的名称、功能描述和接口参数的定义。

  2. 接口设计:为工具设计标准化的接口,确保Agent能以统一的方式与工具交互。比如,使用REST API或函数接口作为工具与Agent通信的桥梁。

  3. 环境适配与优化:确保工具与Agent的协同工作状态,需要考虑操作系统兼容性、依赖库安装等问题。同时还需要优化工具的性能和响应速度。

这三个步骤确保了Agent能够正确识别和调用工具,发挥工具的功能,增强Agent的能力。

img


三、Agent如何调用工具的原理

Agent调用工具的过程涉及到任务理解工具选择参数传递结果处理。下面,我们分别看看OpenAI的Function Call机制CrewAI框架下的调用机制。

3.1 OpenAI Function Call调用机制

3.1.1 概念解析

OpenAI的Function Call机制是GPT模型的一种扩展能力,允许Agent调用预定义的工具(函数)。在这个机制中,开发者通过提供函数的签名及其功能描述,让模型能够动态地选择、调用并与这些工具交互。

调用过程的核心是:

  1. 函数注册:提供函数的名称、功能描述和参数定义。

  2. 自然语言解析:模型通过对用户输入的自然语言理解,判断是否需要调用函数来完成任务。

  3. 函数调用与返回:模型生成调用函数的参数,执行调用,接收函数返回值并完成任务。

3.1.2 数据流与调用流程

  1. 用户输入

    • 用户向Agent发送请求,例如“请帮我查询明天北京的天气”。
  2. 任务解析

    • GPT模型分析用户输入,判断是否需要调用函数。
  3. 生成函数调用参数

    • 根据函数描述,GPT模型自动生成调用所需的参数。
  4. 调用函数

    • Agent通过后端的工具接口执行实际的函数调用,并获取返回值。
  5. 返回结果

    • 函数返回的结果会被模型处理,并以自然语言的形式呈现给用户。

调用流程可以用下面这个图示简单表示:

graph LR 用户 --> 问题 问题 --> |prompt|LLM模型 LLM模型 --> |匹配可用函数/工具| 生成ToolCal 生成ToolCal --> |传参并调用|应用程序 应用程序 --> |执行函数| 返回ToolCallRespons 返回ToolCallRespons --> LLM模型 LLM模型 --> |生成自然语言的用户响应| 用户

3.1.3 技术实现

在设计和实现智能Agent时,核心挑战之一在于如何让Agent高效完成任务。Agent需要具备以下能力:理解用户意图、判断是否需要调用工具、精准生成工具调用参数,并将调用结果格式化为用户可理解的自然语言输出。

1) 理解用户意图

在OpenAI Function Call中,意图识别的核心依赖于模型对工具描述的理解。以下是具体流程:

  1. 工具描述注册

    • 在模型中注册工具时,需要提供详细的功能说明和参数说明。

      functions = [
          {
              "name": "query_weather",
              "description": "查询天气信息。",
              "parameters": {
                  "type": "object",
                  "properties": {
                      "city": {"type": "string", "description": "城市名称"},
                      "date": {"type": "string", "description": "查询日期"}
                  },
                  "required": ["city", "date"]
              }
          }
      ]
      
  2. 模型推断意图

    • 用户输入后,模型通过上述工具描述推断用户意图。例如,用户输入:“查询明天北京的天气。” ,模型会识别出“query_weather”工具最符合需求。GPT会根据用户输入,自动提取并生成参数,比如从“明天北京”中提取city="北京"date="明天"

    img

  3. 动态决定调用

    • 如果function_call="auto",模型会自动判断是否需要调用工具。进一步,如果模型认为用户意图需要调用某个工具,会生成一个函数调用请求,包含工具名称和参数。
2) 判断是否需要调用工具

Agent需要根据用户输入动态判断是否调用工具。这一过程依赖于几方面的机制:

  1. 模型内能力 vs 工具能力
    • 如果任务可以通过模型自身的知识完成(例如回答“GPT是什么?”),则不调用工具。
    • 如果任务需要实时信息、外部数据或复杂计算(例如“今天的汇率是多少?”),则调用工具。
  2. 工具匹配度
    • 工具的匹配度依赖于工具的功能描述,模型通过语义相似度判断。

img

3) 精准生成工具调用参数

生成工具调用参数是工具调用中的关键步骤。参数的准确性直接影响工具的执行结果。

  1. 工具描述驱动

    • 工具的参数定义(如参数名称、类型、描述等)是模型生成参数的重要依据
    • 模型会根据用户输入中的关键信息提取参数值。
  2. 用户输入补全

    • 如果用户输入不完整,模型会尝试根据上下文或知识补全。例如,输入“查一下北京的天气”,缺少日期信息时,模型可能自动补全为当天的日期。
  3. 参数校验与修正

    • 传参前,后端需要对模型生成的参数进行校验。例如,检查日期格式是否符合要求。

img

举个栗子,假设我们有一个处理CAD文件的函数:

functions = [
    {
        "name": "process_cad_file",
        "description": "处理CAD图纸文件,提取设备信息并生成统计报告",
        "parameters": {
            "type": "object",
            "properties": {
                "file_path": {
                    "type": "string",
                    "description": "CAD文件的路径,支持.dwg格式"
                }
            },
            "required": ["file_path"]
        }
    },
]

当用户输入“请帮我处理这个CAD图纸:project.dwg”时,模型会自动生成函数调用:

{
    "function_call": {
        "name": "process_cad_file",
        "arguments": "{\"file_path\": \"project.dwg\"}"
    }
}

3.2 CrewAI框架调用机制

CrewAI是一个基于LangChain的开源Agent框架,提供了方便的工具集成和Agent构建能力。在CrewAI中,工具的创建和调用也非常灵活。

3.2.1 工具注册与调用流程

  1. 工具定义:通过继承CrewAI的基类或使用装饰器定义工具。

  2. 工具注册:将工具注册到Agent,使其可以被调用。

  3. Agent处理用户输入:Agent会解析用户输入,自动匹配适合的工具。

  4. 执行工具逻辑:调用工具的run方法,获取结果。

  5. 结果返回:将工具结果直接返回给用户。

img


四、工具创建的具体方法

4.1 基于OpenAI Function Call的工具创建

4.1.1 工具定义与注册

在OpenAI的Function Call机制中,工具(函数)的定义需要提供详细的描述和参数schema。步骤如下:

  1. 定义函数逻辑:编写实际执行任务的函数。

  2. 编写函数描述:包括函数名称、功能描述、参数类型和说明。

  3. 注册函数:在调用模型时,通过functions参数传递函数描述列表。

def calculate_sum(a, b):
    return a + b

functions = [
    {
        "name": "calculate_sum",
        "description": "计算两个数的和。",
        "parameters": {
            "type": "object",
            "properties": {
                "a": {"type": "number", "description": "第一个数"},
                "b": {"type": "number", "description": "第二个数"}
            },
            "required": ["a", "b"]
        }
    }
]

4.1.2 调用与参数处理

  1. 模型调用:设置function_call参数为"auto",模型会自动决定是否调用函数。

  2. 解析函数调用:从模型返回结果中提取function_call信息,获取函数名称和参数。

  3. 执行函数:调用实际的函数逻辑,并获取结果。

  4. 结果处理:将函数结果转换为自然语言,返回给用户。

4.2 基于CrewAI框架的工具创建

除了可以直接使用CrewAI框架下提供的工具(包括 CrewAI ToolkitLangChain Tools 的工具),还可以创建自己的专属工具。

4.2.1 创建自定义工具

在CrewAI中创建工具非常简单:

  1. 使用装饰器@tool定义工具:

    from crewai.tools import tool  
    
    @tool("查询天气")  
    def query_weather(city: str, date: str):  
        return f"{city}在{date}的天气是晴天,气温5°C。"  
    
  2. 或者继承BaseTool实现工具:

    from crewai.tools import BaseTool  
    
    class WeatherTool(BaseTool):  
        name = "查询天气"  
        description = "根据城市和日期查询天气。"  
    
        def _run(self, city: str, date: str):  
            return f"{city}在{date}的天气是晴天,气温5°C。"  
    
  3. 更多的时候还可以使用API来包装函数为结构化工具

from crewai.tools.structured_tool import CrewStructuredTool
from pydantic import BaseModel

class WeatherTool(BaseModel):
    file_path: str
    process_type: str

def query_weather(file_path: str, process_type: str):
    # 实现处理逻辑
    return "处理结果"

queryweather = CrewStructuredTool.from_function(
    name="查询天气",
    description="根据城市和日期查询天气",
    func=query_weather
)

CrewAI的调用机制与Function Call类似,但支持更复杂的任务分解。比如多个工具可以协同合作,完成一个复杂任务。


五、工具创建的设计考虑

在创建工具时,需要注意以下设计细节:

1. 输入与输出的明确性

  • 输入参数:定义清晰的输入结构和类型,避免模型生成无效参数。
  • 输出结构:确保输出结果可以直接供Agent使用,尽量采用标准化格式(如JSON)。

2. 错误处理

  • 参数校验:在工具逻辑中对参数进行校验,例如检查日期格式是否正确。
  • 异常处理:考虑API调用失败或超时的情况,并返回友好的错误信息。

3. 工具的功能粒度

  • 功能过于笼统可能导致工具逻辑复杂化,建议每个工具只专注于单一功能。
  • 如果任务较复杂,可以分解为多个工具,并通过Agent协调它们的调用。

我觉得,这些设计考虑对于提升Agent的开发效率和性能非常重要!毕竟,没有人喜欢和一个总是出错的Agent对话,对吧?

img


结论:Agent的未来,更智能,更无所不能

通过这篇文章,我深刻感受到,Agent的智能化很大程度上依赖工具的设计和调用能力。无论是OpenAI的Function Call,还是CrewAI框架,都在探索如何让Agent具备更强大的外部能力。

我们可以畅想一下未来:

  • 医疗助手通过调用诊断工具,秒出治疗方案。
  • 智能家居通过集成控制工具,真正实现“懒人生活”。
  • 企业AI通过调用数据工具,精准分析业务决策。

总之,Agent+工具的组合,无疑是AI发展的重要方向。如果你也是AI开发者,不妨尝试用这些技术,打造属于自己的智能Agent!

最后一句废话:作为一个热爱AI技术的算法攻城狮,我真的很享受探索这些新奇有趣的东西。学习的过程虽然有时候会遇到困难,但当你突破瓶颈的那一刻,真的是爽到飞起!好了,不扯了,期待下次能和大家分享更多有趣的内容。掰掰~

img


参考资料

标签:Function,调用,模型,Agent,CrewAI,参数,工具
From: https://www.cnblogs.com/li-jian-Lee/p/18671888

相关文章

  • 【Azure Function】C#独立工作模式下参数类型 ServiceBusReceivedMessage 无法正常工
    问题描述在C#AzureFunction使用ServiceBus作为触发器时候,在C#独立工作模式下,说可以支持使用 ServiceBusReceivedMessage类型作为触发消息的参数类型:[Function(nameof(ServiceBusReceivedMessageFunction))][ServiceBusOutput("outputQueue",Connect......
  • Agent学习
    最新AIAgent万字综述分享!Anthropic最新:AIAgents2024年度总结!AIAgent=大模型+记忆+规划+工具使用两种思维方式:CoT和ReAct,都可以通过Prompt的设计来控制构建块、工作流和Agent构建块:增强型LLM工作流程:提示链接工作流程:路由工作流程:并行化工作流程:Orchestrator......
  • AMD发布科研Agent,论文自动化评分趋近顶会NeurIPS水平~
    科学发现漫长且成本高昂,为了加速科学发现,降低研究成本,并提高研究质量,芯片厂商AMD推出了AgentLaboratory,这是一个基于自主大型语言模型(LLM)的框架,能够完成整个研究流程。AgentLaboratory接受人类研究想法和一组笔记作为输入,将其提供给一系列由LLM驱动的专门Agent组成的流程线,......
  • 多 Agent 框架入门:开启智能协作新时代(24/30)
    一、引言:多Agent系统的崛起在当今科技飞速发展的时代,人工智能已深深融入人们生活的方方面面,多Agent系统作为其中的璀璨明珠,正散发着独特魅力。从智能家居设备的默契协作,到工业生产线上各环节的智能调度;从复杂交通网络的流量优化,再到金融市场的风险预测与策略制定,多Agent......
  • Functional接口(函数式接口)
    函数式接口是指仅包含一个抽象方法的接口。它可以包含多个默认方法或静态方法,但抽象方法只能有一个。这种接口都有一个@FuntionalInterface注解。我们可以直接使用Lambda表达式来创建函数式接口,然后将创建的函数式接口直接作为某些方法的参数。eg:list.forEach(t->Syst......
  • 26个开源Agent开发框架调研总结(1)
    根据Markets&Markets的预测,到2030年,AIAgent的市场规模将从2024年的50亿美元激增至470亿美元,年均复合增长率为44.8%。Gartner预计到2028年,至少15%的日常工作决策将由AIAgent自主完成,AIAgent在企业应用中的重要性正在飞速上升。可以预见,今后几年AIAgent的应用开发还将继......
  • AI Agent工作流程
    最近老是听说AIAgent,仿佛是万能的智慧流水线,能直接提供结果(解决方案),而不是像LLM那样问一句答一句。比如说你扔一堆报表数据给它,它能给出业绩诊断和提升策略;你描述下产品思路,它直接开发好软件打包给你,比如现有的产品ChatDev。这就是AIAgent的神奇之处,当然它也是依赖大模型......
  • 活动报名:Voice Agent+硬件分享会,深圳专场丨RTE Meetup 007
      一同探索语音驱动的下一代人机交互界面,voiceagentbuilder的小规模深度交流会。2025年第一期RTEMeetup,将落地硬件之都深圳。1月18日周六下午,聚焦「VoiceAgent+硬件」主题,RTE开发者社区诚邀开发者和创业者共同参与。同时,我们也提供了线上直播和提问交流的......
  • Vue - 解决报错 TypeError: transpileDependencies.map is not a function(vue项目运行
    前言关于此问题网上的教程都无法解决,如果您的报错信息与我相似,即可解决。在vue项目开发中,解决项目运行报错:ERRORTypeError:transpileDependencies.mapisnotafunction,莫名其妙非常恶心的错误,另外项目打包build时也可能会提示错误,vue项目跑不起来了,无论是新老项目......
  • 机器学习顶会NeurIPS: AGILE: A Novel Reinforcement Learning Framework of LLM Agent
    ......