首页 > 其他分享 >《史上最简单的SpringAI+Llama3.x教程》-05-打破界限,Function Calling在业务场景中的应用

《史上最简单的SpringAI+Llama3.x教程》-05-打破界限,Function Calling在业务场景中的应用

时间:2024-07-29 23:28:49浏览次数:18  
标签:Function function 函数 05 模型 Calling import SpringAI

什么是Function Calling

Function Calling 是一种技术,它允许大型语言模型(如GPT)在生成文本的过程中调用外部函数或服务。

这种功能的核心在于,模型本身不直接执行函数,而是生成包含函数名称和执行函数所需参数的JSON,然后由外部系统执行这些函数,并将结果返回给模型以完成对话或生成任务。

Function Calling 主要解决了大型语言模型在处理任务时的局限性,尤其是模型自身无法获取实时信息或执行复杂计算的问题。

通过Function Calling,模型可以利用外部工具或服务来扩展其能力,从而能够处理更广泛的任务,如实时数据查询、复杂计算等。

Spring AI 如何实现 Function Calling

Spring AI 提供了一种机制,允许开发者向大型语言模型(LLM)注册自定义函数,并使模型能够在适当的时候调用这些函数。这种功能称为 Function Calling,它可以增强模型的能力,使其能够访问外部工具或动态执行任务。

以下是实现 Function Calling 的一般步骤:

  1. 定义函数接口:首先,你需要定义一个遵循 java.util.function.Function 接口的类,该类定义了函数的签名,即函数的输入和输出类型。
  2. 注册函数为 Spring Bean:通过在 Spring 配置类中声明一个 @Bean 方法,将你的函数实现作为 Spring Bean 注册。你可以使用 @Description 注解来提供函数的描述,这有助于模型理解何时调用该函数。
  3. 创建 FunctionCallbackWrapper:Spring AI 提供了 FunctionCallbackWrapper 类,它封装了函数的调用逻辑,并将其注册为 FunctionCallback。这是因为 LLM 模型本身并不直接调用函数,而是生成一个包含函数调用详细信息的 JSON 对象,由客户端处理并执行函数。
  4. 配置 ChatOptions:在创建 OpenAiChatClient 或其他支持 Function Calling 的聊天客户端时,你需要配置 ChatOptions,并通过 withFunction 方法启用你注册的函数。
  5. 调用函数:在与模型的交互过程中,当模型决定需要调用一个函数时,它会生成一个 JSON 对象,客户端收到这个对象后,会调用注册的函数,并将结果返回给模型。
  6. 处理函数调用结果:函数执行后,你需要处理返回的结果,并根据需要将结果转换为模型可以理解的格式。

根据上述步骤,结合你的具体应用场景,就可以实现 Spring AI 中的 Function Calling 功能。

一个Function Calling 的Demo

目前SpringAI已经支持了多个模型的function Calling能力,如下:

在这里插入图片描述

Ollama API并不直接调用这些函数;相反,模型会生成JSON,在代码中使用这个JSON来调用函数,并将结果返回给模型以继续对话。

Spring AI使得这一过程变得简单,就像定义一个返回java.util.Function@Bean一样,并在调用时提供bean名称作为选项。

在底层,Spring使用适当的适配器代码来包装您的POJO(简单的Java对象,即函数),这个代码支持与AI模型的交互,从而避免了编写繁琐的样板代码。

底层基础设施的核心是FunctionCallback.java接口和配套的FunctionCallbackWrapper.java实用程序类,它们用于简化Java回调函数的实现和注册。

上手试试

咱们本地使用的是Llama3.1模型来实现Function Calling能力,你可以想象有这样一个场景:

咱们之前聊过一个汽车销售问答平台,现在我希望通过Google搜索的能力,获取市面上某款车的价格,然后上浮2%报价给消费者。

定义一个Function方法

此处为了实现效果,咱们只是mock一个数据。

import com.fasterxml.jackson.annotation.JsonProperty;
import com.fasterxml.jackson.annotation.JsonPropertyDescription;
import lombok.Data;
import org.springframework.context.annotation.Description;
import org.springframework.stereotype.Service;

import java.util.function.Function;
/**
 * 通过@Description描述函数的用途,这样ai在多个函数中可以根据描述进行选择。
 */
@Description("汽车价格检索")
@Service
public class MockSearchService implements Function<MockSearchService.SearchRequest, MockSearchService.SearchResponse> {

    @Data
    public static class SearchRequest {
        @JsonProperty(required = true, value = "path")
        @JsonPropertyDescription(value = "汽车型号")
        String carType;
    }

    public record SearchResponse(Integer price) {
    }

    public SearchResponse apply(SearchRequest request) {
        System.out.println(request.carType);
        // mock 数据
        return new SearchResponse(300000);
    }
}

使用函数

注入AI模型基座,可以切换不同的AI厂商模型。本案例使用的是Ollama部署的模型。

在实际的开发中可以接收多个函数,通过functions参数传入。然后ai会根据提问从这些函数中选择一个执行。

import lombok.AllArgsConstructor;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.http.MediaType;
import org.springframework.http.codec.ServerSentEvent;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

import static cn.hutool.json.JSONUtil.toJsonStr;

/**
 * function calling controller
 *
 * @author JingYu
 * @date 2024/07/29
 */
@RestController
@RequestMapping("/function/calling")
@AllArgsConstructor
public class FunctionCallingController {


    private final OllamaChatModel ollamaChatModel;
    
    /**
     * 指定自定义函数回答用户的提问
     *
     * @param prompt       用户的提问
     * @return SSE流式响应
     */
    @GetMapping(value = "chat/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<ServerSentEvent<String>> chatStreamWithFunction(@RequestParam String prompt) {
        return ChatClient.create(ollamaChatModel).prompt().messages(new UserMessage(prompt))
                // spring ai会从已注册为bean的function中查找函数,
                // 将它添加到请求中。如果成功触发就会调用函数
                .functions("mockSearchService").stream()
                .chatResponse()
                .map(chatResponse -> ServerSentEvent.builder(toJsonStr(chatResponse))
                        .event("message").build());
    }
}

此方式是通过指定function函数的方式,在开发过程中我们是不知道应该使用哪个function的,那么我们可以通过prompt的方式让模型自己决定使用哪个函数:

/**
 * 指定自定义函数回答用户的提问
 *
 * @param prompt       用户的提问
 * @return SSE流式响应
 */
@GetMapping(value = "/prompt/chat", produces = MediaType.APPLICATION_JSON_VALUE)
public ChatResponse chatStreamWithPromptFunction(@RequestParam String prompt) {


    UserMessage userMessage = new UserMessage(prompt);

    OllamaOptions options = OllamaOptions.builder()
            .withFunctionCallbacks(List.of(FunctionCallbackWrapper.builder(new MockSearchService())
                    .withName("mockSearchService")
                    .withDescription("汽车价格检索")
                    .withResponseConverter((response) -> "" + response.price())
                    .build()))
            .build();

    return ollamaChatModel.call(new Prompt(List.of(userMessage), options));

}

深度分析 Function Calling 的代码结构设计

下图说明了 OllamaChatModel 函数调用的流程:

在这里插入图片描述

下图详细说明了 Ollama API 的流程:

在这里插入图片描述

Ollama API 调用官方案例:spring-ai/models/spring-ai-ollama/src/test/java/org/springframework/ai/ollama/api/tool/OllamaApiTool

标签:Function,function,函数,05,模型,Calling,import,SpringAI
From: https://blog.csdn.net/JingYu_365/article/details/140783596

相关文章

  • P9058 [Ynoi2004] rpmtdq 与 P9678 [ICPC2022 Jinan R] Tree Distance
    思路:注意到点对数量有\(N^2\)个,考虑丢掉一些无用的点对。对于点对\((x_1,y_1),(x_2,y_2)\),满足\(x_1\lex_2<y_2\ley_1\),即区间\([x_2,y_2]\)被\([x_1,y_1]\)包含,此时满足若询问到了\([x_1,y_1]\),则一定会询问到\([x_2,y_2]\)。若满足\(\operatorname{dis}(x_1......
  • Python - Using a list with functions from the random module
    Toselectarandomitemfromthelistorshufflethelist,youcanusethechoiceandshufflefunctionsfromtherandommoduleofthestandardlibrary.Therandom.choice()functionreturnsarandomlyselectedelementfromthelist.>>>importran......
  • 05-异常,文件操作
    文件文件操作,使用代码来读写文件1,Game案例,最高分不能保存的,可以将最高分保存到文件中,2,自动化,测试数据在文件中保存的,从文件中读取测试数据,进行自动化代码的执行文件的介绍文件:可以存储在长期存储设备(硬盘,U盘)上的一段数据即为文件1,计算机只认识......
  • (8-6-05)优先级遍历(Priority-based Search)算法:基于tkinter的多算法路径规划程序(5)
    (7)函数breadth_first_search实现了广度优先搜索算法。它使用一个队列来存储待探索的节点,并通过迭代地从队列中取出节点来搜索路径。在搜索过程中,它会调用`add_neighbours`函数来添加节点的相邻节点,并在添加节点后继续搜索。当找到目标节点时,函数会停止搜索,并调用`paint`函数来......
  • 05 详细的中断讲解
    目录前言一、什么是中断二、如何使用中断1.stm32中断结构1.1AFIO中断引脚选择1.2EXTI边缘检测1.3NVIC优先级配置2.配置stm32的中断1.打开时钟2.配置GPIO口3.配置AFIO控制4.配置EXTI功能5.配置NVIC6.配置完整代码3.书写中断服务函数总结前言又鸽了几天的文章,最近在做一个手表......
  • zzuli1057: 素数判定
    题目描述输入一个正整数n,判断n是否是素数,若n是素数,输出”Yes”,否则输出”No”。注意:1不是素数。输入输入一个正整数n(n<=1000)输出如果n是素数输出"Yes",否则输出"No"。输出占一行。样例输入2样例输出Yes本题考察求素数的方法,我在文章结束列举了3种方法,以......
  • zzuli1055: 兔子繁殖问题
    题目描述这是一个有趣的古典数学问题,著名意大利数学家Fibonacci曾提出一个问题:有一对小兔子,从出生后第3个月起每个月都生一对兔子。小兔子长到第3个月后每个月又生一对兔子。按此规律,假设没有兔子死亡,第一个月有一对刚出生的小兔子,问第n个月有多少对兔子?输入输入月数n(1<......
  • 05_BigDecimak类
    一、前言publicclassdemo01{publicstaticvoidmain(String[]args){doubled1=1.0;doubled2=0.9;System.out.println(d1-d2); }}上述代码的结果为0.09999999999999998,出现这个结果是因为在java中"double"类型是浮点数,由于浮点......
  • LeetCode1005. K 次取反后最大化的数组和
    题目链接:https://leetcode.cn/problems/maximize-sum-of-array-after-k-negations/description/题目叙述:给你一个整数数组nums和一个整数k,按以下方法修改该数组:选择某个下标i并将nums[i]替换为-nums[i]。重复这个过程恰好k次。可以多次选择同一个下标i。以这种......
  • luogu P1896 [SCOI2005] 互不侵犯 题解
    luoguP1896[SCOI2005]互不侵犯题解题目传送门思路状态压缩dp。状态压缩dp对于每一行,用一个\(n\)位二进制数表示每行的状态,则对于上下两行之间,设上行的数字为\(a\),下行的数字为\(b\),状态不合法有三种情况:\(a\operatorname{and}b\neq0\),即存在上行与下行同......