首页 > 其他分享 >带记忆的对话api上线

带记忆的对话api上线

时间:2024-08-29 23:25:55浏览次数:9  
标签:API 上线 api tokens AI session 记忆 id

API 简介

Link.AI 已为开发者提供了调用智能体能力的对话API,可在第三方系统和服务中使用 Link.AI 应用智能体和工作流智能体的能力。

在使用普通对话API时,开发者需要在每次请求时传入会话的对象和上下文,以实现智能体的“记忆”功能,从而实现多轮对话。

相比普通对话API,Link.AI 记忆对话 API 原生支持开发者在应用/工作流中设置的记忆功能。开发者无需自行维护上下文记忆并通过messages参数传递,只需传入用户问题和身份标识即可,由系统按用户维度对上下文记忆进行维护,从而实现长期记忆下的多轮对话。

API 能力介绍

记忆对话 API 的核心能力即为帮助开发者自动保留会话对象的上下文历史;其次,记忆对话 API 同样兼容了 Link.AI 的各项原生能力:

  • 支持通过绑定应用工作流,从而使用其包含的知识库插件等能力
  • 支持根据应用或工作流中的记忆轮次和时间的配置对用户维度的记忆进行维护
  • 支持一键切换所有支持的大模型
  • 支持流式/非流式输出
  • 支持多模态输入/输出,可输入文字、图片;输出文字、图片、视频、文件

API 接口定义

请求示例

{
    "app_code": "G7z6vKwp",
    "query": "你好",
    "session_id": "123e4567-e89b-12d3-a456-426614174000"
}
  1. app_code:需换成你自己创建应用、工作流code,或公开在Link.AI应用广场中应用的code。
  2. session_id:一般为对用户身份的唯一标识,例如可将业务系统中用户ID、手机号等信息加密后传入。若该字段不传,系统将自动生成一个唯一ID并在响应中返回,下次对话时可携带该字段。

响应结果

非流式响应:

{
    "session_id": "123e4567-e89b-12d3-a456-426614174000",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "你好,请问有什么可以帮助您的吗?"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 9,
        "completion_tokens": 17,
        "total_tokens": 26
    }
}

1.接口调用默认为非流式响应,会在所有内容生成完毕后一次性返回。
2.choices.message.content 中为AI的响应内容,usage 部分 prompt_tokens、completion_tokens、total_tokens 分别表示请求的token数、响应的token数、全部消耗的token数。

流式响应:

data: {"choices": [{"index": 0, "delta": {"content": "你好!"}, "finish_reason": null}], "session_id": "123e4567-e89b-12d3-a456-426614174000"}
data: {"choices": [{"index": 0, "delta": {"content": "我能"}, "finish_reason": null}], "session_id": "123e4567-e89b-12d3-a456-426614174000"}
data: {"choices": [{"index": 0, "delta": {"content": "为你"}, "finish_reason": null}], "session_id": "123e4567-e89b-12d3-a456-426614174000"}
data: {"choices": [{"index": 0, "delta": {"content": "做些什么?"}, "finish_reason": null}], "session_id": "123e4567-e89b-12d3-a456-426614174000"}
data: {"choices": [{"index": 0, "delta": {}, "finish_reason": "stop", "usage": {"prompt_tokens": 9, "completion_tokens": 6, "total_tokens": 15}}], "session_id": "123e4567-e89b-12d3-a456-426614174000"}
data: [DONE]
  1. 流式调用需要将传入参数 stream 设置为 true,将会在模型不断生成内容的过程中实时返回,适用于网页、APP、小程序等调用端进行流式输出。
  2. 当输出为 "[DONE]" 时表示输出结束,其中每一行数据都会携带 session_id 字段。

当通过 app_code 参数指定了应用时,可在应用管理页面中对 记忆轮次和保留时间 进行配置,同时会话记忆将按照 应用+会话ID 维度进行隔离存储,即同一个 session_id会在不同应用中有独立的上下文记忆:
应用记忆功能

当通过 app_code 参数指定了工作流时,系统将维护整个工作流的输入/输出记忆,可在大模型或应用节点中开启记忆并指定记忆的轮次:
工作流记忆功能

其他说明

接口文档

点击查看 Link.AI 对话记忆 API 文档,详细了解接口定义(接口地址、请求头、请求体、错误说明和示例代码等),进行在线调试。

计费说明

Link.AI 根据资源容量、功能权益、服务支持的不同,划分为 基础版、标准版、专业版 和 企业版 四个不同的版本,为不同需求的客户提供可选择的订阅服务,可点击查看 Link.AI 计费规则

使用中如有问题,可以在平台联系客服咨询

标签:API,上线,api,tokens,AI,session,记忆,id
From: https://www.cnblogs.com/visionwpc/p/18387719

相关文章

  • Java核心API——io类缓冲流
    在前面的学习中我们学习了如何向文件中简单的传输写入数据java将流分为两类节点流与处理流节点流:又称为低级流,特点:实际连接程序与另一端的"管道",负责实际读写数据的流.IO一定是建立在某个低级流的基础上进行的.文件流就是低级流,它们是实际连接程序与文件的管道,负责......
  • AI大模型上线必备清单:备案所需资料全解析
    大模型上线备案所需资料(1)大模型上线备案表,包含以下具体内容:基本情况:模型名称、主要功能、适用人群、服务范围等。模型研制:模型备案情况、训练算力资源(自研模型)、训练语料和标注语料来源与规模、语料合法性、算法模型的架构和训练框架等。服务与安全防范:推理算力资源、服务方......
  • day03-面向对象-内部类&泛型&常用API
    一、内部类内部类是类中的五大成分之一(成员变量、方法、构造器、代码块、内部类)如果一个类定义在另一个类的内部,这个类就是内部类。场景:当一个类的内部,包含了一个完整的事物,且这个事物没有必要单独设计时,就可以把这个事物设计成内部类内部类分为四种:成员内部类[了解]......
  • 小琳AI课堂:使用ChatGPT API搭建系统(一)
    大家好,这里是小琳AI课堂。今天我们来聊聊提示链的构建,这是一个非常有趣且实用的技术话题。提示链,简单来说,就是一系列逻辑上相互关联的提示,用于指导大型语言模型(如ChatGPTAPI)如何处理复杂交互和任务提示链的构建:学习者将学习如何建立与前面提示交互的提示链,这是实现复杂任......
  • 小琳AI课堂:使用ChatGPT API搭建系统(二)
    ......
  • Capital许可分析的最佳实践
    在快速变化的软件许可环境中,企业如何确保合规性并优化成本?Capital许可分析为此提供了解决方案。通过深入探讨Capital许可分析的最佳实践,并结合实际案例,本文将为企业展示如何实现合规与成本的双赢。一、明确目标与策略成功的Capital许可分析始于明确的目标与策略。某大型制造企业......
  • 短视频平台(某音)自动化运营神器,7款RPA机器人上线
    前段时间,八爪鱼RPA应用市场正式上线,为爪爪们提供各类免费、开箱即用的RPA机器人,......
  • 电商领域的新引擎:API接口的革命性应用
     在数字化转型的大潮中,电商行业正经历着前所未有的变革。API接口,作为连接不同系统和服务的桥梁,正在成为电商领域的新引擎。本文将探讨电商API接口如何助力企业释放数据潜力,驱动业务增长。一、电商API接口:连接的力量API(ApplicationProgrammingInterface)接口是软件系统之间交互的......
  • 微信私域&SEO运营神器,9款RPA机器人上线
    上一期我们分享了7款抖音RPA机器人,很多爪爪们都开始用了起来......
  • 电商领域的新引擎:API接口的革命性应用
    在数字化转型的大潮中,电商行业正经历着前所未有的变革。API接口,作为连接不同系统和服务的桥梁,正在成为电商领域的新引擎。本文将探讨电商API接口如何助力企业释放数据潜力,驱动业务增长。一、电商API接口:连接的力量API(ApplicationProgrammingInterface)接口是软件系统之间交互......