首页 > 其他分享 >手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型

时间:2024-09-04 11:55:14浏览次数:14  
标签:模型 聆思 开发板 文心 应用 教你用 云端


前言

多模态交互离不开硬件载体,近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型,能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型,这个是必须支持的。但由于各家接口和数据格式不一样,有些朋友直接参考chatgpt的方式没有走通,因此本篇以聆思CSK6大模型开发板接入文心一言为例,分享具体的接入步骤,大家按照文档步骤操作即可。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板


由上图可见,当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

链路说明

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_02


示例中包含3条链路,分别为

  • 链路1: 可通过inject节点调用文心一言节点,并将结果输出到debug1。
  • 链路2: 可通过web对话页调用文心一言节点,最终将大模型结果输出到对话页面上。
  • 链路3: 可通过开发板调用文心一言节点,最终将大模型输出的结果进行语音合成实现端侧播报。


云端服务接入文心一言

1、创建应用

登录LSplatform,创建新应用

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_03


创建成功后在弹出的界面进入应用编排服务。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_04


2、导入工程

  1. 下载工程示例:https://docs2.listenai.com/z/210.json
  2. 导入工程示例:选择文心一言示例.json文件导入

若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。

3、配置参数

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_05


参数说明:

  • HOST:api.baidubce.com
  • AK(Access Key)/SK(Secret Key):这里使用AK和SK鉴权调用API流程,可前往百度智能云官网创建AK与SK,详情可查看百度官方文档
  • Model:这里提供ENRIE-3.5-8K/ENRIE-4.0-Turbo-8K-Preview可选择,若要更换其他模型,可自行添加。
  • Stream:是否流式返回

4、部署验证

在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用文心一言。

  • 部署成功后关闭当前编排服务

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_06


  • 重启应用


手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_07


  • 测试接口

重启应用后,再次点开【编排应用】,点击时间戳(注入节点),会触发一次文心一言子流程调用,标记2的红框中输出类似日志即代表成功建立链接。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_08


  • 打开web验证页面

回到【我的应用】,双击聆思CSK6_文心一言应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置,该配置页包含测试地址和访问密码。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_09


  • 访问web验证页面链接,在打开的web页即可与文心一言对话



大模型开发板接入文心一言

云端接入文心一言成功后,要想在聆思CSK6大模型开发板上进行语音交互,需要把对接了文心一言的云端服务跟指定开发板绑定。

1、创建产品

在产品管理模块点击新建产品按钮,并按要求填写你的产品名称。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_10


2、云端应用和云端产品信息绑定

配置你需要调用的大模型应用,完成配置后,用户即可体验文心一言与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_11



3、云端应用设备列表加入硬件设备ID

读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。

读取方式:

cskburn desktop是一款聆思推出的桌面烧录工具,下载地址(https://docs2.listenai.com/x/oo2_KzYFd)打开软件后

1.点击串口下拉框,选择连接开发套件后识别到的串口编号;

2.点击获取信息

3.得到设备ID

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_12


加入设备列表

聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_13



4、CSK6开发板设备端写入云端产品服务配置

云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。

写入方式:

使用数据线连接开发板 DAP_USB 接口后,打开聆思在线串口终端,选择对应的串口设 备进行连接,波特率默认115200,完成配置后点击连接按钮。

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_14


通过aiui set product_id 和aiui set secret_id指令可以分别配置开发板接入的大模型应用

aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

product_id和product_secret 可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的

手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_15


手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型_开发板_16


  • 语音交互

用小美小美唤醒,并提问你是谁,语音回复它是文心一言即可验证成功。至此,可以确认文心一言接入成功。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU








标签:模型,聆思,开发板,文心,应用,教你用,云端
From: https://blog.51cto.com/u_15947017/11917150

相关文章

  • 手把手教你用聆思CSK6大模型开发板接入Kimi
    前言多模态交互离不开硬件载体,近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型,能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型,这个是必须支持的。但由于各家接口和数据格式不一样,有些朋友直接参考chatgpt的方式没有走通,因此本篇以聆思CSK6......
  • 媲美Flux pro! Ideogram 发布了 2.0 图像生成模型, 照片级真实感和高质量文本渲染!
    Ideogram发布了2.0模型,图像生成质量大幅提高,产品易用性改善,文字生成能力也提升许多。Ideogram2.0在图像快速对齐、照片级真实感和文本渲染质量方面取得了显著进步。人工评估一致认为Ideogram2.0比FluxPro和DALL·E3有了显著改进。尽管我们在图像质量方面有所改进,但......
  • 字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片!
    2024年8月26日,字节开源了FLUXDev的HaperSDLora。只需要8步或者16步就可以用FLUX生成图片,大幅减少FLUX的生成时间。建议LoRA比例约为0.125,该比例可适应训练和指导,比例可保持在3.5。较低步骤的LoRA即将推出。大家可以点击下面文章链接,文章包含模型下载链......
  • 回归树模型 0基础小白也能懂(附代码)
    回归树模型0基础小白也能懂(附代码)啥是回归树模型大家在前面的部分学习到了使用决策树进行分类,实际决策树也可以用作回归任务,我们叫作回归树。而回归树的结构还是树形结构,但是属性选择与生长方式和分类的决策树有不同。要讲回归树,我们一定会提到CART树,CART树全称Classification......
  • LLM-文心一言:线程窃取
    线程窃取,也称为工作窃取(Work-Stealing),是一种多线程和并行计算中的负载平衡策略。这种策略允许那些已经完成了自己任务的线程去“窃取”其他线程尚未完成的任务,从而尽可能均衡地利用所有可用的计算资源。以下是关于线程窃取(工作窃取)的详细解释:一、定义与原理定义:线程窃取是指当......
  • java并发 共享模型之管程 4.
    1. waitnotify1.小故事原理注:虽然 blocked 和 waiting 状态的线程都在等待,但二者有区别。waiting 状态的线程通常是因为它持有了某个对象的锁,但由于某个条件不满足而被挂起。线程在 waiting 状态中会等待其他线程通过调用 notify() 或 notifyAll() 来通知它......
  • AI大模型时代,大龄程序员如何转型突破,抢占技术高地?
    前言在信息技术迅速发展的今天,程序员作为技术的创造者和实践者,面临着前所未有的挑战。一方面,技术的迭代速度越来越快,传统项目的生命周期缩短,另一方面,随着人工智能(AI)尤其是大模型技术的兴起,许多程序员发现自己需要不断学习新的技能才能跟上时代的步伐。这种持续的技术更新换代给程序......
  • Meta Llama模型下载量突破3.5亿次
    ......
  • LoRA大模型微调的利器
    LoRA模型是小型的StableDiffusion模型,它们对checkpoint模型进行微小的调整。它们的体积通常是检查点模型的10到100分之一。因为体积小,效果好,所以lora模型的使用程度比较高。这是一篇面向从未使用过LoRA模型的初学者的教程。你将了解LoRA模型是什么,在哪里找到它们,以及如何在AUTOM......
  • LLM大模型基础知识学习总结
    大家好,我是Edison。在这个已经被大模型包围的时代,不了解一点大模型的基础知识和相关概念,可能出去聊天都接不上话。刚好近期我也一直在用GPT和GitHubCopilot,也刚好对这些基础知识很感兴趣,于是学习了一下,做了如下的整理总结,分享与你!一句话描述GPTGPT:GenerativePre-TrainingTra......