首页 > 其他分享 >一键接入大模型:One-Api本地安装配置实操

一键接入大模型:One-Api本地安装配置实操

时间:2024-05-07 09:26:01浏览次数:20  
标签:模型 一键 api 星火 实操 Api OpenAI 3000

前言

最近准备学习一下 Semantic Kernel, OpenAIApi 申请麻烦,所以想通过 One-api 对接一下国内的在线大模型,先熟悉一下 Semantic Kernel 的基本用法,本篇文章重点记录一下OneApi安装配置的过程。

讯飞星火有 3.5 模型的 200w 个人免费 token,可以拿来学习。

讯飞星火申请链接

什么是 One-Api?

通过标准的 OpenAI API 格式访问所有的大模型

image

支持多种大模型:

  • OpenAI ChatGPT 系列模型(支持 Azure OpenAI API)
  • Anthropic Claude 系列模型 (支持 AWS Claude)
  • Google PaLM2/Gemini 系列模型
  • Mistral 系列模型
  • 百度文心一言系列模型
  • 阿里通义千问系列模型
  • 讯飞星火认知大模型
  • 智谱 ChatGLM 系列模型
  • 360 智脑
  • 腾讯混元大模型
  • Moonshot AI
  • 百川大模型
  • 字节云雀大模型 (WIP)
  • MINIMAX
  • Groq
  • Ollama
  • 零一万物
  • 阶跃星辰
  • Coze
  • Cohere
  • DeepSeek
  • Cloudflare Workers AI
  • DeepL

one-api github repo

本地 Docker Destop 安装 One-Api

  • 先拉取 one-api 镜像
docker pull justsong/one-api

使用 SQLite 的部署命令:

  • 启动容器 默认宿主机端口为 3000
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v C:/LLM/OneApi-V-Data:/data justsong/one-api

因为我的宿主机是 Windows 的操作系统所以数据卷映射的宿主机盘需要注意是带 Windows 盘符

image

one-api 配置界面

浏览器打开http://localhost:3000/

  • 默认 root 账号
    one-api 提供了开箱即用的功能,有一个默认的root账号,密码是123456

image

第一次登录后需要修改密码。

配置渠道

  • 配置讯飞星火 3.5 模型!

image

  • 查看渠道列表

image

密钥这个地方需要注意格式:APPID|APISecret|APIKey

  • 申请令牌

image

image

拿到密钥就可以在我们项目中以 OpenAI 格式去请求我们的大模型接口

测试

  • 在接口测试工具先看一下效果

地址

http://localhost:3000/v1/chat/completions

请求头

Authorization:Bearer {OneApiToken}
  • 接口管理工具查看效果

image

接口入参

{
  "model": "SparkDesk-v3.5",
  "messages": [
    {
      "role": "user",
      "content": "给我讲个笑话吧。"
    }
  ],
  "temperature": 0.7
}

接口回参

{
  "id": "chatcmpl-04025f1484c54770a8d854de360fd06e",
  "object": "chat.completion",
  "created": 1715000959,
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "当然可以,这是一个我最近听到的笑话:\n\n有一天,一只猫走进了一个酒吧,然后走到吧台前坐下,对酒保说:“我要一杯牛奶。”\n\n酒保惊讶地看着猫,然后说:“你是我见过的第一只会说话的猫。”\n\n猫看着酒保,回答说:“考虑到你的服务速度,我也没什么好惊讶的。”"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 6,
    "completion_tokens": 75,
    "total_tokens": 81
  }
}

最后

到现在为止我们的 One-Api 对接讯飞星火已经成功了,后面就可以愉快的进入 Semantic Kernel 入门学习的教程啦,社区内也有大佬提供了星火大模型的 SDK(Sdcb.SparkDesk)通过SK的 CustomLLM 实现ITextGenerationService等接口也可以愉快的使用SK当然这也是我们后面要学习的内容。

参考文献

实战教学:用 Semantic Kernel 框架集成腾讯混元大模型应用

标签:模型,一键,api,星火,实操,Api,OpenAI,3000
From: https://www.cnblogs.com/ruipeng/p/18176042

相关文章

  • 第二天:设计数据库和服务器API
    第二天:设计数据库和服务器API确定统计分析功能的要求,包括计算护工工时、服务患者数量等统计指标。定义家属监控功能,包括家属账号注册、查看护工工作状态和服务记录等功能。确定紧急救援功能,包括触发紧急求助、联系紧急联系人或机构等功能。设计应用程序的用户界面(UI)和用户体......
  • 【 攻防实操系列+漏洞复现 】-- Jinja2 SSTI模板注入
    框架:python---Flask描述:Flask是一个使用Python编写的轻量级Web应用框架。其WSGI工具箱采用Werkzeug,模板引擎则使用Jinja2漏洞复现:Jinja2SSTI模板注入使用vulhub靶场,启动环境先进入容器看一下web服务的代码,得出参数值为name,且可控判断是否存在ssti漏洞,输入:?name={{1*9}},......
  • 路由跳转、相关api、路由守卫、路由两种工作模式
    【router基本使用(路由跳转,携带数据)】#######跳转#######-js跳转this.$router.push(路径)this.$router.push(对象)-this.$router.push({name:'路由别名'})-this.$router.push({path:'路径'})-组件跳转......
  • 通过API触发airflow的DAG任务
    背景以前编写的DAG都是通过定时触发的,当前有一个场景需要通过手动提交API来触发,这样能够在用户需要的时候,主动触发执行任务,于是就有了这篇内容的摸索。之前只知道airflow支持通过API来触发任务,但是具体如何操作是真不会,看了官方的API文档,也没找到具体方法,特别是认证这块一直没解......
  • [西湖论剑 2022]easy_api
    源码审计下载附件得war包,bandzip解压一下,审一下源码:这个没啥东西。反序列化入口,但是访问这里是需要绕过的:其实绕过也很简单,双斜杠就绕了:web.xmlfilter绕过匹配访问(针对jetty)_jetty权限绕过-CSDN博客看lib里有啥依赖:fastjson1.2.48,这不老熟人了吗..... EXPfastjso......
  • 【详细教程】手把手教你开通YouTube官方API接口(youtube data api v3)
    一、背景调查1.1youtube介绍众所周知,youtube是目前全球最大的视频社交平台,该平台每天产生大量的视频内容,涵盖各种主题和类型,从音乐视频到教育内容,再到娱乐节目和新闻报道等。YouTube的用户群体也非常广泛,包括了各个年龄段、地区和兴趣爱好的人群。由于其庞大的用户基数和丰富的......
  • Camunda 整合SpringBoot基本Api
    代码实现:需要接口@AutowiredprivateRuntimeServiceruntimeService;@AutowiredprivateRepositoryServicerepositoryService;@AutowiredprivateTaskServicetaskService;发布流程:@GetMapping("/deploy")publicObjectdeploy(){......
  • Direct3D 11(D3D11)是Microsoft DirectX API 中的一部分,Direct3D 12(D3D12)是微软开发的一
    Direct3D11编程指南-Win32apps|MicrosoftLearn什么是Direct3D12-Win32apps|MicrosoftLearnDirect3D12编程指南-Win32apps|MicrosoftLearn你可以使用以下命令来查询系统是否支持D3D12:CopyCodedxdiag运行此命令将打开DirectX诊断工具,你可以在其中......
  • ollama + ollama web + fastapi app (langchain) demo
    ollama+ollamaweb+fastapiapp(langchain)demohttps://github.com/fanqingsong/ollama-dockerWelcometotheOllamaDockerComposeSetup!ThisprojectsimplifiesthedeploymentofOllamausingDockerCompose,makingiteasytorunOllamawithallitsd......
  • View Transitions API 使用
    ViewTransitionsAPI提供了一种机制,可以在更新DOM内容的同时,轻松地创建不同DOM状态之间的动画过渡,这是官方对他的描述,详情请看这里。下方创建好了<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="......