首页 > 其他分享 >最佳实践:在AvaloniaChat中接入SiliconCloud

最佳实践:在AvaloniaChat中接入SiliconCloud

时间:2024-08-18 18:22:51浏览次数:12  
标签:Qwen2 接入 模型 翻译 Qwen Instruct AvaloniaChat SiliconCloud

AvaloniaChat介绍

AvaloniaChat是一个基于大语言模型用于翻译的简单应用。在看英文文献的过程中,比较喜欢对照着翻译看,因此希望一边是英文一边是中文,虽然某些软件已经自带了翻译功能,但还是喜欢大语言模型的翻译,但每次都要将英文复制粘贴过去还要自己手动添加prompt,还无法对照着看,因此自己基于Avalonia与Semantic Kernel开发了这款解决自己这个需求的软件,开源出来每个人都可以免费使用,希望能帮助到有同样需求的人。

image-20240816111809248

GitHub地址:https://github.com/Ming-jiayou/AvaloniaChat

使用指南

安装

访问GitHub地址:https://github.com/Ming-jiayou/AvaloniaChat

注意到Releases这里:

image-20240816093724343

点击AvaloniaChat-v0.0.1-win-x64.zip就会在下载了:

image-20240816093952249

解压之后,打开文件夹,如下所示:

image-20240816094206770

使用

现在只需简单编辑一下appsettings.json文件,该文件用于配置你所使用的大语言模型。

以硅基流动为例,也最推荐硅基流动,Qwen/Qwen2-7B-Instruct是免费的,并且推理速度很快。

image-20240816111949255

注册硅基流动之后,创建一个Api Key,复制这个Api Key:

image-20240816094640258

打开appsettings.json文件,如果使用的是硅基流动,只需填入Api Key即可:

image-20240816094800525

现在配置就完成了,点击exe文件即可使用:

image-20240816094827621

问AI问题:

image-20240816095611412

个人的主要使用场景

在看英文文献的过程中,比较喜欢对照着翻译看,因此希望一边是英文一边是中文,虽然某些软件已经自带了翻译功能,但还是喜欢大语言模型的翻译,但每次都要将英文复制粘贴过去还要自己手动添加prompt,还无法对照着看,因此自己基于Avalonia与Semantic Kernel开发了这款解决自己这个需求的软件,开源出来每个人都可以免费使用,希望能帮助到有同样需求的人。

英译中:

image-20240816100534403

中译英:

在这里插入图片描述

image-20240816100742362

一般注册之后,都会送一些额度,因此为了更好的翻译质量,可以更换到收费的模型。

模型名称可以在这里看:

image-20240816112338058

地址:https://docs.siliconflow.cn/reference/chat-completions-3

这里可以更换成一个更强的模型:Qwen/Qwen2-72B-Instruct

appsettings.json文件改成如下所示:

{
  "OpenAI": {
    "Key": "your key",
    "Endpoint": "https://api.siliconflow.cn",
    "ChatModel": "Qwen/Qwen2-72B-Instruct"
  }
}

重新运行软件:

image-20240816113139971

这是Qwen/Qwen2-72B-Instruct的效果,对比Qwen/Qwen2-7B-Instruct应该速度会慢一点,但翻译质量会高一点。同一段文本,我再用Qwen/Qwen2-7B-Instruct试试效果:

image-20240816113723225

可以根据自己的需求灵活调整。

我推荐硅基流动的理由主要有以下几点:

  1. 提供多个领先的开源生文、生图和代码模型。对于这些模型,您只需按使用量付费。刚注册会送一些额度,够个人开发者用一段时间的了。
  2. 提供一些免费的模型,SiliconCloud提供了多款免费模型,嵌入与文生图暂时是免费的。
  3. 推理速度很快。

更多信息可以看SiliconCloud官网:https://siliconflow.cn/zh-cn/siliconcloud

标签:Qwen2,接入,模型,翻译,Qwen,Instruct,AvaloniaChat,SiliconCloud
From: https://blog.csdn.net/mingupup/article/details/141259918

相关文章

  • AvaloniaChat—从源码构建指南
    AvaloniaChat介绍一个使用大型语言模型进行翻译的简单应用。我自己的主要使用场景在看英文文献的过程中,比较喜欢对照着翻译看,因此希望一边是英文一边是中文,虽然某些软件已经自带了翻译功能,但还是喜欢大语言模型的翻译,但每次都要将英文复制粘贴过去还要自己手动添加prompt,还无法......
  • 一分钟接入英智Mistral Large 2407 123B服务
    英智MistralLarge2407123B服务目录目录免费API_KEY获取方式快速使用在编程语言里使用ShellPythonNode.js在第三方应用里使用在NextChat里使用Q&A404NotFound参考免费API_KEY获取方式将您的“API_KEY”(申请服务的免费套餐后可获取)......
  • AvaloniaChat:一个基于大语言模型用于翻译的简单应用
    简介一个使用大型语言模型进行翻译的简单应用。Asimpleapplicationusingalargelanguagemodelfortranslation.使用指南访问GitHub地址:https://github.com/Ming-jiayou/AvaloniaChat注意到Releases这里:点击AvaloniaChat-v0.0.1-win-x64.zip就会在下载了:解压之后,打......
  • LiveGBS流媒体平台GB/T28181功能-获取GB28181接入的海康大华宇视华为摄像头硬件NVR设
    @目录1、背景2、视频流媒体集成2.1、页面集成2.1、视频流地址播放集成3、页面集成说明3.1、直播分享页集成3.1.1、查看通道3.1.2、开启分享3.1.3、分享页面传参3.1.4、分享页面播放3.2、时间轴回放分享页集成3.3、电子地图分享页集成4、视频流地址播放集成说明4.1、获取直播流地......
  • 兼容并蓄,高效集成:EasyCVR视频综合接入能力助力多元化项目需求
    随着视频技术的不断进步,视频监控、视频直播、执法记录仪、语音可视对讲、无人机等视频资源的应用场景日益丰富。这些视频资源不仅在数量上快速增长,而且在质量、格式、编码标准等方面也呈现出多样化的特点。因此,为了有效整合这些资源,实现统一管理和统一输出,视频综合接入能力成为了......
  • 抖音私信消息接入客服系统
    抖音是当今社交媒体中最受欢迎的应用之一,已经吸引了数百万用户。近年来,许多公司开始在抖音上开展营销活动,以吸引更多的用户。与此同时,他们也在收到越来越多的抖音私信。在应对这种情况时,许多公司都面临一个问题:如何更有效地处理这些私信。这就是为什么抖音私信消息接入客服系统变......
  • 安防监控综合平台EasyCVR接入海康私有协议EHOME显示失败是什么原因?
    安防监控/视频综合管理平台/视频集中存储/磁盘阵列EasyCVR视频汇聚平台,支持多种视频格式和编码方式(H.264/H.265),能够轻松对接各类前端监控设备,实现视频流的统一接入与集中管理。安防监控EasyCVR平台支持多种流媒体传输协议,包括国标GB/T28181协议、RTMP、RTSP/ONVIF、部标JT808协议......
  • grom接入Prometheus,grafana
    在同级目录下分别创建docker-compose.yml,与prometheus.yml配置文件version:'3.8'services:prometheus:image:prom/prometheuscontainer_name:prometheusports:-"9090:9090"#PrometheusWebUI端口volumes:-./promethe......
  • 支付宝当面付快速接入网页h5
    支付宝当面付快速接入网页h5第一步开放平台申请网页应用,下载支付宝开放平台密钥工具V2.0.3选择生成【证书】【RSA2】应用开发设置【接口加签方式(密钥/证书)】上传,私钥在本地已经生成,其他3个crt应用申请上传CSR文件.csr后下载即可|appPrivateKey:appPublicCe......
  • 使用SiliconCloud尝试GraphRag——以《三国演义》为例(手把手教程,适合小白)
    使用SiliconCloud尝试GraphRag——以《三国演义》为例(手把手教程,适合小白)使用OpenAI模型体验GraphRag——以《边城》为例在使用SiliconCloud之前,先使用OpenAI的模型看看GraphRag的效果。GraphRAG是一种基于AI的内容理解和搜索能力,利用LLMs,解析数据以创建知识图谱,并对用户......