首页 > 其他分享 >基于大语言模型的 Zotero 论文翻译方案

基于大语言模型的 Zotero 论文翻译方案

时间:2024-07-21 18:42:34浏览次数:8  
标签:翻译 平台 模型 论文 API OpenAI 免费 Zotero

前言

今年不少国产大模型在打价格战,有些小模型甚至免费提供 API 使用。gpt-4o-mini 的推出更是击穿了大模型 API 的底价。未来预计会出现更强大、更便宜的模型。

笔者使用 Zotero 的论文翻译插件 zotero-pdf-translate 也有一段时间了,但长期以来一直使用 Google 提供的接口。众所周知大语言模型的翻译能力已经显著超越了传统机器翻译,因此这两天调查了一下大模型的翻译方案,现在把总结写在这里。

关于 zotero-pdf-translate 插件

该插件的完整文档可以查看 GitHub。功能其实很简单,用 Zotero 内置的 PDF 阅读器打开 PDF 后,选中词或段落即可自动触发翻译。可以在 Zotero 设置中调整翻译接口。传统的机器翻译我们不讨论,仅集中讨论该插件的“GPT”接口。

该插件有适用于 Zotero 6 和 Zotero 7 的两个版本。由于目前 Zotero 7 还在测试,我使用的一直是 Zotero 6。在 6 版本中,zotero-pdf-translate 插件的GPT接口仅支持自定义接口(即 API URL)、密钥和温度,唯独不支持自定义模型,默认的模型我记得是 GPT-3.5-Turbo 且不可修改。据说 7 是可以修改的。

随后在插件的 GitHub issue 中了解到 Zotero 6 可以直接在高级设置中修改模型:见此处。下面介绍一下具体步骤。

打开 Zotero,点击菜单栏“编辑”-“首选项”,选择“高级”选项卡。

img

点击“高级设置”-“编辑器”按钮。首次打开时,Zotero 可能会弹出警告,忽略即可。然后搜索“gptModel”,双击图示的行,即可编辑模型。

img

可以看到我这里已经改过了。

img

至于其他的 API URL、温度、密钥这些,都可以在“翻译”选项卡中轻松修改。

这样一来,实际上该插件就能支持所有 OpenAI 风格的 API 了,也能支持各种中转商了。可选的模型范围一下变得大了许多,

关于大模型 API 供应商的挑选

这一节可能才是本文的重点。我将分成以下 3 种类型来介绍一下目前的 API 供应商的情况。目前大模型正火,受到个人视野限制,本文涵盖的供应商可能只是一小部分。

大模型厂商自营平台

这里还要分成两种情况:国外的厂商和国内的厂商。

国外

OpenAI 官方的没了解过,但是听说 OpenAI 现在对 API 调用也开始查 IP 了,节点不对的话可能会封号。

Google 的 Gemini 倒是可以免费用:见 https://ai.google.dev/pricing

到底是财大气粗,是真的免费,但是有比较严格的请求频率限制,对话可能堪堪够用,并发请求基本上就没希望了。

Google 是自有 SDK,不支持 OpenAI 风格的 API。当然通过一些中转程序还是可以实现的,但是那有点麻烦了。

但是,经过测试,目前主推的 Gemini-1.5-Flash 的英译中效果还不如开源的 Qwen2-7B-Instruct,个人不是很推荐使用。如果是英文内容可以尝试。

另外经实测,Google 的大模型服务在国内无法直连。

国内

国内的只深入看了一下阿里云的:https://dashscope.console.aliyun.com/overview

目前阿里云的这个大模型平台是以阿里的(闭源)通义千问系列为主,同时还引入了一些开源的模型,比如(开源版)Qwen、Llama3、百川、ChatGLM 等。

新用户(包括阿里云现有用户但未开通大模型服务的)开通大模型服务后会给几乎每个模型都赠送 1M Token 的免费额度,可惜期限只有 30 天,我在对比 API 供应商时该免费额度已经过期了。该平台的模型都是先用后付,调用产生的账单可以在 此处 查看,调用记录会延迟大约一个小时。消耗的就是当前阿里云账号的余额。阿里云余额可以通过支付宝或银联充值,充值金额没有门槛,1 分也能充。余额可以随时提现。

这里放一些定价的链接:(闭源)通义千问 | (开源)Qwen | (开源)百川 | (开源)ChatGLM
里面有一些特别小的模型是免费的,但是特别小的模型的效果没有保障,我在尝试使用 1.5B 大小的 Qwen2 时它甚至直接把英文内容重新叙述了一遍。

阿里云的这个平台有自己的 SDK,但也兼容 OpenAI 风格的 API,因此可以用于 zotero-pdf-translate。

此外还看了一下百度的平台,但是貌似不支持 OpenAI 风格的 API。

总结:国外平台门槛很高。Google 可以免费用,但中文能力一般。国内平台阿里云是做的比较好的。别的没细看。

  • 模型数量:一般
  • 能否直连:国内平台显然都可以
  • 延迟:较小
  • 定价:一般。大降价之后还好。
  • 是否有免费额度:有,但会过期。
  • API:自有 SDK 和兼容 OpenAI 的 API
  • 充值是否方便:方便
  • 是否支持退款:是
  • 估计可靠性:极佳

OpenAI 中转

众所周知国内是无法直连 OpenAI 的官方 API 的,所以出现了很多中转平台。一些中转平台还会接入 Claude、Gemini 这些模型,甚至还会接入一些自行部署的开源模型。这里列出自己发现并实际注册过的两个中转平台。

https://www.gptapi.us/ 基本上只有一些常见的国外模型,价格会比官方的模型便宜不少,注册送 0.2 美元的试用额度。有两个问题:

  1. 优惠力度大的模型不能并发访问,具体 RPM 是多少貌似没有写出来,估计不会很多。支持并发访问的版本价格要贵一些(仍然低于官方价格)。
  2. 充值是 50 元起步,太贵了。虽然号称绝不跑路,但是 50 元额度按正常使用频率来说,能用很久了。

https://aihubmix.com/ 这是我使用的另一个翻译软件 pot 所推荐的中转平台。平台是按美元计费的,但充值会有一个汇率上的折扣(1$=6.3¥)。目前还没有实际调用,充值 1 美元起步,也比较合理。遗憾的是没有免费额度供试用。

  • 这个平台还接入了一些开源的模型。
  • 这个平台价格和官方保持一致,也就是说 GPT 系列、Claude 系列会比官方稍微便宜一点(便宜在汇率的折扣上),但其他平台(例如国产的闭源通义千问)会稍微贵一些。

    以该平台的 Qwen-Turbo 模型为例,该模型在平台的价格是 $0.36/1M 输入 Token,$1.08/1M 输出 Token,相同的模型在阿里云官方平台的定价,按照优惠汇率换算到美元是 $0.32/1M 输入 Token,$0.95/1M 输入 Token。

总结:

  • 模型数量:视平台而定,主要是国外闭源大模型的中转。
  • 能否直连:一般都可以,这也是中转平台解决的主要痛点之一。
  • 延迟:视平台而定,一般会比国内的官方平台慢一些。
  • 定价:比较便宜
  • 是否有免费额度:视平台而定。
  • API:OpenAI 风格的 API
  • 充值是否方便:方便
  • 是否支持退款:一般都不支持
    • 估计可靠性:一般

OpenRouter

可能是目前最强的中转平台了。https://openrouter.ai/

可以直连,模型非常多,包括各大闭源商业模型和开源模型,文档齐全,看起来服务应该也会非常稳定。

有大约 $1 的试用额度。模型定价和官方的平台基本一致,少部分模型会有一定的优惠,最重要的是该平台对一些 7B 左右规模的模型提供免费服务,免费模型的请求频率限制是每分钟 20 次、每天 200 次。

支持 OpenAI 风格的 API。

充值上支持信用卡,不支持借记卡。支持银联。

总结:

  • 模型数量:非常多
  • 能否直连:可以
  • 延迟:较好。实测和阿里云的速度差不多。
  • 定价:一般。但有免费模型,且参数规模比国内的平台大。
  • 是否有免费额度:是
  • API:OpenAI 风格的 API
  • 充值是否方便:不是很方便,但还好(能支持银联已经很不容易,但可能不是所有人都有信用卡)
  • 是否支持退款:不知道,因为没充过。
  • 估计可靠性:较好

最终方案

使用 OpenRouter 提供的免费 Qwen2-7B-Instruct 模型。

具体使用方法:注册一个 OpenRouter 账号,然后新建一个 API Key。在 zotero-pdf-translate 插件的“GPT”接口设置中,填入 API Key,接口填 https://openrouter.ai/api/v1/chat/completions,模型根据前文的方法设为 qwen/qwen-2-7b-instruct:free,温度保持默认即可。

总结

  • 如果用量不大,非并发请求,可以用 OpenRouter 的免费模型。
  • 如果要付费使用的话,比较推荐用中转站的 GPT-4o-mini,价格还算便宜。
  • 如果是长文输入、短输出的场景,可以考虑用通义千问专为此场景定制的 qwen-long,价格很便宜。
  • 如果是英文内容,可以考虑 Google 的 Gemini,可以免费用。

标签:翻译,平台,模型,论文,API,OpenAI,免费,Zotero
From: https://www.cnblogs.com/eslzzyl/p/18314797

相关文章

  • 脑科学基础--课程论文 --探索大脑的奥秘:认知功能与神经机制
    探索大脑的奥秘:认知功能与神经机制[摘要]本研究旨在深入探索大脑在执行工作记忆和注意力控制任务时的认知功能与神经机制。随着神经成像技术的发展,我们对大脑的认识已经达到了前所未有的深度,但大脑如何在不同情境下灵活调整其活动以适应复杂多变的环境,仍然是一个未解之谜。本......
  • Java计算机毕业设计家庭装修套餐消费管理(开题报告+源码+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着人们生活水平的提高,家庭装修已成为现代家庭生活中不可或缺的一部分。然而,传统的家庭装修过程往往繁琐复杂,涉及多个环节和众多参与者,导致信息不对......
  • Java计算机毕业设计老来福平台(开题报告+源码+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着老龄化社会的加速到来,如何为老年人提供高质量、个性化的养老服务成为亟待解决的问题。传统的养老模式已难以满足老年人日益增长的需求,特别是在信......
  • Java计算机毕业设计浪漫屋婚纱影楼管理系统(开题报告+源码+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着婚礼文化的日益丰富与个性化需求的不断增长,婚纱影楼行业迎来了前所未有的发展机遇与挑战。传统的人工管理模式已难以满足高效、精准、个性化的服......
  • 免费分享一套SpringBoot+Vue高校心理咨询(心理教育辅导)系统【论文+源码+SQL脚本】,帅
    ​大家好,我是java1234_小锋老师,看到一个不错的SpringBoot+Vue高校心理咨询(心理教育辅导)系统,分享下哈。​项目视频演示【免费】SpringBoot+Vue高校心理咨询(心理教育辅导)系统Java毕业设计_哔哩哔哩_bilibili项目介绍随着Internet技术的发展,心理教育辅导系统应运而生,心......
  • 如何在 8 个 GPU 上并行化 Transformer 模型进行机器翻译?
    我正在尝试使用变压器模型以几乎与原始文章相同的方式执行机器翻译。虽然该模型运行得相当好,但它需要更多的计算资源。为了解决这个问题,我在一台具有8个GPU处理器的计算机上运行了该模型,但我缺乏这方面的经验。我尝试对并行化进行必要的调整:transformer=nn.DataParallel......
  • MCCM论文阅读笔记
    ImprovingNewsRecommendationwithChannel-WiseDynamicRepresentationsandContrastiveUserModeling论文阅读笔记Abstract存在的问题:​ 现有方法大多使用CNN和Self-Attention等深度学习模型从新闻标题和摘要中提取文本特征,生成特定的新闻向量。然而,基于CNN的方法......
  • Java计算机毕业设计垃圾分类回收系统的设计与实现(开题报告+源码+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着城市化进程的加速,生活垃圾产生量急剧增加,垃圾分类回收成为解决城市环境问题的关键一环。传统的垃圾处理方式已难以满足可持续发展的需求,垃圾围城......
  • Java计算机毕业设计农产品交易平台app(开题报告+源码+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着农业现代化进程的加快和互联网技术的普及,农产品交易方式正经历着深刻的变革。传统农产品市场面临着信息不对称、流通环节多、交易效率低等问题,严......
  • 【论文阅读笔记】大模型微调——《LoRA: Low-Rank Adaptation of Large Language Mode
    论文地址:https://arxiv.org/abs/2106.09685代码地址:https://github.com/microsoft/LoRA目录IntroductionMotivationMethodExperimentsFurtherdiscusion感想IntroductionMotivationMethodExperimentsFurtherdiscusion个人认为本篇的精髓所在,能够引用5k+的原因之一感......