首页 > 其他分享 >whisper

whisper

时间:2023-09-08 16:24:39浏览次数:36  
标签:-- whisper 模型 指定 转录 Whisper

OpeanAI 推出的 Whipser 语音识别模型,离线也可以使用。它和 ChatGPT 是同门师兄弟。

whisper

Whipser 多语言语音识别模型,通过了68万小时的语音数据训练,支持99种语言,对英文的表现更是强无敌。
更重要的是,它开源免费,在电脑上就能离线使用。
地址:https://github.com/openai/whisper

在速度方面。
为应对不同的语音转录需求,Whipser 推出了 tiny、base、small、medium、large 5个档次的模型。
转录效果依次增加,但相应花费的时间也会增加。

使用方法

Whisper 使用了 Python 开发,安装后,在文件所在目录打开终端,运行 whisper audio.mp3 即可进行转录。
想要自定义设置的话,则可以在后面追加命令参数,具体包括:
whisper audio.mp3 --命令参数

--task
指定转录方式,默认使用 --task transcribe 转录模式,--task translate 则为翻译模式,目前只支持英文。

--model
指定使用模型,默认使用 --model small,Whisper 还有英文专用模型,就是在名称后加上 .en,这样速度更快。

--language
指定转录语言,默认会截取 30 秒来判断语种,但最好指定为某种语言,比如指定中文是 --language Chinese。

--device
指定硬件加速,默认使用 auto 自动选择,--device cuda 则为显卡,cpu 就是 CPU, mps 为苹果 M1 芯片。

准确性

Whisper 的音频数据只有 1/3 来自非英语,在准确性方面,Whisper 对英文的识别错误率为 4.2,中文则为 14.7。
如果转录的内容是英文,那么用 samll 模型就能保证绝大多数正确。
而如果转录的内容是中文,那么至少要用 medium 模型,才能保证绝大多数正确。
Whisper 强在多语言支持,还有超高的英语识别率。

速度对比

在转录速度方面。
飞书妙记和剪映都需要联网上传,其中剪映的速度最快,而 Whisper 的转录速度,极度依赖显卡的加持。
下面是使用显卡加速,同一段10分钟视频的速度对比。

语种支持

Whisper 支持99 种,Whisper 是外语转录的不二选择。

参考:https://www.runningcheese.com/speech-to-text

标签:--,whisper,模型,指定,转录,Whisper
From: https://www.cnblogs.com/qev211/p/17687874.html

相关文章

  • 【效率提升】手把手教你如何使用免费的 Amazon Code Whisperer 提升开发效率堪比 GitH
    说明GitHubcopilot虽然很强,但是一个月10美金的费用拿来吃个小火锅他不香吗?而身为云计算博主将向你推荐一款可以平替GitHubcopilot并且免费的支持多种编程语言的AI编程助手AmazonCodeWhisperer。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术......
  • 在VSCode上部署CodeWhisperer
    本文介绍了在代码平台VSCode上部署CodeWhisperer插件,使用AI生成相应的代码,帮助我们在日常减少代码的搜索工作0.前期准备准备一个可以收邮件的邮箱地址,本文使用126邮箱1.CodeWhisperer简介AmazonCodeWhisperer是一款由机器学习驱动的通用代码生成器,可为您实时提供代码建议......
  • 9 种方法使用 Amazon CodeWhisperer 快速构建应用
    文章作者:KrisSchultz3DSpecialistSolutionsArchitect,AmazonWebServices文章译者:郑予彬亚马逊云科技资深开发者布道师代码校验:阙铭飞亚马逊云科技大中华区解决方案研发中心解决方案架构师亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术......
  • Pycharm安装CodeWhisper插件后登录仍然不显示“Pause Auto-Suggestions”选项的解决办
    一、检查PyCharm版本建议升级到最新,AWS不支持2022.03以前的版本。二、设置插件存储库FromtheJetBrainsmainmenu,openyour Preferences menu(expand File choose Settings,forWindowsusers).Fromthe Preferences/Settings menu,choose Plugins toope......
  • 使用whisper批量生成字幕(whisper.cpp)
    前言最近发现了whisper这个语音生成字幕的本地工具,但是whisper速度不算快,然后在github上发现了whisper.cpp这个项目,执行速度更快,还可以在命令行使用,这样就可以自己定制了。命令行压缩包下载命令行下载地址:https://github.com/Const-me/Whisper/releases下载【cli.zip】,解压即......
  • 使用 Transformers 为多语种语音识别任务微调 Whisper 模型
    本文提供了一个使用HuggingFace......
  • 实用模型推荐(三)语音转文本模型:whisper
    1.开原地址:https://github.com/openai/whisper          https://github.com/guillaumekln/faster-whisper2.使用场景:语音转文字3.api封装:importosimportuvicornfromfastapiimportFastAPI,UploadFile,Filefromwhisperimportload_modelap......
  • Whisper
    Whisper是OpenAI公司开源的通用的语音识别模型。它是在包含各种音频的大型数据集上训练的,是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。它也是一个针对各种语音处理任务进行训练的Transformer序列到序列模型。Whisper执行操作的大致过程:输入的音频被分割......
  • 利用 AWS CodeWhisperer 激发孩子的编程兴趣
    我是一个程序员,也是一个父亲。工作之余我会经常和儿子聊他们小学信息技术课学习的Scratch和Kitten这两款图形化的少儿编程工具。我儿子有一次指着书房里显示器上显示的VisualStudioCode问我,“为什么我们上课用的开发界面,和爸爸你每天工作用的样子不一样?”所以我也在想......
  • 一款代码辅助工具——Amazon CodeWhisperer
    一款代码辅助工具——AmazonCodeWhisperer官方链接: https://aws.amazon.com/cn/codewhisperer/?trk=a2076b82-2c5d-475a-8b78-f22f4bb4f9a1&sc_channel=display+ads 特点免费供个人使用无限的代码建议参考跟踪50次安全扫描(每位用户每月)支持IDE工具 VS插件搜索aws插......