首页 > 其他分享 >chattts最强对手-实时流库PaddleSpeech的最新落地经验总结(不看后悔)

chattts最强对手-实时流库PaddleSpeech的最新落地经验总结(不看后悔)

时间:2024-06-07 09:01:34浏览次数:13  
标签:chattts PaddleSpeech paddlespeech python 语音 流库 install pip 安装

PaddleSpeech 是由百度飞桨(PaddlePaddle)团队开发的一个开源的语音技术框架,支持音频分类、语音翻译、语音识别、语音合成、声纹识别等任务,可以做到工业级端到端的流式ASR和TTS服务。开源github地址:https://github.com/PaddlePaddle/PaddleSpeech。

一、环境安装

1、python环境:为了兼容paddlepaddle、paddleaudio等库的依赖环境,建议安装python版本在3.8以上3.10以下。

2、conda环境依赖安装:为了安装支持paddlespeech以及c++的环境,我们首先执行以下命令:

conda install -y -c conda-forge sox libsndfile swig bzip2

conda install -y -c gcc_linux-64=8.4.0 gxx_linux-64=8.4.0

3、pip包依赖安装:需要安装paddlepaddle、pytest-runner以及paddlespeech。

paddle根据不同硬件的支持安装对应的版本,建议安装2.5.1版本,cpu版本命令为:

pip install paddlepaddle==2.5.1 -i https://mirror.baidu.com/pypi/simple

而gpu版本命令为:

pip install paddlepaddle-gpu==2.5.1 -i https://mirror.baidu.com/pypi/simple

为了paddlespeech以及后续开发测试代码,需要安装pytest-runner库,命令如下:

pip install pytest-runner

最后,我们安装paddlespeech,这个会有两种方式,如果为了快速使用可以直接pip安装,如果为了更深入的开发并有修改源代码的需求,我们可以通过编译源代码进行安装。

paddlespeech的pip安装命令如下:

pip install paddlespeech==2.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

paddlespeech的源代码安装命令如下:

git clone https://github.com/PaddlePaddle/PaddleSpeech.git

cd PaddleSpeech

pip install .  -i https://pypi.tuna.tsinghua.edu.cn/simple

、功能测试

为了验证paddlespeech功能是否安装成功,我们可以通过测试语音识别、语音合成、声音分类等功能进行验证。Paddlespeech官网推荐会有命令行和python接口调用方法,这里都以中文语言测试为例。

通过lang参数决定用哪个语言,zh表示中文,en表示英文,mix表示中英混合。

1、ASR语音识别功能测试

(1)命令行方式:

paddlespeech asr --lang zh --input test.wav

(2)python接口调用方式:

from paddlespeech.cli.asr.infer import ASRExecutor

asr = ASRExecutor()

result = asr(audio_file="test.wav")

print(result)

2、TTS语音合成功能测试

(1)命令行方式:

paddlespeech tts --input "你好,这是语音合成功能测试的示例。" --output output.wav

(2)python接口调用方式:

from paddlespeech.cli.tts.infer import TTSExecutor

tts = TTSExecutor()

tts(text="你好,这是语音合成功能测试的示例。", output="output.wav")

、问题总结

paddlespeech库的环境搭建并不容易,看官网讨论还有人搭建了几天才搭建好,本人第一次搭建也搭建了好几个小时,因为官方已经不再怎么维护了,还多安装问题我们需要自己根据遇到的问题进行自行解决。

我们这里会总结一下安装过程中所遇到的问题,如果大家搭建过程还遇到其他问题,大家都可以留言进行讨论。

1、运行paddlespeech_server服务报错ModuleNotFoundError: No module named 'paddle.nn.layer.layers'。

第一,python版本要安装python3.8到3.10,太高太低都不太兼容安装paddlespeech的兼容库。

第二,paddlepaddle版本要安装2.5.1以上,paddlespeech要安装1.4.1以上,这个兼容性问题才能解决。

2、遇到linux报错glibc库报错ImportError: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32' not found。

虽然可以升级glibc库也可以解决,但可能会导致其他linux环境库出问题,建议还是修改opencc版本为0.1.6,通过命令安装:pip install opencc-python-reimplemented==0.1.6。

3、修改speed、volume这些参数的时候会报错,xmalloc: out of memory。

没有安装相应的库,首先linux需要安装相应库,执行命令:apt-get install sox libsox-dev libsox-fmt-all

然后pip方式安装,命令:pip install soxbindings。

4、执行流式的asr或tts服务时候,执行命令报错。

要确定protocol协议方式是一致明确的,要确定是websocket的还是http的。

欢迎关注公众号:杰哥新技术
 

标签:chattts,PaddleSpeech,paddlespeech,python,语音,流库,install,pip,安装
From: https://blog.csdn.net/m0_71062934/article/details/139510373

相关文章

  • 突破开源天花板!最强文本转语音工具ChatTTS:对话式高可控的语音合成模型
    ChatTTS一夜爆火,极速出圈,3天就斩获9k的Star量,截止2024.06.04,已经19.3k的star,极速接近GPT-soVITs当天的26.2k的star数。什么是ChatTTS?TTS全称:TextToSpeech(也就是文本转语音模型)。ChatTTS是专为对话场景设计的语音生成模型,特别适用于大型语言模型(LLM......
  • 星海算力云:【ChatTTS】 无需部署,一键云启动
    镜像介绍ChatTTS:革新对话式文本转语音技术ChatTTS是由2noise团队开发的一款专为对话场景设计的文本转语音(TTS)模型。它不仅支持英文和中文两种语言,而且经过了超过10万小时的中英文数据训练,表现出色。ChatTTS的亮点在于其对话式TTS的优化,它能够生成自然流畅的语音并支持多......
  • 【手把手教学】最新ChatTTS语音合成项目使用指南AI变声器chatTTS教程来了!5S夺走你的卧
    像这种充满语气充满感情色彩的人声,再搭配一段自拍图,是由最近大火的AI项目chatTTS生成的,ChatTTS是专门为对话场景设计的文本转语音模型,例如LLM助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。在HuggingFace中开源的版本为4万小......
  • 最像真人的语音转文本ChatTTS本地部署+Colab部署+跳坑指南
    1.WindowsChatTTSUI:https://github.com/jianchang512/ChatTTS-ui/releases/tag/v0.85v0.85完整包下载(2.7G含模型)百度网盘下载: https://pan.baidu.com/s/1RntYLT6UNd8_ew2osy8d1A?pwd=by14123网盘下载:https://www.123pan.com/s/03Sxjv-oEyB3.htmlhuggingfacelink: h......
  • ChatTTS 如何安装可视化操作
    可视化一键安装下载地址:百度网盘DownloadfromGitHub从GitHub下载代码。gitclonehttps://github.com/2noise/ChatTTS下载地址InstallDependencies在开始之前,请确保已安装必要的软件包。如果您尚未安装它们,可以使用pip进行安装:pipinstalltorchChatTTSIm......
  • 一键云部署:资源编排 ROS 轻松部署文本转语音系统 ChatTTS
    ChatTTS是专门为对话场景设计的文本转语音模型,例如LLM助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。ChatTTSwebUI&API为ChatTTS提供了网页界面和API服务。资源编排服务(ResourceOrchestrationService,ROS)是阿里云提供基......
  • 【部署ChatTTS】
    部署ChatTTS出错WARNING:ChatTTS.core:PackageWeTextProcessingnotfound!加载模型时报错生成时报错安装时报错(没解决)安装anaconda解决加载模型时报错加载模型chat=ChatTTS.Chat()chat.load_models()报错Anerrorhappenedwhiletryingtolocatethefil......
  • ChatTTS,语气韵律媲美真人的开源TTS模型,文字转语音界的新魁首,对标微软Azure-tts
    前两天2noise团队开源了ChatTTS项目,并且释出了相关的音色模型权重,效果确实非常惊艳,让人一听难忘,即使摆在微软的商业级项目Azure-tts面前,也是毫不逊色的。ChatTTS是专门为对话场景设计的文本转语音模型,例如大语言助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万......
  • Google使用AI改进了 Sheets;开源视觉语言模型llama3v;开源情绪语音模型ChatTTS;
    ✨1:GooglehasimprovedSheetswithAI.Google使用AI改进了Sheets您可以使用Gemini处理您的数据并将其变成老师。优化您的数据Gemini了解您的数据并提出改进建议。例如,它可以将重复数据转换为更实用的下拉框。解释数据通过单击双子座图标,您可以自动获......
  • 飞桨paddlespeech语音唤醒推理C INT8 定点实现
    前面的文章(飞桨paddlespeech语音唤醒推理C定点实现)讲了INT16的定点实现。因为目前商用的语音唤醒方案推理几乎都是INT8的定点实现,于是我又做了INT8的定点实现。 实现前做了一番调研。量化主要包括权重值量化和激活值量化。权重值由于较小且均匀,还是用最大值非饱和量化。最大值......