首页 > 系统相关 >【手把手教学】最新ChatTTS语音合成项目使用指南AI变声器chatTTS教程来了!5S夺走你的卧槽【附windows本地一键运行包】

【手把手教学】最新ChatTTS语音合成项目使用指南AI变声器chatTTS教程来了!5S夺走你的卧槽【附windows本地一键运行包】

时间:2024-06-05 17:31:05浏览次数:27  
标签:ChatTTS 卧槽 开源 对话 语音 变声 文本 模型

像这种充满语气充满感情色彩的人声,再搭配一段自拍图,是由最近大火的AI项目chatTTS生成的,ChatTTS是专门为对话场景设计的文本转语音模型,例如LLM助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。在HuggingFace中开源的版本为4万小时训练且为SFT的版本.

那么https://pan.quark.cn/s/7596b606e69b可领取本地一键整合包

对话式 TTS: ChatTTS针对对话式任务进行了优化,实现了自然流畅的语音合成,同时支持多说话人。

细粒度控制: 该模型能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。

更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型,支持进一步的研究

废话少说怎么来用呢?

先说下显卡限制:对于30s的音频, 至少需要4G的显存.也就是说只要你是一个AI绘画玩家,你基本就完全可用,那么https://pan.quark.cn/s/7596b606e69b可领取本地一键整合包

语法支持

音频生成速度:使用4090技术,大约每秒钟可以生成7个字的音频。

响应时间:音频生成的实时因子(RTF)大约是0.3秒。

模型支持:目前,开源版本的语气词仅支持三种基本类型。

模型稳定性:自回归模型普遍存在的问题是稳定性不足。可能会出现声音突然变成其他人的声音,或者音质变得非常差。这种情况通常难以完全避免,但可以通过多次尝试来寻找更好的音频效果。

情感控制:目前发布的模型版本中,可以控制的只有笑声([laugh])以及一些声音中断([uv_break], [lbreak])作为字级别的控制单元。我们计划在未来的版本中开源更多情感控制的功能。

在这里插入图片描述

填入文本,我测试发现含有语气词,停顿,能够更好的表达语音感情,如果是长文本则需要测试其停顿性效果,比如加入了[uv_break],或者[lbreak]我觉得非常不错

选择音色

立即合成即可

  1. ChatTTS是什么?
    ChatTTS是一个开源的文本到语音(Text-to-Speech, TTS)模型,特别为对话场景设计。它适用于大语言模型(Large Language Models, LLMs)助手的对话任务,以及对话式音频和视频介绍等应用。ChatTTS支持中文和英文,并且能够实现自然流畅的语音合成,同时支持多说话人。它通过使用大约100,000小时的中文和英文数据进行训练,实现了高质量和自然度的语音合成。

  2. ChatTTS的功能特色

    • 对话式TTS:针对对话式任务进行了优化,实现了自然流畅的语音合成效果,并支持多说话人模式。
    • 细粒度控制:能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。
    • 更好的韵律:在韵律方面超越了大部分开源TTS模型,同时提供预训练模型,支持进一步的研究。
    • 多语言支持:支持中文和英文,满足不同语言用户的需求。
    • 大规模数据训练:使用了大量数据进行训练,确保了声音合成的质量高,听起来自然。
    • 对话任务兼容性:适合处理通常分配给大型语言模型LLMs的对话任务,提供更自然流畅的互动体验。
    • 开源计划:项目团队计划开源一个经过训练的基础模型,促进学术研究和社区发展。
    • 控制和安全性:致力于提高模型的可控性,添加水印,并将其与LLMs集成,确保模型的安全性和可靠性。
    • 易用性:为用户提供了易于使用的体验,只需要文本信息作为输入,就可以生成相应的语音文件。
  3. 如何运行?
    本地启动app.exe即可

  4. 应用场景

    • 大型语言模型助手的对话任务:为LLM助手提供自然流畅的语音响应。
    • 生成对话语音:适用于需要生成自然对话声音的场景,如虚拟助手、客服系统等。
    • 视频介绍:为视频内容提供语音介绍,增强视频的吸引力和互动性。
    • 教育和培训内容语音合成:为在线教育和培训材料提供语音,提高学习体验。
    • 任何需要文本到语音功能的应用或服务:适用于需要将文本转换为语音的各种应用或服务。

综上所述,ChatTTS是一个功能强大的文本到语音模型,适用于多种场景,能够提供高质量的语音输出,支持多语言,并且易于集成到各种应用中。

标签:ChatTTS,卧槽,开源,对话,语音,变声,文本,模型
From: https://blog.csdn.net/weixin_42373241/article/details/139477458

相关文章

  • 最像真人的语音转文本ChatTTS本地部署+Colab部署+跳坑指南
    1.WindowsChatTTSUI:https://github.com/jianchang512/ChatTTS-ui/releases/tag/v0.85v0.85完整包下载(2.7G含模型)百度网盘下载: https://pan.baidu.com/s/1RntYLT6UNd8_ew2osy8d1A?pwd=by14123网盘下载:https://www.123pan.com/s/03Sxjv-oEyB3.htmlhuggingfacelink: h......
  • 杰理语音芯片AC1042A,变声喇叭玩具方案—云信通讯
    变声喇叭玩具内置多种声音效果,例如机器人声、怪兽声、动物声以及各种搞笑声,让孩子能够在玩耍过程中体验不同的声音变化。有一些变声喇叭还可以模拟名人声音,让孩子们仿佛变身成为自己心目中的英雄或者明星。无论是自由的想象力游戏还是模仿他人的声音,变声喇叭玩具都能让孩子乐在......
  • ChatTTS 如何安装可视化操作
    可视化一键安装下载地址:百度网盘DownloadfromGitHub从GitHub下载代码。gitclonehttps://github.com/2noise/ChatTTS下载地址InstallDependencies在开始之前,请确保已安装必要的软件包。如果您尚未安装它们,可以使用pip进行安装:pipinstalltorchChatTTSIm......
  • 一键云部署:资源编排 ROS 轻松部署文本转语音系统 ChatTTS
    ChatTTS是专门为对话场景设计的文本转语音模型,例如LLM助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。ChatTTSwebUI&API为ChatTTS提供了网页界面和API服务。资源编排服务(ResourceOrchestrationService,ROS)是阿里云提供基......
  • 【部署ChatTTS】
    部署ChatTTS出错WARNING:ChatTTS.core:PackageWeTextProcessingnotfound!加载模型时报错生成时报错安装时报错(没解决)安装anaconda解决加载模型时报错加载模型chat=ChatTTS.Chat()chat.load_models()报错Anerrorhappenedwhiletryingtolocatethefil......
  • ChatTTS,语气韵律媲美真人的开源TTS模型,文字转语音界的新魁首,对标微软Azure-tts
    前两天2noise团队开源了ChatTTS项目,并且释出了相关的音色模型权重,效果确实非常惊艳,让人一听难忘,即使摆在微软的商业级项目Azure-tts面前,也是毫不逊色的。ChatTTS是专门为对话场景设计的文本转语音模型,例如大语言助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万......
  • Google使用AI改进了 Sheets;开源视觉语言模型llama3v;开源情绪语音模型ChatTTS;
    ✨1:GooglehasimprovedSheetswithAI.Google使用AI改进了Sheets您可以使用Gemini处理您的数据并将其变成老师。优化您的数据Gemini了解您的数据并提出改进建议。例如,它可以将重复数据转换为更实用的下拉框。解释数据通过单击双子座图标,您可以自动获......
  • FreeSWITCH使用soundtouch进行变声
    操作系统:CentOS7.6_x64FreeSWITCH版本:1.10.9  FreeSWITCH里面有个mod_soundtouch模块,支持通话实时变声,今天整理下CentOS7环境下如何使用soundtouch进行实时变声,并提供相关效果演示及资源下载。我将从以下几个方面进行展开:soundtouch介绍基于文件的变声mod_soundtouc......
  • starganvc2变声器项目实战及其源码解读
    1.数据与项目文件解读        数据文件目录如下所示,需要注意的是,我们并不能直接对声音进行建模,而需要对声音数据进行预处理,从而得到一系列数值特征,然后对特征进行建模,特征数据存储到processed文件夹中         2.环境配置        pipinstall li......
  • Android 端音频变声方案
    音频变声实质上是通过调整PCM数据的音调、节拍等属性,实现听感上的变化。如果是mp3、aac等压缩音频,则需提前解码成PCM数据,Android端可以通过MediaExtractor及MediaCodec解码得到PCM,但调整音调、节拍仅靠Androidapi就无能为力了,只能集成第三方库来实现,常见的音频处理......