首页 > 其他分享 >SH-SSS丨从人设到音色——基于说话人属性特征的语音合成

SH-SSS丨从人设到音色——基于说话人属性特征的语音合成

时间:2022-10-14 00:44:16浏览次数:72  
标签:设到 合成 SSS 特征 SH 语音 属性

https://blog.csdn.net/weixin_48827824/article/details/127103005

 

SH Symposium Series on Speech (SH SSS 2022) ,SH SSS 是由语音之家打造的AI语音技术相关的前沿论文成果分享平台。 来自AI语音技术领域的优秀论文作者、专家学者,用最精炼的表达来解读最新的高质量论文。

 

分享的论文成果来自国内外顶级会议收录的优秀文章、前沿学术报告。

 

 

主题-Tittle
从人设到音色——基于说话人属性特征的语音合成

嘉宾-Author


杨智涵,清华大学深研院硕士生,主要研究方向为多模态语音合成,脸像相关语音合成。合作文章曾发表于AAAI、IJCAI、IJCNN等国际会议。

概述-Abstract
个性化语音生成展现出了巨大的应用前景,如虚拟人语音合成、自动配音等。除了要求合成丰富多样的语音之外,这些应用还特别期望合成的声音特点符合人们对角色的人物背景设定、外貌特征等的预期。例如,在虚拟新闻主播这类应用中,人们通常希望其声音具有沉稳庄重的特点,以保证视听觉两个模态所传达的说话人身份特质的一致性;而对于有声小说等应用,虽然没有人物画面,但是人们依旧希望依据角色的人设特点生成合适的声音,如大叔音、少年音等。

纵观各类应用场景,这些说话人具有自己独特的“人设”,是指导语音合成的参考依据。因此,本文提出基于人设,也就是说话人属性特征的信息,来合成语音,达到个性化的声音定制的目的。说话人属性特征是描述说话人生理属性和社会属性的一系列特征,如:年龄、性别、人格等。引入说话人属性特征的概念,使得面向有声小说等应用的声音定制化语音合成成为可能,用户可以设定或修改人物属性特征,从而操纵合成语音的声音特点。同时,该方法也解耦了不同因素对于声音特征的影响,使得语音的合成及定制具有可解释性。

题 目 Tittle:从人设到音色——基于说话人属性特征的语音合成

期 刊 Journal & Comments:IJCNN 2022 神经网络国际联合会议

作 者 Authors:杨智涵、吴志勇、贾珈

合成 demo:Speaker-Characteristics-Guided-Speech-Synthesis

议程-Program Overview

参与方式-Joining
直播将通过CSDN直播间进行直播

手机端、PC端可同步观看

标签:设到,合成,SSS,特征,SH,语音,属性
From: https://www.cnblogs.com/wcxia1985/p/16790214.html

相关文章

  • CSharp: null object pattern in donet core 3
     ///<summary>///空对象模式nullobjectpattern///geovin,GeovinDueidt///</summary>interfaceIVehicle{voidTrave......
  • Greenplum数据库数据分片策略Hash分布——计算哈希值和映射
    哈希Hash分布是Greenlum最常用的数据分布方式。根据预定义的分布键(distributedbykey)计算用户数据的哈希值,然后把哈希值映射到某个segment上。分布键可以包含多个字段。......
  • ctfshow文件上传总结
    简单总结下 文件上传前端限制绕过:抓包修改对应项即可,不过本人更习惯上传一个符合要求的文件,然后抓包后只修改后缀名,看看能不能上传成功文件上传后端限制绕过:一般都是检......
  • Shooter项目 ++反射
    反射是程序在运行时获取程序数据的一种方式(uec++中模拟反射将C++数据暴露在蓝图中,并管理内存垃圾删除)UHT可以通过收集宏来生成特殊的附加代码Wchar_t(宽字符)  :Wchar......
  • ctfshow 文件包含总结
    一些php伪协议就不具体介绍了,也不讲太详细filter伪协议可以利用过滤器来读或者写php://filter/read=convert.base64-encode/resource=flag.php  如上图,不能让......
  • 利用powershell批量升级DELL的idrac
    利用powershell批量升级DELL的idrac拓扑环境及工具环境:windows系统工具:racadm软件,下载地址链接racadm手册(pg97)链接我们这里用的是powershell语言,因为idrac管理机是......
  • ShardingSphere的强制路由
    ShardingSphere的强制路由随着项目的越来越庞大,用户量越来越多,分库分表的操作在工作中是不可避免的,而市场上分库分表的解决方案有很多,ShardingSphere就是经常使用到的一种......
  • kali开启ssh并开机自启
    安装和启用SSHKali默认是没有安装ssh和启用ssh的我们需要先安装:aptinstallssh然后vim/etc/ssh/sshd_config(如果不需要启用Root登陆可以跳过)修改PermitRootLogin后......
  • shell脚本介绍&shell脚本结构和执行&date命令用法&shell脚本中的变量
    20.1shell脚本介绍•shell是一种脚本语言 aming_linux blog.lishiming.net•可以使用逻辑判断、循环等语法•可以自定义函数•shell是系统命令的集合•shell脚本......
  • Spark Troubleshooting
    1、故障排除一:控制reduce端缓冲大小以避免OOM在Shuffle过程,reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取,而是map端写一点数据,reduce端task就会拉取一小......