首页 > 其他分享 >解释一下为为什么使用 instance normalization可以消除说话人信息,保留说话人内容

解释一下为为什么使用 instance normalization可以消除说话人信息,保留说话人内容

时间:2023-07-20 23:23:52浏览次数:35  
标签:content 说话 encoder filter instance 解释一下 normalization

在content encoder中使用instance normalization,可以起到去除说话者信息的作用。首先来看一下instance normalization的原理,一般会对输入语音做conv1d得到feature map,有几个conv1d filter就会得到几个feature map,可以将这个过程理解为每一个filter都在提取声音的一个特征,通俗一点假设,第一个filter是检测高频分量的多少,第二个filter是检测低频分量的多少,那很显然男女生说话时高频和低频的成分是不同的。有了这个假设前提现在来看下instance normalization做了什么,它对每一种feature map求均值和方差(对每个样本,假如有256个通道,就是256个样本),从而将它们变换成零均值单位方差的数值分布,从数值上消除了各个filter所提取特征的差异,可以简单的理解为消除了各个说话者之间的特征差异,进而保证了最终只输出和content相关的信息

可以通过后面加入一个Speaker Classifier来验证IN的有效性,实验结果表明,在content encoder加入IN后,Speaker Classifier的正确率从65.8%降到了37.5%

adaptive instance normalization (only influence speaker information)

将speaker encoder的输出经过某种变换得到r和b,然后通过对每一个zi与r进行elements的相乘再加上b的方法进行全局的影响,这个过程叫做AdaIN,实际上不同的paper的做法都有些不一样

 

 

 

标签:content,说话,encoder,filter,instance,解释一下,normalization
From: https://www.cnblogs.com/Edison-zzc/p/17569958.html

相关文章

  • 49.instanceof的作用
    49.instanceof的作用?//instanceof运算符用于判断构造函数的prototype属性是否出现在对象的原型链中的任何位置。//实现:functionmyInstanceof(left,right){letproto=Object.getPrototypeOf(left),//获取对象的原型prototype=right.prototype;//获取......
  • 62.Oracle的实例恢复(instance recovery)和介质恢复(media recovery)
    Oracle数据库中的SCN说明:4种SCN:系统检查点(SystemCheckpoint)SCN数据文件检查点(DatafileCheckpoint)SCN结束SCN(StopSCN)开始SCN(StartSCN)1)systemcheckpointscn --当checkpoing完成后,oracle将systemCheckpointScn号存放在控制文件中,可以通......
  • Pulsar集群: instanceId xxx is not match with xxx
    Pulsar集群:instanceIdxxxisnotmatchwithxxx1.问题原因pulsar本地存储的instanceId与zookeeper不一致导致,即使将zookeeper上instanceId强行改为与本地相同的Id依然会报出异常。可能是重复执行了以下命令导致#刚入职的公司,同事说pulsar集群挂了,现在一直在用单节点,让我......
  • isinstance() 函数
     文章目录一、isinstance()函数1.1用途描述1.2使用方法1.3案例分析 一、isinstance()函数  下面从用途描述、使用方法、案例分析、三个方面进行讲解。1.1用途描述  isinstance()函数来判断一个对象是否是一个已知的类型,类似type()。1.2使用方......
  • 报错 Cannot construct instance of `java.time.LocalDate` LocalDateTime
    原因:报错的原因就是导入了JacksonObjectMapper对象映射器,导致不知道怎么将LocalDateTime转换成Json类型的数据了,在没有导入使用JacksonObjectMapper的时候是不会报错的。解决方式:指定LocalDateTime类型的数据如何进行序列化就好了,给实体类中LocalDateTime的属性加上注解就可以了:......
  • OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers
    地址:https://arxiv.org/pdf/2207.02255.pdf1.摘要    OSFormer为基于transformer的伪装实例分割(CIS)框架,有两个关键设计,首先是位置敏感transformer(LST),通过【位置引导查询】和【混合卷积前向传播网络】获得定位标签和实例级参数;第二,开发粗糙到精细融合模块(CFF)合并来自LST......
  • 非静态内部类newInstance
    https://stackoverflow.com/questions/25634542/newinstance-with-inner-classes Non-staticinnerclassesneedaninstanceoftheouterclasstoworkproperly.So,theydon't"really"haveadefaultconstructor,theyalwayshaveakindofhidd......
  • System.ObjectDisposedException: Cannot access a disposed context instance
    @@abpconsoleprojectSystem.ObjectDisposedException:Cannotaccessadisposedcontextinstance.Acommoncauseofthiserrorisdisposingacontextinstancethatwasresolvedfromdependencyinjectionandthenlatertryingtousethesamecontextinstanc......
  • 2023-06-30 reportJSException >>>> exception function:createInstanceContext, exce
    uniapp之运行到android端报错:reportJSException>>>>exceptionfunction:createInstanceContext,exception:whitescreencausecreateinstanceContextfailed,checkjsstack->UncaughtSyntaxError:Invalidorunexpectedtoken,即:reportJSException>>异......
  • 三、更改INSTANCE_NAME
    三、更改INSTANCE_NAME1、检查当前的instance_name是wwlSQL>selectinstance_namefromv$instance;INSTANCE_NAME----------------wwl2、创建pfile参数文件SQL>createpfilefromspfile;                             Filecreated.3、关......