课程地址，https://www.bilibili.com/video/BV1uj411v7zW/?spm_id_from=pageDriver&vd_source=1eb6e5015a1f70daa97080d8ee786d5d
So-VITS-SVC：SoftVC VITS Singing Voice Conversion
SoftVC，编码技术，用soft聚类来消除说话人的音色特征
VITS，核心技术
Singing Voice Conversion，使用场景
整体架构
和VITS的差别是，
VITS是从文本到声音，文本的编码长度和声音的不一样的，所以需要时长预测，强制匹配复制
SO-VITs是从声音到声音，其实更加简单了，声音的时长是相同的，直接就可以match
但是为了使用VITS，将输入的音频要转换成类似文本的特征，即消除说话人的音色特征
这样就可以套用简化的VITS模型
所以SO-VITS的核心就是如何消除音频中的说话人音色特征，形成类似文本特征编码
这就是红框中的部分
这里首先需要将音频提取4种特征，这里要用到pretrain的模型来提取
这里的spk classerifier，用于check生成的embedding已经不包含说话人特征，会根据输入的embedding预测一个spk，如果预测的和真实的不一样，即满足
这个模型的损失函数，
这里也是用GAN，和VITS一样的
discriminator部分是一样的
generator的部分，主要有两个不同
一个是Spk_loss， 这个定义Spk classerifier的loss，让预测的spk和真实的spk不一致
一个是KL-loss，这里不同的是不光要算KL(Q|P)，还要算KL(P|Q)
所以网络里面，由p分布随机采样的zp，需要逆向经过flow生成zreal，然后用zreal和Q分布区计算似然，得到KL(P|Q)
模块
先验编码器
和VITS的先验编码器比，
a. 输入不同，这里输入更加复杂，不是简单的文本，而是音频的3种特征
PPG，音频中的文本特征
Vec，音频自编码特征，应用softvc
Pitch，基频特征
PPG和VEC在预处理的时候，都加入随机扰动，模拟音频的随机性，读一段文字，文字是不会变的，但是多次读，音频是会有差异的
然后把3种特征都处理成size-192，求和作为输入
b. 说话人的预测器
让预测器预测出的spk和真实spk差别越大越好
所以这里加了梯度取反，给梯度加上负号，这样本来下降的，反而上升了
后验编码器
和VITS基本一样，只是传入的说话人信息不是id，是声纹特征
Decode部分
和VITS的不同，
a. 加入说话人的声纹信息
b. 上采样的每一步，加入基频pitch特征，用于更好的拟合非语音的声音
c. 蛇形激活函数，取代relu，更好的适应音频的周期属性
基频f0，经过上采样，copy*320，再加上多次谐波信号，形成har_source
对于输入音频，在特征维度进行正则化，layernorm？
对于size-192的特征维，求均值和方差，然后正则化
spk声纹，线性变换成scale和bias，用于叠加输入音频，达到加入声纹的目的
flow
这里flow和VITS的基本相同
不同是在输入的时候需要增加skp声纹信息adapter
我的理解是，从zq到zp，需要正则化掉skp的声纹信息，因为p分布本身是类似文本特征的分布，不包含spk声纹
从zp到zq，需要添加目标声纹信息，用于decode
损失函数
因为GAN，这里还是要分成D和G的部分
G的部分比较复杂，
其中score_loss和feat_loss，是GAN训练生成器的时候 ，把生成的数据进行判别得到的最终score，以及中间层每层结果和real的loss
mel_loss和stft_loss，是重构损失，mel_loss就是把输入和生成的音频进行mel滤波后比较的loss
stft_loss，在不同的尺度的stft变换下的，损失计算，更加全面
loss_kl_f, loss_kl_r，kl散度，前面说了这里不光要算q||p，还要算p||q，只是权重上p||q不那么重要，乘上0.5
这里kl散度的计算公式推导，其实和VITS里面一样，
spk_loss spk预测器的loss
标签：loss,VITS,音频,声纹,SVC,特征,spk,So From： https://www.cnblogs.com/fxjwind/p/18004598