Audio Generation with Multiple Conditional Diffusion Model
来源：
http://export.arxiv.org/abs/2308.11940
https://conditionaudiogen.github.io/conditionaudiogen/
主要贡献：
1）引入了一个新的任务，该任务可生成由文本和控制条件指导的音频，从而能够使用时间戳、音高轮廓和能量轮廓对音频进行细粒度定制。2）整合现有的数据集，创建一个新的数据集，包括音频和相应的条件，并使用一系列的评估指标来评估性能，这可以作为未来工作的基准。3）提出了基于现有预训练TTA模型的音频生成模型，它不仅接受文本作为条件，而且还包含其他控制条件，以实现对音频的更细粒度和更精确的控制生成。实验结果验证了本文模型的有效性，该模型在生成音频信号时具有较好的控制效果。
任务：
生成由文本和控制条件指导的音频，从而能够使用时间戳、音高轮廓和能量轮廓对音频进行细粒度定制（多条件控制）。
工作：
提出了基于现有预训练TTA模型的音频生成模型，它不仅接受文本作为条件，而且还包含其他控制条件，以实现对音频的更细粒度和更精确的控制生成。
-
具体方法：
文本和控制条件编码器分别提取相应的嵌入。在文本和控制嵌入的指导下，使用来自VAE编码器的带噪声的mel嵌入（用于训练）或标准高斯噪声（用于测试）构建潜在表示，VAE解码器将其重建回mel频谱图，然后用声码器来生成最终的音频。为了保持生成能力，我们冻结了VAE，文本条件编码器和条件潜在扩散模型，并使用来自预训练TTA模型Tango的权重。 -
（1）组件信息：
-
- a text condition encoder（文本条件编码器）：使用的是FLAN-T5-LARGE，提取文本条件的嵌入。在训练阶段，文本条件编码器的参数被冻结，以保持原有的语义表示能力。（冻结模块）
-
- a control condition encoder（控制条件编码器）：控制条件编码器将控制条件作为输入，包括时间戳、音高轮廓和能量轮廓，提取控制条件的嵌入。（可训练模块）
-
- a conditional latent diffusion model(LDM)（条件潜在扩散模型）：它依赖于噪声mel嵌入xt，文本嵌入ctext和控件嵌入ccontrol在内的条件。（U-net冻结模块）[潜在表示捕捉了数据的主要特征，并且通常具有更简单的分布。]
-
- a variational auto-encoder（变分自编码器）：由编码器和解码器组成，编码器和解码器将mel频谱图压缩到mel嵌入x0中，并从mel嵌入x0重建mel频谱图。使用AudioLDM的VAE检查点并冻结其参数。（冻结模块）
-
- a Fusion-Net（融合网络）：为了将控制嵌入ccontrol集成到LDM中，我们在冻结的U-Net的每一层之间引入了一个可训练的融合网络。（可训练模块）
-
- HiFi-GAN：作为声码器，将mel频谱图转化为最终音频
-
（2）控制条件预处理：
-
①时间戳：首先，采用与文本条件编码器相同的冻结的FLAN-T5 LARGE来将声音事件类转换为语义表示。然后，为了保持每个声音事件的独立性，利用可训练的1 × 1卷积层将FLANT 5-LARGE的输出转换为标签嵌入。最后，将标签嵌入与帧级时间戳的对应位置相乘，并对声音事件类的维数求和，得到帧级语义表示类对象：
-
②音高轮廓：采用连续小波变换来分解连续基音轮廓，并将每帧图像转换成256个可能的对数值，作为控制条件，由控制条件编码器转换为控制嵌入。
-
③能量轮廓：通过计算每个短时傅立叶变换帧的幅度的L2范数并在对数尺度上量化来计算其能量，该能量使用控制条件编码器来编码。
-
为了实现支持多个控制条件（时间戳、音高轮廓和能量轮廓）的一个模型，我们还应用上述操作来将控制条件标准化为相同的维度。随后，我们利用共享的多层感知器对它们进行编码，采用条件类型作为提示，以区分Fusion-Net中的不同控制条件。
-
（3）控制条件融合：
-
融合网络将控制嵌入作为输入，并添加了条件类型嵌入CLS。在一系列类似于VAE编码器的结构之后，我们调整了控制嵌入的维度，以匹配梅尔频谱图的维度，其中包括ResnetBlocks和卷积层。采用不同核大小和步长的二维对流层生成不同维数的控制条件tokens。在固定U-Net的每一层之间，我们将控制条件tokens与U-Net中从前一层获得的mel tokens连接起来。随后，我们采用自注意只选择与前馈块的mel tokens对应的输出tokens。
-
（4）Classifier-Free Guidance：
-
（5）数据集集成到一个名为AudioCondition的新数据集，该数据集包含音频、相应的文本和控制条件。
实验评价标准：
- (1)时间顺序控制指标:采用SED系统提供基于事件的度量(Eb)和剪辑级宏观F1分数(At)来评估时间顺序控制能力。这些指标评估生成音频中声音事件的存在，以及在AudioCondition测试集中使用DCASE 2022任务4(PB-SED)中的第一名SED系统的启动和偏移量。
- (2)音高控制指标:为了比较音频的音高分布，我们计算了语音领域中使用的几个矩，包括标准差、偏度和峰度，以及基音和合成音频之间音高分布的平均动态时间翘曲距离。
- (3)能量控制指标:计算从生成的音频中提取的逐帧能量与真实音频中的能量之间的MAE。