我想实现一个变分自动编码器，它将一维 Numpy 数组（声音文件的波形）作为输入。运行该文件不会引发错误，但损失收敛到 2000 左右，并且重建看起来像纯粹的噪声。
我使用了 Goffinet 等人的代码 并尝试重写它以采用一维输入，因为我之前使用过他们的（二维）VAE。这是网络和转发功能的代码：
def _build_network(self):
# Encoder
self.conv1 = nn.Conv1d(1, 8, 3,1,padding=1)
self.conv2 = nn.Conv1d(8, 8, 3,2,padding=1)
self.conv3 = nn.Conv1d(8, 16,3,1,padding=1)
self.conv4 = nn.Conv1d(16,16,3,2,padding=1)
self.conv5 = nn.Conv1d(16,24,3,1,padding=1)
self.conv6 = nn.Conv1d(24,24,3,2,padding=1)
self.conv7 = nn.Conv1d(24,32,3,1,padding=1)
self.bn1 = nn.BatchNorm1d(1)
self.bn2 = nn.BatchNorm1d(8)
self.bn3 = nn.BatchNorm1d(8)
self.bn4 = nn.BatchNorm1d(16)
self.bn5 = nn.BatchNorm1d(16)
self.bn6 = nn.BatchNorm1d(24)
self.bn7 = nn.BatchNorm1d(24)
self.fc1 = nn.Linear(1800,1024)
self.fc2 = nn.Linear(1024,256)
self.fc31 = nn.Linear(256,64)
self.fc32 = nn.Linear(256,64)
self.fc33 = nn.Linear(256,64)
self.fc41 = nn.Linear(64,self.z_dim)
self.fc42 = nn.Linear(64,self.z_dim)
self.fc43 = nn.Linear(64,self.z_dim)
# Decoder
self.fc5 = nn.Linear(self.z_dim,64)
self.fc6 = nn.Linear(64,256)
self.fc7 = nn.Linear(256,1024)
self.fc8 = nn.Linear(1024,1800)
self.convt1 = nn.ConvTranspose1d(32,24,3,1,padding=1)
self.convt2 = nn.ConvTranspose1d(24,24,3,2,padding=1,output_padding=1)
self.convt3 = nn.ConvTranspose1d(24,16,3,1,padding=1)
self.convt4 = nn.ConvTranspose1d(16,16,3,2,padding=1,output_padding=1)
self.convt5 = nn.ConvTranspose1d(16,8,3,1,padding=1)
self.convt6 = nn.ConvTranspose1d(8,8,3,2,padding=1,output_padding=1)
self.convt7 = nn.ConvTranspose1d(8,1,3,1,padding=1)
self.bn8 = nn.BatchNorm1d(32)
self.bn9 = nn.BatchNorm1d(24)
self.bn10 = nn.BatchNorm1d(24)
self.bn11 = nn.BatchNorm1d(16)
self.bn12 = nn.BatchNorm1d(16)
self.bn13 = nn.BatchNorm1d(8)
self.bn14 = nn.BatchNorm1d(8)
def encode(self, x):
#print("encoder x:",x.shape)
x = x.unsqueeze(1)
#nn.Flatten(x)
#print("encoder x:",x.shape)
x = F.relu(self.conv1(self.bn1(x)))
x = F.relu(self.conv2(self.bn2(x)))
x = F.relu(self.conv3(self.bn3(x)))
x = F.relu(self.conv4(self.bn4(x)))
x = F.relu(self.conv5(self.bn5(x)))
x = F.relu(self.conv6(self.bn6(x)))
x = F.relu(self.conv7(self.bn7(x)))
#print(" x:",x.shape)
x = x.view(-1, 1800)
#print(" x:",x.shape)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
mu = F.relu(self.fc31(x))
mu = self.fc41(mu)
u = F.relu(self.fc32(x))
u = self.fc42(u).unsqueeze(-1) # Last dimension is rank \Sigma = 1.
d = F.relu(self.fc33(x))
d = torch.exp(self.fc43(d)) # d must be positive.
return mu, u, d
def decode(self, z):
#print(z.shape)
z = F.relu(self.fc5(z))
z = F.relu(self.fc6(z))
z = F.relu(self.fc7(z))
z = F.relu(self.fc8(z))
#print("z shape before view", z.shape)
z = z.view(-1,32,1800)#16,16)
#print("z shape after view", z.shape)
z = F.relu(self.convt1(self.bn8(z)))
z = F.relu(self.convt2(self.bn9(z)))
z = F.relu(self.convt3(self.bn10(z)))
z = F.relu(self.convt4(self.bn11(z)))
z = F.relu(self.convt5(self.bn12(z)))
z = F.relu(self.convt6(self.bn13(z)))
z = self.convt7(self.bn14(z))
#print("z shape end decode", z.shape)
return z.view(-1, 14400)
def forward(self, x, return_latent_rec=False):
#print("forward", x.shape)
mu, u, d = self.encode(x)
#print(mu.shape,u.shape,d.shape)
latent_dist = LowRankMultivariateNormal(mu, u, d)
z = latent_dist.rsample()
#print("z:",z.shape)
x_rec = self.decode(z)
# E_{q(z|x)} p(z)
elbo = -0.5 * (torch.sum(torch.pow(z,2)) + self.z_dim * np.log(2*np.pi))
# E_{q(z|x)} p(x|z)
# pxz_term = -0.5 * X_DIM * (np.log(2*np.pi/self.model_precision))
pxz_term = -0.5 * 14400 * (np.log(2*np.pi/self.model_precision))
#print("x(input)",x.shape)
#print("x_rec(vae)",x_rec.shape)
l2s = torch.sum(torch.pow(x.view(x.shape[0],-1) - x_rec, 2), dim=1)
pxz_term = pxz_term - 0.5 * self.model_precision * torch.sum(l2s)
elbo = elbo + pxz_term
# H[q(z|x)]
elbo = elbo + torch.sum(latent_dist.entropy())
if return_latent_rec:
return -elbo, z.detach().cpu().numpy(), \
x_rec.view(-1, 128, 128).detach().cpu().numpy()
return -elbo
我的重构图如下所示：
如何改进我的 VAE？顺便说一句，使用任何其他方式来显示声音（如频谱图）而不是波形并不是一个可悲的选择。
我已经玩过潜在维度并注意到损失略有改善，但仍然不令人满意（1800 而不是2000）而重建工作根本没有改善
在尝试改进的 1D VAE 以用于音频波形重建时，以下是一些需要考虑的领域：
-
输入表示：
-
归一化： 确保的输入波形数据在 [-1, 1] 或 [0, 1] 范围内进行归一化。这可以通过以下方式实现： ```python from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler(feature_range=(-1, 1)) # 将 scaler 拟合到训练数据并进行变换 normalized_waveform = scaler.fit_transform(waveform.reshape(-1, 1)).flatten() ``` * 音频预处理： 考虑使用音频领域知识进行预处理。例如，可以提高模型性能的操作包括转换为频谱图（即使不能将它们用于可视化）、应用 Mel 滤波器组或使用 MFCC（Mel 频率倒谱系数）。
-
架构：
-
内核大小和步幅： 对于 1D 卷积，请尝试不同的内核大小（例如，5、7 或 9）和步幅。较大的内核可以捕获更多上下文，但也会增加计算成本。
- 网络深度： 尝试在编码器和解码器中添加更多卷积层以增加模型的容量。这可能有助于捕获复杂的非线性关系。
- 跳过连接： 在编码器和解码器中的相应层之间引入跳过连接（如 U-Net 中）可以帮助在解码过程中保留信息。
-
激活函数： ReLU 激活在编码器中可能有效，但在解码器中，考虑使用其他激活函数，如 tanh 或 sigmoid，以匹配波形的范围。
-
损失函数：
-
重建损失： 虽然均方误差 (MSE) 是一种常见的重建损失，但对于音频，考虑使用感知损失函数，例如皮尔逊相关系数或结构相似性指数 (SSIM)，它们更好地与人类对音频质量的感知相一致。
-
训练：
-
批量大小和学习率： 尝试不同的批量大小和学习率。较小的批量大小和学习率可以提高收敛性，但训练时间会更长。
- 优化器： 尝试不同的优化器，例如 Adam 或 RMSprop，以查看哪种优化器最适合的模型。
-
早期停止： 实施早期停止以防止过度拟合。如果验证损失停止改善，请停止训练。
-
其他技巧：
-
潜在空间正则化： 增加 KL 散度系数以鼓励更强的潜在空间正则化。
- 更丰富的潜在分布： 探索使用更复杂的潜在分布，例如高斯混合模型，而不是简单的各向同性高斯分布。
调试：
- 从一个更小的数据集开始： 从一个小的音频样本子集开始，以确保的模型可以过度拟合到这个小子集。
- 可视化重建： 随着训练的进行，定期绘制重建结果和原始音频，以观察是否存在任何有意义的变化。
- 监控潜在空间： 可视化潜在空间以查看训练数据是否已很好地编码。
请记住，训练 VAE 可能具有挑战性，并且通常需要大量的实验来找到适合特定数据集和任务的最佳超参数和架构。
标签：python,machine-learning,deep-learning,neural-network,vae From： 78834575