解决|diffusion transformer的环境安装慢问题、vae预训练模型下载失败问题、扩散模型的损失变化相关讨论

• 环境安装慢
  • 1、换源
  • 2、直接下载包到本地
• vae预训练模型下载失败
  • 1、去huggingface官网下载对应的模型
  • 2、传输至服务器的某个文件夹
  • 3、在代码里直接加载下载好的模型：
• 扩散模型的损失
• 参考链接

环境安装慢

这个问题有很多解决方法，我比较喜欢的是以下两种：

1、换源

我体验下来，清华源是最快最稳的，以安装timm为例，如下：
pip install timm -i https://pypi.tuna.tsinghua.edu.cn/simple

2、直接下载包到本地

可看参考链接，这里就不写了

vae预训练模型下载失败

一般是因为用的远程服务器的网络问题

1、去huggingface官网下载对应的模型

sd-vae-ft-ema网址：https://huggingface.co/stabilityai/sd-vae-ft-ema/tree/main
sd-vae-ft-mse网址：https://huggingface.co/stabilityai/sd-vae-ft-mse/tree/main
任选一个，就使用经验而言，EMA 会更锐利、MSE 会更平滑
下载config.json和diffusion_pytorch_model.safetensors

2、传输至服务器的某个文件夹

3、在代码里直接加载下载好的模型：

local_vae_path = "/xxx/xxxx/"
vae = AutoencoderKL.from_pretrained(local_vae_path).to(device)

扩散模型的损失

可以看看参考链接中[1]和[2]两个讨论帖
总的来说，loss一开始下降很快，然后一直不降/平稳/小波动，是正常的。因为训练的时候每次是随机取的t，如果真的要看loss下降，要用采样得到的同一个t的loss作比较
此外，真正看模型是否在有效训练，还是得合成图像来看看

参考链接

[1]https://www.reddit.com/r/MachineLearning/comments/14wobo3/d_weird_loss_behaviour_with_difusion_models/
[2]https://www.zhihu.com/question/623044009
[3]https://ascend.github.io/docs/index.html
[4]https://blog.csdn.net/weixin_43135178/article/details/136614403
[5]https://blog.csdn.net/qq_43811536/article/details/141963366