首页 > 其他分享 >【论文系列】DDIM ---DDPM上的优化

【论文系列】DDIM ---DDPM上的优化

时间:2024-11-09 16:20:35浏览次数:1  
标签:模型 生成 --- DDPM DDIM 过程 扩散

What

DDIM是啥?

DDIM(Denoising Diffusion Implicit Models) 是一种扩散模型的变体,旨在加速图像生成过程并保持生成质量。它是在DDPM(Denoising Diffusion Probabilistic Models)的基础上发展出来的,提供了一种更高效的去噪采样过程,减少了采样所需的步骤数量。

Why

DDIM提出了能干啥?

DDPM介绍了经典扩散模型DDPM的原理和实现,对于扩散模型来说,一个最大的缺点是需要设置较长的扩散步数才能得到好的效果,这导致了生成样本的速度较慢,比如扩散步数为1000的话,那么生成一个样本就要模型推理1000次。

这就很慢很慢很慢。。。。。

但DDIM可以大大缩短这个过程

What

那它是怎么做到的啊?

1、DDIM不再限制过程必须是一个马尔可夫链,
2、DDIM的另外是一个特点是从一个随机噪音生成样本的过程是一个确定的过程(中间没有加入随机噪音)。

下面我们来着重讲讲这两句话。。

首先来回顾一下DDPM的加噪过程:
image

扩散过程一个很重要的特征就是可以被直接表示成用\(x_0\)对任意的\(x_t\)进行采样:
image

DDPM的反向去噪过程也可以定义为一个马尔可夫链:
image
image
然后我们就可以得到上面的这个过程图。

这时我们猛然发现(细说猛然发现):
image
这个后验概率是一个可获取的高斯分布,它的方差是一个定值,它的均值却需要依赖于\(x_0\)和\(x_t\)
image
这说明了什么?
这说明了我们只要知道了原始图像和完全加噪后的图像,就可以知道去噪的噪声是什么样子!!!
根据原始论文,我们得到了如下的Objective,也就是DDPM的优化目标:
image
image
往下推推推。。。。
我们发现这个损失函数,就仅仅依赖于边缘分布\(q(x_t|x_0)\),它不直接作用在联合分布\(q(x_{1:T}|x_0)\),这说明了什么?
这说明了\(DDPM\)这个隐变量模型可以有很多推理分布来选择,只要推理分布满足边缘分布条件(扩散过程的特性)即可,而且这些推理过程并不一定要是马尔卡夫链。
DDIM的论文这么定义的:
image
其中上式子还要满足如下这些:
image

标签:模型,生成,---,DDPM,DDIM,过程,扩散
From: https://www.cnblogs.com/myleaf/p/18533821

相关文章

  • [COCI2022-2023#5] Slastičarnica 题解
    前言题目链接:洛谷。题意简述一个长为\(n\)的序列\(\{a_n\}\)和\(q\)次操作,第\(i\)次操作中,你可以删除序列长为\(d_i\)的前缀或后缀,并需要保证删除的所有数\(\geqs_i\)。每次操作前,你可以选择任意长度的前缀或后缀,并将其删除,也可以不操作。请问,在你不能进行下一次操......
  • lua插件之----【luaApp 应用类】
    API列表(自写API,供自查询。对您无用,不要看了) 接口原型说明luaApp.find根据APP特征字符查找APP包名,比如:anjian。关键词不区分大小写luaApp.lists获取所有已安装的APP的包名luaApp.getRuningLists获取所有正在运行的APPluaApp.exists指定APP是否安装luaApp......
  • 泷羽sec-星光不负a-学习打卡-信息收集(3)
    天眼查https://www.tianyancha.com/(有经济条件开会员)企查查https://www.qcc.com/(可查询相关人电话和公开招标文件信息)谷歌搜索语法1.intext查找网页中含有某个关键字的网站例如:intext:登录后台2.intitle查找标题中含有某个关键词的网页例如:intitle:登录后台3......
  • EMCAD: Efficient Multi-scale Convolutional Attention Decoding for Medical Image
    论文代码`importtorchimporttorch.nnasnnfromfunctoolsimportpartialfromtorch.nn.initimporttrunc_normal_importmathfromtimm.models.helpersimportnamed_applydefact_layer(act,inplace=False,neg_slope=0.2,n_prelu=1):#activationlayeract=......
  • 盖世计划--北京营--0731--C班模拟
    A.数位和(digit)题意:设\(f(x)\)为\(x\)的数字和。例如\(f(158)=1+5+8=14\)。给定一个长度为\(N\)的正整数序列\(A\),求\(\sum_{i=1}^{N}\sum_{j=1}^{N}f(A_i+A_j)\)。分析:首先明确\(f(x)\)为\(x\)的数位和。举例情况:若有两个数分别为:\(12,21\)。\[f(12+21)=f......
  • VMware ESXi 6.7 U3u (ESXi670-202403001) 下载
    VMwareESXi6.7U3u(ESXi670-202403001)下载VMwareESXi6ExtendSupportRelease请访问原文链接:https://sysin.org/blog/vmware-esxi-6/查看最新版。原创作品,转载请保留出处。作者主页:sysin.org产品简介VMwareESXi:专门构建的裸机Hypervisor了解可直接安装到您的物......
  • 六、MyBatis-Plus高级用法(1):最优化持久层开发
    一、MyBatis-Plus快速入门1.1简介课程版本:3.5.3.1MyBatis-Plus......
  • 被复线远传节点机JR-IPAM-1600
    产品描述JR-IPAM-1600J是一款被复线远传节点机,通过传统双绞线电缆(被复线\网线\对数电缆\矿用电缆等),用户就可以快速组成一个高速的传输网、局域网。它具有传输速率高、运行稳定、快速安装部署的特点,设备特有的AUTO工作模式,能够自动侦测线路和远端设备情况,自动调整到最佳性能。......
  • 【黑马python:函数进阶】81-84
    目录一、函数的多个返回值二、函数的多种传参方式1.函数参数种类1.1位置参数与关键字参数1.2缺省参数1.3不定长参数三、函数作为参数传递四、匿名函数一、函数的多个返回值如果一个函数要有多个返回值,该如何书写代码?按照返回值的顺序,写对应顺序的多个变量接......
  • 25-018、基于STM32单片机智能行李箱设计-LED-BELL-KEY-指纹-LCD1602-GSM-GPS+HX711称
    本设计由STM32F103C8T6单片机核心板电路+LED指示灯电路+蜂鸣器报警电路+按键电路+指纹电路+LCD1602液晶显示电路+GSM模块电路+GPS模块电路组成。1、如果指纹错误。LED灯会闪,同时蜂鸣器发出滴滴声(3声即可)2、如果指纹输入三次失败后,禁止再用指纹解锁,如果指纹打不开,可以输入按键......