地址 https://github.com/luosiallen/latent-consistency-model
LCM「 全称 Latent Consistency Models(潜在一致性模型)」,是清华大学交叉信息科学研究院研发的一款生成模型。它的特点是可以通过少量步数(4-8 steps)推理合成出高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。官方称 LCMs 是继 LDMs「 Latent Diffusion Models (潜在扩散模型)」之后的新一代生成模型。
用过 Stable Diffusion 的同学都知道,我们在生成图像的时候需要设置一个「 采样步数 Steps」的参数,这个参数,涉及到的是 Diffusion 模型中的去噪(Denoise)过程,
即以迭代的方式从一张纯噪声图中一步步去除噪点,直至它变成一张清晰的图像。这个过程采样步数至少需要20步。
而LCM中的「 Consistentcy Models(一致性模型)」对去噪推理这一步进行了优化,它不再需要像 Diffusion 模型那样多步进行迭代,而是追求“一步完成推理”,
这样需要处理的步数减少了,图像的生成速度自然就提升了。同时,LCM 在 Consistency Models 的基础上引入了「 Lantent Space (潜空间)」技术,
进一步压缩了需要处理的数据量,从而实现超快速的图像推理合成。LCM 官方以此方法训练了一个新的模型 dreamshaper-v7,该模型仅通过 2-4 步就能生成一张 768*768 分辨率的清晰图像。下图展示了通过1-4步推理生成的图像。