首页 > 其他分享 >IDM:Implicit Diffusion Models for Continuous Super-Resolution超分辨率

IDM:Implicit Diffusion Models for Continuous Super-Resolution超分辨率

时间:2023-10-11 23:12:02浏览次数:38  
标签:Diffusion 表示 Models 模型 IDM 图像 Resolution 隐式 分辨率

摘要

当今超分辨领域的模型普遍存在过度平滑(难以保持放大后图像的锐利和纹理,导致高频信息丢失和视觉上变得平滑)和伪影(生成的高分辨率图像中可能出现的不希望出现的失真或瑕疵,包括模糊、马赛克效应或者不自然纹理等)的现象,作者据此提出了IDM模型,IDM模型是在一个统一的端到端框架中集成了隐式神经表示去噪扩散模型,其中隐式神经表示被用于解码过程中以学习连续分辨率表示。为了满足图片不同分辨率要求,另外设计了一种尺度自适应的条件机制,该机制包括低分辨率条件网络和一个放缩因子,放缩因子调整LR信息和生成特征在最终输出中的比例,使模型能够满足连续分辨率的要求。

隐式神经表示

想要理解什么是隐式神经表示,我们首先要理解什么是隐式表示

隐式表示

现实世界有很多东西是不能用一个公式或事物直接表示出来,需要用一些其他可以直接表示的事物间接表示,这就是隐式表示。当然,并不是说只有难以直接表示的东西才能使用隐式表示。

例:y = ax + b
那么x可以由y表示出来:x = y/a - b
下图中粉色部分所代表的图形就是根据两个半圆容斥出来的,这也算是隐式表示。
image

隐式神经表示

这是一种神经网络模型。图像常见表现形式为离散的像素点,但是在现实世界中,我们所看到的世界是连续的或者说近似连续的。因此我们可以考虑用一个连续函数来表示图片的状态,但是这些函数通常不具有解析性,即我们无法”写下“将自然图像参数化为数学公式的函数。而神经网络可以对某个函数进行逼近得到近似解,所以我们可以训练一个神经网络对图像进行近似表示。

去噪扩散模型(DDPM - Denoising Diffusion Probabilistic Model 扩散概率模型)

标签:Diffusion,表示,Models,模型,IDM,图像,Resolution,隐式,分辨率
From: https://www.cnblogs.com/TTS-TTS/p/17758222.html

相关文章

  • 论文阅读(一)—— Adding Conditional Control to Text-to-Image Diffusion Models
    ......
  • WSL docker环境中运行StableDiffusion
    教程来源RunningStableDiffusionWebUIUsingDocker|SygilWebUI(sygil-dev.github.io)1.安装运行的依赖环境1.1安装docker (https://docs.docker.com/engine/install/#supported-platforms)1.2 https://docs.nvidia.com/datacenter/cloud-native/container-toolk......
  • 使用 Stable Diffusion 本地版时遇到显卡驱动过旧的问题
    我本地安装了一个StableDiffusion,使用它生成图片时,遇到了如下错误消息:BC:\WINDOWS\systvenv"C:\app\stable-diffusion-webui-master\venv\Scripts\Python.exe"Python3.10.8(tags/v3.10.8:aaaf517,Oct112022,16:50:30)[MScv.193364bit(AMD64)]Commithash:Trac......
  • Stable Diffusion 里 GFPGAN、ESRGAN 和 RealESRGAN 的功能介绍
    StableDiffusion是一个深度学习技术,主要用于图像生成和图像增强任务。它的核心思想是通过稳定的训练过程来生成高质量的图像,同时提供了一种用于生成和增强图像的框架。在StableDiffusion中,GFPGAN、ESRGAN和RealESRGAN都是与图像生成和增强相关的功能,它们各自有不同的应用......
  • Stable Diffusion 本地安装步骤
    StableDiffusion是一种开源机器学习模型,可以从文本生成图像,根据文本修改图像,或者在低分辨率或低细节图像上填充细节。StableDiffusion已经过数十亿张图像的训练,可以产生与从DALL-E2和MidJourney获得的结果相当的结果。它由StabilityAI开发,并于2022年8月22日首......
  • 什么是 Stable Diffusion 中的 Masking
    StableDiffusion是一种深度学习技术,主要用于生成式对抗网络(GANs)的训练。这一技术旨在提高生成图像和视频的质量和稳定性。StableDiffusion引入了一种称为"masking"的功能,用于改进训练的效果。在本文中,我将详细介绍StableDiffusion中masking的具体含义,并通过示例来说明......
  • Stable Diffusion扩散模型
    人像生成模型1.模型理论基础扩散模型(DiffusionModel):1.1DiffusionModel原理首先,DenoiseModel 需要一个起始的噪声图像作为输入。这个噪声图像可以是完全随机的,也可以是一些特定的模式(如 高斯分布)或者形状。-接下来,随着denoise的不断进行,图像的细节信息会逐渐浮现......
  • Stable Diffusion 的工作原理
    StableDiffusion是一种深度学习技术,主要用于生成式对抗网络(GANs)的训练。这一技术旨在提高生成图像和视频的质量和稳定性。StableDiffusion引入了一种称为"masking"的功能,用于改进训练的效果。在本文中,我将详细介绍StableDiffusion中masking的具体含义,并通过示例来说明......
  • stable-diffusion-webui Github 代码仓库的介绍
    stable-diffusion-webui:一个基于Web的稳定梯度流生成模型训练工具stable-diffusion-webui是一个位于GitHub上的开源代码仓库,地址为https://github.com/AUTOMATIC1111/stable-diffusion-webui。该仓库提供了一个基于Web的用户界面,旨在简化使用StableDiffusion这一生成模......
  • Stable Diffusion 的工作原理介绍
    StableDiffusion:一个强大的生成模型训练工具StableDiffusion是一个强大的生成模型训练工具,它在机器学习领域引起了广泛的关注和研究。该工具的核心思想是通过稳定的梯度流来训练生成模型,从而提高生成图像和数据的质量。本文将详细介绍StableDiffusion的背景、原理、应用......