首页 > 其他分享 >2024CVPR_Low-light Image Enhancement via CLIP-Fourier Guided Wavelet Diffusion(CFWD)

2024CVPR_Low-light Image Enhancement via CLIP-Fourier Guided Wavelet Diffusion(CFWD)

时间:2024-05-08 14:11:26浏览次数:15  
标签:Diffusion 模态 via CLIP DWT 变换 CFWD 图像

一、Motivation

1、单模态监督问题:大多数方法往往只考虑从图像层面监督增强过程,而忽略了图像的详细重建和多模态语义对特征空间的指导作用。这种单模态监督导致不确定区域的次优重建和较差的局部结构,导致视觉结果不理想的出现。------》扩散模型缺乏有效性约束,容易出现多种生成效应

2、简单的引入CLIP问题:因为图像损坏给特征对齐带来了困难,导致视觉语言模型无法有效地捕获退化图像和语义之间的细粒度差距,所以简单地引入视觉语言信息并不能获得显著的性能

二、Contribution

1、网络结构:CLIP-Fourier Guided Wavelet Diffusion (CFWD). 将多模态引入到扩散模型中用于低光图像增强

2、多模态监督:首次将频域空间与多模态相结合,设计了多层次视觉语言导引网络------> 解决多模态特征对齐问题

3、高频混合空间:小波变换与傅里叶变换的有效结合,构建了具有高频混合空间,对扩散模型生成多样性的有效约束

 

三、Network

 

 1. 前向加噪过程:首先将正常光照图像IH通过离散小波变换(DWT会进行下采样操作)得到AHK,分辨率变为原来的1/4.

K-DWT: 大佬链接:https://blog.csdn.net/qq_43426078/article/details/124130531

                       

 先将正常光照图像经过K-DWT(离散小波变换)产生1/4尺寸的低频域,之后前向加噪声

 2. 反向去噪过程:

首先将低光照图像经过K-DWT(离散小波变换)产生1/4尺寸的低频域 + T时刻的噪声  产生 预测的粗糙的增强图像

 没懂Inverse Inference过程为什么会产生多个样本

 

 

四、Experiments

标签:Diffusion,模态,via,CLIP,DWT,变换,CFWD,图像
From: https://www.cnblogs.com/yyhappy/p/18178993

相关文章

  • 「Java开发指南」如何用MyEclipse搭建GWT 2.1和Spring?(一)
    本教程将指导您如何生成一个可运行的GoogleWebToolkit(GWT)2.1和Spring应用程序,该应用程序为域模型实现了CRUD应用程序模式。在本教程中,您将学习如何:安装GoogleEclipse插件为GWT配置一个项目搭建从数据库表到一个现有的项目GWT编译部署应用程序注意:自定义Spring代码......
  • Stable Diffusion webui.sh(Version: v1.9.3)选项翻译
    补充解释:Linux/iOS的目录==Windows文件夹options选项:-h,--help显示帮助信息并退出程序 showthishelpmessageandexit--update-all-extensions在启动时更新所有扩展插件 (此为launch.py脚本的参数,下同)launch.pyargument:downloadupdatesforallextensi......
  • python利用stable-diffusion-webui画图
    官网https://github.com/AUTOMATIC1111/stable-diffusion-webui免python版本https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/tag/v1.0.0-pre先把源码,克隆到本地,conda创建一个虚拟环境gitclonehttps://github.com/AUTOMATIC1111/stable-diffusion-webui......
  • stable-diffusion-webui安装roop插件
    roop插件安装方法可参考此篇文章https://zhuanlan.zhihu.com/p/640798942安装后启动可能会报以下错误1.ModuleNotFoundError:Nomodulenamed'xxx'这个是因为stable-diffusion-webui使用的是stable-diffusion-webui目录下的venv下的环境,本地python里虽然有对应的包(如果没有则......
  • mac 本地部署Stable Diffusion
    先参考这篇文章https://blog.csdn.net/u011886447/article/details/131778168一、引言相继在两个云平台Kaggle和AutoDL上部署了StableDiffusion后,这周决定再在Mac本地部署一下StableDiffusion!其实看StableDiffusionWebUI的Github官网,步骤还是比较清晰简单的。......
  • 关于diffusion model一些统计和数学的基础知识
    likelihood-basedmodels,通过(近似)最大似然直接学习分布的probabilitydensity(或mass)函数。典型的基于似然的模型包括自回归模型、归一化流模型、基于能量的模型(EBMs)和变分自编码器(VAEs)。概率质量函数(ProbabilityMassFunction,PMF):概率质量函数用于描述离散随机变量的概率......
  • Eclipse Memory Analyzer (MAT)的安装后提示JDK版本不对要升级到jdk_17
    背景在启动MAT分析内存时报错:Version1.8.0ofthejvmisnotsuitableforthisproduct,Version17orgreaterisrequired。问题原因很明显,我电脑的JDK和JRE的环境是1.8,需要提升版本:提示需要JDK11才可以运行,但是我的环境变量配置的是JDK8,这咋整?不想更改环境变量中的JDK配置......
  • NOISEDIFFUSION: 改进基于扩散模型的球面线性插值
    Motivation:1.改进自然图像的插值质量:现有的图像插值方法,尤其是那些基于扩散模型的方法,通常在处理非模型生成的自然图像时遇到困难。这些方法往往不能有效地处理自然图像中的复杂和多样的噪声分布,导致插值结果不自然或有明显的图像伪影。2.处理编码噪声的无效性:在图像插值过程......
  • WPF MVVM Datagrid Selected Multiple items via behavior interaction.trigger,event
    1.Install Microsoft.Xaml.Behaviors.WpffromNuget;2.Addbehaviorreferenceinxamlxmlns:behavior="http://schemas.microsoft.com/xaml/behaviors"3.Passmethodtomvvmviabehavior,interaction,trigger,eventname,TargetObject,MethodNameinxaml......
  • 如何下载Junit并在eclipse上配置Junit
    点击链接DownloadandInstall·junit-team/junit4Wiki·GitHub点击junit.jar选择下载junit4.13.2版本的话直接下载junit-4.13.2.jar,这里下载的是4.10版本,所以点击../ 选择其他的版本点击4.10/,下载junit-4.10.jar这样就下载好junit了,接下来在eclipse上配置junit......