首页 > 其他分享 >2023CVPR_Low-Light Image Enhancement via Structure Modeling and Guidance(代码暂无公布)

2023CVPR_Low-Light Image Enhancement via Structure Modeling and Guidance(代码暂无公布)

时间:2023-05-30 15:35:00浏览次数:68  
标签:via 特征 Light Image 信息 图像增强 Guided Structure 结构

大佬链接:CVPR2023 低光照图像增强论文阅读 基于结构先验的图像增强 - 知乎 (zhihu.com)

一 motivation

1. 现有低光照图像增强方法忽视了在低光照区域结构信息建模对增强的作用(ignore the explicit modeling of structural details in dark areas)从而导致增强效果不理想,比如细节模糊。

2. 虽然有些方法提出利用边缘结构信息去增强,但是他们经常不能得到理想的边缘结构信息引文低光照的影响。

二 contribution

1 提出了一种新的低光增强框架,通过同时进行结构建模和引导来促进外观增强。

2 提出了一种基于GAN Loss的模型去对结构信息建模

三 Method

Network

分解:

(1) 图像增强:使用了一个U-Net结构进行增强得到Ia ,   网络结构使用的是

 

 

 约束:重建损失和感知损失

 (2)

 SAFE:Structure-Aware Feature Extractor 

对于输入特征图,首先计算八个方向的梯度,使用一阶梯度,得到的是八个方向的梯度特征图加上一个原本的空间特征图。然后分别通过一个Long-Range Encoder (LRE)模块和 Short-Range Encoder (SRE)模块得到全局特征和局部特征,其实就是Transformer和CNN双支路。然后再通过一个Long-Short-Range Fusion (LSR-F)模块去融合,结构论文里说了是MLP结构。最后,还要通过一个Gradient Fusion (Grad-F) 模块去融合提取到的梯度的特征和空间特征图

约束:二元交叉熵损失     真值   , C is the Canny detector,   C边缘检测的方法:

 SAG: Structure-Aware StyleGAN Generator

得到结构特征提取编码器的最后一层特征以后,根据StyleGAN的理论,将提取到的特征通过一个mapping network(全连接层)到隐空间。

约束:

 

(3)Structure-Guided Enhancement Module:

 

得到建模的结构信息后,进行基于结构信息指导的增强Structure-Guided Enhancement Module。这里提出了一个基于结构信息的特征融合,其中包含一个结构信息指导的卷积Structure Guided Convolutions (SGC)和结构信息指导的归一化Structure Guided Normalizations (SGN)模块。

Structure Guided Convolutions (SGC) :

用得到的结构信息图预测出一个卷积核与原来的特征图做卷积。

Structure Guided Normalizations (SGN):

用得到的结构信息图预测出α,γ,然后原来的特征图乘以α再加上γ,最后加上一个残差连接。

 约束:重建损失和感知损失

 

标签:via,特征,Light,Image,信息,图像增强,Guided,Structure,结构
From: https://www.cnblogs.com/yyhappy/p/17443366.html

相关文章

  • MagickImage 压缩图片,JPEG2000压缩方式
    1、nuget引用通过命令或者界面引用MagickImage包2、压缩图片采用JPEG2000压缩方式,压缩质量因子Quality可以根据自己需要调节publicstaticvoidJPEG2000Compression(){varinputFilePath=@"C:\Users\Administrator\Desktop\input.tif";......
  • Generative AI 新世界 | 走进文生图(Text-to-Image)领域
    在之前的四篇“GenerativeAI新世界”中,我们带领大家一起探索了生成式AI(GenerativeAI),以及大型语言模型(LLMs)的全新世界概览。并在文本生成(TextGeneration)领域做了一些概述、相关论文解读、以及在亚马逊云科技的落地实践和动手实验。亚马逊云科技开发者社区为开发者们提供......
  • [CVPR23 Highlight] Side Adapter Network for Open-Vocabulary Semantic Segmentatio
    **摘要本文提出了一个用于开放词汇语义分割的新框架SAN,将语义分割任务建模为区域识别问题,提取maskproposals并使用CLIP对mask进行识别。SAN可以重新利用CLIP的特征,因此其本身可以非常轻量;同时网络可以端到端地进行训练,从而使SAN适应冻结的CLIP模型。本文方法需要很少的参数量,且......
  • EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought
     Abstract:具身人工智能(Embodied AI)让机器人有规划、执行动作序列的能力,以在物理环境中完成长期任务。本文提出EmbodiedGPT,它是一个端到端的多模态基础模型,赋予具身代理多模态理解和执行能力。本文的贡献主要有三点:制作了一个大规模的具身规划数据集EgoCOT。该数据集包含......
  • python+playwright 学习-66 highlight 调试定位时高亮显示元素
    前言highlight()方法是通过高亮显示元素,在调试中有很大优势,可以清楚看到定位的元素所在的位置遇到的问题使用示例:点百度页面,定位文本元素“新闻”后点击fromplaywright.sync_apiimportsync_playwright#上海悠悠wx:283340479#blog:https://www.cnblogs.com/yoyoket......
  • Rockchip RK3399 - 移植uboot 2023.04和内核FIT uImage制作
    ----------------------------------------------------------------------------------------------------------------------------开发板:NanoPC-T4开发板eMMC:16GBLPDDR3:4GB显示屏:15.6HDMI接口显示屏u-boot:2023.04linux  :5.2.8------------------------------------------......
  • [论文速览] MAGE@MAsked Generative Encoder to Unify Representation Learning and I
    Pretitle:MAGE:MAskedGenerativeEncodertoUnifyRepresentationLearningandImageSynthesisaccepted:CVPR2023paper:https://arxiv.org/abs/2211.09117code:https://github.com/LTH14/mageref:https://mp.weixin.qq.com/s/AfWWwrEpYAHI03tIzVxMiQ关键词:Repre......
  • Lightroom Classic 2022(lrc2022)中文版 win/mac
    LightroomClassic2022是Adobe公司推出的一款图像处理软件,主要用于数字照片的编辑、整理和输出。它提供了丰富的编辑工具和管理功能,可以帮助用户高效地管理和处理数千张照片。在2022年版本中,增加了新的功能,如批量编辑、智能搜索、更快的性能和改进的界面等。主要特点包括:统一的......
  • 微信小程序常用的view、text、button、image组件
    【黑马程序员前端微信小程序开发教程,微信小程序从基础到发布全流程_企业级商城实战(含uni-app项目多端部署)】https://www.bilibili.com/video/BV1834y1676P/?p=9&share_source=copy_web&vd_source=03c1dc52eeb3747825ecad0412c18ab1这个系列是用来放代码的,方便view普通视图......
  • Wimlib-imagex 1.14.1和ImageX Tool for Windows Version: 10.0.10011.16384是两款不
    Wimlib-imagex1.14.1和ImageXToolforWindowsVersion:10.0.10011.16384是两款不同的Windows镜像工具,它们之间存在一些区别。开发者不同:Wimlib-imagex是由OpenSourceCommunity开发的自由开源软件,而ImageXToolforWindows是Microsoft开发的商业软件。编写语言不同:Wi......