首页 > 其他分享 >2023ICCV_Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

2023ICCV_Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

时间:2023-10-12 11:00:42浏览次数:39  
标签:Transformer psnr Retinex img light Image 亮度 based

一. Motivation

(1) Retinex理论没有考虑到噪声,并且基于Retinex分解的网络通常需要很多阶段训练。

(2)直接使用从CNN从低光图像到正常光图像的映射忽略了人类的颜色感知,CNN更适合捕获局部信息,对于捕获远程依赖和非局部自相似性方面存在局限。

二.Contribution

(1) 设计了一个阶段的Retinex框架用来分解光照信息

(2)Transformer在捕获非局部有很大的优势,但是直接使用Transformer计算复杂度太高,所以提出了IGA进行更一步的损坏恢复

三.Network

 训练分为两个阶段(i) 光照估计------>生成亮度图(在代码中看到依旧是特征)和亮度特征   (ii)修复-------> 使用transformer捕获全局信息进行修复

(i) illumination Estimator阶段

 输入是Input Image   和 Iiilmination Prior    concat后的一起送入网络

:是沿通道维度计算每个像素的平均值

concat后的首先进入一个1×1卷积,在进入一个5×5卷积(注:网络给的是9×9,但是代码是5×5)输出 Light-up Feature ,再经过一个1×1卷积输出亮度图 Light-up Map

(ii)Corruption Restorer – Illumination-Guided Transformer

 输入: 亮度图Lit-up Image与输入Input Image逐元素相乘后再与输入Input Image进行相加后送如Restorer阶段

input_img = img * illu_map + img
output_img = self.denoiser(input_img,illu_fea)

Restorer阶段采用的U-Net结构,其中IGAB是利用transformer设计的网络结构

 四. 损失函数

目前只看到LOL数据集用的是L1损失,其他数据集待核实

五. 实验结果

代码中好像只保存了best_psnr的结果(难道是得到最优psnr直接用最优psnr模型计算最优ssim????)

(1)作者提供的代码:目前只跑了LOL-v1数据集结果 best_psnr=23.64

(2)只使用作者的Retinexformer.py 网络架构,best_psnr=23.28(218epoch) , ssim=0.8271(355epoch)

 

标签:Transformer,psnr,Retinex,img,light,Image,亮度,based
From: https://www.cnblogs.com/yyhappy/p/17759004.html

相关文章

  • Attribute Based Group Signature with Revocation
    AttributeBasedGroupSignatureswerefirstintroducedin[12].Itwasproposedtoservethepurposeofincludingattributesinagroupsignaturescheme.GroupSignaturesallowamemberofagrouptosignonbehalfoftheotherswhileinABGSschemesthe......
  • A Lightweight Method for Modeling Confidence in Recommendations with Learned Bet
    ALightweightMethodforModelingConfidenceinRecommendationswithLearnedBetaDistributions论文阅读笔记摘要​ 大多数推荐系统并不提供对其决策信心的指示。因此,他们不区分确定的建议和不确定的建议。现有的RecSys置信方法要么是不准确的启发式,要么是在概念上复杂,因......
  • Transformer
    importmathimporttorchfromtorchimportnnimportmatplotlib.pyplotaspltfromd2limporttorchasd2ldefsequence_mask(X,valid_len,value=0):"""在序列中屏蔽不相关的项"""max_len=X.size(1)mask=torch.arange((max......
  • Codeforces Round 707 (Div. 2, based on Moscow Open Olympiad in Informatics) B. N
    按以下\(n\)次操作制作蛋糕。叠上第\(i\)块面包,然后浇上\(a_i\)单位的奶油。可以使当前往下\(a_i\)块面包沾上奶油。输出空格隔开的\(n\)个数,第\(i\)个的\(0/1\)代表第\(i\)块面包是否沾有奶油。比较显然的思路可以进行差分修改。view1#include<bits/std......
  • Codeforces Round 902 (Div. 2, based on COMPFEST 15 - Final Round)
    目录写在前面ABCDE写在最后写在前面比赛地址:https://codeforces.com/contest/1877。呜呜铃果唱歌太好听了、、、我宣布是第二喜欢的声线,第三喜欢是东北切蒲英,第一喜欢绝赞招募中。这下不得不成为数码推了、、、A答案为\(-\suma_i\)。懒得写代数式子推了,赛时看完题直接......
  • Personalized Transformer for Explainable Recommendation论文阅读笔记
    PersonalizedTransformerforExplainableRecommendation论文阅读笔记摘要​ 自然语言生成的个性化在大量任务中都起着至关重要的作用。比如可解释的推荐,评审总结和对话系统等。在这些任务中,用户和项目ID是个性化的重要标识符。虽然Transfomer拥有强大的语言建模能力,但是没有......
  • (2023年新疆大学、中科院等点云分类最新综述) Deep learning-based 3D point cloud cl
    目录1、引言2、3D数据2.1、3D数据表示形式2.2、点云数据存储格式2.3、3D点云公共数据集3、基于深度学习的点云分类方法3.1、基于多视角的方法3.2、基于体素的方法3.3、基于点云的方法3.3.1局部特征聚合3.3.1.1基于逐点处理的方法3.3.1.2基于卷积的方法3.3.1.3基于图的方法3.3.1......
  • Codeforces Round 902 (Div. 2, based on COMPFEST 15 - Final Round)
    Preface难得这么好时间的CF,我直接找来队友组队练题当然比赛的过程没有三人三机,就跟平时训练一样搞了个新号三人一机的写中间因为溜去先看F了导致E题留给徐神solo因此出的偏慢,不过后面一起讨论了一下还是出了最后开F结果好家伙我和祁神双双看错题,对着假题意苦战1h最后无奈投降,......
  • ICCV 2023 | 当尺度感知调制遇上Transformer,会碰撞出怎样的火花?
    作者|AFzzz1文章介绍近年来,基于Transformer和CNN的视觉基础模型取得巨大成功。有许多研究进一步地将Transformer结构与CNN架构结合,设计出了更为高效的hybridCNN-TransformerNetwork,但它们的精度仍然不尽如意。本文介绍了一种新的基础模型SMT(Scale-AwareModulationTransformer......
  • Codeforces Round 902 (Div. 1, based on COMPFEST 15 - Final Round) A~D
    A.HelmetsinNightLight首先注意到一个关键性质\(b_i\geq1\),这就意味着当我们花\(p\)的代价解锁了\(b_i\)最小的后,仅凭接下来的“连锁反应”就能解锁全部的点。注意到我们“连锁反应”的一定是按\(b_i\)从小到大排序后的一段前缀(因为越往后连锁代价越昂贵),找到转折点......