首页 > 其他分享 >QARV: Quantization-Aware ResNet VAE for Lossy Image Compression

QARV: Quantization-Aware ResNet VAE for Lossy Image Compression

时间:2023-12-27 17:14:17浏览次数:30  
标签:Compression Aware 模型 ResNet VAE Quantization QARV

目录
什么是Quantization-Aware量化感知?

简介

该文章基于VAE提出一种新的有损图像压缩方法,起名叫quantization-aware ResNet VAE (QARV). 这种方法集成了测试时间量化和量化感知训练,没有它就无法进行熵编码
除此之外还专门设计了用于快速解码的QARV网络结构,并为可变速率压缩提出自适应归一化操作。

创新之处

  • 提出了一个算法模型,实现了更快的解码速度和更好的R-D性能。
  • 为实现可变速率图像压缩,提出自适应归一化层AdaLN
  • 总的来说,提出一种新的神经网络模型(QARV)。他的设计更简单,没有上下文模型;更灵活,速率可变,具有层次结构。 与现有模型相比,具有快速地CPU解码。

模型结构

实验结果

标签:Compression,Aware,模型,ResNet,VAE,Quantization,QARV
From: https://www.cnblogs.com/CLGYPYJ/p/17928972.html

相关文章

  • 利用 FCN 使得 ResNet 允许任意大小图片输入
    阅读这个网站写的一些备忘。通过少量修改ResNet18网络结构的形式,对全卷积网络方案一窥究竟。允许网络输入任意大小的图像一般的卷积网络,会因为全连接层nn.Linear的存在,而仅允许固定大小的图像输入。全卷积网络FCN使用1×1的卷积核,回避了全连接层的缺陷。不摒弃全连接......
  • FLAC: Federated Learning with Autoencoder Compression and Convergence Guarantee-
    目的:减少通信量(成本),例如VGGNet架构具有大约1.38亿个参数(4264Mb)方法:具有自动编码器压缩(AutoencoderCompression)且具有收敛保证(ConvergenceGuarantee);利用冗余信息(theredundantinformation)和FL的迭代纠错能力(iterativeerror-correctingcapabilityofFL)来压缩client的模型,......
  • Deep Residual Learning for Image Recognition:ResNet
    DeepResidualLearningforImageRecognition*Authors:[[KaimingHe]],[[XiangyuZhang]],[[ShaoqingRen]],[[JianSun]]DOI:10.1109/CVPR.2016.90初读印象comment::(ResNet)提出残差链接以解决网络训练效率随着深度增加而下降的情况。Why网络深度对图像识别......
  • The Devil Is in the Details: Window-based Attention for Image Compression
    目录简介简介基于CNN的模型的一个主要缺点是cNN结构不是为捕捉局部冗余而设计的,尤其是非重复纹理,这严重影响了重建质量。受视觉转换器(ViT)和SwinTransformer最新进展的启发,我们发现将局部感知注意机制与全局相关特征学习相结合可以满足图像压缩的期望。介绍了一种更简单有效......
  • VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR
    abstruct描述了一个变分自编码器的端到端图像压缩模型。这个模型结合了超先验来捕获潜在表示的空间依赖性,这种超先验涉及到了边信息。并且改模型与底层的自编码器结合联合训练一个复杂的先验。introduction熵编码依赖于编码器和解码器都知道的量化表示的先验概率模型(熵模型)。这......
  • Joint Autoregressive and Hierarchical Priors for Learned Image Compression
    abstruct最近的图像压缩模型基于自编码器,学习近似可逆的映射(从像素到量化的可逆表示),这些与熵模型(潜在表示的先验)结合,可以与标准算术编码算法一起使用产生压缩比特流。与简单的全因子先验相比,分层熵模型可以利用更多潜变量中的结构,从而在保存端到端优化的同时提高压缩性能。众所周......
  • Conditional Probability Models for Deep Image Compression
    \(\quad\)在自编码器中使用深度网络已成为有前途的研究方向,这种学习网络有两个挑战:处理量化与控制reconstructionerror(distortion)entropy(rate)ofthelatentimagerepresentation之间的权衡(rate都用熵表示吗?)introduction\(\quad\)训练这种基于网络的压缩方法有一个......
  • Keras_Quantization
    PTQ训练后量化的实现代码;过程:权重量化;infer校准数据集统计示例代码:QAT量化训练的实现代码;过程(量化后小模型平均精度损失1~2个点)训练模拟顶点模型(卷积参数为定点数,batchnormalization参数为高精度浮点数)combinesbatchnormalizationwiththeprecedingconvoluti......
  • Checkerboard Context Model for Efficient Learned Image Compression
    目录AbstractIntroductionPreliminary初步介绍VariationalImageCompressionwithHyperprior(超先验变分图像压缩)AutoregressiveContext(自回归上下文模型)ParallelContextModeling并行上下文模型Random-MaskModel:TestArbitraryMasks(随机掩码模型)HowDistanceInfl......
  • ELIC: Efficient Learned Image Compression with Unevenly Grouped Space-Channel Co
    abstruct\(\quad\)受能量压缩表现的启发,提出了不均匀通道情况自适应编码.结合不均匀分组模型和现有上下文模型,获得一种空间通道上下文自适应模型,来提高编码性能,而不影响其运行时间。\(\quad\)这种模型支持预览解码和渐进解码。introduction学习图像压缩中最重要的技术联合前......