Super Efficient Neural Network for Compression Artifacts Reduction and Super Resolution
Amazon Lab126（亚马逊Lab126）
针对流媒体低码率下压缩伪影及现有方法无法同步消伪影与超分的问题，提出带增强特征层和定制数据集的轻量CNN算法，可同步完成两项任务，VMAF得分较传统方法提升4-6分。
2024-01-26 cs.CV eess.IV
A Comprehensive Benchmark for Single Image Compression Artifacts Reduction
我们提出了一个全面的研究和评估现有的单图像压缩伪影去除算法，使用一个新的4K分辨率基准，包括多样化的前景物体和背景场景丰富的结构，称为大规模理想超高清4K（LIU4K）基准。压缩伪影去除作为一种常见的后处理技术，旨在减轻压缩过程中由量化和近似引起的不期望的伪影，诸如块效应、振铃和条带。在这项工作中，基于其基本模型（手工模型和深度网络），系统地列出了已审查的方法。这些方法的主要贡献和新颖性，并总结了主要的发展方向，包括架构，多域源，信号结构，和新的目标单元，。此外，基于统一的深度学习配置（即相同的训练数据，损失函数，优化算法等），我们基于多样化的评估措施来评估最近的基于深度学习的方法。实验结果表明，现有的方法的最先进的性能比较的基础上完全引用，非引用和任务驱动的指标。本文的研究为今后单幅图像压缩伪影去除的研究提供了一个全面的参考来源，并启发了相关领域的新方向。
2019-09-09 cs.CV eess.IV
An End-to-End Compression Framework Based on Convolutional Neural Networks
Harbin Institute of Technology（哈尔滨工业大学）
深度学习，例如，卷积神经网络（CNN）在图像处理和计算机视觉中取得了巨大的成功，特别是在高级视觉应用中，如识别和理解。然而，它很少被用于解决低层次的视觉问题，如图像压缩，本文研究。在这里，我们向前迈进了一步，提出了一种基于CNN的新型压缩框架。为了在低比特率下实现高质量的图像压缩，两个CNN无缝集成到端到端压缩框架中。第一个CNN，称为紧凑卷积神经网络（ComCNN），从输入图像学习最佳紧凑表示，其保留结构信息，然后使用图像编解码器（例如，JPEG、JPEG 2000或BPG）。第二种CNN称为重建卷积神经网络（RecCNN），用于在解码端重建高质量的解码图像。为了使两个CNN有效协作，我们开发了一个统一的端到端学习算法来同时学习ComCNN和RecCNN，这有助于使用RecCNN准确重建解码图像。这样的设计还使得所提出的压缩框架与现有的图像编码标准兼容。实验结果验证了所提出的压缩框架大大优于几个压缩框架，使用现有的图像编码标准与国家的最先进的去块或去噪后处理方法。
2017-08-02 cs.CV
Deep Convolutional AutoEncoder-based Lossy Image Compression
Waseda University（早稻田大学）
图像压缩作为一个基础研究课题已经研究了几十年。最近，深度学习在许多计算机视觉任务中取得了巨大成功，并逐渐被用于图像压缩。在本文中，我们提出了一种有损图像压缩架构，它利用卷积自动编码器（CAE）的优点，以实现高的编码效率。首先，我们设计了一个新的CAE架构，以取代传统的转换和训练这个CAE使用率失真损失函数。其次，为了生成一个更节能的表示，我们利用主成分分析（PCA）旋转CAE产生的特征图，然后应用量化和熵编码器生成代码。实验结果表明，我们的方法优于传统的图像编码算法，通过实现13.7%的BD率减少柯达数据库图像相比，JPEG 2000。此外，我们的方法保持了适度的复杂度类似于JPEG 2000。
2018-04-25 cs.CV
Target-Quality Image Compression with Recurrent, Convolutional Neural Networks
Google Research（谷歌研究院）
我们介绍了一个停止码容忍（SCT）的方法来训练经常性的卷积神经网络的有损图像压缩。我们的方法引入了多遍训练方法，以结合停止码掩蔽周围区域以及高度详细区域中高质量重建的训练目标。这些方法对于给定的递归计数导致较低的真实比特率，无论是前熵编码还是后熵编码，甚至使用非结构化LZ 77代码压缩。前LZ 77增益是通过修剪停止代码实现的。LZ 77后的增益是由于SCT架构中0/1码的高度不均匀分布。通过这些代码压缩，SCT架构在所有压缩率下都能保持或超过Kodak数据集上的JPEG和RNN自动编码器的图像质量。此外，SCT编码导致图像质量在整个图像范围内的较低变化，这是一个已经被证明在图像质量的人类评级中很重要的特性
2017-05-18 cs.CV
JPEG AI Image Compression Visual Artifacts: Detection Methods and Dataset
MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对神经网络图像压缩引入的视觉伪影问题，提出检测、定位和量化三种伪影的方法，并构建了经众包验证的包含46,440个伪影的数据集，以辅助测试和改进神经编解码器。
2024-11-11 cs.AI cs.CV cs.MM
Learning Filter Basis for Convolutional Neural Network Compression
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
基于卷积神经网络（CNN）的解决方案已经为许多计算机视觉任务（包括图像的分类和超分辨率）实现了最先进的性能。通常，这些方法的成功伴随着数百万个参数的成本，这是由于堆叠深度卷积层。此外，相当大量的滤波器也用于单个卷积层，这夸大了当前方法的参数负担。因此，在本文中，我们试图通过学习卷积层中滤波器的基础来减少CNN的参数数量。对于前向传递，学习的基础用于近似原始滤波器，然后用作卷积层的参数。我们在图像分类和图像超分辨率基准上验证了我们提出的多个CNN架构的解决方案，并在减少参数和保持准确性方面与现有的最先进技术进行了比较。
2019-12-23 cs.CV
Sensitivity Decouple Learning for Image Compression Artifacts Reduction
Huawei Technologies Company, Ltd（华为技术有限公司）；Beihang University（北京航空航天大学）；Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）
针对现有图像压缩伪影减少方法忽略压缩图像内在属性、损害下游任务性能的问题，提出将属性解耦为压缩不敏感和敏感特征的DAGN网络，在多数据集上实现了优于现有方法的性能与效率。
2024-05-15 cs.AI cs.CV eess.IV
Learning Convolutional Networks for Content-weighted Image Compression
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
有损图像压缩通常被公式化为学习编码器、量化器和解码器的联合率失真优化。然而，量化器是不可微的，并且离散熵估计通常需要用于速率控制。这些使得开发基于卷积网络（CNN）的图像压缩系统非常具有挑战性。在本文中，由于图像中的局部信息内容是空间变化的，我们建议图像的不同部分的比特率应该适应于局部内容。并且在内容加权重要性图的指导下分配内容感知比特率。因此，重要性图的总和可以作为离散熵估计的连续替代来控制压缩率。由于二值化方案也是由重要性图直接定义的，因此采用二值化器对编码器的输出进行二值化。此外，引入代理函数，使反向传播中的二元运算可微。因此，编码器，解码器，二进制化器和重要性映射可以通过使用ImageNet数据库的子集以端到端的方式联合优化。在低比特率图像压缩中，实验结果表明，该系统在结构相似性（SSIM）指标上明显优于JPEG和JPEG2000，并能产生边缘清晰、纹理丰富、伪影较少的视觉效果。
2017-09-19 cs.CV
Mixed-Resolution Image Representation and Compression with Convolutional Neural Networks
Beijing Jiaotong University（北京交通大学）；Taiyuan University of Science and Technology（太原科技大学）
在本文中，我们提出了一个端到端的混合分辨率图像压缩框架与卷积神经网络。首先，给定一幅输入图像，使用特征描述神经网络（FDNN）来生成该图像的新表示，使得与输入图像相比，该图像表示可以被标准编解码器更有效地压缩。此外，我们使用后处理神经网络（PPNN），以消除编码器量化所造成的编码伪影。其次，在低比特率下，图像的大部分比特被图像的结构所消耗，采用低分辨率图像表示以实现高效压缩。然而，在高分辨率下，当大部分结构在高比特率下压缩后已经被保留时，更多的比特应该被分配给图像细节。这是因为低分辨率图像表示不能比高分辨率表示承载超过特定比特率的更多信息。最后，为了解决PPNN网络到FDNN网络的误差反向传播问题，我们引入了学习虚拟编解码器的神经网络来模拟标准压缩和后处理的两个连续过程。客观的实验结果表明，所提出的方法有很大的进步，当比较几个国家的最先进的方法。
2018-08-01 cs.CV
CAS-CNN: A Deep Convolutional Neural Network for Image Compression Artifact Suppression
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
有损图像压缩算法普遍用于减小通过网络传输并记录在数据存储介质上的图像的大小。然而，我们为它们的高压缩率付出了代价，视觉伪影降低了用户体验。深度卷积神经网络已经成为非常成功地解决高级计算机视觉任务的广泛工具。最近，他们已经找到了进入低级计算机视觉和图像处理领域的方法，主要是用相对较浅的网络来解决回归问题。我们提出了一种新的12层深度卷积网络，用于图像压缩伪影抑制，具有分层跳跃连接和多尺度损失函数。我们实现了高达1.79 dB的PSNR提升超过普通JPEG和最高0.36 dB的改善比以前最好的ConvNet的结果。我们表明，针对特定质量因子（QF）训练的网络对用于压缩输入图像的QF具有弹性-针对QF 60训练的单个网络在从40到76的宽QF范围内提供超过1.5 dB的PSNR增益。
2016-11-22 cs.AI cs.CV cs.GR
Learning a Virtual Codec Based on Deep Convolutional Neural Network to Compress Image
Beijing Key Laboratory of Advanced Information Science and Network Technology, Institute Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所，先进信息科学与网络技术北京市重点实验室）；Institute of Digital Media & Communication, Taiyuan University of Science and Technology（太原科技大学数字媒体与通信研究所）
虽然深度卷积神经网络已被证明可以有效地消除传统编解码器的粗量化所导致的编码伪影，但在编码器之前很难训练任何神经网络来进行梯度的反向传播。针对标准编码器中量化函数不可微的问题，提出了一种基于卷积神经网络的端到端图像压缩框架。首先，利用特征描述神经网络在低维空间中对地面真实图像进行有效描述，从而大大减少了存储或传输的图像数据量。在对图像进行有效描述后，再利用JPEG等标准图像编解码器对图像进行进一步压缩，会导致图像的严重失真和压缩伪像，尤其是块效应、细节缺失、模糊和振铃效应。然后，我们使用后处理神经网络来去除这些伪影。由于基于卷积神经网络的标准编解码器直接学习非线性函数的挑战，我们提出学习虚拟编解码器神经网络来近似从有效描述图像到后处理压缩图像的投影，使得梯度可以在训练期间有效地从后处理神经网络反向传播到特征描述神经网络。同时，提出了一种先进的学习算法来训练我们的深度神经网络进行压缩。显然，所提出的方法的优先级是兼容的标准现有的编解码器和我们的学习策略可以很容易地扩展到这些编解码器的基础上卷积神经网络。实验结果表明，所提出的方法相比，一些国家的最先进的方法，特别是在非常低的比特率的进步。
2018-01-16 cs.CV
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Joint Multi-scale Gated Transformer and Prior-guided Convolutional Network for Learned Image Compression
College of Electronics and Information Engineering, Sichuan University（电子信息工程学院，四川大学）
本文提出了一种联合多尺度门控变换器和先验引导卷积网络，用于提升学习图像压缩的性能与效率。
2025-11-30 cs.CV
Quantization Guided JPEG Artifact Correction
JPEG图像压缩算法是最流行的图像压缩方法，因为其具有大压缩比的能力。然而，为了实现这种高压缩，信息丢失。对于激进的量化设置，这会导致图像质量明显降低。在深度神经网络的背景下，已经研究了一段时间的模糊校正，但是目前最先进的方法需要为每个质量设置训练不同的模型，这极大地限制了它们的实际应用。我们解决这个问题，通过创建一个新的架构，这是参数化的JPEG文件的量化矩阵。这使得我们的单个模型能够在针对特定质量设置训练的模型上实现最先进的性能。
2020-07-16 cs.CV cs.LG eess.IV
Convolutional Deep Colorization for Image Compression: A Color Grid Based Approach
Oregon State University（俄勒冈州立大学）
针对图像压缩中颜色数据存储优化问题，提出基于颜色网格的卷积深度着色方法，通过优化卷积着色网络架构，在最小化颜色存储信息的同时实现忠实图像重新着色，取得了良好压缩比和高CSIM值。
2025-02-08 cs.AI cs.CV
Checkerboard-Artifact-Free Image-Enhancement Network Considering Local and Global Features
Tokyo Metropolitan University（东京都立大学）
在本文中，我们提出了一种新的卷积神经网络（CNN），永远不会导致棋盘文物，图像增强。在图像到图像转换问题的研究领域中，众所周知，由通常的CNN生成的图像被棋盘伪影所扭曲，棋盘伪影主要是在上采样层的前向传播中引起的。然而，在图像增强中的棋盘形伪影从未被讨论过。在本文中，我们指出，将基于U-Net的CNN应用于图像增强会导致棋盘状伪影。相比之下，包含固定卷积层的拟议网络可以完美地防止伪影。此外，建议的网络架构，它可以处理本地和全球的功能，使我们能够提高图像增强的性能。实验结果表明，使用固定的卷积层可以防止棋盘状伪影，并且所提出的网络在各种客观质量指标（PSNR，SSIM和NIQE）方面优于最先进的基于CNN的图像增强方法。
2020-10-13 cs.CV eess.IV
X-Ray Image Compression Using Convolutional Recurrent Neural Networks
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
随着数字健康革命的到来，每天都在生成、存储和处理大量的临床数据。这使得存储和检索大量的医疗保健数据，特别是高分辨率的医学图像，特别具有挑战性。因此，医学图像的有效图像压缩在当今的医疗保健信息系统中，特别是在远程放射学中起着至关重要的作用。提出了一种基于卷积循环神经网络RNN-Conv的X射线图像压缩方法。所提出的架构可以在部署过程中提供可变的压缩率，同时它要求每个网络仅针对X射线图像的特定维度进行一次训练。该模型使用多级池化方案，学习上下文化特征以进行有效压缩。我们在美国国立卫生研究院（NIH）ChestX-ray 8数据集上进行了图像压缩实验，并将所提出的架构的性能与最先进的基于RNN的技术和JPEG 2000进行了比较。实验结果表明，该方法在结构相似性指数（SSIM）和峰值信噪比（PSNR）指标方面取得了较好的压缩性能。据我们所知，这是第一次报告使用深度卷积RNN进行医学图像压缩的评估。
2019-05-09 cs.CV eess.IV
Lossless Compression of Mosaic Images with Convolutional Neural Network Prediction
McMaster University（麦克马斯特大学）
我们提出了一个基于CNN的预测无损压缩方案的原始彩色马赛克图像的数码相机。这个专门的应用问题以前没有得到充分研究，但现在变得越来越重要，因为用于图像恢复任务的现代CNN方法（例如，超分辨率、低光照增强、去模糊），必须对原始原始马赛克图像进行操作以获得最佳可能结果。本文的关键创新点是空间-光谱镶嵌模式的高阶非线性CNN预测器。深度学习预测可以更准确地对空间-光谱镶嵌图像中高度复杂的样本依赖性进行建模，从而比现有的图像预测器更彻底地消除统计冗余。实验表明，所提出的CNN预测器实现了前所未有的无损压缩性能的相机原始图像。
2020-01-28 cs.CV eess.IV
CISRDCNN: Super-resolution of compressed images using deep convolutional neural networks
Sichuan University（四川大学）
近年来，人们对图像的超分辨率进行了大量的研究。然而，据我们所知，很少有SR方法与压缩图像有关。压缩图像中存在复杂的压缩伪影，压缩图像的真实感重建是一项具有挑战性的任务，而在实际应用中，许多图像都存在压缩伪影。这个困难任务的直观解决方案是将其解耦为两个顺序但独立的子问题，即，然而，在CAR阶段中可能会去除一些有用的细节，这与SR的目标相反，并且使SR阶段更具挑战性。本文设计了一种端到端可训练的深度卷积神经网络对压缩图像进行SR（CISRDCNN），减少了压缩伪影，同时提高了图像分辨率。在JPEG压缩图像上的实验（本文以JPEG为例）表明，所提出的CISRDCNN在常用的测试图像和图像集上具有最先进的SR性能。CISRDCNN在真实低质量Web图像上的结果也非常令人印象深刻，具有明显的质量增强。此外，我们探讨了所提出的SR方法在低比特率图像编码中的应用，导致比JPEG更好的率失真性能。
2017-09-19 cs.CV
Convolutional Sparse Coding: Boundary Handling Revisited
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Pontificia Universidad Católica del Perú（秘鲁天主教大学）
最近已经提出了两种不同的方法用于卷积稀疏表示中的边界处理，通过将空间掩码引入卷积稀疏编码问题中来避免由使用频域解算方法所隐含的圆形边界条件引起的潜在边界伪影。在本文中，我们表明，在某些情况下，这些方法失败的设计目标，避免边界文物。这种失败的原因进行了讨论，提出了一种解决方案，并说明了在图像去模糊问题的实际影响。
2017-07-20 cs.CV eess.IV
Fully Convolutional Network for Removing DCT Artefacts From Images
Czȩstochowa University of Technology（琴斯托霍瓦科技大学）；University of Social Sciences（社会科学大学）；Information Technology Institute（信息技术研究所）
图像压缩是图像处理的基本方法之一。它最突出的优点是图像尺寸的显着减少，允许更有效的存储和传输。然而，有损压缩与有利于减小其大小的一些图像细节的损失相关联。在压缩图像中，缺陷表现为以伪影形式存在的明显缺陷;最常见的是块伪影、振铃效应或模糊。在本文中，我们提出了三种具有不同配置的全卷积网络模型，并研究了它们在减少压缩伪影方面的能力。在实验中，我们研究了将以与压缩算法类似的方式处理图像的模型的结果改善的程度，以及使用预定义的滤波器的初始化是否允许比仅在学习期间开发的更好的图像重建。
2021-05-24 cs.CV eess.IV
Image Distortion Detection using Convolutional Neural Network
Ajou University（亚洲大学）
图像畸变的分类和检测在许多应用中是一个重要的任务。例如，在压缩图像时，如果我们知道失真的确切位置，则可以通过动态调整局部压缩级别来重新压缩图像。在本文中，我们解决的问题检测的失真区域和分类的失真类型的一个给定的图像。我们表明，我们的模型显着优于最先进的失真分类器，并首次报告准确的检测结果。我们希望这样的结果证明我们的方法在许多潜在的应用，如图像压缩或失真恢复的有用性。
2018-05-28 cs.CV
Efficient and Effective Context-Based Convolutional Entropy Modeling for Image Compression
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
自然图像概率结构的精确估计在图像压缩中起着至关重要的作用。尽管最近端到端优化的图像压缩取得了显著的成功，但为了简化熵建模，通常假设潜码被完全统计地因式分解。然而，这种假设通常不成立，并且可能妨碍压缩性能。在这里，我们提出了基于上下文的卷积网络（CCN），用于高效和有效的熵建模。特别地，引入3D锯齿形扫描顺序和3D代码划分技术来定义用于并行熵解码的适当编码上下文，这两者归结为在CCN的卷积滤波器上放置平移不变的二进制掩码。我们展示了CCN在无损和有损图像压缩中用于熵建模的承诺。对于前者，我们直接将CCN应用于图像的二值化表示，以计算每个代码的Bernoulli分布用于熵估计。对于后者，每个代码的分类分布由高斯分布的离散化混合表示，其参数由三个CCN估计。然后，我们联合优化基于CCN的熵模型以及率失真性能的分析和合成变换。在Kodak和Tecnick数据集上的实验表明，我们提出的CCN方法通常可以实现与最先进技术相当的压缩性能，同时速度更快。
2020-03-28 cs.CV eess.IV
Convolutional Neural Network (CNN) to reduce construction loss in JPEG compression caused by Discrete Fourier Transform (DFT)
Faculty of Computer Science（计算机科学学院）；Selinus University of Sciences and Literature（塞利努斯科学与文学大学）
针对JPEG压缩中DFT周期性导致的图像伪影问题，提出一种基于CNN自编码器的有效图像压缩方法，实验表明该方法能实现更好的图像重建与良好的压缩效果。
2023-07-02 cs.CV cs.LG eess.IV
Image compression using anti-forensics method
Amrita Vishwa Vidyapeetham（阿姆rita大学）
大量的图像取证方法是可用的，能够识别图像篡改。但是这些技术都无法解决图像篡改痕迹隐藏的反取证问题。本文提出了一种数字图像压缩的反取证方法。这种反取证方法能够去除图像压缩的痕迹。此外，该技术还能够去除在压缩过程期间将图像划分为段的图像压缩算法所留下的块伪影的痕迹。该方法针对JPEG压缩中的压缩指纹进行去除。
2013-03-10 cs.CV cs.MM
Early Exit or Not: Resource-Efficient Blind Quality Enhancement for Compressed Images
Beihang University（北京航空航天大学）
有损图像压缩被普遍地进行以节省通信带宽，导致不期望的压缩伪像。近年来，人们提出了大量的方法来减少解码端的图像压缩伪影，但是这些方法需要一系列相同的模型来处理不同质量的图像，效率低下，而且耗费资源。此外，在实际应用中，压缩图像的质量未知是很常见的，现有的方法难以选择一个合适的模型进行盲质量增强。在本文中，我们提出了一种资源有效的盲质量增强（RBQE）的压缩图像的方法。具体来说，我们的方法通过动态深度神经网络（DNN）盲目地逐步提高压缩图像的质量，其中嵌入了早期退出策略。然后，我们的方法可以自动决定终止或继续增强，根据评估质量的增强图像。因此，轻微的伪像可以在更简单和更快的过程中被去除，而严重的伪像可以在更精细的过程中被进一步去除。大量的实验表明，我们的RBQE方法实现了最先进的性能在盲质量增强和资源效率。该代码可在https://github.com/RyanXingQL/RBQE上获得。
2020-10-12 cs.CV eess.IV
Self-Organized Variational Autoencoders (Self-VAE) for Learned Image Compression
Koç University（科奇大学）；Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）
在端到端优化的学习图像压缩中，标准做法是使用具有广义分裂归一化（GDN）的卷积变分自动编码器来将图像变换到潜在空间中。最近，已经提出了从一组备选方案中学习最佳非线性的操作神经网络（ONN）及其自组织变体Self-ONN，通过泰勒级数近似任何非线性，以解决卷积层和固定非线性激活的限制。在本文中，我们建议用自组织操作层取代变分自动编码器中的卷积层和GDN层，并提出一种新的自组织变分自动编码器（Self-VAE）架构，该架构受益于更强的非线性。实验结果表明，所提出的Self-VAE产生率失真性能和感知图像质量的改善。
2021-05-28 cs.CV eess.IV
A Cascaded Convolutional Neural Network for X-ray Low-dose CT Image Denoising
Gordon Center for Medical Imaging, Massachusetts General Hospital and Harvard Medical School（马萨诸塞州总医院与哈佛医学院戈登医学影像中心）
图像去噪技术是降低低剂量CT图像噪声水平和提高诊断可靠性的关键。基于机器学习的去噪方法在去除CT图像中复杂的、空间变化的噪声方面显示出巨大的潜力。但由于噪声的复杂性，去噪后的图像会出现一些残留伪影。在这项工作中，提出了一种级联训练网络，其中将训练好的CNN应用于训练数据集以启动新的训练并去除由去噪引起的伪影。迭代地构建卷积神经网络（CNN）的级联，以利用简单的CNN结构实现更好的性能。在2016年低剂量CT大挑战数据集上进行了实验，以评估该方法的性能。
2017-08-28 cs.CV stat.ML
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））
近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
HiLLoC: Lossless Image Compression with Hierarchical Latent Variable Models
University College London（伦敦大学学院）
我们做出了以下惊人的观察：在32 x32 ImageNet上训练的完全卷积VAE模型可以很好地泛化，不仅可以泛化到64 x64，还可以泛化到更大的照片，而模型没有变化。我们使用这个属性，将完全卷积模型应用于无损压缩，展示了一种方法，可以将基于VAE的“Bits-Back with ANS”算法扩展到大型彩色照片的无损压缩，并实现最先进的全尺寸ImageNet图像压缩。我们发布了Craystack，这是一个开源库，用于使用概率模型方便地进行无损压缩原型设计，以及我们所有压缩结果的完整实现。
2019-12-20 cs.CV cs.LG eess.IV
OAPT: Offset-Aware Partition Transformer for Double JPEG Artifacts Removal
Kuaishou Technology（快手科技）；University of Electronic Science and Technology of China（电子科技大学）
提出用于双重 JPEG 伪影去除的偏移感知分区 Transformer（OAPT），通过压缩偏移预测和混合分区注意力块聚类相似模式，在恢复任务中超越现有最优方法 0.16dB 以上，且其聚类模块可作为插件增强其他方法。
2024-09-25 cs.CV eess.IV
End-to-end optimized image compression with competition of prior distributions
intoPIX（intoPIX公司）；Université catholique de Louvain（鲁汶天主教大学）
卷积自动编码器现在处于图像压缩研究的前沿。为了改进它们的熵编码，通常使用第二自动编码器来分析编码器输出，以生成每个变量的参数化先验概率分布。相反，我们提出了一种压缩方案，该方案使用单个卷积自动编码器和多个学习的先验分布作为专家的竞争。训练的先验分布存储在累积分布函数的静态表中。在推断期间，该表由熵编码器用作查找表以确定每个空间位置的最佳先验。我们的方法提供的率失真性能与预测参数化前，只有一小部分的熵编码和解码的复杂性。
2021-11-17 cs.CV eess.IV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
Compression Artifacts Removal Using Convolutional Neural Networks
本文表明，训练大型深度卷积神经网络（CNN）来减少JPEG压缩伪影是可能的，并且与以前使用的较小网络以及任何其他最先进的方法相比，这种网络可以提供更好的重建质量。我们能够通过结合残差学习、跳过架构和对称权重初始化，在相对较短的时间内单步的训练8层网络。我们通过评估三个不同的目标，相对于训练数据集大小的泛化，以及相对于JPEG质量水平的泛化，进一步深入了解卷积网络的JPEG伪影减少。
2016-05-02 cs.CV
One-to-Many Network for Visually Pleasing Compression Artifacts Reduction
Sun Yat-sen University（中山大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
我们考虑压缩伪影减少问题，其中压缩图像被变换成无伪影图像。用于该问题的最近方法通常使用输出与地面实况之间的每像素$L_2$损失来训练一对一映射。我们指出，这些方法用于产生过度平滑的结果，和PSNR并不能反映他们的真实性能。在本文中，我们提出了一个一对多网络，它使用感知损失，自然度损失和JPEG损失来衡量输出质量。我们还避免了网格状文物在反卷积使用“移位和平均”的策略。广泛的实验结果表明，我们的方法在艺术状态的戏剧性的视觉改善。
2017-04-11 cs.CV
Deep Convolution Networks for Compression Artifacts Reduction
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
有损压缩引入了复杂的压缩伪像，特别是块伪像、振铃效应和模糊。现有的算法要么专注于去除块效应并产生模糊的输出，要么恢复伴随着振铃效应的锐化图像。受深度卷积网络（DCN）在超分辨率上的成功启发，我们制定了一个紧凑而高效的网络，用于无缝衰减不同的压缩伪影。为了满足实际应用的速度要求，我们通过层分解和联合使用大步幅卷积层和去卷积层来进一步加速所提出的基线模型。这也导致了一个更一般的CNN框架，与传统的多层感知器（MLP）有密切的关系。最后，修改后的网络实现了7.5倍的速度，与基线模型相比几乎没有性能损失。我们还证明了一个更深层次的模型可以有效地训练在浅网络中学习的功能。遵循类似的“从易到难”的思路，我们系统地研究了三种实际的迁移设置，并展示了迁移学习在低水平视觉问题中的有效性。我们的方法在基准数据集和真实用例上都显示出比最先进的方法更优越的性能。
2016-08-09 cs.CV
Deep Generative Adversarial Compression Artifact Removal
MICC, University of Florence（佛罗伦萨大学MICC）
每当应用有损压缩算法时，压缩伪影就会出现在图像中。这些伪影消除了原始图像中存在的细节，或增加了噪声和小结构;由于这些影响，它们使图像对人眼来说不那么令人愉快，并且还可能导致计算机视觉算法（例如对象检测器）的性能降低。为了消除这样的伪像，当解压缩图像时，需要从受干扰的版本恢复原始图像。为此，我们提出了一个使用生成对抗框架训练的前馈全卷积残差网络模型。为了提供一个基线，我们证明了我们的模型也可以优化结构相似性（SSIM），这是一个更好的损失相对于更简单的均方误差（MSE）。我们的GAN能够产生比MSE或基于SSIM的网络具有更逼真细节的图像。此外，我们表明，我们的方法可以用作预处理步骤的目标检测的情况下，图像被压缩到一个点，国家的最先进的检测器失败。在这项任务中，我们的GAN方法获得了更好的性能比MSE或SSIM训练的网络。
2017-12-06 cs.CV
Compression-Aware One-Step Diffusion Model for JPEG Artifact Removal
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
提出CODiff单步扩散模型，通过压缩感知视觉嵌入器和双重学习策略高效去除JPEG伪影，在定量与视觉质量上超越现有方法。
2025-07-13 cs.CV
S-Net: A Scalable Convolutional Neural Network for JPEG Compression Artifact Reduction
Zhejiang University（浙江大学）；Sichuan University（四川大学）
最近的研究已经使用深度残差卷积神经网络（CNN）来减少JPEG压缩伪影。这项研究提出了一种可扩展的CNN称为S-Net。我们的方法有效地调整网络规模动态多任务系统的实时操作，几乎没有性能损失。它提供了一种简单而直接的技术来评估随着网络深度的增加而获得的性能增益，并且有助于去除冗余网络层以最大化网络效率。我们使用Keras框架和TensorFlow后端在NVIDIA K80 GPU服务器上实现了我们的架构。我们在DIV 2K数据集上训练我们的模型，并在公共基准数据集上评估它们的性能。为了验证所提出的方法的通用性和普适性，我们创建并使用了一个新的数据集，称为WIN 143，过度处理的图像评估。实验结果表明，我们提出的方法优于其他基于CNN的方法，并达到最先进的性能。
2018-10-18 cs.CV
SODiff: Semantic-Oriented Diffusion Model for JPEG Compression Artifacts Removal
本文提出SODiff，一种面向语义的单步扩散模型，通过引入语义对齐的图像提示提取器和质量因子感知时间预测器，有效指导预训练扩散模型恢复JPEG压缩图像的复杂纹理细节，在视觉质量和定量指标上均优于现有方法。
2025-08-10 cs.CV
Compressing complex convolutional neural network based on an improved deep compression algorithm
Southeast University（东南大学）；INSERM（法国国家健康与医学研究院）；Université de Rennes 1（雷恩第一大学）
卷积神经网络（CNN）虽然取得了很大的进步，但大的冗余参数限制了其在嵌入式设备，尤其是移动设备上的部署。最近的压缩工作主要集中在实值卷积神经网络（Real CNN）上，然而，据我们所知，还没有尝试对复值卷积神经网络（Complex CNN）进行压缩。与实值网络相比，复值神经网络更易于优化、推广，具有更好的学习潜力。将常用的深度压缩算法从实域扩展到复域，提出了一种改进的复域CNN深度压缩算法。该算法在CIFAR-10数据集上将网络压缩约8倍，准确率损失小于3%。在ImageNet数据集上，我们的方法将模型压缩了约16倍，在没有重新训练的情况下，准确率损失约为2%。
2019-03-06 cs.CV
CARNet:Compression Artifact Reduction for Point Cloud Attribute
Hangzhou Normal University（杭州师范大学）；Nanjing University（南京大学）
针对基于几何的点云压缩（G-PCC）标准，提出了一种基于学习的自适应环路滤波器，以减少属性压缩伪影。该方法首先生成多个最大可能采样偏移量（MPSO）作为潜在的压缩失真近似值，然后对它们进行线性加权以减轻伪影。因此，我们驱动滤波重建尽可能接近未压缩的PCA。为此，我们设计了一个压缩冗余缩减网络（CARNet），它由两个连续的处理阶段组成：MPSOs推导和MPSOs组合。MPSO推导使用双流网络来模拟来自直接空间嵌入和频率相关嵌入的局部邻域变化，其中稀疏卷积被用来最好地聚合来自稀疏和不规则分布的点的信息。MPSO组合由最小平方误差度量引导以在运行中导出加权系数，以进一步捕获输入PCA的内容动态。CARNet被实现为GPCC的环内滤波工具，其中那些线性加权系数被封装到比特流中，具有可忽略的比特率开销。实验结果表明，最新的GPCC显着改善主观和客观。
2022-09-17 cs.CV eess.IV
LEHA-CVQAD: Dataset To Enable Generalized Video Quality Assessment of Compression Artifacts
ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信系统研究所可信人工智能研究中心）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）
提出LEHA-CVQAD数据集及RDAE指标，用于压缩视频质量评估，发现现有VQA方法存在高RDAE和低相关性。
2025-07-08 cs.CV
Attribute Artifacts Removal for Geometry-based Point Cloud Compression
University of Science and Technology of China（中国科学技术大学）
基于几何的点云压缩（G-PCC）可以获得显著的点云压缩效率。然而，它仍然导致严重的属性压缩伪像，特别是在低比特率场景下。在本文中，我们提出了一个多尺度图注意力网络（MS-GAT），以消除由G-PCC压缩的点云属性的伪影。首先基于点云几何坐标构造图，然后利用切比雪夫图卷积提取点云属性的特征。考虑到一个点可能与附近和远离它的点相关，我们提出了一个多尺度方案来捕获当前点与其相邻点和远点之间的短期和长期相关性。为了解决不同点可能具有由自适应量化引起的不同程度的伪影的问题，我们引入每个点的量化步长作为所提出的网络的额外输入。我们还在网络中加入了一个加权图关注层，以特别关注具有更多属性工件的点。据我们所知，这是G-PCC的第一个属性伪影去除方法。我们验证了我们的方法在各种点云的有效性。客观的比较结果表明，我们提出的方法实现了平均9.74%的BD率减少相比Predlift和10.13%的BD率减少相比，RAHT。主观比较结果表明，减少了诸如颜色偏移、模糊和量化噪声的视觉伪影。
2022-03-01 cs.CV eess.IV
Impact of Video Compression Artifacts on Fisheye Camera Visual Perception Tasks
Qualcomm Technologies, Inc.（高通技术公司）；QT Technologies Ireland Limited（QT技术爱尔兰有限公司）
本文首次分析了标准视频压缩编解码器对宽FOV鱼眼相机图像的影响，提出径向畸变感知的区域度量指标评估伪影，并给出估计最新VVC编解码器仿射模式参数的新方法及编解码器改进方向。
2024-03-25 cs.AI cs.CV
Structural Compression of Convolutional Neural Networks
University of California, San Francisco（加利福尼亚大学旧金山分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
深度卷积神经网络（CNN）在机器视觉的许多任务中已经取得了成功，然而，CNN中数以千计的卷积滤波器形式的数百万个权重使得它们难以为人类解释或理解科学。在这篇文章中，我们介绍了CAR，一种贪婪的结构压缩方案，以获得更小，更可解释的CNN，同时达到接近原始的准确性。压缩基于对分类精度贡献最小的修剪过滤器。我们通过展示我们的算法修剪具有视觉冗余功能的过滤器（如颜色过滤器）来证明CAR压缩CNN的可解释性。这些压缩网络更容易解释，因为它们保留了未压缩网络的滤波器多样性，滤波器数量级更少。最后，引入CAR的变体来量化每个图像类别对每个CNN滤波器的重要性。具体来说，最重要和最不重要的类标签被证明是每个过滤器的有意义的解释。
2020-03-25 cs.CV
Localized Compression: Applying Convolutional Neural Networks to Compressed Images
Boston Fusion Corp.（波士顿融合公司）
我们解决了将现有卷积神经网络（CNN）架构应用于压缩图像的挑战。现有的CNN架构将图像表示为具有指定维度的像素强度矩阵;该期望维度通过降级或裁剪来实现。降级和裁剪是有吸引力的，因为结果也是一个图像;然而，产生替代“压缩”表示的算法可以产生更好的分类性能。该压缩算法不需要是可逆的，但必须与CNN的操作兼容。因此，这个问题是将压缩的CNN应用于未压缩图像的充分研究的问题的对应物，这引起了人们的极大兴趣，因为CNN被部署到尺寸、重量和功率（SWaP）有限的设备中。我们介绍了局部压缩，降级的泛化，其中原始图像被划分为块，每个块被压缩到一个较小的大小使用基于采样或随机矩阵的技术。通过将压缩块的大小与CNN的卷积区域的大小对齐，可以使局部压缩与任何CNN架构兼容。我们的实验结果表明，局部压缩的结果在分类精度约1-2%，高于通过降级到等效的分辨率。
2019-11-20 cs.CV
Learning JPEG Compression Artifacts for Image Manipulation Detection and Localization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER WEBTOON AI（NAVER网络漫画AI）；Samsung Electronics Co., Ltd.（三星电子株式会社）
检测和定位图像操纵是必要的，以打击恶意使用的图像编辑技术。因此，必须通过分析图像中的固有统计来区分真实区域和篡改区域。我们专注于JPEG压缩文物在图像采集和编辑。我们提出了一种卷积神经网络（CNN），它使用离散余弦变换（DCT）系数，其中压缩伪影仍然存在，以本地化图像操作。标准CNN无法学习DCT系数的分布，因为卷积会丢弃DCT系数所必需的空间坐标。我们说明了如何设计和训练一个神经网络，可以学习DCT系数的分布。此外，我们介绍了压缩伪影跟踪网络（CAT-Net），它联合使用图像采集伪影和压缩伪影。它在检测和定位篡改区域方面明显优于传统和基于深度神经网络的方法。
2022-05-25 cs.CV cs.LG cs.MM
Convolutional Neural Network Compression Based on Low-Rank Decomposition
Southwest University（西南大学）
本文提出一种结合VBMF与正交正则化的卷积神经网络低秩分解压缩方法，通过估计各层秩有效缓解精度损失，在高低压缩率下均表现优异。
2024-08-29 cs.CV
Texture Segmentation Based Video Compression Using Convolutional Neural Networks
Purdue University（普渡大学）；Google, Inc.（谷歌公司）
近年来，随着对基于web的视频观看量的需求的增加，对使用不同的方法来提高现代视频编解码器的编码效率的兴趣越来越大。在本文中，我们提出了一种基于模型的方法，使用纹理分析/合成重建块的纹理区域的视频，以实现潜在的编码增益使用的AV 1编解码器开发的开放媒体联盟（AOM）。该方法使用卷积神经网络提取帧中的纹理区域，然后使用全局运动模型重建。我们的初步结果表明，在编码效率的提高，同时保持令人满意的视觉质量。
2018-02-08 cs.CV
Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；The Czech Academy of Sciences, Institute of Information Theory and Automation（捷克科学院信息理论与自动化研究所）
大多数现有技术的深度神经网络是过度参数化的，并且表现出高计算成本。解决这个问题的一个简单方法是用低秩张量近似代替卷积核，而正则多矢张量分解是最合适的模型之一。然而，通过数值优化算法拟合卷积张量经常遇到发散分量，即，非常大的一阶张量，但相互抵消。这种退化往往会导致神经网络微调的结果不可解释和数值不稳定。本文是第一次对卷积核张量分解中的简并性进行研究。我们提出了一种新的方法，它可以稳定的低秩近似的卷积核，并确保有效的压缩，同时保持高质量的性能的神经网络。我们在流行的CNN架构上评估了我们的方法用于图像分类，并表明我们的方法的准确性降低得多，并提供了一致的性能。
2020-08-12 cs.CV
Learning Parallax Transformer Network for Stereo Image JPEG Artifacts Removal
Fudan University（复旦大学）
在立体设置下，可以通过利用由第二视图提供的附加信息来进一步提高图像JPEG伪影去除的性能。然而，将此信息用于立体图像JPEG伪影去除是一个巨大的挑战，因为现有的压缩伪影使得像素级视图对齐困难。在本文中，我们提出了一种新的视差Transformer网络（PTNet）的信息，从立体图像对立体图像JPEG伪影去除。具体来说，一个精心设计的对称双向视差Transformer模块，提出了匹配功能与相似的纹理之间的不同意见，而不是像素级的视图对齐。由于遮挡和边界的问题，提出了一个基于置信度的跨视图融合模块，以实现更好的特征融合的两个视图，其中跨视图的特征加权与置信度地图。特别是，我们采用了由粗到细的设计，跨视图的交互，导致更好的性能。综合的实验结果表明，我们的PTNet可以有效地消除压缩文物，并取得优于其他测试国家的最先进的方法的性能。
2022-07-15 cs.CV
Fully Convolutional Model for Variable Bit Length and Lossy High Density Compression of Mammograms
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Intel Technology India Pvt. Ltd.（英特尔印度技术私人有限公司）
医学图像压缩的早期工作可以追溯到20世纪80年代，当时的推动力是部署用于高分辨率数字X射线探测器的远程放射学系统。在此期间，商业部署的系统可以使用无损算术编码将4，096 x 4，096大小的图像以12 bpp压缩到2 bpp，多年来JPEG和JPEG 2000被吸收达到0.1 bpp。受过去两年基于深度学习的自然图像压缩的启发，我们提出了一种用于诊断相关特征保留有损压缩的全卷积自动编码器。这之后是利用算术编码来封装高冗余的特征，以进一步实现高密度代码封装，从而导致可变位长度。我们使用峰值信噪比（pSNR），结构相似性（SSIM）指数和数据集之间的域适应性测试在两个不同的公开数字乳腺X射线摄影数据集上展示了性能。在> 300 x（~0.04 bpp）的高密度压缩因子下，我们的方法可以与JPEG和JPEG 2000相媲美，这是通过放射科医生的视觉图灵测试进行评估的。
2018-05-17 cs.CV
