Interpretable Unsupervised Diversity Denoising and Artefact Removal
Google Research（谷歌研究院）；Fondazione Human Technopole（人类技术城基金会）
图像去噪和伪影去除是一个复杂的逆问题，需要多个有效解。无监督的多样性恢复，也就是说，获得一个不同的一组可能的解释给定损坏的图像，是重要的模糊性消除在许多应用中，如显微镜，其中成对的数据监督训练往往是不可获得的。在现实世界的应用中，成像噪声和伪影通常很难建模，导致现有的无监督方法的性能不令人满意。这项工作提出了一种可解释的方法，无监督和多样化的图像恢复。为此，我们引入了一个有能力的架构，称为分层DivNoising（HDN）的基础上分层变分自动编码器。我们表明，HDN学习一个可解释的多尺度表示的文物，我们利用这种可解释性，以消除常见的显微镜数据中的成像文物。我们的方法在12个基准图像去噪数据集上实现了最先进的结果，同时提供了对整个分布的敏感恢复解决方案的访问。此外，我们在三个真实的显微镜数据集上证明了HDN在没有监督的情况下消除了伪影，这是第一种能够这样做的方法，同时生成多个与给定的损坏图像一致的合理解释。
2022-02-24 cs.CV cs.LG eess.IV
Deep Generalized Unfolding Networks for Image Restoration
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络（DNN）在图像复原中取得了巨大的成功。然而，大多数DNN方法被设计为黑盒，缺乏透明度和可解释性。尽管提出了一些方法来将传统的优化算法与DNN相结合，但它们通常需要预定义的退化过程或手工假设，因此难以处理复杂和现实世界的应用程序。在本文中，我们提出了一个深度广义展开网络（DGUNet）的图像复原。具体地说，在不损失可解释性的情况下，我们将梯度估计策略集成到近端梯度下降（PGD）算法的梯度下降步骤中，从而使其能够处理复杂和真实世界的图像退化。此外，我们在不同的PGD迭代中设计了跨邻近映射的阶段间信息路径，以通过多尺度和空间自适应的方式纠正最深展开网络（DUN）中的内在信息丢失。通过结合灵活的梯度下降和信息邻近映射，我们展开的迭代PGD算法到一个可训练的DNN。对各种图像复原任务的大量实验表明，我们的方法在最先进的性能，可解释性和可推广性方面的优越性。源代码可在https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration上获得。
2022-04-28 cs.CV eess.IV
Generative Image Restoration and Super-Resolution using Physics-Informed Synthetic Data for Scanning Tunneling Microscopy
London Centre for Nanotechnology, University College London, London, United Kingdom（伦敦纳米技术中心，伦敦大学学院，英国）；Department of Electronic and Electrical Engineering, University College London, London, United Kingdom（电子与电气工程系，伦敦大学学院，英国）；University of Trieste, Trieste, Italy（特里斯特大学，意大利）
扫描隧道显微镜（STM）使原子分辨率成像和原子操纵，但其效用往往是有限的针尖退化和缓慢的串行数据采集。制造增加了另一层复杂性，因为尖端经常受到大电压的影响，这可能会改变其顶点的形状，需要对其进行调节。在这里，我们提出了一种机器学习（ML）的图像修复和超分辨率，以减轻这两个挑战的方法。使用仅36个Si（001）：H的原始实验图像的数据集，我们证明了物理信息的合成数据生成管道可用于训练几个最先进的流动匹配和扩散模型。使用CLIP最大平均离散度（CMMD）评分和结构相似性等指标进行的定量评估表明，我们的模型能够有效地恢复图像，并通过从稀疏采样数据中准确重建图像，将图像采集时间缩短2 - 4倍。我们的框架有可能显着增加STM实验的吞吐量，提供了一条路线，以减少尖端调节程序的频率，并提高帧速率在现有的高速STM系统。
2025-10-29 cond-mat.mtrl-sci cs.CV
CurvPnP: Plug-and-play Blind Image Restoration with Deep Curvature Denoiser
Tianjin University（天津大学）
由于基于深度学习的去噪器的发展，即插即用策略在图像恢复问题中取得了巨大成功。然而，现有的即插即用图像恢复方法被设计用于非盲高斯去噪，例如Zhang等人（2022），其性能对于未知噪声明显恶化。为了突破即插即用图像恢复的极限，我们提出了一个新的框架，盲高斯先验，它可以处理更复杂的图像恢复问题，在现实世界中。更具体地说，我们建立了一个新的图像恢复模型，把噪声水平作为一个变量，这是由一个两阶段的盲高斯去噪器组成的噪声估计子网络和去噪子网络，其中噪声估计子网络提供的噪声水平去噪子网络进行盲噪声去除。我们还将曲率映射引入到编码器-解码器架构和监督注意模块中，以实现高度灵活和有效的卷积神经网络。通过对图像去噪、去模糊和单幅图像超分辨率的实验结果，验证了该方法的有效性，并证明了该方法的有效性。我们的模型被证明是能够恢复的图像细节和微小的结构，即使在噪声水平是未知的不同的图像恢复任务。源代码可在https://github.com/Duanlab123/CurvPnP上获得。
2022-11-14 cs.CV eess.IV
Noise2Stack: Improving Image Restoration by Learning from Volumetric Data
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；Wellcome Sanger Institute（惠康桑格研究所）；PerkinElmer Cellular Technologies（珀金埃尔默细胞技术公司）
生物医学图像是嘈杂的。成像设备本身具有物理限制，并且随之而来的信噪比、采集速度和成像深度之间的实验权衡加剧了该问题。因此，去噪是任何图像处理流水线的重要组成部分，而卷积神经网络是目前用于此任务的首选方法。一种流行的方法，Noise2Noise，不需要干净的地面事实，而是使用第二个嘈杂的副本作为训练目标。自监督方法（例如Noise2Self和Noise2Void）通过在没有明确目标的情况下学习信号来放宽数据要求，但受到单个图像中缺乏信息的限制。在这里，我们介绍Noise2Stack，这是Noise2Noise方法对图像堆栈的扩展，它利用了空间相邻平面之间的共享信号。我们对磁共振脑扫描和新获得的多平面显微镜数据的实验表明，仅从堆栈中的图像邻居学习就足以超越Noise2Noise和Noise2Void，并缩小与监督去噪方法的差距。我们的研究结果表明，多平面生物医学图像的去噪管道可以实现低成本、高回报的改进。作为这项工作的一部分，我们发布了一个显微镜数据集，建立一个基准的多平面图像去噪。
2020-11-10 cs.CV eess.IV
Infrared Image Deturbulence Restoration Using Degradation Parameter-Assisted Wide & Deep Learning
Beihang University（北京航空航天大学）；Image Processing Center（图像处理中心）；The State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）；Beijing Advanced Innovation Center for Biomedical Engineering（北京生物医学工程高精尖创新中心）
本文提出DparNet，一种参数辅助的宽深多帧网络，直接从退化图像中学习退化先验参数矩阵并调制复原过程，在红外去湍流和可见光去噪任务上以不到2%的额外开销将PSNR提升0.6-1.1 dB，显著优于现有SOTA方法。
2025-05-06 cs.CV eess.IV
Training Patch Analysis and Mining Skills for Image Restoration Deep Neural Networks
Seoul National University（首尔大学）
已经有许多基于深度卷积神经网络（CNN）的图像恢复方法。然而，大多数关于这一主题的文献集中在网络结构和损失函数，而较少详细的训练方法。因此，有些作品是不容易复制的，因为它需要知道隐藏的训练技巧，以获得相同的结果。具体到训练数据集，很少有人讨论如何准备和排序训练图像块。此外，需要高成本来捕获新的数据集以训练用于真实世界场景的恢复网络。因此，我们认为有必要研究训练数据的准备和选择。在这方面，我们提出了一个分析的训练补丁，并探讨不同的补丁提取方法的后果。最后，我们提出了一个准则，从给定的训练图像的补丁提取。
2022-07-03 cs.CV eess.IV
Variational Deep Image Restoration
Seoul National University（首尔国立大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）
本文提出了一种新的变分推理框架的图像恢复和卷积神经网络（CNN）的结构，可以解决所提出的框架所描述的恢复问题。早期的基于CNN的图像恢复方法主要集中在网络结构设计或训练策略，其中退化模型是已知或假设的。为了更接近真实世界的应用，CNN也是用整个数据集进行盲训练的，包括各种退化。然而，高质量图像的条件分布给定的dilemma退化的一个是太复杂了，由一个单一的CNN学习。因此，还存在一些提供附加先验信息以训练CNN的方法。与以前的方法不同，我们更注重基于贝叶斯观点的恢复目标以及如何重新制定目标。具体来说，我们的方法放松原来的后验推理问题，更好地管理的子问题，从而表现得像一个分而治之的计划。其结果是，所提出的框架提高了性能的几个恢复问题相比，以前的。具体来说，我们的方法在高斯去噪、真实世界降噪、盲图像超分辨率和JPEG压缩伪影减少方面具有最先进的性能。
2022-07-03 cs.CV eess.IV
DCIL: Deep Contextual Internal Learning for Image Restoration and Image Retargeting
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
最近，人们对开发独立于训练样本的方法（例如深度图像先验、zero-shot学习和内部学习）有着极大的兴趣。上述方法基于最大化从单个图像学习的图像特征的共同目标，尽管固有的技术多样性。在这项工作中，我们弥合了上述各种无监督方法之间的差距，并提出了一个通用的图像恢复和图像重定向框架。我们使用上下文特征学习和内部学习来改进源图像和目标图像之间的结构相似性。我们在以下设置中执行图像大小调整应用程序：经典的图像大小调整使用超分辨率，一个具有挑战性的图像大小调整，其中低分辨率图像包含噪声，和内容感知的图像大小调整使用图像重定向。我们还提供了相关国家的最先进的方法进行比较。
2019-12-09 cs.CV eess.IV
Toward Efficient Deep Blind RAW Image Restoration
University of Würzburg（维尔茨堡大学）
针对sRGB域退化建模复杂的问题，本研究直接在RAW域进行图像恢复，设计了一条考虑传感器噪声、运动模糊等现实退化的新流水线，训练深度盲恢复模型，成功实现了跨相机的降噪去模糊与细节恢复。
2024-09-26 cs.CV eess.IV
Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding
Xidian University（西安电子科技大学）；West Virginia University（西弗吉尼亚大学）
图像复原的方法可以分为基于模型的方法和基于学习的方法。前者-最好的代表是稀疏编码技术-努力利用关于未知高分辨率图像的内在先验知识;而后者-通过最近开发的深度学习技术推广-利用来自一些训练数据集的外部图像先验。探索他们的中间立场并追求能够在两个世界中实现最佳效果的混合图像是很自然的。在本文中，我们提出了一个系统的方法来实现这一目标，称为结构化分析稀疏编码（SASC）。具体而言，通过深度卷积神经网络从外部训练数据中学习结构化稀疏先验（与之前基于学习的方法类似）;同时，从输入观察图像中内部估计另一个结构化稀疏先验（与之前基于模型的方法类似）。然后将两个结构化的稀疏先验结合起来，产生一个混合先验，将两个领域的知识。为了管理计算复杂性，我们开发了一种通过深度卷积神经网络实现混合结构稀疏编码过程的新框架。实验结果表明，提出的混合图像恢复方法的性能与目前的国家的最先进的技术，往往更好。
2018-11-28 cs.CV eess.IV
Alternative design of DeepPDNet in the context of image restoration
Zhengzhou University（郑州大学）；CNRS（法国国家科学研究中心）；UCLouvain（鲁汶天主教大学）
这项工作设计了一个依赖于展开的Chambolle-Pock原始-对偶迭代的图像恢复深度网络。当指定最小化$\ell_2$范数数据项和分析稀疏先验的总和时，我们的网络的每一层都是从Chambolle-Pock迭代中构建的。我们的网络的参数是Chambolle-Pock方案的步长和基于稀疏性的惩罚中涉及的线性算子，包括隐式正则化参数。充分描述了反向传播过程。初步实验表明，这种深度原始-对偶网络在BSD 68数据库上的图像恢复中表现良好。
2022-02-20 cs.CV cs.LG eess.IV
Near-filed SAR Image Restoration with Deep Learning Inverse Technique: A Preliminary Study
University of Electronic Science and Technology of China（电子科技大学）
近场合成孔径雷达（SAR）利用其较大的孔径角和较宽的发射带宽，可以获得目标散射分布的高分辨率图像。同时，由于旁瓣、杂波和噪声的影响，成像效果不可避免地会受到影响，影响目标信息的提取。为了恢复图像，目前的方法进行简化的假设，例如，点扩散函数（PSF）是空间一致的，目标由稀疏的点散射等，因此，他们实现有限的恢复性能的目标的形状，特别是对于复杂的目标。为了解决这些问题，在这项工作中，对最近有前途的深度学习逆技术进行了初步研究。我们将退化模型转化为空间可变的复卷积模型，其中考虑了近场SAR的系统响应。遵循它，设计了一个基于模型的深度学习网络来恢复图像。构造了一个来自多个复杂目标模型的模拟退化图像数据集来验证网络。所有的图像都是使用电磁仿真工具制定的。在数据集上的实验表明了它们的有效性。与现有方法相比，该方法在目标形状和能量估计方面具有更好的性能。
2022-11-28 cs.CV eess.IV
Deep Camera Obscura: An Image Restoration Pipeline for Lensless Pinhole Photography
Arizona State University（亚利桑那州立大学）；SenseBrain Technology（商汤科技（SenseBrain Technology））
无透镜针孔相机可能是最早和最简单的成像系统形式，仅使用针孔大小的光圈代替透镜。它们可以捕捉无限景深，并提供比基于镜头的同行更大的光学失真自由度。然而，针孔系统的固有限制导致由光学衍射引起的模糊的较低锐度和由于小光圈的低光通量引起的较高噪声水平，需要非常长的曝光时间来捕获曝光良好的图像。在本文中，我们探索了一个图像复原管道使用深度学习和针孔系统的领域知识，以提高针孔图像质量，通过联合去噪和去模糊的方法。我们的方法可以为手持摄影提供更实用的曝光时间，并提供更高的图像质量，使其与其他无镜头相机相比更适合日常摄影，同时保持低尺寸和低成本。这开启了针孔相机在更小设备（如智能手机）中使用的潜力。
2021-08-12 cs.CV eess.IV
Deeply Aggregated Alternating Minimization for Image Restoration
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）
基于正则化的图像复原一直是计算机视觉和图像处理领域的研究热点。它通常利用在不同领域捕获的指导信号作为额外的提示。在这项工作中，我们提出了一个通用的框架图像复原，称为深度聚合交替最小化（DeepAM）。我们建议训练深度神经网络，以推进传统AM算法中的两个步骤：邻近映射和？延续。这两个步骤都是以端到端的方式从大型数据集中学习的。所提出的框架使得卷积神经网络（CNN）能够作为AM算法中的先验或正则化器来操作。我们表明，我们通过深度聚合学习的正则化器优于最近的数据驱动方法以及nonlocalbased方法。在多个图像复原任务中，包括单张图像去噪、RGB-NIR复原和深度超分辨率，证明了该框架的灵活性和有效性。
2016-12-20 cs.CV
Vision-Language Controlled Deep Unfolding for Joint Medical Image Restoration and Segmentation
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Harvard University（哈佛大学）；SUN YAT-SEN UNIVERSITY（中山大学）
VL-DUN通过联合优化和频率感知Mamba机制，实现医学图像恢复与分割的协同学习，提升PSNR和Dice系数，展示联合学习在复杂临床任务中的优势。
2026-01-30 cs.CV eess.IV
Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；The University of Hong Kong（香港大学）
学习良好的图像先验是图像恢复和处理的长期目标。虽然像深度图像先验（DIP）这样的现有方法捕获低级图像统计数据，但对于捕获丰富图像语义（包括颜色，空间相干性，纹理和高级概念）的图像先验仍然存在差距。这项工作提出了一种有效的方法来利用图像之前捕获的生成对抗网络（GAN）上训练的大规模自然图像。如图1所示，深度生成先验（DGP）提供了令人信服的结果来恢复缺失的语义，例如，各种退化图像的颜色、补丁、分辨率。它还支持各种图像操作，包括随机抖动，图像变形和类别转移。这种高度灵活的恢复和操纵是通过放松现有GAN反演方法的假设而实现的，这些方法倾向于固定发电机。值得注意的是，我们允许生成器在运行中以渐进的方式进行微调，通过GAN中的搜索获得的特征距离进行正则化。我们表明，这些易于实现和实际的变化有助于保持重建留在自然图像的流形，从而导致更精确和忠实的重建真实图像。代码可在https://github.com/XingangPan/deep-generative-prior上获得。
2020-07-20 cs.CV eess.IV
Wavelength-based Attributed Deep Neural Network for Underwater Image Restoration
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
背景资料：水下图像，一般来说，遭受低对比度和高色彩失真，由于光的不均匀衰减，因为它通过水传播。此外，衰减的程度随波长而变化，导致颜色的不对称遍历。尽管使用深度学习进行水下图像恢复（UIR）的工作很多，但上述不对称性尚未在相应的网络工程中得到解决。贡献：作为第一个新颖性，本文表明，归因于正确的感受野大小（上下文）的基础上的遍历范围的颜色通道可能会导致大量的性能增益的任务UIR。此外，重要的是抑制不相关的多上下文特征，并增加模型的代表性。因此，作为第二个新颖性，我们已经纳入了一个专心的跳过机制，自适应地完善学习的多上下文功能。所提出的框架，称为深度WaveNet，使用传统的逐像素和基于特征的代价函数进行优化。一组广泛的实验已经进行了现有的最佳出版的文献上的基准数据集，以显示所提出的计划的功效。更重要的是，我们已经证明了在各种高级视觉任务中对增强图像的全面验证，例如，水下图像的语义分割和潜水员的二维姿态估计。\url{https://tinyurl.com/yzcrup9n}提供了展示我们真实性能的示例视频。此外，我们还在\url{https://github.com/pksvision/Deep-WaveNet-UnderwaterImage-Restoration}上开源了我们的框架。
2022-01-19 cs.CV eess.IV
Image Restoration by Deep Projected GSURE
Tel-Aviv University（特拉维夫大学）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；Weizmann Institute of Science（魏茨曼科学研究所）
不适定逆问题在许多图像处理应用中都存在，如去模糊、超分辨率等。近年来，基于深度卷积神经网络（CNN）的解决方案显示出巨大的前景。然而，这些使用外部数据训练CNN的技术中的大多数都限于在训练阶段使用的观察模型。最近的一种替代方案没有这个缺点，它依赖于使用内部学习来学习目标图像。一个突出的例子是深度图像先验（DIP）技术，该技术直接在输入图像上训练网络，具有最小平方损失。在本文中，我们提出了一个新的图像复原框架，是基于最小化损失函数，其中包括“投影版本”的广义SteinUnbiased风险估计（GSURE）和参数化的潜像的CNN。我们展示了两种使用我们的框架的方法。在第一个中，没有使用显式先验，我们表明，所提出的方法优于其他内部学习方法，如DIP。在第二个，我们表明，我们的GSURE为基础的损失导致性能提高时，使用的即插即用先验方案。
2021-02-04 cs.CV eess.IV
DRIFT: Deep Restoration, ISP Fusion, and Tone-mapping
Samsung Research America（三星美国研究院）
本文提出DRIFT方法，通过多帧处理网络和深度学习色调映射实现高效移动相机流水线，生成高质量RGB图像，验证了其在性能和效率上的优势。
2026-04-12 cs.CV eess.IV
Restoration of Images with Wavefront Aberrations
Kiel University（基尔大学）
这一贡献涉及图像恢复的光学系统与相干照明，这是一个重要的课题，在天文学，相干显微镜和雷达成像。这样的光学系统遭受波前失真，这是由不完美的成像组件和条件引起的。已知的图像恢复算法对于非相干成像工作良好，但是在相干图像的情况下它们失败。本文提出了一种新的波前校正算法，它允许在相干条件下的图像恢复。在大多数相干成像系统中，特别是在天文学中，波前变形是已知的。利用这些信息，该算法允许高质量的恢复，即使在严重的波前失真的情况下。我们提出了该算法的两个版本，这是一个进化的Gerchberg-Saxton和混合输入输出算法。该算法在模拟和真实显微图像上进行了验证。
2017-04-02 astro-ph.IM cs.CV
DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration
China University of Petroleum（中国石油大学）；University of Technology Sydney（悉尼科技大学）
本文提出DRM-IR范式，通过任务自适应退化建模与基于模型的图像复原两个级联子任务，以深度展开方式同步优化，并设计退化先验传输器弥合语义差距，在一体化图像复原中达到最先进性能。
2023-11-30 cs.CV eess.IV
Deep Variational Network Toward Blind Image Restoration
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）；Macau Institute of Systems Engineering, Macau University of Science and Technology（澳门科技大学澳门系统工程研究所）
本文提出深度变分网络，通过贝叶斯生成模型和变分推断统一退化估计与图像复原，在去噪和超分辨率任务上超越现有方法。
2024-04-26 cs.CV eess.IV
Lightweight Modules for Efficient Deep Learning based Image Restoration
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Mathworks（Mathworks公司）
低水平图像复原是现代人工智能（AI）驱动的相机流水线的组成部分。这些框架中的大多数基于深度神经网络，其在资源受限的平台（如移动电话）上呈现出巨大的计算开销。在本文中，我们提出了几个轻量级的低级别模块，可用于创建一个给定的基线模型的计算成本低的变体。最近的工作，有效的神经网络设计主要集中在分类。然而，低级图像处理属于图像到图像的翻译类型，它需要一些分类中不存在的额外计算模块。本文试图通过设计通用高效模块来弥合这一差距，这些模块可以取代当代基于深度学习的图像复原网络中使用的基本组件。我们还提出并分析了我们的结果，强调了将深度可分离卷积核（一种用于高效分类网络的流行方法）应用于基于亚像素卷积的上采样（一种用于低级视觉应用的流行上采样策略）的缺点。这表明，分类领域的概念并不总是能够无缝地集成到图像到图像的翻译任务中。我们广泛验证了我们的研究结果的三个流行的任务图像修补，去噪和超分辨率。我们的研究结果表明，与全容量基线相比，建议的网络始终输出视觉上相似的重建，并在当代移动设备上显着减少参数，内存占用和执行速度。
2020-07-11 cs.CV eess.IV
Deep Face Restoration: A Survey
The State Key Lab for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；Australian National University（澳大利亚国立大学）；Imperial College London（伦敦帝国理工学院）；Tencent（腾讯）
本文综述了基于深度学习的人脸修复方法，分析了问题 formulations、挑战及最新技术，提供了系统评估和开源资源。
2026-03-20 cs.CV
Deep Learning with Inaccurate Training Data for Image Restoration
McMaster University（麦克马斯特大学）；Shanghai Jiao Tong University（上海交通大学）
在深度学习的许多应用中，特别是在图像复原中，要么非常困难、昂贵得令人望而却步，要么完全不可能像在现实世界中那样精确地获得成对的训练数据。在这种情况下，人们被迫使用合成的成对数据来训练深度卷积神经网络（DCNN）。然而，由于统计学习中不可避免的泛化误差，综合训练的DCNN在真实世界数据上的表现往往很差。为了克服这个问题，我们提出了一种新的通用训练方法，可以在很大程度上补偿综合训练DCNN的泛化误差。
2018-11-18 cs.CV
Image Restoration using Total Variation Regularized Deep Image Prior
Washington University in St. Louis（圣路易斯华盛顿大学）
在过去的十年中，稀疏驱动的正则化导致了图像重建的显着改善。传统的正则化器，如全变差（TV），依赖于稀疏性的分析模型。然而，越来越多的领域正在转向可训练的模型，灵感来自深度学习。深度图像先验（DIP）是最近的正则化框架，其使用卷积神经网络（CNN）架构，而没有数据驱动的训练。本文通过将DIP框架与传统的TV正则化相结合，扩展了DIP框架。我们表明，包括电视导致相当大的性能增益测试时，对几个传统的恢复任务，如图像去噪和去模糊。
2018-10-30 cs.CV
On-Demand Learning for Deep Image Restoration
University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然机器学习方法对图像复原提供了很大的希望，但目前的方法有风险，训练模型只专注于在特定难度的图像损坏（如一定程度的噪声或模糊）中表现良好。首先，我们研究了传统的“固定”模型的弱点，并证明了训练通用模型来处理任意级别的腐败确实是不平凡的。然后，我们提出了一种按需学习算法，用于使用深度卷积神经网络训练图像复原模型。其主要思想是利用反馈机制来自我生成最需要的训练实例，从而学习可以跨难度级别推广的模型。在四个恢复任务-图像图像修补，像素插值，图像去模糊和图像去噪-和三个不同的数据集，我们的方法始终优于现状的训练过程和课程学习的替代品。
2017-08-02 cs.CV
Lunar surface image restoration using U-net based deep neural networks
The University of Tokyo（东京大学）
图像复原是一种从噪声观测中重建原始图像的可行估计的技术。在本文中，我们提出了一个基于U-Net的深度神经网络模型，以上下文感知的方式恢复月球表面图像上丢失的像素，这通常被称为图像修补问题。我们使用的月亮女神卫星上的多波段成像仪（MI）拍摄的月球表面的灰度图像为我们的实验和结果表明，我们的方法可以重建月球表面图像具有良好的视觉质量和提高PSNR值。
2019-04-14 cs.CV
Deep Plug-and-Play Prior for Hyperspectral Image Restoration
Beijing Institute of Technology（北京理工大学）
基于深度学习的高光谱图像（HSI）恢复方法因其出色的性能而广受欢迎，但每当任务的具体情况发生变化时，通常需要昂贵的网络重新训练。在本文中，我们提出用一种有效的即插即用方法来统一恢复HSI，这种方法既可以保留基于优化的方法的灵活性，又可以利用深度神经网络的强大表示能力。具体来说，我们首先开发了一种新的深度HSI去噪器，它利用门控递归卷积单元、短期和长期跳过连接以及增强的噪声水平图，以更好地利用HSI中丰富的空间-频谱信息。因此，它导致了在高斯和复杂噪声设置下HSI去噪的最先进性能。然后，建议的去噪器插入到即插即用框架作为一个强大的隐式HSI之前，解决各种HSI恢复任务。通过对HSI超分辨率，压缩感知和修复的广泛实验，我们证明了我们的方法通常可以通过单个模型实现卓越的性能，在每个任务上都具有竞争力甚至优于最先进的技术，而无需任何特定任务的训练。
2022-09-17 cs.CV cs.LG eess.IV
A comparison of different atmospheric turbulence simulation methods for image restoration
Johns Hopkins University（约翰斯·霍普金斯大学）
大气湍流通过将模糊和几何失真引入到所捕获的场景中来劣化由远程成像系统捕获的图像的质量。这导致在对这些图像执行对象/面部识别和检测等计算机视觉算法时性能急剧下降。近年来，文献中提出了各种基于深度学习的大气湍流缓解方法。这些方法通常使用合成生成的图像进行训练，并在真实世界的图像上进行测试。因此，这些恢复方法的性能取决于用于训练网络的模拟类型。在本文中，我们系统地评估各种湍流模拟方法对图像复原的有效性。特别是，我们评估了两个国家或最先进的恢复网络的性能，使用六个模拟方法对现实世界的LRFID数据集组成的人脸图像退化的湍流。本文将为该领域的研究人员和从业人员选择合适的数据生成模型来训练湍流减缓的深度模型提供指导。仿真方法的实现代码、网络的源代码和预训练模型将公开提供。
2022-04-19 cs.CV eess.IV
Video Restoration with a Deep Plug-and-Play Prior
MAP5（MAP5实验室）；GoPro Inc.（GoPro公司）；Meta Inc.（Meta公司）
本文提出了一种通过深度即插即用（Pestrian）方法恢复数字视频的新方法。在贝叶斯形式主义下，该方法包括使用深度卷积去噪网络代替交替优化方案中先验的邻近算子。我们区分自己从以前的Pestrian工作直接应用该方法来恢复从退化的视频观察的数字视频。通过这种方式，一次训练去噪的网络可以重新用于其他视频恢复任务。我们在视频去模糊，超分辨率和随机缺失像素插值方面的实验都显示出使用专门为视频去噪设计的网络的明显优势，因为它比使用相同Pestrian公式的具有类似去噪性能的单个图像网络具有更好的恢复性能和更好的时间稳定性。此外，我们的方法相比，有利地应用不同的国家的最先进的PSTK计划分别对每个帧的序列。这为视频恢复领域开辟了新的前景。
2022-09-15 cs.CV cs.LG eess.IV
GAMA-IR: Global Additive Multidimensional Averaging for Fast Image Restoration
Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出GAMA-IR，一种基于全局加性多维平均模块的浅层图像复原网络，在保持最先进性能的同时显著降低延迟和内存消耗，并在SIDD去噪上以0.11dB优势超越现有最佳结果且速度提升2至10倍。
2024-03-31 cs.CV eess.IV
SwinIR: Image Restoration Using Swin Transformer
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
图像恢复是一个长期存在的低级视觉问题，其目的是从低质量图像（例如，缩小、噪声和压缩图像）。虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试使用Transformers，这些方法在高级视觉任务中表现出令人印象深刻的性能。在本文中，我们提出了一个强基线模型SwinIR图像恢复的基础上Swin Transformer。SwinIR由三部分组成：浅层特征提取、深层特征提取和高质量图像重建。特别地，深度特征提取模块由若干残余Swin Transformer块（RSTB）组成，每个残余Swin transformer块具有若干Swin Transformer层以及残余连接。我们对三个有代表性的任务进行了实验：图像超分辨率（包括经典，轻量级和真实世界的图像超分辨率），图像去噪（包括灰度和彩色图像去噪）和JPEG压缩伪影减少。实验结果表明，SwinIR优于国家的最先进的方法在不同的任务由$\textbf{up to 0.14$ \sim $0.45dB}$，而总的参数的数量可以减少$\textbf{up to 67%}$。
2021-08-23 cs.CV eess.IV
Deep Learning-Driven Ultra-High-Definition Image Restoration: A Survey
School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）；Centre for Advances in Reliability and Safety, Hong Kong, China（香港可靠性与安全中心）；Hong Kong Polytechnic University（香港理工大学）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
本文系统综述了深度学习驱动的超高清图像复原，涵盖退化模型、基准数据集、方法分类及未来方向，并提供了相关资源库。
2025-05-22 cs.CV
A deep primal-dual proximal network for image restoration
Zhengzhou University（郑州大学）；Univ Lyon, Ens de Lyon, Univ Lyon 1, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，里昂第一大学，法国国家科学研究中心，物理实验室）
图像复原一直是图像处理中的一项具有挑战性的任务。许多方法解决这个问题，通常通过最小化非光滑惩罚的共对数似然函数来解决。虽然解决方案很容易解释与理论保证，其估计依赖于优化过程，可能需要时间。考虑到在图像分类和分割的深度学习方面的研究工作，这类方法提供了执行图像复原的重要替代方案，但在解决逆问题方面仍然具有挑战性。在这项工作中，我们设计了一个名为DeepPDNet的深度网络，它是由原始-对偶邻近迭代构建的，与分析先验的标准惩罚似然最小化相关，使我们能够利用这两个世界。我们将Condat-Vu原始-对偶混合梯度（PDHG）算法的一个具体实例重新表述为具有固定层的深度网络。学习的参数是PDHG算法的步长和惩罚中涉及的分析线性算子（包括正则化参数）。允许这些参数在层与层之间变化。两种不同的学习策略：“完全学习”和“部分学习”被提出，第一个是最有效的数值，而第二个依赖于标准的约束，确保在标准PDHG迭代收敛。此外，研究了全局和局部稀疏分析先验，以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD 68数据集上的图像复原以及BSD 100和SET 14数据集上的单图像超分辨率。广泛的结果表明，所提出的DeepPDNet在MNIST和更复杂的BSD 68，BSD 100和SET 14数据集上表现出优异的性能，用于图像复原和单图像超分辨率任务。
2021-12-20 cs.CV
Deep Mean-Shift Priors for Image Restoration
University of Bern（伯尔尼大学）；University of Maryland, College Park（马里兰大学学院市分校）
在本文中，我们引入了一个自然图像前，直接代表了高斯平滑版本的自然图像分布。我们包括我们的前在制定图像复原作为贝叶斯估计，也使我们能够解决噪声盲图像复原的问题。我们表明，我们的先验梯度对应于自然图像分布上的均值漂移向量。此外，我们使用去噪自动编码器学习均值漂移向量场，并将其用于梯度下降方法以执行贝叶斯风险最小化。我们展示了竞争力的结果，噪声盲去模糊，超分辨率和去马赛克。
2017-10-04 cs.CV cs.LG
Deep Learning CT Image Restoration using System Blur and Noise Models
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）
提出一种结合系统模糊与噪声模型和深度学习的CT图像恢复方法，通过辅助输入增强CNN性能，优于无辅助输入的基线模型。
2024-07-20 cs.CV eess.IV physics.comp-ph
Physically Interpretable Multi-Degradation Image Restoration via Deep Unfolding and Explainable Convolution
Shanghai Jiao Tong University（上海交通大学）；CATL（宁德时代）；Beijing Normal University（北京师范大学）
针对现有图像复原方法仅适配单一退化、可解释性不足的问题，本文结合深度展开网络与可解释卷积模块构建InterIR架构，实现了兼具物理可解释性与优异性能的多退化图像复原。
2025-11-13 cs.CV
ClassPruning: Speed Up Image Restoration Networks by Dynamic N:M Pruning
Zhejiang University（浙江大学）
随着深度神经网络的快速发展，图像复原任务的性能得到了巨大的提升。然而，大多数流行的深度学习模型静态地执行推理，忽略了不同图像具有不同的恢复难度，并且轻度退化的图像可以通过更细的子网络很好地恢复。为此，我们提出了一种名为ClassPruning的新解决方案管道，该管道利用具有不同功能的网络来处理具有不同恢复难度的图像。特别地，我们使用一个轻量级分类器来识别图像复原的难度，然后通过对基本复原网络进行动态N：M细粒度结构化剪枝，根据预测的难度对具有不同能力的稀疏子网络进行采样。我们进一步提出了一种新的训练策略，以及两个额外的损失项，以稳定训练和提高性能。实验表明，ClassPruning可以帮助现有的方法节省约40%的FLOPs，同时保持性能。
2022-11-10 cs.CV
Dynamic Image Restoration and Fusion Based on Dynamic Degradation
Northwestern Polytechnical University（西北工业大学）
基于深度学习的图像复原和融合方法取得了显著的效果。然而，现有的恢复和融合方法很少关注动态退化所带来的鲁棒性问题。本文提出了一种新的动态图像复原与融合神经网络，称为DDRF-Net，它能够解决两个问题，即，静态恢复与融合，动态退化。为了解决现有方法的静态融合问题，引入动态卷积学习动态恢复和融合权值。此外，提出了一种动态退化核，以提高图像复原和融合的鲁棒性。我们的网络框架可以有效地将图像退化与图像融合任务相结合，通过图像复原损失为图像融合任务提供更详细的信息，并通过图像融合损失优化图像复原任务。因此，图像融合中深度学习的绊脚石，例如，静态融合权重和专门设计的网络体系结构被大大减轻。大量的实验表明，我们的方法是更优越的国家的最先进的方法相比。
2021-04-30 cs.CV
EDPN: Enhanced Deep Pyramid Network for Blurry Image Restoration
University of Science and Technology of China（中国科学技术大学）
随着深度神经网络的发展，图像去模糊得到了很大的改善。然而，在实践中，模糊的图像经常遭受额外的降级，如缩小和压缩。为了解决这些问题，我们提出了一种增强型深度金字塔网络（EDPN），通过充分利用退化图像中的自相似性和跨尺度相似性，用于从多个退化中恢复模糊图像复原。具体地，我们设计了两个基于深度金字塔网络的模块，即，金字塔渐进传输（PPT）模块和金字塔自我注意（PSA）模块，作为所提出的网络的主要组成部分。PPT模块通过将多个复制的模糊图像作为输入，以渐进的方式从同一退化图像中传输自相似性信息和跨尺度相似性信息。然后，PSA模块融合上述转移的特征，用于随后的恢复使用自我和空间注意力机制。实验结果表明，我们的方法显着优于现有的解决方案，模糊图像超分辨率和模糊图像去块。在NTIRE 2021图像去模糊挑战赛中，EDPN在Track 1（低分辨率）中获得最佳PSNR/SSIM/LPIPS分数，在Track 2（JPEG伪影）中获得最佳SSIM/LPIPS分数。
2021-05-11 cs.CV
A regularized deep matrix factorized model of matrix completion for image restoration
College of Arts and Sciences, National University of Defense Technology（国防科技大学文理学院）
利用矩阵完备化进行图像复原已成为一种重要的方法。以前的大多数关于矩阵完备化的工作都集中在低秩性质上，通过对恢复的矩阵施加显式约束，例如核范数的约束或限制矩阵分解分量的维数。最近，理论研究表明，深度线性神经网络在矩阵完备化上具有隐式的低秩偏向。然而，低秩不足以反映自然图像的内在特征。因此，仅具有低秩约束的算法不足以很好地执行图像复原。在这项工作中，我们提出了一个正则化的深度矩阵分解（RDMF）模型的图像复原，它利用了隐式偏差的低秩深神经网络和显式偏差的总变化。我们证明了我们的RDMF模型的有效性与广泛的实验，其中我们的方法超越了最先进的模型在常见的例子，特别是从很少的观察恢复。我们的工作通过将深度学习的隐式偏差与显式正则化相结合，为解决其他逆问题提供了一个更通用的框架。
2020-07-29 cs.CV cs.LG stat.ML
Advancing biological super-resolution microscopy through deep learning: a brief review
Institute of Biophysics, Chinese Academy of Sciences（中国科学院生物物理研究所）；College of Life Sciences, University of Chinese Academy of Sciences（中国科学院大学生命科学学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
超分辨显微技术在空间分辨率上克服了传统光学显微技术的衍射极限。它以纳米级的分辨率和分子的特异性提供有关生物过程的新的空间或时空信息，在生命科学中发挥着越来越重要的作用。然而，它的技术限制需要权衡以平衡其空间分辨率、时间分辨率和样品的曝光。最近，深度学习在许多图像处理和计算机视觉任务中取得了突破性的表现。它还显示出极大的希望，推动超分辨率显微镜的性能信封。在这篇简短的综述中，我们概述了使用深度学习来增强超分辨率显微镜性能的最新进展。我们主要关注深度学习如何促进超分辨率图像的重建。讨论了相关的关键技术挑战。尽管面临挑战，但深度学习将在超分辨率显微镜的发展中发挥不可或缺的变革性作用。最后，我们展望了深度学习如何塑造新一代光学显微镜技术的未来。
2021-06-24 cs.CV eess.IV physics.bio-ph
Beyond Deep Residual Learning for Image Restoration: Persistent Homology-Guided Manifold Simplification
Bio Imaging Signal Processing Lab Korea Ad. Inst. of Science & Technology (KAIST)（韩国科学技术院生物影像信号处理实验室）
最新的深度学习方法在各种图像复原任务中的表现优于最先进的信号处理方法。然而，如果图像包含许多模式和结构，这些CNN的性能仍然较差。为了解决这个问题，在这里，我们提出了一种新的特征空间深度残差学习算法，优于现有的残差学习。的主要思想是源于观察到的性能的学习算法可以得到改善，如果输入和/或标签流形可以通过一个解析映射到一个特征空间的拓扑更简单。我们使用去噪实验和NTIRE单图像超分辨率（SISR）竞争进行的大量数值研究表明，所提出的特征空间残差学习优于现有的最先进的方法。此外，我们的算法在NTIRE竞赛中排名第三，与排名第一的团队相比，计算时间快了5-10倍。源代码可在https://github.com/iorism/CNN.git上获得
2017-06-08 cs.CV
Deep Convolutional Neural Network for Multi-modal Image Restoration and Fusion
Imperial College London（帝国理工学院）
在本文中，我们提出了一种新的深度卷积神经网络来解决一般的多模态图像复原（MIR）和多模态图像融合（MIF）问题。与其他基于深度学习的方法不同，我们的网络架构是通过从新提出的多模态卷积稀疏编码（MCSC）模型中汲取灵感而设计的。所提出的网络的关键特征是，它可以自动地将不同模态之间共享的公共信息从属于每个单个模态的唯一信息中分离出来，因此用CU-Net表示，即，共同的和独特的信息分裂网络。具体来说，CU-Net由三个模块组成，即，唯一特征提取模块（UFEM）、公共特征保留模块（CFPM）和图像重建模块（SVM）。每个模块的架构都来自MCSC模型中的相应部分，该部分由几个学习的卷积稀疏编码（LCSC）块组成。大量的数值结果验证了我们的方法对各种MIR和MIF任务的有效性，包括RGB引导的深度图像超分辨率，闪光灯引导的非闪光图像去噪，多聚焦和多曝光图像融合。
2019-10-09 cs.CV
Survey on Deep Face Restoration: From Non-blind to Blind and Beyond
Beijing University of Posts and Telecommunications（北京邮电大学）；ETH Zürich（苏黎世联邦理工学院）；Shanghai University（上海大学）；Nanyang Technological University（南洋理工大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；National Tsing Hua University（国立清华大学）
本综述系统梳理深度人脸修复领域的退化因素、基准、方法分类与演进、人脸先验及优化策略，通过统一基准评估前沿方法性能，并提出未来研究方向。
2023-10-09 cs.CV
Robust single-particle cryo-EM image denoising and restoration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology Beijing（北京科技大学）
针对 cryo-EM 图像信噪比极低且噪声复杂导致重建分辨率下降的问题，提出一种带后处理框架的扩散模型，有效去除结构噪声并提升三维重建的准确性与分辨率。
2024-01-02 cs.CV
Deep Likelihood Network for Image Restoration with Multiple Degradation Levels
ByteDance AI Lab（字节跳动人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Intel Labs China（英特尔中国研究院）；Tsinghua University（清华大学）
卷积神经网络在各种图像复原任务中已被证明是有效的。然而，大多数最先进的解决方案都是使用具有单一特定降级级别的图像进行训练的，当应用于其他降级设置时，它们的性能会急剧下降。在本文中，我们提出了深度似然网络（DL-Net），旨在推广现成的图像复原网络，以在一系列退化水平上取得成功。我们稍微修改了一个现成的网络，附加一个简单的递归模块，这是来自一个保真度项，解开多个退化水平的计算。在图像修补、插值和超分辨率上的大量实验结果表明了我们的DL-Net的有效性。
2021-01-10 cs.CV cs.LG cs.NE
Artifact Removal and Image Restoration in AFM:A Structured Mask-Guided Directional Inpainting Approach
Department of Mechanical Engineering（机械工程系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出了一种基于结构掩膜引导的定向修复方法，用于原子力显微镜图像中瑕疵的自动检测与修复，通过语义分割和方向插值技术提升纳米级图像质量。
2026-02-03 cs.CV
Deep priors for satellite image restoration with accurate uncertainties
ISAE-Supaero / CNES（ISAE-苏帕欧 / CNES）；IRIT/INP-ENSEEIHT；CNES；ISAE-Supaero（ISAE-苏帕欧）
本文提出VBLE-xz方法，通过变分压缩自动编码器的潜在空间解决卫星图像修复的反问题，并联合估计潜在空间和图像空间的不确定性，为需要不确定性量化的场景提供了一种高效替代方案。
2025-12-15 cs.CV eess.IV physics.optics
Priors in Deep Image Restoration and Enhancement: A Survey
The Hong Kong University of Science and Technology (HKUST) Guangzhou（香港科技大学（广州））；Brown University（布朗大学）；HKUST（香港科技大学）
本文首次系统综述深度图像恢复与增强中的先验，涵盖理论分析、分类、讨论及未来方向，并开源相关代码库。
2023-07-26 cs.AI cs.CV cs.MM
Modulating Image Restoration with Continual Levels via Adaptive Feature Modification Layers
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong（香港中文大学）
在图像复原任务中，如去噪和超分辨率，恢复水平的连续调制对于现实世界的应用非常重要，但大多数现有的基于深度学习的图像复原方法都失败了。从离散和固定的恢复级别学习，深度模型不能轻易推广到连续和不可见级别的数据。这个主题在文献中很少涉及，因为很难用某些超参数来调节训练有素的模型。我们通过提出一个统一的CNN框架向前迈进了一步，该框架由比单级模型少的额外参数组成，但可以处理开始和结束级别之间的任意恢复级别。附加模块，即AdaFM层，执行通道特征修改，并可以使模型以高精度适应另一个恢复级别。通过简单地调整插值系数，中间模型AdaFM-Net可以产生平滑和连续的恢复效果，没有伪影。在三个图像复原任务上的大量实验证明了模型训练和调制测试的有效性。此外，我们仔细研究了AdaFM层的属性，为所提出的方法的使用提供了详细的指导。
2019-06-03 cs.CV
Deep-Masking Generative Network: A Unified Framework for Background Restoration from Superimposed Images
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Tencent（腾讯）；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））
从含有噪声层的叠加图像中恢复出干净的背景是图像复原中的经典任务，如图像反射去除、图像去噪和图像去雾等的共同关键。由于图像中噪声层的外观模式多样且复杂，这些任务通常被单独制定和处理。在这项工作中，我们提出了深度掩蔽生成网络（DMGN），这是一个统一的框架，用于从叠加图像中恢复背景，并能够应对不同类型的噪声。我们提出的DMGN遵循由粗到精的生成过程：首先并行生成粗糙的背景图像和噪声图像，然后进一步利用噪声图像来细化背景图像，以获得更高质量的背景图像。特别是，我们设计了新的残差深度掩蔽单元作为我们的DMGN的核心操作单元，通过学习门控掩码来控制信息流，从而在图像生成过程中增强有效信息并抑制负面信息。通过迭代地使用这个残差深度掩蔽单元，我们提出的DMGN能够逐步生成高质量的背景图像和噪声图像。此外，我们提出了一个双管齐下的策略，以有效地利用生成的噪声图像作为对比线索，以促进细化的背景图像。针对图像背景恢复的三个典型任务（包括图像反射去除，图像雨排去除和图像去雾）的广泛实验表明，我们的DMGN始终优于为每个任务专门设计的最先进的方法。
2021-04-12 cs.CV
