HDR Denoising and Deblurring by Learning Spatio-temporal Distortion Models
MPI Informatik(马克斯·普朗克信息学研究所);University College London(伦敦大学学院)
我们试图从双曝光传感器中重建清晰和无噪声的高动态范围(HDR)视频,该传感器在不同的像素列中记录不同的低动态范围(LDR)信息:奇数列提供低曝光,清晰,但有噪声的信息;偶数列补充了较少的噪声,高曝光,但运动模糊的数据。以前的LDR工作学习去模糊和去噪(DISTORTED->CLEAN),由CLEAN和DISTORTED图像对监督。遗憾的是,捕捉失真的传感器读数非常耗时;而且,缺乏清晰的HDR视频。我们提出了一种方法来克服这两个限制。首先,我们学习一个不同的函数:CLEAN->DISTORTED,它生成包含相关像素噪声、行和列噪声以及来自少量CLEAN传感器读数的运动模糊的样本。其次,由于没有足够的CLEAN HDR视频可用,我们设计了一种方法来学习LDR视频代替。我们的方法与几个强大的基线相比是有利的,并且当它们在我们的数据上重新训练时,可以提升现有的方法。结合空间和时间超分辨率,它可以实现低噪声或模糊的重新照明等应用。
2021-04-13 cs.CV eess.IV
Monotonically Convergent Regularization by Denoising
Washington University in St. Louis(圣路易斯华盛顿大学);Department of Electrical and Systems Engineering(电气与系统工程系);Department of Computer Science and Engineering(计算机科学与工程系)
去噪正则化(RED)是一种广泛使用的框架,用于通过利用图像去噪器作为图像先验来解决逆问题。最近的工作报告了RED在许多成像应用中使用预训练的深度神经网络作为去噪器的最新性能。尽管最近的进展,RED算法的稳定收敛仍然是一个开放的问题。现有的RED理论仅保证凸数据保真度项和非扩展去噪器的稳定性。这项工作通过开发一种新的单调RED(MRED)算法来解决这个问题,该算法的收敛性不需要深度去噪先验的非扩展性。对随机矩阵的图像去模糊和压缩感知恢复的仿真结果表明,即使在传统RED算法发散的情况下,MRED算法也是稳定的。
2022-02-10 cs.CV eess.IV
Plug-and-Play Image Restoration with Deep Denoiser Prior
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学);Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
最近的工作,即插即用的图像恢复表明,一个去噪器可以隐式地作为基于模型的方法,以解决许多逆问题的图像之前。这样的性质对于即插即用图像恢复(例如,结合了基于模型的方法的灵活性和基于学习的方法的有效性)。然而,虽然更深和更大的CNN模型正在迅速普及,现有的即插即用图像恢复阻碍了其性能,由于缺乏合适的降噪先验。为了推动即插即用图像恢复的极限,我们通过训练高度灵活和有效的CNN去噪器来建立基准深度去噪器。然后,我们将深度去噪先验作为模块化部分插入到基于半二次分裂的迭代算法中,以解决各种图像恢复问题。同时,我们提供了一个深入的分析,参数设置,中间结果和经验收敛,以更好地理解工作机制。三个代表性的图像恢复任务,包括去模糊,超分辨率和去马赛克的实验结果表明,所提出的即插即用的图像恢复与深度去噪先验不仅显着优于其他国家的最先进的基于模型的方法,但也实现了竞争力,甚至优于性能对国家的最先进的基于学习的方法。源代码可在https://github.com/cszn/DPIR上获得。
2021-07-12 cs.CV eess.IV
CurvPnP: Plug-and-play Blind Image Restoration with Deep Curvature Denoiser
Tianjin University(天津大学)
由于基于深度学习的去噪器的发展,即插即用策略在图像恢复问题中取得了巨大成功。然而,现有的即插即用图像恢复方法被设计用于非盲高斯去噪,例如Zhang等人(2022),其性能对于未知噪声明显恶化。为了突破即插即用图像恢复的极限,我们提出了一个新的框架,盲高斯先验,它可以处理更复杂的图像恢复问题,在现实世界中。更具体地说,我们建立了一个新的图像恢复模型,把噪声水平作为一个变量,这是由一个两阶段的盲高斯去噪器组成的噪声估计子网络和去噪子网络,其中噪声估计子网络提供的噪声水平去噪子网络进行盲噪声去除。我们还将曲率映射引入到编码器-解码器架构和监督注意模块中,以实现高度灵活和有效的卷积神经网络。通过对图像去噪、去模糊和单幅图像超分辨率的实验结果,验证了该方法的有效性,并证明了该方法的有效性。我们的模型被证明是能够恢复的图像细节和微小的结构,即使在噪声水平是未知的不同的图像恢复任务。源代码可在https://github.com/Duanlab123/CurvPnP上获得。
2022-11-14 cs.CV eess.IV
Provably Convergent Plug & Play Linearized ADMM, applied to Deblurring Spatially Varying Kernels
CNRS(法国国家科学研究中心);Université Paris Cité(巴黎西岱大学);GoPro(GoPro公司);Meta Inc(元公司)
本文提出一种基于线性化ADMM的即插即用框架,绕过难以计算的近端算子,证明算法收敛,并在超分辨率和非均匀模糊去模糊任务上取得结果。
2023-01-23 cs.CV math.OC stat.AP
Denoising Prior Driven Deep Neural Network for Image Restoration
深度神经网络(DNN)在各种图像复原(IR)任务中显示出非常有前途的结果。然而,网络架构的设计仍然是实现进一步改进的主要挑战。虽然大多数现有的基于DNN的方法通过直接将低质量图像映射到所需的高质量图像来解决IR问题,但表征图像退化过程的观察模型在很大程度上被忽视了。在本文中,我们首先提出了一个基于去噪的IR算法,其迭代步骤可以有效地计算。然后,迭代过程被展开为一个深度神经网络,该网络由多个去噪模块和反向投影(BP)模块组成,这些模块确保了观测的连续性。提出了一种基于卷积神经网络(CNN)的去噪器,它可以利用自然图像的多尺度冗余。因此,所提出的网络不仅利用了DNN强大的去噪能力,而且还利用了观测模型的先验知识。通过端到端的训练,去噪器和BP模块可以联合优化。几个IR任务的实验结果,例如,图像去噪、超分辨率和去模糊的实验结果表明,该方法在图像去噪、去模糊和超分辨率等多项红外任务中具有很强的竞争力,并且往往是最先进的。
2020-10-27 cs.CV
REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration
Nanyang Technological University(南洋理工大学);Michigan State University(密歇根州立大学)
基于预训练深度模型的图像恢复方案由于其解决各种逆问题的独特灵活性而受到极大关注。特别是,即插即用(Plug-and-Play,简称PSTF)框架是一种流行且功能强大的工具,可以集成现成的深度去噪器,用于具有已知观测模型的不同图像恢复任务。然而,在实践中,获得与实际模型完全匹配的观测模型可能具有挑战性。因此,具有常规深度去噪器的PADER方案在一些现实世界的图像恢复任务中可能无法产生令人满意的结果。我们认为,使用现成的深度去噪器,通过确定性优化训练的PADER框架的鲁棒性在很大程度上是有限的。为此,我们提出了一种新的基于深度强化学习(DRL)的Pendash框架,称为RePNP,通过利用轻量级的基于DRL的去噪器来执行鲁棒的图像恢复任务。实验结果表明,该算法对PSNR方案中观测模型偏离实际观测模型的情况具有较好的鲁棒性.因此,RePNP可以为图像去模糊和超分辨率任务生成更可靠的恢复结果。与几种最先进的深度图像恢复基线相比,RePNP以较少的模型参数实现了更好的主观模型偏差结果。
2022-07-25 cs.CV eess.IV
Robust Deep Ensemble Method for Real-world Image Denoising
Harbin Institute of Technology(哈尔滨工业大学);Megvii Inc(旷视科技有限公司)
最近,基于深度学习的图像去噪方法已经在具有与训练集相同分布的测试数据上取得了有希望的性能,其中已经学习了基于合成或收集的真实世界训练数据的各种去噪模型。然而,当处理真实世界的噪声图像时,去噪性能仍然有限。在本文中,我们提出了一种简单而有效的贝叶斯深度集成(BDE)方法用于现实世界的图像去噪,其中可以融合使用各种训练数据设置预先训练的几个代表性深度去噪器以提高鲁棒性。BDE的基础是真实世界的图像噪声是高度依赖于信号的,并且真实世界的噪声图像中的异质噪声可以由不同的去噪器分别处理。特别地,我们将经过良好训练的CBDNet,NBNet,HINet,Uformer和GMSNet纳入去噪池,并采用U-Net预测像素加权映射来融合这些去噪器。引入贝叶斯深度学习策略来预测加权不确定性和加权图,而不是单独学习像素加权图,通过该策略可以对预测方差进行建模,以提高对真实世界噪声图像的鲁棒性。大量的实验表明,通过融合现有的去噪器,而不是训练一个昂贵的大去噪器,可以更好地去除真实世界的噪声。在DND数据集上,我们的BDE比最先进的去噪方法获得了+0.28~dB的PSNR增益。此外,我们注意到,我们基于不同高斯噪声水平的BDE去噪器在应用于现实世界的噪声图像时,性能优于最先进的CBDNet。此外,该算法还可以扩展到其他图像复原任务中,在图像去模糊、图像去噪和单帧图像超分辨率的基准数据集上分别获得了+0.30…
2022-06-08 cs.CV eess.IV
The Maximum Entropy on the Mean Method for Image Deblurring
McGill University(麦吉尔大学);Université Paul Sabatier(保罗·萨巴蒂埃大学)
图像去模糊是一个非常具有挑战性的不适定逆问题。近年来,基于图像级别的正则化或基于来自机器学习的技术,已经提出了各种各样的方法。我们提出了一种替代方法,在图像空间的概率分布水平上将范式转向正则化。我们的方法是基于平均值上的最大熵的思想,其中我们在图像的概率密度函数的水平上工作,其期望是我们对地面真相的估计。使用凸分析和概率论的技术,我们表明,该方法是计算上可行的,适合非常大的模糊。此外,当图像嵌入符号(一个已知的模式),我们展示了我们的方法可以应用于近似未知的模糊核显着的效果。虽然我们的方法对于少量噪声是稳定的,但它不会主动去噪。然而,对于中等到大量的噪声,它通过使用最先进的方法进行预处理去噪来表现良好。
2020-10-20 cs.CV
Learning Deep CNN Denoiser Prior for Image Restoration
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
基于模型的优化方法和判别式学习方法一直是解决低层视觉中各种逆问题的两种主要策略。通常,这两种方法具有各自的优点和缺点,例如,基于模型的优化方法可以灵活地处理不同的反问题,但为了获得良好的性能,通常需要花费大量时间和复杂的先验知识;同时,判别学习方法测试速度快,但其应用范围受到专业任务的极大限制。最近的工作已经揭示,在变量分裂技术的帮助下,降噪先验可以作为基于模型的优化方法的模块化部分插入,以解决其他逆问题(例如,去模糊)。当通过判别式学习获得去噪器时,这样的集成引起相当大的优势。然而,与快速判别去噪先验集成的研究仍然缺乏。为此,本文旨在训练一套快速有效的CNN(卷积神经网络)去噪器,并将其融入到基于模型的优化方法中,解决其他逆问题。实验结果表明,学习的去噪器集不仅实现了有希望的高斯去噪结果,而且可以用作先验,为各种低级视觉应用提供良好的性能。
2017-04-11 cs.CV
FlowADMM: Plug-and-play ADMM with Flow-based Renoise-Denoise Priors
Computer Vision Group, University of Siegen(Siegen大学计算机视觉组)
本文提出FlowADMM算法,通过将重噪-去噪操作整合到经典ADMM框架中,解决了基于流的即插即用方法的收敛性问题,并在逆问题中取得了最佳性能。
2026-05-09 cs.CV
Analysis Plug-and-Play Methods for Imaging Inverse Problems
Washington University in St. Louis(华盛顿大学圣路易斯分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出分析即插即用方法,将去噪先验从图像域迁移至梯度域,并基于HQS和ADMM设计两种重建算法,在去模糊和超分辨率上取得与图像域PnP相当的性能。
2025-09-18 cs.CV eess.IV
Denoising Diffusion Models for Plug-and-Play Image Restoration
ETH Zürich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
本文提出DiffPIR,将传统即插即用方法集成到扩散采样框架中,利用扩散模型的生成能力作为图像先验,在超分辨率、去模糊和修复任务上以不超过100次NFEs实现了最先进的重建保真度与感知质量。
2023-05-15 cs.CV eess.IV
Block Coordinate Plug-and-Play Methods for Blind Inverse Problems
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出块坐标即插即用(BC-PnP)方法,通过在图像和测量算子上同时引入去噪先验并建立非凸收敛理论,高效求解 MRI 线圈灵敏度估计和盲去模糊等盲逆问题。
2023-10-26 cs.CV cs.LG eess.IV
Scene-Adapted Plug-and-Play Algorithm with Guaranteed Convergence: Applications to Data Fusion in Imaging
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院)
最近提出的即插即用(PIPE)框架允许利用图像去噪的最新发展来解决其他更复杂的成像逆问题。在Pestrian方法中,黑盒去噪器被插入到迭代算法中,代替对应于某些凸正则化器的邻近算子的正式去噪步骤。虽然这种方法提供了灵活性和优异的性能,但所得到的算法的收敛性可能很难分析,因为大多数最先进的去噪器缺乏明确的底层目标函数。在本文中,我们提出了一种Pestival方法,其中场景适应先验(即,其中去噪器针对被成像的特定场景)被插入到ADMM(交替方向乘法器方法)中,并证明所得到的算法的收敛性。最后,我们将该框架应用于两个不同的成像逆问题:高光谱锐化/融合和模糊/噪声图像对的图像去模糊。
2018-01-02 cs.CV
Fractal-IR: A Unified Framework for Efficient and Scalable Image Restoration
ETH Zürich(苏黎世联邦理工学院);University of Pisa(比萨大学);University of Trento(特伦托大学);Meta Reality Labs(元宇宙现实实验室);Peking University(北京大学);University of California, Merced(加州大学默塞德分校)
针对视觉Transformer在图像复原任务中跨退化类型、分辨率扩展效率低的问题,提出基于分形架构的Fractal-IR框架,无需长程自注意力即可实现局部到全局的特征过渡,配套模型扩展策略,在7类图像复原任务上达到SOTA性能。
2025-03-22 cs.CV
Regularization by Denoising via Fixed-Point Projection (RED-PRO)
Technion Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
图像处理中的逆问题通常被视为优化任务,由数据保真度和稳定正则化项组成。最近一个非常有趣的正则化策略利用了去噪引擎的力量。两种这样的方法是即插即用先验(PIPE)和去噪正则化(RED)。虽然两者都在各种恢复任务中显示出最先进的结果,但它们的理论论证是不完整的。在本文中,我们的目标是在RED和PPENDIX之间架起桥梁,丰富对这两个框架的理解。为此,我们重新制定RED作为一个凸优化问题,利用投影(RED-PRO)到固定点集的半压缩降噪。我们为这个问题提供了一个简单的迭代解决方案,通过这个方案,我们证明了Pestrian近似梯度法是RED-PRO的一个特例,同时为这两个框架收敛到全局最优解提供了保证。此外,我们提出了RED-PRO的放松,允许处理有限的定点集的降噪器。最后,我们展示了RED-PRO用于图像去模糊和超分辨率任务,显示了相对于原始RED框架的改进结果。
2020-10-28 cs.CV eess.IV
An Interpretation of Regularization by Denoising and its Application with the Back-Projected Fidelity Term
Tel Aviv University(特拉维夫大学)
绝大多数图像恢复任务都是不适定问题。因此,基于优化的方法使用由保真度和先验(正则化)项组成的代价函数。最近的一系列工作通过去噪正则化(RED)方法来施加先验,该方法利用了现有图像去噪引擎的良好性能。然而,RED与显式先验项的关系仍然没有得到很好的理解,因为以前的工作需要对去噪器进行太强的假设。在本文中,我们做了两个贡献。首先,我们证明了RED梯度可以被视为先验函数的(子)梯度-但在该点的去噪版本上进行。由于RED通常以相对较小的噪声水平应用,因此这种解释表明RED与传统梯度之间的相似性。这导致了我们的第二个贡献:我们建议将RED与反向投影(BP)保真度项相结合,而不是在以前的作品中使用的常见最小二乘(LS)项。我们证明了BP在图像去模糊和超分辨率方面优于LS的优势,这些优势已经在传统梯度中得到了证明,并继续采用RED方法。
2021-01-27 cs.CV eess.IV
Plug-and-Play image restoration with Stochastic deNOising REgularization
提出SNORE框架,仅在适当噪声水平图像上应用去噪器,结合随机正则化与梯度下降求解逆问题,在去模糊和修复任务上达到SOTA。
2026-06-12 cs.CV cs.LG eess.IV
Learning Sparse and Low-Rank Priors for Image Recovery via Iterative Reweighted Least Squares Minimization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
该研究将 IRLS 推广为带加权稀疏与低秩拟范数先验的循环重建网络,并以隐式反向传播训练,在多种图像逆问题上以少得多参数取得优于展开网络的结果。
2023-04-20 cs.CV eess.IV
Solving Linear Inverse Problems Using the Prior Implicit in a Denoiser
Center for Data Science(数据科学中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);New York University(纽约大学);Center for Neural Science(神经科学中心);Courant Inst. of Mathematical Sciences(柯朗数学科学研究所)
该研究提出利用去噪神经网络隐含先验求解线性逆问题的方法,基于Miyasawa统计结论构建随机由粗到精梯度上升流程,无需额外训练即可在多项图像任务上取得最先进的无监督性能。
2021-05-07 cs.CV eess.IV stat.ML
Small, Bias-Free, Blind and Convolutional Denoiser: A compact ConvNeXt U-Net for blind Gaussian color-image denoising
Electiconsulting(电子咨询公司)
研究针对盲高斯彩色图像去噪,提出结合多种要素的紧凑型无偏差ConvNeXt U-Net即BF-ConvUNeXt。通过特殊设计使其具有齐次性,能盲态泛化。训练单一模型,在多数据集多噪声水平下评估表现良好,虽略落后于最优技术,但参数少,还推动相关逆问题研究。
2026-07-28 cs.CV eess.IV
ErA: Error-Aware Deep Unrolling Network for Single Image Defocus Deblurring
KC Machine Learning Lab(KC机器学习实验室)
提出ErA网络,通过联合学习紧凑核基和逐像素权重,并利用增广拉格朗日展开中的误差感知项交替更新和ResUNet去噪器校正核估计误差,在多个数据集上达到最优性能。
2026-06-04 cs.CV eess.IV
Image Restoration by Denoising Diffusion Models with Iteratively Preconditioned Guidance
Open University of Israel(以色列开放大学);Bar-Ilan University(巴伊兰大学)
针对观测噪声削弱反投影引导的图像复原效果问题,提出基于预处理的迭代引导方法,可在BP与最小二乘引导间过渡,鲁棒性强且实现简单,在去模糊和超分辨率任务上效果优于现有方法。
2024-04-14 cs.CV eess.IV
Image Restoration with Locally Selected Class-Adapted Models
用于成像逆问题(即,去模糊和重建)的最新算法通常是迭代的,涉及去噪操作作为其步骤之一。在这种情况下,使用最先进的去噪方法并不是微不足道的,并且是当前工作的重点。最近,我们已经提出了在所谓的即插即用方案中使用类自适应去噪器(使用高斯混合模型的基于块),其中最先进的去噪器被插入到迭代算法中,当应用于已知类的图像(例如,面部、文本、脑MRI)时,导致优于最佳通用算法的结果。在本文中,我们扩展了这种方法来处理的情况下,正在处理的图像是从一个可能的类的集合,或者更重要的是,包含不同的类的区域。更具体地说,我们提出了一种方法来本地选择一组类适应高斯混合补丁先验,以前估计从这些类的干净的图像之一。我们的方法可以被看作是同时执行分割和恢复,从而有助于弥合图像复原/重建和分析之间的差距。
2016-08-02 cs.CV
Ambiguity in solving imaging inverse problems with deep learning based operators
University of Bologna(博洛尼亚大学);Emory University(埃默里大学)
本文针对深度学习图像去模糊对噪声敏感且忽视底层成像数值模型的问题,提出小型神经架构和统一预处理框架两种策略,在保持精度的同时提升网络稳定性,其中基于变分模型的框架实现了视觉精度与鲁棒性的最佳平衡。
2023-05-31 cs.CV cs.LG cs.NA
Deep Camera Obscura: An Image Restoration Pipeline for Lensless Pinhole Photography
Arizona State University(亚利桑那州立大学);SenseBrain Technology(商汤科技(SenseBrain Technology))
无透镜针孔相机可能是最早和最简单的成像系统形式,仅使用针孔大小的光圈代替透镜。它们可以捕捉无限景深,并提供比基于镜头的同行更大的光学失真自由度。然而,针孔系统的固有限制导致由光学衍射引起的模糊的较低锐度和由于小光圈的低光通量引起的较高噪声水平,需要非常长的曝光时间来捕获曝光良好的图像。在本文中,我们探索了一个图像复原管道使用深度学习和针孔系统的领域知识,以提高针孔图像质量,通过联合去噪和去模糊的方法。我们的方法可以为手持摄影提供更实用的曝光时间,并提供更高的图像质量,使其与其他无镜头相机相比更适合日常摄影,同时保持低尺寸和低成本。这开启了针孔相机在更小设备(如智能手机)中使用的潜力。
2021-08-12 cs.CV eess.IV
Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
虽然基于深度神经网络(DNN)的单图像超分辨率(SISR)方法正在迅速流行,但它们主要是针对广泛使用的双三次退化而设计的,并且它们仍然存在对具有任意模糊核的低分辨率(LR)图像进行超分辨率处理的根本挑战。与此同时,即插即用图像复原由于其模块化结构易于插入去噪先验而具有很高的灵活性。在本文中,我们提出了一个原则性的配方和框架,通过扩展基于双三次退化的深度SISR的帮助下,即插即用框架处理LR图像与任意模糊内核。具体来说,我们设计了一个新的SISR退化模型,以便利用现有的盲去模糊方法的模糊核估计。为了优化新的退化引起的能量函数,我们通过变量分裂技术推导出一个即插即用算法,该算法允许我们插入任何超解析器先验,而不是去噪器先验作为模块化部分。对合成和真实LR图像的定量和定性评估表明,所提出的深度即插即用超分辨率框架是灵活和有效的,以处理模糊LR图像。
2019-03-29 cs.CV
Universal Denoising Networks : A Novel CNN Architecture for Image Denoising
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(斯科尔科沃科技学院)(Skoltech))
我们设计了一种新的网络架构,用于学习判别图像模型,用于有效地解决灰度和彩色图像去噪的问题。基于所提出的架构,我们介绍了两种不同的变体。第一个网络涉及卷积层作为核心组件,而第二个网络则依赖于非局部过滤层,因此它能够利用自然图像固有的非局部自相似特性。与大多数现有的深度网络方法相反,这些方法需要为每个考虑的噪声水平训练特定的模型,所提出的模型能够使用单个学习参数集来处理各种噪声水平,同时当使潜像降级的噪声与训练期间使用的噪声统计数据不匹配时,它们非常鲁棒。后一种说法是支持的结果,我们报告的公开可用的图像被未知的噪声破坏,我们对竞争的方法获得的解决方案进行比较。同时,引入的网络在加性高斯白噪声(AWGN)下取得了优异的结果,与当前最先进的网络相当,而它们依赖于更浅的架构,训练参数的数量小一个数量级。这些特性使得所提出的网络成为处理一般逆成像问题(如去模糊、去马赛克、超分辨率等)的恢复方法的子求解器的理想候选者。
2018-03-24 cs.CV
Image Restoration by Iterative Denoising and Backward Projections
School of Electrical Engineering, Tel Aviv University(特拉维夫大学电气工程学院)
本文提出了一种利用现成去噪器解决逆问题的替代方法,通过将典型成本函数转换为新的优化问题,并引入高效的最小化方案和自动调参机制,以减少参数调优并提升图像修复和去模糊的效果。
2018-10-10 cs.CV cs.NA math.NA
PnP-Flow: Plug-and-Play Image Restoration with Flow Matching
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIP(计算机并行实验室)
本文提出PnP-Flow算法,结合即插即用框架与流匹配模型,通过交替梯度下降、重投影和去噪解决成像逆问题,在去噪、超分、去模糊和修复任务上超越现有方法。
2025-09-09 cs.CV cs.LG
Iterative Reweighted Least Squares Networks With Convergence Guarantees for Solving Inverse Imaging Problems
Huawei Technologies Ltd(华为技术有限公司)
本文提出一种基于学习型分析正则化的迭代重加权最小二乘网络,通过随机双层优化学习正则化参数,并利用收敛保证实现内存高效的隐式反向传播,在去模糊、超分辨率和去马赛克任务上以极少参数超越现有展开网络。
2023-08-10 cs.CV
CANDID: Correspondence AligNment for Deep-burst Image Denoising
University of Tübingen(图宾根大学)
针对深度连拍图像去噪问题,提出名为CANDID的方法,通过光流对应估计模块对齐帧、差异化预滤波、空间变化滤波核平滑后融合图像,实现了当前最优的去噪效果。
2023-06-16 cs.CV cs.LG
Empirical Bayesian image restoration by Langevin sampling with a denoising diffusion implicit prior
Heriot-Watt University(赫瑞瓦特大学);Université de Bordeaux(波尔多大学)
本文提出将 DDPM 去噪器嵌入经验贝叶斯 Langevin 算法,在估计后验均值时联合校准超参数,从而在去模糊、超分辨率和修复任务中提升精度与速度。
2024-09-06 cs.CL cs.CV eess.IV
StereoISP: Rethinking Image Signal Processing for Dual Camera Systems
Purdue University(普渡大学)
传统的图像信号处理(ISP)框架被设计成从单个原始测量重构RGB图像。随着多相机系统越来越受欢迎,通过整合来自多个相机的原始测量来探索ISP框架的改进是值得的。这份手稿是一份正在开发的新的ISP框架StereoISP的中期进度报告。它采用来自立体相机对的原始测量,通过利用两个视图之间的视差估计来生成去马赛克、去噪的RGB图像。我们研究StereoISP通过测试从立体数据集合成的原始图像对的性能。我们的初步结果显示,在KITTI 2015上重建的RGB图像的PSNR至少提高了2dB,并使用地面真实稀疏视差图驱动立体数据集。
2022-11-15 cs.CV cs.LG eess.IV
Image Restoration via Primal Dual Hybrid Gradient and Flow Generative Model
本文提出一种基于原始对偶混合梯度的即插即用图像复原算法,将流匹配生成先验作为时间相关去噪器,支持$\ell_1$和$\ell_2$保真项,在非高斯噪声下的去噪、超分辨率、去模糊和修复任务中优于传统平方$\ell_2$损失。
2025-11-10 cs.CV
CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble(GAN-CIRCLE)
Stanford University(斯坦福大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Sichuan University(四川大学);University of Iowa(爱荷华大学);Southeast University(东南大学);Wuxi No.2 People’s Hospital(无锡市第二人民医院);University of Chicago(芝加哥大学)
计算机断层扫描(CT)广泛用于临床和研究目的的筛查、诊断和图像引导治疗。由于CT涉及电离辐射,因此相关技术研究的主要方向是开发新方法,从而能够在减少X射线辐射的同时实现具有精细结构细节的高质量成像。在本文中,我们提出了一种半监督式深度学习方法,可以从低分辨率(LR)图像中准确地恢复高分辨率(HR)CT图像。具体而言,以生成对抗网络(GAN)为构建块,我们根据Wasserstein距离强制执行循环一致性,以建立从噪声LR输入图像到去噪和去模糊HR输出的非线性端到端映射。我们还包括联合约束的损失函数,以促进结构的保护。在这个深度成像过程中,我们结合了深度卷积神经网络(CNN)、残差学习和网络中的网络技术,用于特征提取和恢复。与当前增加网络深度和复杂性以提高CT成像性能的趋势相反,这通过施加相当大的计算和内存开销来限制其实际应用,我们应用并行$1\times1$ CNN来压缩隐藏层的输出并优化每个卷积层的层数和滤波器的数量。定量和定性的评价表明,我们提出的模型是准确的,有效的和强大的超分辨率(SR)图像恢复噪声LR输入图像。特别是,我们在三个大规模CT数据集上验证了我们的复合SR网络,并与其他最先进的方法相比,获得了令人鼓舞的结果。
2018-09-06 cs.CV cs.LG eess.IV
Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出Instruct-IPT,通过权重调制和低秩分解实现多任务图像恢复,同步训练提升性能,支持人类提示,代码已开源。
2024-12-16 cs.CV