MRI Recovery with Self-Calibrated Denoisers without Fully-Sampled Data
本文提出自监督MRI重建方法ReSiDe,通过迭代训练去噪器仅从欠采样数据恢复图像,并在静态和动态MRI实验中验证其优于现有方法。
2024-11-25 eess.IV
NoiseBreaker: Gradual Image Denoising Guided by Noise Analysis
Univ. Rennes, INSA Rennes, IETR - UMR CNRS 6164(雷恩大学,雷恩国立应用科学学院,IETR - 法国国家科学研究中心联合研究单位 6164);DGA-MI(法国国防采购局信息技术与通信处)
基于全监督深度学习的去噪器是目前性能最好的图像去噪解决方案。然而,它们需要干净的参考图像。当目标噪声是复杂的,例如由具有未知强度的主要噪声的未知混合物组成时,完全监督的解决方案受到难以为问题构建合适的训练集的限制。本文提出了一种渐进的去噪策略,迭代地检测图像中的主导噪声,并使用定制的去噪器去除它。该方法被证明是跟上最先进的混合噪声盲去噪。此外,噪声分析表明,有效地指导降噪不仅对噪声类型,而且对噪声强度。该方法提供了一个洞察所遇到的噪声的性质,它使得有可能扩展现有的降噪与新的噪声性质。这一特点使得该方法能够适应不同的去噪情况。
2020-07-31 cs.CV eess.IV
Trainable Nonexpansive Denoisers for Contractive Image Reconstruction
Indian Institute of Science(印度科学学院)
研究如何训练用于图像重建的去噪器,利用排列对图像格的作用约束神经架构,使其全局非扩张,集成去噪器与成像算子开发出可证明收缩且全局收敛的重建机制,实验表明性能有竞争力且提供Lipschitz保证。
2026-07-28 cs.CV eess.IV
Enhancing and Learning Denoiser without Clean Reference
The Hong Kong Polytechnic University(香港理工大学)
最近的研究基于学习的图像去噪取得了良好的性能在各种降噪任务。这些深度去噪器中的大多数都是在干净参考的监督下训练的,或者是在合成噪声的无监督下训练的。当面对真实照片时,合成噪声的假设导致泛化能力差。为了解决这个问题,我们提出了一种新的深度图像去噪方法,将降噪任务视为噪声转移任务的特殊情况。学习噪声迁移使网络能够通过观察污染样本来获得去噪能力。真实世界去噪基准测试的结果表明,我们提出的方法在去除现实噪声方面取得了令人满意的性能,使其成为实际降噪问题的潜在解决方案。
2021-03-28 cs.CV eess.IV
Self-Supervised Denoiser Framework
针对工业CT欠采样导致的图像质量问题,提出自监督去噪器框架(SDF),通过正弦图空间的子集预测任务训练去噪器,无需真实图像,提升重建质量且适用于少数据微调,性能优于现有方法。
2024-11-29 cs.CV cs.LG eess.IV
Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers
Nanyang Technological University(南洋理工大学)
针对配对视频数据获取难的问题,提出将可调时序模块集成到预训练图像去噪器的TAP无监督视频去噪框架,结合渐进式微调策略,在sRGB和原始视频数据集上实现更优去噪效果。
2024-09-17 cs.CV eess.IV
CurvPnP: Plug-and-play Blind Image Restoration with Deep Curvature Denoiser
Tianjin University(天津大学)
由于基于深度学习的去噪器的发展,即插即用策略在图像恢复问题中取得了巨大成功。然而,现有的即插即用图像恢复方法被设计用于非盲高斯去噪,例如Zhang等人(2022),其性能对于未知噪声明显恶化。为了突破即插即用图像恢复的极限,我们提出了一个新的框架,盲高斯先验,它可以处理更复杂的图像恢复问题,在现实世界中。更具体地说,我们建立了一个新的图像恢复模型,把噪声水平作为一个变量,这是由一个两阶段的盲高斯去噪器组成的噪声估计子网络和去噪子网络,其中噪声估计子网络提供的噪声水平去噪子网络进行盲噪声去除。我们还将曲率映射引入到编码器-解码器架构和监督注意模块中,以实现高度灵活和有效的卷积神经网络。通过对图像去噪、去模糊和单幅图像超分辨率的实验结果,验证了该方法的有效性,并证明了该方法的有效性。我们的模型被证明是能够恢复的图像细节和微小的结构,即使在噪声水平是未知的不同的图像恢复任务。源代码可在https://github.com/Duanlab123/CurvPnP上获得。
2022-11-14 cs.CV eess.IV
Gradient Step Denoiser for convergent Plug-and-Play
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);IMB(波尔多数学研究所)
即插即用方法构成了一类迭代算法的成像问题,其中正则化是由现成的去噪。虽然即插即用的方法可以导致巨大的视觉性能的各种图像问题,现有的几个收敛保证是基于不切实际的(或次优的)假设的降噪,或限于强凸数据项。在这项工作中,我们提出了一种新的类型的即插即用的方法,基于半二次分裂,其中的去噪器实现为一个梯度下降步骤的功能参数化的深神经网络。利用近端梯度下降算法在非凸设置的收敛结果,我们表明,所提出的即插即用算法是一个收敛的迭代计划,目标是一个明确的全球功能的稳定点。此外,实验表明,与即插即用方案中使用的其他最先进的深度去噪器相比,可以学习这样的深度去噪器,同时不损害性能。我们将我们的近端梯度算法应用于各种不适定逆问题,例如去模糊、超分辨率和修复。对于所有这些应用程序,数值结果经验证实的收敛结果。实验结果表明,该算法在定量和定性上都达到了最佳性能。
2022-02-14 cs.CV eess.IV math.OC
Enhanced Low-Dose CT Image Reconstruction by Domain and Task Shifting Gaussian Denoisers
Hochschule Darmstadt(达姆施塔特应用科学大学)
本文提出FBP-DTSGD,将预训练自然图像高斯去噪器经域与任务迁移微调用于FBP后的LDCT增强,以两阶段效率取得LoDoPaB-CT领先重建质量。
2025-03-14 cs.CV cs.LG eess.IV
Filtered Iterative Denoising for Linear Inverse Problems
迭代去噪算法(IDAs)在信号和图像处理中出现的一系列线性逆问题中取得了巨大的成功。这方面的经典例子是著名的迭代软阈值算法(ISTA),基于小波系数的软阈值。更现代的IDA方法用黑盒去噪器(如BM 3D或学习的深度神经网络去噪器)取代软阈值。这些方法通常被称为“即插即用”(Plug-and-Play)方法,因为原则上,现成的去噪器可用于各种不同的逆问题。使用PSNR方法的问题是,它们可能无法为特定的线性逆问题提供最佳解决方案;通常可以通过针对问题域定制的去噪器来获得更好的解决方案。然而,一个特定问题的去噪器需要昂贵的重新设计或重新学习,这就消除了使Pestrian方法具有吸引力的简单性和易用性。本文提出了一种新的IDA,它允许人们通过一个简单的线性滤波修改通常的梯度更新步骤,占特定的线性逆问题,更有效地使用一个一般的,黑盒去噪。滤波IDA(FIDA)是从经典的ISTA和小波去噪的观点数学推导出来的。我们的实验表明,FIDA可以产生优越的结果相比,现有的IDA方法与BM 3D。
2023-02-15 eess.IV
Poisson Image Deconvolution by a Plug-and-Play Quantum Denoising Scheme
本文介绍了一种新的即插即用的交替方向的乘法器(ADMM)方案的基础上,最近提出的去噪器使用量子物理薛定谔方程的解决方案。所提出的算法的效率进行评估泊松图像去卷积,这是非常常见的成像应用,例如,有限的光子采集。数值结果表明,所提出的方案相比,最近的国家的最先进的技术,低和高信噪比的情况下的优越性。这种性能增益主要是由嵌入式量子去噪器对影响观测的不同类型噪声的灵活性来解释的。
2021-05-10 eess.IV eess.SP
Domain Adaptation of Mismatched Proximal Denoiser for Plug-and-Play Image Reconstruction
School of Mathematics, University of Birmingham(数学系,伯明翰大学)
研究即插即用图像重建中因去噪器部署在训练域外导致的域不匹配问题,定义近端不匹配,推导平稳性界,通过近端匹配适应方法,用两个去噪器家族实验,表明该方法在少样本下显著提升重建质量。
2026-07-17 cs.LG eess.IV math.OC
Self-supervised training of deep denoisers in multi-coil MRI considering noise correlations
Department of Electrical and Computer Engineering, Seoul National University(电气电子工程系,首尔国立大学);INMC & IPAI, Seoul National University(INMC与IPAI,首尔国立大学);Division of Computer Engineering, Hankuk University of Foreign Studies(计算机工程系,韩文大学);Department of Radiology, Johns Hopkins University School of Medicine(放射科,约翰霍普金斯大学医学院)
针对多线圈MRI自监督去噪依赖K空间次优分割的问题,提出Coil2Coil方法,通过线圈间数据拆分组合生成训练对,结合去相关与干净图像匹配策略,实现了媲美监督方法的去噪效果。
2025-06-13 cs.CV cs.LG eess.IV
Fluctuation-based deconvolution in fluorescence microscopy using plug-and-play denoisers
UCA(蔚蓝海岸大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Bath(巴斯大学)
由于可见光的衍射,通过荧光显微镜获得的活体样品图像的空间分辨率在物理上受到限制,这使得研究尺寸小于衍射屏障(x-y平面中约200 nm)的实体非常具有挑战性。为了克服这个限制,已经提出了几种去卷积和超分辨率技术。在逆问题的框架内,荧光显微镜的现代方法通过仔细设计合适的手工制作的稀疏促进调节剂,从帧的时间堆栈重建超分辨率图像。数值上,这种方法是解决了近端梯度为基础的迭代计划。为了获得更适合样本几何形状(例如细丝)的重建,我们采用了具有收敛保证的即插即用去噪方法,并将与显式图像正则化器相关的邻近算子替换为图像去噪器(即预先训练的网络),该去噪器在适当的训练后模仿隐式先验的动作。为了解释分子之间波动的独立性,该模型依赖于二阶统计。然后在来自表示具有细丝结构的波动荧光分子序列的数据的协方差图像上训练去噪器。模拟和真实的荧光显微镜图像上的方法进行评估,显示其能够正确地重建细丝结构与高值的峰值信噪比(PSNR)。
2023-03-20 cs.AI eess.IV math.OC
Noise2NoiseFlow: Realistic Camera Noise Modeling without Clean Images
York University(约克大学);Vector Institute(向量研究所);Samsung AI Center–Toronto(三星人工智能中心多伦多分部)
图像噪声建模是计算机视觉中一个长期存在的问题,有许多应用。早期的尝试提出了简单的模型,如信号无关的加性高斯白噪声或异方差高斯噪声模型(又名,相机噪声水平函数)不足以学习相机传感器噪声的复杂行为。最近,已经提出了更复杂的基于学习的模型,这些模型在噪声合成和下游任务(如去噪)中产生了更好的结果。然而,它们对监督数据的依赖性(即,成对的干净图像)是一个限制因素,因为在产生地面实况图像方面存在挑战。本文提出了一个框架,同时训练噪声模型和去噪器,同时只依赖于对噪声图像,而不是噪声/干净的成对图像数据。我们将此框架应用于噪声流架构的训练。噪声合成和密度估计结果表明,我们的框架优于以前的基于信号处理的噪声模型,并与其监督的同行。经过训练的去噪器还显示出对监督和弱监督基线去噪方法的显着改进。结果表明,联合训练的去噪器和噪声模型产生显着改善的去噪。
2022-06-02 cs.CV eess.IV
Joint Reconstruction and Calibration using Regularization by Denoising
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
去噪正则化(RED)是一种广泛适用的框架,用于通过使用指定为去噪器的先验来解决逆问题。虽然RED已被证明在许多应用中提供最先进的性能,但现有的RED算法需要表征成像系统的测量算子的精确知识,限制了它们在测量算子具有参数不确定性的问题中的适用性。我们提出了一种新的方法,称为校准的红色(卡尔-红色),使联合校准的测量操作员以及重建的未知图像。Cal-RED将传统的RED方法扩展到需要测量操作员校准的成像问题。我们验证了Cal-RED在扰动投影角下的计算机断层扫描(CT)中的图像重建问题。我们的研究结果证实了Cal-RED使用预训练的深度去噪器作为图像先验进行联合校准和重建的有效性。
2020-11-26 cs.CV eess.IV
Self-supervised Image Denoising with Downsampled Invariance Loss and Conditional Blind-Spot Network
Seoul National University(首尔国立大学);Gauss Labs Inc.(高斯实验室公司)
提出一种结合下采样不变性损失与条件盲点网络(C-BSN)的自监督图像去噪框架,通过控制网络盲目性并利用随机子采样器去除空间噪声相关性,在真实数据集上达到最先进性能。
2023-07-28 cs.CV eess.IV
Stochastic Deep Restoration Priors for Imaging Inverse Problems
本文提出随机深度恢复先验(ShaRP),利用预训练恢复模型集合正则化成像逆问题,在 MRI 重建和超分辨率任务上无需重训练即超越去噪器与扩散模型方法。
2024-10-02 eess.IV
Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches
Sichuan University(四川大学)
本文提出一种自协作(SC)策略,通过迭代替换滤波器引导噪声提取模块中的去噪器以生成更优合成图像对,在不增加推理复杂度的情况下提升GAN无监督图像去噪性能,实验证明其优于现有方法。
2023-08-13 cs.CV eess.IV
Deep High-Resolution Network for Low Dose X-ray CT Denoising
University of Texas Southwestern Medical Centre(德克萨斯大学西南医学中心)
低剂量计算机断层扫描(LDCT)由于减少了对患者的辐射而在临床上是理想的。然而,LDCT图像的质量往往是次优的,因为不可避免的强量子噪声。受计算机视觉领域空前成功的启发,基于深度学习(DL)的技术已被用于LDCT去噪。尽管DL模型具有良好的噪声去除能力,但人们已经观察到DL去噪图像的分辨率受到影响,降低了其临床价值。为了缓解这个问题,在这项工作中,我们开发了一个更有效的去噪器,通过引入高分辨率网络(HRNet)。由于HRNet由子网络的多个分支组成,以提取多尺度特征,然后将其融合在一起,因此可以大大提高生成特征的质量,从而提高去噪性能。实验结果表明,引入HRNet的去噪优于基准UNet的去噪在优越的图像分辨率保持能力方面,而可比的,如果不是更好的,噪声抑制能力。均方根误差(RMSE)/结构相似性指数(SSIM)方面的定量指标表明,基于HRNet的去噪器可以将值从113.80/0.550(LDCT)提高到55.24/0.745(HRNet),而基于UNet的去噪器的值为59.87/0.712。
2021-02-01 cs.CV eess.IV
Robust Deep Ensemble Method for Real-world Image Denoising
Harbin Institute of Technology(哈尔滨工业大学);Megvii Inc(旷视科技有限公司)
最近,基于深度学习的图像去噪方法已经在具有与训练集相同分布的测试数据上取得了有希望的性能,其中已经学习了基于合成或收集的真实世界训练数据的各种去噪模型。然而,当处理真实世界的噪声图像时,去噪性能仍然有限。在本文中,我们提出了一种简单而有效的贝叶斯深度集成(BDE)方法用于现实世界的图像去噪,其中可以融合使用各种训练数据设置预先训练的几个代表性深度去噪器以提高鲁棒性。BDE的基础是真实世界的图像噪声是高度依赖于信号的,并且真实世界的噪声图像中的异质噪声可以由不同的去噪器分别处理。特别地,我们将经过良好训练的CBDNet,NBNet,HINet,Uformer和GMSNet纳入去噪池,并采用U-Net预测像素加权映射来融合这些去噪器。引入贝叶斯深度学习策略来预测加权不确定性和加权图,而不是单独学习像素加权图,通过该策略可以对预测方差进行建模,以提高对真实世界噪声图像的鲁棒性。大量的实验表明,通过融合现有的去噪器,而不是训练一个昂贵的大去噪器,可以更好地去除真实世界的噪声。在DND数据集上,我们的BDE比最先进的去噪方法获得了+0.28~dB的PSNR增益。此外,我们注意到,我们基于不同高斯噪声水平的BDE去噪器在应用于现实世界的噪声图像时,性能优于最先进的CBDNet。此外,该算法还可以扩展到其他图像复原任务中,在图像去模糊、图像去噪和单帧图像超分辨率的基准数据集上分别获得了+0.30…
2022-06-08 cs.CV eess.IV
Deep Variation Prior: Joint Image Denoising and Noise Variance Estimation without Clean Data
University of Bristol(布里斯托大学)
随着最近基于深度学习的方法在从图像中去除噪声方面显示出有希望的结果,在监督学习设置中报告了最佳的去噪性能,该设置需要大量成对的噪声图像和地面实况进行训练。强大的数据需求可以通过无监督学习技术来缓解,然而,图像或噪声方差的准确建模对于高质量的解决方案仍然至关重要。对于未知的噪声分布,学习问题是不适定的。本文研究了图像去噪和噪声方差估计在一个单一的,联合学习框架的任务。为了解决这个问题的不适定性,我们提出了深度变化先验(DVP),它指出正确学习的去噪器相对于噪声变化的变化满足一些平滑特性,作为良好去噪器的关键标准。在DVP的基础上,开发了一个无监督的深度学习框架,可以同时学习去噪器和估计噪声方差。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤,相反,近似的最小均方误差去噪只使用一组噪声图像。由于这两个基本任务在一个框架中被考虑,我们允许它们相互优化。实验结果表明,去噪质量与监督学习和准确的噪声方差估计相当。
2022-09-19 cs.CV cs.LG eess.IV
Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对盲点驱动自监督去噪方法的信息损失问题,提出Blind2Unblind方法,通过全局感知掩码映射器和重新可见损失,实现高效去噪,在合成和真实数据集上性能优越。
2023-05-08 cs.CV eess.IV
HyperAIRI: a plug-and-play algorithm for precise hyperspectral image reconstruction in radio interferometry
University of Edinburgh, EPCC(爱丁堡大学, EPCC);Heriot-Watt University, Institute of Sensors, Signal(赫里奥特-瓦特大学, 传感器与信号研究所)
HyperAIRI是一种基于学习的即插即用算法,用于高精度超光谱图像重建,通过结合幂律光谱模型和动态范围匹配的去噪器,实现高分辨率和高动态范围的射电干涉成像。
2026-02-11 astro-ph.IM cs.LG eess.IV
REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration
Nanyang Technological University(南洋理工大学);Michigan State University(密歇根州立大学)
基于预训练深度模型的图像恢复方案由于其解决各种逆问题的独特灵活性而受到极大关注。特别是,即插即用(Plug-and-Play,简称PSTF)框架是一种流行且功能强大的工具,可以集成现成的深度去噪器,用于具有已知观测模型的不同图像恢复任务。然而,在实践中,获得与实际模型完全匹配的观测模型可能具有挑战性。因此,具有常规深度去噪器的PADER方案在一些现实世界的图像恢复任务中可能无法产生令人满意的结果。我们认为,使用现成的深度去噪器,通过确定性优化训练的PADER框架的鲁棒性在很大程度上是有限的。为此,我们提出了一种新的基于深度强化学习(DRL)的Pendash框架,称为RePNP,通过利用轻量级的基于DRL的去噪器来执行鲁棒的图像恢复任务。实验结果表明,该算法对PSNR方案中观测模型偏离实际观测模型的情况具有较好的鲁棒性.因此,RePNP可以为图像去模糊和超分辨率任务生成更可靠的恢复结果。与几种最先进的深度图像恢复基线相比,RePNP以较少的模型参数实现了更好的主观模型偏差结果。
2022-07-25 cs.CV eess.IV
LIDIA: Lightweight Learned Image Denoising with Instance Adaptation
Technion Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
图像去噪是一个研究得很好的问题,已经发展了几十年。尽管有许多可用的去噪算法,但对简单,强大和快速的去噪器的追求仍然是一个活跃和充满活力的研究课题。领先的经典去噪方法通常被设计为通过对局部重叠补丁进行建模来利用图像中的内部结构,同时以无监督的方式进行操作。相比之下,这个领域最近的新来者是基于监督和通用神经网络的方法,它们完全绕过了这种建模,直接和全局地瞄准推理目标,同时往往非常深入和参数繁重。这项工作提出了一种新的轻量级的可学习架构的图像去噪,并提出了一个组合的监督和无监督的训练,第一个目标是一个通用的去噪器和第二个适应传入的图像。我们的架构嵌入了几个主要的概念,从经典的方法,依赖于补丁处理,利用非局部自相似性,利用表示稀疏性,并提供多尺度处理。我们提出的通用去噪器实现了接近最先进的结果,同时使用了一小部分的典型参数。此外,我们还介绍并演示了两种高效的方法,通过将这个通用网络适应输入图像,进一步提高去噪性能。
2020-03-15 cs.CV eess.IV
Unsupervised PET Reconstruction from a Bayesian Perspective
Sichuan University(四川大学);MinFound Medical Systems Co., Ltd(明峰医疗系统股份有限公司)
正电子发射断层扫描(PET)重建由于投影数据的少而成为一个不适定的逆问题,迫切需要一种鲁棒的算法来提高成像质量。最近,深度图像先验(DIP)引起了广泛的关注,并已成功地应用于几个图像恢复任务,如去噪和修复,因为它不需要任何标签(参考图像)。然而,过度拟合是这个框架的一个重要缺陷。因此,已经提出了许多方法来缓解这个问题,DeepRED是一种典型的表示方法,它结合了DIP和去噪正则化(RED)。在本文中,我们从贝叶斯的角度利用DeepRED从单个损坏的正弦图中重建PET图像,而无需任何监督或辅助信息。与RED中常用的传统去噪器相比,采用了一种类似DnCNN的去噪器,该去噪器可以为DIP添加自适应约束,并便于推导的计算。此外,为了进一步增强正则化,高斯噪声被注入到梯度更新中,从而导出马尔可夫链蒙特卡罗(MCMC)采样器。对大脑和全身数据集的实验研究表明,与几种经典和最先进的方法相比,我们提出的方法在定性和定量结果方面可以实现更好的性能。
2021-10-29 cs.CV eess.IV
SP$^3$: Spherical Priors for Plug-and-Play Restoration
Technion – Israel Institute of Technology(以色列理工学院);Independent Researcher(独立研究员)
提出SP$^3$算法,用球面编码器替代去噪器作为生成先验,通过半二次分裂实现快速图像恢复,速度比零样本扩散方法快3-630倍。
2026-06-16 cs.CV eess.IV
Sparse Measurement Medical CT Reconstruction using Multi-Fused Block Matching Denoising Priors
本文针对稀疏测量医学CT重建问题,提出一种无需训练的BM3D多切片融合先验,将多个二维去噪器融合为三维先验,在即插即用框架中实现与三维先验相近的重建质量,同时显著降低计算复杂度。
2025-02-03 eess.IV physics.med-ph
Denoising Diffusion Models for Plug-and-Play Image Restoration
ETH Zürich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
本文提出DiffPIR,将传统即插即用方法集成到扩散采样框架中,利用扩散模型的生成能力作为图像先验,在超分辨率、去模糊和修复任务上以不超过100次NFEs实现了最先进的重建保真度与感知质量。
2023-05-15 cs.CV eess.IV
Unified Single-Image and Video Super-Resolution via Denoising Algorithms
单图像超分辨率(SISR)的目标是从给定的低分辨率图像恢复高分辨率图像。视频超分辨率(VSR)的目标是一系列给定的图像,旨在融合它们以创建更高分辨率的结果。虽然SISR和VSR似乎有很多共同点,但大多数SISR算法并没有对VSR进行简单直接的扩展。VSR被认为是一个更具挑战性的逆问题,主要是由于它依赖于亚像素精度的运动估计,这在SISR中没有并行性。另一个复杂性是视频的动态,通常通过简单地生成单个帧而不是完整的输出序列来解决。在这项工作中,我们提出了一个简单而强大的超分辨率框架,可以应用于单个图像,并很容易扩展到视频。我们的工作依赖于观察到图像和视频的去噪是管理良好的,并且通过各种方法进行了非常有效的处理。我们利用即插即用事先框架和正规化的降噪(RED)的方法,扩展它,并展示如何使用这样的降噪器,以处理SISR和VSR问题,使用一个统一的配方和框架。通过这种方式,我们受益于现有图像/视频去噪算法的有效性和效率,同时解决更具挑战性的问题。更具体地说,利用VBM 3D视频去噪,我们得到了一个具有很强竞争力的运动估计免费VSR算法,显示出高质量的输出和快速处理的趋势。
2018-10-03 eess.IV
Analysis Plug-and-Play Methods for Imaging Inverse Problems
Washington University in St. Louis(华盛顿大学圣路易斯分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出分析即插即用方法,将去噪先验从图像域迁移至梯度域,并基于HQS和ADMM设计两种重建算法,在去模糊和超分辨率上取得与图像域PnP相当的性能。
2025-09-18 cs.CV eess.IV
Multi-Resolution Data Fusion for Super Resolution Imaging
提出多分辨率数据融合(MDF)算法,利用未配对高分辨率数据训练去噪器并结合MACE平衡正向模型,实现高达8倍低分辨率数据精确插值,有效减少伪影并保持保真度。
2022-01-01 eess.IV
Solving Linear Inverse Problems Using the Prior Implicit in a Denoiser
Center for Data Science(数据科学中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);New York University(纽约大学);Center for Neural Science(神经科学中心);Courant Inst. of Mathematical Sciences(柯朗数学科学研究所)
该研究提出利用去噪神经网络隐含先验求解线性逆问题的方法,基于Miyasawa统计结论构建随机由粗到精梯度上升流程,无需额外训练即可在多项图像任务上取得最先进的无监督性能。
2021-05-07 cs.CV eess.IV stat.ML
Deep Plug-and-Play Prior for Hyperspectral Image Restoration
Beijing Institute of Technology(北京理工大学)
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务的具体情况发生变化时,通常需要昂贵的网络重新训练。在本文中,我们提出用一种有效的即插即用方法来统一恢复HSI,这种方法既可以保留基于优化的方法的灵活性,又可以利用深度神经网络的强大表示能力。具体来说,我们首先开发了一种新的深度HSI去噪器,它利用门控递归卷积单元、短期和长期跳过连接以及增强的噪声水平图,以更好地利用HSI中丰富的空间-频谱信息。因此,它导致了在高斯和复杂噪声设置下HSI去噪的最先进性能。然后,建议的去噪器插入到即插即用框架作为一个强大的隐式HSI之前,解决各种HSI恢复任务。通过对HSI超分辨率,压缩感知和修复的广泛实验,我们证明了我们的方法通常可以通过单个模型实现卓越的性能,在每个任务上都具有竞争力甚至优于最先进的技术,而无需任何特定任务的训练。
2022-09-17 cs.CV cs.LG eess.IV
Small, Bias-Free, Blind and Convolutional Denoiser: A compact ConvNeXt U-Net for blind Gaussian color-image denoising
Electiconsulting(电子咨询公司)
研究针对盲高斯彩色图像去噪,提出结合多种要素的紧凑型无偏差ConvNeXt U-Net即BF-ConvUNeXt。通过特殊设计使其具有齐次性,能盲态泛化。训练单一模型,在多数据集多噪声水平下评估表现良好,虽略落后于最优技术,但参数少,还推动相关逆问题研究。
2026-07-28 cs.CV eess.IV
A Comprehensive Comparison of Projections in Omnidirectional Super-Resolution
Beijing Jiaotong University(北京交通大学);Intel Labs China(英特尔中国研究院);Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学);OPPO Research Institute(OPPO研究院)
本文系统比较了全向超分辨率中不同投影方法对深度神经网络性能的影响,发现畸变最小的等角立方体贴图投影(EAC)在WS-PSNR上表现最佳。
2023-04-13 cs.CV eess.IV
Low-dose CT reconstruction by self-supervised learning in the projection domain
为了尽量减少对患者的过度X射线辐射,低剂量计算机断层成像(LDCT)已成为放射学的一个明显趋势。然而,虽然降低辐射剂量降低了患者的风险,但它也增加了噪声和伪影,影响了图像质量和临床诊断。在大多数监督学习方法中,需要成对的CT图像,但这样的图像不太可能在临床上可用。我们提出了一个自监督学习模型(Noise2Projection),充分利用原始投影图像,以减少噪声,提高重建LDCT图像的质量。与现有的自监督算法不同,该方法只需要噪声CT投影图像,并通过利用附近投影图像之间的相关性来降低噪声。我们使用临床数据对模型进行了训练和测试,定量和定性结果表明,我们的模型可以有效地降低LDCT图像噪声,同时还可以大幅去除LDCT图像中的伪影。
2022-03-14 eess.IV physics.med-ph
An Interpretation of Regularization by Denoising and its Application with the Back-Projected Fidelity Term
Tel Aviv University(特拉维夫大学)
绝大多数图像恢复任务都是不适定问题。因此,基于优化的方法使用由保真度和先验(正则化)项组成的代价函数。最近的一系列工作通过去噪正则化(RED)方法来施加先验,该方法利用了现有图像去噪引擎的良好性能。然而,RED与显式先验项的关系仍然没有得到很好的理解,因为以前的工作需要对去噪器进行太强的假设。在本文中,我们做了两个贡献。首先,我们证明了RED梯度可以被视为先验函数的(子)梯度-但在该点的去噪版本上进行。由于RED通常以相对较小的噪声水平应用,因此这种解释表明RED与传统梯度之间的相似性。这导致了我们的第二个贡献:我们建议将RED与反向投影(BP)保真度项相结合,而不是在以前的作品中使用的常见最小二乘(LS)项。我们证明了BP在图像去模糊和超分辨率方面优于LS的优势,这些优势已经在传统梯度中得到了证明,并继续采用RED方法。
2021-01-27 cs.CV eess.IV
Image Super-Resolution via Attention based Back Projection Networks
The Hong Kong Polytechnic University(香港理工大学)
基于深度学习的图像超分辨率(SR)技术由于其对大数据的消化能力而得到了快速发展。一般来说,更深更宽的网络可以提取更丰富的特征图,并生成质量卓越的SR图像。然而,我们拥有的网络越复杂,实际应用所需的时间就越多。有一个简化的网络,有效的图像SR是很重要的。在本文中,我们提出了一个基于注意力的反投影网络(ABPN)的图像超分辨率。类似于最近的一些作品,我们认为,反投影机制可以进一步发展SR。增强反投影块建议迭代更新低和高分辨率的功能残留。受最近关于注意力模型的研究的启发,我们提出了一个空间注意力块(SAB)来学习不同层特征之间的互相关。基于下采样后好的SR图像应该接近原始LR图像的假设。我们提出了一个改进的反投影块(RBPB)的最终重建。在一些公共数据集和AIM 2019图像超分辨率挑战数据集上进行的大量实验表明,所提出的ABPN可以在定量和定性测量方面提供最先进甚至更好的性能。
2019-10-10 cs.CV cs.LG eess.IV