Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches
Sichuan University(四川大学)
本文提出一种自协作(SC)策略,通过迭代替换滤波器引导噪声提取模块中的去噪器以生成更优合成图像对,在不增加推理复杂度的情况下提升GAN无监督图像去噪性能,实验证明其优于现有方法。
2023-08-13 cs.CV eess.IV
Provably Contractive and High-Quality Denoisers for Convergent Restoration
Indian Institute of Technology Madras, India(印度马德拉斯理工学院)
本文提出可证明收缩的去噪网络,通过控制Lipschitz常数提升去噪稳定性,证明其在去噪任务中优于现有SOTA模型,并为图像恢复提供可靠的收敛保障。
2026-10-23 cs.CV
Estimating Fine-Grained Noise Model via Contrastive Learning
Beijing Institute of Technology(北京理工大学)
随着人们对深度去噪器的研究,图像去噪取得了前所未有的进展。为了提高去噪性能,目前的趋势是使用两种典型的解决方案:设计更好的噪声模型以合成更真实的训练数据,以及估计噪声水平函数以指导非盲去噪器。在这项工作中,我们结合了噪声建模和估计,并提出了一个创新的噪声模型估计和噪声合成流水线现实噪声图像生成。具体来说,我们的模型以对比的方式学习具有细粒度统计噪声模型的噪声估计模型。然后,我们使用估计的噪声参数来建模相机特定的噪声分布,并合成现实的噪声训练数据。我们工作中最引人注目的是,通过校准几个传感器的噪声模型,我们的模型可以扩展到预测其他相机。换句话说,我们可以仅使用测试图像来估计未知传感器的相机特定噪声模型,而无需费力的校准帧或成对的噪声/干净数据。所提出的管道赋予深度去噪器具有竞争力的性能与最先进的真实噪声建模方法。
2022-04-03 cs.CV eess.IV
A comparison study of CNN denoisers on PRNU extraction
Southwest University of Science and Technology(西南科技大学);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
基于传感器的摄像机识别(SCI)方法的性能在很大程度上依赖于估计光响应非均匀性(PRNU)的去噪滤波器。鉴于各种尝试,以提高所提取的PRNU的质量,它仍然遭受在低分辨率图像和高计算需求的性能不令人满意。利用PRNU估计和图像去噪的相似性,我们利用基于卷积神经网络(CNN)的去噪器的最新成就进行PRNU提取。在本文中,这样的CNN去噪SCI性能进行了比较评估的公共“德累斯顿图像数据库”。我们的发现是双重的。从一个方面来看,PRNU提取和图像去噪都将噪声与图像内容分离。因此,如果仔细训练,SCI可以从最近的CNN去噪器中受益。从另一个方面来说,PRNU提取和图像去噪的目标和场景是不同的,因为一个优化噪声质量,另一个优化图像质量。当CNN去噪器用于PRNU估计时,需要仔细定制的训练。对训练数据准备和损失函数设计的替代策略进行了理论分析和实验评估。我们指出,用图像-PRNU对喂养CNN,并用基于相关性的损失函数训练它们,可以获得最佳的PRNU估计性能。为了便于进一步研究SCI,我们还提出了一个最小损失的相机指纹量化方案,使用它我们保存为PNG格式的图像文件的指纹。此外,我们从“德累斯顿图像数据库”公开提供的相机的量化指纹。
2021-12-06 cs.CV cs.MM eess.IV
Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);Graz University of Technology(格拉茨技术大学);Xi’an Jiaotong University(西安交通大学)
判别模型学习在图像去噪中具有良好的去噪性能,近年来受到了广泛的关注。在本文中,我们通过研究前馈去噪卷积神经网络(DnCNN)的构建向前迈出了一步,以将非常深入的架构,学习算法和正则化方法的进展纳入图像去噪。具体来说,残差学习和批量归一化被用来加快训练过程以及提高去噪性能。与现有的判别式去噪模型不同,现有的判别式去噪模型通常训练特定模型用于特定噪声水平的加性高斯白噪声(AWGN),我们的DnCNN模型能够处理未知噪声水平的高斯去噪(即,盲高斯去噪)。通过残差学习策略,DnCNN隐式地去除隐藏层中潜在的干净图像。这个属性促使我们训练单个DnCNN模型来处理几个一般的图像去噪任务,如高斯去噪,单图像超分辨率和JPEG图像去块。我们广泛的实验表明,我们的DnCNN模型不仅可以在几个一般的图像去噪任务中表现出高效率,而且还可以通过受益于GPU计算来有效地实现。
2016-08-13 cs.CV
Learned Nonlocal Feature Matching and Filtering for RAW Image Denoising
Institute of Applied Computing and Community Code (IAC3)(应用计算与社区代码研究所)
本文提出一种结合经典自相似去噪器结构的可学习神经网络,通过非局部块提升接收场,实现高效RAW图像去噪,具有良好的通用性和可解释性。
2026-04-19 cs.CV eess.IV
Enhancing convolutional neural network generalizability via low-rank weight approximation
North Carolina State University(北卡罗来纳州立大学);Duke University(杜克大学)
本文提出一种基于Tucker低秩张量近似的自监督图像去噪框架,仅用单张图像和更少参数训练卷积神经网络,在提升泛化能力的同时降低数据采集成本,并在合成与真实噪声图像上优于多种无监督和非学习方法。
2024-08-01 cs.CV cs.LG stat.AP
YeTI: You Only Need Two Noisy Images for Real-World sRGB Noise Generation
Department of Computer Science, Hanyang University(汉阳大学计算机科学系);Mobile Experience (MX) Division, Samsung Electronics(三星电子移动体验部门)
针对真实世界sRGB图像去噪难题,提出YeTI框架,仅从同一场景两张噪声图像学习,利用重构自编码器和条件扩散Transformer分离场景与噪声特征,生成逼真噪声,经实验验证其有效性及在下游去噪任务中的实用价值。
2026-07-13 cs.CV
Noise2NoiseFlow: Realistic Camera Noise Modeling without Clean Images
York University(约克大学);Vector Institute(向量研究所);Samsung AI Center–Toronto(三星人工智能中心多伦多分部)
图像噪声建模是计算机视觉中一个长期存在的问题,有许多应用。早期的尝试提出了简单的模型,如信号无关的加性高斯白噪声或异方差高斯噪声模型(又名,相机噪声水平函数)不足以学习相机传感器噪声的复杂行为。最近,已经提出了更复杂的基于学习的模型,这些模型在噪声合成和下游任务(如去噪)中产生了更好的结果。然而,它们对监督数据的依赖性(即,成对的干净图像)是一个限制因素,因为在产生地面实况图像方面存在挑战。本文提出了一个框架,同时训练噪声模型和去噪器,同时只依赖于对噪声图像,而不是噪声/干净的成对图像数据。我们将此框架应用于噪声流架构的训练。噪声合成和密度估计结果表明,我们的框架优于以前的基于信号处理的噪声模型,并与其监督的同行。经过训练的去噪器还显示出对监督和弱监督基线去噪方法的显着改进。结果表明,联合训练的去噪器和噪声模型产生显着改善的去噪。
2022-06-02 cs.CV eess.IV
Enhanced Low-Dose CT Image Reconstruction by Domain and Task Shifting Gaussian Denoisers
Hochschule Darmstadt(达姆施塔特应用科学大学)
本文提出FBP-DTSGD,将预训练自然图像高斯去噪器经域与任务迁移微调用于FBP后的LDCT增强,以两阶段效率取得LoDoPaB-CT领先重建质量。
2025-03-14 cs.CV cs.LG eess.IV
Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对盲点驱动自监督去噪方法的信息损失问题,提出Blind2Unblind方法,通过全局感知掩码映射器和重新可见损失,实现高效去噪,在合成和真实数据集上性能优越。
2023-05-08 cs.CV eess.IV
High Perceptual Quality Image Denoising with a Posterior Sampling CGAN
Technion(以色列理工学院);Google Research(谷歌研究院)
针对深度学习图像去噪中失真导向方案感知质量差的问题,提出在CGAN框架中训练后验采样随机去噪器,引入基于样本均值的理论惩罚项,在可接受失真下实现高感知质量去噪,高噪声下效果生动多样。
2021-10-11 cs.CV cs.LG eess.IV
Self-Supervised Poisson-Gaussian Denoising
California Polytechnic State University(加州州立理工大学);University of Georgia(佐治亚大学);Providence College(普罗维登斯学院);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
我们扩展了自监督去噪的盲点模型来处理泊松-高斯噪声,并引入了一种改进的训练方案,该方案避免了超参数,并使去噪器适应测试数据。用于去噪的自监督模型学习仅从噪声数据中去噪,并且不需要相应的干净图像,这在某些感兴趣的应用领域(如微光显微镜)中很难或不可能获得。我们引入了一种新的训练策略来处理泊松-高斯噪声,这是显微镜图像的标准噪声模型。我们的新策略从损失函数中消除了超参数,这在自我监督机制中很重要,在这种机制中,没有地面真实数据可用于指导超参数调整。我们展示了我们的去噪器如何适应测试数据,以提高性能。我们的评价显微镜图像去噪基准验证了我们的方法。
2020-11-19 cs.CV cs.LG eess.IV
Designing and Training of A Dual CNN for Image Denoising
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Wuhan University(武汉大学);National Tsing Hua University(清华大学(台湾));The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
用于图像去噪的深度卷积神经网络(CNN)最近吸引了越来越多的研究兴趣。然而,普通网络无法恢复复杂任务的细节,例如真实的噪声图像。在本文中,我们提出了一个双去噪网络(DudeNet)恢复一个干净的图像。具体来说,DudeNet由四个模块组成:特征提取块、增强块、压缩块和重建块。特征提取模块采用稀疏机制,通过两个子网络分别提取全局和局部特征。增强块收集并融合全局和局部特征,为后者网络提供补充信息。压缩块细化提取的信息并压缩网络。最后利用重构块重构去噪后的图像。DudeNet具有以下优点:(1)具有解析机制的对偶网络可以提取互补特征,增强去噪器的泛化能力。(2)融合全局和局部特征可以提取显著特征,以恢复复杂噪声图像的细节。(3)采用小尺寸滤波器降低了去噪的复杂度。大量的实验证明了DudeNet优于现有的最先进的去噪方法。
2020-07-08 cs.CV eess.IV
Zero-shot Denoising via Neural Compression: Theoretical and algorithmic framework
Rutgers University(罗杰斯大学)
本文提出了一种无需训练样本的神经压缩去噪框架,通过直接优化单个噪声图像的补丁实现高效去噪,并在理论和实验上验证了其在多种噪声和图像类型上的优越性能。
2025-11-28 cs.CV cs.IT eess.IV
Unsupervised Image Denoising with Frequency Domain Knowledge
基于监督学习的方法可以产生强大的去噪结果,但它们本质上受到大规模干净/嘈杂配对数据集的限制。另一方面,使用无监督去噪器需要更详细地了解底层图像统计。特别地,众所周知,干净图像和有噪声图像之间的明显差异在高频段上最突出,证明了使用低通滤波器作为常规图像预处理步骤的一部分是合理的。然而,大多数基于学习的去噪方法仅利用来自空间域的单侧信息,而不考虑频域信息。为了解决这个问题,在这项研究中,我们提出了一种频率敏感的无监督去噪方法。为此,生成对抗网络(GAN)被用作基础结构。随后,我们包括频谱重构和频率重构损失,以将频率知识转移到生成器中。使用自然和合成数据集的结果表明,我们用频率信息增强的无监督学习方法实现了最先进的去噪性能,这表明频域信息可能是提高基于无监督学习方法的整体性能的可行因素。
2021-11-29 cs.CV eess.IV
Self-Calibrated Variance-Stabilizing Transformations for Real-World Image Denoising
CIBM Center for Biomedical Imaging(生物医学成像中心);Biomedical Imaging Group(生物医学成像组);Univ Rennes, Ensai, CNRS, CREST—UMR 9194(里尔大学、Ensai、CNRS、CREST—UMR 9194)
本文提出Noise2VST算法,利用方差稳定变换使高斯去噪器无需额外训练即可处理真实图像噪声,实验证明其优于现有无配对训练方法。
2025-07-09 cs.CV eess.IV
Restore from Restored: Single Image Denoising with Pseudo Clean Image
Hanyang University(汉阳大学);NAVER LABS(NAVER实验室);Chungnam National University(忠南国立大学);SK T-Brain
在这项研究中,我们提出了一种简单有效的微调算法,称为“从恢复恢复”,它可以大大提高完全预训练的图像去噪网络的性能。许多监督去噪方法可以使用大型外部训练数据集产生令人满意的结果。然而,这些方法在使用给定测试图像中可用的内部信息方面具有限制。相比之下,最近的自监督方法可以通过利用来自特定测试输入的信息来去除输入图像中的噪声。然而,与监督方法相比,这样的方法在已知噪声类型(诸如高斯噪声)上显示出相对较低的性能。因此,为了结合外部和内部信息,我们在测试时使用伪训练集对完全预训练的去噪器进行微调。通过利用内部自相似补丁(即,补丁递归),基线网络可以适应给定的特定输入图像。我们证明,我们的方法可以很容易地在最先进的去噪网络上使用,并进一步提高了许多去噪基准数据集(包括真实的噪声图像)的性能。
2020-11-18 cs.CV
All-optical image denoising using a diffractive visual processor
University of California, Los Angeles(加州大学洛杉矶分校);University College London(伦敦大学学院)
本文提出一种基于衍射视觉处理器的全光学图像去噪方法,利用深度学习优化的无源透射层物理散射噪声模式,实现非迭代、高速、低功耗的去噪,实验验证了其在太赫兹波段的效率。
2023-09-17 cs.CV physics.app-ph physics.optics
Poisson2Gaussian: Noise Gaussianization to Enhance Image Denoising
College of AI, Tsinghua University(清华大学人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系);School of Electronic and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院)
提出Poisson2Gaussian (P2G)方法,通过概率密度匹配将复杂真实噪声转化为i.i.d.高斯噪声,并设计无偏去噪框架,无需干净数据或噪声参数,显著提升去噪性能。
2026-06-23 cs.CV
Towards Adversarially Robust Deep Image Denoising
NUS(新加坡国立大学);RIKEN-AIP(理化学研究所革新智能综合研究中心);ByteDance Inc(字节跳动);UTokyo(东京大学)
这项工作系统地研究了深度图像去噪器(DID)的对抗鲁棒性,即DID如何从对抗扰动退化的噪声观测中恢复地面真实。首先,为了评估DID的鲁棒性,我们提出了一种新的对抗性攻击,即基于观察的零均值攻击({ \sc ObsAtk}),对给定的噪声图像进行对抗性的零均值扰动。我们发现,现有的DID容易受到{ \sc ObsAtk}生成的对抗性噪声的影响。其次,为了增强DID的鲁棒性,我们提出了一种对抗性训练策略,混合对抗性训练({ \sc HAT}),该策略联合训练具有对抗性和非对抗性噪声数据的DID,以确保重建质量高,并且非对抗性数据周围的去噪器局部平滑。所得到的DID可以有效地去除各种类型的合成和对抗性噪声。我们还发现,DIDS的鲁棒性有利于他们的泛化能力看不见的现实世界的噪音。事实上,{ \sc HAT}训练的DID可以从真实世界的噪声中恢复高质量的干净图像,甚至无需对真实的噪声数据进行训练。在Set 68、PolyU和SIDD等基准数据集上进行的大量实验证实了{ \sc ObsAtk}和{ \sc HAT}的有效性。
2022-01-13 cs.CV cs.LG eess.IV
You KAN Do It in a Single Shot: Plug-and-Play Methods with Single-Instance Priors
Department of Applied Mathematics and Theoretical Physics(应用数学与理论物理系);University of Cambridge(剑桥大学);Yau Mathematical Sciences Center(叶中伟数学科学中心);Tsinghua University(清华大学)
提出 KAN-PnP 优化框架,将 KAN 作为去噪器融入即插即用范式解决单实例先验逆问题,证明了其 Lipschitz 连续性与收敛性,并在超分辨率等任务上以更少迭代实现高精度。
2025-05-02 cs.CV
FBI-Denoiser: Fast Blind Image Denoiser for Poisson-Gaussian Noise
Sungkyunkwan University(成均馆大学);Seoul National University(首尔国立大学)
我们考虑具有挑战性的盲去噪问题的泊松-高斯噪声,其中没有额外的信息,干净的图像或噪声水平参数。特别是,当只有“单一”噪声图像可用于训练去噪器时,现有方法的去噪性能并不令人满意。最近,盲像素仿射图像去噪器(BP-AIDE)被提出,并显着提高了上述设置中的性能,在某种程度上,它是利用额外的信息去噪器的竞争力。然而,BP-AIDE严重遭受缓慢的推理时间,由于低效率的噪声水平估计过程和盲点网络(BSN)的架构,它使用。为此,我们提出了用于泊松-高斯噪声的快速盲图像去噪器(FBI-Denoiser),它由两个神经网络模型组成:1)PGE-Net,其估计泊松-高斯噪声参数的速度比传统方法快2000倍; 2)FBI-Net,其在参数数量和推理速度方面实现了更有效的BSN用于像素仿射去噪。因此,我们表明,仅基于单个噪声图像进行盲训练的FBI-Denoiser可以在几个真实世界的噪声图像基准数据集上实现最先进的性能,与BP-AIDE相比,推理时间要快得多(x 10)。我们的方法的官方代码可在https://github.com/csm9493/FBI-Denoiser上获得。
2021-05-23 cs.CV eess.IV
Image Restoration with Locally Selected Class-Adapted Models
用于成像逆问题(即,去模糊和重建)的最新算法通常是迭代的,涉及去噪操作作为其步骤之一。在这种情况下,使用最先进的去噪方法并不是微不足道的,并且是当前工作的重点。最近,我们已经提出了在所谓的即插即用方案中使用类自适应去噪器(使用高斯混合模型的基于块),其中最先进的去噪器被插入到迭代算法中,当应用于已知类的图像(例如,面部、文本、脑MRI)时,导致优于最佳通用算法的结果。在本文中,我们扩展了这种方法来处理的情况下,正在处理的图像是从一个可能的类的集合,或者更重要的是,包含不同的类的区域。更具体地说,我们提出了一种方法来本地选择一组类适应高斯混合补丁先验,以前估计从这些类的干净的图像之一。我们的方法可以被看作是同时执行分割和恢复,从而有助于弥合图像复原/重建和分析之间的差距。
2016-08-02 cs.CV
Multi-view Self-supervised Disentanglement for General Image Denoising
University of Birmingham(伯明翰大学);Shanghai Jiao Tong University(上海交通大学);University of Central Florida(中佛罗里达大学)
针对深度学习图像去噪方法对未见或真实噪声泛化性差的问题,提出多视图自监督解耦框架MeD,通过将同一图像的不同损坏版本解耦以恢复干净图像,在真实噪声上性能超越有监督方法超3 dB。
2023-09-10 cs.CV
Joint Image Compression and Denoising via Latent-Space Scalability
Simon Fraser University(西蒙弗雷泽大学)
当涉及到数码相机中的图像压缩时,传统上在压缩之前执行去噪。然而,在某些应用中,图像噪声可能是证明图像可信度所必需的,例如法庭证据和图像取证。这意味着除了干净的图像本身之外,噪声本身也需要被编码。在本文中,我们提出了一个基于学习的图像压缩框架,其中图像去噪和压缩联合执行。图像编解码器的潜在空间以可缩放的方式组织,使得可以从潜在空间的子集(基本层)解码干净图像,而以更高的速率从整个潜在空间解码有噪声图像。使用去噪图像的潜在空间的子集允许以较低的速率执行去噪。除了提供含噪输入图像的可缩放表示之外,联合执行去噪和压缩具有直观的意义,因为噪声难以压缩;因此,可压缩性是可以帮助区分噪声和信号的标准之一。所提出的编解码器与已建立的压缩和去噪基准进行比较,实验表明,与最先进的编解码器和最先进的去噪器的级联组合相比,可以节省相当多的比特率。
2022-09-05 cs.CV eess.IV
Self-supervised training of deep denoisers in multi-coil MRI considering noise correlations
Department of Electrical and Computer Engineering, Seoul National University(电气电子工程系,首尔国立大学);INMC & IPAI, Seoul National University(INMC与IPAI,首尔国立大学);Division of Computer Engineering, Hankuk University of Foreign Studies(计算机工程系,韩文大学);Department of Radiology, Johns Hopkins University School of Medicine(放射科,约翰霍普金斯大学医学院)
针对多线圈MRI自监督去噪依赖K空间次优分割的问题,提出Coil2Coil方法,通过线圈间数据拆分组合生成训练对,结合去相关与干净图像匹配策略,实现了媲美监督方法的去噪效果。
2025-06-13 cs.CV cs.LG eess.IV
Variational Deep Image Denoising
Seoul National University(首尔大学)
卷积神经网络(CNN)在大规模数据集的帮助下在图像去噪方面表现出出色的性能。早期的方法天真地用许多对干净的噪声图像训练单个CNN。然而,给定噪声图像的干净图像的条件分布过于复杂和多样,使得单个CNN不能很好地学习这样的分布。因此,还存在一些利用附加噪声水平参数或针对特定噪声水平参数训练单独的CNN的方法。这些方法将原始问题分离成更容易的子问题,因此表现出比单纯训练的CNN更好的性能。在这一步中,我们提出两个问题。第一个问题是将条件分布仅与噪声水平参数相关联是否是最优方法。第二个问题是,如果我们没有噪音水平信息,比如在现实世界中。为了回答这个问题,并提供一个更好的解决方案,我们提出了一个新的贝叶斯框架的基础上变分逼近的目标函数。这使我们能够将复杂的目标分布分离成更简单的子分布。最终,去噪的CNN可以克服来自每个子分布的噪声,这通常是比原始更容易的问题。实验表明,该方法提供了显着的性能加性高斯白噪声(AWGN)和实噪声去噪,而需要更少的参数比最近的国家的最先进的去噪。
2021-04-02 cs.CV eess.IV
Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation
Xi’an Jiaotong University(西安交通大学);Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Macau University of Science and Technology(澳门科技大学)
真实世界图像噪声去除是计算机视觉中一个长期存在但极具挑战性的任务。深度神经网络在去噪方面的成功刺激了对噪声生成的研究,旨在合成更多干净的含噪图像对,以方便深度去噪器的训练。在这项工作中,我们提出了一种新的统一框架,同时处理噪声消除和噪声生成任务。我们提出的方法不是在传统的MAP框架中仅根据观测到的噪声图像推断潜在清洁图像的后验分布,而是学习清洁-噪声图像对的联合分布。具体来说,我们近似的联合分布与两个不同的因式分解形式,它可以被公式化为一个去噪映射的噪声图像的清洁和生成器映射的清洁图像的噪声。学习的联合分布隐含地包含了噪声和干净图像之间的所有信息,避免了传统的手动设计图像先验和噪声假设的必要性。此外,我们的去噪器的性能可以进一步提高,通过增加与学习的生成器的原始训练数据集。此外,我们提出了两个指标来评估所产生的噪声图像的质量,其中,据我们所知,这种指标首次提出沿这条研究路线。已经进行了大量的实验,以证明我们的方法在真正的噪声去除和生成任务的国家的最先进的优越性。培训和测试代码可在https://github.com/zsyOAOA/DANet上获得。
2020-07-12 cs.CV eess.IV
Neural Affine Grayscale Image Denoising
Sungkyunkwan University(成均馆大学)
我们提出了一种新的灰度图像去噪,称为神经仿射图像去噪(神经AIDE),它利用神经网络在一个新的方式。与其他基于神经网络的图像去噪方法不同,这些方法通常应用简单的监督学习来学习从噪声补丁到干净补丁的映射,我们制定训练神经网络来学习\emph{affine}映射,该映射基于其上下文应用于噪声像素。我们的公式可以从标记的训练数据集对网络进行监督训练,并使用给定的噪声图像进行去噪,对网络参数进行自适应微调。设计Neural AIDE的关键工具是仅基于噪声数据设计仿射映射的MSE的估计损失函数。因此,我们的算法在标准基准数据集上的性能优于大多数最新的最先进的方法。此外,我们的微调方法可以很好地克服图像去噪中的块级监督学习方法的缺点之一;即,只要我们在微调步骤中具有匹配的噪声方差,就可以大部分校正具有不匹配的噪声方差的监督训练模型。
2017-09-17 cs.CV cs.LG
Direct Unsupervised Denoising
University of Birmingham(伯明翰大学)
本文提出在VAE旁训练确定性网络直接预测后验中心趋势,以极低计算成本实现超越无监督去噪方法的性能。
2023-12-04 cs.CV eess.IV
Joint End-to-End Image Compression and Denoising: Leveraging Contrastive Learning and Multi-Scale Self-ONNs
Nanjing University of Information Science and Technology(南京信息工程大学);Tampere University(坦佩雷大学)
针对噪声图像压缩难题,提出集成多尺度自组织操作神经网络去噪器与对比学习的联合压缩去噪方法,提升率失真性能与速度,超越现有最优。
2024-02-08 cs.CV cs.MM eess.IV
Class-specific image denoising using importance sampling
在本文中,我们提出了一种新的图像去噪方法,针对特定类别的图像,假设同一类别的干净图像的数据集是可用的。类似于非局部均值(NLM)算法,所提出的方法计算加权平均的非局部补丁,我们解释下的重要性采样框架。这种观点引入了关于所采用的先验、噪声统计和贝叶斯估计的计算的灵活性。利用重要性采样的观点来近似最小均方误差(MMSE)补丁估计,使用真正的潜在的图像补丁。这样得到的估计收敛到真正的MMSE估计,因为样本的数量接近无穷大。实验结果表明,该方法在特定类别的人脸和文本图像中的去噪效果优于现有技术。
2017-06-21 cs.CV
Exploring Inter-frequency Guidance of Image for Lightweight Gaussian Denoising
Xiaomi Camera(小米相机)
图像去噪在许多成像或计算机视觉相关领域中至关重要。随着卷积神经网络在计算机视觉领域表现出强大的应用能力,基于CNN的图像去噪方法也在不断提高。虽然基于CNN的图像去噪方法在这方面取得了很好的效果,但目前大多数基于CNN的图像去噪方法都试图直接学习从噪声图像到干净图像的映射,缺乏对图像和噪声的先验知识的明确探索。自然图像服从倒幂定律,即图像的低频带往往占据大部分能量。因此,在加性高斯白噪声(AGWN)恶化的条件下,低频带往往比高频带保持更高的PSNR。考虑到不同频带的空间形态一致性,可以使用更逼真的低频带作为指导,以细化污染更严重的高频带。基于这一思想,我们提出了一种新的网络架构表示为IGNet,以细化频带从低到高,在一个渐进的方式。该方法首先利用离散小波变换(DWT)迭代地将特征映射分解为高频子带和低频子带,然后利用每个低频子带特征对高频子带特征进行细化。最后,由解码器处理细化的特征图以恢复干净的结果。通过这种设计,利用了更多的频率间先验和信息,因此可以减轻模型的大小,同时仍然保持有竞争力的结果。在多个公开数据集上的实验表明,该模型具有轻量级的结构,与其他最先进的方法相比,具有竞争力的性能。
2021-12-22 cs.CV eess.IV
Image reconstruction algorithms in radio interferometry: from handcrafted to learned regularization denoisers
Heriot-Watt University(赫瑞-瓦特大学)
我们引入了一类新的迭代图像重建算法,用于无线电干涉测量,在凸优化和深度学习的界面上,灵感来自即插即用方法。该方法包括通过训练深度神经网络(DNN)作为去噪器来学习先验图像模型,并将其替换为优化算法的手工近似正则化算子。所提出的AIRI(“用于无线电干涉成像中的正则化的AI”)框架,用于从可见性数据中对具有漫射和微弱发射的复杂强度结构进行成像,继承了优化的鲁棒性和可解释性,以及网络的学习能力和速度。我们的方法依赖于三个步骤。首先,我们设计了一个低动态范围的训练数据库从光强图像。其次,我们训练DNN降噪器,其噪声水平从数据的信噪比推断。我们使用训练损失增强与非扩展性项,确保算法收敛,并包括在飞行数据库动态范围增强通过求幂。第三,我们将学习的去噪器插入到向前-向后优化算法中,从而得到一个简单的迭代结构,该结构将去噪步骤与梯度下降数据保真度步骤交替进行。我们已经验证了AIRI对CLEAN,SARA家族的优化算法,以及经过训练的DNN直接从可见度数据重建图像。仿真结果表明,AIRI是竞争力的成像质量与SARA及其无约束的基于前向-后向的版本uSARA,同时提供显着的加速。CLEAN仍然更快,但质量更低。端到端DNN提供了进一步的加速,但质量远低于AIRI。
2022-07-26 astro-ph.IM cs.CV eess.IV
Optimizing Image Compression via Joint Learning with Denoising
The Hong Kong Univeristy of Science and Technology(香港科技大学)
由于智能手机摄像头中配备的传感器相对较小,因此当今捕获的图像中通常存在高水平的噪声,其中噪声给有损图像压缩算法带来额外的挑战。在没有能力区分图像细节和噪声的情况下,一般的图像压缩方法分配附加比特以在压缩期间明确地存储不期望的图像噪声,并且在解压缩期间恢复令人不快的噪声图像。在此基础上,我们对图像压缩算法进行了优化,使其具有噪声感知能力,将去噪和压缩结合起来,以解决比特分配不当的问题。关键是通过在压缩过程中消除不需要的噪声,将原始的噪声图像转换为无噪声比特,然后将这些比特解压缩为干净的图像。具体来说,我们提出了一种新型的两分支、权重共享架构,带有插件特征去噪器,可以以很小的计算成本简单有效地实现该目标。实验结果表明,我们的方法获得了显着的改善现有的基线方法在合成和真实世界的数据集。我们的源代码可以在https://github.com/felixcheng97/DenoiseCompression上找到。
2022-07-22 cs.CV eess.IV
Unsupervised Denoising for Signal-Dependent and Row-Correlated Imaging Noise
School of Computer Science, University of Birmingham(伯明翰大学计算机学院)
本文提出首个完全无监督的深度学习去噪方法,通过带自回归解码器的变分自编码器分离干净信号与行相关且信号依赖的噪声,无需预训练噪声模型,并在多种显微镜数据集上优于现有自监督和无监督去噪器。
2025-04-07 cs.CV eess.IV
$\mathrm{S}^3$-PnP: Plug-and-Play Denoising for Scientific Imaging with Self-Supervised Score Priors
Xi’an Jiaotong University(西安交通大学);Northwestern Polytechnical University(西北工业大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Hong Kong Polytechnic University(香港理工大学);ETH Zürich(苏黎世联邦理工学院)
针对科学成像中监督训练缺乏干净目标的问题,提出S³-PnP自监督即插即用复原框架,通过ADMM中间状态学习得分先验,在三类成像去噪任务中性能优于对比方法。
2026-10-14 cs.CV
Equivariant Denoisers for Plug and Play Image Restoration
LTCI, Télécom Paris, IP Paris(巴黎理工学院电信学院);Univ. Bordeaux, CNRS, INRIA, Bordeaux INP, IMB, UMR 5251(波尔多大学、法国国家科学研究中心、法国国家信息与自动化研究所、波尔多国立高等电子与计算机学院)
针对图像分布变换不变性与深度架构设计不匹配问题,本研究提出基于等变去噪器和随机优化的ERED与EPnP统一框架,分析了算法收敛性并讨论了实用优势,助力即插即用图像恢复。
2025-11-13 eess.IV
Dilated Deep Residual Network for Image Denoising
卷积神经网络(CNN)等深度神经网络的变体已成功应用于图像去噪。目标是在给定由噪声图像和干净图像对组成的训练数据的情况下,自动学习从噪声图像到干净图像的映射。大多数现有的用于图像去噪的CNN模型具有许多层。在这种情况下,模型涉及大量的参数,并且对于训练来说在计算上是昂贵的。在本文中,我们开发了一个扩张的残差CNN高斯图像去噪。与最近提出的残差去噪方法相比,我们的方法可以以更少的计算成本达到相当的性能。具体地说,我们通过在残差网络中采用扩张卷积来扩大感受野,并将扩张因子设置为一定值。我们利用适当的零填充来使输出的维度与输入相同。实验证明,感受野的扩大可以提高CNN在图像分类中的性能,并且我们进一步证明,它也可以导致去噪问题的竞争性能。此外,我们提出了一个公式来计算感受野大小时,扩张卷积。因此,可以从数学上解释感受野的变化。为了验证我们的方法的有效性,我们进行了广泛的实验,灰度和彩色图像去噪特定或随机噪声水平。与最先进的基线相比,定量测量和去噪的视觉结果都是有希望的。
2017-09-27 cs.CV
A cross Transformer for image denoising
Northwestern Polytechnical University(西北工业大学);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(空天地海一体化大数据应用技术国家工程实验室);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Central South University(中南大学);National Tsing Hua University(国立清华大学)
提出交叉Transformer去噪CNN(CTNet),结合串行、并行和残差块,利用Transformer提取显著特征,在真实和合成图像去噪上优于流行方法,适用于手机等移动设备。
2023-10-16 cs.CV cs.LG eess.IV
LoTA-N2N: Local Trace Adaptation for Zero-Shot Self-Supervised Image Denoising
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);University of Southern California(南加州大学);Peking University(北京大学)
研究针对单图像自监督去噪问题,提出LoTA-N2N两阶段零样本自适应框架,通过估计局部相互作用和控制空间抵消,在多种噪声下实验效果优于仅基于MSE的方法,为无配对干净目标等情况的自监督去噪提供有效设计原则。
2026-07-28 cs.CV
Clean Implicit 3D Structure from Noisy 2D STEM Images
Ulm University(乌尔姆大学);University College London(伦敦大学学院)
扫描透射电子显微镜(STEM)以单个细胞组分的尺度获取3D样品的2D图像。不幸的是,这些2D图像可能太嘈杂,无法融合成有用的3D结构,并且由于缺乏干净的噪声对,因此促进良好的去噪器是具有挑战性的。此外,当使用规则3D网格时,即使对于干净的数据,表示详细的3D结构也可能是困难的。针对这两个限制,我们提出了一种用于STEM的可微分图像形成模型,允许学习STEM中的2D传感器噪声的联合模型以及隐式3D模型。我们表明,这些模型的组合能够在没有监督的情况下成功地解开3D信号和噪声,并在合成和真实数据上同时优于几个基线。
2022-03-29 cs.CV eess.IV
HIR-ALIGN: Enhancing Hyperspectral Image Restoration via Diffusion-Based Data Generation
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学学院);School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Mathematics and Statistics and the Ministry of Education Key Laboratory for Intelligent Networks and Network Security, Xi’an Jiaotong University(西安交通大学数学与统计学学院和教育部智能网络与网络安全重点实验室);Pazhou Laboratory (Huangpu), Guangzhou(广州黄埔 Pazhou 实验室)
本文提出HIR-ALIGN框架,通过生成与目标分布匹配的合成数据提升超光谱图像恢复性能,包含代理生成、分布自适应合成和对齐监督微调三个阶段,理论分析表明增强细调可降低目标域恢复风险。
2026-07-02 cs.CV
Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising
Department of Mathematics Syracuse University(数学系苏利文大学);Department of Mathematics & Statistics Old Dominion University(数学与统计学系老 Dominion 大学)
该研究提出HyperDn,一种单配置条件预测器,通过聚合源配置的Oracle监督,预测新的去噪器-噪声配置的异质超参数,展示了在跨范式实验中,从相对便宜的TV/TGV变分源转移到更昂贵的扩散模型DiffPIR时,通过少量或无目标Oracle标签实现接近Oracle性能的成果。
2026-11-09 cs.CV cs.LG
High-Quality Self-Supervised Deep Image Denoising
NVIDIA(英伟达);Aalto University(阿尔托大学)
我们描述了一种新的方法,用于训练高质量的图像去噪模型的基础上无组织的收集损坏的图像。该训练不需要访问干净的参考图像或显式的损坏图像对,因此可以应用于这样的数据是不可接受的昂贵或不可能获得的情况。我们建立在最近的一项技术基础上,该技术通过采用在感受野中具有“盲点”的网络来消除对参考数据的需求,并显着提高了两个关键方面:图像质量和训练效率。我们的结果质量与最先进的神经网络去噪器在i.i.d.的情况下相当。加性高斯噪声,以及紧随其后的泊松和脉冲噪声。我们还成功地处理了噪声模型的参数在训练和评估数据中是可变的和/或未知的情况。
2019-10-28 cs.CV cs.LG cs.NE
Multi Task Denoiser Training for Solving Linear Inverse Problems
Trinity College Dublin(都柏林三一学院)
本文提出通过多任务训练提升去噪器,使其在解决线性反问题时更高效,实现PSNR提升并减少迭代次数。
2025-12-04 eess.IV
No-Clean-Reference Image Super-Resolution: Application to Electron Microscopy
A. I. Virtanen Institute for Molecular Sciences, Faculty of Health Sciences, University of Eastern Finland(东芬兰大学健康科学学院A. I. Virtanen分子科学研究所);Technical University of Munich(慕尼黑工业大学)
针对大体积脑组织难以获取干净高分辨率电镜图像的问题,提出无干净参考的超分辨率网络EMSR,对比多种训练策略,在9个脑部数据集上验证了方法的有效性与竞争力。
2024-01-26 cs.AI cs.CV
Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training
Tsinghua University(清华大学);Shenzhen Institute of Future Media Technology(深圳未来媒体技术研究院);ETH Zürich(苏黎世联邦理工学院);Harvard University(哈佛大学);Boston College(波士顿学院)
现有的深度学习真实去噪方法需要大量的噪声-干净图像对进行监督。尽管如此,捕获一个真正的噪声干净的数据集是一个不可接受的昂贵和繁琐的过程。为了缓解这个问题,这项工作研究如何生成逼真的噪声图像。首先,我们制定了一个简单而合理的噪声模型,把每个真正的噪声像素作为一个随机变量。该模型将含噪图像生成问题分为两个子问题:图像域对齐和噪声域对齐。随后,我们提出了一个新的框架,即像素级噪声感知的生成对抗网络(PNGAN)。PNGAN采用预训练的真实去噪器将虚假和真实噪声图像映射到几乎无噪声的解空间中以执行图像域对齐。同时,PNGAN建立像素级对抗训练来进行噪声域对齐。此外,为了更好的噪声拟合,我们提出了一个有效的架构简单多尺度网络(SMNet)作为生成器。定性验证表明,PNGAN产生的噪声在强度和分布方面与真实噪声高度相似。定量实验表明,一系列的去噪训练与生成的噪声图像实现国家的最先进的(SOTA)的结果在四个真正的去噪基准。部分代码,预训练模型和结果可在https://github.com/caiyuanhao1998/PNGAN上进行比较。
2022-09-15 cs.CV eess.IV
Assessing the performance of CT image denoisers using Laguerre-Gauss Channelized Hotelling Observer for lesion detection
US Food and Drug Administration(美国食品药品监督管理局)
本文结合 PSNR、SSIM 与基于 Laguerre-Gauss Channelized Hotelling Observer 的 LCD 任务评估深度学习 CT 去噪器,发现其客观指标提升明显,但四分之一剂量去噪图像的病灶可检测性仍逊于正常剂量 CT。
2024-12-04 cs.CV eess.IV physics.med-ph
HyperAIRI: a plug-and-play algorithm for precise hyperspectral image reconstruction in radio interferometry
University of Edinburgh, EPCC(爱丁堡大学, EPCC);Heriot-Watt University, Institute of Sensors, Signal(赫里奥特-瓦特大学, 传感器与信号研究所)
HyperAIRI是一种基于学习的即插即用算法,用于高精度超光谱图像重建,通过结合幂律光谱模型和动态范围匹配的去噪器,实现高分辨率和高动态范围的射电干涉成像。
2026-02-11 astro-ph.IM cs.LG eess.IV
Self-supervised Denoising via Diffeomorphic Template Estimation: Application to Optical Coherence Tomography
New York University(纽约大学)
光学相干断层扫描(OCT)在眼科的研究和临床实践中都很普遍。然而,OCT图像被噪声严重破坏,限制了它们的解释。当前的OCT去噪器利用对噪声分布的假设,或者通过对重复采集进行平均来生成用于训练深度监督去噪器的目标。然而,最近的自监督进步允许只使用重复采集而不使用干净目标作为基础事实来训练深度去噪网络,从而减少了监督学习的负担。尽管自监督方法具有明显的优势,但由于OCT由于无意识的眼球运动而显示出强烈的结构变形,即使在同一受试者的连续扫描之间也是如此。此外,重复序列的直接非线性对齐引起图像之间噪声的相关性。在本文中,我们提出了一个联合的双态模板估计和去噪框架,使运动变形的重复采集使用自监督去噪,而无需凭经验登记其噪声实现。在去噪OCT图像方面实现了强有力的定性和定量改进,在任何适合多次曝光的成像模式中具有通用实用性。
2020-08-18 cs.CV cs.LG eess.IV
The AIRI plug-and-play algorithm for image reconstruction in radio-interferometry: variations and robustness
本文提出AIRI即插即用算法的变体,通过引入原始-对偶骨干扩展受约束SARA算法,验证其对不同训练数据的鲁棒性,并开发模型不确定性量化功能,在仿真与真实射电干涉数据上表现优异。
2024-08-22 astro-ph.IM eess.IV
When deep denoising meets iterative phase retrieval
从傅里叶强度恢复信号是许多重要应用的基础,包括无透镜成像和通过散射介质成像。当存在噪声时,用于检索相位的常规算法受到影响,但当给定干净数据时,显示全局收敛。神经网络已被用来提高算法的鲁棒性,但迄今为止的努力是敏感的初始条件,并给出不一致的性能。在这里,我们通过去噪正则化将相位恢复的迭代方法与深度去噪器的图像统计相结合。由此产生的方法继承了每种方法的优点,并优于其他噪声鲁棒相位恢复算法。我们的工作铺平了道路的混合成像方法,将机器学习的约束,在传统的算法。
2020-03-03 cs.IR eess.IV stat.ML