Underwater Color Restoration Using U-Net Denoising Autoencoder
Fraunhofer Institute for Computer Graphics Research (IGD)(弗劳恩霍夫计算机图形研究所);University of Rostock(罗斯托克大学)
水下结构物的视觉检测在科学、军事和商业领域中发挥着重要作用。然而,使用软件工具自动提取信息受到水的特性的阻碍,这些特性降低了捕获视频的质量。为了解决水下图像颜色恢复问题,提出了一种基于U-Net结构的水下去噪自编码器模型。建议的网络考虑到精度和计算成本,使水下视觉任务的实时实现使用端到端的自动编码器网络。水下机器人的感知通过重建捕获的帧,从而获得更好的性能,在水下任务。相关的学习方法使用生成对抗网络(GANs)来生成颜色校正的水下图像,据我们所知,本文是第一篇处理能够产生相同或更好结果的单个自动编码器的论文。此外,图像对构造训练所提出的网络,这是很难获得这样的数据集从水下场景。最后,将所提出的模型与最先进的方法进行了比较。
2019-05-22 cs.AI cs.CV eess.IV
GARD: Gamma-based Anatomical Restoration and Denoising for Retinal OCT
Christian Doppler Laboratory for Artificial Intelligence in Retina, Center for Medical Data Science, Medical University of Vienna, 1090 Vienna, Austria(人工视网膜人工智能实验室,医学数据科学中心,维也纳医科大学);Institute of Artificial Intelligence, Center for Medical Data Science, Medical University of Vienna, 1090 Vienna, Austria(人工智能研究所,医学数据科学中心,维也纳医科大学)
本文提出GARD,一种基于去噪扩散伽马模型的视网膜OCT图像去噪方法,通过引入降噪保真项防止高频噪声并加速推理,在多项指标上显著优于现有方法且更好保留解剖细节。
2025-09-12 cs.CV
GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration
Sony AI(索尼人工智能研究所);Sony Group Corporation(索尼集团公司);Stanford University(斯坦福大学)
本文提出GibbsDDRM,通过构建联合分布并使用高效Gibbs采样器进行后验采样,将DDRM扩展至线性算子未知的盲逆问题,无需微调即可在盲图像去模糊和声乐去混响任务上取得高性能。
2023-06-27 cs.AI cs.CV cs.LG
Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models
Graz University of Technology(格拉茨工业大学);Silicon Austria Labs(奥地利硅实验室)
本文提出基于 patch 的去噪扩散概率模型,通过重叠 patch 的平滑噪声估计与引导去噪实现任意尺寸图像恢复,并在多类恶劣天气任务中达到最先进性能。
2022-11-21 cs.CV cs.LG
Residual Denoising Diffusion Models
University of Chinese Academy of Sciences(中国科学院大学);Shenyang University(沈阳大学);The University of Hong Kong(香港大学)
提出残差去噪扩散模型(RDDM),将单一去噪过程解耦为残差扩散和噪声扩散,统一并解释了图像生成与恢复任务,且仅用L1损失和批大小1训练的UNet即可媲美SOTA方法。
2024-03-22 cs.CV cs.LG
Towards Authentic Face Restoration with Iterative Diffusion Models and Beyond
Google(谷歌)
针对现有模型难生成真实高频细节的问题,提出基于去噪扩散模型的迭代学习人脸修复系统IDM,在盲人脸修复及图像生成任务上均取得更优表现。
2023-07-18 cs.CV
Generalizable Denoising of Microscopy Images using Generative Adversarial Networks and Contrastive Learning
Universidad Politécnica de Madrid(马德里理工大学);Centre national de la recherche scientifique (CNRS)(法国国家科学研究中心);Interdisciplinary Institute for Neuroscience (IINS)(跨学科神经科学研究所);University of Bordeaux(波尔多大学);Mechanobiology Institute(机械生物学研究所);National University of Singapore(新加坡国立大学)
显微镜图像经常受到高水平的噪声的影响,这可能会阻碍进一步的分析和解释。内容感知图像恢复(CARE)方法已被提出来解决这个问题,但它们往往需要大量的训练数据,并遭受过拟合。为了克服这些挑战,我们提出了一种新的框架,用于Few-Shot显微图像去噪。我们的方法将通过对比学习(CL)训练的生成对抗网络(GAN)与两个结构保留损失项(结构相似性指数和总变差损失)相结合,以进一步提高使用少量数据的去噪图像的质量。我们在三个著名的显微成像数据集上证明了我们的方法的有效性,并表明我们可以在保持去噪质量的同时大幅减少训练数据量,从而减轻获取配对数据的负担,并实现Few-Shot学习。所提出的框架可以很容易地扩展到其他图像恢复任务,并有可能显着推进显微图像分析领域。
2023-03-29 cs.CV cs.LG eess.IV
Multi-weather Cross-view Geo-localization Using Denoising Diffusion Models
Tsinghua University(清华大学);BNRist, Tsinghua University(清华大学BNRist);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出MCGF框架,利用去噪扩散模型联合优化图像恢复与地理定位,通过共享编码器和EVA-02主干网络消除天气干扰,在多天气条件下实现了有竞争力的跨视角地理定位性能。
2024-08-28 cs.AI cs.CV
Single-Stage Signal Attenuation Diffusion Model for Low-Light Image Enhancement and Denoising
School of Aeronautics and Astronautics, Central South University(中南大学航空航天学院);Hunan Provincial Key Laboratory of Optic-Electronic Intelligent Measurement and Control(湖南省光电智能测控重点实验室)
本文提出单阶段信号衰减扩散模型,通过整合信号衰减机制实现亮度调整与噪声抑制,避免了传统两阶段方法的优化不一致问题。
2026-04-07 cs.CV
DiffIR: Efficient Diffusion Model for Image Restoration
Tsinghua University(清华大学);ETH Zürich(苏黎世联邦理工学院);ByteDance Inc(字节跳动公司);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出高效扩散模型DiffIR,通过紧凑IR先验表示、双阶段训练与多模块联合优化,以更少迭代和更低计算成本在多项图像复原任务上达到SOTA。
2023-08-16 cs.CV
3D Priors-Guided Diffusion for Blind Face Restoration
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Yunnan Key Laboratory of Smart Education(云南省智慧教育重点实验室);Tencent Youtu Lab(腾讯优图实验室);University of Chinese Academy of Sciences(中国科学院大学);Tencent Cloud Architecture Platform(腾讯云架构平台)
针对盲人脸复原中真实感与保真度难平衡的问题,提出嵌入3D人脸先验的扩散框架,通过3DMM重建、多级特征提取和TAFB模块实现自适应融合,在合成与真实数据集上性能优于现有最优算法。
2024-09-12 cs.AI cs.CV
PosDiffAE: Position-aware Diffusion Auto-encoder For High-Resolution Brain Tissue Classification Incorporating Artifact Restoration
Department of Electrical Engineering, Indian Institute of Technology Madras (IITM)(电子工程系,印度理工学院Madras(IITM));Sudha Gopalakrishnan Brain Centre (SGBC), IITM(Sudha Gopalakrishnan脑中心(SGBC),IITM)
PosDiffAE将编码器与扩散模型结合,通过位置感知隐空间实现高分辨率脑组织分类,并提出无监督撕裂伪影和JPEG伪影恢复方法。
2025-07-03 cs.CV
DiffPAD: Denoising Diffusion-based Adversarial Patch Decontamination
RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(KTH皇家理工学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Halmstad University(哈尔姆斯塔德大学)
提出DiffAD框架,利用扩散模型进行对抗补丁净化,通过超分辨率重建和图像修复技术实现最先进的对抗鲁棒性。
2024-11-14 cs.CV cs.LG
DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration
Wuhan University(武汉大学);JD Explore Academy(京东探索研究院);University of Sydney(悉尼大学)
扩散模型由于其在图像复原中令人印象深刻的性能,特别是在噪声鲁棒性方面,最近受到了极大的关注。然而,现有的基于扩散的方法是在大量训练数据上训练的,并且在分布中表现得非常好,但是可能非常容易受到分布偏移的影响。这对于数据匮乏的高光谱图像(HSI)恢复尤其不合适。为了解决这个问题,这项工作提出了一个自我监督的扩散模型HSI恢复,即去噪扩散空间谱模型(\texttt{DDS2M}),它的工作原理是通过推断的参数提出的变分空间谱模块(VS2 M)在反向扩散过程中,只使用退化的HSI没有任何额外的训练数据。在VS2M中,基于变分推理的损失函数被定制,以使未经训练的空间和光谱网络能够学习后验分布,后验分布作为采样链的过渡,以帮助逆转扩散过程。得益于其自我监督的性质和扩散过程,\texttt{DDS2M}享有更强的泛化能力,以各种不同的HSI相比,现有的扩散为基础的方法和优越的鲁棒性,以现有的HSI恢复方法。大量的HSI去噪,噪声HSI完成和各种HSI的超分辨率的实验证明了\texttt{DDS2M}的优越性比现有的特定任务的最先进的。
2023-03-19 cs.CV eess.IV
CurvPnP: Plug-and-play Blind Image Restoration with Deep Curvature Denoiser
Tianjin University(天津大学)
由于基于深度学习的去噪器的发展,即插即用策略在图像恢复问题中取得了巨大成功。然而,现有的即插即用图像恢复方法被设计用于非盲高斯去噪,例如Zhang等人(2022),其性能对于未知噪声明显恶化。为了突破即插即用图像恢复的极限,我们提出了一个新的框架,盲高斯先验,它可以处理更复杂的图像恢复问题,在现实世界中。更具体地说,我们建立了一个新的图像恢复模型,把噪声水平作为一个变量,这是由一个两阶段的盲高斯去噪器组成的噪声估计子网络和去噪子网络,其中噪声估计子网络提供的噪声水平去噪子网络进行盲噪声去除。我们还将曲率映射引入到编码器-解码器架构和监督注意模块中,以实现高度灵活和有效的卷积神经网络。通过对图像去噪、去模糊和单幅图像超分辨率的实验结果,验证了该方法的有效性,并证明了该方法的有效性。我们的模型被证明是能够恢复的图像细节和微小的结构,即使在噪声水平是未知的不同的图像恢复任务。源代码可在https://github.com/Duanlab123/CurvPnP上获得。
2022-11-14 cs.CV eess.IV
Rank-One Network: An Effective Framework for Image Restoration
Fudan University(复旦大学)
图像的主秩一(RO)分量代表了图像的自相似性,这是图像恢复的一个重要特性。然而,通过图像去噪的过程,损坏的图像的RO分量可以被抽取。我们建议在图像恢复中应充分利用反渗透特性,避免抽取。为了实现这一点,我们提出了一个由两个模块组成的新框架,即,RO分解和RO重构。反渗透分解被开发用于将污染图像分解成反渗透分量和残差。这是通过连续地将RO投影应用于图像或其残差以提取RO分量来实现的。基于神经网络的RO投影提取图像的最接近的RO分量。RO重建的目的是分别从RO分量和残差中重建重要信息,以及从这些重建信息恢复图像。四个任务的实验结果,即,无噪声图像超分辨率、真实感图像超分辨率、灰度图像去噪和彩色图像去噪的实验结果表明,该方法是一种有效的图像恢复方法,对真实感图像超分辨率和彩色图像去噪都有较好的效果。
2020-11-25 cs.CV eess.IV
Inversion by Direct Iteration: An Alternative to Denoising Diffusion for Image Restoration
Google Research(谷歌研究院)
提出直接迭代反演(InDI)方法,通过逐步迭代复原图像而非单步回归,避免“回归均值”效应,无需退化过程解析形式,适用于多种图像复原任务并提升感知质量。
2024-02-02 cs.CV cs.LG eess.IV
Non-local Meets Global: An Iterative Paradigm for Hyperspectral Image Restoration
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Paradigm Inc.(第四范式有限公司);Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);LISMARS, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室)
非局部低秩张量近似是一种高光谱图像复原的新方法,它包括去噪、压缩后的高光谱图像重建和图像修复三个方面。不幸的是,虽然它的恢复性能受益于更多的光谱波段,其运行时间也大大增加。本文提出了HSI位于一个全局谱低秩子空间中,并且每个全带片群的谱子空间都应位于这个全局谱低秩子空间中。这促使我们提出一个统一的范式相结合的空间和光谱特性的HSI恢复。所提出的范例具有非局部空间去噪的性能优势和低秩正交基探索的计算复杂度。提出了一种有效的秩自适应交替极小化算法。它是通过首先解决一个保真度项相关的问题的潜在的输入图像的更新,然后学习低维正交基和相关的减少图像从潜在的输入图像。随后,非局部低秩去噪迭代细化约简图像和正交基。最后,HSI去噪,压缩重建和修复任务的实验,模拟和真实数据集,证明了其优越性,相对于国家的最先进的HSI恢复方法。
2020-10-24 cs.CV eess.IV
Stochastic Frequency Masking to Improve Super-Resolution and Denoising Networks
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
超分辨率和去噪是病态的,但基本的图像恢复任务。在盲设置中,退化核或噪声水平是未知的。这使得恢复更具挑战性,特别是对于基于学习的方法,因为它们往往过拟合训练期间看到的退化。我们提出了一个分析,在频域中,超分辨率的退化内核过拟合,并介绍了一个条件学习的角度,扩展到超分辨率和去噪。在我们的公式的基础上,我们提出了一种用于训练的图像的随机频率掩蔽,以正则化网络并解决过拟合问题。我们的技术改进了具有不同合成核的盲超分辨率、实超分辨率、盲高斯去噪和实图像去噪的最新方法。
2020-07-23 cs.CV eess.IV
Transforming Pixels into a Masterpiece: AI-Powered Art Restoration using a Novel Distributed Denoising CNN (DDCNN)
Indian Institute of Science (IISc)(印度科学学院)
针对传统艺术修复方法的局限,研究构建劣化艺术图像数据集,训练新型分布式去噪CNN(DDCNN)实现多类型多程度畸变去除与细节保留,经实验验证效果优于传统方法与其他去噪CNN,为文化遗产保护与艺术修复发展提供新方案。
2023-10-08 cs.AI cs.CV eess.IV
Image Restoration by Denoising Diffusion Models with Iteratively Preconditioned Guidance
Open University of Israel(以色列开放大学);Bar-Ilan University(巴伊兰大学)
针对观测噪声削弱反投影引导的图像复原效果问题,提出基于预处理的迭代引导方法,可在BP与最小二乘引导间过渡,鲁棒性强且实现简单,在去模糊和超分辨率任务上效果优于现有方法。
2024-04-14 cs.CV eess.IV
RELD: Regularization by Latent Diffusion Models for Image Restoration
University of Bologna(博洛尼亚大学);University of Macerata(马切拉塔大学);University of Modena and Reggio Emilia(摩德纳大学与雷焦艾米利亚大学);University of Milan(米兰大学);Washington University in St. Louis(圣路易斯华盛顿大学)
提出RELD方法,将潜在扩散模型作为正则化器集成到变分框架中,用于图像去噪、去模糊和超分辨率,在降低计算成本的同时达到与最先进方法竞争的性能,尤其在感知质量上表现优异。
2025-03-28 cs.CV eess.IV
Structural Guidance for Unified Joint Demosaicing and Denoising
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
该研究提出含SwinIR恢复分支、结构推理分支与轻量适配器的结构引导统一恢复框架,在多CFA模式和噪声水平实验中较现有方法实现一致性能提升,增强了相机图像恢复的鲁棒性。
2026-11-13 cs.CV eess.IV
CycleISP: Real Image Restoration via Improved Data Synthesis
Inception Institute of Artificial Intelligence(人工智能 inception 研究院);University of California, Merced(加州大学默塞德分校);Google Research(谷歌研究院)
大规模数据集的可用性有助于释放深度卷积神经网络(CNN)的真正潜力。然而,对于单个图像去噪问题,捕获真实数据集是不可接受的昂贵且繁琐的过程。因此,图像去噪算法大多是在通常以加性高斯白噪声(AWGN)的广泛假设生成的合成数据上开发和评估的。虽然CNN在这些合成数据集上取得了令人印象深刻的结果,但正如最近的基准数据集所报告的那样,它们在应用于真实相机图像时表现不佳。这主要是因为AWGN不足以对真实的相机噪声进行建模,该噪声是信号相关的并且被相机成像流水线大量变换。在本文中,我们提出了一个框架,模型的相机成像管道在向前和向后的方向。它允许我们在RAW和sRGB空间中生成任意数量的真实图像对进行去噪。通过在真实的合成数据上训练一个新的图像去噪网络,我们在真实的相机基准数据集上实现了最先进的性能。我们模型中的参数比之前用于RAW去噪的最佳方法小约5倍。此外,我们证明了所提出的框架概括了图像去噪问题,例如,用于立体电影中的颜色匹配。源代码和预训练模型可在www.example.com上获得。
2020-03-17 cs.CV eess.IV
Denoising Diffusion Models for Plug-and-Play Image Restoration
ETH Zürich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
本文提出DiffPIR,将传统即插即用方法集成到扩散采样框架中,利用扩散模型的生成能力作为图像先验,在超分辨率、去模糊和修复任务上以不超过100次NFEs实现了最先进的重建保真度与感知质量。
2023-05-15 cs.CV eess.IV
Empirical Bayesian image restoration by Langevin sampling with a denoising diffusion implicit prior
Heriot-Watt University(赫瑞瓦特大学);Université de Bordeaux(波尔多大学)
本文提出将 DDPM 去噪器嵌入经验贝叶斯 Langevin 算法,在估计后验均值时联合校准超参数,从而在去模糊、超分辨率和修复任务中提升精度与速度。
2024-09-06 cs.CL cs.CV eess.IV
Microscopy Image Restoration using Deep Learning on W2S
EPFL(洛桑联邦理工学院)
我们利用深度学习技术来联合去噪和超分辨率荧光显微镜采集的生物医学图像。我们开发了一种基于最近W2S论文中描述的网络和方法的深度学习算法,以解决联合去噪和超分辨率问题。具体来说,我们解决SIM图像从宽视场图像的恢复。我们的TensorFlow模型是在W2S细胞图像数据集上训练的,可以在这个存储库中在线访问:https://github.com/mchatton/w2s-tensorflow。在测试图像上,该模型显示出视觉上令人信服的去噪效果,并将分辨率提高了两倍。对于512 $\times$ 512图像,推断在Titan X GPU上花费不到1秒,在普通CPU上花费大约15秒。我们进一步提出了在训练中使用的损失的不同变化的结果。
2020-04-22 cs.CV eess.IV
Noise2Stack: Improving Image Restoration by Learning from Volumetric Data
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所);Wellcome Sanger Institute(惠康桑格研究所);PerkinElmer Cellular Technologies(珀金埃尔默细胞技术公司)
生物医学图像是嘈杂的。成像设备本身具有物理限制,并且随之而来的信噪比、采集速度和成像深度之间的实验权衡加剧了该问题。因此,去噪是任何图像处理流水线的重要组成部分,而卷积神经网络是目前用于此任务的首选方法。一种流行的方法,Noise2Noise,不需要干净的地面事实,而是使用第二个嘈杂的副本作为训练目标。自监督方法(例如Noise2Self和Noise2Void)通过在没有明确目标的情况下学习信号来放宽数据要求,但受到单个图像中缺乏信息的限制。在这里,我们介绍Noise2Stack,这是Noise2Noise方法对图像堆栈的扩展,它利用了空间相邻平面之间的共享信号。我们对磁共振脑扫描和新获得的多平面显微镜数据的实验表明,仅从堆栈中的图像邻居学习就足以超越Noise2Noise和Noise2Void,并缩小与监督去噪方法的差距。我们的研究结果表明,多平面生物医学图像的去噪管道可以实现低成本、高回报的改进。作为这项工作的一部分,我们发布了一个显微镜数据集,建立一个基准的多平面图像去噪。
2020-11-10 cs.CV eess.IV
SUNet: Swin Transformer UNet for Image Denoising
National Chung Hsing University(国立中兴大学);National Taichung University of Science and Technology(国立台中科技大学)
图像复原是一个具有挑战性的不适定问题,也是一个长期存在的问题。在过去的几年里,卷积神经网络(CNN)几乎主导了计算机视觉,并在包括图像恢复在内的不同层次的视觉任务中取得了相当大的成功。然而,最近基于Swin Transformer的模型也表现出令人印象深刻的性能,甚至超过了基于CNN的方法,成为高级视觉任务的最先进的方法。在本文中,我们提出了一个恢复模型称为SUNet,它使用Swin Transformer层作为我们的基本块,然后应用到UNet架构的图像去噪。源代码和预训练模型可在https://github.com/FanChiMao/SUNet上获得。
2022-02-28 cs.CV cs.LG eess.IV
Functional Neural Networks for Parametric Image Restoration Problems
McMaster University(麦克马斯特大学)
几乎每个图像恢复问题都有一个密切相关的参数,如超分辨率中的比例因子,图像去噪中的噪声水平,以及JPEG去块中的质量因子。尽管最近关于图像恢复问题的研究由于深度神经网络的发展而取得了巨大的成功,但它们以不复杂的方式处理所涉及的参数。大多数以前的研究者要么把不同参数水平的问题作为独立的任务,并为每个参数水平训练一个特定的模型;或者简单地忽略参数,并为所有参数水平训练一个单一的模型。这两种流行的方法都有各自的缺点。前者计算效率低,后者性能差。在这项工作中,我们提出了一种新的系统,称为功能神经网络(FuncNet),以解决一个单一的模型的参数图像恢复问题。与普通神经网络不同,我们的FuncNet的最小概念元素不再是浮点变量,而是问题参数的函数。这一特性使得它对于参数化问题既高效又有效。我们将FuncNet应用于超分辨率,图像去噪和JPEG去块。实验结果表明,我们的FuncNet在所有三个参数的图像恢复任务的优越性超过国家的艺术。
2021-10-30 cs.CV eess.IV
Attention Based Real Image Restoration
Data61-Commonwealth Scientific Industrial Research Organization (CSIRO)(Data61-联邦科学与工业研究组织);Australian National University(澳大利亚国立大学)
深度卷积神经网络在包含空间不变退化(也称为合成退化)的图像上表现更好;然而,它们的性能在真实退化的照片上受到限制,并且需要多级网络建模。为了提高复原算法的实用性,采用模块化结构,提出了一种新的单级盲实图像复原网络(R $^2$ Net)。我们在残差结构上使用残差来缓解低频信息的流动,并应用特征注意力来利用通道依赖性。此外,四个恢复任务,即去噪,超分辨率,雨滴去除和JPEG压缩对11个真实退化数据集对30多个国家的最先进的算法的定量指标和视觉质量的评估证明了我们的R $^2$ Net的优越性。我们还提出了三个综合生成的退化数据集去噪的比较,以展示我们的方法在综合去噪的能力。代码、训练模型和结果可在https://github.com/saeed-anwar/R2Net上获得。
2020-10-01 cs.CV cs.LG eess.IV
FiRe: Fixed-points of Restoration Priors for Solving Inverse Problems
Université Paris-Saclay, Inria, CEA, Palaiseau(巴黎-萨克雷大学、INRIA、CEA、Palaiseau);Washington University in St. Louis(斯托克顿大学)
本文提出 FiRe 框架,利用退化算子与恢复模型复合映射的不动点定义隐式先验,将 PnP 从去噪先验扩展到一般预训练恢复模型,并支持多模型组合与采集信息网络。
2025-06-07 cs.CV eess.IV
Image Restoration using Plug-and-Play CNN MAP Denoisers
Centre Suisse d’Electronique et de Microtechnique (CSEM)(瑞士电子与微技术中心(CSEM));School of Computer and Communication Sciences, École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL)计算机与通信科学学院)
即插即用去噪器可用于执行与退化类型无关的通用图像恢复任务。这些方法建立在最大后验概率(MAP)优化可以使用较小的子问题(包括MAP去噪优化)来解决的事实上。我们提出了第一个端到端的MAP估计方法,用于使用深度神经网络进行图像去噪。我们表明,我们的方法是保证最小化MAP去噪的目标,然后使用的通用图像恢复的优化算法。我们提供了我们的方法的理论分析,并在几个实验中显示我们的方法的定量性能。我们的实验结果表明,所提出的方法可以实现70倍的速度比最先进的性能,同时保持MAP的理论观点。
2019-12-20 cs.CV cs.LG eess.IV
GAMA-IR: Global Additive Multidimensional Averaging for Fast Image Restoration
Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出GAMA-IR,一种基于全局加性多维平均模块的浅层图像复原网络,在保持最先进性能的同时显著降低延迟和内存消耗,并在SIDD去噪上以0.11dB优势超越现有最佳结果且速度提升2至10倍。
2024-03-31 cs.CV eess.IV
Video Restoration with a Deep Plug-and-Play Prior
MAP5(MAP5实验室);GoPro Inc.(GoPro公司);Meta Inc.(Meta公司)
本文提出了一种通过深度即插即用(Pestrian)方法恢复数字视频的新方法。在贝叶斯形式主义下,该方法包括使用深度卷积去噪网络代替交替优化方案中先验的邻近算子。我们区分自己从以前的Pestrian工作直接应用该方法来恢复从退化的视频观察的数字视频。通过这种方式,一次训练去噪的网络可以重新用于其他视频恢复任务。我们在视频去模糊,超分辨率和随机缺失像素插值方面的实验都显示出使用专门为视频去噪设计的网络的明显优势,因为它比使用相同Pestrian公式的具有类似去噪性能的单个图像网络具有更好的恢复性能和更好的时间稳定性。此外,我们的方法相比,有利地应用不同的国家的最先进的PSTK计划分别对每个帧的序列。这为视频恢复领域开辟了新的前景。
2022-09-15 cs.CV cs.LG eess.IV
DIFFRACT: Diffusion-based Restoration via Adaptive Control and Thresholding for Diffraction Imaging
本文提出DIFFRACT,利用带辅助回归头的UNet扩散模型和自适应反馈控制实现EBSD图案去噪,并能识别无有效信号样本以抑制幻觉。
2025-08-28 eess.IV
D2HNet: Joint Denoising and Deblurring with Hierarchical Network for Robust Night Image Restoration
City University of Hong Kong(香港城市大学);SenseTime Research(商汤科技研究院);Shanghai Jiao Tong University(上海交通大学)
由于成像系统中的低光子计数和不可避免的噪声,使用现代智能手机相机进行夜间成像是很麻烦的。直接调整曝光时间和ISO等级无法在弱光条件下同时获得清晰和无噪声的图像。尽管已经提出了许多方法来增强噪声或模糊的夜间图像,但是由于两个主要原因,它们在真实世界的夜间照片上的性能仍然不令人满意:1)单个图像中的有限信息和2)合成训练图像和真实世界照片之间的域间隙(例如,模糊区域和分辨率的差异)。为了利用连续的长曝光和短曝光图像的信息,我们提出了一个基于学习的管道来融合它们。开发了D2 HNet框架,通过在短曝光图像的指导下对长曝光图像进行去模糊和增强来恢复高质量的图像。为了缩小域间隙,我们利用了两阶段的DeburNet-EnhanceNet架构,该架构在固定的低分辨率上执行精确的模糊去除,以便能够处理不同分辨率输入中的大范围模糊。此外,我们从高清视频中合成了一个D2数据集,并在其上进行了实验。验证集和真实照片上的结果表明,我们的方法实现了更好的视觉质量和最先进的定量分数。D2 HNet代码和D2-Dataset可在https://github.com/zhaoyuzhi/D2HNet上找到。
2022-07-14 cs.CV eess.IV
Plug-and-Play image restoration with Stochastic deNOising REgularization
提出SNORE框架,仅在适当噪声水平图像上应用去噪器,结合随机正则化与梯度下降求解逆问题,在去模糊和修复任务上达到SOTA。
2026-06-12 cs.CV cs.LG eess.IV
Preconditioned Plug-and-Play ADMM with Locally Adjustable Denoiser for Image Restoration
Inria Rennes – Bretagne-Atlantique(雷恩-布列塔尼大西洋国立信息与自动化研究所)
即插即用优化最近成为一种强大的技术,通过将去噪器插入到经典的优化算法中来解决逆问题。去噪器考虑了正则化,因此隐式地确定了数据的先验知识,从而取代了典型的手工先验。在本文中,我们扩展了即插即用优化的概念,使用降噪器,可以参数化的非恒定噪声方差。在这个目标中,我们介绍了一个预处理的ADMM算法,这在数学上证明了使用这样一个可调去噪。我们还提出了一个训练卷积神经网络的过程,用于高质量的非盲图像去噪,也允许逐像素控制噪声标准差。我们表明,我们的逐像素可调去噪器,以及一个合适的预处理策略,可以进一步提高即插即用的ADMM方法的几个应用程序,包括图像完成,插值,去马赛克和泊松去噪。
2021-10-01 cs.CV eess.IV
DDGM: Solving inverse problems by Diffusive Denoising of Gradient-based Minimization
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton Department of Computer Science(普林斯顿大学计算机科学系)
本文提出 DDGM,将基于梯度的重建误差最小化与逐步去噪及指数衰减噪声相结合,以类似扩散过程的方式求解逆问题,在电子层析重建中以仅 50 步实现高精度,并优于 DDRM 和 DPS。
2023-07-11 cs.CV cs.LG eess.IV
Toward Accurate and Temporally Consistent Video Restoration from Raw Data
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
提出一种新的VJDD框架,通过一致且精确的潜在空间传播及两种新损失函数,解决视频去噪去马赛克中的时间一致性问题,提升复原精度与感知质量。
2023-12-25 cs.CV eess.IV
Interpretable Unsupervised Diversity Denoising and Artefact Removal
Google Research(谷歌研究院);Fondazione Human Technopole(人类技术城基金会)
图像去噪和伪影去除是一个复杂的逆问题,需要多个有效解。无监督的多样性恢复,也就是说,获得一个不同的一组可能的解释给定损坏的图像,是重要的模糊性消除在许多应用中,如显微镜,其中成对的数据监督训练往往是不可获得的。在现实世界的应用中,成像噪声和伪影通常很难建模,导致现有的无监督方法的性能不令人满意。这项工作提出了一种可解释的方法,无监督和多样化的图像恢复。为此,我们引入了一个有能力的架构,称为分层DivNoising(HDN)的基础上分层变分自动编码器。我们表明,HDN学习一个可解释的多尺度表示的文物,我们利用这种可解释性,以消除常见的显微镜数据中的成像文物。我们的方法在12个基准图像去噪数据集上实现了最先进的结果,同时提供了对整个分布的敏感恢复解决方案的访问。此外,我们在三个真实的显微镜数据集上证明了HDN在没有监督的情况下消除了伪影,这是第一种能够这样做的方法,同时生成多个与给定的损坏图像一致的合理解释。
2022-02-24 cs.CV cs.LG eess.IV
Denoising diffusion models for high-resolution microscopy image restoration
Frankfurt Institute for Advanced Studies (FIAS)(法兰克福高级研究所);Goethe University Frankfurt(法兰克福大学);Institute of Physical and Theoretical Chemistry(物理与理论化学研究所)
本研究训练去噪扩散概率模型(DDPM),以低分辨率信息为条件预测高分辨率显微图像,利用概率特性重复生成提高信噪比,在四个多样数据集上稳定达到优于或相当的最佳性能,展现高泛化性。
2024-09-18 cs.CV cs.LG eess.IV
Real Image Restoration via Structure-preserving Complementarity Attention
Tencent PCG(腾讯平台与内容事业群)
由于卷积神经网络在从大规模数据中学习可概括的图像先验知识方面表现良好,因此这些模型已广泛用于图像去噪任务。然而,在复杂的模型上,计算复杂度也急剧增加。本文提出了一种新的轻量级互补注意力模块,该模块包括密度模块和稀疏模块,可以协同挖掘密集和稀疏特征,进行特征互补学习,构建高效的轻量级结构。此外,为了减少去噪带来的细节损失,本文构造了一种基于梯度的结构保持分支。我们利用基于梯度的分支来获得额外的结构先验进行去噪,并通过梯度损失优化使模型更加关注图像的几何细节。在此基础上,我们提出了一种高效的双分支Unet结构网络,可视化结果表明,该网络能够有效地保留原始图像的结构细节,我们评估了包括SIDD和DND在内的基准测试,SCANet在PSNR和SSIM方面实现了最先进的性能,同时显著降低了计算成本。
2022-07-28 cs.CV cs.LG eess.IV
HIR-Diff: Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文提出无监督高光谱图像复原框架HIR-Diff,将干净HSI分解为降维图像与系数矩阵,结合改进扩散模型、TV先验引导、SVD与RRQR预估计及指数噪声调度,在去噪、超分辨率和修复任务上实现了性能与速度的双重提升。
2024-02-24 cs.CV eess.IV
Concatenated Attention Neural Network for Image Restoration
University of Chinese Academy of Sciences(中国科学院大学);Research Center on Fictitious Economy and Data Science, Chinese Academy of Sciences(中国科学院虚拟经济与数据科学研究中心);Key Laboratory of Big Data Mining and Knowledge Management Chinese Academy of Sciences(中国科学院大数据挖掘与知识管理重点实验室)
在本文中,我们提出了一个通用的框架,低层次的视觉任务,包括图像压缩文物减少和图像去噪。在此框架下,一个新的级联注意神经网络(CANet)是专门为图像恢复设计的。本文的主要贡献如下:第一,采用简洁有效的拼接和特征选择机制,建立了一种新的连接机制,将模块堆叠网络中的不同模块连接起来。第二,在每个模块卷积层中同时使用像素级和通道级注意机制,这促进了图像中更重要信息的进一步提取。最后,我们证明了CANet取得了更好的结果比以前的国家的最先进的方法在压缩伪影去除和图像去噪充分的实验。
2020-06-19 cs.CV cs.LG eess.IV
Self-supervised Hyperspectral Image Restoration using Separable Image Prior
The University of Kitakyushu(北九州市立大学)
使用卷积神经网络的监督学习被认为是图像恢复的强大手段。然而,大多数这样的方法已被设计为应用于灰度和/或彩色图像,因此,它们具有有限的成功时,应用于高光谱图像恢复。这部分是由于难以收集大型数据集,以及与恢复具有许多光谱带的图像相关的繁重计算负荷。为了解决这个困难,我们提出了一种新的自监督学习策略应用于高光谱图像恢复。我们的方法从单个退化图像自动创建训练数据集,并在没有任何清晰图像的情况下训练去噪网络。我们方法的另一个显著特点是使用了可分离的卷积层。我们进行实验,以证明使用一个可分离的网络,使我们能够获得先验的高光谱图像,并实现有效的恢复。我们通过大量的实验证明了我们的方法的有效性,并表明我们的方法具有更好的特性比那些目前被认为是最先进的。
2019-07-01 cs.CV eess.IV
From Group Sparse Coding to Rank Minimization: A Novel Denoising Model for Low-level Image Restoration
College of Electronic and Optical Engineering & College of Microelectronics, Nanjing University of Posts and Telecommunications(南京邮电大学电子与光学工程学院、微电子学院);College of Telecommunications & Information Engineering, Nanjing University of Posts and Telecommunications(南京邮电大学通信与信息工程学院)
近年来,低秩矩阵恢复理论作为解决各种图像处理问题的一个重要进展而逐渐兴起。同时,分组稀疏编码(GSC)理论在图像恢复(IR)问题中取得了巨大的成功,因为每个分组都具有低秩特性。本文在GSC的视角下,提出了一种新的基于低秩最小化的IR任务去噪模型,并指出了该去噪模型与秩最小化问题之间的重要联系。为了克服凸核范数最小化(NNM)秩逼近所带来的偏差问题,采用了一种更为广义和灵活的秩松弛函数,即加权非凸松弛。在此基础上,结合常用的L_(1/2)和L_(2/3)阈值算子,提出了一种有效的迭代加权算法。最后,我们提出的去噪模型适用于IR问题通过交替方向的乘法器(ADMM)的战略。典型的红外图像压缩感知(CS),修复,去模糊和脉冲噪声去除实验表明,我们提出的方法可以实现显着更高的PSNR/FSIM值比许多相关的国家的最先进的方法。
2020-05-23 cs.LG eess.IV eess.SP
JPEG Information Regularized Deep Image Prior for Denoising
Preferred Networks, Inc.(优选网络公司);Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
针对深度图像先验(DIP)去噪需提前停止但无干净参考图的难题,提出用复原图像的JPEG文件大小作为噪声水平代理指标实现提前停止,验证了该指标的有效性。
2023-10-02 cs.CV eess.IV
FDG-Diff: Frequency-Domain-Guided Diffusion Framework for Compressed Hazy Image Restoration
Sun Yat-sen University(中山大学);The Australian National University(澳大利亚国立大学)
针对雾霾与压缩联合退化问题,提出频域引导扩散框架FDG-Diff,结合高频补偿与自适应时间步预测,在多个数据集上超越现有方法。
2025-01-22 cs.CV eess.IV
Unsupervised Image Restoration Using Partially Linear Denoisers
University of Cambridge(剑桥大学)
基于深度神经网络的方法是各种图像恢复问题的最新技术。标准的监督学习框架需要一组噪声测量和干净图像对,对于这些图像对,恢复模型的输出与地面实况、干净图像之间的距离被最小化。然而,在现实世界的应用中,地面实况图像通常是不可用的或获取起来非常昂贵。我们规避这个问题,提出了一类结构化的降噪,可以分解为一个非线性图像相关的映射,线性噪声相关的长期和一个小的残留项的总和。我们表明,这些去噪器可以只训练噪声图像的条件下,噪声具有零均值和已知的方差。然而,噪声的确切分布并不假定是已知的。我们展示了我们的方法的优越性图像去噪,并证明其扩展到解决其他恢复问题,如盲去模糊的地面真理是不可用的。我们的方法优于一些最近的无监督和自监督深度去噪模型,这些模型不需要干净的图像进行训练。对于盲去模糊问题,该方法,每个图像只使用一个嘈杂和模糊的观察,达到了质量不远的基准数据集上的完全监督同行。
2021-03-30 cs.CV cs.LG eess.IV
Computationally iterative methods for salt-and-pepper denoising
本文针对椒盐噪声去除这一不适定逆问题,提出两种基于非线性方程线性化并结合两阶段迭代框架的迭代方法,实验验证了其正确性与效率。
2025-04-13 eess.IV
RestoreGrad: Signal Restoration Using Conditional Denoising Diffusion Models with Jointly Learned Prior
本文提出RestoreGrad框架,将条件DDPM与VAE结合并联合学习信息更丰富的扩散先验,以利用退化与干净信号的相关性,在语音和图像恢复中显著减少训练与采样步数并提升质量。
2025-06-07 cs.LG eess.AS eess.IV
Convergence Analysis of a Proximal Stochastic Denoising Regularization Algorithm
本文针对即插即用框架下的SNORE Prox随机近端梯度下降算法,在非凸假设下证明了其收敛性,填补了该算法理论分析的空白。
2025-02-28 eess.IV