Rethinking Video Deblurring with Wavelet-Aware Dynamic Transformer and Diffusion Model
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Zhejiang Gongshang University(浙江工商大学)
针对视频去模糊中高频信息恢复受限及直接应用扩散模型存在的计算开销大和易受模糊伪影误导的问题,提出 VD-Diff 框架,将扩散模型与 WADT 结合,在紧凑潜在空间生成高频先验特征并保留低频信息,在多个数据集上优于 SOTA。
2024-08-24 cs.CV
BlurDM: A Blur Diffusion Model for Image Deblurring
National Yang Ming Chiao Tung University(国家阳明交通大学);National Tsing Hua University(国立清华大学);National Chengchi University(国立成功大学);NVIDIA(英伟达)
BlurDM通过双扩散方案整合模糊形成过程,实现图像去模糊,提升去模糊效果。
2026-01-08 cs.AI cs.CV
Unpaired Deblurring via Decoupled Diffusion Model
Sun Yat-sen University(中山大学);Microsoft(微软);University of California, Merced(加利福尼亚大学默塞德分校)
提出UID-Diff模型,通过在三个专门设计的任务上联合训练并利用两个Q-Formers解耦结构特征与模糊模式,解决了非配对图像去模糊中的数据获取困难和过拟合问题,在未知模糊模式上展现出更强的泛化能力并优于现有方法。
2025-05-30 cs.CV
Learning Deblurring Texture Prior from Unpaired Data with Diffusion Model
Xi’an Jiaotong University(西安交通大学);Wuhan University(武汉大学);Insta360(影石);Nanjing University of Science and Technology(南京理工大学);University of California, Merced(加利福尼亚大学默塞德分校)
本文提出基于扩散模型的非配对图像去模糊框架,通过纹理先验编码器和纹理迁移Transformer层学习空间变化纹理先验,在多个基准上超越现有无监督方法。
2025-07-18 cs.CV
DIVD: Deblurring with Improved Video Diffusion Model
针对视频去模糊中失真指标与人类感知相关性弱、重建缺乏真实感的问题,本文引入基于改进视频扩散模型的DIVD,利用相邻帧相关信息并解决时间错位,在感知指标上达SOTA,首次将扩散模型用于该任务以突破局限。
2024-12-01 cs.AI cs.CV
Blind Motion Deblurring with Cycle Generative Adversarial Networks
School of Automation, Nanjing University of Information Science and Technology(南京信息工程大学自动化学院);B-DAT(B-DAT(注:此处B-DAT为原文缩写,无更多上下文时保留英文));Nanjing University of Information Science and Technology(南京信息工程大学)
盲运动去模糊是图像处理和计算机视觉中最基本也是最具挑战性的问题之一。它的目标是从模糊的图像中恢复清晰的图像,对模糊过程一无所知。现有的方法大多采用最大后验概率(MAP)或期望最大化(EM)框架来处理这类问题,但它们不能很好地处理自然图像的高频特征。最近,深度神经网络已经成为图像去模糊的强大工具。在本文中,我们证明了编码器-解码器架构提供了更好的图像去模糊任务的结果。此外,我们提出了一种新的端到端学习模型,通过许多新的训练策略来改进生成对抗网络,以解决去模糊问题。实验结果表明,该模型能够很好地捕捉高频特征,在基准数据集上的实验结果表明,该模型具有较好的性能。
2019-01-08 cs.CV
ExpRDiff: Short-exposure Guided Diffusion Model for Realistic Local Motion Deblurring
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对局部运动去模糊中检测不准、重度模糊恢复效果差的问题,提出融合上下文模糊检测、短曝光引导恢复与扩散约束的ExpRDiff模型,性能优于现有最优方法。
2024-12-12 cs.CV
Non-uniform Motion Deblurring with Blurry Component Divided Guidance
Northwestern Polytechnical University(西北工业大学);The University of Adelaide(阿德莱德大学)
图像盲去模糊是一个基本的、具有挑战性的计算机视觉问题,其目的是从一个模糊的观测中恢复模糊核和潜在的清晰图像。尽管深度学习方法在图像去模糊方面已经显示出了优越性,但在各种非匀速运动模糊方面仍然存在重大挑战。以前的方法简单地将所有图像特征作为解码器的输入,同时处理不同程度的模糊(例如,大模糊,小模糊),从而导致清晰图像生成的挑战。为了解决上述问题,我们提出了一种深度两分支网络来处理模糊图像,通过分量划分模块,该模块根据模糊度的表示将图像分为两个分量。具体而言,两个组件注意力块学习注意力地图,以利用有用的去模糊功能表示的大小模糊区域。然后,将模糊感知特征分别馈送到两个分支重构解码器。此外,提出了一种新的特征融合机制,基于方向的特征融合,合并两个分支的尖锐特征。定性和定量的实验结果表明,我们的方法表现良好,对国家的最先进的方法。
2021-01-15 cs.CV
Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild
Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
本文提出一种基于可学习模糊核和DefocusGAN的单图像模糊去模糊方法,通过无监督学习恢复高频率细节,实验表明在PSNR和LPIPS指标上达到最优性能。
2022-11-25 cs.CV eess.IV
Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis
Soongsil University(崇实大学);KAIST(韩国科学技术院);Kakao Enterprise(Kakao企业)
近来,扩散模型通过逐渐去除噪声和放大信号在图像合成中显示出显著的结果。虽然简单的生成过程令人惊讶地工作得很好,但这是生成图像数据的最佳方式吗?例如,尽管人类感知对图像的低频更敏感,但扩散模型本身并不考虑每个频率分量的任何相对重要性。因此,为了将图像数据的归纳偏差,我们提出了一种新的生成过程,以粗到细的方式合成图像。首先,我们推广了标准的扩散模型,使扩散在旋转坐标系中具有不同的速度为每个组件的矢量。我们进一步提出了模糊扩散作为一种特殊情况,其中图像的每个频率分量以不同的速度扩散。具体地说,所提出的模糊扩散包括一个向前的过程,模糊的图像,并逐渐增加噪声,在此之后,相应的反向过程去模糊的图像,并逐步消除噪声。在LSUN卧室和教堂数据集上的实验表明,该模型在FID中的性能优于以前的方法。代码可在https://github.com/sangyun884/blur-diffusion上获得。
2022-11-21 cs.CV cs.LG
Image Motion Blur Removal in the Temporal Dimension with Video Diffusion Models
Nanjing University(南京大学);TopXGun Robotics(拓攻机器人)
提出将运动模糊视为时间平均现象,利用预训练视频扩散变换器模型在潜在空间捕捉运动动态,无需显式核估计,在合成和真实数据集上优于现有去模糊方法。
2025-01-22 cs.CV cs.LG eess.IV
Blind Deblurring Using GANs
Kalinga Institute of Industrial Technology(卡林加工业技术学院);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
去模糊是将模糊图像恢复为清晰图像的任务,恢复由于模糊而丢失的信息。在盲去模糊中,我们没有关于模糊核的信息。由于去模糊可以被视为图像到图像的转换任务,因此基于深度学习的解决方案,包括使用GAN(生成对抗网络)的解决方案,已被证明对去模糊有效。它们中的大多数具有编码器-解码器结构。我们的目标是尝试不同的GAN结构,并通过对现有结构的各种修改来提高其性能,以进行监督去模糊。在有监督的去模糊中,我们有成对的模糊图像和它们对应的清晰图像,而在无监督的情况下,我们有一组模糊图像和清晰图像,但它们之间没有对应关系。对结构进行修改以改善模型的全局感知。由于模糊在本质上是不均匀的,为了去模糊,我们需要整个图像的全局信息,而CNN中使用的卷积只能提供局部感知。深度模型可用于改善全局感知,但由于大量参数,它变得难以收敛,推理时间增加,为了解决这个问题,我们提出使用注意力模块(非局部块),它以前用于语言翻译和其他图像到图像的翻译任务。残差连接的使用还提高了去模糊的性能,因为来自较低层的特征被添加到模型的上层。已经发现,L1、L2和感知损失等经典损失与对抗性损失一起使用时,也有助于GANs的训练。我们也将影像的边缘资讯连结起来,观察其对去模糊的影响。我们还使用反馈模块来保持长期的依赖关系
2019-07-27 cs.CV eess.IV
SharpGAN: Receptive Field Block Net for Dynamic Scene Deblurring
智能船舶在海上航行时,由于风、浪、流的作用,不可避免地会产生摇摆运动,使得视觉传感器采集的图像出现运动模糊。这将对基于视觉传感器的目标检测算法产生不利影响,从而影响智能船舶的航行安全。为了消除智能船航行过程中图像中的运动模糊,提出了一种基于生成对抗网络的图像去模糊方法SharpGAN。首先,在去模糊网络中引入了感受域块网络(RFBNet),增强了网络对模糊图像特征的提取能力。其次,我们提出了一种结合不同层次图像特征的特征损失,以引导网络进行更高质量的去模糊,提高恢复图像与清晰图像之间的特征相似度。最后,我们提出使用轻量级RFB-s模块来提高去模糊网络的实时性。与现有的大规模真实海洋图像数据集和大规模去模糊数据集上的去模糊方法相比,该方法不仅在视觉感知和量化指标上具有更好的去模糊性能,而且具有更高的去模糊效率。
2020-12-31 cs.CV cs.LG eess.IV
FMD-cGAN: Fast Motion Deblurring using Conditional Generative Adversarial Networks
IIT Gandhinagar(印度理工学院甘地讷格尔分校);LNMIIT Jaipur(LNM信息技术学院斋浦尔)
在本文中,我们提出了一个快速运动去模糊条件生成对抗网络(FMD-cGAN),有助于在一个单一的图像盲运动去模糊。FMD-cGAN在去模糊图像后提供了令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样,GANs也存在模型大小(参数)和计算量大的问题。在资源受限的设备(如移动设备和机器人)上部署模型并不容易。在基于MobileNet的架构的帮助下,该架构由依赖可分离卷积组成,我们减少了模型的大小和推理时间,而不会损失图像的质量。更具体地说,与最接近的竞争对手相比,我们将模型尺寸缩小了3 - 60倍。由此产生的压缩去模糊cGAN比其最接近的竞争对手更快,甚至定性和定量结果都优于最近提出的各种最先进的盲运动去模糊模型。我们还可以将我们的模型用于实时图像去模糊任务。在标准数据集上的实验表明了该方法的有效性。
2021-12-09 cs.CV eess.IV
SL-CycleGAN: Blind Motion Deblurring in Cycles using Sparse Learning
NCEPU(华北电力大学);Portland State University(波特兰州立大学)
本文提出了一种基于稀疏学习的端到端生成对抗网络(GAN),用于单帧图像的盲运动去模糊,我们称之为SL-CycleGAN。在盲运动去模糊中,我们第一次提出了一个稀疏ResNet块,作为稀疏卷积层和基于HTM(分层时间记忆)的可训练空间pokerk-winner的组合,以取代SL-CycleGAN生成器的ResNet块中的非线性,如ReLU。此外,与许多最先进的基于GAN的运动去模糊方法不同,这些方法将运动去模糊视为线性端到端过程,我们从CycleGAN的域到域转换能力中获得灵感,我们证明图像去模糊可以是周期一致的,同时实现最佳的定性结果。最后,我们对流行的图像基准进行了定性和定量的广泛实验,并在GoPro数据集上实现了破纪录的38.087 dB的PSNR,比最新的去模糊方法好5.377 dB。
2021-11-07 cs.CV eess.IV
Edge Heuristic GAN for Non-uniform Blind Deblurring
Beijing Jiaotong University(北京交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Xpeng Motors(小鹏汽车)
非均匀模糊主要由相机抖动和多个物体的运动引起,是图像质量下降的最常见原因之一。然而,传统的基于模糊核估计的盲去模糊方法对复杂的非匀速运动模糊效果不佳。最近的研究表明,基于GAN的方法在去模糊任务上取得了令人印象深刻的性能。在这封信中,为了进一步提高基于GAN的方法在去模糊任务上的性能,我们提出了一种边缘启发式多尺度生成对抗网络(GAN),它使用“从粗到精”的方案以端到端的方式恢复清晰图像。特别地,边缘增强网络被设计为生成尖锐边缘作为辅助信息来指导去模糊过程。此外,我们提出了一个分层的内容损失函数去模糊任务。在不同数据集上的大量实验表明,该方法在动态场景去模糊方面取得了最好的效果。
2019-07-11 cs.CV eess.IV
A Survey on Image Deblurring
Xihua University(西华大学)
随着社会生活质量的提高和日常工作的实际需要,图像越来越多地出现在我们的身边。由于相机抖动、人体移动等原因造成的图像模糊已成为影响图像质量的关键。如何去除图像模糊,恢复清晰图像,逐渐成为计算机视觉领域的一个重要研究方向。经过半个多世纪的不懈努力,广大科技工作者在图像去模糊方面取得了卓有成效的进展。本文回顾了图像去模糊的工作,并具体介绍了比较经典的图像去模糊方法,有助于了解当前的研究现状,展望未来的发展趋势。本文回顾了传统的图像去模糊方法和深度表示图像去模糊方法,并对相应的技术方法进行了全面的分类和介绍。本文的综述可以为图像去模糊领域的研究者提供一定的指导,同时也为他们后续的学习和研究提供便利。
2022-01-31 cs.CV
Blind Image Deblurring: a Review
Shanghai Jiao Tong University(上海交通大学)
本文对图像盲去模糊技术进行了综述。首先,我们制定盲图像去模糊问题,并解释为什么它是具有挑战性的。接下来,我们将对人类视觉系统消除模糊的方式进行一些心理和认知研究。然后,依靠以前的几篇评论,我们讨论了度量和数据集的主题,这对盲去模糊来说是不平凡的。最后介绍了一些典型的基于优化的方法和基于学习的方法。
2022-01-22 cs.CV
Handling noise in image deblurring via joint learning
Shanghai Advanced Research Institute, Chinese Academy of Sciences(中国科学院上海高等研究院)
目前,许多盲去模糊方法都假设模糊图像是无噪声的,对含噪声的模糊图像去模糊效果不理想。噪声在真实场景中非常普遍。一个简单的解决方案是在去模糊之前对图像进行去噪。然而,即使是最先进的降噪器也不能保证完全消除噪音。去噪图像中的轻微残留噪声可能会在去模糊阶段引起显著的伪影。为了解决这个问题,我们提出了一个级联的框架组成的去噪子网络和去模糊子网络。与以前的方法不同,我们联合训练两个子网。联合学习降低了去噪后残余噪声对去模糊的影响,从而提高了去模糊对强噪声的鲁棒性。此外,我们的方法也有助于模糊核估计。在CelebA数据集和GOPRO数据集上的实验表明,我们的方法与几种最先进的方法相比表现良好。
2020-01-27 cs.CV
ID-Blau: Image Deblurring by Implicit Diffusion-based reBLurring AUgmentation
National Yang Ming Chiao Tung University(国立阳明交通大学);National Tsing Hua University(国立清华大学);National Chengchi University(国立政治大学);Qualcomm Technologies, Inc.(高通技术公司)
针对图像去模糊领域数据增强研究不足的问题,提出ID-Blau隐式扩散重模糊增强方法,通过可控模糊条件图生成多样化训练样本,有效提升了现有去模糊模型的性能。
2024-05-21 cs.CV
Deep Idempotent Network for Efficient Single Image Blind Deblurring
Northwestern Polytechnical University(西北工业大学);University of Technology Sydney(悉尼科技大学)
单图像盲去模糊是高度不适定的,因为既不知道潜在的清晰图像,也不知道模糊核。尽管已经取得了相当大的进展,盲去模糊仍然存在一些主要的困难,包括高性能去模糊和实时处理之间的权衡。此外,我们观察到,目前的单图像盲去模糊网络不能进一步提高或稳定的性能,但显着降低性能时,重复应用的再去模糊。这意味着这些网络在建模理想的去模糊过程中的局限性。本文针对上述问题做了以下两方面的工作:(1)将幂等约束引入到去模糊框架中,提出了一种深度幂等网络,以提高非均匀盲去模糊的性能,同时保持稳定的去模糊效果。(2)我们提出了一个简单而有效的去模糊网络,具有轻量级的编码器-解码器单元和一个经常性的结构,可以以渐进的残差方式去模糊图像。在合成和真实数据集上的大量实验证明了我们所提出的框架的优越性。值得注意的是,我们提出的网络比最先进的网络小近6.5倍,速度快6.4倍,同时实现了相当高的性能。
2022-10-18 cs.CV
Learning Single Image Defocus Deblurring with Misaligned Training Pairs
Harbin Institute of Technology(哈尔滨工业大学)
通过采用流行的逐像素损失,用于散焦去模糊的现有方法严重依赖于良好对准的训练图像对。尽管仔细收集了地面实况和模糊图像的训练对,例如,DPDD数据集,训练对之间不可避免的不对齐,使得现有方法可能遭受变形伪影。在本文中,我们提出了一个联合去模糊和再模糊学习(JDRL)框架,用于单图像散焦去模糊与未对齐的训练对。通常,JDRL由去模糊模块和空间不变的再模糊模块组成,通过该模块,去模糊结果可以由地面实况图像自适应地监督,以恢复清晰的纹理,同时保持与模糊图像的空间一致性。首先,在去模糊模块中,引入基于双向光流的变形以容忍去模糊图像和地面实况图像之间的空间未对准。其次,在去模糊模块中,通过预测一组各向同性的模糊核和加权映射,对去模糊结果进行去模糊,使其与模糊图像在空间上对齐。此外,我们建立了一个新的单图像散焦去模糊(SDD)数据集,进一步验证了我们的JDRL,也有利于未来的研究。我们的JDRL可用于在DPDD、RealDOF和我们的SDD数据集上提升散焦去模糊网络的定量指标和视觉质量。
2022-11-29 cs.CV
Recent Progress in Image Deblurring
Centre for Quantum Computation & Intelligent Systems(量子计算与智能系统中心);Faculty of Engineering & Information Technology(工程与信息技术学院);University of Technology Sydney(悉尼科技大学)
本文综述了图像去模糊技术的最新进展,包括非盲/盲、空间不变/变分去模糊技术。实际上,这些技术共享从一个或多个对应的模糊图像推断潜在清晰图像的相同目标,而盲去模糊技术也需要导出准确的模糊核。考虑到图像复原在现代成像系统中的关键作用,以在诸如运动、不期望的照明条件和不完美的系统组件的复杂环境下提供高质量的图像,图像去模糊近年来吸引了越来越多的关注。从如何处理不适定性这一去模糊任务中的关键问题的角度来看,现有的方法可以分为五类:贝叶斯推理框架,变分方法,稀疏表示为基础的方法,单应性为基础的建模,和区域为基础的方法。尽管图像去模糊取得了一定的发展水平,但由于应用条件复杂,模糊核难以获得,并且是空间变化的,因此图像去模糊,特别是盲图像去模糊的成功受到限制。我们提供了一个整体的理解和深入的洞察图像去模糊在这篇评论。代表性的方法,实际问题,以及有前途的未来方向的讨论的经验证据的分析。
2014-09-24 cs.CV
NTIRE 2020 Challenge on Image and Video Deblurring
Seoul National University(首尔大学)
运动模糊是动态场景摄影中最常见的退化伪影之一。本文回顾了NTIRE 2020年图像和视频去模糊挑战赛。在这个挑战中,我们提出了3个竞争轨道的评估结果以及提出的解决方案。轨道1旨在开发单图像去模糊方法,专注于恢复质量。在Track 2上,在移动平台上执行图像去模糊方法,以找到运行速度和恢复精度的平衡。轨道3的目标是开发利用输入帧之间的时间关系的视频去模糊方法。在每一场比赛中,分别有163、135和102名注册参赛者,在最后的测试阶段,分别有9、4和7支队伍参加比赛。获奖方法展示了图像和视频去模糊任务的最先进性能。
2020-05-10 cs.CV
Rethinking Blur Synthesis for Deep Real-World Image Deblurring
Xi’an Jiaotong University(西安交通大学)
在本文中,我们研究了现实世界的图像去模糊的问题,并考虑到提高深度图像去模糊模型的性能的两个关键因素,即训练数据合成和网络架构设计。在现有合成数据集上训练的去模糊模型由于域偏移而在真实模糊图像上表现不佳。为了减少合成域和真实域之间的域差距,我们提出了一种新的真实感模糊合成流水线来模拟相机成像过程。作为我们提出的合成方法的结果,现有的去模糊模型可以更强大的处理现实世界的模糊。此外,我们开发了一个有效的去模糊模型,同时捕获非本地的依赖关系和本地上下文的特征域。具体来说,我们引入多路径Transformer模块UNet架构丰富的多尺度特征学习。在三个真实世界数据集上的综合实验表明,所提出的去模糊模型的性能优于最先进的方法。
2022-09-28 cs.CV
Improved Image Deblurring based on Salient-region Segmentation
Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学);Zhengzhou University(郑州大学)
图像去模糊技术在许多图像处理应用中起着重要的作用。由于模糊在图像平面上是空间变化的,因此需要鲁棒且有效的方法来处理空间变化的模糊问题。本文提出了一种基于显著性检测的图像去模糊方法,用于显著区域的分割,并给出了相应的补偿方法。我们还提出了一种基于偏微分方程(PDE)的去模糊方法,该方法引入了各向异性偏微分方程(PDE)模型的潜像预测,并采用自适应优化模型的内核估计和反卷积步骤。实验结果证明了该算法的有效性。
2015-02-28 cs.CV
Select Good Regions for Deblurring based on Convolutional Neural Networks
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Science(中国科学院长春光学精密机械与物理研究所);Changchun University of Science and Technology(长春理工大学)
图像盲去模糊的目的是从一幅模糊核未知的模糊图像中恢复清晰的图像。大多数图像去模糊方法都集中在图像先验知识的开发上,而对图像细节和结构对模糊核估计的影响没有给予足够的重视。什么是有用的图像结构,如何选择一个好的去模糊区域?在这项工作中,我们提出了一种深度神经网络模型方法,用于选择好的区域来估计模糊核。首先,我们用标签构建图像块并训练深度神经网络,然后应用学习的模型来确定图像的哪个区域最适合去模糊。实验结果表明,该方法是有效的,并能够选择良好的区域进行图像去模糊。
2020-08-12 cs.CV
A survey on facial image deblurring
University of Chinese Academy of Sciences(中国科学院大学)
当面部图像模糊时,它会显著影响高级视觉任务,如面部识别。人脸图像去模糊的目的是从模糊的输入图像中恢复清晰的图像,这可以提高识别精度等。然而,一般的去模糊方法对人脸图像的效果并不好。因此,一些人脸去模糊的方法已经被提出来,通过添加语义或结构信息作为特定的先验,根据人脸图像的特点来提高性能。在本文中,我们调查和总结了最近发表的人脸图像去模糊的方法,其中大部分是基于深度学习。首先,我们简要介绍了图像模糊的建模。接下来,我们将人脸去模糊方法归纳为两类:基于模型的方法和基于深度学习的方法。此外,我们总结了数据集,损失函数,和性能评估指标通常用于神经网络训练过程中。我们展示了经典方法在这些数据集和指标上的性能,并简要讨论了基于模型和基于学习的方法之间的差异。最后,我们讨论了当前面临的挑战和未来可能的研究方向。
2023-03-16 cs.CV
Gyro-based Neural Single Image Deblurring
POSTECH(浦项科技大学)
提出GyroDeblurNet,利用陀螺仪传感器结合两个神经网络模块和课程学习策略,有效处理真实陀螺仪误差,实现最先进的单图像去模糊。
2025-04-04 cs.CV
Learning a Discriminative Prior for Blind Image Deblurring
Huazhong University of Science and Technology(华中科技大学);University of California, Merced(加州大学默塞德分校);Nanjing University of Science and Technology(南京理工大学)
本文提出了一种基于数据驱动的判别先验的图像盲去模糊方法。我们的工作是基于这样一个事实,即一个好的图像先验应该有利于清晰图像而不是模糊图像。在这项工作中,我们将图像先验公式化为可以通过深度卷积神经网络(CNN)实现的二元分类器学习的先验知识能够区分输入图像是否清晰。嵌入到最大后验(MAP)框架中,它有助于在各种场景下进行盲去模糊,包括自然,人脸,文本,和低照度图像。然而,由于它涉及非线性CNN,因此很难使用学习图像先验来优化去模糊方法。因此,我们开发了一种基于半二次分裂方法和梯度下降算法的有效数值方法来求解所提出的模型。此外,定性和定量的实验结果都表明,该方法与现有算法相比,具有较好的去模糊效果。具体的图像去模糊方法。
2018-04-04 cs.CV
Assessing the Role of Datasets in the Generalization of Motion Deblurring Methods to Real Images
Universitat Pompeu Fabra(庞培法布拉大学)
本文分析了现有去模糊数据集的局限性,提出了一种基于简单有效模型的程序化方法生成清晰/模糊图像对,实验证明该方法能显著提升去模糊网络对真实动态场景模糊图像的泛化能力。
2025-04-01 cs.CV
Saturation-Aware Space-Variant Blind Image Deblurring
Faculty of Computer science, University of New Brunswick(新 Brunswick大学计算机科学学院);Department of Computer Science, Brandon University(布兰顿大学计算机科学系);Department of Applied Computer Science, University of Winnipeg(温尼伯大学应用计算机科学系)
本文提出一种考虑饱和的空变盲图像去模糊框架,通过分割模糊强度和接近饱和区域,利用预估计的光扩散函数减轻杂光影响,提升去模糊效果。
2026-04-17 cs.CV
Deep Image Deblurring: A Survey
Rakuten Institute of Technology, Rakuten Group Inc.(乐天集团乐天技术研究所);Australian National University(澳大利亚国立大学);Sun Yat-sen University(中山大学);University of California at Merced(加州大学默塞德分校)
图像去模糊是低层计算机视觉中的一个经典问题,其目的是从模糊的输入图像中恢复清晰的图像。深度学习的进步使解决这一问题取得了重大进展,大量的去模糊网络被提出。本文对最近发表的基于深度学习的图像去模糊方法进行了全面而及时的调查,旨在为社区提供有用的文献综述。我们首先讨论图像模糊的常见原因,介绍基准数据集和性能指标,并总结不同的问题公式。接下来,我们提出了一种基于架构,损失函数和应用的卷积神经网络(CNN)方法的分类,提供了详细的审查和比较。此外,我们还讨论了一些特定领域的去模糊应用,包括人脸图像,文本和立体图像对。最后,我们讨论了关键的挑战和未来的研究方向。
2022-05-28 cs.CV
Semantic-aware Image Deblurring
Xiamen University(厦门大学);National Tsing Hua University(国立清华大学);Beihang University(北京航空航天大学);Tencent Youtu Lab(腾讯优图实验室)
图像去模糊技术近年来取得了令人振奋的进展。然而,传统的方法无法去模糊严重模糊的图像,语义内容出现歧义。在本文中,我们进行图像去模糊的指导下推断的语义内容从图像描述。特别地,我们提出了一种新的结构化空间语义嵌入模型(称为S3 E-Deflur),它引入了一种新的结构化空间语义树模型(S3-tree)来桥接计算机视觉中的两个基本任务:图像去模糊(ImD)和图像描述(ImC)。S3树在ImC中捕获并表示结构化空间特征的语义内容,然后将树节点的空间特征嵌入到基于GAN的ImD中。对S3树、ImC和ImD进行联合训练,以多任务端到端的方式优化整个模型。在严重模糊的MSCOCO和GoPro数据集上进行的大量实验表明,与ImD和ImC任务的最新技术相比,S3 E-Deflur具有显著的优越性。
2019-10-09 cs.CV
Multiscale Structure Guided Diffusion for Image Deblurring
Google Research(谷歌研究院);New York University(纽约大学)
针对图像条件扩散概率模型域外去模糊鲁棒性不足的问题,提出多尺度结构引导方法,从回归网络潜空间提取多尺度清晰结构引导扩散中间层,提升域外去模糊效果,达到最优感知质量且失真指标有竞争力。
2023-12-12 cs.CV
Self-Supervised Linear Motion Deblurring
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Univeristy of Tübingen(图宾根大学);Microsoft Mixed Reality and Artificial Intelligence Lab(微软混合现实与人工智能实验室);Chalmers University of Technology(查尔姆斯理工大学)
运动模糊图像对许多计算机视觉算法提出了挑战,例如,特征检测、运动估计或对象识别。深度卷积神经网络是图像去模糊的最新技术。然而,获得具有对应的清晰和模糊图像对的训练数据可能是困难的。在本文中,我们提出了一种用于自监督运动去模糊的可微分再模糊模型,该模型使网络能够从真实世界的模糊图像序列中学习,而无需依赖于清晰的图像进行监督。我们的关键见解是,从连续图像中获得的运动线索产生足够的信息,通知去模糊任务。因此,我们制定去模糊作为逆渲染问题,考虑到物理图像形成过程:我们首先预测两个去模糊的图像,我们估计相应的光流。使用这些预测,我们重新渲染模糊图像,并最小化与原始模糊输入的差异。我们使用合成和真实数据集进行实验评估。我们的实验表明,自我监督的单图像去模糊是真正可行的,并导致视觉上引人注目的结果。
2020-02-10 cs.CV
Scale-recurrent Network for Deep Image Deblurring
The Chinese University of Hong Kong(香港中文大学);Youtu Lab, Tencent(腾讯优图实验室);Megvii Inc.(旷视科技有限公司)
在单帧图像去模糊中,“由粗到精”的方法,即在金字塔中逐渐恢复不同分辨率的清晰图像,在传统的基于优化的方法和最近的基于神经网络的方法中都是非常成功的。在本文中,我们研究了这种策略,并提出了一个规模递归网络(SRN-去模糊网络),这个去模糊任务。与[25]中的许多最近的基于学习的方法相比,它具有更简单的网络结构,更少的参数数量,更容易训练。我们评估我们的方法在大型去模糊数据集与复杂的运动。结果表明,我们的方法可以产生更好的质量结果比国家的最先进的,定量和定性。
2018-02-06 cs.CV
Blind Image Deblurring by Spectral Properties of Convolution Operators
在本文中,我们研究的问题,恢复一个清晰的版本,一个给定的模糊图像时,模糊核是未知的。以前的方法通常在所需的模糊核上引入与图像无关的正则化器(例如高斯或稀疏先验)。我们将展示模糊图像本身编码了关于模糊核的丰富信息。这些信息可以通过分析和比较作为卷积算子的图像的频谱在模糊前后如何变化来发现。我们的分析导致了一个有效的凸正则化的模糊内核,它只依赖于给定的模糊图像。我们证明了,如果原始图像足够清晰,则该正则化器的最小值保证了对模糊核的良好近似。通过将这个强大的正则化器与传统的图像去模糊技术相结合,我们展示了如何通过对真实图像的模拟和实验来显着改善去模糊结果。此外,我们的分析和实验有助于解释一个被广泛接受的学说,即边缘是很好的功能去模糊。
2014-04-22 cs.CV
Learning Degradation Representations for Image Deblurring
CUHK(香港中文大学);NVIDIA AI Technology Center(英伟达人工智能技术中心);SenseTime Research(商汤科技研究院);Centre for Perceptual and Interactive Intelligence Limited(感知与交互智能中心有限公司);Xidian University(西安电子科技大学)
在各种基于学习的图像复原任务中,如图像去噪、图像超分辨率等,退化表示被广泛用于建模退化过程和处理复杂的退化模式。然而,它们在基于学习的图像去模糊中的探索较少,因为模糊核估计在现实世界具有挑战性的情况下不能很好地执行。我们认为,这是特别必要的图像去模糊模型退化representations,因为模糊的模式通常表现出更大的变化比嘈杂的模式或高频texture.In本文中,我们提出了一个框架来学习空间自适应退化表示模糊图像。提出了一种新的联合图像去模糊和再模糊学习过程,以提高退化表示的表达能力。为了使学习的退化表示有效地重新模糊和去模糊,我们提出了一个多尺度退化注入网络(MSDI-Net),将它们集成到神经网络。通过集成,MSDI-Net可以自适应地处理各种复杂的模糊模式。在GoPro和RealBlur数据集上的实验表明,我们提出的具有学习退化表示的去模糊框架优于最先进的方法,具有吸引人的改进。代码发布于https://github.com/dasongli1/Learning_degradation。
2022-08-10 cs.CV
Blur Invariant Kernel-Adaptive Network for Single Image Blind deblurring
Seoul National University(首尔国立大学)
我们提出了一种新的,盲目的,单一的图像去模糊方法,利用模糊核的信息。我们的模型解决了去模糊问题分为两个连续的任务:(1)模糊核估计和(2)清晰的图像复原。我们首先介绍了一个核估计网络,产生自适应模糊核的基础上分析的模糊图像。该网络学习输入图像的模糊模式,并训练生成图像特定模糊核的估计。随后,我们提出了一个去模糊网络,使用估计的模糊核恢复清晰的图像。为了有效地使用内核,我们提出了一个内核自适应AE块,将模糊图像和模糊内核的特征编码到低维空间中,然后同时对它们进行解码,以获得适当的合成特征表示。我们使用各种高斯模糊内核在REDS,GOPRO和Flickr2K数据集上评估我们的模型。实验表明,我们的模型可以在每个数据集上实现最先进的结果。
2020-12-15 cs.CV
Blind Image Deblurring Using Row-Column Sparse Representations
The Pennsylvania State University(宾夕法尼亚州立大学)
盲图像去模糊是一个特别具有挑战性的逆问题,其中模糊核是未知的,并且必须在途中估计以恢复去模糊图像。这个问题具有很强的实际意义,因为许多成像设备,如手机相机,必须依赖于去模糊算法,以产生令人满意的图像质量。尽管大量的研究工作,处理大的议案仍然是一个悬而未决的问题。在本文中,我们开发了一种新的方法称为盲图像去模糊使用行列稀疏(BD-RCS)来解决这个问题。具体来说,我们在一定的变换域的内核和图像系数的外积建模为一个秩一矩阵,并恢复它通过解决一个秩最小化问题。我们的主要贡献,然后包括解决{ \em两个新}优化问题,涉及行和列稀疏自动确定模糊内核和图像支持顺序。然后可以通过奇异值分解(SVD)恢复内核和图像。直线运动去模糊的实验结果表明,BD-RCS可以产生更好的结果比现有技术,特别是当模糊是由大的运动。这一点通过视觉和定量测量得到了证实。
2017-12-05 cs.CV
Blind Image Deblurring with FFT-ReLU Sparsity Prior
University of Dhaka(达卡大学)
本文提出一种利用针对模糊核的FFT-ReLU稀疏先验的盲图像去模糊方法,能在广泛图像类型中有效去模糊,且推理速度比现有最优算法快两倍。
2024-09-24 cs.CV
Deblurring Masked Autoencoder is Better Recipe for Ultrasound Image Recognition
West China Hospital, Sichuan University(四川大学华西医院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Sichuan University(四川大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对超声图像高噪信比特点,本文提出在MAE预训练代理任务中加入去模糊,以恢复细微细节并提升下游分类性能,达到超声图像分类最先进水平。
2023-07-13 cs.CV
Denoising based on wavelets and deblurring via self-organizing map for Synthetic Aperture Radar images
这项工作涉及无监督图像去模糊。我们提出了一种新的去模糊过程中提供的图像由低分辨率合成孔径雷达(SAR)或简单的多媒体存在的乘性(斑点)或加性噪声,分别。我们提出的方法被定义为两步过程。首先,我们在小波域中使用一种原始的降噪技术。然后,Kohonen自组织映射(SOM)的学习直接对去噪图像执行,以取出它的模糊。该方法已成功地应用于实际SAR图像,仿真结果表明,所提出的算法的有效性。
2016-07-31 cs.CV
Realistic Blur Synthesis for Learning Image Deblurring
POSTECH(浦项科技大学)
基于训练学习的去模糊方法需要大量的模糊和清晰图像对。不幸的是,现有的合成数据集不够真实,并且在其上训练的去模糊模型不能有效地处理真实的模糊图像。虽然最近已经提出了真实的数据集,但它们提供的场景和相机设置的多样性有限,并且捕获不同设置的真实数据集仍然具有挑战性。为了解决这个问题,本文分析了各种因素,引入真实和合成模糊图像之间的差异。为此,我们提出了RSBlur,一个新的数据集,具有真实的模糊图像和相应的清晰图像序列,以详细分析真实和合成模糊之间的差异。通过数据集,我们揭示了模糊生成过程中不同因素的影响。在此基础上,我们还提出了一种新的模糊合成流水线来合成更真实的模糊。我们表明,我们的合成流水线可以提高真实模糊图像的去模糊性能。
2022-07-21 cs.CV
Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning
York University(约克大学)
许多相机传感器使用双像素(DP)设计,其作为在单个捕获中提供场景的两个子孔径视图的基本光场来操作。DP传感器的开发是为了改善相机执行自动对焦的方式。自从DP传感器问世以来,研究人员已经发现了DP数据的其他用途,例如深度估计、反射消除和散焦去模糊。我们感兴趣的是后一个任务的散焦去模糊。特别是,我们提出了一个单一的图像去模糊网络,将两个子孔径的意见到一个多任务框架。具体来说,我们表明,联合学习预测两个DP视图从一个模糊的输入图像提高了网络的能力,学习去模糊的图像。我们的实验表明,这种多任务策略实现了+1dB的PSNR的改善,比最先进的散焦去模糊方法。此外,我们的多任务框架允许精确的DP视图合成(例如,~39dB PSNR)。这些高质量DP视图可用于其他基于DP的应用,例如反射消除。作为这项工作的一部分,我们已经捕获了一个包含7,059张高质量图像的新数据集,以支持我们对DP视图合成任务的训练。我们的数据集、代码和训练模型可在www.example.com上公开获取。
2022-02-09 cs.CV
Frequency-domain Learning with Kernel Prior for Blind Image Deblurring
Tsinghua University(清华大学);Sensetime Research(商汤科技研究院)
针对深度去模糊方法泛化能力有限的问题,本文提出引入与图像内容无关的核先验,通过频率集成模块(FIM)融合核先验,并结合频域Transformer网络,在多个盲去模糊任务上超越现有方法,展现出强泛化能力。
2025-04-20 cs.CV
Reblurring-Guided Single Image Defocus Deblurring: A Learning Framework with Misaligned Training Pairs
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院)
针对训练对未对齐问题,提出一种重模糊引导的单图像散焦去模糊学习框架,通过重建空间变化模糊核确保空间一致性,并利用其导出的模糊作为伪监督将训练对转为三元组,同时构建了新基准SDD。
2025-06-26 cs.CV
Unsupervised Domain-Specific Deblurring via Disentangled Representations
University of Maryland, College Park(马里兰大学帕克分校)
图像去模糊的目的是从模糊图像中恢复出潜在的清晰图像。在本文中,我们提出了一种无监督的方法,特定领域的单图像去模糊的基础上解开表示。通过使用内容编码器和模糊编码器分离模糊图像中的内容和模糊特征来实现解纠缠。我们强制执行KL发散损失,以正则化提取的模糊属性的分布范围,使得包含的内容信息很少。同时,为了处理不成对的训练数据,增加了模糊分支和循环一致性损失,以保证去模糊结果的内容结构与原始图像相匹配。我们还在去模糊结果上添加对抗性损失以生成视觉逼真的图像,并添加感知损失以进一步减轻伪影。我们使用合成数据集和真实图像对人脸和文本去模糊的任务进行了广泛的实验,与最近最先进的去模糊方法相比,取得了更好的结果。
2019-08-05 cs.CV
NTIRE 2021 Challenge on Image Deblurring
Seoul National University(首尔大学)
运动模糊是动态环境中常见的摄影伪影,通常与其他类型的降级一起出现。本文回顾了NTIRE 2021年图像去模糊挑战赛。在这份挑战报告中,我们描述了挑战的细节和评估结果,从2个竞争轨道与建议的解决方案。虽然这两个轨道的目标是从模糊图像恢复高质量的干净图像,不同的文物共同参与。在轨道1中,模糊图像的分辨率较低,而轨道2的图像以JPEG格式压缩。在每一场比赛中,分别有338和238名注册参赛者,在最后的测试阶段,分别有18和17支队伍参加比赛。获奖方法展示了联合组合伪影的图像去模糊任务的最新性能。
2021-04-30 cs.CV
BluRef: Unsupervised Image Deblurring with Dense-Matching References
本文提出一种无监督图像去模糊方法,利用简单数据收集流程生成伪真实数据,无需配对数据即可提升去模糊效果,适用于不同场景和设备。
2026-03-15 cs.CV
Joint Estimation of Camera Pose, Depth, Deblurring, and Super-Resolution from a Blurred Image Sequence
Seoul National University(首尔大学)
从严重模糊或低分辨率的图像中估计相机姿态和场景结构的传统方法经常导致失败。现成的去模糊或超分辨率方法可以显示视觉上令人愉悦的结果。然而,在匹配之前独立地应用每种技术通常是无利可图的,因为这一系列天真的过程忽略了图像之间的一致性。在本文中,我们提出了一个开创性的统一框架,同时解决四个问题,即密集的深度重建,相机姿态估计,超分辨率,去模糊。通过反映一个物理成像过程,我们制定了一个成本最小化问题,并使用交替优化技术解决它。在合成视频和真实视频上的实验结果都显示了从严重退化的图像中获得的高质量深度图,这些图像对比了幼稚的多视图立体视觉方法的失败。我们提出的方法还产生了出色的去模糊和超分辨率图像,不同于传统的视频去模糊,超分辨率方法的独立应用程序或组合。
2017-09-18 cs.CV
Multi-scale Frequency Enhancement Network for Blind Image Deblurring
The Institute of Systems Engineering, Academy of Military Science(军事科学院系统工程研究所);School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机学院);Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence, Jiangnan University(江南大学江苏省模式识别与计算智能工程实验室);College of Artificial Intelligence, China University of Petroleum(beijing)(中国石油大学(北京)人工智能学院);Beijing Key Laboratory of Petroleum Data Mining, China University of Petroleum(beijing)(中国石油大学(北京)北京市石油数据挖掘重点实验室)
针对图像去模糊中多尺度特征与频率增强难以有效整合及非均匀模糊的问题,提出多尺度频率增强网络MFENet,通过结合多尺度特征提取与频率增强模糊感知模块,显著提升了去模糊性能及下游检测精度。
2024-11-11 cs.CV
Edge-Aware Deep Image Deblurring
East China Normal University(华东师范大学);Videt Tech Ltd.(Videt科技有限公司)
图像去模糊是一个基本的和具有挑战性的低层次视觉问题。以往的视觉研究表明,自然景物中的边缘结构是评价人类视觉感知能力的重要因素之一。在本文中,我们诉诸于人类对尖锐边缘的视觉需求,并提出了一种两阶段边缘感知深度网络来改善深度图像去模糊。在第一阶段中设计边缘检测卷积子网,然后使用剩余的全卷积去模糊子网来生成去模糊结果。边缘感知网络的引入使我们的模型具有增强具有尖锐边缘的图像的特定能力。我们成功地将我们的框架应用于标准的基准测试,并通过我们提出的去模糊模型取得了可喜的成果。
2020-07-11 cs.CV