Real-world Video Deblurring: A Benchmark Dataset and An Efficient Recurrent Neural Network
The University of Tokyo（东京大学）；Huawei（华为）；National Institute of Informatics（国立信息学研究所）
由于空间和时间变化的模糊本身的复杂性以及低计算成本的要求，实时的去模糊仍然是一个具有挑战性的任务。为了提高网络效率，我们采用剩余密集块到RNN细胞，从而有效地提取当前帧的空间特征。此外，提出了一个全局时空注意力模块，融合过去和未来帧的有效层次特征，以帮助更好地去模糊当前帧。另一个急需解决的问题是缺乏真实世界的基准数据集。因此，我们贡献了一个新的数据集（BSD）的社区，通过收集配对的模糊/清晰的视频剪辑使用同轴分束器采集系统。实验结果表明，与现有的视频去模糊方法相比，该方法具有更好的去模糊效果，且计算量更小.此外，数据集之间的交叉验证实验说明了BSD在合成数据集上的高度通用性。代码和数据集在https://github.com/zzh-tech/ESTRNN上发布。
2022-10-15 cs.CV
Towards Real-World Video Deblurring by Exploring Blur Formation Process
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The University of Tokyo（东京大学）；Tencent AI Lab（腾讯人工智能实验室）
本文旨在探索如何合成接近真实的模糊，现有的视频去模糊模型可以很好地推广到现实世界的模糊视频。近年来，基于深度学习的方法在视频去模糊任务上取得了令人鼓舞的成功。然而，在现有的合成数据集上训练的模型在真实世界的模糊场景中仍然存在泛化问题，并且存在不期望的伪影。导致失败的因素仍然未知。因此，我们重新审视了经典的模糊合成流水线，并找出了可能的原因，包括拍摄参数，模糊形成空间，图像信号处理器~（ISP）。为了分析这些潜在因素的影响，我们首先收集了一个超高帧率（940 FPS）的RAW视频数据集作为数据基础来合成各种模糊。然后，我们提出了一种新的逼真的模糊合成流水线称为RAW模糊利用模糊形成线索。通过大量的实验，证明了在RAW空间合成模糊，并采用与真实测试数据相同的ISP，可以有效地消除合成数据的负面影响。此外，合成的模糊视频的拍摄参数，例如，曝光时间和帧速率在改善去模糊模型的性能方面起着重要的作用。令人印象深刻的是，在由所提出的RAW-模糊流水线合成的模糊数据上训练的模型可以获得超过5dB的PSNR增益，而不是在现有的合成模糊数据集上训练的模型。我们相信新的真实感合成管道和相应的RAW视频数据集可以帮助社区轻松构建自定义模糊数据集，从而大大提高真实世界视频去模糊性能，而不是费力地收集真实数据对。
2022-08-28 cs.CV
Video Deblurring by Sharpness Prior Detection and Edge Information
The College of Intelligent Systems Science and Engineering, Harbin Engineering University（哈尔滨工程大学智能系统科学与工程学院）；DIEE, University of Cagliari（卡利亚里大学DIEE学院）；Sant'Anna School of Advanced Study（圣安娜高等研究院）
本文提出SPEINet模型及可定制清晰帧频率的GoProRS数据集，通过注意力编码器-解码器整合清晰帧特征与边缘信息，在多个数据集上平均PSNR提升3.2%，推动视频去模糊发展。
2025-01-21 cs.CV
Spatio-Temporal Filter Adaptive Network for Video Deblurring
SenseTime Research（商汤科技研究院）；Nanjing University of Science and Technology（南京理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
视频去模糊是一项具有挑战性的任务，由于相机抖动，物体运动，和深度变化等造成的空间变化的模糊，现有的方法通常估计光流在模糊的视频对齐连续帧或近似模糊核。然而，当估计的光流不准确时，它们倾向于产生伪影或不能有效地去除模糊。为了克服单独的光流估计的局限性，我们提出了一个时空滤波自适应网络（STFAN）的对齐和去模糊在一个统一的框架。STFAN将前一帧的模糊图像和恢复图像以及当前帧的模糊图像作为输入，动态生成空间自适应滤波器进行对齐和去模糊。然后，我们提出了新的滤波器自适应卷积（FAC）层，将前一帧的去模糊特征与当前帧对齐，并从当前帧的特征中去除空间变化的模糊。最后，我们开发了一个重建网络，该网络融合两个变换后的特征来恢复清晰的帧。在基准数据集和真实视频上的定量和定性评估结果表明，该算法在准确性、速度和模型大小方面优于现有方法。
2019-08-01 cs.CV
Learning Event-Based Motion Deblurring
Sichuan University（四川大学）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
从运动模糊图像中恢复清晰的视频序列是一个高度不适定的问题，因为在模糊过程中会丢失大量的运动信息。然而，对于基于事件的相机，快速运动可以被捕获为高时间速率的事件，从而为探索有效的解决方案提供了新的机会。在本文中，我们从基于事件的运动去模糊的顺序公式开始，然后展示如何使用新型端到端深度架构展开其优化。所提出的架构是一个卷积递归神经网络，它以原则性的方式集成了全局和局部尺度的视觉和时间知识。为了进一步提高重建，我们提出了一个可微的方向事件过滤模块，有效地提取丰富的边界前事件流。我们对合成GoPro数据集和DAVIS240C相机捕获的大型新引入数据集进行了广泛的实验。所提出的方法实现了最先进的重建质量，并更好地推广到处理现实世界的运动模糊。
2020-04-13 cs.CV
DAVID: Dual-Attentional Video Deblurring
NEC Laboratories America（NEC美国实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；ByteDance AI Lab（字节跳动人工智能实验室）；Texas A&M University（得克萨斯农工大学）
盲视频去模糊恢复清晰的帧从模糊的序列，没有任何先验。这是一个具有挑战性的任务，因为由于相机抖动，物体运动和散焦的模糊是异构的时间和空间维度。传统的方法训练在用单个模糊级别合成的数据集上，因此不能很好地跨模糊级别进行推广。为了解决这一挑战，我们提出了一个双注意力机制动态聚合时间线索去模糊与端到端的可训练的网络结构。具体而言，内部注意模块自适应地选择用于恢复尖锐中心帧的最佳时间尺度。外部注意力模块自适应地聚合和细化多个清晰的帧估计，从几个内部注意力模块设计用于不同的模糊水平。为了训练和评估更多样化的模糊严重程度，我们提出了一个混合的DVD数据集从原始DVD视频集通过池帧与不同的时间窗口。我们的框架在这个更具挑战性的数据集上实现了始终如一的更好性能，同时在原始DVD基准测试中获得了具有强烈竞争力的结果。广泛的烧蚀研究和定性可视化进一步证明了我们的方法在处理真实视频模糊的优势。
2019-12-07 cs.CV
Dynamic Scene Deblurring using a Locally Adaptive Linear Blur Model
Seoul National University（首尔国立大学）
现有技术的视频去模糊方法不能处理动态场景中记录的模糊视频，因为它们是在所捕获的场景是静态的强烈假设下构建的。与现有的方法相反，我们提出了一种视频去模糊算法，可以处理动态场景中固有的一般模糊。为了处理由各种来源（例如移动对象、相机抖动、深度变化和散焦）引起的一般和局部变化的模糊，我们估计逐像素非均匀模糊核。我们推断双向光流来处理运动模糊，并且还估计高斯模糊图以在我们的新模糊模型中从散焦中去除光学模糊。因此，我们提出了一个单一的能量模型，联合估计光流，散焦模糊地图和潜在的帧。我们还提供了一个框架和高效的求解器，以尽量减少所提出的能源模型。通过优化能量模型，我们在去除一般模糊，估计光流，并在模糊帧中扩展景深方面取得了显着的改进。此外，在这项工作中，为了客观地评估非均匀去模糊方法的性能，我们构建了一个新的真实数据集。此外，广泛的实验公开具有挑战性的视频数据表明，所提出的方法产生的质量优于性能比国家的最先进的方法，往往失败，无论是去模糊或光流估计。
2016-03-14 cs.CV
EVDI++: Event-based Video Deblurring and Interpolation via Self-Supervised Learning
School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Peng Cheng Laboratory（鹏城实验室）；Computer Graphics Lab of ETH Zurich（苏黎世联邦理工学院计算机图形实验室）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）
EVDI++提出统一自监督框架，利用事件相机高时间分辨率，通过可学习双重积分网络与融合策略，实现视频去模糊与插值，在合成及真实数据集上达到最先进性能。
2025-09-10 cs.CV
Deblurring by Realistic Blurring
Australian National University（澳大利亚国立大学）；Tencent AI Lab（腾讯人工智能实验室）；Rakuten Institute of Technology（乐天技术研究所）；ACRV（澳大利亚机器人视觉中心）
用于图像去模糊的现有深度学习方法通常使用成对的清晰图像及其模糊对应物来训练模型。然而，合成模糊图像不一定以足够的精度模拟真实世界场景中的真实模糊过程。为了解决这个问题，我们提出了一种新的方法，它结合了两个GAN模型，即，学习模糊GAN（B GAN）和学习去模糊GAN（DB GAN），以便通过主要学习如何模糊图像来学习用于图像去模糊的更好模型。第一个模型BGAN学习如何使用未配对的清晰和模糊图像集模糊清晰图像，然后指导第二个模型DBGAN学习如何正确地去模糊这些图像。为了减少真实模糊和合成模糊之间的差异，利用相对论性模糊损失。作为一个额外的贡献，本文还介绍了一个真实世界的模糊图像（RWBI）数据集，包括各种模糊图像。我们的实验表明，该方法实现了一贯优越的定量性能，以及更高的感知质量的新提出的数据集和公共GOPRO数据集。
2020-05-07 cs.CV
Deep Recurrent Neural Network with Multi-scale Bi-directional Propagation for Video Deblurring
Xian Jiaotong University（西安交通大学）；ByteDance Intelligent Creation Lab（字节跳动智能创作实验室）；Nanjing University of Science and Technology（南京理工大学）
现有的视频去模糊方法的成功主要源于隐式或显式估计相邻帧之间的对准以用于潜在视频恢复。然而，由于模糊效应的影响，从模糊的相邻帧估计对准信息不是一个简单的任务。不准确的估计会干扰后续的帧恢复。我们提出了一种简单有效的多尺度双向传播深度递归神经网络（RNN-MBP），而不是估计对齐信息，以有效地传播和收集来自未对齐相邻帧的信息，从而更好地进行视频去模糊。具体来说，我们构建了一个多尺度双向传播（MBP）模块，其中包含两个U-Net RNN单元，可以通过将它们集成到不同尺度来直接利用来自未对齐的相邻隐藏状态的帧间信息。此外，为了更好地评估所提出的算法和现有的最先进的方法对现实世界的模糊场景，我们还创建了一个真实世界的模糊视频数据集（RBVD）的一个精心设计的数字视频采集系统（DVAS），并使用它作为训练和评估数据集。大量的实验结果表明，所提出的RBVD数据集有效地提高了现有算法对真实世界的模糊视频的性能，所提出的算法表现良好，对国家的最先进的方法在三个典型的基准测试。该代码可在https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP上获得。
2021-12-09 cs.CV eess.IV
Comparative Analysis of Non-Blind Deblurring Methods for Noisy Blurred Images
Nirma Institute of Technology（尼尔玛理工学院）
图像模糊是指图像的退化，其中图像的整体清晰度降低。图像模糊是由几个因素引起的。此外，在图像采集过程中，噪声可能会被添加到图像中。这样的噪声和模糊图像可以表示为由原始图像与相关联的点扩散函数以及加性噪声的卷积产生的图像。然而，模糊图像通常包含不足以唯一地确定似然原始图像的信息。根据模糊信息的可获得性，图像去模糊方法可以分为盲方法和非盲方法。在非盲图像去模糊中，一些关于对应点扩散函数和附加噪声的先验信息是已知的。本研究的目的是确定非盲图像去模糊方法的有效性方面的识别和消除噪声中存在的模糊图像。针对椒盐噪声图像，比较分析了Wiener反卷积、Lucy-Richardson反卷积和正则化反卷积三种非盲图像去模糊方法。模拟了两种类型的模糊效果，即运动模糊和高斯模糊。上述三种非盲去模糊方法分别应用于两种场景：直接对含噪模糊图像进行去模糊处理和应用自适应中值滤波器对去噪后的图像进行去模糊处理。然后对每种情况下获得的结果进行比较，以确定去模糊有噪图像的最佳方法。
2022-05-06 cs.CV eess.IV
PMR: Physical Model-Driven Multi-Stage Restoration of Turbulent Dynamic Videos
Chengdu University of Information Technology；National Innovation Center For UHD Video Technology；School of Automation；Intelligent Sensing \& Institute of Image Processing；Pattern Recognition \& Institute of Medical Robotics, Shanghai Jiao Tong University
针对大气湍流下远距离动态视频复原难题，提出动态效率指数与高动态数据集，构建三阶段PMR复原框架，在强湍流复杂动态场景下实现高效高质量复原。
2025-08-01 cs.CV
HyperCUT: Video Sequence from a Single Blurry Image using Unsupervised Ordering
VinAI Research（VinAI研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Posts & Telecommunications Inst. of Tech.（邮政电信技术学院）；Stony Brook University（石溪大学）
本文提出HyperCUT，一种自监督排序方案，通过将视频序列映射到高维空间并利用超平面划分正反向序列来解决帧顺序模糊问题，实现高质量的图像到视频去模糊。
2023-04-05 cs.AI cs.CV
Motion Deblurring with an Adaptive Network
Indian Institute of Technology Madras（马德拉斯印度理工学院）
在本文中，我们解决的问题，动态场景去模糊的运动模糊的存在。受严重模糊影响的图像的恢复需要具有大接收场的网络设计，现有网络试图通过简单增加通用卷积层的数量、内核大小或处理图像的尺度来实现。然而，以这种方式增加网络容量是以增加模型大小和推理速度为代价的，并且忽略了模糊的非均匀性。我们提出了一种新的架构，由空间自适应残差学习模块，隐式地发现负责输入图像中的非均匀模糊的空间变化的移位，并学习调制滤波器。这种能力是由一个自我关注的模块，捕捉非本地的中间功能之间的关系，并提高了接受领域的补充。然后，我们将时空递归模块的设计，也有利于有效的视频去模糊。我们的网络可以隐式地对空间变化的去模糊过程进行建模，同时完全免除多尺度处理和大型滤波器。在基准动态场景去模糊数据集上与现有技术进行的广泛的定性和定量比较清楚地表明了所提出的网络的优越性，其通过减少模型大小以及显著提高准确性和速度，实现了几乎实时的去模糊。
2022-02-07 cs.CV eess.IV
SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams
School of Computer Science, Peking University（北京大学计算机学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
针对现有监督式脉冲引导运动去模糊方法泛化性差的问题，提出首个自监督级联框架SpikeReveal，结合知识蒸馏与再模糊损失生成高质量清晰序列，在真实与合成数据集上验证了更优的泛化性能。
2024-10-26 cs.CV
IR Motion Deblurring
相机万向节系统在用于诸如导航、目标跟踪、安全和监视的各种空中或水上系统中是重要的。对于实时应用，云台的较高转向速率（每秒旋转角度）是优选的，因为给定的视场（FOV）可以在短时间段内被重新访问。然而，由于在曝光时间期间云台和场景之间的相对运动，所捕获的视频帧可能遭受运动模糊。由于大多数后期捕获应用需要无模糊图像，因此实时运动去模糊是一个重要的需求。尽管存在盲去模糊方法，其目的是从模糊输入中检索潜像，但它们受到非常高维优化的约束，从而导致大量的执行时间。另一方面，用于运动去模糊的深度学习方法虽然快速，但不能令人满意地推广到不同的领域（例如，空气、水等）。在这项工作中，我们解决的问题，实时运动去模糊的红外（IR）图像捕获的框架为基础的系统。我们揭示了如何先验知识的模糊内核可以与非盲去模糊方法，以实现实时性能。重要的是，我们的数学模型可以用来创建具有逼真万向节运动模糊的大规模数据集。这种罕见的数据集可以成为当代深度学习方法的宝贵资产。我们表明，在比较国家的最先进的技术去模糊，我们的方法更适合于实际的万向架为基础的成像系统。
2021-11-23 cs.CV eess.IV
Deep Joint Unrolling for Deblurring and Low-Light Image Enhancement (JUDE)
KC Machine Learning Lab（KC机器学习实验室）
针对夜间低光与模糊的联合问题，提出基于物理模型的深度展开方法JUDE，通过迭代解模糊与分解实现增强，在LOL-Blur和Real-LOL-Blur上超越现有技术。
2024-12-16 cs.CV
A Survey on Image Deblurring
Xihua University（西华大学）
随着社会生活质量的提高和日常工作的实际需要，图像越来越多地出现在我们的身边。由于相机抖动、人体移动等原因造成的图像模糊已成为影响图像质量的关键。如何去除图像模糊，恢复清晰图像，逐渐成为计算机视觉领域的一个重要研究方向。经过半个多世纪的不懈努力，广大科技工作者在图像去模糊方面取得了卓有成效的进展。本文回顾了图像去模糊的工作，并具体介绍了比较经典的图像去模糊方法，有助于了解当前的研究现状，展望未来的发展趋势。本文回顾了传统的图像去模糊方法和深度表示图像去模糊方法，并对相应的技术方法进行了全面的分类和介绍。本文的综述可以为图像去模糊领域的研究者提供一定的指导，同时也为他们后续的学习和研究提供便利。
2022-01-31 cs.CV
Real-Time Video Deblurring via Lightweight Motion Compensation
POSTECH（浦项科技大学）；SAIT（三星先进技术研究院）
虽然运动补偿极大地提高了视频去模糊质量，但单独执行运动补偿和视频去模糊需要巨大的计算开销。提出了一种实时的【形】视频去模糊框架，该框架由一个轻量级的多任务单元组成，以有效的方式支持视频去模糊和运动补偿。多任务单元专门设计用于使用单个共享网络处理两个任务中的大部分，并由多任务细节网络和用于去模糊和运动补偿的简单网络组成。多任务单元最大限度地降低了将运动补偿纳入视频去模糊的成本，并实现实时的【形】去模糊。此外，通过堆叠多个多任务单元，我们的框架提供了成本和去模糊质量之间的灵活控制。我们通过实验验证了我们的方法的最先进的去模糊质量，与以前的方法相比，它以更快的速度运行，并显示出实际的实时的【形】性能（在DVD数据集中测量为30.99dB@30fps）。
2022-09-13 cs.CV
Blur More To Deblur Better: Multi-Blur2Deblur For Efficient Video Deblurring
UNIST（蔚山科学技术院）
视频去模糊的关键之一是如何利用相邻帧。最近的最先进的方法要么使用对齐的相邻帧的中心帧或传播的信息，过去的帧到当前帧循环。在这里，我们提出了多模糊去模糊（MB2D），一个新的概念，利用相邻帧的有效视频去模糊。首先，受反锐化掩蔽的启发，我们认为使用长曝光的更模糊的图像作为额外的输入可以显着提高性能。其次，我们提出了多模糊递归神经网络（MBRNN），它可以从相邻帧合成更多的模糊图像，从而大大提高了现有视频去模糊方法的性能。最后，我们提出了多尺度去模糊，连接来自MBRNN（MSDR）的递归特征映射，以快速和内存高效的方式在流行的GoPro和Su数据集上实现最先进的性能。
2020-12-23 cs.CV
Video Deblurring by Fitting to Test Data
HKUST（香港科技大学）
自动驾驶车辆和机器人捕获的视频中的运动模糊会降低其感知能力。在这项工作中，我们提出了一种通过将深度网络拟合到测试视频来进行视频去模糊的新方法。我们的关键观察是，在具有运动模糊的视频中，某些帧比其他帧清晰得多，因此我们可以将这些清晰帧中的纹理信息转移到模糊帧中。我们的方法从视频中选择清晰的帧，然后在这些清晰的帧上训练卷积神经网络。经过训练的网络通常会吸收场景中足够的细节，以便对所有视频帧进行去模糊。作为一种内部学习方法，我们的方法在训练和测试数据之间没有域间隙，这是现有视频去模糊方法的一个问题。在真实视频数据上进行的实验表明，我们的模型可以重建比最先进的视频去模糊方法更清晰，更锐利的视频。代码和数据可在https://github.com/xrenaa/Deblur-by-Fitting上获得。
2021-03-06 cs.CV
VDTR: Video Deblurring with Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊是一个尚未解决的问题，由于具有挑战性的时空建模过程。而现有的基于卷积神经网络的方法在视频去模糊的有效空间和时间建模方面表现出有限的能力。本文介绍了VDTR，一个有效的基于transformer的模型，使第一次尝试适应Transformer的视频去模糊。VDTR利用Transformer卓越的远程和关系建模功能进行空间和时间建模。然而，由于复杂的非均匀模糊、多帧间的不对齐以及高分辨率空间建模的高计算成本，设计合适的基于Transformer的视频去模糊模型具有挑战性。为了解决这些问题，VDTR主张在非重叠窗口内执行注意力，并利用分层结构进行长距离依赖建模。对于帧级空间建模，我们提出了一个编码器-解码器Transformer，它利用多尺度特征进行去模糊。对于多帧时间建模，我们采用Transformer来有效地融合多个空间特征。与基于CNN的方法相比，所提出的方法在合成和真实世界的视频去模糊基准上都取得了非常有竞争力的结果，包括DVD，GOPRO，REDS和BSD。我们希望这种基于Transformer的架构可以作为视频去模糊和其他视频恢复任务的强大替代基线。源代码将在\url{https://github.com/ljzycmd/VDTR}上提供。
2022-04-17 cs.CV
NTIRE 2020 Challenge on Image and Video Deblurring
Seoul National University（首尔大学）
运动模糊是动态场景摄影中最常见的退化伪影之一。本文回顾了NTIRE 2020年图像和视频去模糊挑战赛。在这个挑战中，我们提出了3个竞争轨道的评估结果以及提出的解决方案。轨道1旨在开发单图像去模糊方法，专注于恢复质量。在Track 2上，在移动平台上执行图像去模糊方法，以找到运行速度和恢复精度的平衡。轨道3的目标是开发利用输入帧之间的时间关系的视频去模糊方法。在每一场比赛中，分别有163、135和102名注册参赛者，在最后的测试阶段，分别有9、4和7支队伍参加比赛。获奖方法展示了图像和视频去模糊任务的最先进性能。
2020-05-10 cs.CV
Generalized Video Deblurring for Dynamic Scenes
Seoul National University（首尔大学）
几种最先进的视频去模糊方法都是基于一个很强的假设，即捕获的场景是静态的。这些方法无法消除动态场景中的模糊视频。与其他方法不同，我们提出了一种视频去模糊方法来处理动态场景中固有的一般模糊。为了处理由各种来源（例如相机抖动、移动物体和场景中的深度变化）引起的局部变化和一般模糊，我们用双向光流近似逐像素内核。因此，我们提出了一个单一的能量模型，同时估计光流和潜在的帧来解决我们的去模糊问题。我们还提供了一个框架和高效的求解器来优化能量模型。通过最小化建议的能量函数，我们实现了显着的改善，在消除模糊和估计准确的光流在模糊帧。大量的实验结果表明，该方法的优越性，在真实的和具有挑战性的视频，国家的最先进的方法失败，无论是去模糊或光流估计。
2015-07-09 cs.CV
SAM-Deblur: Let Segment Anything Boost Image Deblurring
Beijing Xiaomi Mobile Software Co., Ltd.（北京小米移动软件有限公司）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Biomedical Engineering, Tsinghua University（清华大学生物医学工程系）；School of Integrated Circuits, Tsinghua University（清华大学集成电路学院）
本文提出 SAM-Deblur 框架，首次利用 SAM 的分割结构先验，并通过掩码丢弃与即插即用的 MAP 单元提升去模糊模型的跨域泛化性能。
2023-12-17 cs.CV
Deep Generative Filter for Motion Deblurring
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
由于相机抖动引起的图像模糊具有不适定性，因此消除相机抖动引起的图像模糊一直是计算机视觉领域的一个难题。由于相机与3D空间中的对象之间的相对运动而引起的运动模糊在整个图像上引起空间变化的模糊效果。在本文中，我们提出了一种新的深度过滤器的基础上生成对抗网络（GAN）架构集成了全局跳过连接和密集架构，以解决这个问题。我们的模型，同时绕过模糊核估计的过程中，显着减少了测试时间，这是必要的实际应用。在基准数据集上的实验证明了该方法的有效性，其性能在定量和定性上均优于现有的盲去模糊算法。
2017-09-11 cs.CV
Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes
POSTECH（浦项科技大学）
为了成功地进行视频去模糊，利用相邻帧的信息是必不可少的。大多数现有技术的视频去模糊方法采用视频帧之间的运动补偿来聚合来自多个帧的信息，这可以帮助对目标帧进行去模糊。然而，以前的去模糊方法所采用的运动补偿方法不是模糊不变的，因此，它们的精度是有限的模糊帧与不同的模糊量。为了缓解这个问题，我们提出了两种新的方法，通过有效地聚合来自多个视频帧的信息来去模糊视频。首先，我们提出了模糊不变的运动估计学习，以提高模糊帧之间的运动估计精度。其次，对于运动补偿，我们使用包含候选尖锐像素的像素体积来解决运动估计误差，而不是通过扭曲估计运动来对齐帧。我们结合这两个过程，提出了一个有效的经常性的视频去模糊网络，充分利用去模糊的前帧。实验表明，与最近使用深度学习的方法相比，我们的方法在定量和定性方面都达到了最先进的性能。
2021-08-23 cs.CV
iPhoneBlur: A Difficulty-Stratified Benchmark for Consumer Device Motion Deblurring
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出iPhoneBlur基准，通过PSNR引导的自适应时间窗口划分，将7400对图像分为易、中、难三类，揭示消费设备运动去模糊在不同难度下的性能差异，揭示专业与消费相机间的领域差距。
2026-05-07 cs.AI cs.CV
Semi-Blind Image Deblurring Based on Framelet Prior
Department of Mathematics, University of Mohaghegh Ardabili（莫哈格赫·阿尔达比勒大学数学系）
针对图像去模糊中PSF难以精确获取、去模糊模型为病态问题的情况，提出结合Framelet变换与分数阶计算改进全变分方法的半盲图像去模糊算法，经多类图像测试与现有方法对比验证效果。
2023-10-02 cs.CV eess.IV
Unsupervised Domain-Specific Deblurring via Disentangled Representations
University of Maryland, College Park（马里兰大学帕克分校）
图像去模糊的目的是从模糊图像中恢复出潜在的清晰图像。在本文中，我们提出了一种无监督的方法，特定领域的单图像去模糊的基础上解开表示。通过使用内容编码器和模糊编码器分离模糊图像中的内容和模糊特征来实现解纠缠。我们强制执行KL发散损失，以正则化提取的模糊属性的分布范围，使得包含的内容信息很少。同时，为了处理不成对的训练数据，增加了模糊分支和循环一致性损失，以保证去模糊结果的内容结构与原始图像相匹配。我们还在去模糊结果上添加对抗性损失以生成视觉逼真的图像，并添加感知损失以进一步减轻伪影。我们使用合成数据集和真实图像对人脸和文本去模糊的任务进行了广泛的实验，与最近最先进的去模糊方法相比，取得了更好的结果。
2019-08-05 cs.CV
Blind Image Deblurring by Spectral Properties of Convolution Operators
在本文中，我们研究的问题，恢复一个清晰的版本，一个给定的模糊图像时，模糊核是未知的。以前的方法通常在所需的模糊核上引入与图像无关的正则化器（例如高斯或稀疏先验）。我们将展示模糊图像本身编码了关于模糊核的丰富信息。这些信息可以通过分析和比较作为卷积算子的图像的频谱在模糊前后如何变化来发现。我们的分析导致了一个有效的凸正则化的模糊内核，它只依赖于给定的模糊图像。我们证明了，如果原始图像足够清晰，则该正则化器的最小值保证了对模糊核的良好近似。通过将这个强大的正则化器与传统的图像去模糊技术相结合，我们展示了如何通过对真实图像的模拟和实验来显着改善去模糊结果。此外，我们的分析和实验有助于解释一个被广泛接受的学说，即边缘是很好的功能去模糊。
2014-04-22 cs.CV
A survey on facial image deblurring
University of Chinese Academy of Sciences（中国科学院大学）
当面部图像模糊时，它会显著影响高级视觉任务，如面部识别。人脸图像去模糊的目的是从模糊的输入图像中恢复清晰的图像，这可以提高识别精度等。然而，一般的去模糊方法对人脸图像的效果并不好。因此，一些人脸去模糊的方法已经被提出来，通过添加语义或结构信息作为特定的先验，根据人脸图像的特点来提高性能。在本文中，我们调查和总结了最近发表的人脸图像去模糊的方法，其中大部分是基于深度学习。首先，我们简要介绍了图像模糊的建模。接下来，我们将人脸去模糊方法归纳为两类：基于模型的方法和基于深度学习的方法。此外，我们总结了数据集，损失函数，和性能评估指标通常用于神经网络训练过程中。我们展示了经典方法在这些数据集和指标上的性能，并简要讨论了基于模型和基于学习的方法之间的差异。最后，我们讨论了当前面临的挑战和未来可能的研究方向。
2023-03-16 cs.CV
Deep Video Deblurring
Universidad de la República（共和国大学）；Adobe Research（Adobe研究院）；Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）
由相机抖动引起的运动模糊是手持设备捕获的视频中的主要问题。与单图像去模糊不同，基于视频的方法可以利用相邻帧之间存在的丰富信息。因此，性能最好的方法依赖于对齐附近的帧。然而，对准图像是计算上昂贵且脆弱的过程，并且因此聚合信息的方法必须能够识别哪些区域已经被精确对准以及哪些没有被精确对准，这是需要高水平场景理解的任务。在这项工作中，我们引入了一种深度学习解决方案来进行视频去模糊，其中CNN进行端到端训练，以学习如何跨帧积累信息。为了训练这个网络，我们收集了一个用高帧率相机记录的真实视频数据集，我们用它来生成合成运动模糊以供监督。我们表明，从这个数据集学习的功能扩展到去模糊运动模糊，由于相机抖动在广泛的视频，并比较结果的质量与其他一些基线。
2016-11-25 cs.CV
CNN for License Plate Motion Deblurring
Brno University of Technology（布尔诺理工大学）
在这项工作中，我们探讨了以前提出的直接盲反卷积和去噪的方法与卷积神经网络的模糊内核部分约束的情况下。我们专注于模糊图像从现实生活中的交通监控系统，我们，第一次，证明了神经网络训练人工数据提供优越的重建质量的真实图像相比，传统的盲反卷积方法。训练数据很容易通过使用预期模糊核的非常粗略的近似来模糊来自目标系统的清晰照片来获得，从而允许针对特定应用（图像内容和模糊范围）训练自定义CNN。此外，我们还评估了CNN在模糊方向范围和长度方面的行为和限制。
2016-02-25 cs.CV
Simultaneous Stereo Video Deblurring and Scene Flow Estimation
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
由于摄像机和动态对象之间的大的相对运动以及大的深度变化，用于户外场景的视频经常显示令人不快的模糊效果。现有的作品通常专注于单眼视频去模糊。在本文中，我们提出了一种新的方法去模糊立体视频。特别是，我们利用分段平面假设的场景和利用场景流信息去模糊的图像。与使用预先计算的场景流的现有方法[31]不同，我们提出了一个单一的框架来联合估计场景流和去模糊图像，其中来自场景流估计和模糊信息的运动线索可以相互加强，并产生比传统场景流估计或立体去模糊方法更好的结果。我们在两个可用的数据集上对我们的方法进行了广泛的评估，并在流量估计和消除模糊效应方面取得了显着的改进。
2017-04-11 cs.CV
Video Deblurring with Deconvolution and Aggregation Networks
School of Electrical Engineering（电气工程学院）
本文提出反卷积与聚合网络DAN，通过预处理、对齐反卷积和帧聚合三个子网络有效利用相邻帧信息，在公开数据集上取得优于现有方法的视频去模糊性能。
2025-06-04 cs.CV
Stereo Video Deblurring
Technische Universität Dresden（德累斯顿工业大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
在低光条件下获取的视频通常表现出运动模糊，这取决于对象相对于相机的运动。这不仅在视觉上令人不愉快，而且会妨碍进一步的处理。通过本文，我们首次展示了立体视频的可用性如何帮助完成具有挑战性的视频去模糊任务。我们利用3D场景流，即使在不利条件下也可以稳健地估计。我们超越了简单地确定对象运动的两种方式：首先，我们展示了如何分段刚性3D场景流表示允许通过局部单应性诱导准确的模糊内核。其次，我们利用估计的运动边界的3D场景流，以减轻振铃文物使用迭代加权方案。意识到3D对象的运动，我们的方法可以稳健地处理任意数量的独立移动的对象。我们展示了它的好处，在国家的最先进的视频去模糊渲染场景和真实视频使用定量和定性实验。
2016-07-28 cs.CV
Cascaded Deep Video Deblurring Using Temporal Sharpness Prior
Nanjing University of Science and Technology（南京理工大学）
提出了一种简单有效的深度卷积神经网络（CNN）模型，用于视频去模糊。该算法主要由中间隐帧的光流估计和隐帧恢复步骤组成。它首先开发了一个深度CNN模型来从中间潜在帧估计光流，然后基于估计的光流恢复潜在帧。为了更好地探索视频中的时间信息，我们在约束深度CNN模型之前开发了时间锐度，以帮助潜在帧恢复。我们开发了一种有效的级联训练方法，并以端到端的方式联合训练所提出的CNN模型。我们表明，探索视频去模糊的领域知识能够使深度CNN模型更加紧凑和高效。大量的实验结果表明，该算法的性能优于国家的最先进的方法对基准数据集以及现实世界的视频。
2020-04-06 cs.CV
Event-guided Deblurring of Unknown Exposure Time Videos
Korea Advanced Institute of Science and Technology（韩国科学技术院）；HKUST Guangzhou（香港科技大学（广州））；HKUST（香港科技大学）
运动去模糊是一个高度不适定的问题，由于在模糊退化过程中的运动信息的损失。由于事件摄像机可以捕获具有高时间分辨率的表观运动，因此已经进行了几次尝试来探索事件用于引导去模糊的潜力。这些方法通常假设曝光时间与视频帧速率的倒数相同。然而，这在真实情况下并非如此，并且曝光时间可能是未知的并且根据视频拍摄环境而动态变化（例如，照明条件）。在本文中，我们解决了事件引导的运动去模糊假设动态可变的未知曝光时间的帧为基础的相机。为此，我们首先通过考虑视频帧采集过程中的曝光和读出时间，推导出一种新的事件引导运动去模糊公式。然后，我们提出了一种新的端到端的学习框架，用于事件引导的运动去模糊。特别是，我们设计了一种新的曝光时间为基础的事件选择（ETES）模块，有选择地使用事件的功能，通过估计模糊帧和事件的功能之间的交叉模态相关性。此外，我们提出了一个特征融合模块，融合从事件和模糊帧有效地选择的功能。我们在各种数据集上进行了广泛的实验，并证明我们的方法达到了最先进的性能。
2022-07-26 cs.CV
Spatio-Temporal Deformable Attention Network for Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊方法的关键成功因素是用相邻视频帧的清晰像素补偿中间帧的模糊像素。因此，主流方法基于估计的光流对齐相邻帧，并融合对齐帧以进行恢复。然而，这些方法有时会产生令人不满意的结果，因为它们很少考虑像素的模糊水平，这可能会从视频帧中引入模糊像素。实际上，并不是视频帧中的所有像素都是清晰的，有利于去模糊。为了解决这个问题，我们提出了时空可变形注意力网络（STDANet）的视频模糊，提取清晰像素的信息，通过考虑像素的视频帧的模糊水平。具体地，STDANet是与运动估计器和时空可变形注意力（STDA）模块相结合的编码器-解码器网络，其中运动估计器预测粗光流，该粗光流被用作基本偏移以在STDA模块中找到对应的尖锐像素。实验结果表明，所提出的STDANet对GoPro，DVD和BSD数据集上的最先进的方法表现良好。
2022-07-22 cs.CV
Blind image deblurring using class-adapted image priors
盲图像去模糊（BID）是一个不适定的逆问题，通常通过对（未知）图像和模糊滤波器施加先验知识来解决。BID的大部分工作都集中在自然图像上，使用基于一般自然图像的统计特性的图像先验。然而，在许多应用中，已知正被恢复的图像属于某个特定类（例如，文本、面部、指纹），并且利用该知识允许获得更准确的先验。在这项工作中，我们提出了一种方法，其中高斯混合模型（GMM）用于学习类适应先验，通过对该类的干净图像数据集进行训练。实验表明，该方法在处理包含文本，人脸或指纹的图像时，在恢复质量方面的竞争力。此外，实验表明，该方法能够处理高噪声水平的文本图像，优于专门为文本图像BID设计的最先进的方法。
2017-09-06 cs.CV
Rethinking Video Deblurring with Wavelet-Aware Dynamic Transformer and Diffusion Model
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang Gongshang University（浙江工商大学）
针对视频去模糊中高频信息恢复受限及直接应用扩散模型存在的计算开销大和易受模糊伪影误导的问题，提出 VD-Diff 框架，将扩散模型与 WADT 结合，在紧凑潜在空间生成高频先验特征并保留低频信息，在多个数据集上优于 SOTA。
2024-08-24 cs.CV
On the Generalization of BasicVSR++ to Video Deblurring and Denoising
Nanyang Technological University（南洋理工大学）
长期信息的利用一直是视频恢复中的一个难题。最近的BasicVSR和BasicVSR++通过长期传播和有效对齐在视频超分辨率方面表现出了卓越的性能。他们的成功导致了一个问题，他们是否可以转移到不同的视频恢复任务。在这项工作中，我们将BasicVSR++扩展到视频恢复任务的通用框架。在输入和输出具有相同空间大小的任务中，输入分辨率通过步幅卷积来降低以保持效率。该框架仅对BasicVSR++进行了最小的更改，在各种视频恢复任务（包括视频去模糊和去噪）中实现了令人信服的性能。值得注意的是，BasicVSR++实现了与基于transformer的方法相当的性能，参数减少高达79%，加速44倍。这些有希望的结果表明了传播和对齐在视频恢复任务中的重要性，而不仅仅是视频超分辨率。代码和模型可在https://github.com/ckkelvinchan/BasicVSR_PlusPlus上获得。
2022-06-19 cs.CV
Motion Deblurring in the Wild
图像去模糊是一个非常不适定的问题，因为图像和模糊都是未知的。此外，当在野外拍摄照片时，由于空间变化的模糊和对象之间的遮挡，这项任务变得更具挑战性。由于一般图像模型的复杂性，我们提出了一种新的卷积网络结构，它直接产生清晰的图像。该网络是内置的三个阶段，并利用金字塔计划的好处，经常使用在盲反卷积。训练这样一个网络的主要困难之一是设计一个合适的数据集。虽然可以通过合成模糊一组图像来获得有用的数据，但必须在野外收集更真实的数据。为了获得这样的数据，我们使用高帧速率摄像机，并保持一帧作为清晰图像和帧平均作为相应的模糊图像。我们表明，这个现实的数据集是实现最先进的性能和处理遮挡的关键。
2017-08-29 cs.CV
TSRN-RTVD: Real-Time Video Deblurring System
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
针对手持设备视频运动模糊，提出TSRN-RTVD系统，通过重建曝光期间相机轨迹引导去模糊，在消费级GPU上实现30 FPS实时处理，GoPro数据集PSNR达30.08 dB。
2026-10-07 cs.CV
Occlusion-Aware Video Deblurring with a New Layered Blur Model
Korea Institute of Science and Technology（韩国科学技术院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Seoul National University（首尔大学）
我们提出了一个去模糊的方法，使用一个精心设计的分层模糊模型的场景中的遮挡对象。分层模糊模型常用于运动去模糊问题，以处理由物体运动或场景深度变化引起的局部变化模糊。然而，传统的模型在表示发生在遮挡边界处的层交互方面具有限制。在本文中，我们解决了这一限制，在理论和实验的方式，并提出了一个新的分层模糊模型，反映实际的模糊生成过程。在此基础上，提出了一种基于遮挡的图像去模糊方法，该方法不仅能估计出清晰的前景和背景，而且能更准确地估计出目标的运动。我们还提供了一个新的分析对象边界处的模糊核，这表明了模糊核的显着特点，不能被传统的模糊模型捕获。对合成和真实模糊视频的实验结果表明，该方法产生了优越的效果，特别是在对象边界。
2016-11-29 cs.CV
Adaptive High-Pass Kernel Prediction for Efficient Video Deblurring
National University of Singapore（新加坡国立大学）
针对视频模糊导致高频细节丢失及神经网络频谱偏置问题，本文提出由高通基核线性组合动态预测自适应高通核，以低内存、快推理实现优于低预算模型的去模糊性能。
2024-12-02 cs.CV
FineNet: Frame Interpolation and Enhancement for Face Video Deblurring
VinAI Research（VinAI研究院）
这项工作的目标是去模糊面部视频。我们提出了一种从两个方向解决这个问题的方法：（1）增强模糊帧，（2）将模糊帧视为缺失值并通过插值来估计它们。这些方法是相辅相成的，它们的组合优于单独的。我们还介绍了一个新的模块，利用结构的脸找到视频帧之间的位置偏移。该模块可以集成到两种方法的处理管道中，从而提高最终结果的质量。在三个真实和合成生成的模糊视频数据集上的实验表明，我们的方法在定量和定性结果方面都大大优于以前的最先进的方法。
2021-03-01 cs.CV
Online Video Deblurring via Dynamic Temporal Blending Network
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Seoul National University（首尔国立大学）
现有技术的视频去模糊方法能够去除动态场景中由不期望的相机抖动和/或对象运动引起的不均匀模糊。然而，大多数现有的方法是基于批处理，因此需要访问所有记录的帧，使它们在计算上要求高且耗时，从而限制了它们的实际使用。相比之下，我们提出了一个在线（顺序）视频去模糊方法的基础上的时空递归网络，允许实时性能。特别是，我们引入了一种新的架构，该架构扩展了感受野，同时保持网络的整体大小较小，以实现快速执行。在这样做的过程中，我们的网络能够消除由强烈的相机抖动和/或快速移动的物体引起的大模糊。此外，我们提出了一种新的网络层，通过动态时间混合来执行连续帧之间的时间一致性，该动态时间混合比较并自适应（在测试时）共享在不同时间步获得的特征。我们在广泛的实验评估所提出的方法的优越性。
2017-04-11 cs.CV
Coding-Prior Guided Diffusion Network for Video Deblurring
针对视频去模糊忽略编码先验与扩散模型知识的问题，提出CPGDNet两阶段框架，通过编码先验特征传播模块和编码先验控制生成模块利用两类先验，实现IQA指标提升30%的最优感知质量。
2025-04-16 cs.CV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST（韩国科学技术院）
本文提出DSFN网络，通过联合去模糊与超分辨率模块和三帧帧插值模块，从低质量视频直接生成高分辨率、高帧率清晰视频，在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
Adversarial Spatio-Temporal Learning for Video Deblurring
Australian National University（澳大利亚国立大学）；Tencent AI Laboratory（腾讯人工智能实验室）
相机抖动或目标移动通常会导致手持相机捕获的视频中出现不期望的模糊效果。尽管已经对视频去模糊研究做出了重大努力，但是仍然存在两个主要挑战：1）如何跨空间域（即，图像平面）和时间域（即，相邻帧），以及2）如何恢复清晰的图像细节w.r.t.传统上采用的逐像素误差的度量。在本文中，为了解决第一个挑战，我们提出了一个DeBluRring网络（DBLRNet），通过将修改后的3D卷积应用于空间和时间域来进行时空学习。我们的DBLRNet能够捕获相邻帧中编码的空间和时间信息，这直接有助于提高视频去模糊性能。为了解决第二个挑战，我们利用开发的DBLRNet作为GAN（生成对抗网络）架构中的生成器，并采用内容损失以及对抗损失来进行有效的对抗训练。开发的网络，我们命名为DeBluRring生成对抗网络（DBLRGAN），在两个标准的基准测试，并达到了最先进的性能。
2018-08-22 cs.CV
Non-Uniform Blind Deblurring with a Spatially-Adaptive Sparse Prior
Northwestern Polytechnical University（西北工业大学）；Microsoft Research Asia（微软亚洲研究院）
相机抖动导致的典型模糊通常会偏离标准的均匀卷积脚本，部分原因是有问题的旋转会在远离某个未知中心点的地方产生更大的模糊。因此，成功的盲去卷积需要估计空间变化的或非均匀的模糊算子。利用贝叶斯推理和凸分析的思想，本文推导出一种非均匀盲去模糊算法，该算法具有几个理想的，但以前未探索的属性。底层的目标函数包括一个空间自适应惩罚耦合潜在的清晰图像，非均匀模糊算子，和噪声水平在一起。这种耦合允许惩罚基于估计的局部模糊程度和图像结构自动调整其形状，使得具有大模糊或很少突出边缘的区域被忽略。因此，具有适度模糊和揭示边缘的剩余区域在整个估计过程中占主导地位，而无需明确地结合结构选择算法。该算法可以实现使用的优化最小化策略，几乎是无参数的。详细的理论分析和实际图像的实验验证验证了该方法的有效性。
2013-06-17 cs.CV
Pay Attention to Hidden States for Video Deblurring: Ping-Pong Recurrent Neural Networks and Selective Non-Local Attention
NVIDIA（英伟达）；Seoul National University（首尔大学）
视频去模糊模型利用相邻帧中的信息来去除由相机和对象的运动引起的模糊。循环神经网络~（RNN）常被用来通过隐藏状态来对帧间的时间依赖性进行建模。然而，当运动模糊较强时，由于不同帧之间的位移，隐藏状态很难传递适当的信息。虽然已经尝试更新隐藏状态，但很难处理简单模块的接收域之外的未对齐特征。因此，我们提出了2个模块来补充RNN架构，用于视频去模糊。首先，我们设计了乒乓RNN~（PPRNN），它通过交替参考当前和前一个时间步的特征来更新隐藏状态。PPRNN通过利用其递归架构，以迭代和平衡的方式从这两个特征中收集相关信息。其次，我们使用选择性非局部注意力（SNLA）模块，通过将其与输入帧特征的位置信息对齐来进一步细化隐藏状态。注意力分数通过与输入特征的相关性来缩放，以专注于必要的信息。通过关注具有强大协同作用的两个模块的隐藏状态，我们的PAHS框架提高了RNN结构的表示能力，并在标准基准测试和真实视频上实现了最先进的去模糊性能。
2022-04-07 cs.CV
