Real-Time Video Deblurring via Lightweight Motion Compensation
POSTECH（浦项科技大学）；SAIT（三星先进技术研究院）
虽然运动补偿极大地提高了视频去模糊质量，但单独执行运动补偿和视频去模糊需要巨大的计算开销。提出了一种实时的【形】视频去模糊框架，该框架由一个轻量级的多任务单元组成，以有效的方式支持视频去模糊和运动补偿。多任务单元专门设计用于使用单个共享网络处理两个任务中的大部分，并由多任务细节网络和用于去模糊和运动补偿的简单网络组成。多任务单元最大限度地降低了将运动补偿纳入视频去模糊的成本，并实现实时的【形】去模糊。此外，通过堆叠多个多任务单元，我们的框架提供了成本和去模糊质量之间的灵活控制。我们通过实验验证了我们的方法的最先进的去模糊质量，与以前的方法相比，它以更快的速度运行，并显示出实际的实时的【形】性能（在DVD数据集中测量为30.99dB@30fps）。
2022-09-13 cs.CV
Video Deblurring by Fitting to Test Data
HKUST（香港科技大学）
自动驾驶车辆和机器人捕获的视频中的运动模糊会降低其感知能力。在这项工作中，我们提出了一种通过将深度网络拟合到测试视频来进行视频去模糊的新方法。我们的关键观察是，在具有运动模糊的视频中，某些帧比其他帧清晰得多，因此我们可以将这些清晰帧中的纹理信息转移到模糊帧中。我们的方法从视频中选择清晰的帧，然后在这些清晰的帧上训练卷积神经网络。经过训练的网络通常会吸收场景中足够的细节，以便对所有视频帧进行去模糊。作为一种内部学习方法，我们的方法在训练和测试数据之间没有域间隙，这是现有视频去模糊方法的一个问题。在真实视频数据上进行的实验表明，我们的模型可以重建比最先进的视频去模糊方法更清晰，更锐利的视频。代码和数据可在https://github.com/xrenaa/Deblur-by-Fitting上获得。
2021-03-06 cs.CV
SelfHVD: Self-Supervised Handheld Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）
本文提出SelfHVD方法，通过提取视频中的清晰线索进行自监督学习，结合SEVD和SCSCM技术提升手持视频去模糊性能，实验表明其优于现有方法。
2026-04-10 cs.CV
VDTR: Video Deblurring with Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊是一个尚未解决的问题，由于具有挑战性的时空建模过程。而现有的基于卷积神经网络的方法在视频去模糊的有效空间和时间建模方面表现出有限的能力。本文介绍了VDTR，一个有效的基于transformer的模型，使第一次尝试适应Transformer的视频去模糊。VDTR利用Transformer卓越的远程和关系建模功能进行空间和时间建模。然而，由于复杂的非均匀模糊、多帧间的不对齐以及高分辨率空间建模的高计算成本，设计合适的基于Transformer的视频去模糊模型具有挑战性。为了解决这些问题，VDTR主张在非重叠窗口内执行注意力，并利用分层结构进行长距离依赖建模。对于帧级空间建模，我们提出了一个编码器-解码器Transformer，它利用多尺度特征进行去模糊。对于多帧时间建模，我们采用Transformer来有效地融合多个空间特征。与基于CNN的方法相比，所提出的方法在合成和真实世界的视频去模糊基准上都取得了非常有竞争力的结果，包括DVD，GOPRO，REDS和BSD。我们希望这种基于Transformer的架构可以作为视频去模糊和其他视频恢复任务的强大替代基线。源代码将在\url{https://github.com/ljzycmd/VDTR}上提供。
2022-04-17 cs.CV
NTIRE 2020 Challenge on Image and Video Deblurring
Seoul National University（首尔大学）
运动模糊是动态场景摄影中最常见的退化伪影之一。本文回顾了NTIRE 2020年图像和视频去模糊挑战赛。在这个挑战中，我们提出了3个竞争轨道的评估结果以及提出的解决方案。轨道1旨在开发单图像去模糊方法，专注于恢复质量。在Track 2上，在移动平台上执行图像去模糊方法，以找到运行速度和恢复精度的平衡。轨道3的目标是开发利用输入帧之间的时间关系的视频去模糊方法。在每一场比赛中，分别有163、135和102名注册参赛者，在最后的测试阶段，分别有9、4和7支队伍参加比赛。获奖方法展示了图像和视频去模糊任务的最先进性能。
2020-05-10 cs.CV
Blur More To Deblur Better: Multi-Blur2Deblur For Efficient Video Deblurring
UNIST（蔚山科学技术院）
视频去模糊的关键之一是如何利用相邻帧。最近的最先进的方法要么使用对齐的相邻帧的中心帧或传播的信息，过去的帧到当前帧循环。在这里，我们提出了多模糊去模糊（MB2D），一个新的概念，利用相邻帧的有效视频去模糊。首先，受反锐化掩蔽的启发，我们认为使用长曝光的更模糊的图像作为额外的输入可以显着提高性能。其次，我们提出了多模糊递归神经网络（MBRNN），它可以从相邻帧合成更多的模糊图像，从而大大提高了现有视频去模糊方法的性能。最后，我们提出了多尺度去模糊，连接来自MBRNN（MSDR）的递归特征映射，以快速和内存高效的方式在流行的GoPro和Su数据集上实现最先进的性能。
2020-12-23 cs.CV
Generalized Video Deblurring for Dynamic Scenes
Seoul National University（首尔大学）
几种最先进的视频去模糊方法都是基于一个很强的假设，即捕获的场景是静态的。这些方法无法消除动态场景中的模糊视频。与其他方法不同，我们提出了一种视频去模糊方法来处理动态场景中固有的一般模糊。为了处理由各种来源（例如相机抖动、移动物体和场景中的深度变化）引起的局部变化和一般模糊，我们用双向光流近似逐像素内核。因此，我们提出了一个单一的能量模型，同时估计光流和潜在的帧来解决我们的去模糊问题。我们还提供了一个框架和高效的求解器来优化能量模型。通过最小化建议的能量函数，我们实现了显着的改善，在消除模糊和估计准确的光流在模糊帧。大量的实验结果表明，该方法的优越性，在真实的和具有挑战性的视频，国家的最先进的方法失败，无论是去模糊或光流估计。
2015-07-09 cs.CV
Efficient Video Deblurring Guided by Motion Magnitude
The University of Tokyo（东京大学）；HKUST Guangzhou（香港科技大学（广州））；Huawei（华为）；HKUST（香港科技大学）
视频去模糊是一个高度欠约束的问题，由于空间和时间变化的模糊。用于视频去模糊的直观方法包括两个步骤：a）检测当前帧中的模糊区域; b）利用来自相邻帧中的清晰区域的信息用于当前帧去模糊。为了实现这个过程，我们的想法是检测每帧的像素级模糊水平，并将其与视频去模糊相结合。为此，我们提出了一个新的框架，利用运动幅度先验（MMP）作为指导，有效的深度视频去模糊。具体地，由于在曝光时间期间沿着其轨迹的像素移动与运动模糊的水平正相关，所以我们首先使用来自高频清晰帧的光流的平均幅度来生成合成模糊帧及其对应的逐像素运动幅度图。然后，我们建立一个数据集，包括模糊帧和MMP对。然后通过回归由紧凑的CNN学习MMP。MMP由空间和时间模糊水平信息组成，可以进一步集成到一个有效的递归神经网络（RNN）中进行视频去模糊。我们进行了密集的实验，以验证所提出的方法在公共数据集上的有效性。
2022-07-27 cs.CV
Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes
POSTECH（浦项科技大学）
为了成功地进行视频去模糊，利用相邻帧的信息是必不可少的。大多数现有技术的视频去模糊方法采用视频帧之间的运动补偿来聚合来自多个帧的信息，这可以帮助对目标帧进行去模糊。然而，以前的去模糊方法所采用的运动补偿方法不是模糊不变的，因此，它们的精度是有限的模糊帧与不同的模糊量。为了缓解这个问题，我们提出了两种新的方法，通过有效地聚合来自多个视频帧的信息来去模糊视频。首先，我们提出了模糊不变的运动估计学习，以提高模糊帧之间的运动估计精度。其次，对于运动补偿，我们使用包含候选尖锐像素的像素体积来解决运动估计误差，而不是通过扭曲估计运动来对齐帧。我们结合这两个过程，提出了一个有效的经常性的视频去模糊网络，充分利用去模糊的前帧。实验表明，与最近使用深度学习的方法相比，我们的方法在定量和定性方面都达到了最先进的性能。
2021-08-23 cs.CV
CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出CMTA方法，利用事件相机微秒级时间分辨率解决视频去模糊问题，通过帧内特征增强和帧间时序对齐模块提升性能，并构建了真实世界数据集，实验证明优于现有方法。
2024-08-28 cs.CV
Deep Video Deblurring
Universidad de la República（共和国大学）；Adobe Research（Adobe研究院）；Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）
由相机抖动引起的运动模糊是手持设备捕获的视频中的主要问题。与单图像去模糊不同，基于视频的方法可以利用相邻帧之间存在的丰富信息。因此，性能最好的方法依赖于对齐附近的帧。然而，对准图像是计算上昂贵且脆弱的过程，并且因此聚合信息的方法必须能够识别哪些区域已经被精确对准以及哪些没有被精确对准，这是需要高水平场景理解的任务。在这项工作中，我们引入了一种深度学习解决方案来进行视频去模糊，其中CNN进行端到端训练，以学习如何跨帧积累信息。为了训练这个网络，我们收集了一个用高帧率相机记录的真实视频数据集，我们用它来生成合成运动模糊以供监督。我们表明，从这个数据集学习的功能扩展到去模糊运动模糊，由于相机抖动在广泛的视频，并比较结果的质量与其他一些基线。
2016-11-25 cs.CV
Aggregating Nearest Sharp Features via Hybrid Transformers for Video Deblurring
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
针对真实场景中视频存在散布清晰帧的情况，提出一种基于混合Transformer的视频去模糊方法，通过模糊感知检测器区分帧类型，结合局部与全局Transformer聚合相邻帧及最近清晰帧特征，可扩展至事件驱动场景，实验性能优于现有方法。
2024-11-29 cs.CV
Video Deblurring with Deconvolution and Aggregation Networks
School of Electrical Engineering（电气工程学院）
本文提出反卷积与聚合网络DAN，通过预处理、对齐反卷积和帧聚合三个子网络有效利用相邻帧信息，在公开数据集上取得优于现有方法的视频去模糊性能。
2025-06-04 cs.CV
Cascaded Deep Video Deblurring Using Temporal Sharpness Prior
Nanjing University of Science and Technology（南京理工大学）
提出了一种简单有效的深度卷积神经网络（CNN）模型，用于视频去模糊。该算法主要由中间隐帧的光流估计和隐帧恢复步骤组成。它首先开发了一个深度CNN模型来从中间潜在帧估计光流，然后基于估计的光流恢复潜在帧。为了更好地探索视频中的时间信息，我们在约束深度CNN模型之前开发了时间锐度，以帮助潜在帧恢复。我们开发了一种有效的级联训练方法，并以端到端的方式联合训练所提出的CNN模型。我们表明，探索视频去模糊的领域知识能够使深度CNN模型更加紧凑和高效。大量的实验结果表明，该算法的性能优于国家的最先进的方法对基准数据集以及现实世界的视频。
2020-04-06 cs.CV
Event-guided Deblurring of Unknown Exposure Time Videos
Korea Advanced Institute of Science and Technology（韩国科学技术院）；HKUST Guangzhou（香港科技大学（广州））；HKUST（香港科技大学）
运动去模糊是一个高度不适定的问题，由于在模糊退化过程中的运动信息的损失。由于事件摄像机可以捕获具有高时间分辨率的表观运动，因此已经进行了几次尝试来探索事件用于引导去模糊的潜力。这些方法通常假设曝光时间与视频帧速率的倒数相同。然而，这在真实情况下并非如此，并且曝光时间可能是未知的并且根据视频拍摄环境而动态变化（例如，照明条件）。在本文中，我们解决了事件引导的运动去模糊假设动态可变的未知曝光时间的帧为基础的相机。为此，我们首先通过考虑视频帧采集过程中的曝光和读出时间，推导出一种新的事件引导运动去模糊公式。然后，我们提出了一种新的端到端的学习框架，用于事件引导的运动去模糊。特别是，我们设计了一种新的曝光时间为基础的事件选择（ETES）模块，有选择地使用事件的功能，通过估计模糊帧和事件的功能之间的交叉模态相关性。此外，我们提出了一个特征融合模块，融合从事件和模糊帧有效地选择的功能。我们在各种数据集上进行了广泛的实验，并证明我们的方法达到了最先进的性能。
2022-07-26 cs.CV
Spatio-Temporal Deformable Attention Network for Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊方法的关键成功因素是用相邻视频帧的清晰像素补偿中间帧的模糊像素。因此，主流方法基于估计的光流对齐相邻帧，并融合对齐帧以进行恢复。然而，这些方法有时会产生令人不满意的结果，因为它们很少考虑像素的模糊水平，这可能会从视频帧中引入模糊像素。实际上，并不是视频帧中的所有像素都是清晰的，有利于去模糊。为了解决这个问题，我们提出了时空可变形注意力网络（STDANet）的视频模糊，提取清晰像素的信息，通过考虑像素的视频帧的模糊水平。具体地，STDANet是与运动估计器和时空可变形注意力（STDA）模块相结合的编码器-解码器网络，其中运动估计器预测粗光流，该粗光流被用作基本偏移以在STDA模块中找到对应的尖锐像素。实验结果表明，所提出的STDANet对GoPro，DVD和BSD数据集上的最先进的方法表现良好。
2022-07-22 cs.CV
Domain-adaptive Video Deblurring via Test-time Blurring
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Tsing Hua University（国立清华大学）；National Chengchi University（国立政治大学）；Qualcomm Technologies, Inc.（高通技术公司）
针对训练与测试视频的域差距导致去模糊性能下降的问题，提出基于模糊模型的测试时域自适应方案，通过生成域适配的伪清晰-模糊对微调模型，最高提升7.54dB的去模糊性能。
2024-07-12 cs.CV
Rethinking Video Deblurring with Wavelet-Aware Dynamic Transformer and Diffusion Model
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang Gongshang University（浙江工商大学）
针对视频去模糊中高频信息恢复受限及直接应用扩散模型存在的计算开销大和易受模糊伪影误导的问题，提出 VD-Diff 框架，将扩散模型与 WADT 结合，在紧凑潜在空间生成高频先验特征并保留低频信息，在多个数据集上优于 SOTA。
2024-08-24 cs.CV
On the Generalization of BasicVSR++ to Video Deblurring and Denoising
Nanyang Technological University（南洋理工大学）
长期信息的利用一直是视频恢复中的一个难题。最近的BasicVSR和BasicVSR++通过长期传播和有效对齐在视频超分辨率方面表现出了卓越的性能。他们的成功导致了一个问题，他们是否可以转移到不同的视频恢复任务。在这项工作中，我们将BasicVSR++扩展到视频恢复任务的通用框架。在输入和输出具有相同空间大小的任务中，输入分辨率通过步幅卷积来降低以保持效率。该框架仅对BasicVSR++进行了最小的更改，在各种视频恢复任务（包括视频去模糊和去噪）中实现了令人信服的性能。值得注意的是，BasicVSR++实现了与基于transformer的方法相当的性能，参数减少高达79%，加速44倍。这些有希望的结果表明了传播和对齐在视频恢复任务中的重要性，而不仅仅是视频超分辨率。代码和模型可在https://github.com/ckkelvinchan/BasicVSR_PlusPlus上获得。
2022-06-19 cs.CV
VDPI: Video Deblurring with Pseudo-inverse Modeling
McCORMICK SCHOOL OF ENGINEERING, Northwestern University（西北大学麦考密克工程学院）
本文提出VDPI方法，通过深度网络估计模糊伪逆并结合变分深度学习网络进行视频去模糊，实验证明该方法能显著提升性能并具备跨场景与相机的泛化能力。
2024-09-01 cs.CV
Real-world Video Deblurring: A Benchmark Dataset and An Efficient Recurrent Neural Network
The University of Tokyo（东京大学）；Huawei（华为）；National Institute of Informatics（国立信息学研究所）
由于空间和时间变化的模糊本身的复杂性以及低计算成本的要求，实时的去模糊仍然是一个具有挑战性的任务。为了提高网络效率，我们采用剩余密集块到RNN细胞，从而有效地提取当前帧的空间特征。此外，提出了一个全局时空注意力模块，融合过去和未来帧的有效层次特征，以帮助更好地去模糊当前帧。另一个急需解决的问题是缺乏真实世界的基准数据集。因此，我们贡献了一个新的数据集（BSD）的社区，通过收集配对的模糊/清晰的视频剪辑使用同轴分束器采集系统。实验结果表明，与现有的视频去模糊方法相比，该方法具有更好的去模糊效果，且计算量更小.此外，数据集之间的交叉验证实验说明了BSD在合成数据集上的高度通用性。代码和数据集在https://github.com/zzh-tech/ESTRNN上发布。
2022-10-15 cs.CV
TSRN-RTVD: Real-Time Video Deblurring System
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
针对手持设备视频运动模糊，提出TSRN-RTVD系统，通过重建曝光期间相机轨迹引导去模糊，在消费级GPU上实现30 FPS实时处理，GoPro数据集PSNR达30.08 dB。
2026-10-07 cs.CV
Occlusion-Aware Video Deblurring with a New Layered Blur Model
Korea Institute of Science and Technology（韩国科学技术院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Seoul National University（首尔大学）
我们提出了一个去模糊的方法，使用一个精心设计的分层模糊模型的场景中的遮挡对象。分层模糊模型常用于运动去模糊问题，以处理由物体运动或场景深度变化引起的局部变化模糊。然而，传统的模型在表示发生在遮挡边界处的层交互方面具有限制。在本文中，我们解决了这一限制，在理论和实验的方式，并提出了一个新的分层模糊模型，反映实际的模糊生成过程。在此基础上，提出了一种基于遮挡的图像去模糊方法，该方法不仅能估计出清晰的前景和背景，而且能更准确地估计出目标的运动。我们还提供了一个新的分析对象边界处的模糊核，这表明了模糊核的显着特点，不能被传统的模糊模型捕获。对合成和真实模糊视频的实验结果表明，该方法产生了优越的效果，特别是在对象边界。
2016-11-29 cs.CV
Towards Real-World Video Deblurring by Exploring Blur Formation Process
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The University of Tokyo（东京大学）；Tencent AI Lab（腾讯人工智能实验室）
本文旨在探索如何合成接近真实的模糊，现有的视频去模糊模型可以很好地推广到现实世界的模糊视频。近年来，基于深度学习的方法在视频去模糊任务上取得了令人鼓舞的成功。然而，在现有的合成数据集上训练的模型在真实世界的模糊场景中仍然存在泛化问题，并且存在不期望的伪影。导致失败的因素仍然未知。因此，我们重新审视了经典的模糊合成流水线，并找出了可能的原因，包括拍摄参数，模糊形成空间，图像信号处理器~（ISP）。为了分析这些潜在因素的影响，我们首先收集了一个超高帧率（940 FPS）的RAW视频数据集作为数据基础来合成各种模糊。然后，我们提出了一种新的逼真的模糊合成流水线称为RAW模糊利用模糊形成线索。通过大量的实验，证明了在RAW空间合成模糊，并采用与真实测试数据相同的ISP，可以有效地消除合成数据的负面影响。此外，合成的模糊视频的拍摄参数，例如，曝光时间和帧速率在改善去模糊模型的性能方面起着重要的作用。令人印象深刻的是，在由所提出的RAW-模糊流水线合成的模糊数据上训练的模型可以获得超过5dB的PSNR增益，而不是在现有的合成模糊数据集上训练的模型。我们相信新的真实感合成管道和相应的RAW视频数据集可以帮助社区轻松构建自定义模糊数据集，从而大大提高真实世界视频去模糊性能，而不是费力地收集真实数据对。
2022-08-28 cs.CV
Video Deblurring by Sharpness Prior Detection and Edge Information
The College of Intelligent Systems Science and Engineering, Harbin Engineering University（哈尔滨工程大学智能系统科学与工程学院）；DIEE, University of Cagliari（卡利亚里大学DIEE学院）；Sant'Anna School of Advanced Study（圣安娜高等研究院）
本文提出SPEINet模型及可定制清晰帧频率的GoProRS数据集，通过注意力编码器-解码器整合清晰帧特征与边缘信息，在多个数据集上平均PSNR提升3.2%，推动视频去模糊发展。
2025-01-21 cs.CV
FineNet: Frame Interpolation and Enhancement for Face Video Deblurring
VinAI Research（VinAI研究院）
这项工作的目标是去模糊面部视频。我们提出了一种从两个方向解决这个问题的方法：（1）增强模糊帧，（2）将模糊帧视为缺失值并通过插值来估计它们。这些方法是相辅相成的，它们的组合优于单独的。我们还介绍了一个新的模块，利用结构的脸找到视频帧之间的位置偏移。该模块可以集成到两种方法的处理管道中，从而提高最终结果的质量。在三个真实和合成生成的模糊视频数据集上的实验表明，我们的方法在定量和定性结果方面都大大优于以前的最先进的方法。
2021-03-01 cs.CV
Online Video Deblurring via Dynamic Temporal Blending Network
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Seoul National University（首尔国立大学）
现有技术的视频去模糊方法能够去除动态场景中由不期望的相机抖动和/或对象运动引起的不均匀模糊。然而，大多数现有的方法是基于批处理，因此需要访问所有记录的帧，使它们在计算上要求高且耗时，从而限制了它们的实际使用。相比之下，我们提出了一个在线（顺序）视频去模糊方法的基础上的时空递归网络，允许实时性能。特别是，我们引入了一种新的架构，该架构扩展了感受野，同时保持网络的整体大小较小，以实现快速执行。在这样做的过程中，我们的网络能够消除由强烈的相机抖动和/或快速移动的物体引起的大模糊。此外，我们提出了一种新的网络层，通过动态时间混合来执行连续帧之间的时间一致性，该动态时间混合比较并自适应（在测试时）共享在不同时间步获得的特征。我们在广泛的实验评估所提出的方法的优越性。
2017-04-11 cs.CV
Spatio-Temporal Filter Adaptive Network for Video Deblurring
SenseTime Research（商汤科技研究院）；Nanjing University of Science and Technology（南京理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
视频去模糊是一项具有挑战性的任务，由于相机抖动，物体运动，和深度变化等造成的空间变化的模糊，现有的方法通常估计光流在模糊的视频对齐连续帧或近似模糊核。然而，当估计的光流不准确时，它们倾向于产生伪影或不能有效地去除模糊。为了克服单独的光流估计的局限性，我们提出了一个时空滤波自适应网络（STFAN）的对齐和去模糊在一个统一的框架。STFAN将前一帧的模糊图像和恢复图像以及当前帧的模糊图像作为输入，动态生成空间自适应滤波器进行对齐和去模糊。然后，我们提出了新的滤波器自适应卷积（FAC）层，将前一帧的去模糊特征与当前帧对齐，并从当前帧的特征中去除空间变化的模糊。最后，我们开发了一个重建网络，该网络融合两个变换后的特征来恢复清晰的帧。在基准数据集和真实视频上的定量和定性评估结果表明，该算法在准确性、速度和模型大小方面优于现有方法。
2019-08-01 cs.CV
Coding-Prior Guided Diffusion Network for Video Deblurring
针对视频去模糊忽略编码先验与扩散模型知识的问题，提出CPGDNet两阶段框架，通过编码先验特征传播模块和编码先验控制生成模块利用两类先验，实现IQA指标提升30%的最优感知质量。
2025-04-16 cs.CV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST（韩国科学技术院）
本文提出DSFN网络，通过联合去模糊与超分辨率模块和三帧帧插值模块，从低质量视频直接生成高分辨率、高帧率清晰视频，在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
Adversarial Spatio-Temporal Learning for Video Deblurring
Australian National University（澳大利亚国立大学）；Tencent AI Laboratory（腾讯人工智能实验室）
相机抖动或目标移动通常会导致手持相机捕获的视频中出现不期望的模糊效果。尽管已经对视频去模糊研究做出了重大努力，但是仍然存在两个主要挑战：1）如何跨空间域（即，图像平面）和时间域（即，相邻帧），以及2）如何恢复清晰的图像细节w.r.t.传统上采用的逐像素误差的度量。在本文中，为了解决第一个挑战，我们提出了一个DeBluRring网络（DBLRNet），通过将修改后的3D卷积应用于空间和时间域来进行时空学习。我们的DBLRNet能够捕获相邻帧中编码的空间和时间信息，这直接有助于提高视频去模糊性能。为了解决第二个挑战，我们利用开发的DBLRNet作为GAN（生成对抗网络）架构中的生成器，并采用内容损失以及对抗损失来进行有效的对抗训练。开发的网络，我们命名为DeBluRring生成对抗网络（DBLRGAN），在两个标准的基准测试，并达到了最先进的性能。
2018-08-22 cs.CV
DAVID: Dual-Attentional Video Deblurring
NEC Laboratories America（NEC美国实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；ByteDance AI Lab（字节跳动人工智能实验室）；Texas A&M University（得克萨斯农工大学）
盲视频去模糊恢复清晰的帧从模糊的序列，没有任何先验。这是一个具有挑战性的任务，因为由于相机抖动，物体运动和散焦的模糊是异构的时间和空间维度。传统的方法训练在用单个模糊级别合成的数据集上，因此不能很好地跨模糊级别进行推广。为了解决这一挑战，我们提出了一个双注意力机制动态聚合时间线索去模糊与端到端的可训练的网络结构。具体而言，内部注意模块自适应地选择用于恢复尖锐中心帧的最佳时间尺度。外部注意力模块自适应地聚合和细化多个清晰的帧估计，从几个内部注意力模块设计用于不同的模糊水平。为了训练和评估更多样化的模糊严重程度，我们提出了一个混合的DVD数据集从原始DVD视频集通过池帧与不同的时间窗口。我们的框架在这个更具挑战性的数据集上实现了始终如一的更好性能，同时在原始DVD基准测试中获得了具有强烈竞争力的结果。广泛的烧蚀研究和定性可视化进一步证明了我们的方法在处理真实视频模糊的优势。
2019-12-07 cs.CV
Pay Attention to Hidden States for Video Deblurring: Ping-Pong Recurrent Neural Networks and Selective Non-Local Attention
NVIDIA（英伟达）；Seoul National University（首尔大学）
视频去模糊模型利用相邻帧中的信息来去除由相机和对象的运动引起的模糊。循环神经网络~（RNN）常被用来通过隐藏状态来对帧间的时间依赖性进行建模。然而，当运动模糊较强时，由于不同帧之间的位移，隐藏状态很难传递适当的信息。虽然已经尝试更新隐藏状态，但很难处理简单模块的接收域之外的未对齐特征。因此，我们提出了2个模块来补充RNN架构，用于视频去模糊。首先，我们设计了乒乓RNN~（PPRNN），它通过交替参考当前和前一个时间步的特征来更新隐藏状态。PPRNN通过利用其递归架构，以迭代和平衡的方式从这两个特征中收集相关信息。其次，我们使用选择性非局部注意力（SNLA）模块，通过将其与输入帧特征的位置信息对齐来进一步细化隐藏状态。注意力分数通过与输入特征的相关性来缩放，以专注于必要的信息。通过关注具有强大协同作用的两个模块的隐藏状态，我们的PAHS框架提高了RNN结构的表示能力，并在标准基准测试和真实视频上实现了最先进的去模糊性能。
2022-04-07 cs.CV
DaBiT: Depth and Blur informed Transformer for Video Focal Deblurring
School of Computer Science, University of Bristol（计算机科学学院，布里斯托尔大学）
本文提出DaBiT框架，利用映射引导Transformer和流重新聚焦模块解决视频焦点去模糊问题，并创建DAVIS-Blur基准数据集，平均PSNR提升超过1.9dB。
2025-02-20 cs.CV
Adaptive High-Pass Kernel Prediction for Efficient Video Deblurring
National University of Singapore（新加坡国立大学）
针对视频模糊导致高频细节丢失及神经网络频谱偏置问题，本文提出由高通基核线性组合动态预测自适应高通核，以低内存、快推理实现优于低预算模型的去模糊性能。
2024-12-02 cs.CV
Pyramid Feature Alignment Network for Video Deblurring
Wuhan University（武汉大学）
视频去模糊仍然是一个具有挑战性的任务，由于模糊的各种原因。传统的图像恢复方法主要考虑如何利用相邻帧进行单尺度对齐。然而，它们通常遭受由严重模糊引起的未对准。在这项工作中，我们的目标是更好地利用相邻帧与高效的特征对齐。我们提出了一个金字塔特征对齐网络（PFAN）的视频去模糊。首先，在对齐之前，采用结构到细节下采样（SDD）策略提取模糊帧的多尺度特征。这种下采样策略使边缘更清晰，这有助于对齐。然后我们在每个尺度上对齐特征，并在相应的尺度上重建图像。该策略有效地监督每个尺度的对准，克服了在对准阶段来自上述尺度的传播误差的问题。为了更好地处理复杂和大运动的挑战，而不是在每个尺度上分别对齐特征，使用较低尺度的运动信息来指导较高尺度的运动估计。因此，提出了一种级联引导的可变形对准（CGDA），将粗运动集成到可变形卷积中，以实现更精细和更准确的对准。如在广泛的实验中所示，我们提出的PFAN具有竞争力的速度相比，国家的最先进的方法实现了优越的性能。
2022-03-28 cs.CV
Reblur2Deblur: Deblurring Videos via Self-Supervised Learning
NVIDIA Research（英伟达研究院）；Rice University（莱斯大学）
运动模糊是计算机视觉中的一个基本问题，因为它影响图像质量并阻碍推理。传统的去模糊算法利用图像形成模型的物理特性，并使用手工制作的先验：它们通常会产生更好地反映底层场景的结果，但会出现伪影。最近的基于学习的方法隐式地直接从数据中提取自然图像的分布，并使用它来合成合理的图像。他们的结果令人印象深刻，但他们并不总是忠实于潜像的内容。我们提出了一种方法，桥梁两者。我们的方法微调现有的去模糊神经网络在一个自我监督的方式，通过强制的输出，当模糊的基础上后续帧之间的光流，匹配输入模糊图像。我们表明，我们的方法显着提高了现有方法在几个数据集上的性能，无论是在视觉上还是在图像质量指标方面。补充材料为https://goo.gl/nYPjEQ
2018-01-16 cs.CV
MoBGS: Motion Deblurring Dynamic 3D Gaussian Splatting for Blurry Monocular Video
MoBGS通过模糊适应性潜在相机估计和曝光估计方法，实现对模糊单目视频中动态场景的高效去模糊和高质量时空视图重建。
2025-12-03 cs.CV
CompEvent: Complex-valued Event-RGB Fusion for Low-light Video Enhancement and Deblurring
CompEvent通过复数神经网络实现事件数据与RGB帧的全过程融合，提升低光照视频去模糊效果。
2026-02-06 cs.CV
VJT: A Video Transformer on Joint Tasks of Deblurring, Low-light Enhancement and Denoising
The Chinese University of Hong Kong（香港中文大学）；National University of Defense Technology（国防科技大学）；City University of Hong Kong（香港城市大学）；Nanjing University of Science and Technology（南京理工大学）
针对极端环境下视频同时存在模糊、低光照、噪声退化的联合复原难题，本文提出首个端到端多层视频Transformer方法VJT，搭配层间特征融合与自适应加权策略，并构建MLBN数据集，实验证明其效果优于现有最优方法。
2024-01-26 cs.CV
Hand-held Video Deblurring via Efficient Fourier Aggregation
Duke University（杜克大学）
用手持相机拍摄的视频通常会出现大量的模糊，这主要是由摄影师的手不可避免的自然震颤造成的。在这项工作中，我们提出了一种算法，消除模糊，由于相机抖动相结合的信息在傅立叶域从附近的帧在视频中。典型视频的动态特性以及多个移动对象和遮挡的存在使得相机抖动去除的问题极具挑战性，特别是当需要低复杂度时。给定输入视频帧，我们首先创建时间相邻帧的一致注册版本。然后，在傅立叶域中利用取决于傅立叶频谱幅度的权重对一致配准的帧的集合进行逐块融合。该方法的动机来自生理事实，即相机抖动模糊具有随机性质，因此，附近的视频帧通常被不同地模糊。在野外录制的大量视频的实验以及广泛的比较表明，该算法实现了最先进的结果，同时比竞争对手快得多。
2015-12-04 cs.CV
Dynamic Scene Deblurring using a Locally Adaptive Linear Blur Model
Seoul National University（首尔国立大学）
现有技术的视频去模糊方法不能处理动态场景中记录的模糊视频，因为它们是在所捕获的场景是静态的强烈假设下构建的。与现有的方法相反，我们提出了一种视频去模糊算法，可以处理动态场景中固有的一般模糊。为了处理由各种来源（例如移动对象、相机抖动、深度变化和散焦）引起的一般和局部变化的模糊，我们估计逐像素非均匀模糊核。我们推断双向光流来处理运动模糊，并且还估计高斯模糊图以在我们的新模糊模型中从散焦中去除光学模糊。因此，我们提出了一个单一的能量模型，联合估计光流，散焦模糊地图和潜在的帧。我们还提供了一个框架和高效的求解器，以尽量减少所提出的能源模型。通过优化能量模型，我们在去除一般模糊，估计光流，并在模糊帧中扩展景深方面取得了显着的改进。此外，在这项工作中，为了客观地评估非均匀去模糊方法的性能，我们构建了一个新的真实数据集。此外，广泛的实验公开具有挑战性的视频数据表明，所提出的方法产生的质量优于性能比国家的最先进的方法，往往失败，无论是去模糊或光流估计。
2016-03-14 cs.CV
Effects of Blur and Deblurring to Visual Object Tracking
Colledge of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics (SMARC), State Administration of Cultural Heritage, China（国家文物局文物表面监测与分析重点研究中心）；Department of Computer Science and Engineering, University of South Carolina（南卡罗来纳大学计算机科学与工程系）
直观地说，运动模糊可能会损害视觉对象跟踪的性能。然而，我们缺乏定量评估跟踪器的鲁棒性，以不同程度的运动模糊。与此同时，虽然图像去模糊方法可以产生视觉上更清晰的视频以取悦人眼，但视觉对象跟踪是否可以从图像去模糊中受益还不清楚。在本文中，我们通过构建一个模糊视频跟踪基准来解决这两个问题，该基准包含具有不同运动模糊水平的各种视频，以及用于评估跟踪器的地面实况跟踪结果。我们在这个基准上广泛评估了23个跟踪器，并观察到一些新的有趣结果。具体来说，我们发现，轻模糊可以提高许多跟踪器的性能，但严重的模糊总是伤害跟踪性能。我们还发现，图像去模糊可能有助于提高跟踪性能的严重模糊的视频，但伤害的性能轻微模糊的视频。根据这些观察，我们提出了一个新的GAN为基础的计划，以提高跟踪器的鲁棒性运动模糊。在该方案中，一个微调的模糊度作为一个自适应评估器，有选择地去模糊帧在跟踪过程中使用。我们使用该方案成功地提高了6跟踪器的准确性和鲁棒性。
2019-08-21 cs.CV
EVDI++: Event-based Video Deblurring and Interpolation via Self-Supervised Learning
School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Peng Cheng Laboratory（鹏城实验室）；Computer Graphics Lab of ETH Zurich（苏黎世联邦理工学院计算机图形实验室）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）
EVDI++提出统一自监督框架，利用事件相机高时间分辨率，通过可学习双重积分网络与融合策略，实现视频去模糊与插值，在合成及真实数据集上达到最先进性能。
2025-09-10 cs.CV
Multi-Scale Memory-Based Video Deblurring
National University of Singapore（新加坡国立大学）
由于深度神经网络的成功，视频去模糊取得了显着进展。大多数方法解决了端到端的去模糊，从视频序列中传播的信息有限。然而，不同的帧区域表现出不同的特性，并且应当被提供有对应的相关信息。为了实现细粒度的去模糊，我们设计了一个记忆分支来存储记忆库中的模糊-清晰特征对，从而为模糊查询输入提供有用的信息。为了丰富存储库的存储空间，我们进一步设计了一种基于存储库的双向递归和多尺度策略。实验结果表明，我们的模型优于其他国家的最先进的方法，同时保持模型的复杂性和推理时间低。该代码可在https://github.com/jibo27/MemDeblur上获得。
2022-04-06 cs.CV eess.IV
Towards Real-world Event-guided Low-light Video Enhancement and Deblurring
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对低光照视频的运动模糊与暗光问题，提出基于分束器混合相机系统的真实世界数据集及端到端框架，利用事件与帧的时间信息和跨模态特征滤波，联合实现低光照增强与去模糊，显著优于现有方法。
2024-08-27 cs.CV
MoBluRF: Motion Deblurring Neural Radiance Fields for Blurry Monocular Video
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电子工程学院）；Department of Imaging Science, GSAIM, Chung-Ang University（Chung-Ang大学成像科学系）
MoBluRF提出面向模糊单目视频的运动去模糊NeRF框架，通过基础射线初始化和基于运动分解的增量式潜在清晰射线预测，在无掩码监督下实现动态场景的清晰时空视角合成，性能显著超越现有方法。
2025-06-03 cs.CV
DeblurSR: Event-Based Motion Deblurring Under the Spiking Representation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
DeblurSR利用事件数据和脉冲表示将模糊图像转换为清晰视频，以更高输出质量和更低计算资源超越现有方法，并支持视频超分辨率扩展。
2023-12-22 cs.CV
Dynamic Scene Video Deblurring using Non-Local Attention
本文解决了视频去模糊的挑战性问题。现有的工作大多依赖于隐式或显式对齐的时间信息融合，这要么增加计算成本或导致次优性能，由于错误的对齐。在这项研究中，我们提出了一个分解的时空注意执行跨空间和时间的非局部操作，充分利用现有的信息，而不依赖于对齐。与现有的融合技术相比，它显示出优越的性能，同时效率更高。在多个数据集上的实验证明了该方法的优越性。
2022-01-01 cs.CV eess.IV
DIVD: Deblurring with Improved Video Diffusion Model
针对视频去模糊中失真指标与人类感知相关性弱、重建缺乏真实感的问题，本文引入基于改进视频扩散模型的DIVD，利用相邻帧相关信息并解决时间错位，在感知指标上达SOTA，首次将扩散模型用于该任务以突破局限。
2024-12-01 cs.AI cs.CV
Video Deblurring via Semantic Segmentation and Pixel-Wise Non-Linear Kernel
Tencent AI Lab（腾讯人工智能实验室）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Electrical Engineering and Computer Science, University of California, Merced（加州大学默塞德分校电气工程与计算机科学）
视频去模糊是一个具有挑战性的问题，因为模糊是复杂的，通常是由相机抖动，物体运动和深度变化的组合引起的。光流可用于核估计，因为它预测运动轨迹。然而，在复杂的场景中，目标边界的估计往往是不准确的，这是核估计的关键。在本文中，我们利用语义分割在每个模糊帧理解场景的内容，并使用不同的运动模型的图像区域，以指导光流估计。虽然现有的逐像素模糊模型假设模糊核与曝光时间期间的光流相同，但是当像素处的运动模糊轨迹与估计的线性光流不同时，该假设不成立。我们分析了运动模糊轨迹和光流之间的关系，并提出了一种新的像素级非线性核模型来解释运动模糊。该模糊模型基于非线性光流，能更有效地描述复杂的运动模糊。在具有挑战性的模糊视频上的大量实验表明，该算法对最先进的方法表现良好。
2017-08-11 cs.CV
Blur-aware Spatio-temporal Sparse Transformer for Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
针对时空 Transformer 窗口受限及双向传播受模糊帧光流误差影响的问题，本文提出 BSSTNet，利用模糊图实现稀疏注意力和模糊引导传播，在 GoPro 与 DVD 上达到最优去模糊性能。
2024-06-11 cs.CV
Unifying Motion Deblurring and Frame Interpolation with Events
Wuhan University（武汉大学）
基于帧的相机的慢快门速度和长曝光时间通常会导致视觉模糊和帧间信息的丢失，从而降低所捕获视频的整体质量。为此，我们提出了一个统一的框架，基于事件的运动去模糊和帧内插模糊视频增强，利用极低的延迟事件，以减轻运动模糊，促进中间帧预测。具体地说，首先通过一个可学习的双积分网络预测模糊帧和清晰潜像之间的映射关系，然后通过利用连续模糊输入和并发事件的信息，提出一个融合网络来改进粗糙结果。通过探索模糊帧，潜像和事件流之间的相互约束，我们进一步提出了一个自监督学习框架，使网络训练与现实世界的模糊视频和事件。大量的实验表明，我们的方法与最先进的方法相比毫不逊色，在合成和真实世界的数据集上都取得了显着的性能。
2022-04-14 cs.CV
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
Beijing Jiaotong University（北京交通大学）；Dzine AI；University of Toronto（多伦多大学）
StereoWorld通过几何感知正则化和时空拼接方案，实现高效高质量的单目到立体视频生成。
2025-12-11 cs.CV
