VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
Ada-VSR: Adaptive Video Super-Resolution with Meta-Learning
University of California, Riverside（加州大学河滨分校）
现有的有监督时空视频超分辨率（STVSR）研究大多依赖于由成对的低分辨率低帧率（LR-LFR）和高分辨率高帧率（HR-HFR）视频组成的大规模外部数据集。尽管它们的显着的性能，这些方法作出了一个先验的假设，即低分辨率的视频是通过使用一个已知的退化内核，这并不成立，在实际的设置中，通过缩小高分辨率的视频。这些方法的另一个问题是它们不能在测试时利用视频的实例特定的内部信息。最近，深度内部学习方法由于能够利用视频的实例特定统计数据而受到关注。然而，这些方法的推理时间很长，因为它们需要数千次梯度更新来学习数据的内在结构。在这项工作中，我们提出了AdaptiveVideoSuper-Resolution（Ada-VSR），它分别通过元迁移学习和内部学习来利用外部和内部信息。具体地，元学习被用来使用大规模外部数据集来获得自适应参数，其可以在内部学习任务期间快速适应给定测试视频的新条件（降级模型），从而利用视频的外部和内部信息来进行超分辨率。使用我们的方法训练的模型可以快速适应特定的视频条件，只需进行几次梯度更新，从而显着减少推理时间。在标准数据集上进行的大量实验表明，我们的方法与各种最先进的方法相比表现良好。
2021-08-05 cs.CV eess.IV
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University（伯恩茅斯大学）；Department of Computing and Informatics（计算与信息学院）
视频游戏图形的计算成本正在增加，并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形，同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣，并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC（中国科学技术大学）；UC San Diego（加州大学圣地亚哥分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）；U of Oregon（俄勒冈大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵，因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率（STVSR）的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而，它们中的大多数仅支持固定的上采样尺度，这限制了它们的灵活性和应用。在这项工作中，而不是以下的离散表示，我们提出了视频隐式神经表示（VideoINR），我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能，并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University（武汉大学）
NNVISR 是一个面向 VapourSynth 的开源滤镜插件，通过统一接入任意帧组增强网络并自动处理网络无关细节，将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
Self-Supervised Deep Blind Video Super-Resolution
Nanjing University of Science and Technology（南京理工大学）
现有的基于深度学习的视频超分辨率（SR）方法通常依赖于监督学习方法，其中训练数据通常通过具有已知或预定义核的模糊操作来生成（例如，双三次核），然后进行抽取操作。然而，这并不适用于实际应用，因为退化过程是复杂的，并且不能很好地近似于这些理想情况。此外，在真实世界场景中获得高分辨率（HR）视频和对应的低分辨率（LR）视频是困难的。为了克服这些问题，我们提出了一种自监督学习方法来解决盲视频SR问题，它同时估计模糊核和HR视频从LR视频。由于直接使用LR视频作为监督通常会导致琐碎的解决方案，我们开发了一种简单有效的方法，根据视频SR的图像形成从原始LR视频生成辅助配对数据，以便网络可以更好地约束所生成的配对数据，用于模糊核估计和潜在HR视频恢复。此外，我们引入了一个光流估计模块，利用相邻帧的信息进行HR视频恢复。实验表明，我们的方法表现良好，对国家的最先进的基准和现实世界的视频。
2022-01-19 cs.CV
Reference-based Video Super-Resolution Using Multi-Camera Video Triplets
POSTECH（浦项科技大学）
我们提出了第一个基于参考的视频超分辨率（RefVSR）的方法，利用参考视频高保真的结果。我们专注于三摄像头设置中的RefVSR，我们的目标是利用广角和长焦视频超分辨率低分辨率超宽视频。我们介绍了第一个RefVSR网络，该网络递归地对齐和传播与从低分辨率帧中提取的特征融合的时间参考特征。为了便于时间参考特征的融合和传播，我们提出了一个传播时间融合模块。为了学习和评估我们的网络，我们提出了第一个RefVSR数据集，该数据集由从智能手机的三个摄像头同时拍摄的超宽、广角和长焦视频组成。我们还提出了一个两阶段的训练策略，充分利用视频三元组在现实世界的4倍视频超分辨率建议的数据集。我们广泛地评估了我们的方法，结果显示了最先进的性能在4倍超分辨率。
2022-03-28 cs.CV
Optical Flow for Video Super-Resolution: A Survey
Wuhan University（武汉大学）；Hubei University of Economics（湖北经济学院）；Central China Normal University（华中师范大学）；Arizona State University（亚利桑那州立大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
视频超分辨率是当前计算机视觉中最活跃的研究课题之一，因为它在许多视觉应用中起着重要的作用。通常，视频超分辨率包含重要分量，即，运动补偿，其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动，是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用，本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题：超分辨率的功能（即，为什么我们需要超分辨率）;视频超分辨率的概念（即，什么是视频超分辨率）;评估度量的描述（即，（视频）超分辨率如何执行）;引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究，并对几种典型算法进行了分析和比较。此外，我们强调了一些有前途的研究方向和开放的问题，应进一步解决。
2022-03-20 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon（亚马逊）
这项工作的重点是低比特率的视频流场景（例如50 - 200 Kbps），其中视频质量严重受损。我们提出了一系列新颖的深度生成模型，用于通过执行超分辨率来增强此类流的感知视频质量，同时还去除压缩伪影。我们的模型，我们称之为SuperTran，除了低质量，低分辨率的视频流之外，还需要输入一个高质量，高分辨率的参考图像。因此，模型学习如何从参考图像借用或复制视觉元素（如纹理），并填充低分辨率流中的剩余细节，以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次，也可以从图库中检索。重要的是，所得到的输出具有比仅使用低分辨率输入的方法（例如SuperVEGAN方法）可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作（高达30帧/秒）。
2022-11-22 cs.CV cs.LG eess.IV
VESR-Net: The Winning Solution to Youku Video Enhancement and Super-Resolution Challenge
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了一种视频增强和超分辨率（VESR）的方法VESR-Net。在VESR-Net中，我们设计了一个独立的非局部模块来探索视频帧之间的关系并有效地融合视频帧，设计了一个通道注意力残差块来捕获特征图之间的关系，用于视频帧重构。我们进行实验，以分析这些设计的有效性VESR-Net，这表明VESR-Net的优势，以前的国家的最先进的VESR方法。值得一提的是，在数千名参加优酷视频增强和超分辨率（Youku-VESR）挑战赛的参赛者中，我们提出的VESR-Net击败了其他竞争方法，排名第一。
2020-03-04 cs.CV cs.LG eess.IV
A Novel Dual Dense Connection Network for Video Super-resolution
Communication University of China（中国传媒大学）
视频超分辨率（VSR）是指从相应的低分辨率（LR）视频重建高分辨率（HR）视频。近年来，振动时效越来越受到人们的关注。在本文中，我们提出了一种新的双稠密连接网络，可以产生高质量的超分辨率（SR）的结果。该方法将输入帧分为参考帧、时前组和时后组，分别代表不同时间段的信息。这种分组方法提供了不同时间段的准确信息，而不会造成时间信息混乱。同时，我们提出了一种新的损失函数，这有利于增强模型的收敛能力。在Vid 4数据集和SPMCS-11数据集上的实验表明，该模型的性能优于其他先进模型。
2022-03-05 cs.CV cs.LG eess.IV
ICME 2025 Grand Challenge on Video Super-Resolution for Video Conferencing
Microsoft Corporation（微软公司）
本文介绍 ICME 2025 视频会议视频超分辨率挑战赛，针对 H.265 固定 QP 编码的低分辨率视频，设置通用、说话人头和屏幕内容三个赛道，并开源新的屏幕内容数据集，采用 ITU-T Rec P.910 众包主观测试评估因果模型在低延迟下的超分效果。
2025-07-01 cs.CV cs.MM eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
视频压缩是互联网视频传输的关键组成部分。最近的研究表明，深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法，但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法，增强现有的编解码器与一个小的，内容自适应超分辨率模型，显着提高视频质量。我们的方法SRVC将视频编码成两个比特流：（i）内容流，通过使用现有编解码器压缩下采样的低分辨率视频产生，（ii）模型流，其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过（时变）超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明，为了实现相同的PSNR，SRVC在慢速模式下需要H. 265的每像素比特数的16%，以及DVC的每像素比特数的2%，DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution
Purdue University（普渡大学）；University of Rochester（罗切斯特大学）；Northeastern University（东北大学）
在本文中，我们探讨了空时视频超分辨率的任务，其目的是从低帧速率（LFR），低分辨率（LR）的视频生成一个高分辨率（HR）的慢动作视频。一个简单的解决方案是将其分为两个子任务：视频帧插值（VFI）和视频超分辨率（VSR）。然而，时间内插和空间超分辨率在这个任务中是内部相关的。两阶段方法不能充分利用自然属性。此外，现有技术的VFI或VSR网络需要大的帧合成或重构模块来预测高质量的视频帧，这使得两阶段方法具有大的模型尺寸，因此是耗时的。为了克服这些问题，我们提出了一个单级时空视频超分辨率框架，它直接从LFR，LR视频合成HR慢动作视频。而不是合成丢失的LR视频帧的VFI网络做，我们首先在时间上插值LR帧的功能，在丢失的LR视频帧捕获本地的时间上下文所提出的特征时间插值网络。然后，我们提出了一个可变形的ConvLSTM对齐和聚合的时间信息，同时更好地利用全局时间上下文。最后，采用深度重构网络对HR慢动作视频帧进行预测。在基准数据集上的大量实验表明，该方法不仅实现了更好的定量和定性性能，而且比最近的两阶段最先进的方法快三倍以上，例如，DAIN+EDVR和DAIN+RBPN。
2020-02-26 cs.CV cs.MM eess.IV
Rethinking Video Super-Resolution: Towards Diffusion-Based Methods without Motion Alignment
TopXGun Robotics（TopXGun机器人研究所）；Nanjing University（南京大学）
本文提出基于扩散后验采样框架的视频超分辨率方法，无需显式估计光流或运动参数，通过学习现实物理规律来处理多种运动模式，实验证明其有效性。
2025-11-04 cs.CV cs.LG eess.IV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research（京东人工智能研究院）；JD Finance America Corporation（京东金融美国公司）
本文提出了一种新的视频超分辨率方法，旨在从低分辨率（LR）视频生成高保真高分辨率（HR）视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能，因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下，我们设计了一种跨帧非局部注意力机制，允许视频超分辨率而无需帧对齐，从而对视频中的大运动更加鲁棒。此外，为了获取相邻帧以外的信息，我们设计了一种新的记忆增强注意模块，用于在超分辨率训练过程中记忆一般视频细节。实验结果表明，我们的方法可以实现更优越的性能在大的运动视频相比，国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University（南洋理工大学）
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中，我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明，通过增强传播和对齐的经常性框架，可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是，我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB，参数数量相似。除了视频超分辨率之外，BasicVSR++还可以很好地推广到其他视频恢复任务，如压缩视频增强。在NTIRE 2021中，BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Self-Supervised Adaptation for Video Super-Resolution
Hanyang University（汉阳大学）
最近的单图像超分辨率（SISR）网络，它可以调整其网络参数，以特定的输入图像，已经显示出有前途的结果，通过利用输入数据以及大型外部数据集内可用的信息。然而，这些自我监督的SISR方法的视频处理的扩展还有待研究。因此，我们提出了一种新的学习算法，允许传统的视频超分辨率（VSR）网络，以适应他们的参数来测试视频帧，而不使用地面实况数据集。通过利用空间和时间上的许多自相似补丁，我们提高了完全预训练的VSR网络的性能，并产生时间上一致的视频帧。此外，我们提出了一个测试时的知识蒸馏技术，加快了适应速度与较少的硬件资源。在我们的实验中，我们证明了我们的新学习算法可以微调最先进的VSR网络，并大大提高了许多基准数据集的性能。
2021-03-18 cs.CV
Combining Contrastive and Supervised Learning for Video Super-Resolution Detection
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
视频放大检测是多媒体取证中的一个有用的工具，但它是一个具有挑战性的任务，涉及各种放大和压缩算法。分辨率增强方法有很多，包括插值和基于深度学习的超分辨率，并且它们会留下独特的痕迹。在这项工作中，我们提出了一种新的分辨率提升检测方法的基础上学习的视觉表示使用对比度和交叉熵损失。为了解释该方法如何检测视频，我们系统地回顾了我们框架的主要组成部分-特别是，我们表明大多数数据增强方法阻碍了该方法的学习。通过对各种数据集的广泛实验，我们证明了我们的方法即使在压缩视频中也能有效地检测到放大，并且优于最先进的替代方案。代码和模型可在https://github.com/msu-video-group/SRDM上公开获取
2022-05-20 cs.CV
Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks
Toyota Technological Institute（丰田工业大学）
本文提出一种用于视频超分辨率的循环网络训练策略，通过重用依视频属性变化的隐藏状态并引入帧数条件化，有效消除了长短视频间的域差距，实现了独立于视频长度和动态特性的高效稳定超分。
2024-03-23 cs.CV
VideoGigaGAN: Towards Detail-rich Video Super-Resolution
Adobe Research（奥多比研究院）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出 VideoGigaGAN，通过改进 GigaGAN 的时间模块与关键技术，在保持时间一致性的同时生成细节更丰富的视频，并在公共数据集上验证了其 8 倍超分辨率效果。
2024-05-01 cs.CV
End-to-End Learning of Video Super-Resolution with Motion Compensation
University of Freiburg（弗莱堡大学）
学习方法已经在给定低分辨率输入的超分辨率图像的任务中显示出巨大的成功。视频超分辨率的目的是利用额外的信息，从多个图像。典型地，图像经由光流和连续图像扭曲而相关。在本文中，我们提供了一个端到端的视频超分辨率网络，与以前的作品相比，包括估计的光流在整个网络架构。我们分析了用于视频超分辨率的光流的使用，并且发现常见的现成的图像变形不允许视频超分辨率从光流中受益很多。相反，我们提出了一种用于运动补偿的操作，其直接执行从低到高分辨率的扭曲。我们表明，这种网络配置，视频超分辨率可以受益于光流，我们得到了最先进的流行的测试集上的结果。我们还表明，整个图像的处理，而不是独立的补丁是负责一个大的准确性增加。
2017-07-03 cs.CV
AIM 2019 Challenge on Video Temporal Super-Resolution: Methods and Results
Seoul National University（首尔大学）
视频包含各种类型和强度的运动，当记录的帧速率低时，这些运动在时间上看起来可能不自然地不连续。本文回顾了第一个AIM挑战视频时间超分辨率（帧内插），重点是所提出的解决方案和结果。从低帧速率（15 fps）视频序列，要求挑战参与者通过估计时间上的中间帧来提交较高帧速率（60 fps）视频序列。我们采用的REDS VTSR数据集来自不同的视频在手持摄像机拍摄的训练和评估的目的。比赛共有62名注册参赛者，共有8支队伍参加了最后的测试阶段。挑战获胜的方法实现了视频时间超分辨率的最先进的。
2020-05-04 cs.CV
COMISR: Compression-Informed Video Super-Resolution
Google Inc.（谷歌公司）
大多数视频超分辨率方法集中于从低分辨率视频恢复高分辨率视频帧，而不考虑压缩。然而，网络或移动设备上的大多数视频都是压缩的，当带宽有限时，压缩可能会很严重。在本文中，我们提出了一个新的压缩通知视频超分辨率模型恢复高分辨率的内容，而不会引入压缩造成的文物。该模型由三个模块组成的视频超分辨率：双向递归翘曲，细节保持流估计，拉普拉斯增强。所有这三个模块都用于处理压缩属性，例如输入帧中的帧内位置和输出帧中的平滑度。为了进行彻底的性能评估，我们对具有各种压缩率的标准数据集进行了广泛的实验，涵盖了许多真实的视频用例。我们表明，我们的方法不仅可以从广泛使用的基准数据集中恢复未压缩帧上的高分辨率内容，而且还可以基于许多定量指标在超分辨率压缩视频中实现最先进的性能。我们还通过模拟YouTube流来评估所提出的方法，以证明其有效性和鲁棒性。源代码和训练模型可在https://github.com/google-research/google-research/tree/master/comisr上获得。
2021-10-12 cs.CV
UniMMVSR: A Unified Multi-Modal Framework for Cascaded Video Super-Resolution
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）
UniMMVSR提出首个统一多模态级联视频超分框架，融合文本、图像和视频条件，显著提升生成细节与条件一致性，并支持4K视频生成。
2025-10-09 cs.CV
Recurrent Back-Projection Network for Video Super-Resolution
Toyota Technological Institute（丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
针对视频超分辨率问题，提出了一种新的架构。我们使用循环编码器-解码器模块从连续视频帧中整合空间和时间上下文，该模块将多帧信息与目标帧的更传统的单帧超分辨率路径融合。与大多数先前的工作相比，框架通过堆叠或扭曲汇集在一起，我们的模型，递归反向投影网络（RBPN）将每个上下文框架视为单独的信息源。这些源被组合在一个迭代的细化框架的启发，在多图像超分辨率的反投影的想法。这通过明确表示相对于目标的估计的帧间运动而不是明确地对准帧来辅助。我们提出了一个新的视频超分辨率基准，允许在更大的规模评估，并考虑在不同的运动制度的视频。实验结果表明，我们的RBPN是优于现有的方法在几个数据集上。
2019-03-25 cs.CV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST（韩国科学技术院）
本文提出DSFN网络，通过联合去模糊与超分辨率模块和三帧帧插值模块，从低质量视频直接生成高分辨率、高帧率清晰视频，在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
An Efficient Network Design for Face Video Super-resolution
Southeast University（东南大学）；University of Cambridge（剑桥大学）
人脸视频超分辨率算法旨在通过连续输入的视频序列重建真实的人脸细节。然而，现有的视频处理算法通常包含冗余参数，以保证不同的超分辨率场景。在这项工作中，我们专注于超分辨率的人脸区域在原始视频场景，而其余地区的插值。这种特定的超分辨率任务使得在一般视频超分辨率网络中削减冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集，用于网络训练和评估，并在实验中进行超参数优化。我们使用三种组合策略来优化网络参数，并使用同步训练评估方法来加速优化过程。结果表明，同时训练评估方法提高了训练速度，有利于生成有效的网络。与现有的视频超分辨率算法相比，该算法至少减少了52.4%的参数和20.7%的FLOP，在PSNR、SSIM等性能指标上都有明显的提高。当处理36 x36 x1 x3输入视频帧序列时，高效网络提供47.62 FPS的实时处理性能。我们将我们的建议命名为人脸视频超分辨率（HO-FVSR）的超参数优化，该建议在https://github.com/yphone/efficient-network-for-face-VSR上开源。
2021-09-28 cs.AI cs.CV
Deformable 3D Convolution for Video Super-Resolution
National University of Defense Technology（国防科技大学）
视频序列间的时空信息对于视频超分辨率（SR）具有重要意义。然而，由于空间特征提取和时间运动补偿通常是顺序执行的，因此现有的视频SR方法不能充分利用时空信息。在本文中，我们提出了一个可变形的3D卷积网络（D3Dnet），将时空信息从空间和时间维度的视频SR。具体来说，我们引入可变形的3D卷积（D3D）集成可变形的卷积与3D卷积，同时获得优越的时空建模能力和运动感知建模的灵活性。大量的实验已经证明了D3D在利用时空信息方面的有效性。比较结果表明，我们的网络达到了最先进的SR性能。代码可在：https://github.com/XinyiYing/D3Dnet.
2020-08-15 cs.CV
Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
University of Science and Technology Beijing（北京科技大学）；Microsoft Research（微软研究院）；Shunde Graduate School of University of Science and Technology Beijing（北京科技大学顺德研究生院）
压缩视频超分辨率（VSR）旨在从压缩的低分辨率对应物恢复高分辨率帧。最新的VSR方法通常通过从相邻视频帧借用相关纹理来增强输入帧。虽然已经取得了一些进展，但要从压缩视频中有效地提取和传输高质量的纹理仍然存在巨大的挑战，因为大多数帧通常都是高度退化的。在本文中，我们提出了一种新的频率变换器压缩视频超分辨率（FTVSR），进行自关注的联合空间-时间-频率域。首先，我们将一个视频帧分成补丁，并将每个补丁转换成DCT频谱图，其中每个通道代表一个频带。这样的设计使得能够在每个频带上实现细粒度级别的自关注，使得可以将真实的视觉纹理与伪影区分开，并且进一步用于视频帧恢复。其次，我们研究了不同的自注意方案，并发现一个分开的注意，进行联合空间频率注意之前，每个频带上应用时间注意，导致最好的视频增强质量。两个广泛使用的视频超分辨率基准测试的实验结果表明，FTVSR优于国家的最先进的方法在未压缩和压缩视频具有清晰的视觉边缘。代码可在https://github.com/researchmm/FTVSR上获得。
2022-08-05 cs.CV
Kalman-Inspired Feature Propagation for Video Face Super-Resolution
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）
针对视频人脸超分辨率中细节重建与时间一致性难以兼顾的问题，提出KEEP框架，借助卡尔曼滤波思想循环传播历史恢复特征以稳定人脸先验，并验证其跨帧细节一致性。
2024-08-09 cs.CV
Video Super-Resolution with Recurrent Structure-Detail Network
Tsinghua University（清华大学）；The University of Sydney（悉尼大学）
大多数视频超分辨率方法在时间滑动窗口中的相邻帧的帮助下对单个参考帧进行超分辨率。与基于递归的方法相比，它们的效率较低。在这项工作中，我们提出了一种新的经常性的视频超分辨率方法，这是有效的和高效的利用以前的帧超分辨率的当前帧。它将输入分为结构和细节分量，这些分量被馈送到由几个建议的双流结构细节块组成的循环单元。此外，隐藏状态自适应模块，允许当前帧选择性地使用隐藏状态的信息被引入，以提高其鲁棒性的外观变化和错误积累。广泛的消融研究验证了所提出的模块的有效性。在多个基准数据集上的实验表明，与现有的视频超分辨率方法相比，该方法具有更好的性能。
2020-08-02 cs.CV
FCVSR: A Frequency-aware Method for Compressed Video Super-Resolution
School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科学与技术大学）
本文提出FCVSR方法，通过运动引导自适应对齐网络和多频率特征细化模块，结合频率感知对比损失，提升压缩视频超分辨率性能，实验表明在PSNR和复杂度上优于现有方法。
2025-10-11 cs.CV
Temporal Kernel Consistency for Blind Video Super-Resolution
University of Cambridge（剑桥大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）；University of Warwick（华威大学）
基于深度学习的盲超分辨率（SR）方法最近在提升具有未知退化的帧方面取得了前所未有的性能。这些模型能够从给定的低分辨率（LR）图像中准确地估计未知的降尺度内核，以便在恢复过程中利用内核。虽然这些方法在很大程度上是成功的，但它们主要是基于图像的，因此不利用多个视频帧中内核的时间特性。在本文中，我们研究了内核的时间特性，并强调了其在盲视频超分辨率任务中的重要性。具体来说，我们测量了真实世界的视频的内核时间一致性，并说明了估计的内核如何在场景及其对象的动态性不同的视频中每帧发生变化。有了这个新的见解，我们重新审视了以前流行的视频SR方法，并表明，在整个恢复过程中使用一个固定的内核之前的假设可能会导致视觉伪影时，放大现实世界的视频。为了抵消这一点，我们定制了现有的单图像和视频SR技术，以利用内核的一致性，在内核估计和视频放大过程。对合成视频和真实视频的大量实验表明，在定量和定性上都有很大的恢复收益，实现了盲视频SR的最新技术水平，并强调了利用内核时间一致性的潜力。
2021-08-18 cs.AI cs.CV cs.LG
Deep Parametric 3D Filters for Joint Video Denoising and Illumination Enhancement in Video Super Resolution
The Chinese University of Hong Kong（香港中文大学）；SmartMore
尽管最近的方法带来了质量的提高，视频超分辨率（SR）仍然是非常具有挑战性的，特别是对于低光和噪声的视频。目前最好的解决方案是随后采用视频SR、去噪和照明增强的最佳模型，但由于模型之间的不一致性，这样做通常会降低图像质量。本文提出了一种新的参数化表示，称为深度参数化3D滤波器（DP3DF），它结合了局部时空信息，可以在单个编码器和解码器网络中有效地同时进行去噪，照明增强和SR。此外，动态残留帧经由共享骨干与DP3DF联合学习，以进一步提高SR质量。我们进行了广泛的实验，包括大规模的用户研究，以显示我们的方法的有效性。我们的方法在所有具有挑战性的真实数据集上始终超过最先进的方法，具有最高的PSNR和用户评级，但具有非常快的运行时间。
2022-12-01 cs.CV
STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution
Nanjing University（南京大学）；ByteDance（字节跳动）；Southwest University（西南大学）
针对真实世界视频超分辨率中的时间不一致、退化伪影和保真度问题，本文提出STAR框架，通过LIEM和动态频率损失有效利用T2V先验，在合成与真实数据上达到SOTA。
2025-01-06 cs.CV
NTIRE 2021 Challenge on Video Super-Resolution
Seoul National University（首尔大学）
超分辨率（SR）是一项基本的计算机视觉任务，旨在从给定的低分辨率图像中获得高分辨率的干净图像。本文回顾了NTIRE 2021年视频超分辨率挑战赛。我们目前的评估结果，从两个竞争的轨道，以及提出的解决方案。轨道1旨在开发传统的视频SR方法，专注于恢复质量。轨道2假设具有较低帧速率的更具挑战性的环境，从而引发时空SR问题。在每一项比赛中，分别有247名和223名参赛者登记。在最后的测试阶段，14个团队在每个赛道上竞争，以实现视频SR任务的最先进性能。
2021-05-10 cs.CV
Towards Interpretable Video Super-Resolution via Alternating Optimization
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们研究了一个实用的时空视频超分辨率（STVSR）的问题，其目的是产生一个高帧率的高分辨率清晰的视频从一个低帧率的低分辨率模糊的视频。当用低帧速率和低分辨率相机记录快速动态事件时经常发生这样的问题，并且所捕获的视频将遭受三个典型问题：i）由于曝光时间期间的对象/相机运动而发生运动模糊; ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动混叠是不可避免的; iii）由于低空间采样率而丢失高频细节。这些问题可以通过级联三个单独的子任务来缓解，包括视频去模糊、帧插值和超分辨率，然而，这将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们提出了一个可解释的STVSR框架，利用基于模型和基于学习的方法。具体来说，我们制定STVSR作为一个联合的视频去模糊，帧内插，和超分辨率的问题，并解决它作为两个子问题的交替方式。对于第一个子问题，我们推导出一个可解释的解析解，并将其用作傅立叶数据变换层。然后，我们提出了一个经常性的视频增强层的第二子问题，以进一步恢复高频细节。大量的实验表明，我们的方法在定量指标和视觉质量方面的优越性。
2022-07-21 cs.CV
Deformable Kernel Convolutional Network for Video Extreme Super-Resolution
West Virginia University（西弗吉尼亚大学）；Huazhong University of Science and Technology（华中科技大学）
视频超分辨率是一种将低分辨率视频帧重构为高分辨率视频帧的技术，近年来受到越来越多的关注。大多数现有方法选择使用可变形卷积来在时间上对齐相邻帧，并应用传统的空间注意力机制（基于卷积）来增强重构特征。然而，这种仅空间的策略不能充分利用视频帧之间的时间依赖性。在本文中，我们提出了一种新的深度学习为基础的VSR算法，命名为变形核空间注意力网络（DKSAN）。由于新设计的可变形核卷积对齐（DKC_Align）和可变形核空间注意力（DKSA）模块，DKSAN可以更好地利用空间和时间冗余，以促进跨不同层的信息传播。我们已经在AIM 2020 Video Extreme超分辨率挑战赛上测试了DKSAN，以获得比例因子高达16的超分辨率视频。实验结果表明，我们提出的DKSAN可以实现更好的主观和客观的性能相比，现有的最先进的EDVR的Vid3oC和IntVID数据集。
2020-10-01 cs.CV
Self-supervised ControlNet with Spatio-Temporal Mamba for Real-world Video Super-resolution
Jiangnan University（江南大学）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）
本文提出一种结合自监督ControlNet与时空Mamba的真实世界视频超分辨率框架，通过全局时空注意力、对比学习特征提取和三阶段训练策略抑制伪影并提升感知质量。
2025-06-01 cs.CV
Learning Data-Driven Vector-Quantized Degradation Model for Animation Video Super-Resolution
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Shaanxi Yulan Jiuzhou Intelligent Optoelectronic Technology Co., Ltd（陕西昱澜九州智能光电科技有限公司）
本文针对动画视频超分辨率提出多尺度向量量化退化模型VQD-SR，利用真实动画数据先验构建退化码本，并设计HR数据增强策略，在动画VSR基准上取得最优性能。
2023-09-20 cs.CV
EgoVSR: Towards High-Quality Egocentric Video Super-Resolution
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对第一人称视频因运动模糊导致质量低下的问题，提出EgoVSR框架，结合双分支去模糊网络和模糊掩码预测，并引入在线运动模糊合成，有效提升超分辨率效果。
2023-07-26 cs.CV
Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning
The Weizmann Institute of Science（魏茨曼科学研究所）；Weizmann Artificial Intelligence Center (WAIC)（魏茨曼人工智能中心（WAIC））；Technion, Israel Institute of Technology（以色列理工学院）
当使用低帧速率相机记录非常快的动态事件时，所得到的视频遭受严重的运动模糊（由于曝光时间）和运动混叠（由于时间上的低采样率）。真正的时间超分辨率（TSR）不仅仅是时间插值（增加帧率）。它还可以恢复超出输入视频的时间奈奎斯特限制的新的高时间频率，从而解决时间帧插值（尽管可能很复杂）无法消除的运动模糊和运动混叠效应。在本文中，我们提出了一种用于真正TSR的“深度内部学习”方法。我们训练一个视频特定的CNN的例子直接从低帧率输入视频提取。我们的方法利用了一个单一的视频序列内的小时空补丁的强复发，无论是在不同的时空尺度的视频。我们进一步观察到（第一次）小的时空补丁也在视频序列的各个维度上重现-即，通过交换空间和时间维度。特别地，视频帧的较高空间分辨率提供了关于如何增加该视频的时间分辨率的强有力的示例。这种内部视频特定的例子产生了强大的自我监督，不需要数据，但输入视频本身。这导致了复杂视频的Zero-Shot Temporal-SR，它消除了运动模糊和运动混叠，优于以前在外部视频数据集上训练的监督方法。
2020-10-15 cs.CV
Video Super-resolution with Temporal Group Attention
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
视频超分辨率是一种将低分辨率视频转换为高分辨率视频的技术，近年来受到越来越多的关注。在这项工作中，我们提出了一种新的方法，可以有效地将时间信息在一个层次的方式。输入序列被分成若干组，每组对应于一种帧速率。这些组提供补充信息以恢复参考帧中丢失的细节，其进一步与注意模块和深度组内融合模块集成。此外，提出了一种快速的空间对齐来处理具有大运动的视频。大量的结果表明，该模型在处理各种运动的视频的能力。它在几个基准数据集上实现了对最先进方法的良好性能。
2020-07-21 cs.CV
Omnidirectional Video Super-Resolution using Deep Learning
针对360°视频分辨率低和畸变问题，本文构建360VDS数据集并提出S3PO模型，采用循环注意力机制和专用损失函数，在超分辨率性能上超越多数现有模型。
2025-06-03 cs.CV cs.LG cs.MM
Large Motion Video Super-Resolution with Dual Subnet and Multi-Stage Communicated Upsampling
Xidian University（西安电子科技大学）；Peng Cheng Lab（鹏城实验室）
视频超分辨率（VSR）旨在恢复低分辨率（LR）的视频并将其提高到更高分辨率（HR）。由于视频任务的特点，在VSR算法中，关注、总结和利用帧间运动信息是非常重要的。特别是，当视频包含大的运动时，常规方法容易带来不相干的结果或伪影。在本文中，我们提出了一种新的深度神经网络，具有双重子网和多级通信上采样（DSMC），用于大运动视频的超分辨率。设计了一个新的模块--U形残差稠密网络三维卷积（U3D-RDN），用于精细隐式运动估计和运动补偿（MEMC）以及粗空间特征提取。提出了一种新的多级通信上采样（MSCU）模块，充分利用上采样的中间结果来指导VSR。此外，一个新的对偶子网的设计，以帮助我们的DSMC的训练，其对偶损失有助于减少解决方案的空间，以及提高泛化能力。我们的实验结果证实，我们的方法实现了卓越的性能与大运动的视频相比，国家的最先进的方法。
2021-03-22 cs.AI cs.CV
A Stacking Ensemble Approach for Supervised Video Summarization
视频摘要方法通常分为镜头级和帧级两大类，这两类方法各自使用。本文研究了帧级和镜头级方法之间的互补性，并提出了一种堆栈集成方法用于监督视频摘要。首先，我们建立了一个堆叠模型来同时预测关键帧概率和时间兴趣段。然后通过软决策融合将这两个分量组合以获得视频中每帧的最终分数。提出了一种用于模型训练的联合损失函数。烧蚀实验结果表明，该方法优于相应的两个单独的方法。此外，在两个基准数据集上的大量实验结果表明，与最先进的方法相比，该方法具有优越的性能。
2022-07-04 cs.CV eess.IV
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University（纽约大学）；ETH Zürich（苏黎世联邦理工学院）
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中，我们提出了UVIT，一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容，使用专门的编码器-解码器结构，并通过双向递归神经网络（RNN）单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果，并为模态灵活的翻译提供了一个良好的接口。此外，通过改变我们的翻译中包含的输入帧和样式代码，我们提出了一个视频插值损失，它捕获序列中的时间信息，以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真，时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站：https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Versatile video coding and super-resolution for efficient delivery of 8K video with 4K backward-compatibility
在本文中，我们提出，通过一个客观的研究，比较和评估不同的编码方法的性能，允许提供一个8 K的视频信号与4K向后兼容的广播网络。所提出的方法包括使用高效视频编码（HEVC）和通用视频编码（VVC）标准编码的8 K和4K单层信号的联播、使用具有4K基础层（BL）和8 K增强层（EL）的SHVC的空间可伸缩性、以及在解码之后应用于4K VVC信号以达到8 K分辨率的超分辨率。对于升级，我们选择了基于深度学习的超分辨率方法，称为反馈网络超分辨率（SRFBN）和Lanczos插值滤波器。我们表明，基于深度学习的方法在联播上实现了视觉质量增益，特别是在比特率低于30 Mb/s的情况下，PSNR、SSIM和VMAF的平均增益分别为0.77 dB、0.015和7.97，并且平均比Lanczos滤波器节省了29%的BD速率。
2020-02-17 eess.IV eess.SP
Enhancement or Super-Resolution: Learning-based Adaptive Video Streaming with Client-Side Video Processing
随着多媒体技术和通信技术的飞速发展，人们对高质量的视频流媒体提出了迫切的需求。然而，在波动的网络条件和异构客户端计算能力下的鲁棒视频流仍然是一个挑战。在本文中，我们考虑了增强功能的视频流网络下的时变无线网络和有限的计算能力。“增强”是指客户端可以通过图像处理模块来提高下载视频片段的质量。我们的目标是设计一个联合的比特率自适应和客户端增强算法，以最大限度地提高体验质量（QoE）。我们将问题表示为马尔可夫决策过程（MDP），并提出了一个基于深度强化学习（DRL）的框架，名为ENAVS。由于视频流的质量主要受视频压缩的影响，我们证明了视频增强算法优于超分辨率算法的信噪比和每秒帧数，提出了一个更好的解决方案，在视频流的客户端处理。最终，我们实现了ENAVS，并在真实世界的带宽跟踪和视频下展示了广泛的测试平台结果。仿真结果表明，ENAVS能够在相同的带宽和计算能力条件下提供5%-14%以上的QoE传统ABR流。
2022-01-20 cs.SY eess.IV eess.SY
