Semantic and Temporal Integration in Latent Diffusion Space for High-Fidelity Video Super-Resolution
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University, Shanghai, China（图像通信与网络工程研究所，上海交通大学，上海，中国）；Tencent, Shanghai, China（腾讯，上海，中国）
针对现有视频超分辨率模型难以兼顾高保真对齐与帧间时序一致性的问题，提出在潜在扩散空间结合语义及时空引导的SeTe-VSR方法，在细节恢复和感知质量上优于现有方法。
2025-08-01 cs.CV eess.IV
Blind Restoration of High-Resolution Ultrasound Video
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Hong Kong Centre for Cerebro-cardiovascular Health Engineering（香港脑心血管健康工程中心）；Department of the Arts, University of Bologna（博洛尼亚大学艺术系）；Department of Computer Science and Engineering, University of Bologna（博洛尼亚大学计算机科学与工程系）；Department of Operations and Risk Management and School of Data Science, Lingnan University（岭南大学运营与风险管理系及数据科学学院）
针对超声视频低信噪比、低分辨率及预训练模型泛化性差的问题，提出自监督算法DUP，无需配对数据即可实现视频超分辨率与去噪，性能优于现有算法，助力下游应用。
2025-05-20 cs.CV eess.IV
Video Super-Resolution Using a Grouped Residual in Residual Network
Sharif University of Technology（谢里夫理工大学）
本文提出分组残差嵌套残差网络（GRRN）用于视频超分辨率，通过调整超参数训练三个不同参数量的网络，与现有方法比较，虽定量指标未胜出，但输出图像质量可接受。
2023-10-17 cs.CV eess.IV
Real-RawVSR: Real-World Raw Video Super-Resolution with a Benchmark Dataset
Tianjin University（天津大学）
近年来，由于真实图像超分辨率数据集和相应的真实图像超分辨率方法的发展，真实图像超分辨率研究取得了可喜的成果。相比之下，真实视频SR领域落后，特别是对于真实原始视频。考虑到原始图像SR相对于sRGB图像SR的优越性，我们构建了一个真实世界的原始视频SR（Real-RawVSR）数据集，并提出了相应的SR方法。我们利用两台DSLR相机和一个分束器同时捕捉低分辨率（LR）和高分辨率（HR）的原始视频，放大倍数为2倍，3倍和4倍。我们的数据集中有450个视频对，场景从室内到室外都有，运动包括相机和物体的运动。据我们所知，这是第一个真实世界的原始VSR数据集。由于原始视频的特征是拜耳模式，我们提出了一个两个分支的网络，它同时处理压缩RGGB序列和原始拜耳模式序列，这两个分支是互补的。在经历了所提出的协同对齐、交互、融合和重建模块之后，我们生成了相应的HR sRGB序列。实验结果表明，该方法优于基准的真实和合成视频SR方法与原始或sRGB输入。我们的代码和数据集可以在https://github.com/zmzhang1998/Real-RawVSR上找到。
2022-09-26 cs.CV eess.IV
Prediction-assistant Frame Super-Resolution for Video Streaming
Intel（英特尔公司）
视频帧的传输延迟在实时应用中是至关重要的，如在线视频游戏、现场直播等，新帧的接收截止时间必须赶上帧渲染时间。否则，系统会缓冲一段时间，用户会遇到屏幕冻结，导致用户体验不理想。一种有效的方法是在较差的带宽条件下以较低质量传输帧，例如使用可伸缩视频编码。在本文中，我们建议在两种情况下使用有损帧来增强视频质量。首先，当当前帧太晚而不能在渲染截止日期之前接收时（即，丢失），我们建议使用先前接收到的高分辨率图像来预测未来帧。第二，当当前接收的帧的质量较低时（即，有损），我们建议使用先前接收的高分辨率帧来增强低质量的当前帧。对于第一种情况，我们提出了一个小而有效的视频帧预测网络。对于第二种情况，我们将视频预测网络改进为视频增强网络，以关联当前帧和先前帧来恢复高质量图像。大量的实验结果表明，我们的方法表现良好，对国家的最先进的算法在有损视频流环境。
2021-03-17 cs.CV eess.IV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC（中国科学技术大学）；UC San Diego（加州大学圣地亚哥分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）；U of Oregon（俄勒冈大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵，因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率（STVSR）的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而，它们中的大多数仅支持固定的上采样尺度，这限制了它们的灵活性和应用。在这项工作中，而不是以下的离散表示，我们提出了视频隐式神经表示（VideoINR），我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能，并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results
本文综述了AIM 2022上压缩图像和视频的超分辨率挑战。这一挑战包括两个方面。磁道1针对压缩图像的超分辨率，磁道2针对压缩视频的超分辨率。在Track 1中，我们使用流行的数据集DIV2K作为训练、验证和测试集。在Track 2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个额外的视频。在本次挑战赛中，分别有12支队伍和2支队伍将最终成绩提交给了第一轨道和第二轨道。所提出的方法和解决方案衡量了压缩图像和视频的超分辨率的最新技术水平。拟议的LDV 3.0数据集可在https://github.com/RenYang-home/LDV_dataset上获得。这个挑战的主页是https://github.com/RenYang-home/AIM22_CompressSR。
2022-08-25 cs.CV eess.IV
ERQA: Edge-Restoration Quality Assessment for Video Super-Resolution
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
尽管视频超分辨率（VSR）越来越受欢迎，但仍然没有很好的方法来评估放大帧中恢复的细节质量。一些SR方法可能会产生错误的数字或完全不同的面孔。一种方法的结果是否可信取决于它还原真实细节的能力。图像超分辨率可以使用自然分布来产生仅与真实图像有点相似的高分辨率图像。VSR允许探索相邻帧中的附加信息，以从原始场景恢复细节。ERQA度量，我们在本文中提出，旨在估计模型的能力，恢复真实的细节，使用VSR。假设边缘对于细节和字符识别是重要的，我们选择边缘保真度作为这个度量的基础。我们的工作的实验验证是基于MSU视频超分辨率基准，其中包括最困难的细节恢复模式，并验证从原始帧的细节保真度。拟议指标的代码可在https://github.com/msu-video-group/ERQA上公开获取。
2022-01-24 cs.CV eess.IV
LoCoVSR: Local Context Diffusion Posterior Sampling for Video Super-Resolution
Technion - Israel Institute of Technology（以色列理工学院）
LoCoVSR提出一种基于像素空间扩散后验采样与局部时空上下文学习的视频超分辨率框架，通过局部窗口和共享噪声轨迹实现长视频高效并行推理，避免光流估计和潜在空间信息损失，在VFHQ数据集上取得有竞争力的结果。
2026-09-29 cs.CV eess.IV
Deformable Non-local Network for Video Super-Resolution
视频超分辨率（VSR）任务旨在通过使用其对应的低分辨率（LR）帧和多个相邻帧来恢复高分辨率（HR）视频帧。目前，许多基于深度学习的VSR方法依赖于光流来执行帧对齐。光流场的准确性对最终的恢复结果有很大的影响。然而，光流估计并不完全准确，总是存在一些误差。在本文中，我们提出了一种新的可变形非局部网络（DNLN），这是一个非光流为基础的方法。具体来说，我们应用可变形卷积，并提高其自适应对齐的能力，在特征级。此外，我们利用一个非局部的结构来捕获的参考帧和对齐的相邻帧之间的全局相关性，并同时增强所需的细节对齐帧。为了重建最终的高质量HR视频帧，我们使用残差密集块中的残差，以充分利用层次特征。在基准数据集上的实验结果表明，所提出的DNLN可以达到最先进的性能在VSR任务。
2019-12-21 cs.CV eess.IV
Expanding Synthetic Real-World Degradations for Blind Video Super Resolution
K|Lens GmbH（K|Lens有限公司）；Saarland Informatics Campus（萨尔兰信息学园区）；IIT Jammu（印度理工学院查谟分校）；MPI Informatics（马克斯·普朗克信息学研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
针对真实世界视频超分辨率性能不佳的问题，提出在合成训练集上合成包含多种退化的SRWD，结合随机打乱策略训练端到端DNN，性能显著优于现有方法，并推出新的真实世界高分辨率视频基准数据集。
2023-05-04 cs.CV eess.IV
Compressed Video Super-Resolution based on Hierarchical Encoding
University of Bristol（布里斯托大学）；University of Electronic Science and Technology of China（电子科学与技术大学）
本研究提出基于分层编码transformer的通用压缩视频超分辨率方法VSR-HE，可4倍放大高压缩比视频、消除H.265/HEVC压缩伪影，已提交至ICME 2025相关挑战赛的两个赛道。
2025-06-17 cs.CV eess.IV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Video Super Resolution Based on Deep Learning: A Comprehensive Survey
Xidian University（西安电子科技大学）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；ETH Zurich（苏黎世联邦理工学院）；University of Wurzburg（维尔茨堡大学）
近年来，深度学习在图像识别、自然语言处理、语音识别、视频超分辨率等多个领域取得了长足的进展。在本次调查中，我们全面调查了33种基于深度学习的最先进的视频超分辨率（VSR）方法。众所周知，视频帧内的信息的利用对于视频超分辨率是重要的。因此，我们提出了一种分类法，并根据利用帧间信息的方式将这些方法分为六个子类。此外，所有的方法的体系结构和实现细节进行了详细描述。最后，我们总结并比较了代表性的VSR方法在一些基准数据集上的性能。我们还讨论了一些挑战，需要进一步解决的研究人员在社区的VSR。据我们所知，这项工作是第一个系统的VSR任务，它有望在这一领域的最新研究的发展作出贡献，并可能加深我们对基于深度学习的VSR技术的理解。
2022-03-16 cs.CV eess.IV
A Novel Dual Dense Connection Network for Video Super-resolution
Communication University of China（中国传媒大学）
视频超分辨率（VSR）是指从相应的低分辨率（LR）视频重建高分辨率（HR）视频。近年来，振动时效越来越受到人们的关注。在本文中，我们提出了一种新的双稠密连接网络，可以产生高质量的超分辨率（SR）的结果。该方法将输入帧分为参考帧、时前组和时后组，分别代表不同时间段的信息。这种分组方法提供了不同时间段的准确信息，而不会造成时间信息混乱。同时，我们提出了一种新的损失函数，这有利于增强模型的收敛能力。在Vid 4数据集和SPMCS-11数据集上的实验表明，该模型的性能优于其他先进模型。
2022-03-05 cs.CV cs.LG eess.IV
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University（伯恩茅斯大学）；Department of Computing and Informatics（计算与信息学院）
视频游戏图形的计算成本正在增加，并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形，同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣，并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
Sliding Window Recurrent Network for Efficient Video Super-Resolution
Uppsala University（乌普萨拉大学）；Northeastern University（东北大学）
视频超分辨率（VSR）是从一系列低分辨率输入恢复高分辨率帧的任务。与单帧图像超分辨率不同，VSR可以利用帧间的时间信息重构出更多细节的图像。近年来，随着卷积神经网络（CNN）的迅速发展，VSR问题受到越来越多的关注，许多基于CNN的方法取得了显著的效果。然而，由于计算资源和运行时间的限制，只有少数VSR方法可以应用于现实世界的移动设备。在本文中，我们提出了一个\textit{Sliding Window based Recurrent Network}（SWRN），它可以是实时推理，同时仍然实现优越的性能。具体来说，我们注意到视频帧应该具有有助于恢复细节的空间和时间关系，而关键是如何提取和聚合信息。针对这个问题，我们输入三个相邻的帧，并利用一个隐藏状态来循环存储和更新重要的时间信息。我们在REDS数据集上的实验表明，该方法可以很好地适应移动设备，并产生视觉上令人愉快的结果。
2022-08-24 cs.CV eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
视频压缩是互联网视频传输的关键组成部分。最近的研究表明，深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法，但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法，增强现有的编解码器与一个小的，内容自适应超分辨率模型，显着提高视频质量。我们的方法SRVC将视频编码成两个比特流：（i）内容流，通过使用现有编解码器压缩下采样的低分辨率视频产生，（ii）模型流，其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过（时变）超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明，为了实现相同的PSNR，SRVC在慢速模式下需要H. 265的每像素比特数的16%，以及DVC的每像素比特数的2%，DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
Reference-based Video Super-Resolution Using Multi-Camera Video Triplets
POSTECH（浦项科技大学）
我们提出了第一个基于参考的视频超分辨率（RefVSR）的方法，利用参考视频高保真的结果。我们专注于三摄像头设置中的RefVSR，我们的目标是利用广角和长焦视频超分辨率低分辨率超宽视频。我们介绍了第一个RefVSR网络，该网络递归地对齐和传播与从低分辨率帧中提取的特征融合的时间参考特征。为了便于时间参考特征的融合和传播，我们提出了一个传播时间融合模块。为了学习和评估我们的网络，我们提出了第一个RefVSR数据集，该数据集由从智能手机的三个摄像头同时拍摄的超宽、广角和长焦视频组成。我们还提出了一个两阶段的训练策略，充分利用视频三元组在现实世界的4倍视频超分辨率建议的数据集。我们广泛地评估了我们的方法，结果显示了最先进的性能在4倍超分辨率。
2022-03-28 cs.CV
ICME 2025 Grand Challenge on Video Super-Resolution for Video Conferencing
Microsoft Corporation（微软公司）
本文介绍 ICME 2025 视频会议视频超分辨率挑战赛，针对 H.265 固定 QP 编码的低分辨率视频，设置通用、说话人头和屏幕内容三个赛道，并开源新的屏幕内容数据集，采用 ITU-T Rec P.910 众包主观测试评估因果模型在低延迟下的超分效果。
2025-07-01 cs.CV cs.MM eess.IV
Optical Flow for Video Super-Resolution: A Survey
Wuhan University（武汉大学）；Hubei University of Economics（湖北经济学院）；Central China Normal University（华中师范大学）；Arizona State University（亚利桑那州立大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
视频超分辨率是当前计算机视觉中最活跃的研究课题之一，因为它在许多视觉应用中起着重要的作用。通常，视频超分辨率包含重要分量，即，运动补偿，其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动，是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用，本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题：超分辨率的功能（即，为什么我们需要超分辨率）;视频超分辨率的概念（即，什么是视频超分辨率）;评估度量的描述（即，（视频）超分辨率如何执行）;引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究，并对几种典型算法进行了分析和比较。此外，我们强调了一些有前途的研究方向和开放的问题，应进一步解决。
2022-03-20 cs.CV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University（武汉大学）
NNVISR 是一个面向 VapourSynth 的开源滤镜插件，通过统一接入任意帧组增强网络并自动处理网络无关细节，将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
VESR-Net: The Winning Solution to Youku Video Enhancement and Super-Resolution Challenge
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了一种视频增强和超分辨率（VESR）的方法VESR-Net。在VESR-Net中，我们设计了一个独立的非局部模块来探索视频帧之间的关系并有效地融合视频帧，设计了一个通道注意力残差块来捕获特征图之间的关系，用于视频帧重构。我们进行实验，以分析这些设计的有效性VESR-Net，这表明VESR-Net的优势，以前的国家的最先进的VESR方法。值得一提的是，在数千名参加优酷视频增强和超分辨率（Youku-VESR）挑战赛的参赛者中，我们提出的VESR-Net击败了其他竞争方法，排名第一。
2020-03-04 cs.CV cs.LG eess.IV
Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution
Purdue University（普渡大学）；University of Rochester（罗切斯特大学）；Northeastern University（东北大学）
在本文中，我们探讨了空时视频超分辨率的任务，其目的是从低帧速率（LFR），低分辨率（LR）的视频生成一个高分辨率（HR）的慢动作视频。一个简单的解决方案是将其分为两个子任务：视频帧插值（VFI）和视频超分辨率（VSR）。然而，时间内插和空间超分辨率在这个任务中是内部相关的。两阶段方法不能充分利用自然属性。此外，现有技术的VFI或VSR网络需要大的帧合成或重构模块来预测高质量的视频帧，这使得两阶段方法具有大的模型尺寸，因此是耗时的。为了克服这些问题，我们提出了一个单级时空视频超分辨率框架，它直接从LFR，LR视频合成HR慢动作视频。而不是合成丢失的LR视频帧的VFI网络做，我们首先在时间上插值LR帧的功能，在丢失的LR视频帧捕获本地的时间上下文所提出的特征时间插值网络。然后，我们提出了一个可变形的ConvLSTM对齐和聚合的时间信息，同时更好地利用全局时间上下文。最后，采用深度重构网络对HR慢动作视频帧进行预测。在基准数据集上的大量实验表明，该方法不仅实现了更好的定量和定性性能，而且比最近的两阶段最先进的方法快三倍以上，例如，DAIN+EDVR和DAIN+RBPN。
2020-02-26 cs.CV cs.MM eess.IV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research（京东人工智能研究院）；JD Finance America Corporation（京东金融美国公司）
本文提出了一种新的视频超分辨率方法，旨在从低分辨率（LR）视频生成高保真高分辨率（HR）视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能，因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下，我们设计了一种跨帧非局部注意力机制，允许视频超分辨率而无需帧对齐，从而对视频中的大运动更加鲁棒。此外，为了获取相邻帧以外的信息，我们设计了一种新的记忆增强注意模块，用于在超分辨率训练过程中记忆一般视频细节。实验结果表明，我们的方法可以实现更优越的性能在大的运动视频相比，国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
COMISR: Compression-Informed Video Super-Resolution
Google Inc.（谷歌公司）
大多数视频超分辨率方法集中于从低分辨率视频恢复高分辨率视频帧，而不考虑压缩。然而，网络或移动设备上的大多数视频都是压缩的，当带宽有限时，压缩可能会很严重。在本文中，我们提出了一个新的压缩通知视频超分辨率模型恢复高分辨率的内容，而不会引入压缩造成的文物。该模型由三个模块组成的视频超分辨率：双向递归翘曲，细节保持流估计，拉普拉斯增强。所有这三个模块都用于处理压缩属性，例如输入帧中的帧内位置和输出帧中的平滑度。为了进行彻底的性能评估，我们对具有各种压缩率的标准数据集进行了广泛的实验，涵盖了许多真实的视频用例。我们表明，我们的方法不仅可以从广泛使用的基准数据集中恢复未压缩帧上的高分辨率内容，而且还可以基于许多定量指标在超分辨率压缩视频中实现最先进的性能。我们还通过模拟YouTube流来评估所提出的方法，以证明其有效性和鲁棒性。源代码和训练模型可在https://github.com/google-research/google-research/tree/master/comisr上获得。
2021-10-12 cs.CV
End-to-End Learning of Video Super-Resolution with Motion Compensation
University of Freiburg（弗莱堡大学）
学习方法已经在给定低分辨率输入的超分辨率图像的任务中显示出巨大的成功。视频超分辨率的目的是利用额外的信息，从多个图像。典型地，图像经由光流和连续图像扭曲而相关。在本文中，我们提供了一个端到端的视频超分辨率网络，与以前的作品相比，包括估计的光流在整个网络架构。我们分析了用于视频超分辨率的光流的使用，并且发现常见的现成的图像变形不允许视频超分辨率从光流中受益很多。相反，我们提出了一种用于运动补偿的操作，其直接执行从低到高分辨率的扭曲。我们表明，这种网络配置，视频超分辨率可以受益于光流，我们得到了最先进的流行的测试集上的结果。我们还表明，整个图像的处理，而不是独立的补丁是负责一个大的准确性增加。
2017-07-03 cs.CV
Rethinking Video Super-Resolution: Towards Diffusion-Based Methods without Motion Alignment
TopXGun Robotics（TopXGun机器人研究所）；Nanjing University（南京大学）
本文提出基于扩散后验采样框架的视频超分辨率方法，无需显式估计光流或运动参数，通过学习现实物理规律来处理多种运动模式，实验证明其有效性。
2025-11-04 cs.CV cs.LG eess.IV
PatchVSR: Breaking Video Diffusion Resolution Limits with Patch-wise Video Super-Resolution
Tsinghua University（清华大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Beijing Institute of Technology（北京理工大学）
针对现有视频超分辨率方法计算密集、输出分辨率固定的问题，提出集成双流适配器与位置注入的PatchVSR逐块VSR方法，结合多块联合调制，可基于低分辨率基础模型高效实现高竞争力的4K VSR。
2025-09-30 cs.CV
Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions
Microsoft Research Asia（微软亚洲研究院）
我们研究了联合视频和语言（VL）预训练，以实现跨模态学习并使大量下游VL任务受益。现有的工作要么提取低质量的视频特征，要么学习有限的文本嵌入，而忽略了高分辨率的视频和多样化的语义可以显着提高跨模态学习。在本文中，我们提出了一种新的高分辨率和多样化的视频语言预训练模型（HD-VILA）的许多视觉任务。特别是，我们收集了一个具有两个不同属性的大型数据集：1）第一个高分辨率数据集，包括371.5k小时的720 p视频，2）最多样化的数据集，涵盖15个流行的YouTube类别。为了实现VL预训练，我们通过学习丰富时空特征的混合Transformer和强制学习的视频特征与多样化文本的交互的多模态Transformer来共同优化HD-VILA模型。我们的预训练模型在10个VL理解任务和2个新的文本到视觉生成任务中取得了新的最先进的结果。例如，我们优于SOTA模型，在zero-shot MSR-VTT文本到视频检索任务中相对增加了40.4%R@1，在高分辨率数据集LSMDC中相对增加了55.4%。学习的VL嵌入在文本到视觉编辑和超分辨率任务中生成视觉上令人愉悦和语义相关的结果也是有效的。
2022-07-08 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University（南洋理工大学）
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中，我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明，通过增强传播和对齐的经常性框架，可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是，我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB，参数数量相似。除了视频超分辨率之外，BasicVSR++还可以很好地推广到其他视频恢复任务，如压缩视频增强。在NTIRE 2021中，BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST（韩国科学技术院）
本文提出DSFN网络，通过联合去模糊与超分辨率模块和三帧帧插值模块，从低质量视频直接生成高分辨率、高帧率清晰视频，在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
NTIRE 2021 Challenge on Video Super-Resolution
Seoul National University（首尔大学）
超分辨率（SR）是一项基本的计算机视觉任务，旨在从给定的低分辨率图像中获得高分辨率的干净图像。本文回顾了NTIRE 2021年视频超分辨率挑战赛。我们目前的评估结果，从两个竞争的轨道，以及提出的解决方案。轨道1旨在开发传统的视频SR方法，专注于恢复质量。轨道2假设具有较低帧速率的更具挑战性的环境，从而引发时空SR问题。在每一项比赛中，分别有247名和223名参赛者登记。在最后的测试阶段，14个团队在每个赛道上竞争，以实现视频SR任务的最先进性能。
2021-05-10 cs.CV
Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
University of Science and Technology Beijing（北京科技大学）；Microsoft Research（微软研究院）；Shunde Graduate School of University of Science and Technology Beijing（北京科技大学顺德研究生院）
压缩视频超分辨率（VSR）旨在从压缩的低分辨率对应物恢复高分辨率帧。最新的VSR方法通常通过从相邻视频帧借用相关纹理来增强输入帧。虽然已经取得了一些进展，但要从压缩视频中有效地提取和传输高质量的纹理仍然存在巨大的挑战，因为大多数帧通常都是高度退化的。在本文中，我们提出了一种新的频率变换器压缩视频超分辨率（FTVSR），进行自关注的联合空间-时间-频率域。首先，我们将一个视频帧分成补丁，并将每个补丁转换成DCT频谱图，其中每个通道代表一个频带。这样的设计使得能够在每个频带上实现细粒度级别的自关注，使得可以将真实的视觉纹理与伪影区分开，并且进一步用于视频帧恢复。其次，我们研究了不同的自注意方案，并发现一个分开的注意，进行联合空间频率注意之前，每个频带上应用时间注意，导致最好的视频增强质量。两个广泛使用的视频超分辨率基准测试的实验结果表明，FTVSR优于国家的最先进的方法在未压缩和压缩视频具有清晰的视觉边缘。代码可在https://github.com/researchmm/FTVSR上获得。
2022-08-05 cs.CV
Privacy-Preserving Human Activity Recognition from Extreme Low Resolution
Indiana University（印第安纳大学）；EgoVid Inc.（EgoVid公司）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
防止偷拍视频的隐私保护是一项重要的社会挑战。我们期望一种计算机视觉系统（例如，机器人），它可以识别人类活动并协助我们的日常生活，但确保它不会录制可能侵犯我们隐私的视频。本文提出了一种解决这些矛盾目标的基本方法：人类活动识别，同时只使用极低分辨率（例如，16x12）匿名视频。我们引入了逆超分辨率（ISR）的范例，即学习图像变换的最佳集合以从单个视频生成多个低分辨率（LR）训练视频的概念。我们的ISR学习针对活动分类优化的不同类型的子像素变换，允许分类器最好地利用现有的高分辨率视频（例如，YouTube视频），为问题量身定制多个LR培训视频。我们通过实验证实，逆超分辨率的范例能够从极低分辨率的视频中受益于活动识别。
2016-12-26 cs.CV
FCVSR: A Frequency-aware Method for Compressed Video Super-Resolution
School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科学与技术大学）
本文提出FCVSR方法，通过运动引导自适应对齐网络和多频率特征细化模块，结合频率感知对比损失，提升压缩视频超分辨率性能，实验表明在PSNR和复杂度上优于现有方法。
2025-10-11 cs.CV
Perceptually-inspired super-resolution of compressed videos
University of Bristol（布里斯托大学）
空间分辨率自适应是一种在视频压缩中经常采用的提高编码效率的技术。这种方法对输入视频的较低分辨率版本进行编码，并在解码期间重建原始分辨率。最近的工作采用了基于卷积神经网络（CNN）的高级超分辨率方法，而不是使用传统的上采样滤波器，以进一步提高重建质量。这些方法通常被训练为最小化基于像素的损失，例如均方误差（MSE），尽管这种类型的损失度量与主观意见没有很好的相关性。在本文中，感知启发的超分辨率方法（M-SRGAN）提出了使用修改后的CNN模型，已使用生成对抗网络（GAN）与感知损失函数的压缩内容上训练的压缩视频的空间上采样。所提出的方法与HEVC HM 16.20集成，并且已经使用随机访问配置在JVET公共测试条件（UHD测试序列）上进行了评估。结果显示，与原始HM 16.20相比，感知质量有了明显的改善，基于感知质量度量VMAF的平均比特率节省了35.6%（Bjøntegaard Delta测量）。
2021-06-15 cs.CV cs.LG eess.IV
Combining Contrastive and Supervised Learning for Video Super-Resolution Detection
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
视频放大检测是多媒体取证中的一个有用的工具，但它是一个具有挑战性的任务，涉及各种放大和压缩算法。分辨率增强方法有很多，包括插值和基于深度学习的超分辨率，并且它们会留下独特的痕迹。在这项工作中，我们提出了一种新的分辨率提升检测方法的基础上学习的视觉表示使用对比度和交叉熵损失。为了解释该方法如何检测视频，我们系统地回顾了我们框架的主要组成部分-特别是，我们表明大多数数据增强方法阻碍了该方法的学习。通过对各种数据集的广泛实验，我们证明了我们的方法即使在压缩视频中也能有效地检测到放大，并且优于最先进的替代方案。代码和模型可在https://github.com/msu-video-group/SRDM上公开获取
2022-05-20 cs.CV
Self-Supervised Deep Blind Video Super-Resolution
Nanjing University of Science and Technology（南京理工大学）
现有的基于深度学习的视频超分辨率（SR）方法通常依赖于监督学习方法，其中训练数据通常通过具有已知或预定义核的模糊操作来生成（例如，双三次核），然后进行抽取操作。然而，这并不适用于实际应用，因为退化过程是复杂的，并且不能很好地近似于这些理想情况。此外，在真实世界场景中获得高分辨率（HR）视频和对应的低分辨率（LR）视频是困难的。为了克服这些问题，我们提出了一种自监督学习方法来解决盲视频SR问题，它同时估计模糊核和HR视频从LR视频。由于直接使用LR视频作为监督通常会导致琐碎的解决方案，我们开发了一种简单有效的方法，根据视频SR的图像形成从原始LR视频生成辅助配对数据，以便网络可以更好地约束所生成的配对数据，用于模糊核估计和潜在HR视频恢复。此外，我们引入了一个光流估计模块，利用相邻帧的信息进行HR视频恢复。实验表明，我们的方法表现良好，对国家的最先进的基准和现实世界的视频。
2022-01-19 cs.CV
Implicit Neural Representation for Video and Image Super-Resolution
Clemson University（克莱姆森大学）
本研究提出基于隐式神经表示的SR-INR方法，仅需低分辨率输入和3D高分辨率网格即可实现图像和视频超分辨率，无需光流或运动估计，在保持时序稳定性的同时降低了计算需求，性能优于现有先进方法。
2025-03-06 cs.CV
Towards Interpretable Video Super-Resolution via Alternating Optimization
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们研究了一个实用的时空视频超分辨率（STVSR）的问题，其目的是产生一个高帧率的高分辨率清晰的视频从一个低帧率的低分辨率模糊的视频。当用低帧速率和低分辨率相机记录快速动态事件时经常发生这样的问题，并且所捕获的视频将遭受三个典型问题：i）由于曝光时间期间的对象/相机运动而发生运动模糊; ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动混叠是不可避免的; iii）由于低空间采样率而丢失高频细节。这些问题可以通过级联三个单独的子任务来缓解，包括视频去模糊、帧插值和超分辨率，然而，这将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们提出了一个可解释的STVSR框架，利用基于模型和基于学习的方法。具体来说，我们制定STVSR作为一个联合的视频去模糊，帧内插，和超分辨率的问题，并解决它作为两个子问题的交替方式。对于第一个子问题，我们推导出一个可解释的解析解，并将其用作傅立叶数据变换层。然后，我们提出了一个经常性的视频增强层的第二子问题，以进一步恢复高频细节。大量的实验表明，我们的方法在定量指标和视觉质量方面的优越性。
2022-07-21 cs.CV
Video Super-resolution with Temporal Group Attention
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
视频超分辨率是一种将低分辨率视频转换为高分辨率视频的技术，近年来受到越来越多的关注。在这项工作中，我们提出了一种新的方法，可以有效地将时间信息在一个层次的方式。输入序列被分成若干组，每组对应于一种帧速率。这些组提供补充信息以恢复参考帧中丢失的细节，其进一步与注意模块和深度组内融合模块集成。此外，提出了一种快速的空间对齐来处理具有大运动的视频。大量的结果表明，该模型在处理各种运动的视频的能力。它在几个基准数据集上实现了对最先进方法的良好性能。
2020-07-21 cs.CV
Learning Spatiotemporal Frequency-Transformer for Low-Quality Video Super-Resolution
University of Science and Technology Beijing（北京科技大学）；University of Sydney（悉尼大学）；Microsoft Research（微软研究院）
视频超分辨率（VSR）旨在从低分辨率（LR）视频恢复高分辨率（HR）视频。现有的VSR技术通常通过从具有已知退化过程的邻近帧中提取相关纹理来恢复HR帧。尽管取得了显著的进展，仍然存在巨大的挑战，以有效地提取和传输高质量的纹理从高退化的低质量的序列，如模糊，加性噪声和压缩伪影。在这项工作中，提出了一种新的频率变换器（FTVSR）处理低质量的视频进行自我注意力在一个组合的空间-时间-频率域。首先，视频帧被分割成补丁，并且每个补丁被变换成频谱图，其中每个通道表示频段。它允许在每个频段上进行细粒度的自我关注，从而可以将真实的视觉纹理与伪影区分开来。其次，提出了一种新的双频注意力（DFA）机制，以捕获全局频率关系和局部频率关系，它可以处理不同的复杂退化过程中的现实世界的场景。第三，我们探索了不同的自注意方案，在频域中的视频处理，并发现一个“分开的注意”，进行联合空间频率注意之前，应用时间频率的注意，导致最好的视频增强质量。在三个广泛使用的VSR数据集上的大量实验表明，FTVSR在不同的低质量视频上具有清晰的视觉边缘，优于现有的方法。代码和预训练模型可在https://github.com/researchmm/FTVSR上获得。
2022-12-27 cs.AI cs.CV eess.IV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon（亚马逊）
这项工作的重点是低比特率的视频流场景（例如50 - 200 Kbps），其中视频质量严重受损。我们提出了一系列新颖的深度生成模型，用于通过执行超分辨率来增强此类流的感知视频质量，同时还去除压缩伪影。我们的模型，我们称之为SuperTran，除了低质量，低分辨率的视频流之外，还需要输入一个高质量，高分辨率的参考图像。因此，模型学习如何从参考图像借用或复制视觉元素（如纹理），并填充低分辨率流中的剩余细节，以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次，也可以从图库中检索。重要的是，所得到的输出具有比仅使用低分辨率输入的方法（例如SuperVEGAN方法）可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作（高达30帧/秒）。
2022-11-22 cs.CV cs.LG eess.IV
Recurrent Back-Projection Network for Video Super-Resolution
Toyota Technological Institute（丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
针对视频超分辨率问题，提出了一种新的架构。我们使用循环编码器-解码器模块从连续视频帧中整合空间和时间上下文，该模块将多帧信息与目标帧的更传统的单帧超分辨率路径融合。与大多数先前的工作相比，框架通过堆叠或扭曲汇集在一起，我们的模型，递归反向投影网络（RBPN）将每个上下文框架视为单独的信息源。这些源被组合在一个迭代的细化框架的启发，在多图像超分辨率的反投影的想法。这通过明确表示相对于目标的估计的帧间运动而不是明确地对准帧来辅助。我们提出了一个新的视频超分辨率基准，允许在更大的规模评估，并考虑在不同的运动制度的视频。实验结果表明，我们的RBPN是优于现有的方法在几个数据集上。
2019-03-25 cs.CV
Deformable Kernel Convolutional Network for Video Extreme Super-Resolution
West Virginia University（西弗吉尼亚大学）；Huazhong University of Science and Technology（华中科技大学）
视频超分辨率是一种将低分辨率视频帧重构为高分辨率视频帧的技术，近年来受到越来越多的关注。大多数现有方法选择使用可变形卷积来在时间上对齐相邻帧，并应用传统的空间注意力机制（基于卷积）来增强重构特征。然而，这种仅空间的策略不能充分利用视频帧之间的时间依赖性。在本文中，我们提出了一种新的深度学习为基础的VSR算法，命名为变形核空间注意力网络（DKSAN）。由于新设计的可变形核卷积对齐（DKC_Align）和可变形核空间注意力（DKSA）模块，DKSAN可以更好地利用空间和时间冗余，以促进跨不同层的信息传播。我们已经在AIM 2020 Video Extreme超分辨率挑战赛上测试了DKSAN，以获得比例因子高达16的超分辨率视频。实验结果表明，我们提出的DKSAN可以实现更好的主观和客观的性能相比，现有的最先进的EDVR的Vid3oC和IntVID数据集。
2020-10-01 cs.CV
Space-Time-Aware Multi-Resolution Video Enhancement
Toyota Technological Institute, Japan（日本丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Bukalapak
我们考虑的空时超分辨率（ST-SR）的问题：增加视频帧的空间分辨率，同时内插帧，以提高帧速率。现代方法一次处理一个轴。相比之下，我们提出的称为STARnet的模型在空间和时间上联合超分辨。这使我们能够利用时间和空间之间的相互信息关系：更高的分辨率可以提供更详细的运动信息，更高的帧速率可以提供更好的像素对齐。我们的模型中在ST-SR期间生成潜在的低分辨率和高分辨率表示的组件可以用于微调专门的空间或时间超分辨率机制。实验结果表明，STARnet提高了时空，空间和时间的视频超分辨率的性能由公开可用的数据集上的大量利润。
2020-03-30 cs.CV
Kalman-Inspired Feature Propagation for Video Face Super-Resolution
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）
针对视频人脸超分辨率中细节重建与时间一致性难以兼顾的问题，提出KEEP框架，借助卡尔曼滤波思想循环传播历史恢复特征以稳定人脸先验，并验证其跨帧细节一致性。
2024-08-09 cs.CV
A Nuclear-norm Model for Multi-Frame Super-Resolution Reconstruction from Video Clips
The Chinese University of Hong Kong（香港中文大学）
我们提出了一种变分的方法来获得超分辨率图像从多个低分辨率帧提取的视频剪辑。首先，通过光流算法计算低分辨率帧与参考帧之间的位移。然后利用低秩模型结合低分辨率帧的信息构造高分辨率参考帧。该模型有两个项：2范数数据保真度项和核范数正则化项。采用乘子交替方向法对模型进行求解。我们的方法与其他模型的合成和真实的视频剪辑的比较表明，我们得到的图像更准确，更少的文物。它还提供了更精细和可辨别的细节。
2017-04-17 cs.CV
VideoGigaGAN: Towards Detail-rich Video Super-Resolution
Adobe Research（奥多比研究院）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出 VideoGigaGAN，通过改进 GigaGAN 的时间模块与关键技术，在保持时间一致性的同时生成细节更丰富的视频，并在公共数据集上验证了其 8 倍超分辨率效果。
2024-05-01 cs.CV
FISR: Deep Joint Frame Interpolation and Super-Resolution with a Multi-scale Temporal Loss
Korea Advanced Institute of Science and Technology（韩国科学技术院）
超分辨率（SR）已被广泛用于将低分辨率传统视频转换为高分辨率（HR）视频，以适应显示器（例如，UHD TV）的分辨率增加。然而，人类更容易注意到在较大尺寸的显示器上呈现的HR视频中的运动伪影（例如，运动抖动）。因此，广播标准支持用于UHD（超高清）视频的更高帧速率（4K@60 fps，8K@120 fps），这意味着仅应用SR不足以产生真正的高质量视频。因此，为了对传统视频进行上转换以用于实际应用，不仅需要SR，而且需要视频帧内插（VFI）。在本文中，我们首先提出了一个联合VFI-SR框架，用于将视频的时空分辨率从2K 30 fps提升到4K 60 fps。为此，我们提出了一种新的训练方案，该方案具有多尺度时间损失，对输入视频序列进行时间正则化，可以应用于任何一般的视频相关任务。通过大量的实验对所提出的结构进行了深入的分析。
2022-02-07 cs.CV
MEGAN: Memory Enhanced Graph Attention Network for Space-Time Video Super-Resolution
Yale University（耶鲁大学）；Tencent Hippocrates Research Lab（腾讯希波克拉底研究实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
空时视频超分辨率（STVSR）的目标是从对应的低帧率、低分辨率视频序列构造高空时分辨率视频序列。受最近成功地考虑时空超分辨率的时空信息的启发，我们在这项工作中的主要目标是充分考虑快速动态事件的视频序列内的空间和时间相关性。为此，我们提出了一种新的一级记忆增强图注意力网络（MEGAN）的时空视频超分辨率。具体来说，我们建立了一个新的长程记忆图聚合（LMGA）模块，动态捕捉相关性沿通道维度的特征图和自适应聚合通道功能，以增强特征表示。我们引入了一个非局部残差块，它使每个通道的功能，参加全球空间层次特征。此外，我们采用了渐进式融合模块，通过广泛利用多帧的时空相关性，进一步提高表示能力。实验结果表明，该方法取得了更好的结果相比，国家的最先进的方法定量和可视化。
2021-11-30 cs.AI cs.CV cs.LG
SATVSR: Scenario Adaptive Transformer for Cross Scenarios Video Super-Resolution
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
本文提出SATVSR，通过光流标签引导的Transformer注意力机制和跨尺度特征聚合模块，使视频超分辨率模型能自适应选择同场景信息，在单场景和跨场景数据上均取得显著性能提升。
2022-11-16 cs.CV
