Revisiting Temporal Modeling for Video Super-resolution
Tsinghua University(清华大学);New York University(纽约大学);Huawei Technologies(华为技术有限公司)
视频超分辨率在监控视频分析和超高清视频显示中具有重要作用,受到了研究界和工业界的广泛关注。尽管已经提出了许多基于深度学习的VSR方法,但由于不同的损失函数和训练数据集对超分辨率结果有显著影响,因此很难直接比较这些方法。在这项工作中,我们仔细研究和比较三种时间建模方法(2D CNN与早期融合,3D CNN与缓慢融合和递归神经网络)的视频超分辨率。我们还提出了一种新的递归残差网络(RRN),用于高效的视频超分辨率,其中残差学习用于稳定RNN的训练,同时提高超分辨率性能。大量的实验表明,所提出的RRN是高度的计算效率,并产生时间一致的VSR结果与更精细的细节比其他时间建模方法。此外,该方法在几个广泛使用的基准测试中取得了最先进的结果。
2020-08-20 cs.CV eess.IV
Learning Trajectory-Aware Transformer for Video Super-Resolution
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院)
视频超分辨率(VSR)旨在从低分辨率(LR)帧中恢复高分辨率(HR)帧序列。虽然已经取得了一些进展,但在整个视频序列中有效地利用时间依赖性仍然存在巨大的挑战。现有的方法通常从有限的相邻帧(例如,5或7帧),这妨碍了这些方法获得令人满意的结果。在本文中,我们进一步实现了视频中的有效时空学习。提出了一种新的基于轨迹感知的视频超分辨率Transformer(TTVSR)。特别是,我们制定的视频帧到几个预先对齐的轨迹,其中包括连续的视觉令牌。对于查询令牌,自我注意力只沿着时空轨迹在相关视觉令牌上学习。与普通Vision Transformers相比,这种设计显著降低了计算成本,并使Transformers能够对长距离特征进行建模。我们进一步提出了一个跨尺度特征标记化模块,以克服在长距离视频中经常发生的尺度变化问题。实验结果表明,所提出的TTVSR国家的最先进的模型的优越性,通过广泛的定量和定性评价在四个广泛使用的视频超分辨率基准。代码和预训练模型都可以在https://github.com/researchmm/TTVSR下载。
2022-04-20 cs.CV eess.IV
Temporal Kernel Consistency for Blind Video Super-Resolution
University of Cambridge(剑桥大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心);University of Warwick(华威大学)
基于深度学习的盲超分辨率(SR)方法最近在提升具有未知退化的帧方面取得了前所未有的性能。这些模型能够从给定的低分辨率(LR)图像中准确地估计未知的降尺度内核,以便在恢复过程中利用内核。虽然这些方法在很大程度上是成功的,但它们主要是基于图像的,因此不利用多个视频帧中内核的时间特性。在本文中,我们研究了内核的时间特性,并强调了其在盲视频超分辨率任务中的重要性。具体来说,我们测量了真实世界的视频的内核时间一致性,并说明了估计的内核如何在场景及其对象的动态性不同的视频中每帧发生变化。有了这个新的见解,我们重新审视了以前流行的视频SR方法,并表明,在整个恢复过程中使用一个固定的内核之前的假设可能会导致视觉伪影时,放大现实世界的视频。为了抵消这一点,我们定制了现有的单图像和视频SR技术,以利用内核的一致性,在内核估计和视频放大过程。对合成视频和真实视频的大量实验表明,在定量和定性上都有很大的恢复收益,实现了盲视频SR的最新技术水平,并强调了利用内核时间一致性的潜力。
2021-08-18 cs.AI cs.CV cs.LG
RepNet-VSR: Reparameterizable Architecture for High-Fidelity Video Super-Resolution
State Key Laboratory of Mobile Network and Mobile Multimedia Technology, ZTE, China(中国移动网络与移动多媒体技术国家重点实验室)
针对边缘设备实时视频超分辨率的挑战,提出可重参数化架构RepNet-VSR,实现4倍超分,在REDS上达27.79 dB PSNR,NPU上每10帧103毫秒,性能超越MAI挑战赛冠军。
2025-04-22 cs.CV eess.IV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC(中国科学技术大学);UC San Diego(加州大学圣地亚哥分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校);U of Oregon(俄勒冈大学);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵,因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率(STVSR)的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而,它们中的大多数仅支持固定的上采样尺度,这限制了它们的灵活性和应用。在这项工作中,而不是以下的离散表示,我们提出了视频隐式神经表示(VideoINR),我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明,VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能,并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
该研究构建覆盖五种主流编解码器的 SR+Codec 基准,评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量,证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Large Motion Video Super-Resolution with Dual Subnet and Multi-Stage Communicated Upsampling
Xidian University(西安电子科技大学);Peng Cheng Lab(鹏城实验室)
视频超分辨率(VSR)旨在恢复低分辨率(LR)的视频并将其提高到更高分辨率(HR)。由于视频任务的特点,在VSR算法中,关注、总结和利用帧间运动信息是非常重要的。特别是,当视频包含大的运动时,常规方法容易带来不相干的结果或伪影。在本文中,我们提出了一种新的深度神经网络,具有双重子网和多级通信上采样(DSMC),用于大运动视频的超分辨率。设计了一个新的模块--U形残差稠密网络三维卷积(U3D-RDN),用于精细隐式运动估计和运动补偿(MEMC)以及粗空间特征提取。提出了一种新的多级通信上采样(MSCU)模块,充分利用上采样的中间结果来指导VSR。此外,一个新的对偶子网的设计,以帮助我们的DSMC的训练,其对偶损失有助于减少解决方案的空间,以及提高泛化能力。我们的实验结果证实,我们的方法实现了卓越的性能与大运动的视频相比,国家的最先进的方法。
2021-03-22 cs.AI cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.(百度公司)
最近,图像超分辨率得到了广泛的研究,并通过利用深度卷积神经网络的能力取得了重大进展。然而,由于视频中复杂的时间模式,视频超分辨率(VSR)的进展有限。在本文中,我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息,而对原始图像超分辨率的开销可以忽略不计。此外,我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能,并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
A Novel Dual Dense Connection Network for Video Super-resolution
Communication University of China(中国传媒大学)
视频超分辨率(VSR)是指从相应的低分辨率(LR)视频重建高分辨率(HR)视频。近年来,振动时效越来越受到人们的关注。在本文中,我们提出了一种新的双稠密连接网络,可以产生高质量的超分辨率(SR)的结果。该方法将输入帧分为参考帧、时前组和时后组,分别代表不同时间段的信息。这种分组方法提供了不同时间段的准确信息,而不会造成时间信息混乱。同时,我们提出了一种新的损失函数,这有利于增强模型的收敛能力。在Vid 4数据集和SPMCS-11数据集上的实验表明,该模型的性能优于其他先进模型。
2022-03-05 cs.CV cs.LG eess.IV
Semantic and Temporal Integration in Latent Diffusion Space for High-Fidelity Video Super-Resolution
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University, Shanghai, China(图像通信与网络工程研究所,上海交通大学,上海,中国);Tencent, Shanghai, China(腾讯,上海,中国)
针对现有视频超分辨率模型难以兼顾高保真对齐与帧间时序一致性的问题,提出在潜在扩散空间结合语义及时空引导的SeTe-VSR方法,在细节恢复和感知质量上优于现有方法。
2025-08-01 cs.CV eess.IV
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University(伯恩茅斯大学);Department of Computing and Informatics(计算与信息学院)
视频游戏图形的计算成本正在增加,并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形,同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣,并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
Blind Restoration of High-Resolution Ultrasound Video
Department of Mathematics, City University of Hong Kong(香港城市大学数学系);Hong Kong Centre for Cerebro-cardiovascular Health Engineering(香港脑心血管健康工程中心);Department of the Arts, University of Bologna(博洛尼亚大学艺术系);Department of Computer Science and Engineering, University of Bologna(博洛尼亚大学计算机科学与工程系);Department of Operations and Risk Management and School of Data Science, Lingnan University(岭南大学运营与风险管理系及数据科学学院)
针对超声视频低信噪比、低分辨率及预训练模型泛化性差的问题,提出自监督算法DUP,无需配对数据即可实现视频超分辨率与去噪,性能优于现有算法,助力下游应用。
2025-05-20 cs.CV eess.IV
Video Super-Resolution Using a Grouped Residual in Residual Network
Sharif University of Technology(谢里夫理工大学)
本文提出分组残差嵌套残差网络(GRRN)用于视频超分辨率,通过调整超参数训练三个不同参数量的网络,与现有方法比较,虽定量指标未胜出,但输出图像质量可接受。
2023-10-17 cs.CV eess.IV
Reference-based Video Super-Resolution Using Multi-Camera Video Triplets
POSTECH(浦项科技大学)
我们提出了第一个基于参考的视频超分辨率(RefVSR)的方法,利用参考视频高保真的结果。我们专注于三摄像头设置中的RefVSR,我们的目标是利用广角和长焦视频超分辨率低分辨率超宽视频。我们介绍了第一个RefVSR网络,该网络递归地对齐和传播与从低分辨率帧中提取的特征融合的时间参考特征。为了便于时间参考特征的融合和传播,我们提出了一个传播时间融合模块。为了学习和评估我们的网络,我们提出了第一个RefVSR数据集,该数据集由从智能手机的三个摄像头同时拍摄的超宽、广角和长焦视频组成。我们还提出了一个两阶段的训练策略,充分利用视频三元组在现实世界的4倍视频超分辨率建议的数据集。我们广泛地评估了我们的方法,结果显示了最先进的性能在4倍超分辨率。
2022-03-28 cs.CV
Real-RawVSR: Real-World Raw Video Super-Resolution with a Benchmark Dataset
Tianjin University(天津大学)
近年来,由于真实图像超分辨率数据集和相应的真实图像超分辨率方法的发展,真实图像超分辨率研究取得了可喜的成果。相比之下,真实视频SR领域落后,特别是对于真实原始视频。考虑到原始图像SR相对于sRGB图像SR的优越性,我们构建了一个真实世界的原始视频SR(Real-RawVSR)数据集,并提出了相应的SR方法。我们利用两台DSLR相机和一个分束器同时捕捉低分辨率(LR)和高分辨率(HR)的原始视频,放大倍数为2倍,3倍和4倍。我们的数据集中有450个视频对,场景从室内到室外都有,运动包括相机和物体的运动。据我们所知,这是第一个真实世界的原始VSR数据集。由于原始视频的特征是拜耳模式,我们提出了一个两个分支的网络,它同时处理压缩RGGB序列和原始拜耳模式序列,这两个分支是互补的。在经历了所提出的协同对齐、交互、融合和重建模块之后,我们生成了相应的HR sRGB序列。实验结果表明,该方法优于基准的真实和合成视频SR方法与原始或sRGB输入。我们的代码和数据集可以在https://github.com/zmzhang1998/Real-RawVSR上找到。
2022-09-26 cs.CV eess.IV
ICME 2025 Grand Challenge on Video Super-Resolution for Video Conferencing
Microsoft Corporation(微软公司)
本文介绍 ICME 2025 视频会议视频超分辨率挑战赛,针对 H.265 固定 QP 编码的低分辨率视频,设置通用、说话人头和屏幕内容三个赛道,并开源新的屏幕内容数据集,采用 ITU-T Rec P.910 众包主观测试评估因果模型在低延迟下的超分效果。
2025-07-01 cs.CV cs.MM eess.IV
Optical Flow for Video Super-Resolution: A Survey
Wuhan University(武汉大学);Hubei University of Economics(湖北经济学院);Central China Normal University(华中师范大学);Arizona State University(亚利桑那州立大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
视频超分辨率是当前计算机视觉中最活跃的研究课题之一,因为它在许多视觉应用中起着重要的作用。通常,视频超分辨率包含重要分量,即,运动补偿,其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动,是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用,本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题:超分辨率的功能(即,为什么我们需要超分辨率);视频超分辨率的概念(即,什么是视频超分辨率);评估度量的描述(即,(视频)超分辨率如何执行);引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究,并对几种典型算法进行了分析和比较。此外,我们强调了一些有前途的研究方向和开放的问题,应进一步解决。
2022-03-20 cs.CV
Prediction-assistant Frame Super-Resolution for Video Streaming
Intel(英特尔公司)
视频帧的传输延迟在实时应用中是至关重要的,如在线视频游戏、现场直播等,新帧的接收截止时间必须赶上帧渲染时间。否则,系统会缓冲一段时间,用户会遇到屏幕冻结,导致用户体验不理想。一种有效的方法是在较差的带宽条件下以较低质量传输帧,例如使用可伸缩视频编码。在本文中,我们建议在两种情况下使用有损帧来增强视频质量。首先,当当前帧太晚而不能在渲染截止日期之前接收时(即,丢失),我们建议使用先前接收到的高分辨率图像来预测未来帧。第二,当当前接收的帧的质量较低时(即,有损),我们建议使用先前接收的高分辨率帧来增强低质量的当前帧。对于第一种情况,我们提出了一个小而有效的视频帧预测网络。对于第二种情况,我们将视频预测网络改进为视频增强网络,以关联当前帧和先前帧来恢复高质量图像。大量的实验结果表明,我们的方法表现良好,对国家的最先进的算法在有损视频流环境。
2021-03-17 cs.CV eess.IV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University(武汉大学)
NNVISR 是一个面向 VapourSynth 的开源滤镜插件,通过统一接入任意帧组增强网络并自动处理网络无关细节,将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution
Purdue University(普渡大学);University of Rochester(罗切斯特大学);Northeastern University(东北大学)
在本文中,我们提出了空时视频超分辨率,其目的是从低分辨率(LR)和低帧速率(LFR)的视频序列生成高分辨率(HR)的慢动作视频。一种简单的方法是将其分解为两个子任务:视频帧插值(VFI)和视频超分辨率(VSR)。然而,时间内插和空间上尺度在这个问题中是内部相关的。两阶段办法不能充分利用这一自然属性。此外,最先进的VFI或VSR深度网络通常具有大型帧重建模块,以获得高质量的照片级逼真视频帧,这使得两阶段方法具有大型模型,因此相对耗时。为了克服这些问题,我们提出了一个单级时空视频超分辨率框架,它可以直接从输入LR和LFR视频重建HR慢动作视频序列。而不是重建丢失的LR中间帧的VFI模型做,我们在时间上插值LR帧的丢失LR帧捕获本地时间上下文的特征时间插值模块。在广泛使用的基准测试上进行的大量实验表明,所提出的框架不仅在干净和有噪声的LR帧上实现了更好的定性和定量性能,而且比最近最先进的两阶段网络快几倍。源代码发布在https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020上。
2021-04-15 cs.AI cs.CV cs.LG
VESR-Net: The Winning Solution to Youku Video Enhancement and Super-Resolution Challenge
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文介绍了一种视频增强和超分辨率(VESR)的方法VESR-Net。在VESR-Net中,我们设计了一个独立的非局部模块来探索视频帧之间的关系并有效地融合视频帧,设计了一个通道注意力残差块来捕获特征图之间的关系,用于视频帧重构。我们进行实验,以分析这些设计的有效性VESR-Net,这表明VESR-Net的优势,以前的国家的最先进的VESR方法。值得一提的是,在数千名参加优酷视频增强和超分辨率(Youku-VESR)挑战赛的参赛者中,我们提出的VESR-Net击败了其他竞争方法,排名第一。
2020-03-04 cs.CV cs.LG eess.IV
Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution
Purdue University(普渡大学);University of Rochester(罗切斯特大学);Northeastern University(东北大学)
在本文中,我们探讨了空时视频超分辨率的任务,其目的是从低帧速率(LFR),低分辨率(LR)的视频生成一个高分辨率(HR)的慢动作视频。一个简单的解决方案是将其分为两个子任务:视频帧插值(VFI)和视频超分辨率(VSR)。然而,时间内插和空间超分辨率在这个任务中是内部相关的。两阶段方法不能充分利用自然属性。此外,现有技术的VFI或VSR网络需要大的帧合成或重构模块来预测高质量的视频帧,这使得两阶段方法具有大的模型尺寸,因此是耗时的。为了克服这些问题,我们提出了一个单级时空视频超分辨率框架,它直接从LFR,LR视频合成HR慢动作视频。而不是合成丢失的LR视频帧的VFI网络做,我们首先在时间上插值LR帧的功能,在丢失的LR视频帧捕获本地的时间上下文所提出的特征时间插值网络。然后,我们提出了一个可变形的ConvLSTM对齐和聚合的时间信息,同时更好地利用全局时间上下文。最后,采用深度重构网络对HR慢动作视频帧进行预测。在基准数据集上的大量实验表明,该方法不仅实现了更好的定量和定性性能,而且比最近的两阶段最先进的方法快三倍以上,例如,DAIN+EDVR和DAIN+RBPN。
2020-02-26 cs.CV cs.MM eess.IV
Cross-Resolution Flow Propagation for Foveated Video Super-Resolution
National Yang Ming Chiao Tung University(阳明交通大学)
多年来,对高分辨率视频内容的需求已经增长。然而,高分辨率视频的传输受到渲染所需的计算资源或远程传输的网络带宽的限制。为了弥补这一局限性,我们利用现有的增强和虚拟现实耳机旁边的眼动追踪器。我们提出了应用视频超分辨率(VSR)技术融合低分辨率上下文与区域高分辨率上下文的资源受限的消费的高分辨率内容,而不会感知质量下降。眼动仪为我们提供用户的注视方向,帮助我们提取区域高分辨率上下文。由于只有落在凝视区域内的像素才能被人眼分辨,因此大量的交付内容是冗余的,因为我们无法感知超出观察区域的区域的质量差异。为了从高分辨率区域和低分辨率区域的融合中生成视觉上令人愉悦的帧,我们研究了深度神经网络将观察到的区域的上下文转移到当前和未来帧的其他区域(低分辨率)的能力。我们将此任务标记为Foveated Video超分辨率(FVSR),因为我们需要通过融合来自凝视区域的像素来超分辨率当前和未来帧的低分辨率区域。我们提出了交叉分辨率流传播(CRFP)的FVSR。我们在REDS数据集上对CRFP进行训练和评估,任务是8 x FVSR,即8 x VSR和融合中心凹区域的组合。与使用SSIM或PSNR对每帧质量进行常规评估不同,我们提出了对过去的中心凹区域进行评估,测量模型在FVSR期间利用眼动跟踪器中存在的噪声的能力。代码可在https://github.com/eugenelet/CRFP上获得。
2022-12-27 cs.AI cs.CV
Deep Networks for Image and Video Super-Resolution
IPCV Lab, Department of Electrical Engineering, Indian Institute of Technology Madras(印度理工学院马德拉斯分校电气工程系IPCV实验室)
卷积神经网络中间层的梯度传播效率对于超分辨率任务至关重要。为此,我们提出了一种用于单图像超分辨率(SISR)的深度架构,该架构使用我们称为混合密集连接块(MDCB)的高效卷积单元构建。MDCB的设计结合了剩余和密集连接策略的优点,同时克服了它们的局限性。为了实现对多个因子的超分辨率,我们提出了一个尺度递归框架,该框架重新利用为较低尺度因子学习的滤波器递归地用于较高的因子。这导致改进的性能,并促进更高因子的参数效率。我们训练我们的网络的两个版本,以提高互补的图像质量使用不同的损失配置。我们进一步将我们的网络用于视频超分辨率任务,在该任务中,我们的网络学习从多帧中聚合信息并保持时空一致性。所提出的网络导致定性和定量的改进,在国家的最先进的技术对图像和视频的超分辨率基准。
2022-01-28 cs.CV eess.IV
A Single Frame and Multi-Frame Joint Network for 360-degree Panorama Video Super-Resolution
Xidian University(西安电子科技大学);North China University of Technology(北方工业大学)
球形视频,也称为\ang{360}(全景)视频,可以用各种虚拟现实设备(诸如计算机和盔装显示器)观看。他们吸引了大量的兴趣,因为观看球形视频时可以体验到令人敬畏的沉浸感。然而,捕获、存储和传输高分辨率球形视频是极其昂贵的。在本文中,我们提出了一种新的单帧和多帧联合网络(SMFN)从低分辨率的输入恢复高分辨率的球形视频。为了利用像素级帧间一致性,使用可变形卷积来消除目标帧及其相邻帧的特征图之间的运动差异。设计了一种混合注意力机制来增强特征表示能力。采用对偶学习策略约束解的空间,以获得更优解,并提出一种基于加权均方误差的损失函数,以增强赤道区域的超分辨率。这是首次尝试解决球形视频的超分辨率问题,我们从互联网上收集了一个新的数据集,米格全景视频,其中包括204个视频。4个有代表性的视频片段的实验结果证明了所提出的方法的有效性。数据集和代码可在https://github.com/lovepiano/SMFN_For_360VSR上获得。
2020-08-24 cs.AI cs.CV stat.ML
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research(京东人工智能研究院);JD Finance America Corporation(京东金融美国公司)
本文提出了一种新的视频超分辨率方法,旨在从低分辨率(LR)视频生成高保真高分辨率(HR)视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能,因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下,我们设计了一种跨帧非局部注意力机制,允许视频超分辨率而无需帧对齐,从而对视频中的大运动更加鲁棒。此外,为了获取相邻帧以外的信息,我们设计了一种新的记忆增强注意模块,用于在超分辨率训练过程中记忆一般视频细节。实验结果表明,我们的方法可以实现更优越的性能在大的运动视频相比,国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan(密歇根大学)
针对盲单图像超分辨率无法处理视频压缩退化的问题,首次提出基于视频压缩的退化模型合成训练数据,使网络能恢复视频压缩伪影及通用图像压缩失真,在无参考图像质量评估中达到SOTA,并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results
本文综述了AIM 2022上压缩图像和视频的超分辨率挑战。这一挑战包括两个方面。磁道1针对压缩图像的超分辨率,磁道2针对压缩视频的超分辨率。在Track 1中,我们使用流行的数据集DIV2K作为训练、验证和测试集。在Track 2中,我们提出了LDV 3.0数据集,其中包含365个视频,包括LDV 2.0数据集(335个视频)和30个额外的视频。在本次挑战赛中,分别有12支队伍和2支队伍将最终成绩提交给了第一轨道和第二轨道。所提出的方法和解决方案衡量了压缩图像和视频的超分辨率的最新技术水平。拟议的LDV 3.0数据集可在https://github.com/RenYang-home/LDV_dataset上获得。这个挑战的主页是https://github.com/RenYang-home/AIM22_CompressSR。
2022-08-25 cs.CV eess.IV
AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos
Tencent PCG(腾讯平台与内容事业群);Tencent Online Video(腾讯在线视频)
本文研究了动画视频的真实世界视频超分辨率(VSR)问题,并提出了三个关键的改进,为实际的动画VSR。首先,最近的现实世界的超分辨率方法通常依赖于退化模拟使用基本运营商没有任何学习能力,如模糊,噪声和压缩。在这项工作中,我们建议从真实的低质量动画视频中学习这些基本运算符,并将学习到的运算符纳入退化生成管道中。这种基于神经网络的基本运算符可以帮助更好地捕捉实际退化的分布。其次,建立了一个大规模的高质量动画视频数据集AVC,以便于对动画VSR进行全面的训练和评估。第三,我们进一步研究了一个有效的多尺度网络结构。它利用单向递归网络的效率和基于滑动窗口的方法的有效性。由于上述微妙的设计,我们的方法,AnimeSR,能够有效地恢复真实世界的低质量动画视频,实现了优越的性能,以前的国家的最先进的方法。代码和模型可在https://github.com/TencentARC/AnimeSR上获得。
2023-01-17 cs.AI cs.CV
ERQA: Edge-Restoration Quality Assessment for Video Super-Resolution
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
尽管视频超分辨率(VSR)越来越受欢迎,但仍然没有很好的方法来评估放大帧中恢复的细节质量。一些SR方法可能会产生错误的数字或完全不同的面孔。一种方法的结果是否可信取决于它还原真实细节的能力。图像超分辨率可以使用自然分布来产生仅与真实图像有点相似的高分辨率图像。VSR允许探索相邻帧中的附加信息,以从原始场景恢复细节。ERQA度量,我们在本文中提出,旨在估计模型的能力,恢复真实的细节,使用VSR。假设边缘对于细节和字符识别是重要的,我们选择边缘保真度作为这个度量的基础。我们的工作的实验验证是基于MSU视频超分辨率基准,其中包括最困难的细节恢复模式,并验证从原始帧的细节保真度。拟议指标的代码可在https://github.com/msu-video-group/ERQA上公开获取。
2022-01-24 cs.CV eess.IV
LoCoVSR: Local Context Diffusion Posterior Sampling for Video Super-Resolution
Technion - Israel Institute of Technology(以色列理工学院)
LoCoVSR提出一种基于像素空间扩散后验采样与局部时空上下文学习的视频超分辨率框架,通过局部窗口和共享噪声轨迹实现长视频高效并行推理,避免光流估计和潜在空间信息损失,在VFHQ数据集上取得有竞争力的结果。
2026-09-29 cs.CV eess.IV
COMISR: Compression-Informed Video Super-Resolution
Google Inc.(谷歌公司)
大多数视频超分辨率方法集中于从低分辨率视频恢复高分辨率视频帧,而不考虑压缩。然而,网络或移动设备上的大多数视频都是压缩的,当带宽有限时,压缩可能会很严重。在本文中,我们提出了一个新的压缩通知视频超分辨率模型恢复高分辨率的内容,而不会引入压缩造成的文物。该模型由三个模块组成的视频超分辨率:双向递归翘曲,细节保持流估计,拉普拉斯增强。所有这三个模块都用于处理压缩属性,例如输入帧中的帧内位置和输出帧中的平滑度。为了进行彻底的性能评估,我们对具有各种压缩率的标准数据集进行了广泛的实验,涵盖了许多真实的视频用例。我们表明,我们的方法不仅可以从广泛使用的基准数据集中恢复未压缩帧上的高分辨率内容,而且还可以基于许多定量指标在超分辨率压缩视频中实现最先进的性能。我们还通过模拟YouTube流来评估所提出的方法,以证明其有效性和鲁棒性。源代码和训练模型可在https://github.com/google-research/google-research/tree/master/comisr上获得。
2021-10-12 cs.CV
End-to-End Learning of Video Super-Resolution with Motion Compensation
University of Freiburg(弗莱堡大学)
学习方法已经在给定低分辨率输入的超分辨率图像的任务中显示出巨大的成功。视频超分辨率的目的是利用额外的信息,从多个图像。典型地,图像经由光流和连续图像扭曲而相关。在本文中,我们提供了一个端到端的视频超分辨率网络,与以前的作品相比,包括估计的光流在整个网络架构。我们分析了用于视频超分辨率的光流的使用,并且发现常见的现成的图像变形不允许视频超分辨率从光流中受益很多。相反,我们提出了一种用于运动补偿的操作,其直接执行从低到高分辨率的扭曲。我们表明,这种网络配置,视频超分辨率可以受益于光流,我们得到了最先进的流行的测试集上的结果。我们还表明,整个图像的处理,而不是独立的补丁是负责一个大的准确性增加。
2017-07-03 cs.CV
Deformable Non-local Network for Video Super-Resolution
视频超分辨率(VSR)任务旨在通过使用其对应的低分辨率(LR)帧和多个相邻帧来恢复高分辨率(HR)视频帧。目前,许多基于深度学习的VSR方法依赖于光流来执行帧对齐。光流场的准确性对最终的恢复结果有很大的影响。然而,光流估计并不完全准确,总是存在一些误差。在本文中,我们提出了一种新的可变形非局部网络(DNLN),这是一个非光流为基础的方法。具体来说,我们应用可变形卷积,并提高其自适应对齐的能力,在特征级。此外,我们利用一个非局部的结构来捕获的参考帧和对齐的相邻帧之间的全局相关性,并同时增强所需的细节对齐帧。为了重建最终的高质量HR视频帧,我们使用残差密集块中的残差,以充分利用层次特征。在基准数据集上的实验结果表明,所提出的DNLN可以达到最先进的性能在VSR任务。
2019-12-21 cs.CV eess.IV
Expanding Synthetic Real-World Degradations for Blind Video Super Resolution
K|Lens GmbH(K|Lens有限公司);Saarland Informatics Campus(萨尔兰信息学园区);IIT Jammu(印度理工学院查谟分校);MPI Informatics(马克斯·普朗克信息学研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
针对真实世界视频超分辨率性能不佳的问题,提出在合成训练集上合成包含多种退化的SRWD,结合随机打乱策略训练端到端DNN,性能显著优于现有方法,并推出新的真实世界高分辨率视频基准数据集。
2023-05-04 cs.CV eess.IV
Compressed Video Super-Resolution based on Hierarchical Encoding
University of Bristol(布里斯托大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本研究提出基于分层编码transformer的通用压缩视频超分辨率方法VSR-HE,可4倍放大高压缩比视频、消除H.265/HEVC压缩伪影,已提交至ICME 2025相关挑战赛的两个赛道。
2025-06-17 cs.CV eess.IV
MambaOVSR: Multiscale Fusion with Global Motion Modeling for Chinese Opera Video Super-Resolution
本文针对中国戏曲视频超分辨率问题,构建大规模COVC数据集并提出MambaOVSR网络,通过全局运动建模与多尺度融合,在PSNR上比现有STVSR方法平均提升1.86 dB。
2025-11-09 cs.AI cs.CV
Rethinking Video Super-Resolution: Towards Diffusion-Based Methods without Motion Alignment
TopXGun Robotics(TopXGun机器人研究所);Nanjing University(南京大学)
本文提出基于扩散后验采样框架的视频超分辨率方法,无需显式估计光流或运动参数,通过学习现实物理规律来处理多种运动模式,实验证明其有效性。
2025-11-04 cs.CV cs.LG eess.IV
PatchVSR: Breaking Video Diffusion Resolution Limits with Patch-wise Video Super-Resolution
Tsinghua University(清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Beijing Institute of Technology(北京理工大学)
针对现有视频超分辨率方法计算密集、输出分辨率固定的问题,提出集成双流适配器与位置注入的PatchVSR逐块VSR方法,结合多块联合调制,可基于低分辨率基础模型高效实现高竞争力的4K VSR。
2025-09-30 cs.CV
Video Super Resolution Based on Deep Learning: A Comprehensive Survey
Xidian University(西安电子科技大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);ETH Zurich(苏黎世联邦理工学院);University of Wurzburg(维尔茨堡大学)
近年来,深度学习在图像识别、自然语言处理、语音识别、视频超分辨率等多个领域取得了长足的进展。在本次调查中,我们全面调查了33种基于深度学习的最先进的视频超分辨率(VSR)方法。众所周知,视频帧内的信息的利用对于视频超分辨率是重要的。因此,我们提出了一种分类法,并根据利用帧间信息的方式将这些方法分为六个子类。此外,所有的方法的体系结构和实现细节进行了详细描述。最后,我们总结并比较了代表性的VSR方法在一些基准数据集上的性能。我们还讨论了一些挑战,需要进一步解决的研究人员在社区的VSR。据我们所知,这项工作是第一个系统的VSR任务,它有望在这一领域的最新研究的发展作出贡献,并可能加深我们对基于深度学习的VSR技术的理解。
2022-03-16 cs.CV eess.IV
Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions
Microsoft Research Asia(微软亚洲研究院)
我们研究了联合视频和语言(VL)预训练,以实现跨模态学习并使大量下游VL任务受益。现有的工作要么提取低质量的视频特征,要么学习有限的文本嵌入,而忽略了高分辨率的视频和多样化的语义可以显着提高跨模态学习。在本文中,我们提出了一种新的高分辨率和多样化的视频语言预训练模型(HD-VILA)的许多视觉任务。特别是,我们收集了一个具有两个不同属性的大型数据集:1)第一个高分辨率数据集,包括371.5k小时的720 p视频,2)最多样化的数据集,涵盖15个流行的YouTube类别。为了实现VL预训练,我们通过学习丰富时空特征的混合Transformer和强制学习的视频特征与多样化文本的交互的多模态Transformer来共同优化HD-VILA模型。我们的预训练模型在10个VL理解任务和2个新的文本到视觉生成任务中取得了新的最先进的结果。例如,我们优于SOTA模型,在zero-shot MSR-VTT文本到视频检索任务中相对增加了40.4%R@1,在高分辨率数据集LSMDC中相对增加了55.4%。学习的VL嵌入在文本到视觉编辑和超分辨率任务中生成视觉上令人愉悦和语义相关的结果也是有效的。
2022-07-08 cs.CV
Sliding Window Recurrent Network for Efficient Video Super-Resolution
Uppsala University(乌普萨拉大学);Northeastern University(东北大学)
视频超分辨率(VSR)是从一系列低分辨率输入恢复高分辨率帧的任务。与单帧图像超分辨率不同,VSR可以利用帧间的时间信息重构出更多细节的图像。近年来,随着卷积神经网络(CNN)的迅速发展,VSR问题受到越来越多的关注,许多基于CNN的方法取得了显著的效果。然而,由于计算资源和运行时间的限制,只有少数VSR方法可以应用于现实世界的移动设备。在本文中,我们提出了一个\textit{Sliding Window based Recurrent Network}(SWRN),它可以是实时推理,同时仍然实现优越的性能。具体来说,我们注意到视频帧应该具有有助于恢复细节的空间和时间关系,而关键是如何提取和聚合信息。针对这个问题,我们输入三个相邻的帧,并利用一个隐藏状态来循环存储和更新重要的时间信息。我们在REDS数据集上的实验表明,该方法可以很好地适应移动设备,并产生视觉上令人愉快的结果。
2022-08-24 cs.CV eess.IV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST(韩国科学技术院)
本文提出DSFN网络,通过联合去模糊与超分辨率模块和三帧帧插值模块,从低质量视频直接生成高分辨率、高帧率清晰视频,在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
NTIRE 2021 Challenge on Video Super-Resolution
Seoul National University(首尔大学)
超分辨率(SR)是一项基本的计算机视觉任务,旨在从给定的低分辨率图像中获得高分辨率的干净图像。本文回顾了NTIRE 2021年视频超分辨率挑战赛。我们目前的评估结果,从两个竞争的轨道,以及提出的解决方案。轨道1旨在开发传统的视频SR方法,专注于恢复质量。轨道2假设具有较低帧速率的更具挑战性的环境,从而引发时空SR问题。在每一项比赛中,分别有247名和223名参赛者登记。在最后的测试阶段,14个团队在每个赛道上竞争,以实现视频SR任务的最先进性能。
2021-05-10 cs.CV
Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
University of Science and Technology Beijing(北京科技大学);Microsoft Research(微软研究院);Shunde Graduate School of University of Science and Technology Beijing(北京科技大学顺德研究生院)
压缩视频超分辨率(VSR)旨在从压缩的低分辨率对应物恢复高分辨率帧。最新的VSR方法通常通过从相邻视频帧借用相关纹理来增强输入帧。虽然已经取得了一些进展,但要从压缩视频中有效地提取和传输高质量的纹理仍然存在巨大的挑战,因为大多数帧通常都是高度退化的。在本文中,我们提出了一种新的频率变换器压缩视频超分辨率(FTVSR),进行自关注的联合空间-时间-频率域。首先,我们将一个视频帧分成补丁,并将每个补丁转换成DCT频谱图,其中每个通道代表一个频带。这样的设计使得能够在每个频带上实现细粒度级别的自关注,使得可以将真实的视觉纹理与伪影区分开,并且进一步用于视频帧恢复。其次,我们研究了不同的自注意方案,并发现一个分开的注意,进行联合空间频率注意之前,每个频带上应用时间注意,导致最好的视频增强质量。两个广泛使用的视频超分辨率基准测试的实验结果表明,FTVSR优于国家的最先进的方法在未压缩和压缩视频具有清晰的视觉边缘。代码可在https://github.com/researchmm/FTVSR上获得。
2022-08-05 cs.CV
Privacy-Preserving Human Activity Recognition from Extreme Low Resolution
Indiana University(印第安纳大学);EgoVid Inc.(EgoVid公司);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Ulsan National Institute of Science and Technology(蔚山科学技术院)
防止偷拍视频的隐私保护是一项重要的社会挑战。我们期望一种计算机视觉系统(例如,机器人),它可以识别人类活动并协助我们的日常生活,但确保它不会录制可能侵犯我们隐私的视频。本文提出了一种解决这些矛盾目标的基本方法:人类活动识别,同时只使用极低分辨率(例如,16x12)匿名视频。我们引入了逆超分辨率(ISR)的范例,即学习图像变换的最佳集合以从单个视频生成多个低分辨率(LR)训练视频的概念。我们的ISR学习针对活动分类优化的不同类型的子像素变换,允许分类器最好地利用现有的高分辨率视频(例如,YouTube视频),为问题量身定制多个LR培训视频。我们通过实验证实,逆超分辨率的范例能够从极低分辨率的视频中受益于活动识别。
2016-12-26 cs.CV
Tiled Prompts: Overcoming Prompt Misguidance in Image and Video Super-Resolution
KAIST AI(韩国科学技术院人工智能学院)
本文提出Tiled Prompts框架,通过为每个潜在块生成特定提示,解决传统全局提示在超分辨率中的误导问题,提升图像和视频的感知质量和真实性。
2026-04-10 cs.AI cs.CV cs.LG
FCVSR: A Frequency-aware Method for Compressed Video Super-Resolution
School of Information and Communication Engineering, University of Electronic Science and Technology of China(信息与通信工程学院,电子科学与技术大学)
本文提出FCVSR方法,通过运动引导自适应对齐网络和多频率特征细化模块,结合频率感知对比损失,提升压缩视频超分辨率性能,实验表明在PSNR和复杂度上优于现有方法。
2025-10-11 cs.CV
Perceptually-inspired super-resolution of compressed videos
University of Bristol(布里斯托大学)
空间分辨率自适应是一种在视频压缩中经常采用的提高编码效率的技术。这种方法对输入视频的较低分辨率版本进行编码,并在解码期间重建原始分辨率。最近的工作采用了基于卷积神经网络(CNN)的高级超分辨率方法,而不是使用传统的上采样滤波器,以进一步提高重建质量。这些方法通常被训练为最小化基于像素的损失,例如均方误差(MSE),尽管这种类型的损失度量与主观意见没有很好的相关性。在本文中,感知启发的超分辨率方法(M-SRGAN)提出了使用修改后的CNN模型,已使用生成对抗网络(GAN)与感知损失函数的压缩内容上训练的压缩视频的空间上采样。所提出的方法与HEVC HM 16.20集成,并且已经使用随机访问配置在JVET公共测试条件(UHD测试序列)上进行了评估。结果显示,与原始HM 16.20相比,感知质量有了明显的改善,基于感知质量度量VMAF的平均比特率节省了35.6%(Bjøntegaard Delta测量)。
2021-06-15 cs.CV cs.LG eess.IV
Combining Contrastive and Supervised Learning for Video Super-Resolution Detection
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
视频放大检测是多媒体取证中的一个有用的工具,但它是一个具有挑战性的任务,涉及各种放大和压缩算法。分辨率增强方法有很多,包括插值和基于深度学习的超分辨率,并且它们会留下独特的痕迹。在这项工作中,我们提出了一种新的分辨率提升检测方法的基础上学习的视觉表示使用对比度和交叉熵损失。为了解释该方法如何检测视频,我们系统地回顾了我们框架的主要组成部分-特别是,我们表明大多数数据增强方法阻碍了该方法的学习。通过对各种数据集的广泛实验,我们证明了我们的方法即使在压缩视频中也能有效地检测到放大,并且优于最先进的替代方案。代码和模型可在https://github.com/msu-video-group/SRDM上公开获取
2022-05-20 cs.CV
Self-Supervised Deep Blind Video Super-Resolution
Nanjing University of Science and Technology(南京理工大学)
现有的基于深度学习的视频超分辨率(SR)方法通常依赖于监督学习方法,其中训练数据通常通过具有已知或预定义核的模糊操作来生成(例如,双三次核),然后进行抽取操作。然而,这并不适用于实际应用,因为退化过程是复杂的,并且不能很好地近似于这些理想情况。此外,在真实世界场景中获得高分辨率(HR)视频和对应的低分辨率(LR)视频是困难的。为了克服这些问题,我们提出了一种自监督学习方法来解决盲视频SR问题,它同时估计模糊核和HR视频从LR视频。由于直接使用LR视频作为监督通常会导致琐碎的解决方案,我们开发了一种简单有效的方法,根据视频SR的图像形成从原始LR视频生成辅助配对数据,以便网络可以更好地约束所生成的配对数据,用于模糊核估计和潜在HR视频恢复。此外,我们引入了一个光流估计模块,利用相邻帧的信息进行HR视频恢复。实验表明,我们的方法表现良好,对国家的最先进的基准和现实世界的视频。
2022-01-19 cs.CV
Implicit Neural Representation for Video and Image Super-Resolution
Clemson University(克莱姆森大学)
本研究提出基于隐式神经表示的SR-INR方法,仅需低分辨率输入和3D高分辨率网格即可实现图像和视频超分辨率,无需光流或运动估计,在保持时序稳定性的同时降低了计算需求,性能优于现有先进方法。
2025-03-06 cs.CV
Towards Interpretable Video Super-Resolution via Alternating Optimization
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
在本文中,我们研究了一个实用的时空视频超分辨率(STVSR)的问题,其目的是产生一个高帧率的高分辨率清晰的视频从一个低帧率的低分辨率模糊的视频。当用低帧速率和低分辨率相机记录快速动态事件时经常发生这样的问题,并且所捕获的视频将遭受三个典型问题:i)由于曝光时间期间的对象/相机运动而发生运动模糊; ii)当事件时间频率超过时间采样的奈奎斯特极限时,运动混叠是不可避免的; iii)由于低空间采样率而丢失高频细节。这些问题可以通过级联三个单独的子任务来缓解,包括视频去模糊、帧插值和超分辨率,然而,这将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题,我们提出了一个可解释的STVSR框架,利用基于模型和基于学习的方法。具体来说,我们制定STVSR作为一个联合的视频去模糊,帧内插,和超分辨率的问题,并解决它作为两个子问题的交替方式。对于第一个子问题,我们推导出一个可解释的解析解,并将其用作傅立叶数据变换层。然后,我们提出了一个经常性的视频增强层的第二子问题,以进一步恢复高频细节。大量的实验表明,我们的方法在定量指标和视觉质量方面的优越性。
2022-07-21 cs.CV