Optical Flow for Video Super-Resolution: A Survey
Wuhan University（武汉大学）；Hubei University of Economics（湖北经济学院）；Central China Normal University（华中师范大学）；Arizona State University（亚利桑那州立大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
视频超分辨率是当前计算机视觉中最活跃的研究课题之一，因为它在许多视觉应用中起着重要的作用。通常，视频超分辨率包含重要分量，即，运动补偿，其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动，是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用，本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题：超分辨率的功能（即，为什么我们需要超分辨率）;视频超分辨率的概念（即，什么是视频超分辨率）;评估度量的描述（即，（视频）超分辨率如何执行）;引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究，并对几种典型算法进行了分析和比较。此外，我们强调了一些有前途的研究方向和开放的问题，应进一步解决。
2022-03-20 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research（京东人工智能研究院）；JD Finance America Corporation（京东金融美国公司）
本文提出了一种新的视频超分辨率方法，旨在从低分辨率（LR）视频生成高保真高分辨率（HR）视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能，因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下，我们设计了一种跨帧非局部注意力机制，允许视频超分辨率而无需帧对齐，从而对视频中的大运动更加鲁棒。此外，为了获取相邻帧以外的信息，我们设计了一种新的记忆增强注意模块，用于在超分辨率训练过程中记忆一般视频细节。实验结果表明，我们的方法可以实现更优越的性能在大的运动视频相比，国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University（南洋理工大学）
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中，我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明，通过增强传播和对齐的经常性框架，可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是，我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB，参数数量相似。除了视频超分辨率之外，BasicVSR++还可以很好地推广到其他视频恢复任务，如压缩视频增强。在NTIRE 2021中，BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Self-Supervised Adaptation for Video Super-Resolution
Hanyang University（汉阳大学）
最近的单图像超分辨率（SISR）网络，它可以调整其网络参数，以特定的输入图像，已经显示出有前途的结果，通过利用输入数据以及大型外部数据集内可用的信息。然而，这些自我监督的SISR方法的视频处理的扩展还有待研究。因此，我们提出了一种新的学习算法，允许传统的视频超分辨率（VSR）网络，以适应他们的参数来测试视频帧，而不使用地面实况数据集。通过利用空间和时间上的许多自相似补丁，我们提高了完全预训练的VSR网络的性能，并产生时间上一致的视频帧。此外，我们提出了一个测试时的知识蒸馏技术，加快了适应速度与较少的硬件资源。在我们的实验中，我们证明了我们的新学习算法可以微调最先进的VSR网络，并大大提高了许多基准数据集的性能。
2021-03-18 cs.CV
Combining Contrastive and Supervised Learning for Video Super-Resolution Detection
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
视频放大检测是多媒体取证中的一个有用的工具，但它是一个具有挑战性的任务，涉及各种放大和压缩算法。分辨率增强方法有很多，包括插值和基于深度学习的超分辨率，并且它们会留下独特的痕迹。在这项工作中，我们提出了一种新的分辨率提升检测方法的基础上学习的视觉表示使用对比度和交叉熵损失。为了解释该方法如何检测视频，我们系统地回顾了我们框架的主要组成部分-特别是，我们表明大多数数据增强方法阻碍了该方法的学习。通过对各种数据集的广泛实验，我们证明了我们的方法即使在压缩视频中也能有效地检测到放大，并且优于最先进的替代方案。代码和模型可在https://github.com/msu-video-group/SRDM上公开获取
2022-05-20 cs.CV
Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks
Toyota Technological Institute（丰田工业大学）
本文提出一种用于视频超分辨率的循环网络训练策略，通过重用依视频属性变化的隐藏状态并引入帧数条件化，有效消除了长短视频间的域差距，实现了独立于视频长度和动态特性的高效稳定超分。
2024-03-23 cs.CV
VideoGigaGAN: Towards Detail-rich Video Super-Resolution
Adobe Research（奥多比研究院）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出 VideoGigaGAN，通过改进 GigaGAN 的时间模块与关键技术，在保持时间一致性的同时生成细节更丰富的视频，并在公共数据集上验证了其 8 倍超分辨率效果。
2024-05-01 cs.CV
End-to-End Learning of Video Super-Resolution with Motion Compensation
University of Freiburg（弗莱堡大学）
学习方法已经在给定低分辨率输入的超分辨率图像的任务中显示出巨大的成功。视频超分辨率的目的是利用额外的信息，从多个图像。典型地，图像经由光流和连续图像扭曲而相关。在本文中，我们提供了一个端到端的视频超分辨率网络，与以前的作品相比，包括估计的光流在整个网络架构。我们分析了用于视频超分辨率的光流的使用，并且发现常见的现成的图像变形不允许视频超分辨率从光流中受益很多。相反，我们提出了一种用于运动补偿的操作，其直接执行从低到高分辨率的扭曲。我们表明，这种网络配置，视频超分辨率可以受益于光流，我们得到了最先进的流行的测试集上的结果。我们还表明，整个图像的处理，而不是独立的补丁是负责一个大的准确性增加。
2017-07-03 cs.CV
AIM 2019 Challenge on Video Temporal Super-Resolution: Methods and Results
Seoul National University（首尔大学）
视频包含各种类型和强度的运动，当记录的帧速率低时，这些运动在时间上看起来可能不自然地不连续。本文回顾了第一个AIM挑战视频时间超分辨率（帧内插），重点是所提出的解决方案和结果。从低帧速率（15 fps）视频序列，要求挑战参与者通过估计时间上的中间帧来提交较高帧速率（60 fps）视频序列。我们采用的REDS VTSR数据集来自不同的视频在手持摄像机拍摄的训练和评估的目的。比赛共有62名注册参赛者，共有8支队伍参加了最后的测试阶段。挑战获胜的方法实现了视频时间超分辨率的最先进的。
2020-05-04 cs.CV
COMISR: Compression-Informed Video Super-Resolution
Google Inc.（谷歌公司）
大多数视频超分辨率方法集中于从低分辨率视频恢复高分辨率视频帧，而不考虑压缩。然而，网络或移动设备上的大多数视频都是压缩的，当带宽有限时，压缩可能会很严重。在本文中，我们提出了一个新的压缩通知视频超分辨率模型恢复高分辨率的内容，而不会引入压缩造成的文物。该模型由三个模块组成的视频超分辨率：双向递归翘曲，细节保持流估计，拉普拉斯增强。所有这三个模块都用于处理压缩属性，例如输入帧中的帧内位置和输出帧中的平滑度。为了进行彻底的性能评估，我们对具有各种压缩率的标准数据集进行了广泛的实验，涵盖了许多真实的视频用例。我们表明，我们的方法不仅可以从广泛使用的基准数据集中恢复未压缩帧上的高分辨率内容，而且还可以基于许多定量指标在超分辨率压缩视频中实现最先进的性能。我们还通过模拟YouTube流来评估所提出的方法，以证明其有效性和鲁棒性。源代码和训练模型可在https://github.com/google-research/google-research/tree/master/comisr上获得。
2021-10-12 cs.CV
ELSR: Extreme Low-Power Super Resolution Network For Mobile Devices
Xiaomi Inc.（小米公司）
随着移动设备的普及，例如，智能手机和可穿戴设备中，更轻更快的机型对于视频超分辨率的应用至关重要。然而，大多数先前的轻量级模型倾向于集中于减少桌面GPU上的模型推理的延迟，这在当前的移动设备中可能不是节能的。在本文中，我们提出了极低功耗超分辨率（ELSR）网络，它只消耗少量的能量在移动设备。采用预训练和微调方法来提高极小模型的性能。大量的实验表明，我们的方法实现了恢复质量和功耗之间的良好平衡。最终，我们在目标联发科QM 9000平台上获得了90.9的竞争分数，PSNR为27.34 dB，功率为0.09 W/30 FPS，在Mobile AI & AIM 2022实时视频超分辨率挑战赛中排名第一。
2022-08-31 cs.CV eess.IV
UniMMVSR: A Unified Multi-Modal Framework for Cascaded Video Super-Resolution
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）
UniMMVSR提出首个统一多模态级联视频超分框架，融合文本、图像和视频条件，显著提升生成细节与条件一致性，并支持4K视频生成。
2025-10-09 cs.CV
Recurrent Back-Projection Network for Video Super-Resolution
Toyota Technological Institute（丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
针对视频超分辨率问题，提出了一种新的架构。我们使用循环编码器-解码器模块从连续视频帧中整合空间和时间上下文，该模块将多帧信息与目标帧的更传统的单帧超分辨率路径融合。与大多数先前的工作相比，框架通过堆叠或扭曲汇集在一起，我们的模型，递归反向投影网络（RBPN）将每个上下文框架视为单独的信息源。这些源被组合在一个迭代的细化框架的启发，在多图像超分辨率的反投影的想法。这通过明确表示相对于目标的估计的帧间运动而不是明确地对准帧来辅助。我们提出了一个新的视频超分辨率基准，允许在更大的规模评估，并考虑在不同的运动制度的视频。实验结果表明，我们的RBPN是优于现有的方法在几个数据集上。
2019-03-25 cs.CV
An Efficient Network Design for Face Video Super-resolution
Southeast University（东南大学）；University of Cambridge（剑桥大学）
人脸视频超分辨率算法旨在通过连续输入的视频序列重建真实的人脸细节。然而，现有的视频处理算法通常包含冗余参数，以保证不同的超分辨率场景。在这项工作中，我们专注于超分辨率的人脸区域在原始视频场景，而其余地区的插值。这种特定的超分辨率任务使得在一般视频超分辨率网络中削减冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集，用于网络训练和评估，并在实验中进行超参数优化。我们使用三种组合策略来优化网络参数，并使用同步训练评估方法来加速优化过程。结果表明，同时训练评估方法提高了训练速度，有利于生成有效的网络。与现有的视频超分辨率算法相比，该算法至少减少了52.4%的参数和20.7%的FLOP，在PSNR、SSIM等性能指标上都有明显的提高。当处理36 x36 x1 x3输入视频帧序列时，高效网络提供47.62 FPS的实时处理性能。我们将我们的建议命名为人脸视频超分辨率（HO-FVSR）的超参数优化，该建议在https://github.com/yphone/efficient-network-for-face-VSR上开源。
2021-09-28 cs.AI cs.CV
Revisiting Temporal Modeling for Video Super-resolution
Tsinghua University（清华大学）；New York University（纽约大学）；Huawei Technologies（华为技术有限公司）
视频超分辨率在监控视频分析和超高清视频显示中具有重要作用，受到了研究界和工业界的广泛关注。尽管已经提出了许多基于深度学习的VSR方法，但由于不同的损失函数和训练数据集对超分辨率结果有显著影响，因此很难直接比较这些方法。在这项工作中，我们仔细研究和比较三种时间建模方法（2D CNN与早期融合，3D CNN与缓慢融合和递归神经网络）的视频超分辨率。我们还提出了一种新的递归残差网络（RRN），用于高效的视频超分辨率，其中残差学习用于稳定RNN的训练，同时提高超分辨率性能。大量的实验表明，所提出的RRN是高度的计算效率，并产生时间一致的VSR结果与更精细的细节比其他时间建模方法。此外，该方法在几个广泛使用的基准测试中取得了最先进的结果。
2020-08-20 cs.CV eess.IV
Learning Trajectory-Aware Transformer for Video Super-Resolution
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）
视频超分辨率（VSR）旨在从低分辨率（LR）帧中恢复高分辨率（HR）帧序列。虽然已经取得了一些进展，但在整个视频序列中有效地利用时间依赖性仍然存在巨大的挑战。现有的方法通常从有限的相邻帧（例如，5或7帧），这妨碍了这些方法获得令人满意的结果。在本文中，我们进一步实现了视频中的有效时空学习。提出了一种新的基于轨迹感知的视频超分辨率Transformer（TTVSR）。特别是，我们制定的视频帧到几个预先对齐的轨迹，其中包括连续的视觉令牌。对于查询令牌，自我注意力只沿着时空轨迹在相关视觉令牌上学习。与普通Vision Transformers相比，这种设计显著降低了计算成本，并使Transformers能够对长距离特征进行建模。我们进一步提出了一个跨尺度特征标记化模块，以克服在长距离视频中经常发生的尺度变化问题。实验结果表明，所提出的TTVSR国家的最先进的模型的优越性，通过广泛的定量和定性评价在四个广泛使用的视频超分辨率基准。代码和预训练模型都可以在https://github.com/researchmm/TTVSR下载。
2022-04-20 cs.CV eess.IV
EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh
Pico, Bytedance（字节跳动）
本文提出EX-4D框架，利用深度水密网格表示结合模拟掩码训练策略和LoRA视频扩散适配器，解决了极端视角下从单目输入生成高质量相机可控4D视频的几何一致性与遮挡问题。
2025-06-05 cs.CV
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University（伯恩茅斯大学）；Department of Computing and Informatics（计算与信息学院）
视频游戏图形的计算成本正在增加，并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形，同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣，并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC（中国科学技术大学）；UC San Diego（加州大学圣地亚哥分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）；U of Oregon（俄勒冈大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵，因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率（STVSR）的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而，它们中的大多数仅支持固定的上采样尺度，这限制了它们的灵活性和应用。在这项工作中，而不是以下的离散表示，我们提出了视频隐式神经表示（VideoINR），我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能，并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon（亚马逊）
这项工作的重点是低比特率的视频流场景（例如50 - 200 Kbps），其中视频质量严重受损。我们提出了一系列新颖的深度生成模型，用于通过执行超分辨率来增强此类流的感知视频质量，同时还去除压缩伪影。我们的模型，我们称之为SuperTran，除了低质量，低分辨率的视频流之外，还需要输入一个高质量，高分辨率的参考图像。因此，模型学习如何从参考图像借用或复制视觉元素（如纹理），并填充低分辨率流中的剩余细节，以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次，也可以从图库中检索。重要的是，所得到的输出具有比仅使用低分辨率输入的方法（例如SuperVEGAN方法）可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作（高达30帧/秒）。
2022-11-22 cs.CV cs.LG eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
视频压缩是互联网视频传输的关键组成部分。最近的研究表明，深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法，但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法，增强现有的编解码器与一个小的，内容自适应超分辨率模型，显着提高视频质量。我们的方法SRVC将视频编码成两个比特流：（i）内容流，通过使用现有编解码器压缩下采样的低分辨率视频产生，（ii）模型流，其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过（时变）超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明，为了实现相同的PSNR，SRVC在慢速模式下需要H. 265的每像素比特数的16%，以及DVC的每像素比特数的2%，DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
VESR-Net: The Winning Solution to Youku Video Enhancement and Super-Resolution Challenge
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了一种视频增强和超分辨率（VESR）的方法VESR-Net。在VESR-Net中，我们设计了一个独立的非局部模块来探索视频帧之间的关系并有效地融合视频帧，设计了一个通道注意力残差块来捕获特征图之间的关系，用于视频帧重构。我们进行实验，以分析这些设计的有效性VESR-Net，这表明VESR-Net的优势，以前的国家的最先进的VESR方法。值得一提的是，在数千名参加优酷视频增强和超分辨率（Youku-VESR）挑战赛的参赛者中，我们提出的VESR-Net击败了其他竞争方法，排名第一。
2020-03-04 cs.CV cs.LG eess.IV
A Novel Dual Dense Connection Network for Video Super-resolution
Communication University of China（中国传媒大学）
视频超分辨率（VSR）是指从相应的低分辨率（LR）视频重建高分辨率（HR）视频。近年来，振动时效越来越受到人们的关注。在本文中，我们提出了一种新的双稠密连接网络，可以产生高质量的超分辨率（SR）的结果。该方法将输入帧分为参考帧、时前组和时后组，分别代表不同时间段的信息。这种分组方法提供了不同时间段的准确信息，而不会造成时间信息混乱。同时，我们提出了一种新的损失函数，这有利于增强模型的收敛能力。在Vid 4数据集和SPMCS-11数据集上的实验表明，该模型的性能优于其他先进模型。
2022-03-05 cs.CV cs.LG eess.IV
Deep Generative Video Compression
Dartmouth College（达特茅斯学院）；Disney Research LA（迪士尼研究院洛杉矶）；DisneyResearch|Studios（迪士尼研究工作室）；University of California, Irvine（加州大学欧文分校）
深度生成模型在图像压缩中的应用已经使传统编解码器获得了令人印象深刻的性能提升，而神经视频压缩仍处于起步阶段。在这里，我们提出了一种端到端的深度生成建模方法来压缩时间序列，重点是视频。我们的方法建立在变分自编码器（VAE）模型的顺序数据，并结合他们最近的工作神经图像压缩。该方法共同学习将原始序列转换为低维表示，以及根据序列VAE的预测对该表示进行离散化和熵编码。对来自不同复杂性和多样性的公共数据集的小视频进行的率失真评估表明，我们的模型在对通用视频内容进行训练时会产生有竞争力的结果。在专门的内容上训练模型时，可以实现极高的压缩性能。
2019-11-01 cs.CV cs.LG eess.IV
XVFI: eXtreme Video Frame Interpolation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们首先向视频帧插值（VFI）研究社区提供了一个具有极端运动的1000 fps 4K视频数据集（X4 K1000 FPS），并提出了一个称为XVFI-Net的极端VFI网络，该网络首先处理具有大运动的4K视频的VFI。XVFI-Net基于递归多尺度共享结构，该结构由两个级联模块组成，用于两个输入帧之间的双向光流学习（BiOF-I）和用于从目标到输入帧的双向光流学习（BiOF-T）。利用BiOF-T模块中提出的互补流反转（CFR）方法稳定地近似了光流。在推理过程中，BiOF-I模块可以在任何输入规模下启动，而BiOF-T模块仅在原始输入规模下运行，因此可以加速推理，同时保持高度准确的VFI性能。大量的实验结果表明，我们的XVFI-Net可以成功地捕获具有极大运动和复杂纹理的对象的基本信息，而最先进的方法表现出较差的性能。此外，我们的XVFI-Net框架还对以前的低分辨率基准数据集进行了测试，这也表明了我们算法的鲁棒性。所有源代码、预训练模型和拟议的X4 K1000 FPS数据集均可在https://github.com/JihyongOh/XVFI上公开获取。
2021-08-05 cs.CV
Light4D: Training-Free Extreme Viewpoint 4D Video Relighting
Light4D提出一种无需训练的框架，通过解耦流引导和时间一致注意力，实现极端视角下的4D视频重映射，提升时间一致性和光照保真度。
2026-02-12 cs.CV
Divergence-Based Adaptive Extreme Video Completion
School of Computer；Communication Sciences, EPFL, Switzerland
极端的图像或视频完成，例如，我们在随机位置只保留1%的像素，允许在所需的预处理方面进行非常便宜的采样。然而，其结果是，重建对人类和修复算法都具有挑战性。我们提出了将最先进的极端图像完成算法扩展到极端视频完成。我们分析了一种基于颜色KL发散的颜色运动估计方法，该方法适用于非常稀疏的场景。我们的算法利用的估计，以适应其空间和时间之间的滤波重建稀疏随机采样的视频。我们使用重建PSNR和平均意见分数对50个公开的视频验证了我们的结果。
2020-04-14 cs.CV eess.IV
Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning
EgoVid Inc.（EgoVid公司）；Indiana University（印第安纳大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
本文提出了一种从极低分辨率（例如，16x12）视频。极低分辨率识别不仅是分析远距离动作所必需的，而且对于实现对人类活动的隐私保护识别至关重要。我们设计了一个新的双流多连体卷积神经网络。这个想法是明确地捕捉低分辨率（LR）视频的固有属性，即来自完全相同场景的两个图像通常具有完全不同的像素值，这取决于它们的LR变换。我们的方法学习了共享的嵌入空间，该空间将具有相同内容的LR视频映射到相同的位置，而不管它们的变换如何。我们通过实验证实，我们的方法联合学习这种变换鲁棒LR视频表示和分类器在两个公共标准数据集上的性能优于以前最先进的低分辨率识别方法。
2018-02-04 cs.CV
DEVIS-GRPO: Unleashing GRPO on Dynamic Extreme View Synthesis
Xidian University（西安电子科技大学）；State Key Laboratory of General Artificial Intelligence, BIGAI（人工智能国家重点实验室，BIGAI）
本文提出DEVIS-GRPO，一种基于GRPO的框架，用于轨迹控制的视频生成，是首个在线策略梯度方法用于极视视频生成。核心方法是新颖的采样策略ADEVIS，通过逐步积累小视增量实现大视运动，提高了训练效率和采样多样性。
2026-05-16 cs.CV
One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Prime Video（亚马逊Prime视频）
本文提出XComp模型，通过极端视频标记压缩提升长视频理解性能，结合标记级和帧级压缩，实现更高的压缩比和更密集的帧采样。
2026-04-16 cs.CV
REDUCIO! Generating 1K Video within 16 Seconds using Extremely Compressed Motion Latents
Institute of Trustworthy Embodied AI, Fudan University（可信具身人工智能研究院，复旦大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Microsoft Research（微软研究院）
本文提出Reducio-VAE将视频编码为极度压缩的运动潜变量，结合两阶段扩散模型Reducio-DiT，显著提升了视频生成的训练与推理效率，仅需3.2K A100 GPU小时训练，15.5秒生成16帧1024分辨率视频。
2025-08-12 cs.CV
Scale-Aware Vision-Language Adaptation for Extreme Far-Distance Video Person Re-identification
Arizona State University（亚利桑那州立大学）
本文提出一种基于CLIP的视觉语言模型，通过升级视觉主干和引入选择性微调机制，提升远距离视频人重识别的鲁棒性，实验表明在DetReIDX基准上取得显著提升。
2026-04-05 cs.CV
Free-GVC: Towards Training-Free Extreme Generative Video Compression with Temporal Coherence
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（图像通信与网络工程研究所，上海交通大学）；Shanghai AI Lab（上海人工智能实验室）
Free-GVC通过无训练的生成视频压缩框架，在超低比特率下实现视觉质量与时间一致性的提升。
2026-02-10 cs.CV
Semi-Coupled Two-Stream Fusion ConvNets for Action Recognition at Extremely Low Resolutions
Boston University（波士顿大学）
深度卷积神经网络（ConvNets）最近被证明在标准分辨率视频的动作识别方面具有最先进的性能。然而，很少关注极低分辨率（eLR）下的识别性能（例如，16 x 12像素）。使用eLR相机的可靠动作识别将解决各种应用环境中的隐私问题，如私人住宅，医院，护理/康复设施等。在本文中，我们提出了一个半耦合滤波器共享网络，利用高分辨率（HR）视频在训练过程中，以协助eLR ConvNet。我们还研究了融合为eLR视频定制的空间和时间ConvNets的方法，以利用外观和运动信息。我们的方法在IXMAS（93.7%）和HMDB（29.2%）数据集上的极低分辨率下优于最先进的方法。
2018-10-05 cs.CV
Extreme Low Resolution Activity Recognition with Confident Spatial-Temporal Attention Transfer
Sichuan University（四川大学）；Wuhan University（武汉大学）；University of Bonn（波恩大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Tulane University（杜兰大学）；Sun Yat-Sen University（中山大学）
对极低分辨率视频的活动识别，例如，分辨率为12*16像素，在远景监控和隐私保护多媒体分析中起着至关重要的作用。低分辨率视频只包含有限的信息。鉴于同一个活动可以由高分辨率（HR）和极低分辨率（eLR）的视频表示的事实，利用相关HR数据来改进eLR活动识别是值得研究的。在这项工作中，我们提出了一种新的置信时空注意转移（CSTAT）的eLR活动识别。CSTAT可以从HR数据中获取信息，通过迁移学习策略减少注意差异。此外，监控信号的可信度也被考虑到一个更自信的传输过程。在两个众所周知的数据集上的实验结果，即，UCF 101和HMDB 51的实验结果表明，该方法能有效提高eLR活性识别的准确率，在HMDB 51中对12*16个视频的识别准确率达到59.23%，达到了最高水平。
2021-10-10 cs.CV
SAS-VPReID: A Scale-Adaptive Framework with Shape Priors for Video-based Person Re-Identification at Extreme Far Distances
School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院）
SAS-VPReID通过自适应框架和形状先验，提升远距离视频中人物重识别的性能。
2026-01-09 cs.CV
PoseCrafter: Extreme Pose Estimation with Hybrid Video Synthesis
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算机与数据科学学院）；School of Astronautics, Northwestern Polytechnical University（西北工业大学航天学院）
针对稀疏重叠图像对的相机姿态估计难题，提出结合视频插帧与姿态条件新视角合成的HVG方法及FMS帧选择策略，显著提升了小/无重叠场景下的姿态估计性能。
2025-10-22 cs.CV
Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise
Visual Information Laboratory, University of Bristol, United Kingdom（布里斯托大学视觉信息实验室）
提出DWTA-Net，通过两阶段递归架构和动态权重时间聚合，在极端噪声下实现低光视频增强，优于现有方法。
2026-05-22 cs.CV
ViewBridge: Curriculum Knowledge Distillation for Activity View-Invariance Under Extreme Viewpoint Changes
UT Austin（得克萨斯大学奥斯汀分校）；Meta AI；Stanford University（斯坦福大学）；Northeastern University（东北大学）
本文提出ViewBridge框架，通过课程学习和知识蒸馏方法，在严重视角遮挡下学习丰富的视频表示，提升了极端视角变化下的活动识别性能。
2026-05-14 cs.CV
VideoRAG: Retrieval-Augmented Generation with Extreme Long-Context Videos
The University of Hong Kong（香港大学）；Baidu Inc.（百度公司）
本文提出VideoRAG框架，通过双通道架构结合图基文本知识锚定与多模态上下文编码，实现极长视频的高效检索增强生成与理解。
2025-02-03 cs.AI cs.CV cs.IR
Extreme Video Compression with Pre-trained Diffusion Models
Xidian University（西安电子科技大学）；Imperial College London（帝国理工学院）；Huawei Technologies Co. Ltd.（华为技术有限公司）
本文提出一种利用预训练扩散模型在解码端进行预测的极低码率视频压缩方法，在0.02 bpp下优于H.264和H.265。
2024-02-14 cs.CV eess.IV
Fully-Coupled Two-Stream Spatiotemporal Networks for Extremely Low Resolution Action Recognition
Indiana University, Bloomington（印第安纳大学伯明顿分校）；University of Central Florida（中佛罗里达大学）；Midea Corporate Research Center（美的企业研究中心）
随着摄像头和计算机视觉越来越多地融入我们的日常生活，包括家庭内的智能设备，一个新出现的主要挑战是如何保护人们的隐私。一个潜在的解决方案是捕获和记录执行感兴趣的任务所需的最少量的信息。在本文中，我们提出了一个完全耦合的双流时空架构，用于在极低分辨率（例如，12x16像素）视频。我们提供了一个有效的方法来提取空间和时间特征，并将它们聚合成一个强大的功能表示整个动作视频序列。我们还考虑如何在训练过程中纳入高分辨率视频，以便构建更好的低分辨率动作识别模型。我们对两个公开的数据集进行了评估，显示出对最先进技术的显着改进。
2018-01-11 cs.CV
LVBench: An Extreme Long Video Understanding Benchmark
Zhipu AI（智谱AI）；Tsinghua University（清华大学）
本文提出了专为长视频理解设计的基准LVBench，包含公开视频与多样化任务以评估多模态模型的长期记忆和扩展理解能力，揭示了现有模型在此类任务上的不足，旨在推动更先进长视频理解模型的开发。
2025-08-09 cs.AI cs.CV
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
Université Laval（拉瓦尔大学）；Adobe
本文提出GimbalDiffusion框架，通过物理坐标系实现摄像机运动的精确控制，引入null-pitch conditioning策略以避免冲突提示内容干扰，并建立新基准评估重力感知摄像机控制视频生成能力。
2026-08-04 cs.CV
TLDW: Extreme Multimodal Summarisation of News Videos
The University of Sydney（悉尼大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；University of Rochester（罗切斯特大学）
随着多媒体数据的快速增长，具有多模态输出的多模态摘要越来越受到人们的关注。虽然已经提出了几种方法来总结视觉文本内容，但它们的多模态输出在极端水平上不够简洁，无法解决信息过载问题。极端的多模态摘要的结束，我们引入了一个新的任务，极端的多模态摘要与多模态输出（XMSMO）的情况下，TL;DW -太长;没有看，类似于TL; DR。XMSMO的目的是总结一个视频文档对到一个摘要具有极短的长度，其中包括一个封面框架作为视觉摘要和一个句子作为文本摘要。我们提出了一种新的无监督分层最优传输网络（HOT-Net）由三个部分组成：分层多模式编码器，分层多模态融合解码器，和最优传输求解器。我们的方法是在不使用参考摘要的情况下，通过从最佳运输计划下语义分布之间的距离的角度优化视觉和文本覆盖来训练的。为了便于对这一任务的研究，我们收集了一个大规模的数据集XMSMO-News，收集了4，891个视频文档对。实验结果表明，我们的方法在ROUGE和IoU指标方面取得了令人满意的性能。
2022-10-16 cs.CL cs.CV cs.MM
VReID-XFD: Video-based Person Re-identification at Extreme Far Distance Challenge Results
IT - Instituto de Telecomunicações（IT - 电信研究所）；University of Beira Interior（贝拉内尔大学）；Dalian University of Technology（大连理工大学）；University of Information Technology, VNU-HCM（信息科技学院，VNU-HCM）；National Cheng Kung University（国立 Cheng Kung 大学）；National Yang Ming Chiao Tung University（国立 Yang Ming Chiao Tung 大学）；Pázmány Péter Catholic University（帕兹曼彼得天主教大学）；Arizona State University（亚利桑那州立大学）
VReID-XFD提出一个极远距离视频重识别基准，揭示了高度和距离对性能的负面影响，以及视角和鲁棒性之间的权衡。
2026-01-04 cs.CV
Conditional Extreme Value Theory for Open Set Video Domain Adaptation
The University of Queensland（昆士兰大学）
随着媒体流的出现，视频动作识别对于各种应用已经变得越来越重要，但需要大规模数据标记的高代价。为了克服昂贵的数据标记的问题，已经提出了领域自适应技术，其从完全标记的数据（即，源域）到未标记的数据（即，目标域）。大多数视频领域自适应算法都是针对闭集场景提出的，在闭集场景中，所有类都在域之间共享。在这项工作中，我们提出了一个开放的视频领域自适应的方法来减轻域之间的差异源和目标数据，允许目标数据包含额外的类，不属于源域。不同于以往的作品，只专注于提高准确性的共享类，我们的目标是共同提高对齐的共享类和识别未知的样本。为了达到这一目标，类条件极值理论被应用于增强未知识别。具体而言，目标样本的熵值被建模为广义极值分布，这允许分离位于分布尾部的未知样本。为了缓解负传递问题，在对抗学习中利用由从样本熵到阈值的距离计算的权重，在这个意义上，置信源和目标样本被对齐，而不置信样本被推开。在小规模和大规模的跨域视频数据集上对该方法进行了全面的测试，取得了较好的性能。
2021-10-15 cs.CV cs.LG cs.MM
How Can Objects Help Video-Language Understanding?
Brown University（布朗大学）；Samsung Electronics（三星电子）
本文提出ObjectMLLM框架，通过显式整合对象中心表示提升视频语言理解，实验表明量化对象为文本的方法最有效。
2025-08-05 cs.CV
VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models
Northeastern University（东北大学）
本文提出 VQToken 神经离散表示框架，通过自适应向量量化与 Token 哈希实现视频序列极致压缩，在多个视频问答基准上以极低 Token 长度保持性能。
2025-09-29 cs.AI cs.CL cs.CV
Enhanced Neural Video Representation Compression Across Extreme Complexity and Quality Scales
Visual Information Lab, University of Bristol, UK（布里斯托大学视觉信息实验室，英国）；Network Connectivity Services Research, BT, UK（BT公司网络连接服务研究，英国）
提出NVRC++，一种基于隐式神经表示的轻量级视频编解码器，通过多分辨率特征网格和高效优化框架，在多种复杂度级别下实现宽比特率范围的高质量压缩，支持实时解码。
2026-09-09 cs.CV eess.IV
Deep Animation Video Interpolation in the Wild
SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；Rutgers University（罗格斯大学）；Sun Yat-sen University（中山大学）；Shanghai AI Laboratory（上海人工智能实验室）；S-Lab Nanyang Technological University（南洋理工大学S-Lab）
在动画产业中，卡通视频通常以低帧速率产生，因为手绘这样的帧是昂贵且耗时的。因此，期望开发能够自动内插中间动画帧的计算模型。然而，现有的视频插值方法不能产生令人满意的结果上的动画数据。与自然视频相比，动画视频具有使帧插值困难的两个独特特征：1）卡通包括线条和平滑的颜色片段。平滑区域缺乏纹理，因此难以估计动画视频上的准确运动。2)漫画通过夸张来表达故事。有些运动是非线性的，而且非常大。本文首次对动画视频插值问题进行了形式化的定义和研究。为了解决上述挑战，我们提出了一个有效的框架，AnimeInterp，在一个由粗到细的方式有两个专用模块。具体地，1）分段引导匹配通过利用逐段连贯的颜色片段之间的全局匹配来解决“缺乏纹理”的挑战。2)递归流优化通过使用类似transformer的架构进行递归预测，解决了“非线性和超大运动”的挑战。为了便于全面的训练和评估，我们构建了一个大规模的动画三元组数据集ATD-12 K，其中包括12，000个具有丰富注释的三元组。大量的实验表明，我们的方法优于现有的国家的最先进的动画视频插值方法。值得注意的是，AnimeInterp在野外的动画场景中显示出良好的感知质量和鲁棒性。建议的数据集和代码可在https://github.com/lisiyao21/AnimeInterp/上获得。
2021-04-06 cs.CV
ScrollScape: Unlocking 32K Image Generation With Video Diffusion Priors
Harbin Institute of Technology（哈尔滨工业大学）；Li Auto, Beijing, China（理想汽车（中国北京））
ScrollScape通过将超大比例图像生成转化为连续视频生成过程，利用视频模型的时序一致性确保结构完整性，实现32K分辨率的高质量图像生成。
2026-04-02 cs.CV
Towards Extremely Compact RNNs for Video Recognition with Fully Decomposed Hierarchical Tucker Structure
Rutgers University（罗格斯大学）；Amazon（亚马逊）；Columbia University（哥伦比亚大学）
递归神经网络（RNN）已广泛应用于序列分析和建模。然而，在处理高维数据时，RNN通常需要非常大的模型大小，从而带来一系列部署挑战。尽管已经提出了各种先前的工作来减少RNN模型的大小，但在资源受限的环境中执行RNN模型仍然是一个非常具有挑战性的问题。在本文中，我们建议开发具有完全分解的分层塔克（FDHT）结构的非常紧凑的RNN模型。HT分解不仅提供了比其他张量分解方法更高的存储成本降低，而且还为紧凑的RNN模型带来了更好的精度性能改善。同时，与现有的基于张量分解的方法只能分解RNN的输入到隐藏层不同，我们提出的完全分解方法可以在保持非常高精度的情况下对整个RNN模型进行全面压缩。我们在几个流行的视频识别数据集上的实验结果表明，我们提出的完全分解的基于层次塔克的LSTM（FDHT-LSTM）非常紧凑，高效。据我们所知，FDHT-LSTM第一次在不同数据集上仅使用几千个参数（3，132到8，808个）就始终实现了非常高的精度。与最先进的压缩RNN模型（如TT-LSTM，TR-LSTM和BT-LSTM）相比，我们的FDHT-LSTM同时具有数量级（3，985 x至10，711 x）的参数和显着的精度提高（0.6%至12.7%）。
2021-04-20 cs.AI cs.CV
