Optical Flow for Video Super-Resolution: A Survey
Wuhan University(武汉大学);Hubei University of Economics(湖北经济学院);Central China Normal University(华中师范大学);Arizona State University(亚利桑那州立大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
视频超分辨率是当前计算机视觉中最活跃的研究课题之一,因为它在许多视觉应用中起着重要的作用。通常,视频超分辨率包含重要分量,即,运动补偿,其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动,是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用,本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题:超分辨率的功能(即,为什么我们需要超分辨率);视频超分辨率的概念(即,什么是视频超分辨率);评估度量的描述(即,(视频)超分辨率如何执行);引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究,并对几种典型算法进行了分析和比较。此外,我们强调了一些有前途的研究方向和开放的问题,应进一步解决。
2022-03-20 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.(百度公司)
最近,图像超分辨率得到了广泛的研究,并通过利用深度卷积神经网络的能力取得了重大进展。然而,由于视频中复杂的时间模式,视频超分辨率(VSR)的进展有限。在本文中,我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息,而对原始图像超分辨率的开销可以忽略不计。此外,我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能,并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Demystifying Multi-Faceted Video Summarization: Tradeoff Between Diversity,Representation, Coverage and Importance
IIT Bombay(印度理工学院孟买分校);Microsoft Corporation(微软公司);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);AitoeLabs(艾托实验室)
本文解决了自动摘要的视频在一个统一的方式。特别是,我们提出了一个多方面的摘要提取,查询基础和实体摘要(在实体,如对象,场景,人类和视频中的脸的水平上的摘要)的框架。我们研究了几种总结模型,捕捉的多样性,覆盖范围,代表性和重要性的概念,并认为这些不同的模型的效用取决于应用程序。虽然大多数关于子模块化摘要方法的先前工作都集中在组合几个模型和学习加权混合物上,但我们专注于不同模型和特征化的可解释性,以及它们如何应用于不同领域。我们还提供了摘要系统和所涉及的不同模式的实现细节。我们希望本文的研究将为从业者提供见解,以便为手头的问题适当选择正确的摘要模型。
2019-01-03 cs.CV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research(京东人工智能研究院);JD Finance America Corporation(京东金融美国公司)
本文提出了一种新的视频超分辨率方法,旨在从低分辨率(LR)视频生成高保真高分辨率(HR)视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能,因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下,我们设计了一种跨帧非局部注意力机制,允许视频超分辨率而无需帧对齐,从而对视频中的大运动更加鲁棒。此外,为了获取相邻帧以外的信息,我们设计了一种新的记忆增强注意模块,用于在超分辨率训练过程中记忆一般视频细节。实验结果表明,我们的方法可以实现更优越的性能在大的运动视频相比,国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Self-Supervised Adaptation for Video Super-Resolution
Hanyang University(汉阳大学)
最近的单图像超分辨率(SISR)网络,它可以调整其网络参数,以特定的输入图像,已经显示出有前途的结果,通过利用输入数据以及大型外部数据集内可用的信息。然而,这些自我监督的SISR方法的视频处理的扩展还有待研究。因此,我们提出了一种新的学习算法,允许传统的视频超分辨率(VSR)网络,以适应他们的参数来测试视频帧,而不使用地面实况数据集。通过利用空间和时间上的许多自相似补丁,我们提高了完全预训练的VSR网络的性能,并产生时间上一致的视频帧。此外,我们提出了一个测试时的知识蒸馏技术,加快了适应速度与较少的硬件资源。在我们的实验中,我们证明了我们的新学习算法可以微调最先进的VSR网络,并大大提高了许多基准数据集的性能。
2021-03-18 cs.CV
Combining Contrastive and Supervised Learning for Video Super-Resolution Detection
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
视频放大检测是多媒体取证中的一个有用的工具,但它是一个具有挑战性的任务,涉及各种放大和压缩算法。分辨率增强方法有很多,包括插值和基于深度学习的超分辨率,并且它们会留下独特的痕迹。在这项工作中,我们提出了一种新的分辨率提升检测方法的基础上学习的视觉表示使用对比度和交叉熵损失。为了解释该方法如何检测视频,我们系统地回顾了我们框架的主要组成部分-特别是,我们表明大多数数据增强方法阻碍了该方法的学习。通过对各种数据集的广泛实验,我们证明了我们的方法即使在压缩视频中也能有效地检测到放大,并且优于最先进的替代方案。代码和模型可在https://github.com/msu-video-group/SRDM上公开获取
2022-05-20 cs.CV
Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks
Toyota Technological Institute(丰田工业大学)
本文提出一种用于视频超分辨率的循环网络训练策略,通过重用依视频属性变化的隐藏状态并引入帧数条件化,有效消除了长短视频间的域差距,实现了独立于视频长度和动态特性的高效稳定超分。
2024-03-23 cs.CV
VideoGigaGAN: Towards Detail-rich Video Super-Resolution
Adobe Research(奥多比研究院);University of Maryland, College Park(马里兰大学帕克分校)
本文提出 VideoGigaGAN,通过改进 GigaGAN 的时间模块与关键技术,在保持时间一致性的同时生成细节更丰富的视频,并在公共数据集上验证了其 8 倍超分辨率效果。
2024-05-01 cs.CV
End-to-End Learning of Video Super-Resolution with Motion Compensation
University of Freiburg(弗莱堡大学)
学习方法已经在给定低分辨率输入的超分辨率图像的任务中显示出巨大的成功。视频超分辨率的目的是利用额外的信息,从多个图像。典型地,图像经由光流和连续图像扭曲而相关。在本文中,我们提供了一个端到端的视频超分辨率网络,与以前的作品相比,包括估计的光流在整个网络架构。我们分析了用于视频超分辨率的光流的使用,并且发现常见的现成的图像变形不允许视频超分辨率从光流中受益很多。相反,我们提出了一种用于运动补偿的操作,其直接执行从低到高分辨率的扭曲。我们表明,这种网络配置,视频超分辨率可以受益于光流,我们得到了最先进的流行的测试集上的结果。我们还表明,整个图像的处理,而不是独立的补丁是负责一个大的准确性增加。
2017-07-03 cs.CV
Variable Rate Deep Image Compression with Modulated Autoencoder
Key Laboratory of Information Fusion Technology, Northwestern Polytechnical University(西北工业大学信息融合技术重点实验室)
可变速率是灵活和适应性强的图像和视频压缩的要求。然而,深度图像压缩方法针对单个固定的速率-失真折衷进行优化。虽然这可以通过针对不同的权衡训练多个模型来解决,但内存需求与模型的数量成比例地增加。缩放共享自动编码器的瓶颈表示可以利用单个共享自动编码器提供可变速率压缩。然而,使用这种简单机制的R-D性能在低比特率下降低,并且还缩小了比特率的有效范围。为了解决这些限制,我们制定了深度图像压缩的可变率失真优化问题,并提出了调制自动编码器(MAE),其中共享自动编码器的表示通过调制网络适应特定的率失真权衡。联合训练这种调制的自动编码器和调制网络提供了一种有效的方法来导航R-D操作曲线。实验结果表明,该方法可以实现几乎相同的R-D性能的独立模型与显着更少的参数。
2020-07-21 cs.CV eess.IV
Frequency-Assisted Adaptive Sharpening Scheme Considering Bitrate and Quality Tradeoff
Bytedance Inc.(字节跳动公司)
本文提出频率辅助锐化水平预测模型(FreqSP),利用CNN特征和高频分量从未压缩源视频中估计最优锐化水平,在提升视频质量的同时有效控制带宽成本。
2025-08-12 cs.CV cs.MM eess.IV
Low-Resource Video Super-Resolution using Memory, Wavelets, and Deformable Convolutions
Department of Electrical Engineering, IIT Bombay, India(电子工程系,印度班加罗尔理工学院)
本文提出一种仅230万参数的轻量级VSR架构,结合2D小波分解、单记忆张量和残差可变形卷积,在低资源下实现最先进重建精度。
2025-06-19 cs.CV cs.LG
An Efficient Network Design for Face Video Super-resolution
Southeast University(东南大学);University of Cambridge(剑桥大学)
人脸视频超分辨率算法旨在通过连续输入的视频序列重建真实的人脸细节。然而,现有的视频处理算法通常包含冗余参数,以保证不同的超分辨率场景。在这项工作中,我们专注于超分辨率的人脸区域在原始视频场景,而其余地区的插值。这种特定的超分辨率任务使得在一般视频超分辨率网络中削减冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集,用于网络训练和评估,并在实验中进行超参数优化。我们使用三种组合策略来优化网络参数,并使用同步训练评估方法来加速优化过程。结果表明,同时训练评估方法提高了训练速度,有利于生成有效的网络。与现有的视频超分辨率算法相比,该算法至少减少了52.4%的参数和20.7%的FLOP,在PSNR、SSIM等性能指标上都有明显的提高。当处理36 x36 x1 x3输入视频帧序列时,高效网络提供47.62 FPS的实时处理性能。我们将我们的建议命名为人脸视频超分辨率(HO-FVSR)的超参数优化,该建议在https://github.com/yphone/efficient-network-for-face-VSR上开源。
2021-09-28 cs.AI cs.CV
Revisiting Temporal Modeling for Video Super-resolution
Tsinghua University(清华大学);New York University(纽约大学);Huawei Technologies(华为技术有限公司)
视频超分辨率在监控视频分析和超高清视频显示中具有重要作用,受到了研究界和工业界的广泛关注。尽管已经提出了许多基于深度学习的VSR方法,但由于不同的损失函数和训练数据集对超分辨率结果有显著影响,因此很难直接比较这些方法。在这项工作中,我们仔细研究和比较三种时间建模方法(2D CNN与早期融合,3D CNN与缓慢融合和递归神经网络)的视频超分辨率。我们还提出了一种新的递归残差网络(RRN),用于高效的视频超分辨率,其中残差学习用于稳定RNN的训练,同时提高超分辨率性能。大量的实验表明,所提出的RRN是高度的计算效率,并产生时间一致的VSR结果与更精细的细节比其他时间建模方法。此外,该方法在几个广泛使用的基准测试中取得了最先进的结果。
2020-08-20 cs.CV eess.IV
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University(伯恩茅斯大学);Department of Computing and Informatics(计算与信息学院)
视频游戏图形的计算成本正在增加,并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形,同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣,并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC(中国科学技术大学);UC San Diego(加州大学圣地亚哥分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校);U of Oregon(俄勒冈大学);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵,因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率(STVSR)的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而,它们中的大多数仅支持固定的上采样尺度,这限制了它们的灵活性和应用。在这项工作中,而不是以下的离散表示,我们提出了视频隐式神经表示(VideoINR),我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明,VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能,并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon(亚马逊)
这项工作的重点是低比特率的视频流场景(例如50 - 200 Kbps),其中视频质量严重受损。我们提出了一系列新颖的深度生成模型,用于通过执行超分辨率来增强此类流的感知视频质量,同时还去除压缩伪影。我们的模型,我们称之为SuperTran,除了低质量,低分辨率的视频流之外,还需要输入一个高质量,高分辨率的参考图像。因此,模型学习如何从参考图像借用或复制视觉元素(如纹理),并填充低分辨率流中的剩余细节,以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次,也可以从图库中检索。重要的是,所得到的输出具有比仅使用低分辨率输入的方法(例如SuperVEGAN方法)可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作(高达30帧/秒)。
2022-11-22 cs.CV cs.LG eess.IV
VESR-Net: The Winning Solution to Youku Video Enhancement and Super-Resolution Challenge
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文介绍了一种视频增强和超分辨率(VESR)的方法VESR-Net。在VESR-Net中,我们设计了一个独立的非局部模块来探索视频帧之间的关系并有效地融合视频帧,设计了一个通道注意力残差块来捕获特征图之间的关系,用于视频帧重构。我们进行实验,以分析这些设计的有效性VESR-Net,这表明VESR-Net的优势,以前的国家的最先进的VESR方法。值得一提的是,在数千名参加优酷视频增强和超分辨率(Youku-VESR)挑战赛的参赛者中,我们提出的VESR-Net击败了其他竞争方法,排名第一。
2020-03-04 cs.CV cs.LG eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
视频压缩是互联网视频传输的关键组成部分。最近的研究表明,深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法,但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法,增强现有的编解码器与一个小的,内容自适应超分辨率模型,显着提高视频质量。我们的方法SRVC将视频编码成两个比特流:(i)内容流,通过使用现有编解码器压缩下采样的低分辨率视频产生,(ii)模型流,其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过(时变)超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明,为了实现相同的PSNR,SRVC在慢速模式下需要H. 265的每像素比特数的16%,以及DVC的每像素比特数的2%,DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
Towards High Performance Video Object Detection
Microsoft Research Asia(微软亚洲研究院)
近年来,图像目标检测取得了显著的进展。然而,视频目标检测却很少受到关注,尽管它在实际应用中更具挑战性和更重要。在最近的工作的基础上,这项工作提出了一个统一的方法,基于多帧端到端学习的功能和跨帧运动的原则。我们的方法扩展了以前的作品与三种新技术,稳步推进性能信封(速度-精度权衡),高性能视频目标检测。
2017-11-30 cs.CV
Adaptive High-Frequency Preprocessing for Video Coding
Bytedance Inc.(字节跳动公司)
本文提出一种基于端到端学习的自适应高频预处理框架,利用频率注意力特征金字塔预测网络(FFPN)预测最优预处理策略,在视频编码中实现比特率与主观质量的最佳折中。
2025-08-12 cs.CV
ReGenHuman: Re-Generating Human Appearances for Realistic Full-Body Video Anonymization
Stanford University(斯坦福大学)
提出ReGenHuman,首个同时实现逼真、时间一致且天生匿名的全身视频匿名化流水线,采用“重新生成而非编辑”范式,利用结构条件微调视频扩散模型合成人体区域。
2026-06-16 cs.CV
Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation
针对扩散视频生成计算成本高的问题,提出Dr. Mo网络,利用帧间运动一致性传播粗粒度噪声,并借助DSS动态选择去噪步骤,在加速生成的同时提升视觉质量。
2024-09-19 cs.CV
A Spatio-Temporal based Frame Indexing Algorithm for QoS Improvement in Live Low-Motion Video Streaming
Ahmadu Bello University(阿赫马杜·贝洛大学)
本文提出一种基于时空帧索引的算法,在传输前检测并消除低运动视频帧内与帧间冗余,在缓冲区大小和压缩率上取得提升,但帧构建时间有所增加。
2024-04-30 cs.CV
Multi-level Memory-augmented Appearance-Motion Correspondence Framework for Video Anomaly Detection
Xiamen University(厦门大学);PKU-Wuhan Institute for Artificial Intelligence(北京大学-武汉人工智能研究院)
基于AutoEncoder的帧预测在无监督视频异常检测中起着重要的作用。理想情况下,在正常数据上训练的模型可以产生更大的异常预测误差。然而,外观和运动信息之间的相关性没有得到充分利用,这使得模型缺乏对正常模式的理解。此外,由于深度AutoEncoder的不可控制的泛化性,这些模型不能很好地工作。为了解决这些问题,我们提出了一个多层次的记忆增强的外观运动对应框架。通过外观-运动语义对齐和语义替换训练,探索外观和运动之间的潜在对应关系。此外,我们还引入了一个记忆引导抑制模块,利用与正常原型特征的差异来抑制跳连接造成的重构能力,实现正常数据的良好重构和异常数据的不良重构之间的折衷。实验结果表明,该框架在UCSD Ped 2、CUHK Avenue和ShanghaiTech数据集上的AUC分别为99.6%、93.8%和76.3%,优于现有的方法.
2023-03-09 cs.CV
Video Codec-Guided Training-Free Token Compression for Video Large Language Models
The Hong Kong Polytechnic University(香港理工大学);The University of Manchester(曼彻斯特大学)
本文提出一种视频编解码器引导式无训练令牌压缩方法,用于视频大语言模型,可在不修改模型的情况下,在性能接近或优于FlashVID的同时减少特征比较量,改善压缩的精度-复杂度权衡。
2026-10-12 cs.CV
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University(斯坦福大学)
对比学习在计算机视觉方面取得了相当大的进展,在一系列下游数据集上的表现优于有监督的预训练。然而,对比学习是否在所有情况下都是更好的选择?我们证明了两种情况下,它不是。首先,在足够小的预训练预算下,ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明,在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次,即使预训练预算较大,我们也可以识别出监督学习占主导地位的任务,这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调,需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Single Image Super-Resolution
Imperial College London(帝国理工学院);ETH Zurich(苏黎世联邦理工学院);Beihang University(北京航空航天大学)
在单图像超分辨率(SISR)中,给定低分辨率(LR)图像,人们希望找到它的高分辨率(HR)版本,该版本既准确又逼真。最近,它已被证明存在一个基本的权衡之间的低失真和高的感知质量,和生成对抗网络(GAN)被证明可以有效地接近感知失真(PD)界。在本文中,我们提出了一种新的方法基于小波域风格转移(WDST),它实现了更好的PD权衡比GAN的方法。具体来说,我们建议使用二维平稳小波变换(SWT)分解成低频和高频子带的图像。对于低频子带,我们通过增强网络来提高其客观质量。对于高频子带,我们建议使用WDST来有效地改善其感知质量。利用小波的完美重构特性,可以将这些子带重新组合,得到同时具有高客观和感性质量的图像。各种数据集上的数值结果表明,我们的方法实现了现有的最先进的SISR方法之间的失真和感知质量的最佳权衡。
2019-10-09 cs.CV eess.IV
Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
基于翘曲的视频稳定器通过约束每个像素的位移来平滑摄像机的轨迹,并相应地从不稳定的帧中翘曲稳定的帧。然而,由于边界外的视图在扭曲期间不可用,因此必须丢弃稳定帧的边界周围的所得孔(即,裁剪)以保持视觉一致性,并且因此导致稳定性和裁剪比率之间的折衷。在本文中,我们首次尝试解决这个问题,提出了一种新的边界外视图合成(OVS)方法。通过相邻帧之间和每个帧内的空间相干性的性质,OVS通过将相邻帧与每个参考帧对齐来外推边界外视图。从技术上讲,它首先计算光流并根据亲和度将其传播到外边界区域,然后相应地扭曲像素。OVS可以作为即插即用模块集成到现有的基于整经的稳定器中,以显著提高稳定结果的裁剪率。此外,由于减少了由剪切和抖动引起的抖动放大效应,所以提高了稳定性。NUS基准测试的实验结果表明,OVS可以提高五个代表性的国家的最先进的方法在客观指标和主观视觉质量方面的性能。该代码可在www.example.com上公开获取。
2021-08-20 cs.CV
Learning Latent Super-Events to Detect Multiple Activities in Videos
Department of Computer Science, Indiana University, Bloomington(印第安纳大学计算机科学系)
在本文中,我们介绍了从活动视频中学习潜在超级事件的概念,并介绍了它如何有利于连续视频中的活动检测。我们将超级事件定义为在视频中一起发生的具有特定时间组织的多个事件的集合;它与子事件的概念相反。真实世界视频包含多个活动并且很少被分段(例如,监控视频),并且学习潜在的超级事件允许模型捕获事件在视频中如何在时间上相关。我们设计了时间结构过滤器,使模型能够专注于视频的特定子区间,并将它们与软注意力机制一起使用,以学习潜在超级事件的表示。超级事件表示与每帧或每段CNN相结合,以提供帧级注释。我们的方法被设计为完全可区分的,能够与使用它们的活动检测器一起对潜在的超级事件表示进行端到端的学习。我们对多个公共视频数据集的实验证实,所提出的潜在超级事件学习的概念显着有利于活动检测,推进了最先进的技术。
2018-03-29 cs.CV
Super-Trajectories: A Compact Yet Rich Video Representation
National University of Singapore(新加坡国立大学);Australian National University(澳大利亚国立大学)
我们提出了一种新的视频表示方面的过分割密集的轨迹覆盖整个视频。在若干计算机视觉应用中,轨迹经常被用于对长时间信息进行编码。类似于时间超像素,超轨迹的时间切片是超像素,但后者包含更多信息,因为它也保持长的密集像素跟踪信息。在任何应用中使用轨迹的主要挑战是轨迹构造中的跟踪误差的积累。对于我们的问题,这会导致不连接的超像素。除了基于轨迹的颜色和位置相似性,我们利用边缘的约束。类似于超像素作为图像的预处理工具,所提出的表示方法在视频中有其应用,特别是在基于轨迹的视频分析中。
2019-01-22 cs.CV
Video 3D Sampling for Self-supervised Representation Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
现有的视频自监督方法主要利用视频的时域信号,忽略了运动对象的语义和环境信息对视频相关任务的重要性。在本文中,我们提出了一种新的自监督视频表示学习的方法,称为视频3D采样(V3S)。为了充分利用视频中提供的信息(空间和时间),我们从三维(宽度,高度,时间)对视频进行预处理。因此,我们可以利用空间信息(对象的大小),时间信息(运动的方向和幅度)作为我们的学习目标。在我们的实现中,我们结合了三个维度的采样,并分别提出了空间和时间的尺度和投影变换。实验结果表明,当应用于动作识别,视频检索和动作相似性标记,我们的方法提高了国家的最先进的显着利润率。
2021-07-08 cs.CV
Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework
The University of Tokyo(东京大学)
我们提出了一种自监督的方法来学习视频的特征表示。传统的自监督方法中的标准方法使用正负数据对来用对比学习策略进行训练。在这种情况下,相同视频的不同模态被视为正,而来自不同视频的视频剪辑被视为负。由于时空信息对于视频表示是重要的,我们通过引入帧内负样本来扩展负样本,该帧内负样本通过打破视频片段中的时间关系而从相同的锚视频转换而来。利用所提出的帧间-帧内对比(IIC)框架,我们可以训练时空卷积网络来学习视频表示。在我们的IIC框架中有许多灵活的选项,我们通过使用几种不同的配置进行实验。评估进行视频检索和视频识别任务,使用学习的视频表示。我们提出的IIC比当前最先进的结果有很大的优势,例如在UCF 101和HMDB 51数据集上,视频检索的前1准确度分别提高了16.7%和9.5%。对于视频识别,也可以在这两个基准数据集上获得改进。代码可在https://github.com/BestJuly/Inter-intra-video-contrastive-learning上获得。
2020-08-12 cs.CV
Self-Supervised Video Forensics by Audio-Visual Anomaly Detection
University of Michigan(密歇根大学)
被操纵的视频通常在其视觉和音频信号之间包含微妙的不一致。我们提出了一种基于异常检测的视频取证方法,可以识别这些不一致,并且可以单独使用真实的未标记数据进行训练。我们训练一个自回归模型来生成视听特征序列,使用特征集来捕获视频帧和声音之间的时间同步。在测试时,我们标记模型分配低概率的视频。尽管完全在真实视频上训练,我们的模型在检测操纵语音视频的任务上获得了很好的性能。项目网址:https://cfeng16.github.io/audio-visual-forensics
2023-03-27 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH(浦项工科大学);DGIST(大邱庆北科学技术院);University of Michigan(密歇根大学)
我们提出了一种新的算法,弱监督语义分割的基础上,图像级的类标签。在弱监督设置中,通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制,没有额外的人为干预,检索视频相关的目标类别标签从网络存储库,并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中,我们利用图像分类与歧视性定位技术,以拒绝在检索到的视频中的假警报,并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督,但从视频中获得的分割注释足够强大,可以学习语义分割的模型。所提出的算法大大优于现有的方法,基于相同的监督水平,甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Weakly Supervised Video Representation Learning with Unaligned Text for Sequential Videos
ShanghaiTech University(上海科技大学);National University of Singapore(新加坡国立大学);Meituan(美团);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海能效与定制人工智能集成电路工程技术研究中心)
序列视频理解作为一种新兴的视频理解任务,由于其面向目标的特性,引起了众多研究者的关注。本文研究了弱监督序列视频理解,其中不提供准确的时间戳级文本视频对齐。我们通过借鉴CLIP的思想来解决这个问题。具体来说,我们使用一个Transformer来聚合视频表示的帧级特征,并使用一个预先训练的文本编码器来分别编码与每个动作和整个视频对应的文本。为了对文本和视频之间的对应关系进行建模,我们提出了多粒度损失,其中视频段落对比损失强制整个视频和完整脚本之间的匹配,细粒度帧句子对比损失强制每个动作及其描述之间的匹配。由于帧-句子对应关系不可用,我们建议使用视频动作在时间域中顺序发生的事实来生成伪帧-句子对应关系,并使用伪标签来监督网络训练。大量的视频序列验证和文本到视频匹配的实验表明,我们的方法优于基线的大幅度,这验证了我们提出的方法的有效性。代码可在https://github.com/svip-lab/WeakSVR上获得
2023-03-28 cs.CV
Multi-Objective Pareto-Front Optimization for Efficient Adaptive VVC Streaming
Visual Information Lab(视觉信息实验室);School of Computer Science(计算机科学学院);University of Bristol(布里斯托大学)
本文提出多目标帕累托前沿优化框架,用于高效自适应VVC流媒体,通过优化视频质量、比特率和解码时间,实现更高效的流媒体性能。
2026-01-15 cs.CV eess.IV
Insights from Generative Modeling for Neural Video Compression
University of California Irvine(加州大学欧文分校);DeepMind
本文以深度自回归和潜变量生成模型统一审视神经视频编解码器,提出改进的时间变换、结构化熵模型和可变比特率架构,实现高分辨率视频压缩的最优性能。
2023-07-09 cs.CV cs.LG eess.IV
Fair and Interpretable Deepfake Detection in Videos
Fujitsu Limited(富士通株式会社);Fujitsu Research of America, Inc.(富士通美国研究院)
针对 deepfake 视频检测中的群体偏见、可解释性不足和时间信息缺失问题,提出融合序列聚类时间建模、概念提取与人口统计感知频域增强的公平检测框架,并在多个基准上验证其公平性与准确率权衡优势。
2025-10-20 cs.CV cs.LG
Spatiotemporal Tile-based Attention-guided LSTMs for Traffic Video Prediction
Daimler AG(戴姆勒集团)
本文提出一种分块感知的级联记忆Conv-LSTM,结合跨帧注意力与灵活记忆训练,用于大规模交通视频预测,兼顾细粒度与粗粒度空间建模,并给出理论分析,实证表明可扩展性与预测性能俱佳。
2025-10-08 cs.CV cs.LG eess.IV
Standard compliant video coding using low complexity, switchable neural wrappers
New York University(纽约大学);Google LLC(谷歌公司)
针对神经视频编码部署中复杂度与率失真性能的权衡难题,提出包裹标准编解码器的低复杂度可切换神经包装器框架,通过分辨率自适应和端到端优化,以极低新增复杂度显著提升VVC等标准的编码性能。
2024-07-10 cs.CV cs.MM eess.IV
High-Quality Live Video Streaming via Transcoding Time Prediction and Preset Selection
提出基于学习的视频转码时间预测框架,直接从流头部提取特征,准确预测不同预设的转码时间(MAPE约5.0%),并据此选择最优预设,使直播视频流的PSNR提升最高达5 dB。
2025-07-13 cs.CV cs.MM
Cycle-Contrast for Self-Supervised Video Representation Learning
Lumada Data Science Lab. Hitachi, Ltd.(日立有限公司卢马达数据科学实验室)
我们提出了循环对比学习(CCL),一种新的自我监督的方法学习视频表示。根据视频与其帧之间存在着一种属于和包含关系的性质,CCL被设计为分别考虑其域中的对比表示来发现帧和视频之间的对应关系。它与最近的方法不同,这些方法只是学习跨帧或剪辑的对应关系。在我们的方法中,帧和视频表示是从基于R3D架构的单个网络中学习的,在周期对比丢失之前,使用共享的非线性变换来嵌入帧和视频特征。我们证明了CCL学习的视频表示可以很好地转移到视频理解的下游任务中,在UCF 101,HMDB 51和MMAct上的最近邻检索和动作识别任务中优于以前的方法。
2020-10-28 cs.CV cs.LG
Learning Commonsense-aware Moment-Text Alignment for Fast Video Temporal Grounding
Tianjin University of Technology(天津理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);PengCheng Laboratory(鹏城实验室);Jiangsu University of Science and Technology(江苏科技大学)
在视觉和语言领域中,有效和高效地将自然语言查询中描述的时间视频片段接地是所需的关键能力。在本文中,我们处理的快速视频时间接地(FVTG)的任务,旨在定位目标段的速度和良好的准确性。现有的方法大多采用精心设计的跨模态交互模块来提高接地性能,但存在测试时间瓶颈。几种常用的基于空间的方法虽然具有推理速度快的优点,但它们很难捕捉视觉和文本模态之间全面而明确的关系。在本文中,为了解决速度-准确性权衡的困境,我们提出了一个常识感知的跨模态对齐(CCA)框架,该框架将常识引导的视觉和文本表示纳入一个互补的公共空间,用于快速视频时间接地。具体而言,通过从语言语料库中提取结构语义信息来探索和利用常识概念。然后,设计了一个常识感知交互模块,利用学习到的常识概念获得桥接的视觉和文本特征。最后,为了保持文本查询的原始语义信息,优化了一个跨模态互补公共空间,以获得执行FVTG的匹配分数。两个具有挑战性的基准测试的广泛结果表明,我们的CCA方法在高速运行时对最先进的性能表现良好。我们的代码可在www.example.com上获得。
2022-04-12 cs.CL cs.CV cs.LG
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University(纽约大学);ETH Zürich(苏黎世联邦理工学院)
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中,我们提出了UVIT,一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容,使用专门的编码器-解码器结构,并通过双向递归神经网络(RNN)单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果,并为模态灵活的翻译提供了一个良好的接口。此外,通过改变我们的翻译中包含的输入帧和样式代码,我们提出了一个视频插值损失,它捕获序列中的时间信息,以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真,时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站:https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Time Is MattEr: Temporal Self-supervision for Video Transformers
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
了解视频的时间动态是学习更好的视频表示的一个重要方面。最近,基于变压器的架构设计已被广泛探索的视频任务,由于他们的能力,以捕捉长期依赖的输入序列。然而,我们发现,这些视频Transformers仍然偏向于学习空间动态,而不是时间的,和去偏的虚假相关性是至关重要的,他们的性能。基于观察结果,我们为视频模型设计了简单而有效的自监督任务,以更好地学习时间动态。具体来说,为了消除空间偏差,我们的方法学习视频帧的时间顺序作为额外的自我监督,并强制随机混洗帧具有低置信度输出。此外,我们的方法学习连续帧之间的视频令牌的时间流向,以增强对时间动态的相关性。在各种视频动作识别任务下,我们证明了我们的方法的有效性及其与最先进的视频Transformers的兼容性。
2022-07-19 cs.AI cs.CV cs.LG