Deep Learning-based Filtering for Video Coding: A Survey on Architectures, Algorithms, and Complexity Analysis
Sunmoon University(顺天乡大学);Sookmyung Women’s University(淑明女子大学);ICT Convergence Research Institute(信息通信融合研究所)
本文针对超高清显示等带来的高效视频编码需求,对基于深度学习的视频编码滤波技术进行综述。提出三维分类法,分析率失真性能与硬件可行性权衡,纳入最新标准化活动,识别相关挑战,为下一代智能视频编码提供指导和路线图。
2026-11-11 cs.CV
KFNet: Learning Temporal Camera Relocalization using Kalman Filtering
Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Everest Innovation Technology(珠峰创新科技)
时间相机重新定位估计的姿态相对于每个视频帧的顺序,而不是一个镜头的重新定位的重点是一个静止的图像。即使时间依赖性已被考虑在内,目前的时间重定位方法仍然普遍低于国家的最先进的单次方法的准确性。在这项工作中,我们通过使用网络架构,结合卡尔曼滤波(KFNet)在线相机重新定位的时间重新定位方法。特别地,KFNet将场景坐标回归问题扩展到时域,以便递归地建立用于姿态确定的2D和3D对应关系。网络结构设计和损失公式是基于贝叶斯学习背景下的卡尔曼滤波。在多个重定位基准上进行的大量实验表明,KFNet在单次重定位和时间重定位方法中具有很高的准确性。我们的代码在https://github.com/zlthinker/KFNet上发布。
2020-03-24 cs.CV
Motion-Compensated Temporal Filtering for Critically-Sampled Wavelet-Encoded Images
University of Central Florida(中佛罗里达大学)
我们提出了一种新的运动估计/补偿(ME/MC)的方法,基于小波(带内)运动补偿时域滤波(MCTF),应用于低比特率视频编码。与传统的带内MCTF算法,这需要冗余来克服临界采样(完整)离散小波变换(DWT)的移位方差问题,我们执行ME/MC步骤直接对DWT系数,避免需要的移位不变性。我们省略了上采样,逆DWT(IDWT),冗余DWT系数的计算,同时实现任意子像素精度,无需插值,即使在非常低的比特率,高视频质量,通过推导输入图像序列的DWT子带之间的确切关系。实验结果表明,该方法的准确性,证实我们的模型ME/MC有效地提高视频编码质量。
2017-05-13 cs.CV
FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring
KAIST(韩国科学技术院);Chung-Ang University(中央大学)
本文提出FMA-Net,通过流引导动态滤波和带多注意力的迭代特征细化,并引入时间锚损失,有效解决视频超分辨率与去模糊的联合恢复问题,性能优于现有方法。
2024-03-28 cs.CV
In Defense of Kalman Filtering for Polyp Tracking from Colonoscopy Videos
University of Adelaide(阿德莱德大学)
从结肠镜检查视频中实时和鲁棒地自动检测息肉是帮助提高医生在此检查期间的表现的重要任务。该领域目前的重点是开发准确但效率低下的检测器,无法实现实时应用。我们主张该领域应该专注于开发简单有效的检测器,并与有效的跟踪器相结合,以实现实时息肉检测器。在本文中,我们提出了一种卡尔曼滤波跟踪器,可以与功能强大,但有效的检测器,使实时息肉检测器的实施。特别是,我们表明,我们的卡尔曼滤波与检测器PP-YOLO的组合显示了最先进的(SOTA)检测精度和实时处理。更具体地说,我们的方法在CVC-ClinicDB数据集上具有SOTA结果,召回率为0.740,精度为0.869,$F_1$得分为0.799,平均精度(AP)为0.837,并且可以实时的运行(即,每秒30帧)。我们还在我们的临床合作者注释的Hyper-Kvasir子集上评估了我们的方法,得到SOTA结果,召回率为0.956,精确度为0.875,$F_1$得分为0.914,AP为0.952,并且可以实时的运行。
2022-01-27 cs.CV
Content-Based Filtering for Video Sharing Social Networks
Preparatory School of Air Cadets(空军学员预备学校)
在本文中,我们比较了视频社交网络内容过滤任务中几个特征的使用,这是一项非常具有挑战性的任务,不仅是因为不需要的内容与非常高级的语义概念有关(例如,色情、暴力等)而且还因为来自社交网络的视频是极其混杂的,从而阻止了对受约束的先验信息的使用。我们提出了一种简单的方法,能够结合不同的证据,来自不同的功能和各种视频元素(整个视频,镜头,帧,关键帧等)。我们评估我们的方法在三个社交网络应用程序,涉及到检测不需要的内容-色情视频,暴力视频,和视频发布人为操纵流行度分数。使用具有挑战性的测试数据库,我们表明,这个简单的计划是能够获得良好的效果,只要选择足够的功能。此外,我们建立了一个表示使用时空局部描述符的码本的成功的方法在所有三个上下文中的关键。这是必然的,因为最先进的技术仍然严重依赖于静态功能的任务解决。
2011-01-12 cs.CV cs.SI
TemporalVLM: Video LLMs for Temporal Reasoning in Long Videos
Retrocausal, Inc.(Retrocausal公司)
本文提出TemporalVLM,一种用于长视频时间推理和细粒度理解的视频大语言模型,通过时间感知编码和BiLSTM模块实现全局特征聚合,并引入IndustryASM数据集进行评估。
2026-04-19 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA(法国国家信息与自动化研究所)
我们解决的问题,具体的视频事件检索。给定特定事件的查询视频,例如,麦当娜的音乐会,目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符,共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益,并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下,执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
Real Time Implementation of Spatial Filtering On FPGA
College of Engineering Pune(浦那工程学院)
现场可编程门阵列(FPGA)技术之所以获得了至关重要的地位,主要是因为其并行处理硬件使其成为图像和视频处理的理想选择。本文讨论了一种基于Xilinx XC 7Z 020的Zynq评估开发板对Omnivision OV 7670摄像机发送的实时的视频帧逐步应用线性空间滤波器的方法。选择人脸检测应用程序来解释上述过程。该程序适用于大多数需要FPGA实现的复杂图像处理算法。
2015-02-10 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University(复旦大学);University of Maryland, College Park(马里兰大学学院公园分校)
VideoLoom是一种用于联合空间-时间理解的视频大语言模型,通过LoomData-8.7k数据集和LoomBench基准测试,在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
Blind Video Temporal Consistency via Deep Video Prior
The Hong Kong University of Science and Technology(香港科技大学)
将图像处理算法独立地应用于每一视频帧通常导致所得视频中的时间不一致性。为了解决这个问题,我们提出了一种新的和一般的方法盲视频时间一致性。我们的方法只直接在一对原始和处理过的视频上训练,而不是在一个大的数据集上训练。与以前大多数使用光流实现时间一致性的方法不同,我们表明可以通过使用深度视频先验在视频上训练卷积网络来实现时间一致性。此外,一个精心设计的迭代重新加权的训练策略,提出了解决具有挑战性的多模态不一致性问题。我们证明了我们的方法的有效性7计算机视觉任务的视频。大量的定量和感知实验表明,我们的方法获得优于国家的最先进的方法在盲视频时间一致性的性能。我们的源代码可在github.com/ChenyangLEI/deep-video-prior上公开获取。
2020-10-22 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV
Learning Temporal Embeddings for Complex Video Analysis
Stanford University(斯坦福大学);Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们提出了学习时间嵌入的视频帧复杂的视频分析。大量未标记的视频数据可以很容易地从互联网上获得。这些视频具有隐含的弱标签,它们是时间和语义上连贯的图像序列。我们利用这些信息,通过将帧与它们出现的时间上下文相关联来学习视频帧的时间嵌入。要做到这一点,我们提出了一个方案,将时间上下文的基础上,在视频中的过去和未来的帧,并比较这与其他上下文表示。此外,我们还展示了如何使用多分辨率样本和硬底片进行数据增强,以显著提高学习嵌入的质量。我们评估各种设计决策学习时间嵌入,并表明,我们的嵌入可以提高性能的多个视频任务,如检索,分类和时间顺序恢复在不受约束的互联网视频。
2015-05-02 cs.CV
Multi-Density Attention Network for Loop Filtering in Video Compression
Alibaba Group(阿里巴巴集团)
视频压缩是消费者和专业视频应用的基本要求。诸如H. 264/AVC和H. 265/HEVC之类的视频编码标准在市场上被广泛部署,以使得能够针对许多视频应用高效地使用带宽和存储。为了减少编码伪影和提高压缩效率,文献中已经开发了基于神经网络的重构视频的环路滤波。然而,由于视频内容和采样密度的变化,环路滤波是一项具有挑战性的任务。本文提出了一种基于在线缩放的多密度注意力网络,用于视频压缩中的环路滤波。该方法的核心在于以下几个方面:(a)并行多分辨率卷积流提取多密度特征;(b)单个注意分支学习样本相关性并生成掩码图;(c)通道互注意过程融合多个分支的数据;(d)在线缩放技术根据实际信号进一步优化网络的输出结果。所提出的多密度注意力网络从多个采样密度中学习丰富的特征,并对不同分辨率的视频内容进行鲁棒性。此外,在线缩放过程增强了离线预训练模型的信号适应性。实验结果表明,在相同的视频质量下,与最新的通用视频编码(VVC)标准相比,该算法可以降低10.18%的码率。所提出的算法的客观性能优于国家的最先进的方法和主观质量的改善是明显的细节保留和文物减轻。
2021-04-08 cs.CV cs.MM eess.IV
Spatio-temporal Video Re-localization by Warp LSTM
Tencent AI Lab(腾讯人工智能实验室);University of Rochester(罗切斯特大学)
由于Web上用户生成的视频的大量涌现,有效地找到用户想要的视频内容的需求正在增加。现有的基于关键字或基于内容的视频检索方法通常确定视频中发生了什么,但不能确定何时何地。在本文中,我们作出回答的问题,何时何地制定一个新的任务,即时空视频重定位。具体地,给定查询视频和参考视频,时空视频重定位旨在定位参考视频中的小块,使得小块在语义上对应于查询。为了准确定位参考视频中所需的tubelet,我们提出了一种新的warp LSTM网络,它可以长时间传播时空信息,从而捕获相应的长期依赖关系。时空视频重定位的另一个问题是缺乏正确标记的视频数据集。因此,我们重新组织AVA数据集中的视频,形成一个新的数据集的时空视频重定位研究。大量的实验结果表明,该模型在时空视频重定位任务上取得了优于设计基线的性能。
2019-05-10 cs.CV
A Multi-Person Video Dataset Annotation Method of Spatio-Temporally Actions
Chengdu Neusoft Institute Of Information(成都东软学院)
时空行为检测是视频理解中的一个重要且具有挑战性的问题。然而,现有的大规模时空动作数据集在特定领域的应用有限,而且目前还没有公开的时空动作数据集制作工具,研究人员需要花费大量的时间和精力来定制时空动作数据集,因此本文提出了一种多人视频时空动作数据集的标注方法。首先,我们使用ffmpeg对视频进行裁剪和分帧,然后使用yolov5检测视频帧中的人,然后使用深度排序检测视频帧中的人的ID。通过对yolov5的检测结果进行处理和深度排序,得到时空动作数据集的标注文件,完成时空动作数据集的定制工作。https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset
2022-04-25 cs.CV
Content-Based Spam Filtering on Video Sharing Social Networks
在这项工作中,我们关注的是视频共享社交网络中的垃圾邮件的检测。具体来说,我们调查多少视觉内容为基础的分析可以帮助检测视频中的垃圾邮件。这是一项非常具有挑战性的任务,因为涉及高级语义概念;社交网络的各种性质,阻止使用受约束的先验信息;而且,最重要的是,垃圾邮件的上下文依赖性。对社交网络的内容过滤是一项日益迫切的任务:由于其受欢迎程度,滥用的数量也趋于增加,这使用户群感到厌烦,并扰乱了他们的服务。我们系统地评估了几种处理视觉信息的方法:使用静态和动态(motionaware)功能,有或没有考虑上下文,有或没有潜在语义分析(LSA)。我们的实验表明,LSA是有帮助的,但考虑到上下文是至关重要的。整个方案效果良好,说明了该方案的可行性。
2011-04-28 cs.CV cs.MM
Robust Noise Filtering in Image Sequences
ENIT-Tunisia(突尼斯国家工程学院)
近年来,随着多媒体和视频系统应用中新技术的出现,图像序列滤波已成为一个非常重要的技术问题。通常,图像序列被由图像传感器引入的一定量的噪声破坏,并且因此固有地存在于成像过程中。序列图像处理的主要问题是如何处理时空非平稳信号。本文提出了一种基于时空耦合各向异性扩散的图像序列去噪鲁棒方法。其思想是通过求解非线性扩散方程,在空间和时间两个方向上实现自适应平滑。这允许去除噪声,同时保留所有空间和时间不连续性
2013-04-17 cs.CV
Edit Temporal-Consistent Videos with Image Diffusion Model
Nanjing University of Science and Technology(南京理工大学);SeetaCloud;City University of Hong Kong(香港城市大学)
本文提出TCVE方法,通过专用时间Unet和时空建模单元增强视频时间一致性,实现稳健的文本引导视频编辑并达到SOTA性能。
2023-12-30 cs.CV
Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model
The University of Tokyo(东京大学);Osaka University(大阪大学)
本文讨论了视频运动捕获,即从多摄像机图像中重建人体运动的三维模型。在从每个摄像机图像中计算出部分置信度图之后,应用所提出的时空滤波器来提供具有准确性和平滑性的人体运动数据以用于人体运动分析。时空滤波器使用人体骨架,并在两次逆运动学计算中混合时间平滑。实验结果表明,在规则运动和反向运动情况下,每个关节的平均位置误差分别为26.1mm和38.8mm。
2019-12-10 cs.CV cs.RO
A Global Appearance and Local Coding Distortion based Fusion Framework for CNN based Filtering in Video Coding
Shandong University(山东大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院)
环路内滤波用于视频编码中以处理重构帧以便去除块效应。随着卷积神经网络(CNN)的发展,CNN已经被探索用于环路滤波,认为它可以被视为图像去噪任务。然而,除了是失真图像之外,重构帧还通过视频编码中的基于块的编码操作的固定行来获得。它携带一些类似特性的基于编码单元的编码失真。因此,在本文中,我们从两个方面来解决过滤问题,全局外观恢复中断纹理和局部编码失真恢复所造成的固定管道的编码。在此基础上,提出了一种基于全局外观和局部编码失真的三流融合网络,该融合网络由高层全局特征流、高层局部特征流和低层局部特征流组成。通过消融研究验证了不同特征的必要性,证明了全局特征和局部特征在滤波中可以相互补充,结合起来可以获得更好的滤波效果。据我们所知,我们是第一个通过实验验证从上述全局外观和局部编码失真恢复方面清楚地描述视频滤波过程的人,为开发滤波器技术提供了明确的途径。实验结果表明,该方法显着优于现有的单帧为基础的方法,并实现了13.5%,11.3%,11.7%的平均BD率节省分别为AI,LDP和RA配置,与HEVC参考软件。
2021-06-24 cs.CV eess.IV
Temporal RoI Align for Video Object Recognition
SenseTime(商汤科技)
视频目标检测在某些视频帧中存在外观劣化的情况下是具有挑战性的。因此,将来自同一视频的其它帧的时间信息聚合到当前帧中是自然的选择。然而,作为视频检测器最核心的过程之一,RoI Align仍然是从单帧特征图中提取特征,使得提取的RoI特征缺乏视频的时间信息。在这项工作中,考虑到相同的对象实例的特征是高度相似的帧之间的视频,提出了一种新的时间RoI对齐算子提取的特征,从其他帧的特征图为当前帧的建议,通过利用特征相似性。所提出的时间RoI对齐操作符可以从整个视频中提取时间信息以用于提案。我们将其集成到单帧视频检测器和其他国家的最先进的视频检测器,并进行定量实验,以证明所提出的时间RoI对齐算子可以持续和显着提高性能。此外,本文提出的时域ROI对齐算法还可以应用于视频实例分割。代码可在https://github.com/open-mmlab/mmtracking上获得
2021-09-11 cs.CV
Static object detection and segmentation in videos based on dual foregrounds difference with noise filtering
Umea University(于默奥大学)
本文提出了一种从复杂场景中提取静态目标检测和分割的方法。在许多监控应用中,由于运动目标的存在,鲁棒的静态目标检测仍然是一项具有挑战性的任务。难度的高低取决于你如何将待识别的对象标记为静态的,这些静态对象没有建立原始背景,而是在不同的时间出现在视频中。在此背景下,基于帧差概念的背景减除技术被应用于静态目标的识别。首先,我们估计帧差分前景掩模图像通过计算相对于一个静态参考帧的每一帧的差异。采用混合高斯MOG方法检测运动粒子,并从帧差前景模板中减去结果前景模板。应用预处理技术、照明均衡和去雾方法来处理低对比度并减少来自空气中散射材料(例如水滴和灰尘颗粒)的噪声。最后,应用数学形态学运算和最大连通分量分析对目标进行分割和噪声抑制。所提出的方法是建立岩石破碎站的应用程序,并有效地验证了真实的,合成的和两个公共数据集。实验结果表明,该方法在没有任何跟踪先验信息的情况下,能够鲁棒地检测、分割出静止目标。
2020-12-19 cs.CV
JVID: Joint Video-Image Diffusion for Visual-Quality and Temporal-Consistency in Video Generation
Imperial College London(伦敦帝国学院);Friedrich-Alexander-Universität(弗里德里希-亚历山大大学);University of Birmingham(伯明翰大学)
JVID通过联合潜在图像扩散模型与潜在视频扩散模型,在反向扩散过程中兼顾视觉质量与时间一致性,从而提升视频生成效果。
2024-09-27 cs.CV
Complexity Reduction of Learned In-Loop Filtering in Video Coding
在视频编码中,在存储用于输出的帧之前,对重构的视频帧应用环路滤波器以增强它们的感知质量。传统的环路滤波器是通过手工制作的方法获得的。最近,基于利用注意力机制的卷积神经网络的学习过滤器已被证明可以改进传统技术。然而,这些解决方案通常在计算上更加昂贵,限制了它们在实际应用中的潜力。该方法使用了一种新的稀疏性和结构化修剪的组合,用于降低学习的环路内滤波器的复杂性。这是通过三步训练过程完成的,即幅度引导的权重修剪、不重要的神经元识别和移除以及微调。通过初步的测试,我们发现,网络参数可以显着减少,对网络性能的影响最小。
2022-03-17 cs.CV eess.IV
Towards Spatio-Temporal Video Scene Text Detection via Temporal Clustering
University of Chinese Academy of Sciences(中国科学院大学)
现有的视频场景文本检测(VSTD)基准测试仅在空间域使用边界框标注,缺乏视频帧间文本实例的时间关联,阻碍了视频文本相关应用的发展。在本文中,我们系统地介绍了一个新的大规模基准,命名为STVText 4,一个精心设计的时空检测度量(STDM),和一种新的基于聚类的基线方法,称为时间聚类(TC)。STVText 4开辟了一个具有挑战性但很有前途的VSTD方向,称为ST-VSTD,其目标是在空间和时间域同时检测视频场景文本。STVText 4包含来自106个视频的161,347个视频帧的超过140万个文本实例,其中每个实例不仅使用空间限界框和时间范围进行注释,而且还使用四个固有属性进行注释,包括易读性,密度,规模和生命周期,以促进社区。随着视频序列中相同文本的连续传播,TC可以准确地输出文本的空间四边形和时间范围,这为ST-VSTD设置了一个强大的基线。实验证明了该方法的有效性和STVText 4的巨大学术和实用价值。数据集和代码将很快发布。
2020-11-19 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery(美敦力数字外科);Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London(伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心)
针对手术视频语义分割中时间一致性问题,提出含时空解码器的网络,提升帧间一致性,在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
The Shape of Time: Video-Token Contrast for Temporal Understanding in VideoLMs
Nanyang Technological University(南洋理工大学)
针对 VideoLMs 时间理解中监督与视频表示不匹配的问题,提出 VT-Contrast 表示级时间反事实目标,通过对比视频 token 的顺序视图与反事实提升时间理解性能,且无需改动架构。
2026-09-04 cs.CV
Exploiting long-term temporal dynamics for video captioning
School of Computer Science and Engineering, The University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
用自然语言自动描述视频是计算机视觉和自然语言处理的一个基本挑战。最近,已经通过两个步骤实现了该问题的进展:1)采用2-D和/或3-D卷积神经网络(CNN)(例如,VGG、ResNet或C3 D)来提取空间和/或时间特征以对视频内容进行编码;以及2)应用递归神经网络(RNN)来生成描述视频中的事件的句子。基于时间注意力的模型通过考虑视频帧的重要性,取得了很大的进展。然而,对于长视频,特别是对于由一组子事件组成的视频,我们应该发现并利用每个子镜头而不是每个帧的重要性。在本文中,我们提出了一种新的方法,即时间和空间LSTM(TS-LSTM),它系统地利用视频序列中的空间和时间动态。在TS-LSTM中,时间池化LSTM(TP-LSTM)被设计为结合空间和时间信息来提取视频子镜头中的长期时间动态;并引入堆叠LSTM来生成描述视频的单词列表。在两个公开的视频描述基准测试中获得的实验结果表明,我们的TS-LSTM优于最先进的方法。
2022-02-22 cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而,在这样的设置中,很难学习视频的区别性特征表示。在本文中,我们提出了时间对齐预测(TAP)的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性,我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外,该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP,包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性,并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast(贝尔法斯特女王大学);Oosto(奥斯特公司)
提出TDViT及其核心模块TDTB,通过分层结构扩展时间感受野并缓解时间冗余,高效解决密集视频任务中的长时序建模问题,在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
Unified Static and Dynamic Network: Efficient Temporal Filtering for Video Grounding
Hefei University of Technology (HFUT)(合肥工业大学);School of Computer Science and Information Engineering (School of Artificial Intelligence)(计算机与信息工程学院(人工智能学院));Intelligent Interconnected Systems Laboratory of Anhui Province(安徽省智能互联系统实验室)
本文提出统一静态与动态网络UniSDNet,通过残差MLP和多核时序高斯滤波实现视频与文本/音频查询的高效跨模态语义关联,在NLVG和SLVG任务上取得SOTA性能并提升推理速度。
2025-04-11 cs.CV
TimeLogic: A Temporal Logic Benchmark for Video QA
University of Central Florida(中佛罗里达大学);University of Tuebingen(蒂宾根大学)
针对现有视频问答基准缺乏时序逻辑推理评估的问题,提出可自动生成问答对的TLQA框架,基于4个数据集构建两类规模的基准数据集,并评估了前沿模型在16类时序逻辑任务上的推理能力。
2025-01-13 cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University(上海交通大学SAI实验室);ByteDance Seed(字节跳动种子)
本文提出UniTime模型,利用生成多模态大语言模型实现通用视频时间定位,有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
Video ControlNet: Towards Temporally Consistent Synthetic-to-Real Video Translation Using Conditional Image Diffusion Models
本文提出Video ControlNet,利用现成条件图像扩散模型和光流信息,通过联合噪声优化实现无需训练或微调的时间一致合成到真实视频转换,在多个基准上优于基线方法。
2023-05-30 cs.CV
Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net
智能视频摘要算法允许通过识别最重要和最具解释性的内容来快速传达视频中最相关的信息,同时删除冗余的视频帧。在本文中,我们介绍了用于视频摘要的3DST-UNet-RL框架。使用3D时空U-网对输入视频的时空信息进行有效编码,以用于下游的强化学习(RL)。RL代理从时空潜在分数中学习,并预测用于在视频摘要中保留或拒绝视频帧的动作。我们调查真实/膨胀的3D时空CNN特征是否比常用的2D图像特征更适合从视频中学习表示。我们的框架可以在完全无监督模式和监督训练模式下运行。我们分析了规定的摘要长度的影响,并在两个常用的通用视频摘要基准上显示了3DST-UNet-RL有效性的实验证据。我们还将我们的方法应用于医疗视频摘要任务。所提出的视频摘要方法有可能节省超声筛查视频的存储成本,并且在回顾性分析或审计期间在不丢失必要信息的情况下浏览患者视频数据时提高效率
2021-06-19 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University(中山大学);Hong Kong Baptist University(香港浸会大学)
视频中的时间线索为准确识别动作提供了重要信息。然而,如果不使用带注释的大规模视频动作数据集进行训练,则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习(VTDL)框架,在自我监督的方式。在没有标记数据进行网络预训练的情况下,通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组,以增强时间特征表示的能力。通过时间导数测量时间信息,时间一致增强(TCA)旨在确保增强的正的时间导数(以任何顺序)是不变的,除了缩放常数。最后,通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征,而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中,所提出的方法显着优于现有的相关工作。令人惊讶的是,当使用小规模视频数据集(只有数千个视频)进行预训练时,所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
Learning spatio-temporal representations with temporal squeeze pooling
University of York(约克大学)
本文提出了一种新的视频表示学习方法--时间压缩(Temporal Squeeze,TS)池化方法,该方法能够从一长串视频帧中提取出运动的基本信息,并将其映射到一组为数不多的图像中,称为压缩图像。通过将时间压缩池作为一个层嵌入到现有的卷积神经网络(CNN)中,我们设计了一个新的视频分类模型,称为时间压缩网络(TeSNet)。压缩后的图像包含视频帧的基本运动信息,对应于视频分类任务的优化。我们在两个视频分类基准上评估了我们的架构,并将所取得的结果与最先进的技术进行了比较。
2022-01-13 cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China(机器人学院,武汉大学,武汉,中国);Electronic Information School, Wuhan University, Wuhan, China(电子信息学院,武汉大学,武汉,中国);Southeast University, Nanjing, China(东南大学,南京,中国)
VideoFusion通过时空协作网络实现多模态视频融合,利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
Video Consistency Distance: Enhancing Temporal Consistency for Image-to-Video Generation via Reward-Based Fine-Tuning
LY Corporation(LY公司)
本文提出视频一致性距离(VCD)度量,通过基于奖励的微调增强图像到视频生成的时间一致性,实验证明该方法在多个数据集上显著提升一致性且不损害其他性能。
2025-10-23 cs.CV
Temporal-Spatial Feature Pyramid for Video Saliency Detection
Beihang University(北京航空航天大学)
多层次特征对于显著性检测是非常重要的。将多层次特征与时间信息更好地结合使用,可以大大提高视频显著性模型的准确性。为了充分结合多层次特征并使其服务于视频显著性模型,提出了一种用于视频显著性检测的3D全卷积编解码器架构,该架构结合了尺度、空间和时间信息进行视频显著性建模。编码器从输入的连续视频帧中提取多尺度时空特征,然后通过时空卷积和自顶向下的特征融合构建时空特征金字塔。解码器从不同尺度对时空特征进行分层解码,并最终从多个视频帧的整合中产生显著图。该模型简单有效,可以实时的运行。实验结果表明,该结构能够显著提高视频显著性检测的精度。在三个纯视觉视频显著性基准和六个音视频显著性基准上的实验结果表明,我们的方法优于现有的最先进的方法。
2021-09-14 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University(北京大学);Alibaba DAMO Academy(阿里巴巴达摩院)
时间一致性对于将图像处理流水线扩展到视频域是至关重要的,这通常通过相邻帧上的基于流的扭曲误差来实施。然而,对于人类视频合成,这种方案是不太可靠的,由于源和目标视频之间的不对准,以及在准确的流量估计的困难。在本文中,我们提出了一种有效的内在时间正则化方案来缓解这些问题,其中通过帧生成器估计内在置信度图,以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径,从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器,从而产生一个强大的“INTERnet”,能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明,建议INTERnet的优越性,在几个竞争力的基线。
2020-12-11 cs.CV
OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer
Intelligent Creation Lab, ByteDance(字节跳动智能创作实验室)
OmniTransfer通过统一框架实现灵活的高保真视频生成,结合多视角和时间线索提升转换性能。
2026-01-20 cs.CV
Seq2Time: Sequential Knowledge Transfer for Video LLM Temporal Grounding
University of Central Florida(中佛罗里达大学);United Imaging Intelligence(联影智能);Northwestern University(西北大学)
针对视频大语言模型时间感知受限于长视频标注数据稀缺的问题,提出Seq2Time训练范式,通过图像/片段序列生成时间标注数据并统一时间表示,显著提升了时间定位相关任务性能。
2024-11-25 cs.CV
Learning Joint Spatial-Temporal Transformations for Video Inpainting
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
高质量的视频修复是一个很有前途但又具有挑战性的任务。现有的方法采用注意力模型,通过从参考帧中搜索缺失的内容来完成一帧,并进一步逐帧完成整个视频。然而,这些方法可能会受到沿着空间和时间维度的不一致的注意力结果的影响,这通常会导致视频中的模糊和时间伪影。在本文中,我们提出了一个联合学习时空Transformer网络(STTN)的视频修复。具体来说,我们同时填补丢失的区域在所有输入帧的自我注意,并建议优化STTN的时空对抗损失。为了显示所提出的模型的优越性,我们进行定量和定性的评价,使用标准的静止掩模和更真实的运动物体掩模。演示视频可在https://github.com/researchmm/STTN上获得。
2020-07-20 cs.CV
Spatial-Temporal Residual Aggregation for High Resolution Video Inpainting
Huawei Technologies(华为技术有限公司);Jilin University(吉林大学)
最近基于学习的修复算法在去除视频中不需要的对象后完成缺失区域方面取得了令人信服的结果。为了保持帧之间的时间一致性,3D空间和时间操作通常在深度网络中大量使用。然而,这些方法通常受到存储器限制,并且只能处理低分辨率视频。我们提出了STRA-Net,一种新的高分辨率视频修复的时空残差聚合框架。其关键思想是首先学习并在下采样的低分辨率视频上应用空间和时间修复网络。然后,我们通过将学习的空间和时间图像残差(细节)聚合到上采样的修复帧来细化低分辨率结果。定量和定性的评估表明,我们可以产生更多的时间连贯性和视觉吸引力的结果比国家的最先进的方法修复高分辨率视频。
2021-11-05 cs.CV
Video-based Person Re-identification with Spatial and Temporal Memory Networks
Yonsei University(延世大学)
基于视频的人物重新识别(reID)旨在跨多个摄像机检索与查询人物具有相同身份的人物视频。人物视频中的空间和时间干扰因素,例如背景杂波和帧上的部分遮挡,分别使这项任务比基于图像的人物reID更具挑战性。我们观察到,空间干扰始终出现在一个特定的位置,和时间干扰显示几种模式,例如,部分遮挡发生在最初的几个帧中,其中这样的模式提供用于预测要聚焦在哪些帧上的信息线索(即,时间的关注)。在此基础上,我们介绍了一种新的时空记忆网络(STMN)。空间记忆存储在视频帧中频繁出现的空间干扰物的特征,而时间记忆保存针对人视频中的典型时间模式进行优化的注意力。我们利用空间和时间的记忆来细化帧级的人的表示和聚合到一个序列级的人的表示,分别有效地处理空间和时间干扰的人的视频的细化帧级的功能。我们还引入了一个内存扩散损失,防止我们的模型只在内存中处理特定的项目。标准基准测试,包括MARS,DukeMTMC-VideoReID,和LS-VID的实验结果,证明了我们的方法的有效性。
2021-08-20 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research(VinAI研究院);Retrocausal, Inc.(Retrocausal公司)
我们提出了一种新的方法用于Few-Shot视频分类,它执行外观和时间对齐。特别是,给定一对查询和支持视频,我们通过帧级特征匹配进行外观对齐,以实现视频之间的外观相似性得分,同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外,我们引入了一个Few-Shot视频分类框架,该框架在多个步骤中利用了上述外观和时间相似性分数,即基于原型的训练和测试以及归纳和转换原型细化。据我们所知,我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明,外观和时间对齐对于具有时间顺序敏感性的数据集(如Something-Something V2)至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation
语义视频分割是各种应用的关键挑战。本文提出了一种名为Noisy-LSTM的新模型,它可以端到端的方式进行训练,使用卷积LSTM(ConvLSTM)来利用视频帧中的时间相干性。我们还提出了一个简单而有效的训练策略,它取代了视频序列中的一帧噪声。该策略破坏了训练期间视频帧中的时间相干性,从而使得ConvLSTM中的时间链接不可靠,这因此可以改进从视频帧的特征提取,以及用作正则化器以避免过拟合,而不需要额外的数据注释或计算成本。实验结果表明,该模型在CityScapes和EndoVis 2018数据集上都能达到最先进的性能。
2020-10-19 cs.CV
Semantic Conditioned Dynamic Modulation for Temporal Sentence Grounding in Videos
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
视频中的时间句子接地旨在检测和定位一个目标视频片段,其语义对应于给定的句子。现有的方法主要通过匹配和对齐句子和候选视频片段之间的语义来解决这个任务,而忽略了句子信息在时间相关和组成视频中描述的内容中起着重要作用的事实。在本文中,我们提出了一种新的语义条件动态调制(SCDM)机制,它依赖于句子的语义来调制时间卷积运算,以更好地相关和组成的句子相关的视频内容随着时间的推移。更重要的是,所提出的SCDM相对于不同的视频内容动态地执行,以便在句子和视频之间建立更精确的匹配关系,从而提高时间接地准确性。在三个公共数据集上进行的广泛实验表明,我们提出的模型优于最先进的模型,具有明显的边缘,说明SCDM能够更好地关联和定位相关视频内容,以实现时间句子基础。本文的代码可以在https://github.com/yytzsy/SCDM上找到。
2019-10-31 cs.CV
Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning
The Weizmann Institute of Science(魏茨曼科学研究所);Weizmann Artificial Intelligence Center (WAIC)(魏茨曼人工智能中心(WAIC));Technion, Israel Institute of Technology(以色列理工学院)
当使用低帧速率相机记录非常快的动态事件时,所得到的视频遭受严重的运动模糊(由于曝光时间)和运动混叠(由于时间上的低采样率)。真正的时间超分辨率(TSR)不仅仅是时间插值(增加帧率)。它还可以恢复超出输入视频的时间奈奎斯特限制的新的高时间频率,从而解决时间帧插值(尽管可能很复杂)无法消除的运动模糊和运动混叠效应。在本文中,我们提出了一种用于真正TSR的“深度内部学习”方法。我们训练一个视频特定的CNN的例子直接从低帧率输入视频提取。我们的方法利用了一个单一的视频序列内的小时空补丁的强复发,无论是在不同的时空尺度的视频。我们进一步观察到(第一次)小的时空补丁也在视频序列的各个维度上重现-即,通过交换空间和时间维度。特别地,视频帧的较高空间分辨率提供了关于如何增加该视频的时间分辨率的强有力的示例。这种内部视频特定的例子产生了强大的自我监督,不需要数据,但输入视频本身。这导致了复杂视频的Zero-Shot Temporal-SR,它消除了运动模糊和运动混叠,优于以前在外部视频数据集上训练的监督方法。
2020-10-15 cs.CV
Video BagNet: short temporal receptive fields increase robustness in long-term action recognition
Delft University of Technology(代尔夫特理工大学);TNO(荷兰应用科学研究组织)
针对大时间感受野的3D卷积动作识别模型易因子动作顺序变化性能下降的问题,提出时间感受野受限的Video BagNet模型,实验验证短感受野可提升长期动作识别对子动作顺序变化的鲁棒性。
2023-08-22 cs.CV
Global-Local Temporal Representations For Video Person Re-Identification
Peking University(北京大学)
本文提出了全局-局部时间表示(GLTR),利用视频序列中的多尺度时间线索的视频人的再识别(ReID)。GLTR是通过首先对相邻帧之间的短期时间线索进行建模,然后捕获不连续帧之间的长期关系来构建的。具体地说,短期的时间线索是由不同的时间膨胀率的并行膨胀卷积来表示行人的运动和外观。通过时间自注意模型来捕捉视频序列中的长期关系,以减轻视频序列中的遮挡和噪声。通过简单的单流CNN将短期和长期时间线索聚合为最终的GLTR。GLTR显示出显著的优越性,现有的功能与身体部位线索或度量学习四个广泛使用的视频ReID数据集。例如,它在MARS数据集上实现了87.02%的Rank-1准确率,而无需重新排名,优于当前最先进的技术。
2019-08-27 cs.CV
Video Demoireing with Relation-Based Temporal Consistency
The University of Hong Kong(香港大学);TCL AI Lab(TCL人工智能实验室);Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学)
当用数码相机拍摄屏幕时,以颜色失真出现的莫尔图案严重降低图像和视频质量。考虑到视频采集需求的不断增长,本文研究了如何去除视频中的莫尔条纹,即视频去噪。为此,我们引入了第一个手持视频demoireing数据集与一个专用的数据汇集管道,以确保空间和时间上的对齐捕获的数据。此外,开发了具有隐式特征空间对齐和选择性特征聚合的基线视频去毛模型,以利用来自附近帧的补充信息来改进帧级视频去毛。更重要的是,我们提出了一个基于关系的时间一致性损失,以鼓励模型直接从地面实况参考视频中学习时间一致性先验,这有助于产生时间一致的预测并有效地保持帧级质量。大量的实验表明了该模型的优越性。代码可在\url{https://daipengwa.github.io/VDmoire_ProjectPage/}上获得。
2022-04-06 cs.CV