Exploiting Temporal Attention Features for Effective Denoising in Videos
视频去噪是任何视频处理流水线的基本任务之一。它不同于图像去噪，因为视频帧的时间特性，任何图像去噪方法应用于视频都会导致闪烁。该方法利用视频帧的时间和空间维度作为两阶段流水线的一部分。该体系结构中的每一级称为时空网络，使用通道式注意机制将编码器信号转发到解码器侧。本文中使用的注意力块使用软注意力来对过滤器进行排名，以便更好地训练。
2020-08-27 cs.CV eess.IV
Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers
Nanyang Technological University（南洋理工大学）
针对配对视频数据获取难的问题，提出将可调时序模块集成到预训练图像去噪器的TAP无监督视频去噪框架，结合渐进式微调策略，在sRGB和原始视频数据集上实现更优去噪效果。
2024-09-17 cs.CV eess.IV
TemporalVLM: Video LLMs for Temporal Reasoning in Long Videos
Retrocausal, Inc.（Retrocausal公司）
本文提出TemporalVLM，一种用于长视频时间推理和细粒度理解的视频大语言模型，通过时间感知编码和BiLSTM模块实现全局特征聚合，并引入IndustryASM数据集进行评估。
2026-04-19 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA（法国国家信息与自动化研究所）
我们解决的问题，具体的视频事件检索。给定特定事件的查询视频，例如，麦当娜的音乐会，目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符，共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益，并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下，执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University（复旦大学）；University of Maryland, College Park（马里兰大学学院公园分校）
VideoLoom是一种用于联合空间-时间理解的视频大语言模型，通过LoomData-8.7k数据集和LoomBench基准测试，在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
Blind Video Temporal Consistency via Deep Video Prior
The Hong Kong University of Science and Technology（香港科技大学）
将图像处理算法独立地应用于每一视频帧通常导致所得视频中的时间不一致性。为了解决这个问题，我们提出了一种新的和一般的方法盲视频时间一致性。我们的方法只直接在一对原始和处理过的视频上训练，而不是在一个大的数据集上训练。与以前大多数使用光流实现时间一致性的方法不同，我们表明可以通过使用深度视频先验在视频上训练卷积网络来实现时间一致性。此外，一个精心设计的迭代重新加权的训练策略，提出了解决具有挑战性的多模态不一致性问题。我们证明了我们的方法的有效性7计算机视觉任务的视频。大量的定量和感知实验表明，我们的方法获得优于国家的最先进的方法在盲视频时间一致性的性能。我们的源代码可在github.com/ChenyangLEI/deep-video-prior上公开获取。
2020-10-22 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究中心）；Microsoft（微软公司）
尽管多模态大语言模型（MLLM）取得了重大进展，但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明，目前的视频大语言模型（Video-LLM）架构在时间理解方面存在严重的局限性，需要详细理解动作序列和时间进程的任务。在这项工作中，我们提出了一个视频LLM架构，直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力，使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明，这种方法显着提高了时间推理，并优于现有的模型在视频问答任务，特别是在动作识别。我们在基准测试方面的改进，包括VITATECS、MVBench和Video-MME，最高可达+5.5%。通过增强具有时间结构的视觉编码器，我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在：www.example.com。
2025-10-29 cs.CV
Learning Temporal Embeddings for Complex Video Analysis
Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了学习时间嵌入的视频帧复杂的视频分析。大量未标记的视频数据可以很容易地从互联网上获得。这些视频具有隐含的弱标签，它们是时间和语义上连贯的图像序列。我们利用这些信息，通过将帧与它们出现的时间上下文相关联来学习视频帧的时间嵌入。要做到这一点，我们提出了一个方案，将时间上下文的基础上，在视频中的过去和未来的帧，并比较这与其他上下文表示。此外，我们还展示了如何使用多分辨率样本和硬底片进行数据增强，以显著提高学习嵌入的质量。我们评估各种设计决策学习时间嵌入，并表明，我们的嵌入可以提高性能的多个视频任务，如检索，分类和时间顺序恢复在不受约束的互联网视频。
2015-05-02 cs.CV
Spatio-temporal Video Re-localization by Warp LSTM
Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）
由于Web上用户生成的视频的大量涌现，有效地找到用户想要的视频内容的需求正在增加。现有的基于关键字或基于内容的视频检索方法通常确定视频中发生了什么，但不能确定何时何地。在本文中，我们作出回答的问题，何时何地制定一个新的任务，即时空视频重定位。具体地，给定查询视频和参考视频，时空视频重定位旨在定位参考视频中的小块，使得小块在语义上对应于查询。为了准确定位参考视频中所需的tubelet，我们提出了一种新的warp LSTM网络，它可以长时间传播时空信息，从而捕获相应的长期依赖关系。时空视频重定位的另一个问题是缺乏正确标记的视频数据集。因此，我们重新组织AVA数据集中的视频，形成一个新的数据集的时空视频重定位研究。大量的实验结果表明，该模型在时空视频重定位任务上取得了优于设计基线的性能。
2019-05-10 cs.CV
A Multi-Person Video Dataset Annotation Method of Spatio-Temporally Actions
Chengdu Neusoft Institute Of Information（成都东软学院）
时空行为检测是视频理解中的一个重要且具有挑战性的问题。然而，现有的大规模时空动作数据集在特定领域的应用有限，而且目前还没有公开的时空动作数据集制作工具，研究人员需要花费大量的时间和精力来定制时空动作数据集，因此本文提出了一种多人视频时空动作数据集的标注方法。首先，我们使用ffmpeg对视频进行裁剪和分帧，然后使用yolov5检测视频帧中的人，然后使用深度排序检测视频帧中的人的ID。通过对yolov5的检测结果进行处理和深度排序，得到时空动作数据集的标注文件，完成时空动作数据集的定制工作。https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset
2022-04-25 cs.CV
Edit Temporal-Consistent Videos with Image Diffusion Model
Nanjing University of Science and Technology（南京理工大学）；SeetaCloud；City University of Hong Kong（香港城市大学）
本文提出TCVE方法，通过专用时间Unet和时空建模单元增强视频时间一致性，实现稳健的文本引导视频编辑并达到SOTA性能。
2023-12-30 cs.CV
Temporal RoI Align for Video Object Recognition
SenseTime（商汤科技）
视频目标检测在某些视频帧中存在外观劣化的情况下是具有挑战性的。因此，将来自同一视频的其它帧的时间信息聚合到当前帧中是自然的选择。然而，作为视频检测器最核心的过程之一，RoI Align仍然是从单帧特征图中提取特征，使得提取的RoI特征缺乏视频的时间信息。在这项工作中，考虑到相同的对象实例的特征是高度相似的帧之间的视频，提出了一种新的时间RoI对齐算子提取的特征，从其他帧的特征图为当前帧的建议，通过利用特征相似性。所提出的时间RoI对齐操作符可以从整个视频中提取时间信息以用于提案。我们将其集成到单帧视频检测器和其他国家的最先进的视频检测器，并进行定量实验，以证明所提出的时间RoI对齐算子可以持续和显着提高性能。此外，本文提出的时域ROI对齐算法还可以应用于视频实例分割。代码可在https://github.com/open-mmlab/mmtracking上获得
2021-09-11 cs.CV
JVID: Joint Video-Image Diffusion for Visual-Quality and Temporal-Consistency in Video Generation
Imperial College London（伦敦帝国学院）；Friedrich-Alexander-Universität（弗里德里希-亚历山大大学）；University of Birmingham（伯明翰大学）
JVID通过联合潜在图像扩散模型与潜在视频扩散模型，在反向扩散过程中兼顾视觉质量与时间一致性，从而提升视频生成效果。
2024-09-27 cs.CV
Towards Spatio-Temporal Video Scene Text Detection via Temporal Clustering
University of Chinese Academy of Sciences（中国科学院大学）
现有的视频场景文本检测（VSTD）基准测试仅在空间域使用边界框标注，缺乏视频帧间文本实例的时间关联，阻碍了视频文本相关应用的发展。在本文中，我们系统地介绍了一个新的大规模基准，命名为STVText 4，一个精心设计的时空检测度量（STDM），和一种新的基于聚类的基线方法，称为时间聚类（TC）。STVText 4开辟了一个具有挑战性但很有前途的VSTD方向，称为ST-VSTD，其目标是在空间和时间域同时检测视频场景文本。STVText 4包含来自106个视频的161，347个视频帧的超过140万个文本实例，其中每个实例不仅使用空间限界框和时间范围进行注释，而且还使用四个固有属性进行注释，包括易读性，密度，规模和生命周期，以促进社区。随着视频序列中相同文本的连续传播，TC可以准确地输出文本的空间四边形和时间范围，这为ST-VSTD设置了一个强大的基线。实验证明了该方法的有效性和STVText 4的巨大学术和实用价值。数据集和代码将很快发布。
2020-11-19 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
The Shape of Time: Video-Token Contrast for Temporal Understanding in VideoLMs
Nanyang Technological University（南洋理工大学）
针对 VideoLMs 时间理解中监督与视频表示不匹配的问题，提出 VT-Contrast 表示级时间反事实目标，通过对比视频 token 的顺序视图与反事实提升时间理解性能，且无需改动架构。
2026-09-04 cs.CV
Exploiting long-term temporal dynamics for video captioning
School of Computer Science and Engineering, The University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
用自然语言自动描述视频是计算机视觉和自然语言处理的一个基本挑战。最近，已经通过两个步骤实现了该问题的进展：1）采用2-D和/或3-D卷积神经网络（CNN）（例如，VGG、ResNet或C3 D）来提取空间和/或时间特征以对视频内容进行编码;以及2）应用递归神经网络（RNN）来生成描述视频中的事件的句子。基于时间注意力的模型通过考虑视频帧的重要性，取得了很大的进展。然而，对于长视频，特别是对于由一组子事件组成的视频，我们应该发现并利用每个子镜头而不是每个帧的重要性。在本文中，我们提出了一种新的方法，即时间和空间LSTM（TS-LSTM），它系统地利用视频序列中的空间和时间动态。在TS-LSTM中，时间池化LSTM（TP-LSTM）被设计为结合空间和时间信息来提取视频子镜头中的长期时间动态;并引入堆叠LSTM来生成描述视频的单词列表。在两个公开的视频描述基准测试中获得的实验结果表明，我们的TS-LSTM优于最先进的方法。
2022-02-22 cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而，在这样的设置中，很难学习视频的区别性特征表示。在本文中，我们提出了时间对齐预测（TAP）的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性，我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外，该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP，包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性，并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast（贝尔法斯特女王大学）；Oosto（奥斯特公司）
提出TDViT及其核心模块TDTB，通过分层结构扩展时间感受野并缓解时间冗余，高效解决密集视频任务中的长时序建模问题，在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
TimeLogic: A Temporal Logic Benchmark for Video QA
University of Central Florida（中佛罗里达大学）；University of Tuebingen（蒂宾根大学）
针对现有视频问答基准缺乏时序逻辑推理评估的问题，提出可自动生成问答对的TLQA框架，基于4个数据集构建两类规模的基准数据集，并评估了前沿模型在16类时序逻辑任务上的推理能力。
2025-01-13 cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University（上海交通大学SAI实验室）；ByteDance Seed（字节跳动种子）
本文提出UniTime模型，利用生成多模态大语言模型实现通用视频时间定位，有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
Video ControlNet: Towards Temporally Consistent Synthetic-to-Real Video Translation Using Conditional Image Diffusion Models
本文提出Video ControlNet，利用现成条件图像扩散模型和光流信息，通过联合噪声优化实现无需训练或微调的时间一致合成到真实视频转换，在多个基准上优于基线方法。
2023-05-30 cs.CV
Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net
智能视频摘要算法允许通过识别最重要和最具解释性的内容来快速传达视频中最相关的信息，同时删除冗余的视频帧。在本文中，我们介绍了用于视频摘要的3DST-UNet-RL框架。使用3D时空U-网对输入视频的时空信息进行有效编码，以用于下游的强化学习（RL）。RL代理从时空潜在分数中学习，并预测用于在视频摘要中保留或拒绝视频帧的动作。我们调查真实/膨胀的3D时空CNN特征是否比常用的2D图像特征更适合从视频中学习表示。我们的框架可以在完全无监督模式和监督训练模式下运行。我们分析了规定的摘要长度的影响，并在两个常用的通用视频摘要基准上显示了3DST-UNet-RL有效性的实验证据。我们还将我们的方法应用于医疗视频摘要任务。所提出的视频摘要方法有可能节省超声筛查视频的存储成本，并且在回顾性分析或审计期间在不丢失必要信息的情况下浏览患者视频数据时提高效率
2021-06-19 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
视频中的时间线索为准确识别动作提供了重要信息。然而，如果不使用带注释的大规模视频动作数据集进行训练，则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习（VTDL）框架，在自我监督的方式。在没有标记数据进行网络预训练的情况下，通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组，以增强时间特征表示的能力。通过时间导数测量时间信息，时间一致增强（TCA）旨在确保增强的正的时间导数（以任何顺序）是不变的，除了缩放常数。最后，通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征，而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中，所提出的方法显着优于现有的相关工作。令人惊讶的是，当使用小规模视频数据集（只有数千个视频）进行预训练时，所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
Learning spatio-temporal representations with temporal squeeze pooling
University of York（约克大学）
本文提出了一种新的视频表示学习方法--时间压缩（Temporal Squeeze，TS）池化方法，该方法能够从一长串视频帧中提取出运动的基本信息，并将其映射到一组为数不多的图像中，称为压缩图像。通过将时间压缩池作为一个层嵌入到现有的卷积神经网络（CNN）中，我们设计了一个新的视频分类模型，称为时间压缩网络（TeSNet）。压缩后的图像包含视频帧的基本运动信息，对应于视频分类任务的优化。我们在两个视频分类基准上评估了我们的架构，并将所取得的结果与最先进的技术进行了比较。
2022-01-13 cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China（机器人学院，武汉大学，武汉，中国）；Electronic Information School, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国）；Southeast University, Nanjing, China（东南大学，南京，中国）
VideoFusion通过时空协作网络实现多模态视频融合，利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
Video Consistency Distance: Enhancing Temporal Consistency for Image-to-Video Generation via Reward-Based Fine-Tuning
LY Corporation（LY公司）
本文提出视频一致性距离（VCD）度量，通过基于奖励的微调增强图像到视频生成的时间一致性，实验证明该方法在多个数据集上显著提升一致性且不损害其他性能。
2025-10-23 cs.CV
Temporal-Spatial Feature Pyramid for Video Saliency Detection
Beihang University（北京航空航天大学）
多层次特征对于显著性检测是非常重要的。将多层次特征与时间信息更好地结合使用，可以大大提高视频显著性模型的准确性。为了充分结合多层次特征并使其服务于视频显著性模型，提出了一种用于视频显著性检测的3D全卷积编解码器架构，该架构结合了尺度、空间和时间信息进行视频显著性建模。编码器从输入的连续视频帧中提取多尺度时空特征，然后通过时空卷积和自顶向下的特征融合构建时空特征金字塔。解码器从不同尺度对时空特征进行分层解码，并最终从多个视频帧的整合中产生显著图。该模型简单有效，可以实时的运行。实验结果表明，该结构能够显著提高视频显著性检测的精度。在三个纯视觉视频显著性基准和六个音视频显著性基准上的实验结果表明，我们的方法优于现有的最先进的方法。
2021-09-14 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University（北京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
时间一致性对于将图像处理流水线扩展到视频域是至关重要的，这通常通过相邻帧上的基于流的扭曲误差来实施。然而，对于人类视频合成，这种方案是不太可靠的，由于源和目标视频之间的不对准，以及在准确的流量估计的困难。在本文中，我们提出了一种有效的内在时间正则化方案来缓解这些问题，其中通过帧生成器估计内在置信度图，以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径，从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器，从而产生一个强大的“INTERnet”，能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明，建议INTERnet的优越性，在几个竞争力的基线。
2020-12-11 cs.CV
OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer
Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室）
OmniTransfer通过统一框架实现灵活的高保真视频生成，结合多视角和时间线索提升转换性能。
2026-01-20 cs.CV
Seq2Time: Sequential Knowledge Transfer for Video LLM Temporal Grounding
University of Central Florida（中佛罗里达大学）；United Imaging Intelligence（联影智能）；Northwestern University（西北大学）
针对视频大语言模型时间感知受限于长视频标注数据稀缺的问题，提出Seq2Time训练范式，通过图像/片段序列生成时间标注数据并统一时间表示，显著提升了时间定位相关任务性能。
2024-11-25 cs.CV
Learning Joint Spatial-Temporal Transformations for Video Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
高质量的视频修复是一个很有前途但又具有挑战性的任务。现有的方法采用注意力模型，通过从参考帧中搜索缺失的内容来完成一帧，并进一步逐帧完成整个视频。然而，这些方法可能会受到沿着空间和时间维度的不一致的注意力结果的影响，这通常会导致视频中的模糊和时间伪影。在本文中，我们提出了一个联合学习时空Transformer网络（STTN）的视频修复。具体来说，我们同时填补丢失的区域在所有输入帧的自我注意，并建议优化STTN的时空对抗损失。为了显示所提出的模型的优越性，我们进行定量和定性的评价，使用标准的静止掩模和更真实的运动物体掩模。演示视频可在https://github.com/researchmm/STTN上获得。
2020-07-20 cs.CV
Spatial-Temporal Residual Aggregation for High Resolution Video Inpainting
Huawei Technologies（华为技术有限公司）；Jilin University（吉林大学）
最近基于学习的修复算法在去除视频中不需要的对象后完成缺失区域方面取得了令人信服的结果。为了保持帧之间的时间一致性，3D空间和时间操作通常在深度网络中大量使用。然而，这些方法通常受到存储器限制，并且只能处理低分辨率视频。我们提出了STRA-Net，一种新的高分辨率视频修复的时空残差聚合框架。其关键思想是首先学习并在下采样的低分辨率视频上应用空间和时间修复网络。然后，我们通过将学习的空间和时间图像残差（细节）聚合到上采样的修复帧来细化低分辨率结果。定量和定性的评估表明，我们可以产生更多的时间连贯性和视觉吸引力的结果比国家的最先进的方法修复高分辨率视频。
2021-11-05 cs.CV
Video-based Person Re-identification with Spatial and Temporal Memory Networks
Yonsei University（延世大学）
基于视频的人物重新识别（reID）旨在跨多个摄像机检索与查询人物具有相同身份的人物视频。人物视频中的空间和时间干扰因素，例如背景杂波和帧上的部分遮挡，分别使这项任务比基于图像的人物reID更具挑战性。我们观察到，空间干扰始终出现在一个特定的位置，和时间干扰显示几种模式，例如，部分遮挡发生在最初的几个帧中，其中这样的模式提供用于预测要聚焦在哪些帧上的信息线索（即，时间的关注）。在此基础上，我们介绍了一种新的时空记忆网络（STMN）。空间记忆存储在视频帧中频繁出现的空间干扰物的特征，而时间记忆保存针对人视频中的典型时间模式进行优化的注意力。我们利用空间和时间的记忆来细化帧级的人的表示和聚合到一个序列级的人的表示，分别有效地处理空间和时间干扰的人的视频的细化帧级的功能。我们还引入了一个内存扩散损失，防止我们的模型只在内存中处理特定的项目。标准基准测试，包括MARS，DukeMTMC-VideoReID，和LS-VID的实验结果，证明了我们的方法的有效性。
2021-08-20 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation
语义视频分割是各种应用的关键挑战。本文提出了一种名为Noisy-LSTM的新模型，它可以端到端的方式进行训练，使用卷积LSTM（ConvLSTM）来利用视频帧中的时间相干性。我们还提出了一个简单而有效的训练策略，它取代了视频序列中的一帧噪声。该策略破坏了训练期间视频帧中的时间相干性，从而使得ConvLSTM中的时间链接不可靠，这因此可以改进从视频帧的特征提取，以及用作正则化器以避免过拟合，而不需要额外的数据注释或计算成本。实验结果表明，该模型在CityScapes和EndoVis 2018数据集上都能达到最先进的性能。
2020-10-19 cs.CV
Semantic Conditioned Dynamic Modulation for Temporal Sentence Grounding in Videos
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
视频中的时间句子接地旨在检测和定位一个目标视频片段，其语义对应于给定的句子。现有的方法主要通过匹配和对齐句子和候选视频片段之间的语义来解决这个任务，而忽略了句子信息在时间相关和组成视频中描述的内容中起着重要作用的事实。在本文中，我们提出了一种新的语义条件动态调制（SCDM）机制，它依赖于句子的语义来调制时间卷积运算，以更好地相关和组成的句子相关的视频内容随着时间的推移。更重要的是，所提出的SCDM相对于不同的视频内容动态地执行，以便在句子和视频之间建立更精确的匹配关系，从而提高时间接地准确性。在三个公共数据集上进行的广泛实验表明，我们提出的模型优于最先进的模型，具有明显的边缘，说明SCDM能够更好地关联和定位相关视频内容，以实现时间句子基础。本文的代码可以在https://github.com/yytzsy/SCDM上找到。
2019-10-31 cs.CV
Video BagNet: short temporal receptive fields increase robustness in long-term action recognition
Delft University of Technology（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）
针对大时间感受野的3D卷积动作识别模型易因子动作顺序变化性能下降的问题，提出时间感受野受限的Video BagNet模型，实验验证短感受野可提升长期动作识别对子动作顺序变化的鲁棒性。
2023-08-22 cs.CV
Global-Local Temporal Representations For Video Person Re-Identification
Peking University（北京大学）
本文提出了全局-局部时间表示（GLTR），利用视频序列中的多尺度时间线索的视频人的再识别（ReID）。GLTR是通过首先对相邻帧之间的短期时间线索进行建模，然后捕获不连续帧之间的长期关系来构建的。具体地说，短期的时间线索是由不同的时间膨胀率的并行膨胀卷积来表示行人的运动和外观。通过时间自注意模型来捕捉视频序列中的长期关系，以减轻视频序列中的遮挡和噪声。通过简单的单流CNN将短期和长期时间线索聚合为最终的GLTR。GLTR显示出显著的优越性，现有的功能与身体部位线索或度量学习四个广泛使用的视频ReID数据集。例如，它在MARS数据集上实现了87.02%的Rank-1准确率，而无需重新排名，优于当前最先进的技术。
2019-08-27 cs.CV
Video Demoireing with Relation-Based Temporal Consistency
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
当用数码相机拍摄屏幕时，以颜色失真出现的莫尔图案严重降低图像和视频质量。考虑到视频采集需求的不断增长，本文研究了如何去除视频中的莫尔条纹，即视频去噪。为此，我们引入了第一个手持视频demoireing数据集与一个专用的数据汇集管道，以确保空间和时间上的对齐捕获的数据。此外，开发了具有隐式特征空间对齐和选择性特征聚合的基线视频去毛模型，以利用来自附近帧的补充信息来改进帧级视频去毛。更重要的是，我们提出了一个基于关系的时间一致性损失，以鼓励模型直接从地面实况参考视频中学习时间一致性先验，这有助于产生时间一致的预测并有效地保持帧级质量。大量的实验表明了该模型的优越性。代码可在\url{https://daipengwa.github.io/VDmoire_ProjectPage/}上获得。
2022-04-06 cs.CV
Temporal Consistency Loss for High Resolution Textured and Clothed 3DHuman Reconstruction from Monocular Video
University of Surrey（萨里大学）
我们提出了一种新的方法来学习时间上一致的3D重建的衣服的人从单目视频。用于使用体积、隐式或参数化人体形状模型从单目视频进行3D人体重建的最近方法在应用于视频时产生每帧重建，从而给出时间上不一致的输出和有限的性能。在本文中，我们介绍了一种方法来学习时间一致的功能，从单目视频的纹理重建的衣服三维人体序列提出了两个进步：一个新的时间一致性损失函数;和混合表示学习隐式三维重建从二维图像和粗糙的三维几何。所提出的进步提高了时间的一致性和准确性的3D重建和纹理预测从单目视频。对人体图像的综合比较性能评估表明，该方法在重建精度、完整性、质量和时间一致性等方面都明显优于基于学习的单图像三维人体形状估计方法。
2021-04-19 cs.CV
Point-wise mutual information-based video segmentation with high temporal consistency
University of Freiburg（弗赖堡大学）
在本文中，我们解决的问题，时间一致的边界检测和分层分割的视频。虽然找到视频中区域分配的最佳高级推理是最近许多研究的焦点，但边界检测中的时间一致性迄今为止很少得到解决。我们认为，时间上一致的边界是时间上一致的区域分配的关键组成部分。该方法基于时空体素的逐点互信息（PMI）。时间上的一致性是建立在空间和时间上的谱域中基于PMI的点亲和力的评价。因此，所提出的方法独立于任何光流计算或先前学习的运动模型。所提出的低级别视频分割方法在标准区域度量方面优于基于学习的现有技术。
2016-06-08 cs.CV
Can Shuffling Video Benefit Temporal Bias Problem: A Novel Training Framework for Temporal Grounding
Beijing University of Posts and Telecommunications（北京邮电大学）
时间接地的目的是定位一个目标视频时刻，语义上对应于给定的句子查询在一个未修剪的视频。然而，最近的工作发现，现有的方法遭受严重的时间偏差问题。这些方法不基于视觉-文本语义对齐来推理目标时刻位置，而是过度依赖于训练集中查询的时间偏差。为此，本文提出了一种新的训练框架，用于接地模型使用混洗视频来解决时间偏差问题，而不会失去接地精度。我们的框架引入了两个辅助任务，跨模态匹配和时序判别，以促进接地模型训练。跨模态匹配任务利用混洗视频和原始视频之间的内容一致性来迫使基础模型挖掘视觉内容以在语义上匹配查询。时间顺序辨别任务利用时间顺序的差异来加强对长期时间背景的理解。Charades-STA和ActivityNet字幕上的大量实验表明，我们的方法可以有效地减轻对时间偏差的依赖，并增强模型对不同时间分布的泛化能力。代码可在https://github.com/haojc/ShufflingVideosForTSG上获得。
2022-08-05 cs.CV
Boundary-sensitive Pre-training for Temporal Localization in Videos
Samsung AI Centre（三星人工智能中心）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Surrey（萨里大学）
许多视频分析任务需要时间定位，从而检测内容变化。然而，为这些任务开发的大多数现有模型都是在一般视频动作分类任务上进行预训练的。这是因为未修剪视频中的时间边界的大规模注释是昂贵的。因此，不存在用于时间边界敏感的预训练的合适的数据集。在本文中，我们第一次研究模型预训练的时间定位通过引入一种新的边界敏感的借口（BSP）的任务。我们建议在现有的视频动作分类数据集中合成时间边界，而不是依赖昂贵的时间边界手动注释。利用合成的边界，可以通过对边界类型进行分类来简单地进行BSP。这使得能够学习更容易转移到下游时间定位任务的视频表示。大量的实验表明，所提出的BSP是优于和补充现有的动作分类的预训练对手，并实现了新的国家的最先进的性能在几个时间定位任务。
2021-03-26 cs.CV
EvoVid: Temporal-Centric Self-Evolution for Video Large Language Models
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；ByteDance（字节跳动）
本文提出EvoVid，一种以时间为中心的自我进化框架，使视频大语言模型能够直接从未经标注的视频中改进。通过引入两个互补的时间感知奖励，即时间感知的问题生成奖励和时间基础的求解奖励，EvoVid在四个基础模型和六个基准测试中实现了优于基线模型和现有自我进化基线的改进，展示了时间为中心的自我进化在视频理解和推理中的有效性。
2026-05-21 cs.CV
Revisiting Temporal Modeling for Video-based Person ReID
University of Southern California（南加州大学）
基于视频的人reID是一项重要的任务，近年来由于监控和摄像机网络的需求不断增加而备受关注。一个典型的基于视频的人reID系统包括三个部分：一个图像级特征提取器（例如CNN），一个时间建模方法来聚合时间特征和损失函数。虽然已经提出了许多时间建模的方法，但很难直接比较这些方法，因为特征提取器和损失函数的选择也对最终性能有很大的影响。我们全面研究和比较四种不同的时间建模方法（时间池，时间注意力，RNN和3D convnets）的视频为基础的人reID。我们还提出了一个新的注意力生成网络，采用时间卷积提取帧之间的时间信息。评估是在MARS数据集上进行的，我们的方法远远优于最先进的方法。我们的源代码在https://github.com/jiyanggao/Video-Person-ReID上发布。
2018-05-08 cs.CV
VidToMe: Video Token Merging for Zero-Shot Video Editing
Shanghai Jiao Tong University（上海交通大学）；UC Merced（加州大学默塞德分校）
针对零样本视频编辑中时间一致性难保障、内存效率低的问题，提出VidToMe方法，通过跨帧自注意力令牌合并及分块的局部-全局合并策略，提升时间一致性并降低内存消耗，效果优于现有最优方法。
2023-12-19 cs.CV
Modelling Temporal Information Using Discrete Fourier Transform for Video Classification
University of Technology Sydney（悉尼科技大学）
近年来，视频分类吸引了大量的研究工作。然而，大多数现有的工作是基于帧级的视觉特征，这可能无法建模的时间信息，例如，沿时间积累的特性。为了捕捉视频的时间信息，我们提出了在频域分析的离散傅立叶变换（DFT功能）转换的功能。首先通过预训练的深度卷积神经网络（CNN）提取帧级特征。然后，将时域特征变换并插值为DFT特征。通过使用不同的池化方法对CNN和DFT特征进行进一步编码，并将其融合用于视频分类。以这种方式，从预训练的深度CNN提取的静态图像特征和由DFT特征表示的时间信息被联合考虑用于视频分类。我们测试我们的视频情感分类和动作识别的方法。实验结果表明，结合DFT特征可以有效地捕捉时间信息，从而提高视频情感分类和动作识别的性能。我们的方法在最大的视频情感数据集（VideoEmotion-8数据集）上取得了最先进的性能，并在UCF-101上取得了有竞争力的结果。
2016-08-17 cs.CV
Temporal Gaussian Mixture Layer for Videos
Indiana University（印第安纳大学）
我们引入了一个名为时间高斯混合（TGM）层的新卷积层，并介绍了如何使用它来有效地捕获连续活动视频中的长期时间信息。TGM层是由小得多的参数集（例如，位置/高斯的方差）是完全可微的。我们提出了具有多个TGM层的完全卷积视频模型，用于活动检测。在包括Charades和MultiTHUMOS在内的多个数据集上进行的广泛实验证实了TGM层的有效性，其性能明显优于最先进的技术。
2019-08-01 cs.CV
Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
视频描述旨在自动生成视频内容的自然语言描述，近年来引起了广泛的关注。生成精确、细粒度的字幕不仅需要理解视频的全局内容，还需要捕捉对象的详细信息。同时，视频的表示方法对生成的字幕质量有很大的影响。因此，对于视频描述来说，重要的是捕获具有其详细时间动态的显著对象，并且使用有区别的时空表示来表示它们。在本文中，我们提出了一种新的视频描述方法的基础上，对象感知聚合与双向时间图（OA-BTG），捕捉详细的时间动态视频中的显着对象，并学习歧视性的时空表示通过执行对象感知的局部特征聚合检测到的对象区域。主要创新点和优点是：（1）双向时间图：沿着时间顺序构造和扩展双向时间图，这提供了捕获每个显著对象的时间轨迹的互补方式。(2)对象感知聚合：基于对象的时间轨迹和全局帧序列构建可学习的VLAD模型，进行对象感知的聚合以学习判别表示。为了区分多个对象的不同贡献，本文还提出了一种层次化的注意力机制。在两个广泛使用的数据集上的实验表明，我们的OA-BTG在BLEU@4，METEOR和CIDER指标方面达到了最先进的性能。
2019-06-11 cs.CV
TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes
本文提出TUMTraffic-VideoQA数据集与基准，通过基于元组的时空目标表达统一多项选择视频问答、指称目标描述和时空目标定位三项任务，并引入TUMTraffic-Qwen基线模型，为智能交通系统的细粒度时空推理研究提供基础。
2025-02-04 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
针对长视频信息冗余、时空推理难度大的问题，提出零样本长视频理解框架VideoINSTA，通过事件式时间推理、内容式空间推理及自反思信息平衡机制，在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
Seoul National University（首尔国立大学）；Northeastern University（东北大学）
本文提出EvoGround框架，通过两个自进化智能体自学习视频时间定位，无需人工标注数据，在多个基准上表现优异。
2026-10-30 cs.CV
STFCN: Spatio-Temporal FCN for Semantic Video Segmentation
Malek-Ashtar University of Technology（马雷克-阿什塔尔理工大学）；Iran University of Science and Technology（伊朗科技大学）；Auckland University of Technology（奥克兰理工大学）；National Ilan University（国立宜兰大学）
本文提出了一种新的方法，涉及到语义视频分割的空间和时间特征。当前对卷积神经网络（CNN）的研究表明，CNN提供了先进的空间特征，支持图像和视频分析的解决方案的非常好的性能，特别是对于语义分割任务。我们调查如何涉及时间特征也有很好的效果分割视频数据。我们提出了一个基于递归神经网络的长短期记忆（LSTM）架构的模块，用于解释视频帧随时间的时间特性。我们的系统将视频的帧作为输入，并产生相应大小的输出;为了分割视频，我们的方法结合了三个组件的使用：首先，使用CNN提取帧的区域空间特征;然后，使用LSTM添加时间特征;最后，通过对时空特征进行反卷积，我们产生逐像素预测。我们的关键见解是构建时空卷积网络（时空CNN），该网络具有用于语义视频分割的端到端架构。我们完全适应了一些已知的卷积网络架构（如FCN-AlexNet和FCN-VGG 16），并将卷积扩展到我们的时空CNN中。我们的时空CNN实现了最先进的语义分割，如Camvid和NYUDv 2数据集所示。
2016-09-02 cs.CV
