Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究中心）；Microsoft（微软公司）
尽管多模态大语言模型（MLLM）取得了重大进展，但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明，目前的视频大语言模型（Video-LLM）架构在时间理解方面存在严重的局限性，需要详细理解动作序列和时间进程的任务。在这项工作中，我们提出了一个视频LLM架构，直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力，使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明，这种方法显着提高了时间推理，并优于现有的模型在视频问答任务，特别是在动作识别。我们在基准测试方面的改进，包括VITATECS、MVBench和Video-MME，最高可达+5.5%。通过增强具有时间结构的视觉编码器，我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在：www.example.com。
2025-10-29 cs.CV
A Multi-Person Video Dataset Annotation Method of Spatio-Temporally Actions
Chengdu Neusoft Institute Of Information（成都东软学院）
时空行为检测是视频理解中的一个重要且具有挑战性的问题。然而，现有的大规模时空动作数据集在特定领域的应用有限，而且目前还没有公开的时空动作数据集制作工具，研究人员需要花费大量的时间和精力来定制时空动作数据集，因此本文提出了一种多人视频时空动作数据集的标注方法。首先，我们使用ffmpeg对视频进行裁剪和分帧，然后使用yolov5检测视频帧中的人，然后使用深度排序检测视频帧中的人的ID。通过对yolov5的检测结果进行处理和深度排序，得到时空动作数据集的标注文件，完成时空动作数据集的定制工作。https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset
2022-04-25 cs.CV
TimeLogic: A Temporal Logic Benchmark for Video QA
University of Central Florida（中佛罗里达大学）；University of Tuebingen（蒂宾根大学）
针对现有视频问答基准缺乏时序逻辑推理评估的问题，提出可自动生成问答对的TLQA框架，基于4个数据集构建两类规模的基准数据集，并评估了前沿模型在16类时序逻辑任务上的推理能力。
2025-01-13 cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University（上海交通大学SAI实验室）；ByteDance Seed（字节跳动种子）
本文提出UniTime模型，利用生成多模态大语言模型实现通用视频时间定位，有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
视频中的时间线索为准确识别动作提供了重要信息。然而，如果不使用带注释的大规模视频动作数据集进行训练，则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习（VTDL）框架，在自我监督的方式。在没有标记数据进行网络预训练的情况下，通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组，以增强时间特征表示的能力。通过时间导数测量时间信息，时间一致增强（TCA）旨在确保增强的正的时间导数（以任何顺序）是不变的，除了缩放常数。最后，通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征，而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中，所提出的方法显着优于现有的相关工作。令人惊讶的是，当使用小规模视频数据集（只有数千个视频）进行预训练时，所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
G-TAD: Sub-Graph Localization for Temporal Action Detection
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
时间动作检测是视频理解中的一项基本而又具有挑战性的任务。视频上下文是有效检测动作的关键线索，但目前的研究主要集中在时间上下文上，而忽略了语义上下文等重要的上下文属性。在这项工作中，我们提出了一个图卷积网络（GCN）模型，自适应地将多层次的语义背景到视频功能和铸造的时间动作检测作为一个子图定位问题。具体来说，我们制定视频片段作为图节点，片段片段的相关性作为边缘，与上下文相关的动作作为目标子图。以图卷积为基本操作，我们设计了一个名为GCNeXt的GCN块，它通过聚合每个节点的上下文来学习每个节点的特征，并动态更新图中的边。为了定位每个子图，我们还设计了一个SGAlign层，将每个子图嵌入到欧氏空间中。大量的实验表明，G-BLOG能够在没有额外监督的情况下找到有效的视频上下文，并在两个检测基准上实现了最先进的性能。在ActivityNet-1.3上，它获得了34.09%的平均mAP;在THUMOS 14上，当结合提案处理方法时，它在IoU@0.5时达到了51.6%。G-EQUIPMENT代码可在https://github.com/frostinassiky/gtad上公开获得。
2020-04-02 cs.CV
Seq2Time: Sequential Knowledge Transfer for Video LLM Temporal Grounding
University of Central Florida（中佛罗里达大学）；United Imaging Intelligence（联影智能）；Northwestern University（西北大学）
针对视频大语言模型时间感知受限于长视频标注数据稀缺的问题，提出Seq2Time训练范式，通过图像/片段序列生成时间标注数据并统一时间表示，显著提升了时间定位相关任务性能。
2024-11-25 cs.CV
Semantic Conditioned Dynamic Modulation for Temporal Sentence Grounding in Videos
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
视频中的时间句子接地旨在检测和定位一个目标视频片段，其语义对应于给定的句子。现有的方法主要通过匹配和对齐句子和候选视频片段之间的语义来解决这个任务，而忽略了句子信息在时间相关和组成视频中描述的内容中起着重要作用的事实。在本文中，我们提出了一种新的语义条件动态调制（SCDM）机制，它依赖于句子的语义来调制时间卷积运算，以更好地相关和组成的句子相关的视频内容随着时间的推移。更重要的是，所提出的SCDM相对于不同的视频内容动态地执行，以便在句子和视频之间建立更精确的匹配关系，从而提高时间接地准确性。在三个公共数据集上进行的广泛实验表明，我们提出的模型优于最先进的模型，具有明显的边缘，说明SCDM能够更好地关联和定位相关视频内容，以实现时间句子基础。本文的代码可以在https://github.com/yytzsy/SCDM上找到。
2019-10-31 cs.CV
Video BagNet: short temporal receptive fields increase robustness in long-term action recognition
Delft University of Technology（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）
针对大时间感受野的3D卷积动作识别模型易因子动作顺序变化性能下降的问题，提出时间感受野受限的Video BagNet模型，实验验证短感受野可提升长期动作识别对子动作顺序变化的鲁棒性。
2023-08-22 cs.CV
Video-ReTime: Learning Temporally Varying Speediness for Time Remapping
Adobe Research（Adobe研究院）
我们提出了一种方法，用于生成时间上重新映射的视频，匹配所需的目标持续时间，同时最大限度地保留自然的视频动态。我们的方法通过自我监督来训练神经网络，以识别并准确定位视频播放速度的时间变化。为了重新定时视频，我们1.使用所述模型来推断各个视频帧的慢度，以及2.优化时间帧子采样以与模型的慢度预测一致。我们证明，该模型可以更准确地检测回放速度的变化，同时也比以前的方法更有效的数量级。此外，我们提出了一种优化的视频重新定时，使目标持续时间的精确控制，并执行更强大的较长的视频比以前的方法。我们通过人工加速视频定量评估模型，通过转移到动作识别，并通过用户研究定性。
2022-05-11 cs.CV
Can Shuffling Video Benefit Temporal Bias Problem: A Novel Training Framework for Temporal Grounding
Beijing University of Posts and Telecommunications（北京邮电大学）
时间接地的目的是定位一个目标视频时刻，语义上对应于给定的句子查询在一个未修剪的视频。然而，最近的工作发现，现有的方法遭受严重的时间偏差问题。这些方法不基于视觉-文本语义对齐来推理目标时刻位置，而是过度依赖于训练集中查询的时间偏差。为此，本文提出了一种新的训练框架，用于接地模型使用混洗视频来解决时间偏差问题，而不会失去接地精度。我们的框架引入了两个辅助任务，跨模态匹配和时序判别，以促进接地模型训练。跨模态匹配任务利用混洗视频和原始视频之间的内容一致性来迫使基础模型挖掘视觉内容以在语义上匹配查询。时间顺序辨别任务利用时间顺序的差异来加强对长期时间背景的理解。Charades-STA和ActivityNet字幕上的大量实验表明，我们的方法可以有效地减轻对时间偏差的依赖，并增强模型对不同时间分布的泛化能力。代码可在https://github.com/haojc/ShufflingVideosForTSG上获得。
2022-08-05 cs.CV
Temporal Action Proposal Generation with Background Constraint
Baidu Inc（百度公司）
时间动作建议生成（TAPG）是一项具有挑战性的任务，旨在定位未修剪的视频与时间边界的动作实例。为了评估提案的置信度，现有的工作通常预测提案的动作得分，这些提案由提案和地面事实之间的时间交集（tIoU）监督。在本文中，我们创新性地提出了一个通用的辅助背景约束的思想，以进一步抑制低质量的建议，利用背景预测得分来限制建议的信心。以这种方式，背景约束概念可以容易地即插即用到现有的TAPG方法中（例如，BMN，Gynthia）。从这个角度出发，我们提出了背景约束网络（BCNet），以进一步利用丰富的信息的行动和背景。具体来说，我们引入了一个可靠的置信度评估，模型之间的不一致性动作和背景的注意力机制在帧和剪辑水平的背景交互模块。广泛的实验进行了两个流行的基准，即，ActivityNet-1.3和THUMOS 14。结果表明，我们的方法优于最先进的方法。配备现有的动作分类器，我们的方法也取得了显着的性能上的时间动作定位任务。
2021-12-15 cs.CV
EvoVid: Temporal-Centric Self-Evolution for Video Large Language Models
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；ByteDance（字节跳动）
本文提出EvoVid，一种以时间为中心的自我进化框架，使视频大语言模型能够直接从未经标注的视频中改进。通过引入两个互补的时间感知奖励，即时间感知的问题生成奖励和时间基础的求解奖励，EvoVid在四个基础模型和六个基准测试中实现了优于基线模型和现有自我进化基线的改进，展示了时间为中心的自我进化在视频理解和推理中的有效性。
2026-05-21 cs.CV
Modelling Temporal Information Using Discrete Fourier Transform for Video Classification
University of Technology Sydney（悉尼科技大学）
近年来，视频分类吸引了大量的研究工作。然而，大多数现有的工作是基于帧级的视觉特征，这可能无法建模的时间信息，例如，沿时间积累的特性。为了捕捉视频的时间信息，我们提出了在频域分析的离散傅立叶变换（DFT功能）转换的功能。首先通过预训练的深度卷积神经网络（CNN）提取帧级特征。然后，将时域特征变换并插值为DFT特征。通过使用不同的池化方法对CNN和DFT特征进行进一步编码，并将其融合用于视频分类。以这种方式，从预训练的深度CNN提取的静态图像特征和由DFT特征表示的时间信息被联合考虑用于视频分类。我们测试我们的视频情感分类和动作识别的方法。实验结果表明，结合DFT特征可以有效地捕捉时间信息，从而提高视频情感分类和动作识别的性能。我们的方法在最大的视频情感数据集（VideoEmotion-8数据集）上取得了最先进的性能，并在UCF-101上取得了有竞争力的结果。
2016-08-17 cs.CV
TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes
本文提出TUMTraffic-VideoQA数据集与基准，通过基于元组的时空目标表达统一多项选择视频问答、指称目标描述和时空目标定位三项任务，并引入TUMTraffic-Qwen基线模型，为智能交通系统的细粒度时空推理研究提供基础。
2025-02-04 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
针对长视频信息冗余、时空推理难度大的问题，提出零样本长视频理解框架VideoINSTA，通过事件式时间推理、内容式空间推理及自反思信息平衡机制，在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
Seoul National University（首尔国立大学）；Northeastern University（东北大学）
本文提出EvoGround框架，通过两个自进化智能体自学习视频时间定位，无需人工标注数据，在多个基准上表现优异。
2026-10-30 cs.CV
Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding
Meta AI
本文提出基于核时序分割的自适应长视频采样与分词方法，替代均匀采样，在视频分类和时序动作定位任务上取得一致提升并达到最先进性能。
2023-09-20 cs.CV
Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding
Qwen3-VL-8B-Instruct
本文提出了一种新的视频时间接地框架F2G，通过将时间接地问题重新表述为可验证的识别-测量问题，结合预测性时间感知和证据驱动推理，以提高时间接地的准确性和鲁棒性。
2026-05-21 cs.CV
TSP: Temporally-Sensitive Pretraining of Video Encoders for Localization Tasks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
由于未修剪视频的大内存占用，当前最先进的视频定位方法在预先计算的视频剪辑特征之上操作。这些特征是从视频编码器中提取的，通常针对修剪动作分类任务进行训练，使得这些特征不一定适合时间定位。在这项工作中，我们提出了一种新的监督预训练范式的剪辑功能，不仅训练分类活动，但也考虑背景剪辑和全球视频信息，以提高时间敏感性。大量的实验表明，使用我们新的预训练策略训练的特征显着提高了最近最先进的方法在三个任务上的性能：时间动作定位，动作建议生成和密集视频描述。我们还表明，我们的预训练方法在三种编码器架构和两个预训练数据集上都是有效的。我们认为视频特征编码是定位算法的重要组成部分，提取时间敏感的特征在构建更准确的模型时应该是至关重要的。代码和预训练模型可在我们的项目网站上获得。
2021-08-17 cs.CV
HieraMamba: Video Temporal Grounding via Hierarchical Anchor-Mamba Pooling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
HieraMamba通过分层锚点-Mamba池化结构，在长视频中实现精确的时间定位，解决了视频时间接地中的全局上下文与细粒度时间细节捕捉难题。
2026-03-31 cs.CV
VideoMamba: Spatio-Temporal Selective State Space Model
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出专为视频识别设计的VideoMamba架构，基于Mamba的线性复杂度和选择性SSM机制，通过时空前向与后向SSM捕捉视频时空信息复杂关系，兼具资源效率与长距离依赖捕捉能力，在多个视频理解基准上表现优异，为视频分析研究提供新基线。
2024-07-11 cs.CV
T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding
South China University of Technology（南方科技大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室）；Bytedance Inc（字节跳动公司）
T2SGrid通过将视频时间理解转化为空间理解任务，利用网格化技术提升视频时间定位的性能。
2026-03-07 cs.CV
Uncovering Temporal Context for Video Question and Answering
University of Technology Sydney（悉尼科技大学）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们引入视频问答在时间域推断过去，描述现在和预测未来。我们提出了一种使用递归神经网络来学习视频时间结构的编码器-解码器方法，并引入了双通道排名损失来回答多项选择题。我们使用“填空”的问题形式探索了更好地理解视频内容的方法，并设法从TACoS，MPII-MD，MEDTest 14数据集收集了109，895个持续时间超过1，000小时的视频片段，而相应的390，744个问题则由注释生成。大量的实验表明，我们的方法显着优于比较基线。
2015-11-15 cs.CV
Temporal Modeling Approaches for Large-scale Youtube-8M Video Understanding
Baidu IDL（百度深度学习实验室）；Tsinghua University（清华大学）
本文介绍了我们的解决方案的视频识别任务的谷歌云和YouTube-8 M视频理解挑战赛，排名第三位。由于挑战提供了预提取的视觉和音频特征，而不是原始视频，我们主要研究各种时间建模方法来聚合多标签视频识别的帧级特征。我们的系统包含三个主要部分：双流序列模型，快进序列模型和时间残差神经网络。在具有挑战性的Youtube-8 M数据集上的实验结果表明，我们提出的时间建模方法可以显着改善现有的时间建模方法在大规模视频识别任务。值得注意的是，我们的7层快进LSTM在Kaggle公共测试集上的GAP@20达到了82.75%。
2017-07-14 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
ATM: Action Temporality Modeling for Video Question Answering
Michigan State University（密歇根州立大学）
针对视频问答中时间推理不足的问题，提出ATM方法，通过光流、动作中心对比学习及防打乱视频训练三重机制提升时间性推理，并在多个基准上超越现有方法。
2023-09-05 cs.CV
Dr.V: A Hierarchical Perception-Temporal-Cognition Framework to Diagnose Video Hallucination by Fine-grained Spatial-Temporal Grounding
NUS（新加坡国立大学）；UTD（德克萨斯大学达拉斯分校）；WHU（武汉大学）；HKUST（香港科技大学）；NJU（南京大学）；Monash（莫纳什大学）；UCSB（加州大学圣塔芭芭拉分校）
提出层次化框架Dr.V，通过Dr.V-Bench基准和Dr.V-Agent智能体，利用细粒度时空定位与认知推理诊断大型视频模型的幻觉，提升可解释性与可靠性。
2025-09-15 cs.CV
VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning
Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai Innovation Institute（上海创新研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）
本文针对视频理解的长程时间关联等挑战，提出通过强化微调（RFT）将时空特定奖励整合到多模态大语言模型中，开发出VideoChat-R1，在时间定位等任务上显著提升，为真实世界视频理解智能体奠定基础。
2025-11-11 cs.CV
Learning Transferable Temporal Primitives for Video Reasoning via Synthetic Videos
Zhejiang University（浙江大学）；Qwen Team, Alibaba Group（通义实验室，阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
本文提出SynRL框架，通过合成视频训练模型的时间原语，提升视频推理能力，在15个基准测试中取得显著成效，合成数据在复杂场景中表现优于真实数据。
2026-03-18 cs.CV
Video Flow as Time Series: Discovering Temporal Consistency and Variability for VideoQA
Hefei University of Technology, Hefei, China（合肥工业大学）；University of Science and Technology of China, Hefei, China（中国科学技术大学）
本文提出时间三元Transformer（T3T）架构，通过时间平滑、时间差分和时间融合模块分别建模视频的时间一致性与可变性，在多个VideoQA基准上提升了问答准确率。
2025-04-08 cs.AI cs.CV
TimeMarker: A Versatile Video-LLM for Long and Short Video Understanding with Superior Temporal Localization Ability
Meituan Inc.（美团公司）
针对现有视频-语言模型忽视精确时间定位、难以处理不同长度视频的问题，提出集成时间分隔符标记和AnyLength机制的TimeMarker，在多个基准上实现最先进性能，长短视频理解均表现出色。
2024-11-27 cs.AI cs.CV
Localizing Moments in Video with Temporal Language
UC Berkeley（加州大学伯克利分校）；Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）
在语言和视频理解的交叉点上，通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务，如图像中的自然语言对象检索，但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型，明确的原因在视频中的不同的时间段，并表明，时间上下文是重要的本地化短语，其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言，我们收集了新的TEMPoral推理视频和语言（TEMPO）数据集。我们的数据集由两部分组成：一个是包含真实视频和模板句子的数据集（TEMPO -模板语言），它允许对时间语言进行受控研究，另一个是由人类注释的时间句子组成的人类语言数据集（TEMPO -人类语言）。
2018-09-05 cs.CL cs.CV
Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models
University of California, Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；The Chinese University of Hong Kong（香港中文大学）；NVIDIA；Adobe Research（Adobe研究）；Fudan University（复旦大学）；Meta AI
本文提出 Grounded-VideoLLM，通过额外时序流和离散时序 token 增强时间建模与时间戳表示，并采用多阶段训练及自动标注的 grounded VideoQA 数据集，显著提升视频大语言模型的细粒度时序定位能力。
2025-08-21 cs.AI cs.CV
Learning Fine-Grained Visual Understanding for Video Question Answering via Decoupling Spatial-Temporal Modeling
National Taiwan University（台湾大学）；Mobile Drive Technology（Mobile Drive科技公司）
虽然最近的大规模视频语言预训练在视频问答中取得了很大进展，但视频语言模型的空间建模的设计不如图像语言模型的设计细粒度;现有的时间建模实践也遭受模态之间的弱对齐和噪声对齐。为了学习细粒度的视觉理解，我们解耦时空建模，并提出了一个混合管道，解耦时空编码器，集成了图像和视频语言编码器。前者编码的空间语义从较大的，但稀疏采样帧独立于时间，而后者模型的时间动态在较低的空间，但较高的时间分辨率。为了帮助视频-语言模型学习视频QA的时间关系，我们提出了一种新的预训练目标，时间参考建模，它要求模型识别视频序列中事件的时间位置。大量的实验表明，我们的模型优于以前在数量级更大的数据集上预训练的工作。
2022-10-08 cs.CL cs.CV
Temporal Perceiving Video-Language Pre-training
ByteDance Inc.（字节跳动公司）；Zhejiang University（浙江大学）
视频语言预训练模型最近显着改善了各种多模态下游任务。以往的主流工作主要采用对比学习来实现跨模态的全局特征对齐。然而，视频和文本之间的局部关联没有被建模，限制了预训练模型的通用性，特别是对于某些查询文本需要时间视频边界的任务。这项工作引入了一种新的文本-视频本地化预文本任务，以实现细粒度的时间和语义对齐，使得经过训练的模型可以在给定文本描述的情况下准确地感知视频中的时间边界。具体而言，文本视频定位包括时刻检索，它预测给定文本描述的视频中的开始和结束边界，以及文本定位，它将文本的子集与视频特征相匹配。为了产生时间边界，几个视频中的帧特征被手动合并成与文本序列交互的长视频序列。在定位任务中，我们的方法将细粒度的框架表示与单词表示连接起来，并隐式地区分单个模态中不同实例的表示。值得注意的是，综合实验结果表明，我们的方法显着提高了各种基准的最先进的性能，包括文本到视频检索，视频问答，视频描述，时间动作定位和时间矩检索。代码将很快发布。
2023-01-18 cs.AI cs.CV
VidCompress: Memory-Enhanced Temporal Compression for Video Understanding in Large Language Models
Meituan Inc.（美团公司）
针对Video-LLMs视频帧时空交互不足及长视频处理受限问题，提出VidCompress模型，通过记忆增强与文本感知双压缩器实现时间压缩，有效建模时空关系并显著提升性能。
2024-10-15 cs.CV cs.MM
VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding
Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）；Harbin Engineering University（哈尔滨工程大学）
针对视频时间定位中智能体框架手动优化困难的问题，提出VideoEvolve框架，通过完形填空式表示和分支引导演化自动改进框架，实验证明其有效提升多个基准上的定位性能。
2026-10-02 cs.AI cs.CV
TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition
University of Central Florida（中佛罗里达大学）
与图像相比，半监督学习更有利于视频领域，因为它具有更高的注释成本和维度。此外，任何视频理解任务都需要在空间和时间维度上进行推理。为了学习半监督动作识别任务的静态和运动相关特征，现有方法依赖于硬输入感应偏差，例如使用两种模态（RGB和光流）或不同回放速率的两个流。我们没有通过不同的输入流使用未标记的视频，而是依赖于自监督视频表示，特别是，我们使用时间不变和时间独特的表示。我们观察到，这些表征根据动作的性质而相互补充。基于这一观察，我们提出了一个学生-教师半监督学习框架TimeBalance，在这个框架中，我们从一个时间不变的和一个时间不同的教师中提取知识。根据未标记的视频的性质，我们动态地结合这两个教师的知识的基础上，一种新的基于时间相似性的重新加权方案。我们的方法在三个动作识别基准测试中达到了最先进的性能：UCF 101，HMDB 51和Kinetics 400。代码：https://github.com/DAVEISHAN/TimeBalance
2023-03-28 cs.CV cs.LG
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
The Hong Kong Polytechnic Univ（香港理工大学）；Nanjing Univ（南京大学）；NVIDIA（NVIDIA公司）；Harvard Univ（哈佛大学）
VideoITG通过设计VidThinker流水线，自动生成指令条件化描述，检索相关视频片段并选择关键帧，提升多模态视频理解任务的性能。
2026-03-17 cs.AI cs.CV
Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding
针对未修剪音视频时间标注数据缺乏的问题，提出基于VALOR构建大规模伪未修剪数据集PU-VALOR，并微调多模态LLM得到AVicuna，实现音视频事件时间定位与时间感知对话，达到SOTA性能。
2025-10-08 cs.AI cs.CV
ChatVTG: Video Temporal Grounding via Chat with Video Dialogue Large Language Models
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Horace Mann School（霍勒斯·曼学校）
提出ChatVTG方法，利用视频对话大语言模型生成多粒度描述并匹配查询，实现零样本视频时序定位，通过时刻细化提升精度，在多个数据集上超越现有零样本方法。
2024-10-01 cs.CV cs.MM
Video Action Recognition Using spatio-temporal optical flow video frames
Kapital Bank（资本银行）；Khazar University（哈扎尔大学）；Consumer Experience Tribe（消费者体验部落）；Lumos Extension（Lumos扩展）；School of Data（数据学院）
基于视频的人体动作识别是近年来计算机视觉研究的热点之一。该领域有许多应用，如监控，机器人，医疗保健，视频搜索和人机交互。在视频中识别人的动作存在许多问题，例如背景杂乱、障碍物、视点变化、执行速度和摄像机移动。已经提出了大量的方法来解决这些问题。本文重点研究了使用深度神经网络进行视频分类的空间和时间模式识别。该模型将RGB图像和光流作为输入数据，并输出动作类编号。最终的识别准确率约为94%。
2021-02-05 cs.AI cs.CV
LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling
Peking University（北京大学）；The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近的大规模视频语言预训练模型在各种下游任务上表现出了吸引人的性能。然而，由于需要数百万个视频-文本对和每个视频的冗余数据结构，预训练过程在计算上是昂贵的。为了缓解这些问题，我们提出了LiteVL，它将预训练的图像-语言模型BLIP直接适应下游任务的视频-文本模型，而无需进行大量的预训练。为了增强图像-语言模型中时间模型的不足，我们提出在具有动态时间缩放的BLIP图像编码器中加入时间注意模块。除了模型自适应之外，我们还提出了一种非参数池机制来自适应地重新加权以文本为条件的细粒度视频嵌入。文本视频检索和视频问答的实验结果表明，所提出的LiteVL甚至优于以前的视频语言预训练模型的明显优势，虽然没有任何视频语言预训练。
2022-10-21 cs.CL cs.CV
Playing for 3D Human Recovery
S-Lab, Nanyang Technological University（南洋理工大学S-Lab实验室）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出利用GTA-V游戏引擎构建大规模多姿态3D人体数据集GTA-Human，并系统验证其在姿态形状估计、数据混合、规模效应、强监督标签及大模型训练中的价值。
2024-09-08 cs.CV
VistaDPO: Video Hierarchical Spatial-Temporal Direct Preference Optimization for Large Video Models
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Nanyang Technological University（南洋理工大学）
针对大型视频模型（LVMs）的人类直觉对齐问题与视频幻觉，提出VistaDPO分层时空直接偏好优化框架，通过实例、时间、感知三级对齐，并构建VistaDPO-7k数据集，显著提升LVMs性能并缓解相关问题。
2025-04-17 cs.CV cs.LG
Time Is MattEr: Temporal Self-supervision for Video Transformers
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
了解视频的时间动态是学习更好的视频表示的一个重要方面。最近，基于变压器的架构设计已被广泛探索的视频任务，由于他们的能力，以捕捉长期依赖的输入序列。然而，我们发现，这些视频Transformers仍然偏向于学习空间动态，而不是时间的，和去偏的虚假相关性是至关重要的，他们的性能。基于观察结果，我们为视频模型设计了简单而有效的自监督任务，以更好地学习时间动态。具体来说，为了消除空间偏差，我们的方法学习视频帧的时间顺序作为额外的自我监督，并强制随机混洗帧具有低置信度输出。此外，我们的方法学习连续帧之间的视频令牌的时间流向，以增强对时间动态的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频Transformers的兼容性。
2022-07-19 cs.AI cs.CV cs.LG
EVOQUER: Enhancing Temporal Grounding with Video-Pivoted BackQuery Generation
Pennsylvania State University（宾夕法尼亚州立大学）；Kwai Inc（快手）
时间基础旨在预测对应于自然语言查询输入的视频剪辑的时间间隔。在这项工作中，我们提出了EVOQUER，一个时间接地框架，将现有的文本到视频接地模型和视频辅助查询生成网络。给定查询和未修剪的视频，时间基础模型预测目标间隔，并且通过生成输入查询的简化版本将预测的视频剪辑馈送到视频翻译任务中。EVOQUER通过将来自时间基础和查询生成的损失函数作为反馈来形成闭环学习。我们在两个广泛使用的数据集Charades-STA和ActivityNet上的实验表明，EVOQUER在R@0.7时实现了1.05和1.31的改进。我们还讨论了查询生成任务如何通过解释时间接地模型行为来促进错误分析。
2021-09-10 cs.AI cs.CL cs.CV
VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Shanda AI Research Institute（盛大多智研究院）
本文提出VideoRefer Suite，通过构建高质量对象级视频数据集、设计时空对象编码器模型及综合基准，显著提升视频大语言模型的细粒度时空对象理解与推理能力。
2025-03-25 cs.AI cs.CV cs.LG
BiST: Bi-directional Spatio-Temporal Reasoning for Video-Grounded Dialogues
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
基于视频的对话是非常具有挑战性的，这是由于（i）包含空间和时间变化的视频的复杂性，以及（ii）在多个对话回合中查询视频中的不同片段和/或不同对象的用户话语的复杂性。然而，现有的视频对话方法往往集中在表面的时间层次的视觉线索，但忽略了更细粒度的空间信号从视频。为了解决这个缺点，我们提出了双向时空学习（BiST），这是一种基于文本线索的视频高分辨率查询的视觉语言神经框架。具体来说，我们的方法不仅利用空间和时间级别的信息，但也学习动态信息扩散之间的两个特征空间，通过空间到时间和时间到空间的推理。双向策略的目的是解决不断变化的语义用户查询的对话设置。检索到的视觉线索被用作上下文信息来构造对用户的相关响应。我们的实证结果和全面的定性分析表明，BiST实现了有竞争力的性能，并产生合理的反应，在一个大规模的AVSD基准。我们还调整我们的BiST模型的视频QA设置，并大大优于以前的方法在TGIF-QA基准。
2020-10-20 cs.CL cs.CV cs.LG
Enhancing Temporal Modeling of Video LLMs via Time Gating
The Chinese University of Hong Kong（香港中文大学）
针对现有视频大语言模型忽略时序信息、时序理解能力不足的问题，提出带时间门控模块的TG-Vid模型，通过门控空间/时序注意力及门控MLP增强时序建模，在多个时序敏感基准上性能显著优于现有模型。
2024-10-08 cs.AI cs.CL cs.CV
Temporal Preference Optimization for Long-Form Video Understanding
Stanford University（斯坦福大学）
针对现有视频多模态大模型长视频时间定位能力不足的问题，提出时间偏好优化框架，通过双粒度偏好自训练增强时间理解，在多个基准上验证了有效性，实现了7B模型的性能领先。
2025-09-01 cs.AI cs.CL cs.CV
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）
SEASON通过自诊断对比解码方法，无需训练即可提升视频大语言模型在时间信息处理上的准确性与可靠性。
2025-12-04 cs.AI cs.CL cs.CV
Gated Temporal Diffusion for Stochastic Long-Term Dense Anticipation
University of Bonn（波恩大学）；Birzeit University（比尔宰特大学）；Toyota Motor Europe（丰田汽车欧洲公司）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究院）
本文提出门控时间扩散网络（GTD），通过门控预测网络（GTAN）联合建模观测与未来不确定性，在多个数据集上实现随机和确定性设置下的最先进性能。
2024-07-16 cs.CV
