Spotlight: Identifying and Localizing Video Generation Errors Using VLMs
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute of AI（向量人工智能研究所）；The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
Spotlight任务通过定位和解释视频生成错误，揭示VLMs在错误识别和定位上的不足，并提出改进策略以提升性能。
2025-11-22 cs.CV
Localizing Adverts in Outdoor Scenes
Trinity College Dublin（都柏林圣三一学院）；The ADAPT SFI Research Centre（ADAPT SFI研究中心）；Huawei Ireland Research Center（华为爱尔兰研究中心）
在线视频在过去十年中经历了前所未有的增长，这是由于广泛的内容创作。这为广告和营销机构提供了大量的有针对性的广告机会。这样的技术涉及用新广告替换视频帧中的现有广告。然而，在线视频的这种后处理大多由视频编辑器手动完成。这既麻烦又耗时。在本文中，我们提出了DeepAds --一种基于简单编码器-解码器架构的深度神经网络，可以准确定位广告在视频帧中的位置。我们使用神经网络在户外场景中定位广告牌的方法，是同类中的第一个，并取得了最好的性能。我们基准我们提出的方法与其他语义分割算法，在一个公共数据集的户外场景与手动注释的广告牌二进制地图。
2019-05-06 cs.CV
Localizing Anomalies from Weakly-Labeled Videos
Nanjing University of Science and Technology（南京理工大学）
视频级标签下的视频异常检测目前是一项具有挑战性的任务。以往的工作在判别视频序列是否含有异常方面取得了一定的进展。然而，他们中的大多数未能准确地定位视频中的异常事件在时间域。在本文中，我们提出了一种弱监督异常定位（WSAL）方法，专注于在时间上定位异常视频中的异常片段。受异常视频中外观差异的启发，评估相邻时间段的演变以定位异常段。为此，提出了一种高阶上下文编码模型，不仅可以提取语义表示，而且可以测量动态变化，以便有效地利用时间上下文。此外，为了充分利用空间上下文信息，直接从段表示中导出即时语义。动态变化以及即时语义，有效地聚合，以获得最终的异常分数。针对异常检测中噪声干扰和定位指导缺失的问题，提出了一种增强策略。此外，为了满足异常检测基准的多样性要求，我们还收集了一个新的流量异常数据集，该数据集指定了流量条件，与当前流行的异常检测评估基准有很大不同，我们进行了大量的实验来验证不同组件的有效性，我们提出的方法在UCF-Crime和流量异常数据集上实现了新的最先进的性能。
2021-04-14 cs.CV
Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
Konkuk University（韩国康 kuk 大学）；Sejong University（世宗大学）；KAIST（韩国科学技术院）
本文提出角色特定查询与重叠抑制损失，用于解决密集视频描述中的多任务干扰和时间冗余问题，通过分离定位与描述任务并增强语义一致性，提升描述精度。
2026-03-12 cs.CV
Localizing Actions from Video Labels and Pseudo-Annotations
University of Amsterdam（阿姆斯特丹大学）；Columbia University（哥伦比亚大学）
本文的目标是确定视频中的动作的时空位置。在从难以获得的框注释进行训练是常态的情况下，我们提出了一种直观有效的算法，该算法仅从其类标签中定位动作。我们受到最近工作的启发，这些工作表明，使用人类点监督选择的无监督行动建议执行以及使用昂贵的框注释。而不是要求用户提供点监督，我们提出了全自动的视觉提示，取代手动点注释。我们称之为线索伪注释，介绍其中五个，并提出了一个自动选择和组合它们的相关性度量。对具有挑战性的动作定位数据集的彻底评估表明，我们达到了与全框监督结果相当的结果。我们还表明，在测试过程中可以利用伪注释来改进弱监督和强监督定位器。
2017-07-28 cs.CV
Objects2action: Classifying and localizing actions without any video example
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Qualcomm Research Netherlands（高通荷兰研究院）
本文的目标是在不需要例子的情况下识别视频中的动作。与传统的zero-shot方法不同，我们不需要属性分类器和类到属性映射的设计和规范，以允许从可见类到不可见类的转移。我们的主要贡献是objects 2action，一个语义词嵌入，由数千个对象类别的skip-gram模型跨越。基于动作和对象亲和度的凸组合，将动作标签分配给未见过视频的对象编码。我们的语义嵌入有三个主要特点，以适应具体的行动。首先，我们提出了一种机制，利用多词描述的行动和对象。其次，我们结合了每个动作最响应对象的自动选择。最后，我们展示了如何扩展我们的zero-shot方法的时空定位的行动在视频中。四个动作数据集上的实验证明了我们的方法的潜力。
2015-10-23 cs.CV
Localizing Moments in Video with Temporal Language
UC Berkeley（加州大学伯克利分校）；Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）
在语言和视频理解的交叉点上，通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务，如图像中的自然语言对象检索，但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型，明确的原因在视频中的不同的时间段，并表明，时间上下文是重要的本地化短语，其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言，我们收集了新的TEMPoral推理视频和语言（TEMPO）数据集。我们的数据集由两部分组成：一个是包含真实视频和模板句子的数据集（TEMPO -模板语言），它允许对时间语言进行受控研究，另一个是由人类注释的时间句子组成的人类语言数据集（TEMPO -人类语言）。
2018-09-05 cs.CL cs.CV
Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval
Sungkyunkwan University（成均馆大学）
研究零样本视频时刻检索中模态和语言风格差距问题，提出基于自相似性的时刻提议和评分方法及查询感知的多模态大语言模型推理阶段，有效缓解差距，在相关基准测试中达最优性能。
2026-07-22 cs.CV
Object Priors for Classifying and Localizing Unseen Actions
Universiteit van Amsterdam（阿姆斯特丹大学）
这项工作致力于视频中人类动作的分类和定位，而不需要任何标记的视频训练样本。现有的工作依赖于从可见的动作视频中转移全局属性或对象信息，我们试图从基于图像的对象信息中对视频中的不可见动作进行分类和时空定位。我们提出了三个空间对象先验，编码本地的人和对象检测器以及它们的空间关系。在上面，我们引入了三个语义对象先验，通过词嵌入扩展语义匹配，三个简单的功能，解决语义歧义，对象歧视和对象命名。视频嵌入结合了空间和语义对象先验。它使我们能够引入一个新的视频检索任务，检索动作管在视频集合的基础上用户指定的对象，空间关系，和对象的大小。五个动作数据集上的实验评估显示了空间和语义对象先验对看不见的动作的重要性。我们发现，人和物体有更好的空间关系，有利于看不见的动作定位，而使用多种语言和简单的对象过滤直接提高语义匹配，导致国家的最先进的结果看不见的动作分类和定位。
2021-04-10 cs.CV
ActivityForensics: A Comprehensive Benchmark for Localizing Manipulated Activity in Videos
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算机与人工智能学院）；Jiangxi Provincial Key Laboratory of Multimedia Intelligent Processing（江西省多媒体智能处理重点实验室）；Faculty of Engineering, Shenzhen MSU-BIT University（深圳北理莫斯科大学工程系）；VinUniversity
本文提出ActivityForensics基准，用于定位视频中被篡改的活动。该基准包含6000多个无缝融合的篡改视频片段，并引入了Temporal Artifact Diffuser方法，评估了多种最先进的伪造定位器。
2026-04-04 cs.CV
Span-based Localizing Network for Natural Language Video Localization
Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Institute for Infocomm Research, A*STAR（A*STAR资讯通信研究所）
自然语言视频定位是在给定的视频和文本查询的情况下，从视频中找到与查询语义对应的匹配跨度。现有的解决方案将NLVL制定为排名任务并应用多模态匹配架构，或者制定为回归任务以直接回归目标视频跨度。在这项工作中，我们解决NLVL任务与跨度为基础的QA方法，将输入视频作为文本通道。我们提出了一个视频跨度本地化网络（VSLNet），在标准的跨度为基础的QA框架，以解决NLVL。拟议的VSLNet解决NLVL和跨度为基础的QA之间的差异，通过一个简单而有效的查询引导突出显示（QGH）的战略。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。通过在三个基准数据集上的大量实验，我们表明，所提出的VSLNet优于最先进的方法;采用基于跨度的QA框架是解决NLVL的一个有前途的方向。
2020-06-14 cs.CL cs.CV
Localizing Events in Videos with Multimodal Queries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
针对现有视频事件定位仅依赖自然语言查询的局限，本文提出ICQ基准及ICQ-Highlight数据集，并设计多模态查询适应方法与伪多模态查询代理微调策略，系统评测12个模型，验证了多模态查询的实用价值。
2024-11-21 cs.AI cs.CV
Context-aware Biaffine Localizing Network for Temporal Sentence Grounding
Huazhong University of Science and Technology（华中科技大学）；Zhejiang Gongshang University（浙江工商大学）；Microsoft AI（微软人工智能）；Dalian University of Technology（大连理工大学）；Huawei Cloud（华为云）
本文提出了时间句子接地（TSG）的问题，它的目的是确定一个特定的时间边界的一段未修剪的视频句子查询。以前的工作要么比较预定义的候选段与查询，并选择最好的一个排名，或直接回归的目标段的边界时间戳。在本文中，我们提出了一种新的本地化框架，得分的开始和结束索引的视频中的所有对同时与biaffine机制。特别是，我们提出了一个上下文感知的双仿射本地化网络（CBLN），它将本地和全球的背景到每个开始/结束位置的功能，基于双仿射的本地化。来自相邻帧的局部上下文有助于区分视觉上相似的外观，并且来自整个视频的全局上下文有助于推理时间关系。此外，我们还开发了一个多模态的自我注意模块，以提供细粒度的查询引导的视频表示这种biaffine策略。大量的实验表明，我们的CBLN显着优于国家的最先进的三个公共数据集（ActivityNet字幕，TACoS和Charades-STA），证明了所提出的本地化框架的有效性。
2021-03-22 cs.CV
Attentive Sequence to Sequence Translation for Localizing Clips of Interest by Natural Language Descriptions
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；Hikvision Research Institute（海康威视研究院）
提出了一种新的基于自然语言描述的注意序列到序列翻译器（ASST）。我们做了两个贡献。首先，我们提出了一个双向递归神经网络（RNN）与精细校准的视觉语言注意机制，全面理解自由形式的自然语言描述。RNN在两个方向上解析自然语言描述，注意力模型将每个有意义的单词或短语注意到每个帧，从而导致对视频内容和描述语义的更详细的理解。其次，我们为网络设计了一个分层架构，以联合建模语言描述和视频内容。给定视频描述对，网络生成矩阵表示，即，一系列向量矩阵中的每个向量表示由描述调节的视频帧。二维表示不仅保留了帧的时间依赖性，而且提供了一种有效的方法来执行帧级视频语言匹配。分层架构利用具有多粒度的视频内容，从细微的细节到全局上下文。多粒度的集成产生了一个强大的表示多层次的视频语言抽象。我们在两个大规模数据集上验证了我们的ASST的有效性。我们的ASST在DiDeMo数据集上的排名$@1$中优于最先进的$4.28\%$。在Charades-STA数据集上，我们通过排名$@1,IoU=0.5$中的$13.41\%$显著提高了最新技术水平。
2018-08-27 cs.CV
Actor-centered Representations for Action Localization in Streaming Videos
Oklahoma State University（俄克拉荷马州立大学）；University of South Florida（南佛罗里达大学）
识别和定位流视频中的动作等事件感知任务对于扩展到现实世界的应用环境至关重要。我们通过持续分层预测学习的概念来解决学习以演员为中心的表示的问题，以定位流媒体视频中的动作，而不需要训练视频中对象的标签和轮廓。我们提出了一个框架驱动的分层预测学习的概念来构建基于注意力的上下文的演员为中心的功能。其关键思想是，可预测的特征或对象不会引起注意，因此不会对感兴趣的动作做出贡献。在三个基准数据集上的实验表明，该方法可以只使用一个训练时期来学习用于定位动作的鲁棒表示，即，一次通过视频流。我们表明，所提出的方法优于无监督和弱监督基线，同时提供有竞争力的性能完全监督的方法。此外，我们将该模型扩展到多演员设置，以识别组活动，同时本地化的多个，似是而非的演员。我们还表明，它一般化到域外的数据有限的性能下降。
2022-11-30 cs.CV
Zeus: Efficiently Localizing Actions in Videos using Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
视频中的动作检测和定位是一个重要的实际问题。最先进的视频分析系统无法高效且有效地回答这样的动作查询，因为动作通常涉及对象之间的复杂交互并且分布在一系列帧上;检测和定位它们需要计算上昂贵的深度神经网络。考虑整个帧序列以有效地回答查询也很重要。在本文中，我们提出了ZEUS，一个视频分析系统，专门用于回答动作查询。我们提出了一种使用深度强化学习有效回答这些查询的新技术。ZEUS训练一个强化学习代理，该代理学习自适应地修改随后发送到动作分类网络的输入视频片段。代理沿着三个维度改变输入段-采样率、段长度和分辨率。为了满足用户指定的准确性目标，ZEUS的查询优化器基于准确性感知的聚合奖励函数来训练代理。对三个不同视频数据集的评估表明，ZEUS的性能分别比最先进的基于帧和基于窗口的过滤技术高出22.1倍和4.7倍。它还在所有查询中始终满足用户指定的准确性目标。
2022-09-27 cs.CV cs.DB
Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Southeast University（东南大学）；Tencent Youtu Lab（腾讯优图实验室）
提出 Moment-Video 基准，通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度，发现最佳模型准确率仅 39.6%，多数开源模型低于 25%。
2026-10-16 cs.AI cs.CV
PrismVAU: Prompt-Refined Inference System for Multimodal Video Anomaly Understanding
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥胡斯大学）；Milestone Systems（Milestone系统）
PrismVAU通过轻量级系统和自动提示工程实现高效的多模态视频异常理解，无需复杂标注和外部模块。
2026-01-07 cs.AI cs.CV
OWL (Observe, Watch, Listen): Audiovisual Temporal Context for Localizing Actions in Egocentric Videos
Samsung AI Center Cambridge（三星剑桥人工智能中心）；Adobe Research（奥多比研究院）
以自我为中心的视频从第一人称视角捕捉人类活动的序列，并可以提供丰富的多模态信号。然而，大多数当前的定位方法使用第三人称视频，并且仅包含视觉信息。在这项工作中，我们深入研究了视听上下文在检测以自我为中心的视频中的动作的有效性，并通过观察，观看和倾听（OWL）引入了一种简单而有效的方法。OWL利用视听信息和上下文进行自我中心的时间动作定位（TAL）。我们验证了我们的方法在两个大规模的数据集，EPIC-Kitchen，HOMAGE。大量的实验证明了视听时间语境的相关性。也就是说，在上述数据集中，我们将仅视觉模型的本地化性能（mAP）提高了+2.23%和+3.35%。
2022-10-26 cs.CV cs.SD eess.AS
MarineEVT: Advancing Event-Centric Marine Video Understanding via Visual Tool Reasoning
The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Electronic Science and Technology of China（电子科技大学）
针对海洋视频理解面临的挑战，构建MarineEVT数据集，将其理解分解为EVT-R1过程，利用视觉工具驱动模型。实验显示EVT-R1优于多个SOTA VLMs，为海洋相关发展奠定基础并推动VLMs进步。
2026-07-28 cs.AI cs.CV
Localizing the Common Action Among a Few Videos
Peking University（北京大学）；University of Amsterdam（阿姆斯特丹大学）
本文致力于本地化的时间范围内的行动，在一个长的未修剪的视频。现有的工作利用许多例子，他们的开始，他们的结束，和/或类的动作在训练时间，我们提出了Few-Shot共同的动作本地化。在一个长的未修剪的视频中，动作的开始和结束是基于一大堆包含相同动作的修剪视频示例来确定的，而不知道它们的公共类标签。为了解决这个问题，我们引入了一个新的3D卷积网络架构，能够将支持视频的表示与相关的查询视频片段对齐。该网络包括：（\textit{i}）相互增强模块，用于同时补充少数修剪的支持视频和未修剪的查询视频的表示;（\textit{ii}）渐进对齐模块，用于迭代地将支持视频融合到查询分支中;以及（\textit{iii}）成对匹配模块，用于加权不同支持视频的重要性。评估Few-Shot常见的动作本地化在未经修剪的视频包含一个或多个动作的实例证明了我们的建议的有效性和普遍适用性。
2020-08-25 cs.CV cs.LG eess.IV
Implicit Location-Caption Alignment via Complementary Masking for Weakly-Supervised Dense Video Captioning
Tencent（腾讯）
提出基于互补掩码的隐式位置-描述对齐范式，通过双模式描述模块与掩码生成模块实现弱监督密集视频描述，在简化事件提议流程的同时取得优于弱监督且媲美全监督方法的性能。
2025-01-27 cs.AI cs.CV cs.MM
Localizing Unseen Activities in Video via Image Query
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
未裁剪视频中的动作定位是视频理解领域的一个重要课题。然而，现有的动作定位方法仅限于一组预定义的动作，不能定位看不见的活动。因此，我们考虑一个新的任务，通过图像查询定位视频中看不见的活动，命名为基于图像的活动定位。该任务面临三个内在挑战：（1）如何消除图像查询中语义无关内容的影响;（2）如何处理不准确图像查询的模糊定位;（3）如何确定目标段的精确边界。然后，我们提出了一种新的自我注意力交互定位检索看不见的活动在一个端到端的方式。具体来说，我们首先设计了一个区域自注意方法与相对位置编码学习细粒度的图像区域表示。然后，我们使用一个本地的Transformer编码器来建立图像和视频内容的多步融合和推理。接下来，我们采用顺序敏感的定位器直接检索目标段。此外，我们通过重组ActivityNet数据集来构建新的数据集ActivityIBAL。大量的实验表明了该方法的有效性。
2019-06-28 cs.CV cs.IR
Multi-modal Dense Video Captioning
Tampere University（坦佩雷大学）
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述（字幕）的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而，音频，特别是语音，是人类观察者理解环境的重要线索。在本文中，我们提出了一种新的密集的视频描述方法，能够利用任何数量的事件描述的方式。具体来说，我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别（ASR）系统来获得语音的时间对齐的文本描述（类似于字幕），并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题，并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明，相当大的贡献，从音频和语音组件，这表明这些方式包含大量的补充信息，视频帧。此外，我们通过利用从原始YouTube视频中获得的类别标签，对ActivityNet Caption结果进行了深入分析。代码公开：github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers
Yonsei University（延世大学）
本文提出一种可解释的运动注意力图方法，通过时空定位运动概念，提升视频扩散变换器的可解释性与定位能力。
2026-03-09 cs.AI cs.CV cs.LG
Dense-Localizing Audio-Visual Events in Untrimmed Videos: A Large-Scale Benchmark and Baseline
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；The University of Hong Kong（香港大学）；Shandong University（山东大学）；Peng Cheng Laboratory（鹏城实验室）
现有的视听事件本地化（AVE）处理手动修剪的视频，每个视频中只有一个实例。然而，这种设置是不现实的，因为自然视频通常包含许多具有不同类别的视听事件。为了更好地适应现实生活中的应用，在本文中，我们专注于密集定位视听事件的任务，其目的是联合定位和识别所有的视听事件发生在一个未修剪的视频。这个问题具有挑战性，因为它需要细粒度的视听场景和上下文理解。为了解决这个问题，我们引入了第一个Untrimmed Audio-Visual（UnAV-100）数据集，其中包含10 K未修剪的视频和超过30 K的视听事件。每个视频平均有2.8个视听事件，这些事件通常彼此相关，并且可能像现实生活场景一样共同发生。接下来，我们使用一个新的基于学习的框架来制定任务，该框架能够完全集成音频和视觉模式，以定位具有各种长度的视听事件，并在一次传递中捕获它们之间的依赖关系。大量的实验证明了我们的方法的有效性以及多尺度跨模态感知和依赖建模的意义。
2023-03-24 cs.CV cs.MM cs.SD
ActionFormer: Localizing Moments of Actions with Transformers
Nanjing University（南京大学）；Paradigm Inc（第四范式公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于自注意力的Transformer模型在图像分类和目标检测方面取得了令人印象深刻的结果，最近在视频理解方面也取得了令人印象深刻的结果。受此成功的启发，我们研究了Transformer网络在视频中的时间动作定位中的应用。为此，我们提出了一个简单而强大的模型来识别动作的时间，并在一个Single Shot识别其类别，而不使用行动建议或依赖于预定义的锚窗口。该算法将多尺度特征表示与局部自注意力相结合，并使用轻量级解码器对每个时刻进行分类，并估计相应的动作边界。我们表明，这种精心策划的设计结果在以前的作品的重大改进。在没有额外功能的情况下，在THUMOS 14上，TIOU=0.5时，TIOFormer实现了71.0%的mAP，比最佳先验模型高出14.1个绝对百分点。此外，ECOFFORMER在ActivityNet 1.3（平均mAP为36.6%）和EPIC-Kitchen 100（平均mAP比之前的作品增加13.5%）上表现出强劲的结果。我们的代码可在http://github.com/happyharrycn/actionformer_release上获得。
2022-08-28 cs.CV
Localizing Moments of Actions in Untrimmed Videos of Infants with Autism Spectrum Disorder
University of Kentucky（肯塔基大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；UC Davis MIND Institute（加州大学戴维斯分校心智研究所）
本文提出基于自注意力的高效TAL模型，首次在ASD婴儿未剪辑视频中端到端定位相关行为，并报告看脸、看物、微笑和发声的基线检测准确率。
2024-04-08 cs.CV cs.LG
Localizing Visual Sounds the Hard Way
University of Oxford（牛津大学）
这项工作的目的是本地化的声源，在视频中可见，而不使用手动注释。我们的关键技术贡献是表明，通过训练网络来明确区分具有挑战性的图像片段，即使是包含发出声音的对象的图像，我们也可以显着提高定位性能。我们通过引入一种机制来挖掘硬样本并将其自动添加到对比学习公式中来优雅地做到这一点。我们表明，我们的算法在流行的Flickr SoundNet数据集上实现了最先进的性能。此外，我们引入了VGG-Sound Source（VGG-SS）基准，这是最近引入的VGG-Sound数据集的一组新注释，其中每个视频剪辑中可见的声源都明确标记有限界框注释。这个数据集比现有的类似数据集大20倍，包含跨越200多个类别的5 K视频，并且与Flickr SoundNet不同，它是基于视频的。在VGG-SS上，我们还证明了我们的算法在几个基线上达到了最先进的性能。
2021-04-06 cs.CV eess.AS eess.IV
AutoArabic: A Three-Stage Framework for Localizing Video-Text Retrieval Benchmarks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Edge Hill University（知山大学）
本文提出AutoArabic三阶段框架，利用大语言模型将视频-文本检索基准本地化为阿拉伯语，通过高精度错误检测减少人工修订，并在DiDeMo-AR上验证了本地化基准的难度保持性和可用性。
2025-09-19 cs.CL cs.CV
Localizing Moments in Long Video Via Multimodal Guidance
Dartmouth（达特茅斯学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Northeastern University（东北大学）；Adobe Research（奥多比研究院）
本文提出一种多模态引导框架，通过修剪不可描述窗口提升长视频中自然语言定位性能，在MAD和Ego4D上分别超越最先进模型4.1%和4.52%。
2023-10-15 cs.AI cs.CV cs.LG
Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models
IDEAS Research Institute（IDEAS研究院）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Warsaw University of Technology（华沙理工大学）
本文通过探测视频扩散变换器的内部表示，发现物理量可被高精度线性解码且局部存储，并可作转向向量，表明模型在去噪中主动构建物理信息。
2026-10-05 cs.CV cs.LG
UAL-Bench: The First Comprehensive Unusual Activity Localization Benchmark
Texas A&M University（德克萨斯农工大学）；University of Macau（澳门大学）
该研究推出首个综合性异常活动定位基准UAL-Bench，含多类数据集，评估三类定位方法，提出新评估指标，梳理现有基础模型的挑战并指明未来研究方向。
2024-10-02 cs.CL cs.CV
ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild
Tsinghua University（清华大学）；ETH Zurich（苏黎世联邦理工学院）；ByteDance Inc.（字节跳动公司）；Texas A&M University（得克萨斯农工大学）
从单目视频中估计移动摄像机的姿态是一个具有挑战性的问题，特别是由于动态环境中存在移动对象，其中现有摄像机姿态估计方法的性能容易受到几何不一致的像素的影响。为了解决这一挑战，我们提出了一个强大的密集间接结构从运动的方法，是基于密集对应初始化成对的光流的视频。我们的关键想法是将远程视频对应优化为密集点轨迹，并使用它来学习运动分割的鲁棒估计。提出了一种新的神经网络结构，用于处理不规则点轨迹数据。相机姿态，然后估计和优化与全球光束调整的一部分，被分类为静态的远程点轨迹。MPI Sintel数据集上的实验表明，与现有的最先进的方法相比，我们的系统产生了更准确的相机轨迹。此外，我们的方法能够在完全静态的场景中保持相机姿态的合理精度，这始终优于具有端到端深度学习的最先进的基于密集对应的方法，证明了基于光流和点轨迹的密集间接方法的潜力。由于点轨迹表示是一般的，我们进一步提出的结果和比较在野外单目视频与复杂的运动的动态对象。代码可在https://github.com/bytedance/particle-sfm上获得。
2022-07-19 cs.AI cs.CV
Tripping through time: Efficient Localization of Activities in Videos
NEC Labs America（美国电气通信实验室）
通过语言查询在未经修剪的视频中定位时刻是一项新的有趣任务，需要能够准确地将语言融入视频。以前的作品通过处理整个视频来完成这一任务，通常不止一次，以定位相关活动。在这种方法的实际应用中，例如视频监控，效率是关键的系统要求。在本文中，我们提出了TripNet，一个端到端的系统，使用门控注意力架构模型细粒度的文本和视觉表示，以对齐文本和视频内容。此外，TripNet使用强化学习，通过学习如何智能地跳过视频，有效地定位长视频中的相关活动片段。它提取几帧的视觉特征来执行活动分类。在我们对Charades-STA、ActivityNet Captions和TACoS数据集的评估中，我们发现TripNet仅查看整个视频的32-41%，从而实现了高准确性并节省了处理时间。
2020-08-18 cs.CV
Text-based Localization of Moments in a Video Corpus
University of California（加利福尼亚大学）；SRI International（斯坦福国际研究院）
基于文本的视频矩定位的现有工作集中在时间上接地的未修剪的视频中的文本查询。这些作品假设相关视频是已知的，并试图将该时刻定位在该相关视频上。不同于这样的作品，我们放松了这一假设，并解决了本地化时刻在一个给定的句子查询的视频语料库的任务。该任务提出了独特的挑战，因为系统需要执行：（i）检索相关视频，其中仅视频的片段与所查询的句子相对应，以及（ii）基于句子查询对相关视频中的时刻进行时间定位。为了克服这一挑战，我们提出了分层矩对齐网络（HMAN），它可以学习一个有效的矩和句子的联合嵌入空间。除了学习视频内时刻之间的细微差异外，HMAN还专注于基于句子查询区分视频间全局语义概念。定性和定量结果三个基准基于文本的视频时刻检索数据集- Charades-STA，DiDeMo和ActivityNet字幕-表明，我们的方法实现了有前途的性能上提出的任务的时刻在一个语料库的视频时间定位。
2021-08-18 cs.CV
QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
Michigan State University（密歇根州立大学）
针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。
2026-07-07 cs.CV
ODAM: Object Detection, Association, and Mapping using Posed RGB Video
The University of Adelaide（阿德莱德大学）；Facebook Reality Labs Research；Monash University（莫纳什大学）
在三维空间中定位目标并估计其范围是实现高层次三维场景理解的重要一步，在增强现实和机器人技术中有着广泛的应用。我们提出了ODAM，三维目标检测，关联和映射系统使用的RGB视频。所提出的系统依赖于深度学习前端来从给定的RGB帧中检测3D对象，并使用图神经网络（GNN）将它们与基于全局对象的地图相关联。基于这些帧到模型的关联，我们的后端优化对象包围体，表示为超级二次曲面，在多视图几何约束和对象缩放先验。我们在ScanNet上验证了所提出的系统，与现有的仅RGB方法相比，我们显示出显着的改进。
2021-08-23 cs.CV
MINI-Net: Multiple Instance Ranking Network for Video Highlight Detection
Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；University of Edinburgh（爱丁堡大学）；Peng Cheng Laboratory（鹏城实验室）
我们解决了弱监督的视频精彩片段检测问题，学习检测段，更有吸引力的训练视频给定他们的视频事件标签，但没有昂贵的监督手动注释精彩片段。虽然手动避免局部化高光片段，但弱监督建模具有挑战性，因为我们日常生活中的视频可能包含具有多种事件类型的高光片段，例如，滑雪和冲浪在这项工作中，我们提出了铸造弱监督视频亮点检测建模为一个给定的特定事件作为一个多实例排名网络（MINI-Net）学习。我们认为每个视频作为一个袋子的段，因此，建议MINI-Net学习执行一个更高的亮点分数的积极袋，包含一个特定的事件的亮点段比那些负袋是不相关的。特别是，我们形成了一个最大-最大排名损失，以获得最有可能的积极段实例和最难的消极段实例之间的可靠的相对比较。通过这种最大-最大排名损失，我们的MINI-Net有效地利用所有片段信息来获取更独特的视频特征表示，以定位视频中特定事件的精彩片段。在三个具有挑战性的公共基准上的广泛实验结果清楚地验证了我们的多实例排名方法解决问题的有效性。
2020-08-13 cs.CV cs.LG eess.IV
Semantic Video Moments Retrieval at Scale: A New Task and a Baseline
Rutgers University（罗格斯大学）
出于越来越多的需要，节省搜索工作，获得相关的视频剪辑，而不是整个视频，我们提出了一个新的任务，命名为语义视频检索矩的规模（SVMR），其目的是找到相关的视频，再加上重新定位的视频剪辑在他们。而不是一个简单的视频检索和视频重新定位的组合，我们的任务更具挑战性，因为几个重要方面。在第一阶段，我们的SVMR应该考虑到以下事实：1）一个积极的候选长视频可以包含大量的无关片段，这些片段在语义上也是有意义的。2)如果长视频包含与两个查询相关的剪辑，则其对于两个完全不同的查询剪辑可以是肯定的。第二重定位阶段还表现出与现有视频重定位任务不同的假设，现有视频重定位任务保持参考视频必须包含对应于查询片段的语义相似的片段的假设。相反，在我们的场景中，由于第一阶段的不准确性，检索到的长视频可能是误报。为了解决这些挑战，我们提出了我们的两个阶段的基线解决方案的候选视频检索，其次是一个新的基于注意力的查询参考语义对齐框架，重新定位目标剪辑从候选视频。此外，我们从现成的ActivityNet-1.3和HACS中构建了两个更合适的基准数据集，以全面评估SVMR模型。大量的实验表明，我们的解决方案优于几个参考解决方案。
2022-10-15 cs.CV
COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis
Tsinghua University（清华大学）；Meitu Inc.（美图公司）
互联网上有大量的教学视频，使我们能够获得完成各种任务的知识。然而，大多数现有的教学视频分析数据集的多样性和规模的限制，这使得他们远离许多现实世界中的应用程序，更多样化的活动发生。此外，组织和利用这些数据仍然是一个巨大的挑战。为了解决这些问题，我们引入了一个名为“COIN”的大规模数据集，用于综合教学视频分析。COIN数据集以分层结构组织，包含12个领域中180个任务的11,827个视频（例如，车辆、小工具等）与我们的日常生活有关。通过一个新开发的工具箱，所有的视频都有效地注释了一系列的步骤描述和相应的时间边界。此外，我们提出了一个简单而有效的方法来捕捉不同步骤之间的依赖关系，它可以很容易地插入到传统的基于提议的动作检测方法，用于定位教学视频中的重要步骤。为了给教学视频分析提供一个基准，我们在COIN数据集上根据不同的评估标准评估了大量的方法。我们期望COIN数据集的引入将促进社区未来对教学视频分析的深入研究。
2019-03-07 cs.CV
Natural Language Video Localization: A Revisit in Span-based Question Answering Framework
Institute of High Performance Computing, A*STAR（高性能计算研究院（新加坡科技研究局））；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Institute of Infocomm Research, A*STAR（信息通信研究院（新加坡科技研究局））
自然语言视频定位（NLVL）的目的是从语义上对应于文本查询的未修剪视频中定位目标时刻。现有的方法主要从计算机视觉的角度解决NLVL问题，将其公式化为排名，锚或回归任务。这些方法在长视频上本地化时遭受大的性能下降。在这项工作中，我们从一个新的角度来解决NLVL，即，基于跨度的问答（QA），通过将输入视频视为文本段落。我们提出了一个视频跨度本地化网络（VSLNet），顶部的标准跨度为基础的QA框架（命名为VSLBase），以解决NLVL。VSLNet通过简单而有效的查询引导突出显示（QGH）策略解决了NLVL和基于跨度的QA之间的差异。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。为了解决长视频的性能下降，我们进一步扩展VSLNet的VSLNet-L通过应用多尺度分割和拼接策略。VSLNet-L首先将未修剪的视频分割成短片段;然后，它预测哪个片段包含目标时刻并抑制其他片段的重要性。最后，剪辑片段连接，具有不同的置信度，以准确地定位目标时刻。在三个基准数据集上的大量实验表明，所提出的VSLNet和VSLNet-L优于最先进的方法; VSLNet-L解决了长视频性能下降的问题。我们的研究表明，基于跨度的QA框架是解决NLVL问题的有效策略。
2021-03-02 cs.CL cs.CV
Sports Video Analysis on Large-Scale Data
University of Pittsburgh（匹兹堡大学）；York University（约克大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究了体育视频自动机器描述的建模，这是最近取得的进展。然而，最先进的方法还远远不能捕捉人类专家如何分析体育场景。有几个主要原因：（1）所使用的数据集是从非官方提供商收集的，这自然会在这些数据集上训练的模型与真实世界的应用程序之间产生差距;（2）以前提出的方法需要大量的注释工作（即，像素级的球员和球分割）对定位有用的视觉特征以产生可接受的结果;（3）很少有公共数据集可用。在本文中，我们提出了一个新的大规模NBA数据集的体育视频分析（NSVA），重点是字幕，以解决上述挑战。我们还设计了一个统一的方法来处理原始视频到一个堆栈的有意义的功能，最小的标签工作，显示交叉建模等功能使用Transformer架构导致强大的性能。此外，我们展示了广泛的应用NSVA解决两个额外的任务，即细粒度的运动动作识别和显着的球员识别。代码和数据集可在https://github.com/jackwu502/NSVA上获得。
2022-08-09 cs.CV
Comprehensive Instructional Video Analysis: The COIN Dataset and Performance Evaluation
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华深圳国际研究生院）
由于互联网上大量的爆炸性的教学视频，新手能够获得完成各种任务的知识。在过去的十年里，越来越多的人致力于研究教学视频分析问题。然而，这一领域现有的大多数数据集在多样性和规模上都有局限性，这使得它们与许多发生更多样化活动的现实世界应用相距甚远。为了解决这个问题，我们提出了一个名为“COIN”的大规模数据集，用于综合性教学视频分析。COIN数据集以分层结构组织，包含12个领域中180个任务的11,827个视频（例如，车辆、小工具等）与我们的日常生活有关。使用新开发的工具箱，所有视频都使用一系列步骤标签和相应的时间边界进行有效注释。为了提供教学视频分析的基准，我们在五种不同的设置下评估了COIN数据集上的大量方法。此外，我们利用两个重要特征（即，任务一致性和顺序依赖性）来定位教学视频中的重要步骤。因此，我们提出了两个简单而有效的方法，可以很容易地插入到传统的基于提议的动作检测模型。我们相信，COIN数据集的引入将推动社区未来对教学视频分析的深入研究。我们的数据集，注释工具箱和源代码可在http://coin-dataset.github.io上获得。
2020-03-20 cs.CV
A Survey on Video Moment Localization
Shandong Jianzhu University（山东建筑大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shandong University（山东大学）；Hefei University of Technology（合肥工业大学）；Lenovo Company Ltd.（联想集团有限公司）
本文为视频片段定位（又称视频片段检索）领域的综述，全面回顾了监督、弱监督、无监督三类现有技术，梳理了相关数据集与研究结果，并指出了大规模数据集、可解释模型等未来发展方向。
2023-06-13 cs.CV
Multi-video Moment Ranking with Multimodal Clue
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）
视频语料库矩检索（VCMR）是通过自然语言查询从大量未经裁剪的视频语料库中检索相关视频矩的任务。VCMR的最先进的工作是基于两阶段的方法。本文重点改进了两阶段方法的两个问题：（1）矩预测偏差：大多数查询的预测矩来自顶部检索视频，忽略了目标矩位于底部检索视频的可能性，这是由于训练和推理过程中共享归一化的不一致性造成的。(2)潜在关键内容：不同形式的视频具有不同的关键信息用于时刻定位。为此，我们提出了一个两阶段的模型\textbf{M} ult \textbf{I} -视频分级\textbf{N} king与m个\textbf{U} l \textbf{T}单峰类\textbf{E} ~（CLUTE）. CNOTE在训练和推理过程中使用共享归一化来对多个视频中的候选时刻进行排名，以解决时刻预测偏差，从而更有效地预测目标时刻。此外，Mutilmdaol Clue Mining~（MCM）可以发现视频中不同模态的关键内容，以更准确地定位时刻。在TVR和DiDeMo数据集上，XNUTE的表现优于基线，实现了最先进的VCMR。我们的代码将在GitHub上提供。
2023-01-29 cs.CV
Moment of Untruth: Dealing with Negative Queries in Video Moment Retrieval
University of Bristol（布里斯托大学）
针对视频时刻检索中无关查询导致假阳性预测的问题，提出负感知视频时刻检索任务，区分域内外负查询并构建新基准，提出UniVTG-NA模型，在实现98.4%平均负拒绝准确率的同时，Recall@1得分仅下降3.87%。
2025-02-13 cs.CV
VADER: Towards Causal Video Anomaly Understanding with Relation-Aware Large Language Models
National Tsing Hua University（清华大学）；NVIDIA
VADER通过整合关系感知的大型语言模型与视频关键帧特征，提升视频异常的因果理解与解释能力。
2025-12-12 cs.CV
D&M: Enriching E-commerce Videos with Sound Effects by Key Moment Detection and SFX Matching
Renmin University of China（中国人民大学）；Kuaishou Technology（快手科技）
针对电商视频音效添加需求，提出可同时完成关键时刻检测与时刻-音效匹配的D&M方法，构建大规模数据集SFX-Moment，实验证明其性能优于现有基线。
2025-03-20 cs.CV
Background-aware Moment Detection for Video Moment Retrieval
Seoul National University（首尔大学）；NAVER AI Lab（NAVER AI实验室）
针对视频时刻检索中的弱对齐问题，本文提出背景感知时刻检测Transformer（BM-DETR），通过对比学习利用正负查询的联合概率预测目标时刻，有效利用背景信息提升对齐性能，并在四个基准上验证了有效性。
2024-09-28 cs.CV
Aligning Moments in Time using Video Queries
Indian Institute of Technology Jodhpur（印度理工学院贾尔普尔分校）；Microsoft（微软公司）
针对视频到视频片段检索的语义对齐与依赖建模难题，提出基于双阶段序列对齐的MATR模型及自监督预训练方法，在两个数据集上均取得显著性能提升。
2025-09-01 cs.CV
Video Moment Retrieval with Text Query Considering Many-to-Many Correspondence Using Potentially Relevant Pair
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在本文中，我们承担的任务，基于文本的视频时刻检索的视频语料库。为了训练模型，使用文本矩配对数据集来学习正确的对应关系。在典型的训练方法中，地面实况文本矩对被用作正对，而其他对被视为负对。然而，除了地面真值对，一些文本矩对应被视为积极的。在这种情况下，一个文本注释对于许多视频时刻可以是肯定的。相反，一个视频时刻可以对应于许多文本注释。因此，在文本注释和视频时刻之间存在多对多的对应关系。基于这些对应关系，我们可以形成潜在的相关对，这些对不是作为地面真值给出的，但不是负的;有效地将这些相关对纳入训练可以提高检索性能。文本查询应该描述视频时刻发生的事情。因此，用类似文本注释的包含类似动作的不同视频时刻可能保持类似动作，因此这些对可以被认为是潜在相关的对。在本文中，我们提出了一种新的训练方法，利用潜在的相关对，这是基于对文本注释的语言分析检测。两个基准数据集上的实验表明，我们的方法提高了检索性能的定量和定性。
2021-06-25 cs.CV
Momentor: Advancing Video Large Language Model with Fine-Grained Temporal Reasoning
Zhejiang University（浙江大学）；Wuhan University（武汉大学）；National University of Singapore（新加坡国立大学）
本文提出Momentor，一种能完成细粒度时间理解任务的Video-LLM，通过自动数据生成引擎构建片段级指令数据集Moment-10M进行训练，在零样本评估中展现出卓越的细粒度时间定位与理解能力。
2024-06-02 cs.CV
Multi-Scale Contrastive Learning for Video Temporal Grounding
Institute of Data Science (IDS), National University of Singapore（数据科学研究所（IDS），新加坡国立大学）；Tongji University（同济大学）；Nanyang Technological University (NTU)（南洋理工大学）
本文提出多尺度对比学习框架，通过多阶段视频编码器生成样本，无需数据增强或在线记忆库，提升视频时间定位的语义表达。
2026-04-26 cs.CV
