Semantic Video Moments Retrieval at Scale: A New Task and a Baseline
Rutgers University（罗格斯大学）
出于越来越多的需要，节省搜索工作，获得相关的视频剪辑，而不是整个视频，我们提出了一个新的任务，命名为语义视频检索矩的规模（SVMR），其目的是找到相关的视频，再加上重新定位的视频剪辑在他们。而不是一个简单的视频检索和视频重新定位的组合，我们的任务更具挑战性，因为几个重要方面。在第一阶段，我们的SVMR应该考虑到以下事实：1）一个积极的候选长视频可以包含大量的无关片段，这些片段在语义上也是有意义的。2)如果长视频包含与两个查询相关的剪辑，则其对于两个完全不同的查询剪辑可以是肯定的。第二重定位阶段还表现出与现有视频重定位任务不同的假设，现有视频重定位任务保持参考视频必须包含对应于查询片段的语义相似的片段的假设。相反，在我们的场景中，由于第一阶段的不准确性，检索到的长视频可能是误报。为了解决这些挑战，我们提出了我们的两个阶段的基线解决方案的候选视频检索，其次是一个新的基于注意力的查询参考语义对齐框架，重新定位目标剪辑从候选视频。此外，我们从现成的ActivityNet-1.3和HACS中构建了两个更合适的基准数据集，以全面评估SVMR模型。大量的实验表明，我们的解决方案优于几个参考解决方案。
2022-10-15 cs.CV
Dual-Path Temporal Map Optimization for Make-up Temporal Video Grounding
Hefei University of Technology（合肥工业大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对化妆时序视频定位中细粒度动作难以捕捉的问题，提出双路径时序图优化网络（DPTMO），通过构建查询无关与查询引导的双候选集联合预测，显著提升了视频时间戳定位的准确性。
2023-09-12 cs.CV cs.MM
SportSkills: Physical Skill Learning from Sports Instructional Videos
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SportSkills，首个针对身体技能学习的体育大规模数据集，包含36万+教学视频和63万+视觉演示，通过实验展示其在细粒度动作差异理解上的优势，并引入首个大规模错误条件教学视频检索任务。
2026-03-26 cs.CV
WildPPG: A Real-World PPG Dataset of Long Continuous Recordings
ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
本文提出WildPPG数据集，包含16名参与者在13.5小时户外活动中通过四个可穿戴传感器记录的216小时连续PPG数据，并提出一种比现有基线更稳健的HR估计方法。
2026-10-21 cs.CV
Graph Neural Network for Video Relocalization
在本文中，我们专注于视频重定位任务，它使用查询视频片段作为输入检索语义相关的视频片段在另一个未修剪的长视频。我们发现在视频重定位数据集中，存在帧间特征相似度与视频间特征相似度不存在一致关系的现象，影响了帧间特征融合。针对这一现象，本文将视频特征看作一个图，将查询视频特征和建议视频特征沿时间维连接起来，每个时间步看作一个节点，特征矩阵的每一行看作每个节点的特征。然后，利用图神经网络的强大功能，我们提出了一个多图特征融合模块来融合该图的关系特征。在ActivityNet v1.2数据集和Thumos14数据集上评估我们的方法后，我们发现我们提出的方法优于现有的方法。
2022-01-26 cs.CV cs.LG eess.IV
Video-Specific Query-Key Attention Modeling for Weakly-Supervised Temporal Action Localization
Northwestern University（西北大学）
提出VQK-Net，通过视频特定查询-键注意力建模学习每个视频每个动作类别的独特查询，实现弱监督时间动作定位，在三个数据集上达到最先进性能。
2023-12-25 cs.CV
A Video is Worth 10,000 Words: Training and Benchmarking with Diverse Captions for Better Long Video Retrieval
University of Maryland, College Park（马里兰大学帕克分校）；SRI International（SRI国际公司）
针对长视频检索仅依赖单段长描述的问题，本文提出用大语言模型生成并经人工验证的多样化合成描述流程，用于基准评测、微调和零样本查询扩展，显著提升检索性能。
2024-12-09 cs.CL cs.CV
Multilevel Language and Vision Integration for Text-to-Clip Retrieval
Boston University（波士顿大学）；University of British Columbia（英属哥伦比亚大学）
我们解决了视频中基于文本的活动检索问题。给定一个描述活动的句子，我们的任务是从未修剪的视频中检索匹配的片段。为了捕捉文本和视频中存在的固有结构，我们引入了一个多级模型，该模型比以前的工作更早更紧密地集成了视觉和语言功能。首先，我们在生成剪辑建议时尽早注入文本功能，以帮助消除不太可能的剪辑，从而加快处理速度并提高性能。其次，为了学习细粒度的相似性度量用于检索，我们使用视觉特征来调节递归神经网络中单词级别的查询语句的处理。通过增加查询重新生成作为辅助任务，还采用了多任务丢失。我们的方法在两个具有挑战性的基准测试中显着优于先前的工作：Charades-STA和ActivityNet Captions。
2018-12-25 cs.CV
Human-in-the-loop Adaptation in Group Activity Feature Learning for Team Sports Video Retrieval
Toyota Technological Institute（丰田技术研究所）；University of Hyogo（兵库大学）
本文提出一种人机协同适应方法，通过交互式微调优化群体活动特征学习，提升团队体育视频检索性能。
2026-02-03 cs.CV
Context-Aware Query Selection for Active Learning in Event Recognition
Comcast Labs（康卡斯特实验室）；University of California, Riverside（加州大学河滨分校）
活动识别是一个具有挑战性的问题，有许多实际应用。除了视觉特征之外，最近的方法还受益于上下文的使用，例如，活动和对象之间的相互关系。然而，这些方法需要对数据进行标记，预先完全可用，并且不被设计为连续更新，这使得它们不适合监控应用。相比之下，我们提出了一个连续学习框架，用于从未标记视频中识别上下文感知的活动，与现有方法相比，它具有两个明显的优势。首先，它采用了一种新的主动学习技术，不仅利用个人活动的信息，但也利用他们的上下文信息在查询选择，这导致显着减少昂贵的手动注释工作。第二，随着更多数据的可用，可以在线调整学习模型。我们制定了一个条件随机场模型，编码的上下文，并设计了一个信息理论的方法，利用熵和互信息的节点来计算一组最翔实的查询，这是由一个人标记。这些标签与图形推理技术相结合，用于增量更新。我们提供了一个理论公式的主动学习框架的分析解决方案。在六个具有挑战性的数据集上的实验表明，我们的框架实现了卓越的性能，大大减少了手动标记。
2019-04-09 cs.CV
Localizing Unseen Activities in Video via Image Query
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
未裁剪视频中的动作定位是视频理解领域的一个重要课题。然而，现有的动作定位方法仅限于一组预定义的动作，不能定位看不见的活动。因此，我们考虑一个新的任务，通过图像查询定位视频中看不见的活动，命名为基于图像的活动定位。该任务面临三个内在挑战：（1）如何消除图像查询中语义无关内容的影响;（2）如何处理不准确图像查询的模糊定位;（3）如何确定目标段的精确边界。然后，我们提出了一种新的自我注意力交互定位检索看不见的活动在一个端到端的方式。具体来说，我们首先设计了一个区域自注意方法与相对位置编码学习细粒度的图像区域表示。然后，我们使用一个本地的Transformer编码器来建立图像和视频内容的多步融合和推理。接下来，我们采用顺序敏感的定位器直接检索目标段。此外，我们通过重组ActivityNet数据集来构建新的数据集ActivityIBAL。大量的实验表明了该方法的有效性。
2019-06-28 cs.CV cs.IR
Proposal-free Temporal Moment Localization of a Natural-Language Query in Video using Guided Attention
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心（ACRV））；Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）；The University of Tokyo（东京大学）；Graduate School of Engineering（东京大学工学研究生院）
研究了以自然语言为查询语言的长视频序列的时间矩定位问题。给定一个未修剪的视频和一个句子作为查询，目标是确定视频中与查询句子相对应的相关视觉时刻的开始和结束。虽然以前的作品已经解决了这个任务的建议和排名的方法，我们引入了一个更有效的，端到端的可训练的，和{ \em proposal-free approach}，依赖于三个关键组件：一个动态过滤器将语言信息传输到视觉域，一个新的损失函数，以指导我们的模型参加最相关的视频部分，和软标签模型注释的不确定性。我们在两个基准数据集Charades-STA和ActivityNet-Captions上评估了我们的方法。实验结果表明，我们的方法优于国家的最先进的方法在这两个数据集。
2020-03-12 cs.CV
Transform-Equivariant Consistency Learning for Temporal Sentence Grounding
Huazhong University of Science and Technology（华中科技大学）；Zhejiang Gongshang University（浙江工商大学）；Dalian University of Technology（大连理工大学）；Protagolabs Inc.（Protagolabs公司）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对时间句子定位中数据依赖和分布偏差问题，提出等变一致性调节学习框架，通过自监督增强和一致性损失学习判别性表示，在三个数据集上验证了有效性。
2023-05-06 cs.CV
Video Activity Localisation with Uncertainties in Temporal Boundary
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（视觉语义有限公司）；Adobe Research（Adobe研究院）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
当前用于视频活动随时间定位的方法隐含地假设标记用于模型训练的活动时间边界是确定的并且是精确的。然而，在无脚本的自然视频中，不同的活动大多数都是平滑过渡的，因此在标记中精确地确定活动何时开始和结束本质上是模糊的。目前在模型训练中忽略了时间标签中的这种不确定性，导致学习不匹配的视频-文本相关性，测试中的泛化能力较差。在这项工作中，我们解决了这个问题，通过引入弹性矩边界（EMB），以适应灵活和自适应的活动时间边界对建模普遍可解释的视频-文本相关性与宽容的基础时间不确定性在预先固定的注释。具体来说，我们构建弹性边界自适应挖掘和发现帧的时间端点，可以最大限度地提高视频片段和查询语句之间的对齐。为了实现更准确的匹配（段内容的注意力）和更强大的本地化（段弹性边界），我们优化了选择帧明智的端点受到分段明智的内容由一种新的引导注意力机制。三个视频活动本地化基准的广泛的实验证明了令人信服的EMB的优势，现有的方法没有建模的不确定性。
2022-07-21 cs.CV
Selective Query-guided Debiasing for Video Corpus Moment Retrieval
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chung-Ang University（中央大学）
针对视频时刻检索中现有系统依赖检索偏差、未充分学习多模态交互的问题，提出含“有偏时刻检索”和“选择性查询引导去偏”特性的SQuiDNet，在TVR等三个基准上验证了有效性并提升可解释性。
2025-04-13 cs.CV
Video-QTR: Query-Driven Temporal Reasoning Framework for Lightweight Video Understanding
School of Software Technology, Zhejiang University, Hangzhou, China（浙江大学软件技术学院）；School of Computer Science, Zhejiang University, Hangzhou, China（浙江大学计算机科学学院）；School of Software Engineering, Xidian University, Xi’an, China（西安电子科技大学软件工程学院）
Video-QTR通过查询驱动的时序推理框架，实现轻量级视频理解，显著降低计算成本并提升效率。
2025-12-10 cs.CV
Unsupervised Temporal Video Grounding with Deep Semantic Clustering
Huazhong University of Science and Technology（华中科技大学）；ProtagoLabs Inc（ProtagoLabs 公司）；Microsoft Research（微软研究院）；Dalian University of Technology（大连理工大学）
时间视频接地（TVG）旨在根据给定的句子查询定位视频中的目标段。虽然有一些优秀的作品在这方面取得了不错的成绩，但它们严重依赖于大量的视频查询配对数据，这在现实场景中是昂贵和耗时的。在本文中，我们探讨了视频接地模型是否可以学习没有任何配对的注释。据我们所知，本文是第一个工作，试图解决TVG在无监督设置。考虑到没有成对的监督，我们提出了一种新的深度语义聚类网络（DSCNet），利用整个查询集中的所有语义信息来组成每个视频中可能的活动进行接地。具体来说，我们首先开发了一个语言语义挖掘模块，从整个查询集中提取隐含的语义特征。然后，这些语言的语义特征作为指导，通过一个基于视频的语义聚合模块组成的视频活动。最后，我们利用前景注意分支过滤掉冗余的背景活动，并细化接地结果。为了验证DSCNet的有效性，我们在ActivityNet Captions和Charades-STA数据集上进行了实验。结果表明，DSCNet实现了有竞争力的性能，甚至优于大多数弱监督方法。
2022-01-14 cs.CV cs.LG
Temporal Saliency Query Network for Efficient Video Recognition
University of Chinese Academy of Sciences（中国科学院大学）；The University of Sydney（悉尼大学）；Baidu Inc.（百度公司）；Aberystwyth University（阿伯里斯特威斯大学）
随着互联网和移动设备上多媒体数据的爆炸式增长，高效的视频识别成为一个研究热点。现有的方法大多选择显著性帧，而不考虑类别的显著性分数，这忽略了帧的显著性与其所属类别之间的隐含关联。为了缓解这个问题，我们设计了一种新的时间显着性查询（TSQ）机制，它引入了类特定的信息，提供细粒度的线索显着性测量。具体来说，我们建模类特定的显着性测量过程作为一个查询响应任务。对于每个类别，以其共同模式作为查询，并对最显著的帧进行响应，然后将计算出的相似度作为帧显著性得分。为了实现这一目标，我们提出了一个时间显着性查询网络（TSQNet），其中包括两个实例的TSQ机制的基础上视觉外观相似性和文本事件对象关系。之后，通过跨通道的互动来促进他们之间的信息交流。最后，我们使用类特定的显着性的最有信心的类别产生的两种方式来执行显着帧的选择。通过在ActivityNet、FCVID和Mini-Kinetics数据集上实现最先进的结果，广泛的实验证明了我们方法的有效性。我们的项目页面位于https://lawrencexia2008.github.io/projects/tsqnet。
2022-07-21 cs.CV
Exploiting Auxiliary Caption for Video Grounding
Peking University（北京大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）
本文提出辅助字幕网络（ACNet），通过引入密集视频字幕生成、非辅助字幕抑制、字幕引导注意力（CGA）和非对称跨模态对比学习（ACCL），有效利用辅助字幕增强视频定位性能，在三个公开数据集上显著优于现有方法。
2024-03-24 cs.CV
Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection
Department of Electrical Engineering University of South Florida（电气工程系 佛罗里达州立大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
本文提出利用多模态大语言模型描述活动，以实现可解释的半监督视频异常检测，有效检测复杂交互异常并提升模型可解释性。
2026-02-26 cs.CV
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Candour Ltd（坎多尔有限公司）
该研究将V-JEPA2特征迁移至多模态传感器，构建含模态查询的融合模型，在39名OMuSense-23受试者上评估子集监督等，实现75.23%±0.60的宏F1值，为呼吸与姿态识别提供多模态融合方案。
2026-10-14 cs.AI cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
Local-Global Video-Text Interactions for Temporal Grounding
POSTECH（浦项科技大学）；Seoul National University（首尔国立大学）
本文讨论了文本到视频的时间接地问题，其目的是确定在视频语义相关的文本查询的时间间隔。我们使用一种新的基于回归的模型来解决这个问题，该模型学习为文本查询中的语义短语提取一组中级特征，这些特征对应于查询中描述的重要语义实体（例如，演员、对象和动作），并反映查询的语言特征与视频的多个级别的视觉特征之间的双模态交互。该方法通过利用双模交互过程中从局部到全局的上下文信息，有效地预测目标时间间隔。通过深入的消融研究，我们发现，在视频和文本交互中结合本地和全球背景对准确接地至关重要。我们的实验表明，所提出的方法优于Charades-STA和ActivityNet字幕数据集的最新技术水平，在Recall@tIoU=0.5度量时分别为7.44\%和4.61\%。代码可在https://github.com/JonghwanMun/LGI4temporalgrounding上找到。
2020-04-16 cs.CV
MINOTAUR: Multi-task Video Grounding From Multimodal Queries
Vector Institute for AI（向量人工智能研究所）；Meta AI；University of British Columbia（不列颠哥伦比亚大学）
视频理解任务有多种形式，从动作检测到视觉查询定位和句子的时空基础。这些任务在输入类型（仅视频或视频查询对，其中查询是图像区域或句子）和输出（时间段或时空管）方面有所不同。然而，在他们的核心，他们需要相同的基本理解的视频，即，其中的参与者和对象，他们的行为和互动。到目前为止，这些任务都是通过单独的、高度专业化的架构来处理的，这些架构没有利用任务之间的相互作用。相比之下，在本文中，我们提出了一个单一的，统一的模型来处理长格式视频中基于查询的视频理解。特别是，我们的模型可以解决所有三个任务的自我4D情景记忆基准需要查询三种不同的形式：给定一个以自我为中心的视频和视觉，文本或活动查询，目标是确定何时何地可以看到答案的视频。我们的模型设计的灵感来自最近的基于查询的方法，时空接地，并包含特定于模态的查询编码器和特定于任务的滑动窗口推理，允许多任务训练与不同的输入模态和不同的结构化输出。我们详尽地分析了任务之间的关系，并说明跨任务学习导致每个单独的任务上的性能提高，以及推广到看不见的任务，如语言查询的zero-shot空间定位的能力。
2023-03-17 cs.CV
Concentrate After Imagination: Text-Conditioned Evidence Grounding for Partially Relevant Video Retrieval
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Electronic Science and Technology of China（电子科技大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对部分相关视频检索中查询无关的集中瓶颈，提出分数级证据验证算子TRACE，通过激活查询相关寄存器并校准局部分数，在三个基准上取得最优并提升骨干网络性能。
2026-09-09 cs.CV
GranAlign: Granularity-Aware Alignment Framework for Zero-Shot Video Moment Retrieval
GranAlign提出一种无需训练的框架，通过粒度感知对齐技术解决零样本视频时刻检索中的语义粒度不匹配问题，提升检索精度。
2026-01-02 cs.CV
PointTAD: Multi-Label Temporal Action Detection with Learnable Query Points
Nanjing University（南京大学）；Tencent（腾讯）；Shanghai AI Lab（上海人工智能实验室）
传统的时间动作检测（Temporal Action Detection，简称TACT）通常处理来自单个标签（例如，ActivityNet，THUMOS）.然而，这种设置可能不切实际，因为不同类别的行动在实践中往往同时发生。在本文中，我们专注于任务的多标签的时间动作检测，旨在本地化的所有动作实例从多标签的未修剪的视频。多标签分类更具挑战性，因为它需要在单个视频中进行细粒度的类别区分，并精确定位共现实例。为了解决这个问题，我们扩展了基于稀疏查询的检测范式，从传统的并行检测，并提出了多标签并行检测框架的PointData。具体来说，我们的PointSort引入了一小部分可学习的查询点来表示每个动作实例的重要框架。这种基于点的表示提供了一种灵活的机制来定位边界处的判别帧以及动作内部的重要帧。此外，我们执行的动作解码过程与多层次交互模块捕捉点级和实例级的动作语义。最后，我们的PointSide采用了一个端到端的可训练框架，简单地基于RGB输入，便于部署。我们评估我们提出的方法在两个流行的基准，并介绍了新的度量检测-mAP的多标签标签识别。我们的模型在检测-mAP度量下的性能优于所有以前的方法，并且在分割-mAP度量下也取得了有希望的结果。代码可在https://github.com/MCG-NJU/PointTAD上获得。
2023-03-21 cs.CV
Not All Inputs Are Valid: Towards Open-Set Video Moment Retrieval Using Language
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Zhejiang Gongshang University（浙江工商大学）；Dalian University of Technology（大连理工大学）；Shanghai Jiao Tong University（上海交通大学）；Xinjiang University（新疆大学）；The Chinese University of Hong Kong（香港中文大学）
针对开放集场景下视频时刻检索任务中无关查询导致错误检索的问题，提出基于归一化流的开放集视频时刻检索模型OpenVMR，实现分布内查询的精确检索与分布外查询的拒绝。
2026-05-28 cs.CV
Discovery of Shared Semantic Spaces for Multi-Scene Video Query and Summarization
Queen Mary University of London（伦敦玛丽女王大学）
公共空间CCTV安装的增长率产生了对用于利用视频监控数据的自动化方法的需求，包括场景理解、查询、行为注释和摘要。为此，人们对监控场景理解和分析进行了广泛的研究。然而，大多数研究都考虑了单个场景或相邻场景组。不同但相关的场景之间的语义相似性（例如，许多布局相似的不同交通场景）通常不会被用来改进任何自动化监控任务并减少手动工作。然而，在不同场景之间利用共性并共享任何监督注释是具有挑战性的，因为：一些场景是完全不相关的-因此它们之间的任何信息共享都是有害的;而其他场景可能只共享共同活动的子集-因此信息共享只有在选择性时才有用。此外，语义上相似的活动，应该一起建模，并在场景中共享，可能有相当不同的像素级外观在每个场景。为了解决这些问题，我们开发了一个新的框架，分布式多场景的全球性的理解，集群监控场景的能力，以解释对方的行为，并进一步发现哪些活动的子集是共享的场景特定的每个集群内。我们展示了如何使用这种结构化的多个场景的表示，以改善常见的监控任务，包括场景活动的理解，跨场景查询的例子，行为分类减少监督标签的要求，和视频摘要。在每一种情况下，我们展示了我们的多场景模型如何改进标准的单场景模型和所有场景的平面模型的集合。
2015-07-27 cs.CV
Constraint and Union for Partially-Supervised Temporal Sentence Grounding
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与人工智能）
时间句子基础旨在从给定的未修剪视频中检测由自然语言查询描述的事件时间戳。现有的全监督设置取得了很好的性能，但需要昂贵的注释成本;而弱监督设置采用廉价的标签，但性能不佳。为了以更少的注释成本追求高性能，本文引入了中间部分监督设置，即，在训练期间，仅短剪辑或甚至单帧标签可用。为了充分利用部分标签，我们提出了一种新的四重约束管道，以全面塑造事件查询对齐表示，涵盖内部和样本间，单模态和多模态。前者提高了类内的紧凑性和类间的可分性;后者实现了事件-背景分离和事件-查询聚集。为了通过显式接地优化实现更强大的性能，我们进一步引入了部分-完全联合框架，即，与一个额外的全监督分支桥接，享受其令人印象深刻的基础奖金，并对部分注释保持健壮。Charades-STA和ActivityNet字幕上的大量实验和消融证明了部分监督和我们卓越性能的重要性。
2023-02-20 cs.CV
A Proposal-based Approach for Activity Image-to-Video Retrieval
Shanghai Jiao Tong University（上海交通大学）
活动图像到视频检索任务旨在检索包含与查询图像相似的活动的视频，这是一个具有挑战性的任务，因为视频通常具有许多与活动无关的背景片段。在本文中，我们利用R-C3 D模型来表示一个视频的活动建议袋，它可以过滤掉在一定程度上的背景片段。然而，每个袋子里仍然有嘈杂的建议。因此，我们提出了一种基于活动提案的图像到视频检索（APIVR）方法，它将多实例学习纳入跨模态检索框架，以解决提案噪声问题。具体来说，我们提出了一个图多实例学习（GMIL）模块与图卷积层，并将此模块与分类损失，对抗损失，和三元组损失在我们的跨模态检索框架。此外，我们提出了基于点到子空间距离的几何感知三重丢失，以保留活动建议的结构信息。在三个广泛使用的数据集上的实验验证了该方法的有效性。
2019-11-24 cs.CV cs.MM eess.IV
EVOQUER: Enhancing Temporal Grounding with Video-Pivoted BackQuery Generation
Pennsylvania State University（宾夕法尼亚州立大学）；Kwai Inc（快手）
时间基础旨在预测对应于自然语言查询输入的视频剪辑的时间间隔。在这项工作中，我们提出了EVOQUER，一个时间接地框架，将现有的文本到视频接地模型和视频辅助查询生成网络。给定查询和未修剪的视频，时间基础模型预测目标间隔，并且通过生成输入查询的简化版本将预测的视频剪辑馈送到视频翻译任务中。EVOQUER通过将来自时间基础和查询生成的损失函数作为反馈来形成闭环学习。我们在两个广泛使用的数据集Charades-STA和ActivityNet上的实验表明，EVOQUER在R@0.7时实现了1.05和1.31的改进。我们还讨论了查询生成任务如何通过解释时间接地模型行为来促进错误分析。
2021-09-10 cs.AI cs.CL cs.CV
Multi-Pair Temporal Sentence Grounding via Multi-Thread Knowledge Transfer Network
Sichuan University（四川大学）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Peking University（北京大学）；Guangzhou University（广州大学）；Zhejiang Gongshang University（浙江工商大学）
提出多对时序句子定位新任务，并设计多线程知识迁移网络，通过跨模态对比、原型对齐和自适应负样本选择实现多对视频-查询对的协同训练。
2026-05-25 cs.CV
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对视频句子定位中模态间的领域差距问题，提出伪查询中介网络（PIN），利用时间全局文本知识的伪查询特征，通过对比学习和可学习提示增强多模态特征对齐，在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出UniversalVTG，一种通用轻量视频时间定位模型，通过大规模跨数据集预训练实现高效长视频定位，优于专用模型且比大语言模型更轻量。
2026-04-09 cs.CV
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Rethinking the Video Sampling and Reasoning Strategies for Temporal Sentence Grounding
ProtagoLabs Inc（ProtagoLabs公司）；Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）；Sichuan University（四川大学）；Dalian University of Technology（大连理工大学）；Lehigh University（利哈伊大学）；Peking University（北京大学）
时间句子基础（TSG）旨在通过句子查询从未修剪的视频中识别特定片段的时间边界。所有现有的工作首先利用稀疏采样策略，提取固定数量的视频帧，然后进行多模态交互与查询语句进行推理。然而，我们认为，这些方法忽略了两个不可或缺的问题：1）边界偏差：注释的目标段通常是指两个特定的帧作为相应的开始和结束时间戳。视频下采样过程可能会丢失这两个帧，并将相邻的不相关帧作为新的边界。2)推理偏差：这种不正确的新边界框架也会导致框架-查询交互过程中的推理偏差，降低模型的泛化能力。为了缓解上述限制，在本文中，我们提出了一种新的连体采样和推理网络（SSRN）的TSG，它引入了连体采样机制来生成额外的上下文框架，以丰富和细化新的边界。具体而言，推理策略的开发，以学习这些框架之间的相互关系，并产生软标签的边界上更准确的框架查询推理。这种机制还能够将缺少的连续视觉语义补充到采样的稀疏帧中，用于细粒度的活动理解。大量的实验证明了SSRN在三个具有挑战性的数据集上的有效性。
2023-01-02 cs.CV
Context-aware Biaffine Localizing Network for Temporal Sentence Grounding
Huazhong University of Science and Technology（华中科技大学）；Zhejiang Gongshang University（浙江工商大学）；Microsoft AI（微软人工智能）；Dalian University of Technology（大连理工大学）；Huawei Cloud（华为云）
本文提出了时间句子接地（TSG）的问题，它的目的是确定一个特定的时间边界的一段未修剪的视频句子查询。以前的工作要么比较预定义的候选段与查询，并选择最好的一个排名，或直接回归的目标段的边界时间戳。在本文中，我们提出了一种新的本地化框架，得分的开始和结束索引的视频中的所有对同时与biaffine机制。特别是，我们提出了一个上下文感知的双仿射本地化网络（CBLN），它将本地和全球的背景到每个开始/结束位置的功能，基于双仿射的本地化。来自相邻帧的局部上下文有助于区分视觉上相似的外观，并且来自整个视频的全局上下文有助于推理时间关系。此外，我们还开发了一个多模态的自我注意模块，以提供细粒度的查询引导的视频表示这种biaffine策略。大量的实验表明，我们的CBLN显着优于国家的最先进的三个公共数据集（ActivityNet字幕，TACoS和Charades-STA），证明了所提出的本地化框架的有效性。
2021-03-22 cs.CV
Video Moment Localization using Object Evidence and Reverse Captioning
Simon Fraser University（西蒙弗雷泽大学）
我们解决的问题，基于语言的时间定位的时刻在未修剪的视频。与固定类别的时间本地化相比，这个问题更具挑战性，因为基于语言的查询没有预定义的活动类，也可能包含复杂的描述。当前最先进的模型MAC通过从视频和语言模态中挖掘活动概念来解决这个问题。该方法对来自语言查询中的动词/对象对的语义活动概念进行编码，并利用来自视频活动分类预测分数的视觉活动概念。我们提出了“多方面的VideoMoment定位器”（MML），MAC模型的扩展，通过引入视觉对象的证据，通过对象分割掩模和视频理解功能，通过视频描述。此外，我们还改进了句子嵌入中的语言建模。我们在Charades-STA数据集上进行了实验，发现MML在R@1和R@5指标上分别比MAC基线高出4.93%和1.70%。我们的代码和预训练模型可在https://github.com/madhawav/MML上公开获取。
2020-06-18 cs.CV cs.MM
See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval
Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究院）
SMORE通过查询引导的描述和自适应压缩技术，在视频时刻检索中实现高信息分辨率与内存效率的平衡。
2026-01-14 cs.CV
Learning to Combine the Modalities of Language and Video for Temporal Moment Localization
University of Science and Technology（科学技术大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
时间矩定位的目的是检索最佳的视频片段匹配的时刻指定的查询。现有的方法分别生成视觉嵌入和语义嵌入，并将它们融合，而没有充分考虑它们之间的长期时间关系。为了解决这些缺点，我们引入了一种新的循环单元，跨模态长短期记忆（CM-LSTM），通过模仿人类的认知过程，将时间矩定位在与查询部分相关的视频片段的部分上，并循环地积累整个视频的上下文信息。此外，我们设计了一个双流注意力机制的关注和无人值守的视频功能的输入查询，以防止必要的视觉信息被忽视。为了获得更精确的边界，我们提出了一个双流注意跨模态交互网络（TACI），该网络生成两个2D建议图，这两个2D建议图是从使用CM-LSTM生成的集成上下文特征全局获得的，并从边界得分序列局部获得，然后以端到端的方式将它们组合成最终的2D地图。在TML基准数据集ActivityNet-Captions上，TACI优于最先进的TML方法，对于IoU@0.5和IoU@0.7，R@1分别为45.50%和27.23%。此外，我们还展示了通过用我们的CM-LSTM替换原始LSTM来实现性能提升的最新方法。
2021-09-07 cs.CV
Look Closer to Ground Better: Weakly-Supervised Temporal Grounding of Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；Huazhong University of Science and Technology（华中科技大学）
本文研究了视频中句子的弱监督时间背景问题。具体来说，给定一个未修剪的视频和一个查询语句，我们的目标是在视频中定位一个在语义上与查询语句相对应的时间段，而不依赖于训练过程中的任何时间注释。我们提出了一个两阶段的模型来解决这个问题，在一个由粗到细的方式。在粗略阶段，我们首先使用多尺度滑动窗口生成一组固定长度的时间提案，并将其视觉特征与句子特征进行匹配，以确定最佳匹配的提案作为粗略的接地结果。在精细阶段，我们在最佳匹配建议中的帧的视觉特征和句子特征之间执行细粒度匹配，以定位精细接地结果的精确帧边界。在ActivityNet Captions数据集和Charades-STA数据集上的综合实验表明，我们的两阶段模型具有令人信服的性能。
2020-01-25 cs.CV
SimOn: A Simple Framework for Online Temporal Action Localization
School of Electrical and Electronic Engineering（电气与电子工程学院）
在线时间动作本地化（On-TAL）旨在从未经修剪的流视频中立即提供动作实例。该模型不允许利用未来帧和任何处理技术来修改过去的预测，这使得On-TAL更具挑战性。在本文中，我们提出了一个简单而有效的框架，称为SimOn，它可以使用流行的Transformer架构以端到端的方式学习预测动作实例。具体地说，该模型将当前帧特征作为查询，将一组过去的上下文信息作为Transformer的键和值。与之前使用模型的一组输出作为过去上下文的工作不同，我们利用过去的视觉上下文和当前查询的可学习上下文嵌入。在THUMOS 14和ActivityNet1.3数据集上的实验结果表明，我们的模型明显优于以前的方法，实现了新的最先进的On-TAL性能。此外，在线检测的行动开始（ODAS）的评估表明，我们的方法在在线设置的有效性和鲁棒性。代码可在https://github.com/TuanTNG/SimOn上获得
2022-11-08 cs.CV
Encode the Unseen: Predictive Video Hashing for Scalable Mid-Stream Retrieval
ICube, University of Strasbourg, CNRS, IHU Strasbourg（斯特拉斯堡大学ICube实验室、法国国家科学研究中心、斯特拉斯堡大学医院研究所）
本文研究了计算机视觉中的一个新问题：中间流视频到视频检索。该任务包括在数据库中搜索与正在播放的视频（例如来自直播流）相似的内容，该任务表现出具有挑战性的特性。只有视频的开始部分可用作查询，并且随着视频播放，不断添加新帧。为了在这种要求苛刻的情况下执行检索，我们提出了一种基于二进制编码器的方法，该方法既具有预测性又具有增量性，以便（1）在查询时考虑丢失的视频内容，以及（2）在整个流媒体中跟上重复的、不断演变的查询。特别是，我们提出了第一个哈希框架，推断出目前播放的视频看不见的未来内容。在FCVID和ActivityNet上的实验证明了该任务的可行性。我们的方法还产生了显着的mAP@20性能提高相比，从文献中改编为这项任务的基线，例如7.4%（2.6%）增加20%（50%）的运行时间FCVID使用大小为192位的位代码。
2020-10-02 cs.CV
Video Re-localization
Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）
已经开发了许多方法来帮助人们有效地找到他们想要的视频内容。然而，在这方面仍然存在一些未解决的问题。例如，给定查询视频和参考视频，如何准确地定位参考视频中的片段，使得该片段在语义上对应于查询视频？我们定义了一个独特的新任务，即\textbf{video re-localization}，以解决这个问题。视频重定位是一项重要的新兴技术，涉及视频中的快速搜索、视频拷贝检测、视频监控等许多应用。同时，由于视频中语义概念的视觉外观可能有很大的变化，因此它也是一项具有挑战性的研究任务。视频重新定位任务需要清除的第一个障碍是缺乏现有的数据集。收集具有语义一致性或对应性的视频对并标记相应的片段是劳动力昂贵的。我们首先利用和重组ActivityNet中的视频，形成一个新的数据集，用于视频重新定位研究，该数据集由大约10，000个与本地化边界信息相关的不同视觉外观的视频组成。随后，我们提出了一种创新的交叉门控双线性匹配模型，使参考视频中的每一个时间步都与用心加权的查询视频相匹配。因此，开始和结束时间的预测公式化为一个分类问题的基础上的匹配结果。大量的实验结果表明，该方法优于竞争的方法。我们的代码可在https://github.com/fengyang0317/video_reloc上获得。
2018-08-05 cs.CV
DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding
Singapore University of Technology and Design（新加坡科技设计大学）；Wuhan University（武汉大学）；University of California, Merced（加州大学默塞德分校）
提出DART方法，通过难度感知路由和结构化推理，利用DPP选择关键帧并评估难度，对简单查询快速预测，复杂查询使用时间标记提示分解定位，在零样本视频时间定位中取得SOTA性能。
2026-07-02 cs.CV
Contrast-Unity for Partially-Supervised Temporal Sentence Grounding
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；CMIC, Shanghai Jiao Tong University（上海交通大学CMIC（媒体与通信工程中心））
针对时序句子定位中全监督标注昂贵、弱监督性能差的问题，提出部分监督设置下的对比统一两阶段框架，通过四元组对比学习生成伪标签并训练全监督模型，在两个基准上取得优越性能。
2025-02-18 cs.CV
Relation-aware Video Reading Comprehension for Temporal Language Grounding
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology Co., Ltd（云从科技集团股份有限公司）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
视频中的时间语言基础旨在定位与给定查询语句相关的时间跨度。以前的方法将其视为边界回归任务或跨度提取任务。本文提出了一种基于时间语言的视频阅读理解框架，并提出了一种基于时间感知网络的视频阅读理解框架（RaNet），该框架通过粗-细的选择-查询交互和选择-选择关系构建，从预定义的答案集合中选择一个视频时刻。提出了一个选择查询交互器，以匹配视觉和文本信息同时在搜索时刻和令牌时刻的水平，导致粗和细的跨模态的交互。此外，一个新的多选择关系构造器引入利用图卷积捕捉视频时刻的选择之间的依赖关系的最佳选择。在ActivityNet-Captions、TACoS和Charades-STA上进行的大量实验证明了该方法的有效性。代码已可用。
2021-12-01 cs.CL cs.CV
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Texas A&M University（德克萨斯农工大学）；Decart AI（德卡特人工智能公司）
该研究提出VEDJE模型，通过压缩视频帧特征并结合特征变化预测辅助训练，在多个视频-文本检索数据集上提升R@1指标，缩小缓存规模后仍保持较高召回率，实现高效可扩展的视频检索。
2026-10-14 cs.CV
Towards High-Quality Temporal Action Detection with Sparse Proposals
The University of Hong Kong（香港大学）；TCL Corporate Research（TCL企业研究）；HKU-TCL Joint Research Centre for Artificial Intelligence（港大-TCL人工智能联合研究中心）
时间动作检测是视频理解中一个重要而又具有挑战性的研究课题，旨在定位包含人类动作实例的时间片段并预测动作类别。以前的作品在很大程度上依赖于密集的候选人，要么通过设计不同的锚点，要么枚举视频序列上的所有边界组合;因此，它们与复杂的管道和敏感的手工设计有关。近年来，随着Transformer的兴起，基于查询的方法以其简单性和灵活性成为新兴的解决方案。然而，基于查询的方法和成熟的方法之间仍然存在性能差距。在本文中，我们确定了主要的挑战在于动作持续时间的大变量和模糊的边界短动作实例;然而，二次计算的全局注意力阻止了基于查询的方法来构建多尺度特征映射。为了实现高质量的时间动作检测，我们引入了稀疏建议与分层特征进行交互。在我们的方法中，命名为SP-100，每个建议出席的时间特征金字塔中的一个局部段功能。本地交互使得能够利用高分辨率特征来保留动作实例细节。大量的实验表明，我们的方法的有效性，特别是在高tIoU阈值。例如，在一个示例中，我们在THUMOS 14上实现了最先进的性能（mAP@0.6上为45.7%，mAP@0.7上为33.4%，mAP@Avg上为53.5%），在ActivityNet-1.3上实现了竞争性结果（mAP@Avg上为32.99%）。代码将在https://github.com/wjn922/SP-TAD上提供。
2021-09-18 cs.CV
DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
Peking University（北京大学）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出 DiffusionRet，将文本-视频检索建模为扩散去噪生成联合分布，并结合生成损失与对比损失训练，在五个基准及域外检索中取得优越性能。
2023-08-19 cs.CV
Weakly-Supervised Video Moment Retrieval via Semantic Completion Network
Zhejiang University（浙江大学）；Alibaba Inc.（阿里巴巴公司）
视频时刻检索是指从给定的自然语言查询中搜索出与该查询最相关的时刻。现有的方法大多是在完全监督的环境中训练的，这需要每个查询的时间边界的完整注释。然而，手动标记注释实际上是耗时且昂贵的。在本文中，我们提出了一种新的弱监督矩检索框架，只需要粗略的视频级注释进行训练。具体来说，我们设计了一个建议生成模块，聚合的上下文信息生成和评分的所有候选人的建议，在一个单一的通行证。然后，我们设计了一个算法，同时考虑开发和探索，以选择前K的建议。接下来，我们建立一个语义完成模块来衡量所选择的建议和查询之间的语义相似度，计算奖励，并提供反馈给建议生成模块进行评分细化。在ActivityCaptions和Charades-STA上的实验证明了我们提出的方法的有效性。
2020-01-15 cs.CV cs.LG cs.MM
Embracing Uncertainty: Decoupling and De-bias for Robust Temporal Grounding
Shanghai Jiao Tong University（上海交通大学）；Zhengzhou University（郑州大学）
时间接地的目的是本地化的时间边界内未修剪的视频语言查询，但它面临着两种不可避免的人类不确定性的挑战：查询不确定性和标签的不确定性。这两种不确定性来源于人的主观性，导致时间背景的泛化能力有限。在这项工作中，我们提出了一种新的DeNet（解耦和去偏见），以拥抱人类的不确定性：解耦-我们明确地将每个查询分解为一个关系特征和一个修改的特征。关系特征主要基于类语义词（包括名词和动词），旨在在查询不确定性的情况下提取基本的、一致的信息。同时，风格类词（包括形容词、副词等）赋予的修饰特征代表了主观信息，从而带来个性化的预测;去偏置--提出了一种去偏置机制来生成多样化的预测，旨在减轻标签不确定性存在时单一风格标注所带来的偏置。此外，我们还提出了新的多标签指标来实现性能评估的多样化。大量的实验表明，我们的方法比Charades-STA和ActivityNet Captions数据集上的最新技术更有效和鲁棒。
2021-06-24 cs.AI cs.CV
TAG: A Simple Yet Effective Temporal-Aware Approach for Zero-Shot Video Temporal Grounding
Sungkyunkwan University（顺天大学）
针对零样本视频时序定位中的语义碎片化、相似度分布倾斜及依赖昂贵LLM推理的问题，提出结合时间池化、时间相干性聚类和相似度调整的无训练方法TAG，在多个基准数据集上取得最优结果。
2025-08-11 cs.CV
