ViQAgent: Zero-Shot Video Question Answering via Agent with Open-Vocabulary Grounding Validation
The Department of Electrical and Electronics Engineering(电气与电子工程系);Universidad de los Andes(亚利桑德大学)
提出ViQAgent,一种结合思维链与YOLO-World的LLM智能体,用于零样本视频问答,通过开放词汇接地验证增强对象跟踪与对齐,在多个基准上达到最先进性能。
2025-05-21 cs.CL cs.CV
VLG-Net: Video-Language Graph Matching Network for Video Grounding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
视频中的接地语言查询旨在识别与语言查询语义相关的时间间隔(或时刻)。解决这一具有挑战性的任务需要理解视频和查询的语义内容,并对其多模态交互进行细粒度推理。我们的关键思想是将这个挑战转化为算法图匹配问题。在图神经网络最新进展的推动下,我们建议利用图卷积网络来建模视频和文本信息以及它们的语义对齐。为了实现跨模态的信息的相互交换,我们设计了一种新的视频语言图匹配网络(VLG-Net)来匹配视频和查询图。核心成分包括分别建立在视频片段和查询令牌之上的表示图,并用于建模模态内关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后,通过融合时刻的丰富片段特征,使用掩蔽时刻注意力池来创建候选时刻。我们在三个广泛使用的数据集上展示了优于最先进的接地方法的性能,这些数据集用于语言查询视频中时刻的时间定位:ActivityNet-Captions,TACoS和DiDeMo。
2021-08-16 cs.CL cs.CV
EVOQUER: Enhancing Temporal Grounding with Video-Pivoted BackQuery Generation
Pennsylvania State University(宾夕法尼亚州立大学);Kwai Inc(快手)
时间基础旨在预测对应于自然语言查询输入的视频剪辑的时间间隔。在这项工作中,我们提出了EVOQUER,一个时间接地框架,将现有的文本到视频接地模型和视频辅助查询生成网络。给定查询和未修剪的视频,时间基础模型预测目标间隔,并且通过生成输入查询的简化版本将预测的视频剪辑馈送到视频翻译任务中。EVOQUER通过将来自时间基础和查询生成的损失函数作为反馈来形成闭环学习。我们在两个广泛使用的数据集Charades-STA和ActivityNet上的实验表明,EVOQUER在R@0.7时实现了1.05和1.31的改进。我们还讨论了查询生成任务如何通过解释时间接地模型行为来促进错误分析。
2021-09-10 cs.AI cs.CL cs.CV
Beyond Instructional Videos: Probing for More Diverse Visual-Textual Grounding on YouTube
Allen Institute for AI(艾伦人工智能研究所);Google Research(谷歌研究院)
从未标记的网络视频进行预训练已迅速成为在许多视频理解任务上实现高性能的事实手段。通过预测视觉内容和自动语音识别(ASR)标记之间的基础关系来学习特征。然而,之前的预训练工作仅限于教学视频;先验地,我们期望这个领域相对“容易“:教学视频中的说话者通常会引用所描述的文字对象/动作。我们问:类似的模型可以在更多样化的视频语料库上训练吗?如果是,什么类型的视频是“接地”的,什么类型的不是?我们将一个具有代表性的预训练模型与不同的YouTube 8 M数据集相匹配,并研究了其成功和失败的案例。我们发现,视觉文本接地确实是可能的,在以前未探索的视频类别,并在一个更多样化的集合上的预训练结果的表示,概括到非教学和教学领域。
2020-10-16 cs.CL cs.CV
Fine-grained Spatiotemporal Grounding on Egocentric Videos
The Chinese University of Hong Kong(香港中文大学)
本文提出EgoMask基准和EgoMask-Train数据集,针对眼动视频细粒度时空定位的挑战,通过微调提升模型性能。
2025-12-09 cs.CL cs.CV
On Pursuit of Designing Multi-modal Transformer for Video Grounding
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);Columbia University(哥伦比亚大学);National University of Singapore(新加坡国立大学);Peng Cheng Laboratory(鹏城实验室)
视频接地的目的是定位对应于一个句子查询从未经修剪的视频的时间段。现有的视频打基础方法基本上可以分为两种框架:1)自顶向下模型:它预先定义一组候选片段,然后进行片段分类和回归。2)自底向上模型:它直接预测参考段边界的逐帧概率。然而,所有这些方法都不是端到端的,即,它们总是依赖于一些耗时的后处理步骤来改进预测。为此,我们将视频接地重新定义为一组预测任务,并提出了一种新的端到端多模态Transformer模型,称为GTR。具体来说,GTR有两个用于视频和语言编码的编码器,以及一个用于接地预测的跨模态解码器。为了方便端到端的训练,我们使用Cubic Embedding层将原始视频转换为一组视觉令牌。为了在解码器中更好地融合这两种模态,我们设计了一种新的多头跨模态注意。整个GTR通过多对一匹配损失进行优化。此外,我们进行了全面的研究,以调查不同的模型设计选择。三个基准测试的结果验证了GTR的优越性。所有三种典型的GTR变体在所有数据集和指标上都实现了破纪录的性能,推理速度快了几倍。
2022-04-11 cs.CL cs.CV
Relation-aware Video Reading Comprehension for Temporal Language Grounding
Shanghai Jiao Tong University(上海交通大学);CloudWalk Technology Co., Ltd(云从科技集团股份有限公司);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
视频中的时间语言基础旨在定位与给定查询语句相关的时间跨度。以前的方法将其视为边界回归任务或跨度提取任务。本文提出了一种基于时间语言的视频阅读理解框架,并提出了一种基于时间感知网络的视频阅读理解框架(RaNet),该框架通过粗-细的选择-查询交互和选择-选择关系构建,从预定义的答案集合中选择一个视频时刻。提出了一个选择查询交互器,以匹配视觉和文本信息同时在搜索时刻和令牌时刻的水平,导致粗和细的跨模态的交互。此外,一个新的多选择关系构造器引入利用图卷积捕捉视频时刻的选择之间的依赖关系的最佳选择。在ActivityNet-Captions、TACoS和Charades-STA上进行的大量实验证明了该方法的有效性。代码已可用。
2021-12-01 cs.CL cs.CV
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学)
针对视频句子定位中模态间的领域差距问题,提出伪查询中介网络(PIN),利用时间全局文本知识的伪查询特征,通过对比学习和可学习提示增强多模态特征对齐,在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
Weakly-Supervised Video Object Grounding via Causal Intervention
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
我们的目标是弱监督视频对象接地(WSVOG)的任务,在模型学习过程中只有视频句子注释可用。它旨在将句子中描述的对象定位到视频中的视觉区域,这是模式分析和机器学习所需的基本能力。尽管最近取得了进展,但现有的方法都存在严重的虚假关联问题,这将损害接地性能。本文从WSVOG的定义出发,从两个方面对虚假关联进行了分析:(1)关联本身并不与对象相关,但由于监督能力较弱而具有极大的二义性;(2)现有方法采用基于二义性的匹配策略时,由于观测偏差的影响,关联容易混淆。考虑到这一点,我们设计了一个统一的因果框架来学习去基础的对象相关关联,以获得更准确和更强大的视频对象基础。具体而言,我们从视频数据生成过程的角度,通过因果干预来学习对象相关关联。为了克服在干预方面缺乏细粒度监督的问题,我们提出了一种新的时空对抗对比学习范式。为了进一步消除对象相关关联中伴随的混杂效应,我们通过后门调整进行因果干预来追求真正的因果关系。最后,在统一的因果框架下,以端到端的方式学习和优化去基础的对象相关关联。在IID和OOD三个基准测试集上进行的大量实验证明了其对最先进技术的准确和强大的接地性能。
2021-12-01 cs.CL cs.CV
Interventional Video Grounding with Dual Contrastive Learning
Singapore University of Technology and Design(新加坡科技设计大学);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所)
视频接地的目的是本地化的时刻,从一个未修剪的视频为给定的文本查询。现有的方法更多地关注视觉和语言刺激与各种基于似然的匹配或回归策略的对齐,即,P(Y| X)。因此,由于数据集的选择偏差,这些模型可能会遭受语言和视频特征之间的虚假相关。1)为了揭示模型和数据背后的因果关系,我们首先从因果推理的角度提出了一个新的范式,即,基于结构化因果模型(SCM)和do-calculus P(Y),利用后门调整来消除选择偏倚的介入性视频接地(IVG| do(X))。然后,我们提出了一个简单而有效的方法来近似未观察到的混杂因素,因为它不能直接从数据集中采样。2)同时,我们引入了一个双对比学习方法(DCL),以更好地对齐文本和视频查询和视频剪辑之间的互信息(MI),和MI之间的开始/结束帧的目标时刻和其他视频学习更多的信息视觉表示。三个标准基准测试的实验表明,我们的方法的有效性。我们的代码可以在GitHub上找到:https://github.com/nanguoshun/IVG。
2021-07-07 cs.CL cs.CV
ReVisionLLM: Recursive Vision-Language Model for Temporal Grounding in Hour-Long Videos
LMU Munich(慕尼黑大学);MCML(慕尼黑计算与机器学习中心);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Oxford(牛津大学)
本文提出递归视觉-语言模型ReVisionLLM,通过由粗到细的递归定位策略和分层训练方法,首次实现小时级长视频中的时间定位,并在多个数据集上显著超越现有方法。
2024-11-22 cs.CL cs.CV
Towards Debiasing Temporal Sentence Grounding in Video
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Alibaba DAMO Academy(阿里巴巴达摩院)
视频中的时间句子基础(TSGV)任务是从未修剪的视频中定位时间时刻,以匹配语言查询,即,一句话在不考虑矩注释中的偏差的情况下(例如,视频中的开始和结束位置),但是许多模型倾向于捕获时刻注释的统计信息,并且不能很好地学习视频和语言查询之间的跨模态推理。在本文中,我们提出了两个去偏置策略,数据去偏置和模型去偏置,“迫使”TSGV模型捕捉跨模态的相互作用。数据去偏通过视频截断实现数据过采样,以平衡训练集中的时刻时间分布。模型去偏置利用仅视频和仅查询模型来捕获分布偏置,并迫使模型学习跨模态交互。使用VSLNet作为基础模型,我们评估了这两种策略对包含分布外测试实例的两个数据集的影响。实验结果表明,这两种策略都能有效地提高模型的泛化能力.配备了两种去偏策略,VSLNet在两个数据集上都获得了最佳结果。
2021-11-08 cs.CL cs.CV
Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);University of California, Merced(加州大学默塞德分校);Google Research(谷歌研究院);Linköping University(林雪平大学)
本文提出Video-GroundingDINO,通过利用基础空间定位模型的预训练表示,实现开放词汇时空视频定位,在多个闭集和开放词汇基准上超越现有最先进方法。
2024-03-30 cs.CV
SnAG: Scalable and Accurate Video Grounding
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究长视频中大量文本查询的时间定位问题,提出简单基线SnAG,通过晚期融合和视频中心采样实现高效训练,在MAD数据集上比CONE准确率提升43%且速度加快1.5倍。
2024-04-05 cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University(上海交通大学SAI实验室);ByteDance Seed(字节跳动种子)
本文提出UniTime模型,利用生成多模态大语言模型实现通用视频时间定位,有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
Parallel Attention Network with Sequence Matching for Video Grounding
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
提出SeqPAN网络,通过自引导并行注意力融合视频与文本多模态信息,并以序列匹配策略预测片段起止边界,在三个数据集上优于现有方法。
2021-05-18 cs.CL cs.CV
DAEP: Difficulty-Aware Evidence Planning for Medical Video Corpus Temporal Answer Grounding
TikTok, ByteDance(字节跳动TikTok);Beijing Institute of Graphic Communication(北京印刷学院);Lingnan University(岭南大学)
BIGC团队提出DAEP方案,通过多模态证据排名与难度感知规划,在NLPCC 2026共享任务中以0.2728的平均得分获第一名,提升了医学视频时序答案定位的性能。
2026-08-12 cs.CL cs.CV
Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding
Tsinghua University(清华大学)
Video-TwG通过课程强化框架和接地范式提升长视频理解,采用双阶段策略和TwG-GRPO算法优化推理与接地质量。
2026-02-21 cs.AI cs.CV
Affordance Grounding from Demonstration Video to Target Image
National University of Singapore(新加坡国立大学)
人类擅长从专家的示范中学习,解决自己的问题。为了让智能机器人和助手(如AR眼镜)具备这种能力,必须建立人手交互(即,示能表示),并将它们应用于目标图像,如用户的AR眼镜视图。视频到图像可供性基础任务具有挑战性,这是由于(1)需要预测细粒度的可供性,以及(2)有限的训练数据,其不足以覆盖视频图像差异并对基础产生负面影响。为了解决这些问题,我们提出了示能性Transformer(Afformer),它具有一个细粒度的基于transformer的解码器,可以逐渐细化示能性基础。此外,我们还介绍了Mask Affordance Hand(MaskAHand),这是一种自我监督的预训练技术,用于合成视频图像数据和模拟上下文变化,增强视频图像差异的启示基础。带有MaskAHand预训练的Afformer在多个基准测试中实现了最先进的性能,包括在OPRA数据集上大幅提高了37%。代码可在https://github.com/showlab/afformer上获得。
2023-03-26 cs.CV
Language-free Training for Zero-shot Video Grounding
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
给定一个未修剪的视频和一个描述视频中特定时刻的语言查询,视频接地旨在通过同时理解文本和视频来定位时间间隔。最具挑战性的问题之一是极其耗时和成本消耗的注释集合,包括自然语言形式的视频字幕及其相应的时间区域。在本文中,我们提出了一个简单而新颖的训练框架,用于zero-shot设置中的视频接地,该框架仅使用视频数据学习网络,而没有任何注释。受最近的无语言范式的启发,即在没有语言数据的情况下进行训练,我们训练网络,而不强制将假(伪)文本查询生成为自然语言形式。具体来说,我们提出了一种学习视频接地模型的方法,通过选择一个时间间隔作为假设的正确答案,并考虑我们的方法在间隔中选择的视觉特征作为语言特征,在CLIP的对齐良好的视觉语言空间的帮助下。大量的实验证明了我们的无语言训练框架的突出性,超过了现有的zero-shot视频接地方法,甚至超过了两个标准数据集上的几种具有较大余量的弱监督方法。
2022-10-24 cs.CV
Video-Guided Curriculum Learning for Spoken Video Grounding
Zhejiang University(浙江大学)
在本文中,我们介绍了一个新的任务,口语视频接地(SVG),其目的是本地化所需的视频片段从口语描述。与使用文本相比,使用音频要求模型直接从原始语音中利用与视频相关的有用音素和音节。此外,我们随机地将环境噪声添加到这个语音音频中,进一步增加了这项任务的难度,并更好地模拟实际应用。为了矫正语音中的音素差异并从噪声中提取视频相关信息,我们在音频预训练过程中开发了一种新的视频引导的课程学习(VGCL),它可以利用重要的视觉感知来帮助理解口语并抑制外部噪声。考虑到在推理过程中模型无法获得地面实况视频片段,我们设计了一种课程策略,在预训练过程中逐渐将输入视频从地面实况转移到整个视频内容。最后,模型可以学习如何从整个视频片段中提取关键的视觉信息,以帮助理解口语。此外,我们收集了第一个基于ActivityNet的大规模口语视频接地数据集,命名为ActivityNet Speech数据集。大量的实验表明,我们提出的视频引导的课程学习可以促进预训练过程中获得一个相互的音频编码器,显着促进口语视频接地任务的性能。此外,我们证明,在嘈杂的声音的情况下,我们的模型优于接地视频与ASR成绩单的方法,进一步证明了我们的课程策略的有效性。
2022-09-01 cs.CL cs.CV cs.SD
VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding
Tsinghua University(清华大学);Columbia University(哥伦比亚大学);Harbin Engineering University(哈尔滨工程大学)
针对视频时间定位中智能体框架手动优化困难的问题,提出VideoEvolve框架,通过完形填空式表示和分支引导演化自动改进框架,实验证明其有效提升多个基准上的定位性能。
2026-10-02 cs.AI cs.CV
End-to-End Modeling via Information Tree for One-Shot Natural Language Spatial Video Grounding
Zhejiang University(浙江大学);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Hikvision Research Institute(海康威视研究院);Northwestern Polytechnical University(西北工业大学);Shanghai AI Laboratory(上海人工智能实验室)
自然语言空间视频接地的目的是检测相关的视频帧中的描述性语句作为查询。尽管有很大的进步,大多数现有的方法依赖于密集的视频帧注释,这需要大量的人力。为了在有限的注释预算下实现有效的接地,我们研究了单次视频接地,并学习以端到端的方式在所有视频帧中接地自然语言,其中仅标记一帧。端到端单镜头视频基础的一个主要挑战是存在与语言查询或标记帧无关的视频帧。另一个挑战涉及有限的监督,这可能导致无效的表示学习。为了应对这些挑战,我们通过信息树设计了一个端到端模型,用于单次视频接地(IT-OS)。其核心模块信息树采用分支搜索和分支裁剪技术消除无关帧的干扰。此外,提出了几种基于信息树的自监督任务,以改善不充分标记下的表示学习。在基准数据集上的实验证明了该模型的有效性。
2022-05-23 cs.CV
Dual-task Mutual Reinforcing Embedded Joint Video Paragraph Retrieval and Grounding
Kunming University of Science and Technology(昆明理工大学);Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳校区);Yunnan University(云南大学)
针对视频段落定位依赖大规模标注时间标签及已知视频-段落对应关系的问题,提出DMR-JRG方法,通过检索与定位双任务互增强,减少模态差异并构建粗细粒度特征空间,大幅降低标注需求并实现精准匹配定位。
2024-11-26 cs.CV
Visual Relation Grounding in Videos
National University of Singapore(新加坡国立大学);Chinese Academy of Sciences(中国科学院)
在本文中,我们探索了一个新的任务命名为视频中的视觉关系接地(vRGV)。该任务旨在时空定位视频中以主谓宾形式存在的给定关系,以便为其他高级视频语言任务(例如,视频语言基础和视频问答)。该任务中的挑战包括但不限于:(1)主体和对象都需要被时空定位以建立查询关系;(2)视频中视觉关系的时间动态性质难以捕获;以及(3)应该在没有空间和时间上的任何直接监督的情况下实现建立。为了解决这些问题,我们通过关系关注和重构,在构建的层次时空区域图上协同优化两个区域序列,并进一步提出了一种通过视觉实体之间的空间注意力转移来传递消息的机制。实验结果表明,我们的模型不仅可以显着优于基线方法,但也产生视觉上有意义的事实,以支持视觉接地。(Code可以在https://github.com/doc-doc/vRGV上找到)。
2020-07-21 cs.CV
Semantic Conditioned Dynamic Modulation for Temporal Sentence Grounding in Videos
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
视频中的时间句子接地旨在检测和定位一个目标视频片段,其语义对应于给定的句子。现有的方法主要通过匹配和对齐句子和候选视频片段之间的语义来解决这个任务,而忽略了句子信息在时间相关和组成视频中描述的内容中起着重要作用的事实。在本文中,我们提出了一种新的语义条件动态调制(SCDM)机制,它依赖于句子的语义来调制时间卷积运算,以更好地相关和组成的句子相关的视频内容随着时间的推移。更重要的是,所提出的SCDM相对于不同的视频内容动态地执行,以便在句子和视频之间建立更精确的匹配关系,从而提高时间接地准确性。在三个公共数据集上进行的广泛实验表明,我们提出的模型优于最先进的模型,具有明显的边缘,说明SCDM能够更好地关联和定位相关视频内容,以实现时间句子基础。本文的代码可以在https://github.com/yytzsy/SCDM上找到。
2019-10-31 cs.CV
VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Carnegie Mellon University(卡内基梅隆大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学)
VideoGLaMM通过双视觉编码器和时空解码器实现视频像素级定位,在三个任务上均超越现有方法。
2025-03-25 cs.CV
Multi-sentence Video Grounding for Long Video Generation
Tsinghua University(清华大学)
本文提出多句视频定位用于长视频生成的新范式,通过视频检索、编辑和变形,实现低内存成本且保持时间一致性的长视频生成。
2024-07-18 cs.CV
Cross-modal Causal Relation Alignment for Video Question Grounding
Sun Yat-sen University(中山大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Nanyang Technological University(南洋理工大学)
本文提出跨模态因果关联对齐框架CRA,通过高斯平滑定位、跨模态对齐和显式因果干预消除虚假相关性,提升视频问题定位的因果一致性与鲁棒性。
2025-03-05 cs.CL cs.CV cs.LG
EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
Seoul National University(首尔国立大学);Northeastern University(东北大学)
本文提出EvoGround框架,通过两个自进化智能体自学习视频时间定位,无需人工标注数据,在多个基准上表现优异。
2026-10-30 cs.CV
Co-Grounding Networks with Semantic Attention for Referring Expression Comprehension in Videos
Columbia University(哥伦比亚大学)
在本文中,我们解决的问题是指表达理解视频,这是具有挑战性的,由于复杂的表达和场景动态。不像以前的方法在多个阶段解决问题(即,跟踪,基于建议的匹配),我们从一个新的角度,\textbf{co-grounding},一个优雅的一个阶段的框架来解决这个问题。我们通过语义注意学习提高单帧接地的准确性,并提高跨帧接地的一致性与共接地特征学习。语义注意学习显式地解析不同属性中的指称线索,以减少复杂表达式中的歧义。共接地特征学习通过整合时间相关性来提高视觉特征表示,以减少场景动态引起的模糊性。实验结果表明,我们的框架上的视频接地数据集VID和LiOTB在跨帧生成准确和稳定的结果的优越性。我们的模型也适用于引用图像中的表达理解,RefCOCO数据集上的性能改进说明了这一点。我们的项目可以在https://sijiesong.github.io/co-grounding上找到。
2021-03-23 cs.CV
Read, Watch, and Move: Reinforcement Learning for Temporally Grounding Natural Language Descriptions in Videos
Baidu Inc.(百度公司);Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心)
视频接地的任务,即在时间上定位视频中的自然语言描述,在理解视频中起着重要的作用。现有的研究采用了在整个视频上滑动窗口或在预分割的视频中对所有可能的剪辑句子对进行详尽排名的策略,这不可避免地会受到详尽列举的候选人的影响。为了缓解这个问题,我们制定了这个任务作为一个问题的顺序决策,通过学习的代理,逐步规范其政策的基础上的时间接地边界。具体来说,我们提出了一个基于强化学习的框架,通过多任务学习进行改进,并且通过在训练过程中考虑额外的监督边界信息,显示出稳定的性能增益。我们提出的框架在ActivityNet'18 DenseCaption数据集和Charades-STA数据集上实现了最先进的性能,同时每个视频只观察10个或更少的剪辑。
2019-01-21 cs.CV
MRTNet: Multi-Resolution Temporal Network for Video Sentence Grounding
National University of Singapore(新加坡国立大学);Columbia University(哥伦比亚大学);The University of Sydney(悉尼大学)
给定一个未修剪的视频和自然语言查询,视频句子接地的目的是定位视频中的目标时刻。现有的方法主要通过在单个时间分辨率上匹配和对齐描述语句和视频片段的语义来解决这个任务,而忽略了不同分辨率下视频内容的时间一致性。在这项工作中,我们提出了一种新的多分辨率时间视频句子接地网络:MRTNet,它由一个多模态特征编码器,一个多分辨率时间(MRT)模块,和一个预测模块。MRT模块是一个编码器-解码器网络,解码器部分的输出功能与Transformers一起预测最终的开始和结束时间戳。特别是,我们的MRT模块是热插拔的,这意味着它可以无缝地集成到任何无锚模型中。此外,我们利用混合损失监督跨模态的MRT模块更准确地接地在三个尺度:帧级,剪辑级和序列级的功能。在三个流行数据集上的大量实验表明了MRTNet的有效性。
2022-12-27 cs.CV
Position-aware Location Regression Network for Temporal Video Grounding
Seoul National University(首尔国立大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI))
视频监控成功接地的关键是理解与重要角色和对象相对应的语义短语。传统的方法忽略了短语的综合上下文,或者需要对多个短语进行大量计算。为了理解只有一个语义短语的综合上下文,我们提出了位置感知位置回归网络(PLRN),它利用查询和视频的位置感知功能。具体地,PLRN首先使用字和视频片段的位置信息对视频和查询两者进行编码。然后,语义短语特征提取的编码查询与注意。语义短语特征和编码视频被合并,并通过反映局部和全局上下文而成为上下文感知特征。最后,PLRN预测接地边界的开始、结束、中心和宽度值。我们的实验表明,PLRN实现了竞争力的性能比现有的方法具有更少的计算时间和内存。
2022-04-12 cs.CV
Can Shuffling Video Benefit Temporal Bias Problem: A Novel Training Framework for Temporal Grounding
Beijing University of Posts and Telecommunications(北京邮电大学)
时间接地的目的是定位一个目标视频时刻,语义上对应于给定的句子查询在一个未修剪的视频。然而,最近的工作发现,现有的方法遭受严重的时间偏差问题。这些方法不基于视觉-文本语义对齐来推理目标时刻位置,而是过度依赖于训练集中查询的时间偏差。为此,本文提出了一种新的训练框架,用于接地模型使用混洗视频来解决时间偏差问题,而不会失去接地精度。我们的框架引入了两个辅助任务,跨模态匹配和时序判别,以促进接地模型训练。跨模态匹配任务利用混洗视频和原始视频之间的内容一致性来迫使基础模型挖掘视觉内容以在语义上匹配查询。时间顺序辨别任务利用时间顺序的差异来加强对长期时间背景的理解。Charades-STA和ActivityNet字幕上的大量实验表明,我们的方法可以有效地减轻对时间偏差的依赖,并增强模型对不同时间分布的泛化能力。代码可在https://github.com/haojc/ShufflingVideosForTSG上获得。
2022-08-05 cs.CV
G2L: Semantically Aligned and Uniform Video Grounding via Geodesic and Game Theory
Peking University(北京大学);International Digital Economy Academy (IDEA)(国际数字经济学院)
提出基于测地线和博弈论的视频定位框架G2L,通过测地线距离建模时刻相关性指导跨模态表示,并利用语义Shapley交互实现细粒度语义对齐,有效解决了语义重叠与稀疏标注问题。
2024-01-09 cs.CV
Investigating Query-Insensitive Behavior in Spatio-Temporal Video Grounding
Samsung AI Center(三星人工智能中心)
本研究挑战STVG模型假设查询与视频相关的传统,发现现有模型在无关或缺失查询时仍能预测,分析数据集规律并提出负感知评估协议与架构以评估查询相关性。
2026-10-06 cs.AI cs.CL cs.CV
End-to-End Dense Video Grounding via Parallel Regression
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
本文提出 PRVG 框架,将密集视频定位建模为语言条件并行回归,以语言为查询直接预测多个时刻边界,并在 ActivityNet Captions 和 TACoS 上取得显著优势。
2024-02-28 cs.CV
LLM4VG: Large Language Models Evaluation for Video Grounding
Tsinghua University(清华大学);Tencent(腾讯)
该研究提出LLM4VG基准,系统评估两类视频大语言模型的视频定位性能,通过提示词方法整合不同生成器的描述信息,发现现有VidLLM性能仍有不足,而LLM结合视觉模型的方案具备初步能力与提升潜力。
2024-09-12 cs.CV
Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding
Qwen3-VL-8B-Instruct
本文提出了一种新的视频时间接地框架F2G,通过将时间接地问题重新表述为可验证的识别-测量问题,结合预测性时间感知和证据驱动推理,以提高时间接地的准确性和鲁棒性。
2026-05-21 cs.CV
PG-Video-LLaVA: Pixel Grounding Large Video-Language Models
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);University of Central Florida(中佛罗里达大学);Linköping University(林雪平大学)
本文提出PG-Video-LLaVA,通过音频转录、现成跟踪器与新型定位模块,使大型视频-语言模型首次具备像素级物体定位能力,并提升视频对话表现。
2023-12-13 cs.AI cs.CV
Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of California, Merced(加州大学默塞德分校);Apertix(阿珀蒂克斯公司)
针对时空视频定位的自回归解码存在延迟高、误差易传播的问题,提出并行轨迹解码,在VidSTG等数据集上实现显著的延迟降低与吞吐量提升,且可零样本泛化到多项相关任务
2026-08-31 cs.CV
Gaussian Kernel-based Cross Modal Network for Spatio-Temporal Video Grounding
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学)
时空视频定位是一个具有挑战性的任务,它的目标是根据自然语言查询,在语义上定位感兴趣对象的时空管道。大多数以前的作品不仅严重依赖于Faster R-CNN提取的锚框,而且简单地将视频视为一系列单独的帧,因此缺乏时间建模。相反,在本文中,我们是第一个提出一个锚的STVG框架,称为高斯核基跨模态网络(GKCMN)。具体来说,我们利用每个视频帧的基于高斯核的热图来定位与查询相关的对象。进一步开发了一种混合的串行和并行连接网络,以利用帧之间的空间和时间关系,以实现更好的接地。在VidSTG数据集上的实验结果证明了GKCMN的有效性。
2022-07-02 cs.CV
ChatVTG: Video Temporal Grounding via Chat with Video Dialogue Large Language Models
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Horace Mann School(霍勒斯·曼学校)
提出ChatVTG方法,利用视频对话大语言模型生成多粒度描述并匹配查询,实现零样本视频时序定位,通过时刻细化提升精度,在多个数据集上超越现有零样本方法。
2024-10-01 cs.CV cs.MM
Script-to-Slide Grounding: Grounding Script Sentences to Slide Objects for Automatic Instructional Video Generation
Nagoya Institute of Technology(名古屋技术大学)
本文提出Script-to-Slide Grounding任务,利用大语言模型实现脚本与幻灯片对象的自动接地,实验显示F1分数达0.924,为自动化幻灯片视频编辑奠定基础。
2026-03-14 cs.AI cs.CV
Invariant Grounding for Video Question Answering
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
视频问答(VideoQA)是回答关于视频的问题的任务。其核心是理解视频中的视觉场景与所讨论的语言语义之间的一致性,从而得出答案。在领先的视频问答模型中,典型的学习目标,经验风险最小化(ERM),锁定在视频问题对和答案之间的表面相关性作为对齐。然而,ERM可能存在问题,因为它倾向于过度利用与问题无关的场景和答案之间的虚假相关性,而不是检查问题关键场景的因果关系。因此,VideoQA模型遭受不可靠的推理。在这项工作中,我们首先采取的因果关系看视频QA,并认为不变的基础是排除虚假相关性的关键。为此,我们提出了一个新的学习框架,不变接地视频QA(IGV),接地的关键问题的场景,其因果关系与答案是不变的,在不同的干预措施的补充。通过IGV,VideoQA模型被迫屏蔽回答过程免受虚假相关的负面影响,这显着提高了推理能力。在三个基准数据集上的实验验证了IGV在准确性、视觉可解释性和泛化能力方面优于领先基线。
2022-06-06 cs.CV
Dense Regression Network for Video Grounding
South China University of Technology(华南理工大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学)
我们解决的问题,视频接地从自然语言查询。这项任务的关键挑战是,一个训练视频可能只包含几个带注释的开始/结束帧,这些帧可以用作模型训练的正面示例。大多数传统方法使用这种不平衡数据直接训练二元分类器,从而获得较差的结果。本文的核心思想是利用地面实况中的帧与起始(结束)帧之间的距离作为密集监督,以提高视频接地精度。具体来说,我们设计了一种新的密集回归网络(DRN)回归从每帧到查询所描述的视频段的开始(结束)帧的距离。我们还提出了一个简单但有效的IoU回归头模块,以明确考虑接地结果的定位质量(即,预测位置和地面实况之间的IoU)。实验结果表明,我们的方法在三个数据集(即,Charades-STA、ActivityNet-Captions和TACoS)。
2020-04-07 cs.CV
RGNet: A Unified Clip Retrieval and Grounding Network for Long Videos
LMU Munich(慕尼黑大学);MCML(慕尼黑计算与机器学习中心);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对长视频时序定位难题,提出将片段检索与定位深度融合的RGNet,通过RG-Encoder、稀疏注意力等设计,在MAD和Ego4D数据集上取得SOTA性能。
2024-07-13 cs.CV
A Multi-level Alignment Training Scheme for Video-and-Language Grounding
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
要解决视频和语言的基础任务,关键是让网络理解这两种模式之间的联系。对于一对视频和语言描述,它们之间的语义关系通过编码相似度来反映。一个好的多模态编码器应该能够很好地捕捉两个输入的语义,并将它们编码在共享特征空间中,其中嵌入距离被适当地转换为它们的语义相似度。在这项工作中,我们专注于视频和语言之间的这种语义联系,并开发了一种多级对齐训练方案来直接塑造编码过程。基于从高层上下文到细粒度语义的信息相似度,设计了全局和片段级的视频-语言对齐对。对比性损失用于对比正负比对对之间的编码相似性,并确保网络以这样一种方式进行训练,即相似信息在共享特征空间中紧密编码,而不同语义的信息保持分离。我们的多层次对齐训练可以应用于各种视频和语言基础任务。再加上特定于任务的训练损失,我们的框架在多个视频QA和检索数据集上实现了与以前最先进的性能相当的性能。
2023-02-27 cs.CL cs.CV cs.LG
Grounding-Tracking-Integration
University of Rochester(罗切斯特大学);Xiamen University(厦门大学)
在本文中,我们研究的语言跟踪,定位的目标框序列在视频中的语言查询的基础上。我们提出了一个称为GTI的框架,将问题分解为三个子任务:接地,跟踪和集成。三个子任务模块同时运行,逐帧预测框序列。“基础”直接从语言查询预测所涉及的区域。“跟踪”基于先前帧中的接地区域的历史来定位目标。“集成”通过协同结合接地和跟踪生成最终预测。以“整合”任务为关键,探索如何在每一帧中指示接地区域的质量,并实现期望的互利组合。为此,我们提出了一种“RT整合”方法,该方法定义并预测两个分数来指导整合:1)R分数表示区域正确性,无论接地预测是否准确覆盖目标,以及2)T分数表示模板质量,无论该区域是否提供信息丰富的视觉线索以改善未来帧中的跟踪。我们提出了我们的实时GTI实现与建议的RT集成,并基准LaSOT和Lingual OTB 99的框架非常有前途的结果。此外,我们产生了一个歧义版本的LaSOT查询,以方便未来的跟踪语言研究。
2020-11-14 cs.CV
SimBase: A Simple Baseline for Temporal Video Grounding
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
本文提出SimBase,一种用于时序视频定位的简单基线,通过轻量级一维时序卷积层和逐元素乘积替代复杂结构,在两个大规模数据集上取得最先进结果。
2024-11-12 cs.CV
VTimeCoT: Thinking by Drawing for Video Temporal Grounding and Reasoning
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab(诺亚实验室);Imperial College London(伦敦帝国理工学院)
VTimeCoT提出免训练框架,利用进度条视觉工具和视觉时间思维链,提升多模态大模型在视频时间定位与推理问答中的性能,实现组合式可解释推理。
2025-10-16 cs.CV
Look Closer to Ground Better: Weakly-Supervised Temporal Grounding of Sentence in Video
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室);Huazhong University of Science and Technology(华中科技大学)
本文研究了视频中句子的弱监督时间背景问题。具体来说,给定一个未修剪的视频和一个查询语句,我们的目标是在视频中定位一个在语义上与查询语句相对应的时间段,而不依赖于训练过程中的任何时间注释。我们提出了一个两阶段的模型来解决这个问题,在一个由粗到细的方式。在粗略阶段,我们首先使用多尺度滑动窗口生成一组固定长度的时间提案,并将其视觉特征与句子特征进行匹配,以确定最佳匹配的提案作为粗略的接地结果。在精细阶段,我们在最佳匹配建议中的帧的视觉特征和句子特征之间执行细粒度匹配,以定位精细接地结果的精确帧边界。在ActivityNet Captions数据集和Charades-STA数据集上的综合实验表明,我们的两阶段模型具有令人信服的性能。
2020-01-25 cs.CV
UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出UniversalVTG,一种通用轻量视频时间定位模型,通过大规模跨数据集预训练实现高效长视频定位,优于专用模型且比大语言模型更轻量。
2026-04-09 cs.CV