Sentence Specified Dynamic Video Thumbnail Generation
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
随着互联网上视频的巨大增长，提供视频内容预览的视频缩略图对于影响用户的在线搜索体验变得越来越重要。传统的视频缩略图仅基于视频的视觉特性生成一次，然后根据请求显示。因此，这样的视频缩略图，不考虑用户的搜索意图，不能提供用户关注的视频内容的有意义的快照。在本文中，我们定义了一个独特的新任务，即句子指定的动态视频缩略图生成，生成的缩略图不仅提供了一个简洁的预览原始视频内容，但也动态地与用户的搜索意图与语义对应的用户的查询语句。为了解决这样一个具有挑战性的任务，我们提出了一种新的图卷积视频缩略图指针（GTP）。具体地说，GTP利用句子指定的视频图卷积网络来建模与句子信息相结合的视频-视频语义交互和内部视频关系，然后基于其引入时间条件指针网络来顺序地生成句子指定的视频缩略图。此外，我们基于ActivityNet Captions为拟议的新任务注释了一个新的数据集，该数据集由10，000多个视频-句子对组成，每个视频-句子对都伴随着一个注释的句子指定的视频缩略图。我们证明，我们提出的GTP优于几个基线方法创建的数据集，因此相信我们的初步结果，随着新数据集的发布将激发进一步的研究句子指定的动态视频缩略图生成。数据集和代码可在https://github.com/yytzsy/GTP上获得。
2019-10-16 cs.CV
Sentence Guided Temporal Modulation for Dynamic Video Thumbnail Generation
University of Manitoba（曼尼托巴大学）；Huawei Technologies（华为技术有限公司）
我们考虑的问题，句子指定的动态视频缩略图生成。给定输入视频和用户查询语句，目标是生成不仅提供视频内容的预览，而且在语义上对应于语句的视频缩略图。在本文中，我们提出了一个句子引导的时间调制（SGTM）机制，利用句子嵌入调制的归一化的时间激活的视频缩略图生成网络。与现有的国家的最先进的方法，使用经常性的架构，我们提出了一个非经常性的框架，是简单的，并允许更多的并行化。在大规模数据集上的大量实验和分析证明了该框架的有效性。
2020-08-31 cs.CV
Semantic Conditioned Dynamic Modulation for Temporal Sentence Grounding in Videos
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
视频中的时间句子接地旨在检测和定位一个目标视频片段，其语义对应于给定的句子。现有的方法主要通过匹配和对齐句子和候选视频片段之间的语义来解决这个任务，而忽略了句子信息在时间相关和组成视频中描述的内容中起着重要作用的事实。在本文中，我们提出了一种新的语义条件动态调制（SCDM）机制，它依赖于句子的语义来调制时间卷积运算，以更好地相关和组成的句子相关的视频内容随着时间的推移。更重要的是，所提出的SCDM相对于不同的视频内容动态地执行，以便在句子和视频之间建立更精确的匹配关系，从而提高时间接地准确性。在三个公共数据集上进行的广泛实验表明，我们提出的模型优于最先进的模型，具有明显的边缘，说明SCDM能够更好地关联和定位相关视频内容，以实现时间句子基础。本文的代码可以在https://github.com/yytzsy/SCDM上找到。
2019-10-31 cs.CV
Visual Text Correction
University of Central Florida（中佛罗里达大学）
视频、图像和句子是可以表达相同语义的媒介。一个人可以通过阅读一个句子来想象一幅图画，或者可以用一些单词来描述一个场景。然而，即使句子中的微小变化也会导致与相应视频/图像的显著语义不一致。例如，通过改变一个句子的动词，意思可能会发生巨大的变化。已经有许多努力来编码视频/句子并将其解码为句子/视频。在这项研究中，我们研究了一个新的场景，其中的句子和视频都给出了，但句子是不准确的。句子和视频之间或句子的单词之间的语义不一致可能导致不准确的描述。本文介绍了一个新的问题，称为视觉文本校正（VTC），即，在视频的文本描述中查找并替换不准确的词。我们提出了一个深度网络，可以同时检测句子中的不准确之处，并通过替换不准确的单词来修复它。我们的方法利用了视频和单词的语义相互依赖性，以及句子中单词的短期和长期关系。在我们的配方中，每个单词的视觉特征向量的一部分是通过门控过程动态选择的。此外，为了训练和评估我们的模型，我们提出了一种方法来自动构建一个大数据集的VTC问题。我们的实验和性能分析表明，该方法提供了非常好的结果，也突出了解决VTC问题的一般挑战。据我们所知，这项工作是第一次为视觉文本校正任务。
2018-09-13 cs.CL cs.CV
Cross-Sentence Temporal and Semantic Relations in Video Activity Localisation
Queen Mary University of London（伦敦玛丽女王大学）；WICT, Peking University（北京大学王选计算机研究所）；Adobe Research（Adobe研究院）
视频活动本地化最近获得了越来越多的关注，由于其实用价值，在自动本地化的最显着的视觉片段，对应于他们的语言描述（句子）从未经修剪和非结构化的视频。对于监督模型训练，必须给出句子（视频时刻）的每个视频片段的开始和结束时间索引的时间注释。这不仅非常昂贵，而且对模糊性和主观注释偏见敏感，这是一项比图像标记更难的任务。在这项工作中，我们开发了一个更准确的弱监督的解决方案，通过引入跨句关系挖掘（CRM）在视频时刻的建议生成和匹配时，只有一个段落的活动描述没有每句时间注释。具体而言，我们探讨了两个跨句子的关系约束：（1）时间顺序和（2）在一个段落的视频活动的描述句子之间的语义一致性。现有的弱监督技术在训练中只考虑句子内视频片段的相关性，而不考虑跨句子段落上下文。这可能会误导，因为单个句子的模糊表达与孤立的视觉上无差别的视频时刻建议。在两个公开的活动定位数据集上的实验表明，我们的方法优于最先进的弱监督方法，特别是当视频活动描述变得更加复杂时。
2021-08-17 cs.CV
Word2VisualVec: Image and Video to Sentence Matching by Visual Feature Prediction
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）；University of Amsterdam（阿姆斯特丹大学）
本文试图找到最能描述图像或视频内容的句子。不同于现有的作品，它依赖于一个联合子空间的图像/视频句子匹配，我们建议这样做的视觉空间。我们贡献了Word 2 VisualVec，这是一个深度神经网络架构，可以学习预测基于句子向量化和多层感知器的文本输入的深度视觉编码。我们深入分析了它的架构设计，通过改变句子向量化策略，网络深度和深度特征来预测图像到句子的匹配。我们还通过将预测能力扩展到3-D ConvNet特征以及视觉-音频表示，将Word 2 VisualVec推广到视频与句子的匹配。在四个具有挑战性的图像和视频基准上的实验详细介绍了Word 2 VisualVec的属性，图像和视频与句子匹配的能力，以及在所有数据集上的最先进的结果。
2016-11-25 cs.CV
To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；JD AI Research（京东人工智能研究院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
给定一个未修剪的视频和一个句子描述，时间句子定位的目的是自动确定视频中所描述的句子的开始和结束点。这个问题具有挑战性，因为它需要对视频和句子的理解。现有的研究主要采用了一个昂贵的“扫描和本地化”的框架，忽略了全球视频上下文和句子中的具体细节，这是这个问题的关键问题。在本文中，我们提出了一种新的基于注意力的位置回归（ABLR）的方法来解决时间句子定位从全局的角度来看。具体来说，为了保留上下文信息，ABLR首先通过双向LSTM网络对视频和句子进行编码。然后，引入多模态协同注意力机制，不仅生成反映全局视频结构的视频注意力，还生成突出时间定位关键细节的句子注意力。最后，设计了一种新的基于注意力的位置回归网络，从先前的注意力预测句子查询的时间坐标。ABLR以端到端的方式进行联合培训。在ActivityNet Captions和TACoS数据集上的综合实验证明了所提出的ABLR方法的有效性和效率。
2018-11-03 cs.CV
A Faster Method for Tracking and Scoring Videos Corresponding to Sentences
Purdue University（普渡大学）
先前的工作提出了句子跟踪器，一种用于对句子描述视频剪辑的程度或视频剪辑描述句子的程度进行评分的方法。我们提出了一种改进的方法，用于优化相同的成本函数，采用这种先前的工作，减少空间复杂度从指数的句子长度的多项式，以及产生一个定性相同的结果，在时间多项式的句子长度，而不是指数。由于这种新方法与之前的方法是插件兼容的，因此它可以用于相同的应用程序：具有连续查询的视频检索、生成视频剪辑的连续描述、以及用句子集中跟踪器的注意力，同时允许这些应用以显著更大数量的目标检测、用具有显著更大数量的状态的HSTIM建模的单词含义，刑期大大延长，但结果的质量没有明显下降。
2014-11-14 cs.CV
Towards Debiasing Temporal Sentence Grounding in Video
Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Alibaba DAMO Academy（阿里巴巴达摩院）
视频中的时间句子基础（TSGV）任务是从未修剪的视频中定位时间时刻，以匹配语言查询，即，一句话在不考虑矩注释中的偏差的情况下（例如，视频中的开始和结束位置），但是许多模型倾向于捕获时刻注释的统计信息，并且不能很好地学习视频和语言查询之间的跨模态推理。在本文中，我们提出了两个去偏置策略，数据去偏置和模型去偏置，“迫使”TSGV模型捕捉跨模态的相互作用。数据去偏通过视频截断实现数据过采样，以平衡训练集中的时刻时间分布。模型去偏置利用仅视频和仅查询模型来捕获分布偏置，并迫使模型学习跨模态交互。使用VSLNet作为基础模型，我们评估了这两种策略对包含分布外测试实例的两个数据集的影响。实验结果表明，这两种策略都能有效地提高模型的泛化能力.配备了两种去偏策略，VSLNet在两个数据集上都获得了最佳结果。
2021-11-08 cs.CL cs.CV
Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们解决了一个新的任务，即弱监督的时空接地视频中的自然句子。具体来说，给定一个自然句子和一个视频，我们在视频中定位一个时空管，它在语义上对应于给定的句子，在训练过程中不依赖任何时空注释。首先，从视频中提取一组时空管，称为实例。然后，我们编码这些实例和句子使用我们提出的专注的交互器，可以利用它们的细粒度的关系来表征它们的匹配行为。除了排名损失，一种新的多样性损失被引入到训练所提出的专注的交互器，以加强匹配行为的可靠的实例-句子对和惩罚不可靠的。此外，我们还基于ImageNet视频目标检测数据集贡献了一个名为VID-sentence的数据集，作为我们任务的基准。大量的实验结果表明，我们的模型优于基线方法。
2019-06-06 cs.CV
TempCLR: Temporal Alignment Representation with Contrastive Learning
Columbia University（哥伦比亚大学）
视频表示学习在用于zero-shot传输的视频-文本预训练中已经取得了成功，其中每个句子都被训练成接近公共特征空间中的成对视频剪辑。对于长视频，给定一段描述，其中句子描述了视频的不同片段，通过匹配所有片段-剪辑对，段落和完整视频被隐式地对齐。然而，这种单元级的比较可能会忽略全局时间上下文，这不可避免地限制了泛化能力。在本文中，我们提出了一个对比学习框架Temptum来明确地比较完整的视频和段落。由于视频/段落被公式化为片段/句子的序列，在它们的时间顺序的约束下，我们使用动态时间扭曲来计算片段-片段对的最小累积成本作为序列级距离。为了探索时间动态，我们打破了时间序列的一致性洗牌视频剪辑w.r.t.时间粒度然后，我们得到的表示剪辑/句子，感知的时间信息，从而促进序列对齐。除了对视频和段落进行预训练外，我们的方法还可以概括视频实例之间的匹配。我们评估我们的方法对视频检索，动作步骤定位，和Few-Shot动作识别，并实现一致的性能增益在所有三个任务。提供详细的消融研究以证明入路设计的合理性。
2023-03-30 cs.CL cs.CV
Hierarchical Deep Residual Reasoning for Temporal Moment Localization
Shandong University（山东大学）
未裁剪视频中的时间矩定位（TML）是多媒体领域的一项具有挑战性的任务，其目的是定位视频中由句子查询描述的活动的起点和终点。现有的方法主要集中在挖掘视频和句子表示之间的相关性或研究两种形式的融合方式。这些作品主要是对视频和句子进行粗略的理解，忽略了句子可以从多种语义中理解，而语义中影响时刻定位的主导词是动作和对象指称。为此，我们提出了一个分层深度残差推理（HDRR）模型，该模型将视频和句子分解为具有不同语义的多级表示，以实现更细粒度的本地化。此外，考虑到不同分辨率的视频和不同长度的句子在理解上的难度不同，本文设计了简单有效的Res-BiGRU进行特征融合，能够自适应地把握有用信息。在Charades-STA和ActivityNet-Captions数据集上进行的大量实验表明，与其他最先进的方法相比，我们的HDRR模型具有优越性。
2021-10-31 cs.CL cs.CV cs.IR
Saying What You're Looking For: Linguistics Meets Video Search
Purdue University（普渡大学）
我们提出了一种方法来搜索大型视频语料库中的视频剪辑描述的自然语言查询的形式的句子。这种方法使用组合语义来编码在其他系统中丢失的微妙含义，例如具有相同单词但含义完全不同的两个句子之间的差异：“The person rode the horse}与\emph {The horse rode the person”。给定一个视频句子对和一个自然语言解析器，以及一个描述语义查询空间的语法，我们会产生一个分数，表明视频对句子的描述有多好。我们为语料库中的每个视频片段生成这样的分数，并返回片段的排名列表。此外，该方法同时解决了两个基本问题：检测和跟踪对象，并识别这些轨迹是否描述了查询。因为跟踪和目标检测都是不可靠的，所以这使用关于预期的初步查询的知识来将跟踪器集中在相关参与者上，并确保所得到的轨迹由初步查询描述。虽然早期的工作仅限于对应于动词或名词的单字查询，我们展示了如何搜索包含多个短语（如介词短语）和修饰语（如副词）的复杂查询。我们证明了这种方法，通过搜索141个查询，涉及人和马相互作用，在10个全长好莱坞电影。
2013-09-20 cs.CL cs.CV cs.IR
Learning Joint Representations of Videos and Sentences with Web Image Search
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Oulu（奥卢大学）
我们的目标是基于自然语言查询的视频检索。此外，我们考虑类似的问题，检索句子或生成描述给定的输入视频。最近的工作通过将视觉和文本输入嵌入到语义相似性与距离相关的公共空间来解决这个问题。我们也采用嵌入的方法，并作出以下贡献：第一，我们利用网络图像搜索的句子嵌入过程中，以消除歧义的细粒度的视觉概念。其次，我们提出了句子，图像和视频输入的嵌入模型，其参数同时学习。最后，我们将展示如何将该模型应用于描述生成。总的来说，我们观察到一个明显的改善，在视频和句子检索任务的最先进的方法。在描述生成中，性能水平与当前最先进的水平相当，尽管我们的嵌入是针对检索任务进行训练的。
2016-08-08 cs.CV
Multiple Visual-Semantic Embedding for Video Retrieval from Query Sentence
Tohoku University（东北大学）
本文提出多重视觉-语义嵌入框架，将视频和句子映射到多个独立嵌入空间，并通过基于句子的加权求和融合相似度，在句子到视频检索任务上取得了优于现有方法的性能。
2020-04-16 cs.CV
Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos
Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
自动生成描述事件的句子和对视频中的句子进行时间定位是连接语言和视频的两个重要任务。最近的技术利用视频的多模态特性，使用现成的功能来表示视频，但很少探索模态之间的交互。受人脑中存在跨模态交互的事实的启发，我们提出了一种新的方法来学习成对模态交互，以便更好地利用视频中每对模态的互补信息，从而提高这两项任务的性能。我们在序列和通道两个层次上以成对的方式对通道交互进行建模，成对的交互也为目标任务的预测提供了一些解释。我们证明了我们的方法的有效性，并通过广泛的消融研究验证特定的设计选择。我们的方法在四个标准基准数据集上实现了最先进的性能：MSVD和MSR-VTT（事件字幕任务），Charades-STA和ActivityNet字幕（时间句子本地化任务）。
2020-07-28 cs.CV
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Look Closer to Ground Better: Weakly-Supervised Temporal Grounding of Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；Huazhong University of Science and Technology（华中科技大学）
本文研究了视频中句子的弱监督时间背景问题。具体来说，给定一个未修剪的视频和一个查询语句，我们的目标是在视频中定位一个在语义上与查询语句相对应的时间段，而不依赖于训练过程中的任何时间注释。我们提出了一个两阶段的模型来解决这个问题，在一个由粗到细的方式。在粗略阶段，我们首先使用多尺度滑动窗口生成一组固定长度的时间提案，并将其视觉特征与句子特征进行匹配，以确定最佳匹配的提案作为粗略的接地结果。在精细阶段，我们在最佳匹配建议中的帧的视觉特征和句子特征之间执行细粒度匹配，以定位精细接地结果的精确帧边界。在ActivityNet Captions数据集和Charades-STA数据集上的综合实验表明，我们的两阶段模型具有令人信服的性能。
2020-01-25 cs.CV
MRTNet: Multi-Resolution Temporal Network for Video Sentence Grounding
National University of Singapore（新加坡国立大学）；Columbia University（哥伦比亚大学）；The University of Sydney（悉尼大学）
给定一个未修剪的视频和自然语言查询，视频句子接地的目的是定位视频中的目标时刻。现有的方法主要通过在单个时间分辨率上匹配和对齐描述语句和视频片段的语义来解决这个任务，而忽略了不同分辨率下视频内容的时间一致性。在这项工作中，我们提出了一种新的多分辨率时间视频句子接地网络：MRTNet，它由一个多模态特征编码器，一个多分辨率时间（MRT）模块，和一个预测模块。MRT模块是一个编码器-解码器网络，解码器部分的输出功能与Transformers一起预测最终的开始和结束时间戳。特别是，我们的MRT模块是热插拔的，这意味着它可以无缝地集成到任何无锚模型中。此外，我们利用混合损失监督跨模态的MRT模块更准确地接地在三个尺度：帧级，剪辑级和序列级的功能。在三个流行数据集上的大量实验表明了MRTNet的有效性。
2022-12-27 cs.CV
Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks
Purdue University（普渡大学）；Baidu Research - Institute of Deep Learning（百度研究院深度学习研究所）；Facebook（脸书）
我们提出了一种利用分层循环神经网络（RNN）来解决视频描述问题的方法，即，生成描述真实视频的一个或多个句子。我们的分层框架包含一个句子生成器和一个段落生成器。句子生成器生成一个简单的短句，描述特定的短视频间隔。它利用时间和空间两种注意力机制，在生成过程中选择性地关注视觉元素。段落生成器通过将由句子生成器产生的连续嵌入作为输入、将其与段落历史相结合、并输出用于句子生成器的新的初始状态来捕获句子间依赖性。我们在两个大规模的基准数据集上评估了我们的方法：YouTubeClips和TACoS-MultiLevel。实验表明，我们的方法显着优于当前最先进的方法与BLEU@4得分分别为0.499和0.305。
2016-04-06 cs.CV
Open-book Video Captioning with Retrieve-Copy-Generate Network
CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
由于短视频的迅速崛起以及对内容理解和创作的要求，视频描述任务近年来越来越受到关注。在本文中，我们将传统的视频描述任务转换成一个新的范式，\ie，开卷视频描述，它产生自然语言的提示下，视频内容相关的句子，而不限于视频本身。为了解决开卷视频描述问题，提出了一种新颖的检索-复制-生成网络，构建了一个可插入的视频到文本检索器，有效地从训练语料库中检索句子作为提示，并引入了一个复制机制生成器，从多个检索到的句子中动态地提取表达式。这两个模块可以端到端或单独训练，这是灵活和可扩展的。我们的框架协调传统的基于检索的方法与正统的编码器-解码器的方法，它不仅可以利用检索到的句子中的各种表达，而且还生成自然和准确的视频内容。在多个基准数据集上的实验表明，该方法的性能优于最先进的方法，表明了该方法在视频描述中的有效性和应用前景.
2021-03-09 cs.CL cs.CV
Actor and Action Video Segmentation from a Sentence
University of Amsterdam（阿姆斯特丹大学）
本文致力于视频内容中演员及其动作的像素级分割。不同于现有的作品，这一切都学习分割从一个固定的词汇表的演员和动作对，我们推断的分割从一个自然语言输入句子。这允许区分同一超类别中的细粒度参与者，识别参与者和动作实例，以及参与者和动作词汇表之外的分段对。我们提出了一个全卷积模型，用于像素级演员和动作分割，使用针对视频优化的编码器解码器架构。为了展示从句子中分割演员和动作视频的潜力，我们扩展了两个流行的演员和动作数据集，其中包含超过7，500个自然语言描述。实验表明，质量的广告引导分割，我们的模型的泛化能力，其优势，传统的演员和动作分割相比，国家的最先进的。
2018-03-20 cs.CV
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对视频句子定位中模态间的领域差距问题，提出伪查询中介网络（PIN），利用时间全局文本知识的伪查询特征，通过对比学习和可学习提示增强多模态特征对齐，在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba Group（阿里巴巴集团）；University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们考虑一个新的任务，时空视频接地多形式的句子（STVG）。给定一个未修剪的视频和一个描述对象的陈述/疑问句，STVG的目标是定位查询对象的时空管。STVG有两个具有挑战性的设置：（1）我们需要从未修剪的视频中定位时空对象管，其中对象可能只存在于视频的很小一段中;（2）我们处理多形式的句子，包括带有明确对象的陈述句和带有未知对象的疑问句。现有的方法不能解决STVG任务，由于无效的管预生成和缺乏对象关系建模。因此，我们提出了一种新的时空图推理网络（STGRN）的这项任务。首先，我们建立了一个时空区域图，以捕捉与时间对象动态的区域关系，其中包括隐式和显式的空间子图在每帧和跨帧的时间动态子图。然后，我们将文本线索到图和开发的多步跨模态图推理。接下来，我们介绍了一个时空定位器与动态选择方法直接检索时空管管没有管预生成。此外，我们贡献了一个大规模的视频接地数据集VidSTG视频关系数据集VidOR的基础上。大量的实验证明了该方法的有效性。
2020-03-24 cs.CV
Sentence Directed Video Object Codetection
Purdue University（普渡大学）
我们利用弱语义约束隐含的句子描述的视频内容来解决视频对象的协同检测问题。与大多数现有的工作，专注于共同检测大型物体，通常是突出的大小和外观，我们可以共同检测的对象是小或中等大小。我们的方法假设没有人的姿势或深度信息，如所需的最新的国家的最先进的方法。我们采用弱语义约束的协同检测过程中配对的视频与句子。虽然语义信息通常是简单和弱的，它可以大大提高我们的协同检测框架的性能，通过减少搜索空间的假设目标检测。我们的实验表明，在一个新的具有挑战性的数据集上，平均IoU得分为0.423，该数据集包含15个对象类和150个视频，总共12，509帧，在现有数据集的一个子集上，平均IoU得分为0.373，最初用于活动识别，其中包含5个对象类和75个视频，总共8，854帧。
2016-01-26 cs.CV
Title Generation for User Generated Videos
National Tsing Hua University（国立清华大学）；Stanford University（斯坦福大学）
一个伟大的视频标题描述了最突出的事件，并抓住观众的注意力。相反，视频描述倾向于生成描述整个视频的句子。虽然自动生成视频标题是一项非常有用的任务，但它远不如视频描述解决。我们解决视频标题生成的第一次提出了两种方法，扩展国家的最先进的视频字幕到这个新的任务。首先，我们使视频字幕突出敏感的启动他们与突出检测器。我们的框架允许联合训练标题生成和视频精彩部分本地化的模型。第二，我们在视频字幕中引入了高句子多样性，这样生成的标题也是多样的和朗朗上口的。这意味着可能需要大量的句子来学习标题的句子结构。因此，我们提出了一种新的句子增强方法来训练字幕与额外的仅限重复的例子，没有相应的视频。我们收集了一个大规模的视频标题在野生（VTW）数据集的18100自动抓取用户生成的视频和标题。在VTW上，我们的方法不断提高标题预测的准确性，并在自动和人工评估中实现最佳性能。最后，我们的句子增强方法也优于M-VAD数据集上的基线。
2016-09-08 cs.AI cs.CV cs.MM
Beyond Caption To Narrative: Video Captioning With Multiple Sentences
The University of Tokyo（东京大学）
图像描述任务的最新进展导致对视频描述任务的兴趣增加。然而，大多数关于视频描述的工作都集中在生成聚合特征的单个输入上，这几乎没有偏离图像描述过程，并且没有充分利用视频中存在的动态内容。我们试图生成的视频字幕，传达更丰富的内容，通过时间分割的视频与动作本地化，从多个帧生成多个字幕，并将它们与自然语言处理技术，以生成一个故事般的字幕。我们表明，我们提出的方法可以生成内容更丰富的字幕，可以与最先进的方法竞争，而无需明确使用视频级功能作为输入。
2016-05-18 cs.CV
Temporal Sentence Grounding in Streaming Videos
Shandong University（山东大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ant Group（蚂蚁集团）
针对流式视频需在线处理且无未来帧的问题，提出TwinNet与语言引导特征压缩器，实现TSGSV并在多个数据集上验证优越性能。
2023-08-14 cs.CL cs.CV cs.MM
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology（华中科技大学）；Xidian University（西安电子科技大学）
自然语言视频定位是视觉-语言理解领域的一个重要课题，它不仅需要深入理解计算机视觉和自然语言这两个方面，更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题，这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究，但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此，本文的目的是全面调查的对抗鲁棒性NLVL模型，从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标，我们提出了一种新的对抗攻击范式，称为同义词感知的对抗攻击NLVL（SNEAK），它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
Text-based Localization of Moments in a Video Corpus
University of California（加利福尼亚大学）；SRI International（斯坦福国际研究院）
基于文本的视频矩定位的现有工作集中在时间上接地的未修剪的视频中的文本查询。这些作品假设相关视频是已知的，并试图将该时刻定位在该相关视频上。不同于这样的作品，我们放松了这一假设，并解决了本地化时刻在一个给定的句子查询的视频语料库的任务。该任务提出了独特的挑战，因为系统需要执行：（i）检索相关视频，其中仅视频的片段与所查询的句子相对应，以及（ii）基于句子查询对相关视频中的时刻进行时间定位。为了克服这一挑战，我们提出了分层矩对齐网络（HMAN），它可以学习一个有效的矩和句子的联合嵌入空间。除了学习视频内时刻之间的细微差异外，HMAN还专注于基于句子查询区分视频间全局语义概念。定性和定量结果三个基准基于文本的视频时刻检索数据集- Charades-STA，DiDeMo和ActivityNet字幕-表明，我们的方法实现了有前途的性能上提出的任务的时刻在一个语料库的视频时间定位。
2021-08-18 cs.CV
Show, Tell and Summarize: Dense Video Captioning Using Visual Cue Aided Sentence Summarization
School of Electrical and Information Engineering, University of Sydney（悉尼大学电气与信息工程学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
提出分割与总结（DaS）框架解决密集视频描述问题，将任务转化为视觉线索辅助的句子摘要，通过两阶段LSTM结合分层注意力机制编码语义与视觉信息并生成描述，在ActivityNet Captions数据集上验证了有效性。
2025-06-25 cs.AI cs.CV
Multi Sentence Description of Complex Manipulation Action Videos
University of Göttingen（哥廷根大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；Vytautas Magnus University（维陶塔斯·马格努斯大学）
针对操作动作视频描述，提出混合统计与端到端两种框架，利用LSTM堆栈支持不同粒度描述，生成更逼真的多句描述。
2023-11-13 cs.CV
A Paradigm Shift: Fully End-to-End Training for Temporal Sentence Grounding in Videos
BASIS International School Park Lane Harbour（贝赛思国际学校（公园港））；UCAS（中国科学院大学）；JD Explore Academy（京东探索研究院）；USTC（中国科学技术大学）
本文提出一种端到端训练范式，联合优化视频主干网络和定位头，通过引入Sentence Conditioned Adapter提升视觉表征，实验表明优于现有方法。
2026-04-03 cs.AI cs.CV
Video Captioning Using Weak Annotation
Beijing Institute of Technology（北京理工大学）
视频描述近年来取得了令人瞩目的进展。现有方法性能改进的一个关键原因在于大量成对的视频-句子数据，但是收集如此强的注释，即，高质量的句子，费时费力。事实上，现在存在着数量惊人的视频，这些视频具有弱注释，仅包含动作和对象等语义概念。在本文中，我们研究使用弱标注代替强标注来训练一个视频描述模型。为此，我们提出了一个渐进的视觉推理方法，逐步产生细句子弱注释推断更多的语义概念和依赖关系的视频描述。为了对概念关系进行建模，我们使用依赖树，该依赖树通过利用来自大句子语料库的外部知识来构建。通过遍历依赖树，生成句子来训练字幕模型。因此，我们开发了一种迭代细化算法，通过生成依赖树来细化句子，并以另一种训练方式使用细化的句子来微调字幕模型。实验结果表明，我们的方法使用弱注释是非常有竞争力的国家的最先进的方法使用强注释。
2020-09-02 cs.AI cs.CV
Identity-Aware Multi-Sentence Video Description
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；University of California, Berkeley（加州大学伯克利分校）
标准的视频和电影描述任务从人的身份中抽象出来，因此无法将句子中的身份联系起来。我们提出了一个多句子的身份感知视频描述任务，它克服了这一限制，并需要重新识别本地的一组连续的剪辑内的人。我们引入了一个辅助任务的填写身份，其目的是预测一致的人的身份在一组剪辑，当视频描述。我们提出的这个任务的方法利用了一个Transformer架构，允许多个ID的相干联合预测。其中一个关键组成部分是一个性别意识的文本表示，以及一个额外的性别预测目标的主要模型。这个辅助任务使我们能够提出一个两阶段的方法来识别视频描述。我们首先生成多句视频描述，然后应用我们的填充身份模型来建立预测的人实体之间的联系。为了能够解决这两个任务，我们增加了大规模电影描述挑战（LSMDC）基准与新的注释适合我们的问题陈述。实验表明，我们提出的填充身份模型优于几个基线和最近的作品，并允许我们生成本地重新识别的人的描述。
2020-08-22 cs.CV
Seeing Semantic Shift: Difference-Aware Sentence-Level Temporal Segmentation of Sign Language Videos
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对连续手语视频分割中句子边界模糊的问题，提出差异感知框架SignShift，通过时间差异模块建模帧间特征变化并预测句子数量，显著提升分割性能。
2026-09-28 cs.CV
Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
视频中的时间句子定位（TSLV）旨在根据给定的句子查询，从未经裁剪的视频中检索出最感兴趣的片段。然而，现有的TSLV方法都存在以下局限性：（1）它们只关注框架级或对象级的视觉表示学习和相关推理，而没有将两者结合起来;（2）它们忽略了利用丰富的语义上下文来进一步促进查询推理。为了解决这些问题，在本文中，我们提出了一种新的层次视觉和语义感知推理网络（HVSARN），它使视觉和语义感知查询推理从对象级到帧级。具体而言，我们提出了一种新的图记忆机制来执行视觉语义查询推理：对于视觉推理，我们设计了一个视觉图记忆，利用视频的视觉信息;对于语义推理，语义图记忆也被引入，显式地利用包含在视频对象的类和属性的语义知识，并在语义空间进行相关推理。三个数据集上的实验表明，我们的HVSARN实现了一个新的国家的最先进的性能。
2023-03-15 cs.CV
Adaptive Proposal Generation Network for Temporal Sentence Localization in Videos
Huazhong University of Science and Technology（华中科技大学）；Huawei Cloud（华为云）；Zhejiang Gongshang University（浙江工商大学）
我们解决了视频中的时间句子定位（TSLV）问题。传统的方法遵循自上而下的框架，该框架利用预定义的细分建议来定位目标细分。虽然他们取得了不错的业绩，但这些建议是手工制作的，是多余的。近年来，自底向上框架由于其优越的效率而受到越来越多的关注。它直接预测每个帧作为边界的概率。然而，自底向上模型的性能不如自顶向下对应，因为它没有利用段级的相互作用。在本文中，我们提出了一个自适应建议生成网络（APGN），以保持段级的互动，同时加快效率。具体来说，我们首先对视频进行前景-背景分类，并对前景帧进行回归以自适应地生成建议。通过这种方式，手工制作的提案设计被丢弃，冗余的提案被减少。然后，建议合并模块进一步开发，以增强生成的建议的语义。最后，我们找到这些自上而下的框架下产生的建议的目标时刻。在三个具有挑战性的基准上进行的大量实验表明，我们提出的APGN显着优于以前的最先进的方法。
2021-09-14 cs.CL cs.CV
Multi-sentence Video Grounding for Long Video Generation
Tsinghua University（清华大学）
本文提出多句视频定位用于长视频生成的新范式，通过视频检索、编辑和变形，实现低内存成本且保持时间一致性的长视频生成。
2024-07-18 cs.CV
Multi-Sentence Grounding for Long-term Instructional Video
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）；Coop. Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出自动化去噪流水线构建高质量教学视频数据集HowToStep，并设计基于Transformer的文本查询迭代注意力架构，实现多句时间定位，在三个基准上显著超越现有方法。
2024-07-22 cs.CV
Video Fill In the Blank using LR/RL LSTMs with Spatial-Temporal Attentions
University of Central Florida（中佛罗里达大学）
给定一段视频和一个缺少一个词的描述句（我们称之为“源句”），视频填空（VFIB）问题是自动找到缺少的词。句子的上下文信息以及来自视频的视觉线索对于准确推断缺失的单词非常重要。由于源句子被分成两个片段：句子的左片段（在空白之前）和句子的右片段（在空白之后），传统的递归神经网络无法准确地编码这种结构，因为在源句子中缺少的单词的位置和类型方面有许多可能的变化。例如，缺失的单词可以是第一个单词，也可以是句子的中间，它可以是动词或形容词。在本文中，我们提出了一个框架来解决文本编码：两个独立的LSTM（LR和RL LSTM）被用来编码左，右句子片段和一个新的结构被引入到每个片段相结合的“外部存储器”对应的相反的片段。对于视觉编码，端到端的空间和时间的注意力模型被用来选择有区别的视觉表征，以找到丢失的单词。在实验中，我们证明了所提出的方法具有挑战性的VFIB问题的优越性能。此外，我们介绍了一个扩展的和更广义的版本VFIB，这是不限于一个单一的空白。我们的实验表明，我们的方法在处理这些更现实的情况下的泛化能力。
2017-04-15 cs.CV
SEA: Sentence Encoder Assembly for Video Retrieval by Textual Queries
Renmin University of China（中国人民大学）
通过文本查询来检索无标签视频，称为Ad-hoc Video Search（AVS），是多媒体数据管理和检索的核心主题。AVS的成功依赖于跨模态表示学习，该学习将查询语句和视频编码到公共空间中以进行语义相似度计算。受先前少数作品在结合多个句子编码器方面取得的初步成功的启发，本文通过开发一种新的通用方法来有效地利用不同的句子编码器，向前迈出了一步。所提出的方法，我们术语句子编码器组件（SEA）的新颖性，是双重的。首先，与仅使用单个公共空间的现有技术不同，SEA支持多个编码器特定的公共空间中的文本-视频匹配。这样的属性防止匹配被产生比其他编码器长得多的编码向量的特定编码器支配。其次，为了探索个体公共空间之间的互补性，我们提出了多空间多损失学习。在MSR-VTT、TRECVID AVS 2016-2019、TGIF和MSVD四个基准测试上的大量实验表明，SEA超越了最先进的水平。此外，SEA非常容易实现。所有这些都使SEA成为AVS的一个有吸引力的解决方案，并有希望通过收获新的句子编码器来不断推进任务。
2020-11-24 cs.AI cs.CV cs.LG
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Weakly-Supervised Temporal Article Grounding
Columbia University（哥伦比亚大学）；Virginia Tech（弗吉尼亚理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
给定一个长的未修剪的视频和自然语言查询，视频接地（VG）的目的是在时间上本地化的语义对齐的视频片段。几乎所有现有的VG工作都有两个简单但不切实际的假设：1）所有的查询语句都可以在相应的视频中扎根。2)同一视频的所有查询语句总是处于相同的语义尺度。不幸的是，这两个假设使得今天的VG模型在实践中无法工作。例如，在现实世界的多模态资产（例如，新闻文章）中，文章中的大多数句子都不能以其附属视频为基础，并且它们通常具有丰富的层次关系（即，在不同的语义尺度上）。为此，我们提出了一个新的具有挑战性的接地任务：弱监督的时间文章接地（WSAG）。具体来说，给定一篇文章和一个相关的视频，WSAG的目标是将所有“接地”的句子本地化到视频中，这些句子可能处于不同的语义尺度。因此，我们收集了第一个WSAG数据集来促进这项任务：YouwikiHow，它借用了wikiHow文章和丰富的YouTube视频中固有的多尺度描述。此外，我们提出了一种简单但有效的WSAG方法DualMIL，该方法由两级MIL损失和单/跨句子约束损失组成。这些训练目标是为这些宽松的假设而精心设计的。广泛的消融已经验证了DualMIL的有效性。
2023-02-24 cs.AI cs.CL cs.CV
Temporal Sentence Grounding in Videos: A Survey and Future Directions
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文综述视频时序句子定位（TSGV）的通用流程、多模态理解与交互方法及技术分类，分析现有问题并指出未来研究方向。
2023-03-13 cs.AI cs.CL cs.CV
Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation
National University of Singapore（新加坡国立大学）；Meituan Inc.（美团公司）；Northwestern Polytechnical University（西北工业大学）
基于文本的视频分割是指根据描述性语句对视频中的目标对象进行分割。从光流图中提取具有外观和语言模态的运动信息是至关重要的，但以前的工作在很大程度上被忽略了。在本文中，我们设计了一种方法来融合和对齐外观，运动和语言特征，以实现准确的分割。具体来说，我们提出了一个多模态视频Transformer，它可以融合和聚合帧之间的多模态和时间特征。此外，我们还设计了一个语言引导的特征融合模块，在语言特征的指导下逐步融合每个特征层中的外观和运动特征。最后，提出了一种多模态对齐损失，以减轻不同模态特征之间的语义差距。在A2 D和J-HMDB句子上的大量实验验证了该方法的性能和泛化能力。
2022-04-06 cs.CL cs.CV
Video and Text Matching with Conditioned Embeddings
Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）；NetApp
我们提出了一种方法，从一个给定的语料库中匹配一个给定的视频剪辑的文本句子，反之亦然。传统的视频和文本匹配是通过学习一个共享的嵌入空间来完成的，并且一个模态的编码独立于另一个模态。在这项工作中，我们编码的数据集数据的方式，考虑到查询的相关信息。该方法的力量被证明是从汇集字和帧之间的交互数据。由于视频剪辑的编码取决于与其进行比较的句子，因此需要为每个潜在匹配重新计算表示。为此，我们提出了一种高效的浅层神经网络。它的训练采用分层的三元组丢失，可扩展到段落/视频匹配。该方法很简单，提供了可解释性，并在五个不同的数据集（ActivityNet，DiDeMo，YouCook 2，MSR-VTT和LSMDC）上以相当大的幅度实现了视频剪辑和视频文本的最新结果。我们还表明，我们的条件表示可以转移到视频引导的机器翻译，在那里我们改进了VATEX上的当前结果。源代码可在https://github.com/AmeenAli/VideoMatch上获得。
2021-10-21 cs.CV cs.IR
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Mississippi State University（密西西比州立大学）
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务，其中听觉和视觉内容同等重要。虽然音频信息已被利用，以改善视频描述在以前的作品，它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的？这个问题仍然没有得到调查。在本文中，我们首次尝试设计一个可解释的视听视频描述网络，以发现句子中的单词和视听序列之间的关联。为了实现这一点，我们提出了一个多模态卷积神经网络为基础的视听视频描述框架，并介绍了一个模态感知模块，探索在句子生成过程中的模态选择。此外，我们收集了新的音频字幕和视觉字幕数据集，以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明，情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性，我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
Self-view Grounding Given a Narrated 360° Video
National Tsing Hua University（台湾清华大学）；Microsoft Research（微软研究院）
在许多旅游场景中，通常提供360°叙事视频来模仿真实世界的体验。然而，以前的工作表明，智能辅助（即，提供视觉引导）可以显著地帮助用户跟随对应于叙事的正常视场（NFoV）。在这个项目中，我们的目标是自动接地的NFoV的360°视频给定字幕的叙事（称为“NFoV接地”）。我们提出了一种新的视觉接地模型（VGM）隐式和有效地预测NFoVs给定的视频内容和字幕。具体来说，在每一帧，我们使用卷积神经网络（CNN）将全景有效地编码为候选NFoV的特征图，并使用具有门控递归单元（GRU）的RNN将字幕编码到相同的隐藏空间。然后，我们对候选NFoV应用软注意触发句子解码器，旨在最大限度地减少生成句子和给定句子之间的重建损失。最后，我们得到的NFoV作为候选NFoV的最大关注，没有任何人的监督。为了更稳健地训练VGM，我们还生成了一个反向句子条件化，该反向句子条件化为1减去软注意，使得注意力集中在与给定句子不太相关的候选NFoV上。反向句子的负对数重建损失（称为“不相关损失”）被联合最小化，以鼓励反向句子与给定句子不同。为了评估我们的方法，我们收集了第一个叙事360°视频数据集，并实现了最先进的NFoV接地性能。
2017-11-23 cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Meituan（美团）；Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）
视频中的时间句子基础（TSGV）旨在将未修剪的视频中的自然语言句子基础，在过去几年中引起了广泛的关注。然而，最近的研究发现，当前的基准数据集可能存在明显的矩注释偏差，即使没有训练，也可以使用几个简单的基线来实现SOTA性能。在本文中，我们仔细研究了现有的评估协议，发现流行的数据集和评估指标都是导致不可信基准测试的魔鬼。因此，我们建议重新组织两个广泛使用的数据集，使地面实况矩分布在训练和测试分裂中不同，即，分布外（OOD）测试。同时，我们引入了一个新的评价指标“dR@n，IoU@m”，折扣的基本召回分数，以减轻由偏见的数据集造成的膨胀的评价。新的基准测试结果表明，我们提出的评估协议可以更好地监测研究进展。此外，我们提出了一种新的基于容差的多分支去混淆去偏（MDD）框架的无偏矩预测。具体来说，我们设计了一个多分支的deconfounder，以消除因果干预的多个混杂因素所造成的影响。为了帮助模型更好地对齐句子查询和视频时刻之间的语义，我们在特征编码过程中增强了表示。具体而言，对于文本信息，查询被解析成几个动词为中心的短语，以获得更细粒度的文本特征。对于视觉信息，位置信息已经从矩特征中分解出来，以增强具有不同位置的矩的表示。大量的实验表明，我们提出的方法可以实现现有的SOTA方法之间的竞争力的结果，并优于基本模型有很大的收益。
2022-03-10 cs.CL cs.CV cs.MM
Grounded Video Description
Facebook AI（Facebook人工智能）；University of Michigan（密歇根大学）
视频描述是视觉和语言理解中最具挑战性的问题之一，因为视频和语言都具有很大的可变性。因此，模型通常会简化识别的难度，并生成基于先验知识但不一定基于视频的合理句子。在这项工作中，我们明确地链接到视频中的证据，通过注释每个名词短语在一个句子与相应的限界框中的一帧视频。我们的数据集ActivityNet-Entities通过158 k限界框注释增强了具有挑战性的ActivityNet Captions数据集，每个注释都是名词短语。这允许使用这些数据训练视频描述模型，重要的是，评估这些模型对它们所描述的视频的基础或“真实”程度。为了生成接地字幕，我们提出了一种新的视频描述模型，它能够利用这些限界框注释。我们在我们的数据集上展示了我们的模型的有效性，但也展示了它如何应用于Flickr 30 k实体数据集上的图像描述。我们在视频描述、视频段落描述和图像描述方面实现了最先进的性能，并证明我们生成的句子在视频中更好地扎根。
2019-05-05 cs.CV
Context Consistency Learning via Sentence Removal for Semi-Supervised Video Paragraph Grounding
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology, China（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与高级计算重点实验室）；Guangdong University of Foreign Studies（广东外语外贸大学）；Guangdong University of Technology（广东工业大学）
针对半监督视频段落定位，提出上下文一致性学习框架，通过句子移除增强和伪标签置信度提升性能，大幅超越现有方法。
2025-06-23 cs.CV
