A Faster Method for Tracking and Scoring Videos Corresponding to Sentences
Purdue University（普渡大学）
先前的工作提出了句子跟踪器，一种用于对句子描述视频剪辑的程度或视频剪辑描述句子的程度进行评分的方法。我们提出了一种改进的方法，用于优化相同的成本函数，采用这种先前的工作，减少空间复杂度从指数的句子长度的多项式，以及产生一个定性相同的结果，在时间多项式的句子长度，而不是指数。由于这种新方法与之前的方法是插件兼容的，因此它可以用于相同的应用程序：具有连续查询的视频检索、生成视频剪辑的连续描述、以及用句子集中跟踪器的注意力，同时允许这些应用以显著更大数量的目标检测、用具有显著更大数量的状态的HSTIM建模的单词含义，刑期大大延长，但结果的质量没有明显下降。
2014-11-14 cs.CV
Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们解决了一个新的任务，即弱监督的时空接地视频中的自然句子。具体来说，给定一个自然句子和一个视频，我们在视频中定位一个时空管，它在语义上对应于给定的句子，在训练过程中不依赖任何时空注释。首先，从视频中提取一组时空管，称为实例。然后，我们编码这些实例和句子使用我们提出的专注的交互器，可以利用它们的细粒度的关系来表征它们的匹配行为。除了排名损失，一种新的多样性损失被引入到训练所提出的专注的交互器，以加强匹配行为的可靠的实例-句子对和惩罚不可靠的。此外，我们还基于ImageNet视频目标检测数据集贡献了一个名为VID-sentence的数据集，作为我们任务的基准。大量的实验结果表明，我们的模型优于基线方法。
2019-06-06 cs.CV
Learning Joint Representations of Videos and Sentences with Web Image Search
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Oulu（奥卢大学）
我们的目标是基于自然语言查询的视频检索。此外，我们考虑类似的问题，检索句子或生成描述给定的输入视频。最近的工作通过将视觉和文本输入嵌入到语义相似性与距离相关的公共空间来解决这个问题。我们也采用嵌入的方法，并作出以下贡献：第一，我们利用网络图像搜索的句子嵌入过程中，以消除歧义的细粒度的视觉概念。其次，我们提出了句子，图像和视频输入的嵌入模型，其参数同时学习。最后，我们将展示如何将该模型应用于描述生成。总的来说，我们观察到一个明显的改善，在视频和句子检索任务的最先进的方法。在描述生成中，性能水平与当前最先进的水平相当，尽管我们的嵌入是针对检索任务进行训练的。
2016-08-08 cs.CV
Multiple Visual-Semantic Embedding for Video Retrieval from Query Sentence
Tohoku University（东北大学）
本文提出多重视觉-语义嵌入框架，将视频和句子映射到多个独立嵌入空间，并通过基于句子的加权求和融合相似度，在句子到视频检索任务上取得了优于现有方法的性能。
2020-04-16 cs.CV
Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos
Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
自动生成描述事件的句子和对视频中的句子进行时间定位是连接语言和视频的两个重要任务。最近的技术利用视频的多模态特性，使用现成的功能来表示视频，但很少探索模态之间的交互。受人脑中存在跨模态交互的事实的启发，我们提出了一种新的方法来学习成对模态交互，以便更好地利用视频中每对模态的互补信息，从而提高这两项任务的性能。我们在序列和通道两个层次上以成对的方式对通道交互进行建模，成对的交互也为目标任务的预测提供了一些解释。我们证明了我们的方法的有效性，并通过广泛的消融研究验证特定的设计选择。我们的方法在四个标准基准数据集上实现了最先进的性能：MSVD和MSR-VTT（事件字幕任务），Charades-STA和ActivityNet字幕（时间句子本地化任务）。
2020-07-28 cs.CV
Look Closer to Ground Better: Weakly-Supervised Temporal Grounding of Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；Huazhong University of Science and Technology（华中科技大学）
本文研究了视频中句子的弱监督时间背景问题。具体来说，给定一个未修剪的视频和一个查询语句，我们的目标是在视频中定位一个在语义上与查询语句相对应的时间段，而不依赖于训练过程中的任何时间注释。我们提出了一个两阶段的模型来解决这个问题，在一个由粗到细的方式。在粗略阶段，我们首先使用多尺度滑动窗口生成一组固定长度的时间提案，并将其视觉特征与句子特征进行匹配，以确定最佳匹配的提案作为粗略的接地结果。在精细阶段，我们在最佳匹配建议中的帧的视觉特征和句子特征之间执行细粒度匹配，以定位精细接地结果的精确帧边界。在ActivityNet Captions数据集和Charades-STA数据集上的综合实验表明，我们的两阶段模型具有令人信服的性能。
2020-01-25 cs.CV
MRTNet: Multi-Resolution Temporal Network for Video Sentence Grounding
National University of Singapore（新加坡国立大学）；Columbia University（哥伦比亚大学）；The University of Sydney（悉尼大学）
给定一个未修剪的视频和自然语言查询，视频句子接地的目的是定位视频中的目标时刻。现有的方法主要通过在单个时间分辨率上匹配和对齐描述语句和视频片段的语义来解决这个任务，而忽略了不同分辨率下视频内容的时间一致性。在这项工作中，我们提出了一种新的多分辨率时间视频句子接地网络：MRTNet，它由一个多模态特征编码器，一个多分辨率时间（MRT）模块，和一个预测模块。MRT模块是一个编码器-解码器网络，解码器部分的输出功能与Transformers一起预测最终的开始和结束时间戳。特别是，我们的MRT模块是热插拔的，这意味着它可以无缝地集成到任何无锚模型中。此外，我们利用混合损失监督跨模态的MRT模块更准确地接地在三个尺度：帧级，剪辑级和序列级的功能。在三个流行数据集上的大量实验表明了MRTNet的有效性。
2022-12-27 cs.CV
Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks
Purdue University（普渡大学）；Baidu Research - Institute of Deep Learning（百度研究院深度学习研究所）；Facebook（脸书）
我们提出了一种利用分层循环神经网络（RNN）来解决视频描述问题的方法，即，生成描述真实视频的一个或多个句子。我们的分层框架包含一个句子生成器和一个段落生成器。句子生成器生成一个简单的短句，描述特定的短视频间隔。它利用时间和空间两种注意力机制，在生成过程中选择性地关注视觉元素。段落生成器通过将由句子生成器产生的连续嵌入作为输入、将其与段落历史相结合、并输出用于句子生成器的新的初始状态来捕获句子间依赖性。我们在两个大规模的基准数据集上评估了我们的方法：YouTubeClips和TACoS-MultiLevel。实验表明，我们的方法显着优于当前最先进的方法与BLEU@4得分分别为0.499和0.305。
2016-04-06 cs.CV
Actor and Action Video Segmentation from a Sentence
University of Amsterdam（阿姆斯特丹大学）
本文致力于视频内容中演员及其动作的像素级分割。不同于现有的作品，这一切都学习分割从一个固定的词汇表的演员和动作对，我们推断的分割从一个自然语言输入句子。这允许区分同一超类别中的细粒度参与者，识别参与者和动作实例，以及参与者和动作词汇表之外的分段对。我们提出了一个全卷积模型，用于像素级演员和动作分割，使用针对视频优化的编码器解码器架构。为了展示从句子中分割演员和动作视频的潜力，我们扩展了两个流行的演员和动作数据集，其中包含超过7，500个自然语言描述。实验表明，质量的广告引导分割，我们的模型的泛化能力，其优势，传统的演员和动作分割相比，国家的最先进的。
2018-03-20 cs.CV
Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba Group（阿里巴巴集团）；University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们考虑一个新的任务，时空视频接地多形式的句子（STVG）。给定一个未修剪的视频和一个描述对象的陈述/疑问句，STVG的目标是定位查询对象的时空管。STVG有两个具有挑战性的设置：（1）我们需要从未修剪的视频中定位时空对象管，其中对象可能只存在于视频的很小一段中;（2）我们处理多形式的句子，包括带有明确对象的陈述句和带有未知对象的疑问句。现有的方法不能解决STVG任务，由于无效的管预生成和缺乏对象关系建模。因此，我们提出了一种新的时空图推理网络（STGRN）的这项任务。首先，我们建立了一个时空区域图，以捕捉与时间对象动态的区域关系，其中包括隐式和显式的空间子图在每帧和跨帧的时间动态子图。然后，我们将文本线索到图和开发的多步跨模态图推理。接下来，我们介绍了一个时空定位器与动态选择方法直接检索时空管管没有管预生成。此外，我们贡献了一个大规模的视频接地数据集VidSTG视频关系数据集VidOR的基础上。大量的实验证明了该方法的有效性。
2020-03-24 cs.CV
Sentence Directed Video Object Codetection
Purdue University（普渡大学）
我们利用弱语义约束隐含的句子描述的视频内容来解决视频对象的协同检测问题。与大多数现有的工作，专注于共同检测大型物体，通常是突出的大小和外观，我们可以共同检测的对象是小或中等大小。我们的方法假设没有人的姿势或深度信息，如所需的最新的国家的最先进的方法。我们采用弱语义约束的协同检测过程中配对的视频与句子。虽然语义信息通常是简单和弱的，它可以大大提高我们的协同检测框架的性能，通过减少搜索空间的假设目标检测。我们的实验表明，在一个新的具有挑战性的数据集上，平均IoU得分为0.423，该数据集包含15个对象类和150个视频，总共12，509帧，在现有数据集的一个子集上，平均IoU得分为0.373，最初用于活动识别，其中包含5个对象类和75个视频，总共8，854帧。
2016-01-26 cs.CV
Beyond Caption To Narrative: Video Captioning With Multiple Sentences
The University of Tokyo（东京大学）
图像描述任务的最新进展导致对视频描述任务的兴趣增加。然而，大多数关于视频描述的工作都集中在生成聚合特征的单个输入上，这几乎没有偏离图像描述过程，并且没有充分利用视频中存在的动态内容。我们试图生成的视频字幕，传达更丰富的内容，通过时间分割的视频与动作本地化，从多个帧生成多个字幕，并将它们与自然语言处理技术，以生成一个故事般的字幕。我们表明，我们提出的方法可以生成内容更丰富的字幕，可以与最先进的方法竞争，而无需明确使用视频级功能作为输入。
2016-05-18 cs.CV
Text-based Localization of Moments in a Video Corpus
University of California（加利福尼亚大学）；SRI International（斯坦福国际研究院）
基于文本的视频矩定位的现有工作集中在时间上接地的未修剪的视频中的文本查询。这些作品假设相关视频是已知的，并试图将该时刻定位在该相关视频上。不同于这样的作品，我们放松了这一假设，并解决了本地化时刻在一个给定的句子查询的视频语料库的任务。该任务提出了独特的挑战，因为系统需要执行：（i）检索相关视频，其中仅视频的片段与所查询的句子相对应，以及（ii）基于句子查询对相关视频中的时刻进行时间定位。为了克服这一挑战，我们提出了分层矩对齐网络（HMAN），它可以学习一个有效的矩和句子的联合嵌入空间。除了学习视频内时刻之间的细微差异外，HMAN还专注于基于句子查询区分视频间全局语义概念。定性和定量结果三个基准基于文本的视频时刻检索数据集- Charades-STA，DiDeMo和ActivityNet字幕-表明，我们的方法实现了有前途的性能上提出的任务的时刻在一个语料库的视频时间定位。
2021-08-18 cs.CV
Multi Sentence Description of Complex Manipulation Action Videos
University of Göttingen（哥廷根大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；Vytautas Magnus University（维陶塔斯·马格努斯大学）
针对操作动作视频描述，提出混合统计与端到端两种框架，利用LSTM堆栈支持不同粒度描述，生成更逼真的多句描述。
2023-11-13 cs.CV
Syntax Customized Video Captioning by Imitating Exemplar Sentences
Meituan（美团）；Tsinghua University（清华大学）
增强描述视频内容的句子的多样性是当前视频描述研究中的一个重要问题。在本文中，我们探讨这个问题，从一个新的角度定制视频字幕模仿例句语法。具体来说，给定一个视频和任何语法有效的例句，我们引入了一个新的任务，定制的视频描述（SCVC），旨在生成一个标题，不仅语义描述的视频内容，但也句法模仿给定的例句。为了解决SCVC任务，我们提出了一种新的视频描述模型，首先设计分层句子语法编码器来提取范例句子的语法结构，然后设计语法条件字幕解码器来生成表达视频语义的语法结构字幕。由于没有可用的语法定制的groundtruth视频字幕，我们通过提出一种新的训练策略来解决这样的挑战，该策略利用传统的成对视频描述数据和我们收集的例句来完成模型学习。大量的实验，在语义，句法，流畅性和多样性评价方面，清楚地表明我们的模型能够生成语法变化和语义连贯的视频字幕，以及模仿不同的例句与丰富的diligence。
2021-12-02 cs.CL cs.CV
GroupVideo: Multi-Identity Customized Text-to-Video Generation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Ant Group（蚂蚁集团）
研究多身份定制文本到视频生成问题，提出GroupVideo框架，融合多模态身份对齐及相关模块，构建高质量数据集，在生成多角色视频时能保持身份一致且动作自然，优于现有方法。
2026-07-24 cs.CV
Discriminative Training: Learning to Describe Video with Sentences, from Video Described with Sentences
Purdue University（普渡大学）
我们提出了一种从复杂和现实的视频片段中学习词义的方法，通过区分性地训练（DT）积极的语义标签对消极的，然后使用训练好的词模型来生成新视频的语义描述。这项新工作的灵感来自于最近的工作，该工作采用最大似然（ML）框架来解决仅使用正序标签的相同问题。与基于ML的方法一样，新方法能够自动确定句子中的哪些单词对应于视频中的哪些概念（即，以弱监督的方式将单词接地到含义）。虽然DT和ML在有足够的训练数据的情况下都能产生相当的结果，但DT在较小的训练集上明显优于ML，因为它可以利用负训练标签来更好地约束学习问题。
2013-06-21 cs.CL cs.CV
Seeing Semantic Shift: Difference-Aware Sentence-Level Temporal Segmentation of Sign Language Videos
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对连续手语视频分割中句子边界模糊的问题，提出差异感知框架SignShift，通过时间差异模块建模帧间特征变化并预测句子数量，显著提升分割性能。
2026-09-28 cs.CV
Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
视频中的时间句子定位（TSLV）旨在根据给定的句子查询，从未经裁剪的视频中检索出最感兴趣的片段。然而，现有的TSLV方法都存在以下局限性：（1）它们只关注框架级或对象级的视觉表示学习和相关推理，而没有将两者结合起来;（2）它们忽略了利用丰富的语义上下文来进一步促进查询推理。为了解决这些问题，在本文中，我们提出了一种新的层次视觉和语义感知推理网络（HVSARN），它使视觉和语义感知查询推理从对象级到帧级。具体而言，我们提出了一种新的图记忆机制来执行视觉语义查询推理：对于视觉推理，我们设计了一个视觉图记忆，利用视频的视觉信息;对于语义推理，语义图记忆也被引入，显式地利用包含在视频对象的类和属性的语义知识，并在语义空间进行相关推理。三个数据集上的实验表明，我们的HVSARN实现了一个新的国家的最先进的性能。
2023-03-15 cs.CV
Multi-sentence Video Grounding for Long Video Generation
Tsinghua University（清华大学）
本文提出多句视频定位用于长视频生成的新范式，通过视频检索、编辑和变形，实现低内存成本且保持时间一致性的长视频生成。
2024-07-18 cs.CV
Identity-Aware Textual-Visual Matching with Latent Co-attention
The Chinese University of Hong Kong（香港中文大学）
文本视觉匹配的目的是衡量句子描述和图像之间的相似性。大多数现有的方法没有有效地利用身份级别的注释来解决这个问题。在本文中，我们提出了一个身份感知的两阶段框架的文本视觉匹配问题。我们的第一阶段CNN-LSTM网络学习嵌入具有新的跨模态交叉熵（CMCE）损失的跨模态特征。第一阶段的网络能够有效地筛选容易不正确的匹配，也为第二阶段的训练提供初始训练点。阶段2 CNN-LSTM网络使用潜在的共同注意力机制来细化匹配结果。空间注意将每个词与对应的图像区域相关联，而潜在语义注意将不同的句子结构对齐，以使匹配结果对句子结构变化更具鲁棒性。在三个具有身份级别注释的数据集上进行的大量实验表明，我们的框架的性能大大优于最先进的方法。
2017-08-07 cs.CV
Multi-Sentence Grounding for Long-term Instructional Video
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）；Coop. Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出自动化去噪流水线构建高质量教学视频数据集HowToStep，并设计基于Transformer的文本查询迭代注意力架构，实现多句时间定位，在三个基准上显著超越现有方法。
2024-07-22 cs.CV
Knowledge Priors for Identity-Disentangled Open-Set Privacy-Preserving Video FER
School of CSE, UNSW Sydney（UNSW悉尼大学计算机科学与工程学院）；CSIRO’s Data61（澳大利亚CSIRO数据61实验室）
本文提出一种两阶段框架，在无需身份标签的情况下，通过身份抑制网络和去噪模块实现隐私保护的视频情感识别，同时引入验证方法评估隐私鲁棒性。
2026-03-25 cs.CV
Video Fill In the Blank using LR/RL LSTMs with Spatial-Temporal Attentions
University of Central Florida（中佛罗里达大学）
给定一段视频和一个缺少一个词的描述句（我们称之为“源句”），视频填空（VFIB）问题是自动找到缺少的词。句子的上下文信息以及来自视频的视觉线索对于准确推断缺失的单词非常重要。由于源句子被分成两个片段：句子的左片段（在空白之前）和句子的右片段（在空白之后），传统的递归神经网络无法准确地编码这种结构，因为在源句子中缺少的单词的位置和类型方面有许多可能的变化。例如，缺失的单词可以是第一个单词，也可以是句子的中间，它可以是动词或形容词。在本文中，我们提出了一个框架来解决文本编码：两个独立的LSTM（LR和RL LSTM）被用来编码左，右句子片段和一个新的结构被引入到每个片段相结合的“外部存储器”对应的相反的片段。对于视觉编码，端到端的空间和时间的注意力模型被用来选择有区别的视觉表征，以找到丢失的单词。在实验中，我们证明了所提出的方法具有挑战性的VFIB问题的优越性能。此外，我们介绍了一个扩展的和更广义的版本VFIB，这是不限于一个单一的空白。我们的实验表明，我们的方法在处理这些更现实的情况下的泛化能力。
2017-04-15 cs.CV
Face Translation between Images and Videos using Identity-aware CycleGAN
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；VISICS, KU Leuven（鲁汶大学VISICS）
本文提出了一种新的图像和视频之间的非成对人脸转换问题，可应用于人脸视频的预测和增强。在这个问题中存在两个主要的技术挑战：1）设计一个鲁棒的静态图像和动态视频之间的翻译模型，以及2）在图像-视频翻译期间保持面部身份。为了解决这两个问题，我们通过利用图像-视频翻译模型和身份保留模型，将最先进的图像-图像翻译网络（周期一致性对抗网络）推广到图像-视频/视频-图像翻译环境。特别地，我们将最先进的Wasserstein GAN技术应用于图像-视频翻译的设置以实现更好的收敛，同时我们引入了人脸验证器以确保身份。标准图像/视频人脸数据集上的实验表明，该模型在定性和定量评价方面的有效性。
2017-12-04 cs.CV
Identity-GRPO: Optimizing Multi-Human Identity-preserving Video Generation via Reinforcement Learning
Alibaba Group（阿里巴巴集团）；Fudan University（复旦大学）
Identity-GRPO通过强化学习优化多人类身份保持的视频生成，显著提升一致性指标。
2026-01-30 cs.CV
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Mississippi State University（密西西比州立大学）
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务，其中听觉和视觉内容同等重要。虽然音频信息已被利用，以改善视频描述在以前的作品，它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的？这个问题仍然没有得到调查。在本文中，我们首次尝试设计一个可解释的视听视频描述网络，以发现句子中的单词和视听序列之间的关联。为了实现这一点，我们提出了一个多模态卷积神经网络为基础的视听视频描述框架，并介绍了一个模态感知模块，探索在句子生成过程中的模态选择。此外，我们收集了新的音频字幕和视觉字幕数据集，以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明，情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性，我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
Self-view Grounding Given a Narrated 360° Video
National Tsing Hua University（台湾清华大学）；Microsoft Research（微软研究院）
在许多旅游场景中，通常提供360°叙事视频来模仿真实世界的体验。然而，以前的工作表明，智能辅助（即，提供视觉引导）可以显著地帮助用户跟随对应于叙事的正常视场（NFoV）。在这个项目中，我们的目标是自动接地的NFoV的360°视频给定字幕的叙事（称为“NFoV接地”）。我们提出了一种新的视觉接地模型（VGM）隐式和有效地预测NFoVs给定的视频内容和字幕。具体来说，在每一帧，我们使用卷积神经网络（CNN）将全景有效地编码为候选NFoV的特征图，并使用具有门控递归单元（GRU）的RNN将字幕编码到相同的隐藏空间。然后，我们对候选NFoV应用软注意触发句子解码器，旨在最大限度地减少生成句子和给定句子之间的重建损失。最后，我们得到的NFoV作为候选NFoV的最大关注，没有任何人的监督。为了更稳健地训练VGM，我们还生成了一个反向句子条件化，该反向句子条件化为1减去软注意，使得注意力集中在与给定句子不太相关的候选NFoV上。反向句子的负对数重建损失（称为“不相关损失”）被联合最小化，以鼓励反向句子与给定句子不同。为了评估我们的方法，我们收集了第一个叙事360°视频数据集，并实现了最先进的NFoV接地性能。
2017-11-23 cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Vera: Identity-Faithful Human Subject-to-Video Generation
Kuaishou Technology（快手科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
针对主体到视频生成中人类身份一致性不足问题，提出Vera框架，通过构建百万对身份对齐数据集，引入身份聚焦掩码监督和参考感知分层注意力两种设计，提升了身份一致性、主体绑定及运动自然性等。
2026-07-23 cs.CV
Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对现有商业视频生成模型的身份漂移等缺陷，提出AESR轻量级框架，含智能体提示增强与视觉语义修复模块，搭配混合专家选择策略，其系统MIPL_Video在ACM MM 2026挑战赛赛道1获第一
2026-08-24 cs.CV
Controllable Video Captioning with an Exemplar Sentence
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）；Meituan（美团）
在本文中，我们研究了一个新的和具有挑战性的任务，即可控的视频描述与一个范例的句子。形式上，给定一个视频和一个句法上有效的例句，该任务的目的是生成一个标题，不仅描述了视频的语义内容，但也遵循给定的例句的句法形式。为了解决这样一个基于范例的视频描述任务，我们提出了一种新的视频调制字幕生成器（SMCG）的编码器-解码器-重构器架构。SMCG以视频语义表征为输入，根据样例句子的句法信息有条件地调节长短期记忆网络的门和细胞。因此，SMCG能够控制单词预测的状态，并实现语法定制的字幕生成。我们通过收集两个公共视频描述数据集的辅助例句进行实验。大量的实验结果表明，我们的方法在生成语法可控和语义保留的视频字幕的有效性。通过提供不同的例句，我们的方法是能够产生不同的字幕与各种句法结构，从而表明一个有前途的方式来加强视频描述的多样性。
2021-12-02 cs.CL cs.CV
Grounded Video Description
Facebook AI（Facebook人工智能）；University of Michigan（密歇根大学）
视频描述是视觉和语言理解中最具挑战性的问题之一，因为视频和语言都具有很大的可变性。因此，模型通常会简化识别的难度，并生成基于先验知识但不一定基于视频的合理句子。在这项工作中，我们明确地链接到视频中的证据，通过注释每个名词短语在一个句子与相应的限界框中的一帧视频。我们的数据集ActivityNet-Entities通过158 k限界框注释增强了具有挑战性的ActivityNet Captions数据集，每个注释都是名词短语。这允许使用这些数据训练视频描述模型，重要的是，评估这些模型对它们所描述的视频的基础或“真实”程度。为了生成接地字幕，我们提出了一种新的视频描述模型，它能够利用这些限界框注释。我们在我们的数据集上展示了我们的模型的有效性，但也展示了它如何应用于Flickr 30 k实体数据集上的图像描述。我们在视频描述、视频段落描述和图像描述方面实现了最先进的性能，并证明我们生成的句子在视频中更好地扎根。
2019-05-05 cs.CV
Spatial-Temporal Decoupled Reference Conditioning for Identity-Preserving Text-to-Video Generation
Shanghai Jiao Tong University（上海交通大学）；University of Electronic Science and Technology of China（电子科技大学）；Zhejiang University（浙江大学）
提出ST-DRC框架，通过空间-时间解耦参考条件、TASS-RoPE机制和身份目标，实现高保真身份保持视频生成。
2026-06-01 cs.CV
MagicMirror: ID-Preserved Video Generation in Video Diffusion Transformers
CUHK（香港中文大学）；HKUST（香港科技大学）；CMU（卡内基梅隆大学）；SmartMore（思谋科技）
MagicMirror通过双分支特征提取器和两阶段训练策略，在视频扩散变换器中实现高质量身份保留视频生成，优于现有方法。
2025-11-22 cs.CV
Customizing Video Portraits via Identity-ActionDecoupling
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；The University of Hong Kong（香港大学）
提出身份-动作解耦框架，通过身份解耦损失和文本对齐损失，无需微调即可生成保持身份一致且表情丰富的视频。
2026-06-23 cs.CV
Context Consistency Learning via Sentence Removal for Semi-Supervised Video Paragraph Grounding
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology, China（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与高级计算重点实验室）；Guangdong University of Foreign Studies（广东外语外贸大学）；Guangdong University of Technology（广东工业大学）
针对半监督视频段落定位，提出上下文一致性学习框架，通过句子移除增强和伪标签置信度提升性能，大幅超越现有方法。
2025-06-23 cs.CV
Weakly Supervised Dense Video Captioning
Intel Labs China（英特尔中国研究院）；Fudan University（复旦大学）
本文研究了一种新颖而具有挑战性的视觉任务--密集视频描述，其目的是用多个信息丰富且多样化的字幕语句自动描述视频片段。该方法在训练时不需要细粒度句子与视频区域序列对应关系的显式注释，而是仅基于弱视频级句子注释。它在三个技术方面不同于现有的视频描述系统。首先，我们提出了词汇全卷积神经网络（Lexical-FCN）与弱监督多实例多标签学习弱链接视频区域与词汇标签。其次，我们引入了一种新的子模最大化方案，以产生多个信息和不同的区域序列的基础上的词汇-FCN输出。在训练阶段，采用赢者通吃的策略将句子与区域序列进行弱关联。第三，序列到序列的学习为基础的语言模型的弱监督信息，通过关联过程中得到的训练。我们表明，该方法不仅可以产生信息丰富和多样化的密集字幕，但也优于国家的最先进的单一视频描述方法的大幅度。
2017-04-05 cs.CV
Let Me Finish My Sentence: Video Temporal Grounding with Holistic Text Understanding
KAIST（韩国科学技术院）；Sejong University（世宗大学）
本文针对视频时间定位中忽视查询句整体语义的问题，提出融合整体文本信息的帧级门控机制和跨模态对齐损失，在多个基准上超越现有方法。
2024-10-17 cs.CV
Auto-captions on GIF: A Large-scale Video-sentence Dataset for Vision-language Pre-training
JD AI Research（京东人工智能研究院）
在这项工作中，我们提出了GIF上的自动字幕，这是一个新的大规模的通用视频理解的预训练数据集。所有的视频句子对都是通过从数十亿个网页中自动提取和过滤视频标题注释来创建的。GIF数据集上的自动字幕可以用于预训练通用特征表示或编码器-解码器结构，以用于视频描述和其他下游任务（例如，视频中的句子定位、视频问答等）也我们提出了一个详细的分析自动字幕GIF数据集相比，现有的视频句子数据集。我们还提供了一个基于transformer的编码器-解码器结构的视觉语言预训练，这是进一步适应视频描述下游任务，并产生令人信服的概括MSR-VTT的评估。该数据集可在\url{http://www.auto-video-captions.top/2020/dataset}上获得。
2020-07-05 cs.CL cs.CV
Pseudo-labeling with Keyword Refining for Few-Supervised Video Captioning
School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science, Zhejiang University（浙江大学计算机学院）
提出少监督视频描述生成任务，构建伪标注与关键词精炼框架，利用动作编辑和门控融合，在少监督及全监督基准上均取得优势。
2024-11-06 cs.CV
Rethinking the Video Sampling and Reasoning Strategies for Temporal Sentence Grounding
ProtagoLabs Inc（ProtagoLabs公司）；Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）；Sichuan University（四川大学）；Dalian University of Technology（大连理工大学）；Lehigh University（利哈伊大学）；Peking University（北京大学）
时间句子基础（TSG）旨在通过句子查询从未修剪的视频中识别特定片段的时间边界。所有现有的工作首先利用稀疏采样策略，提取固定数量的视频帧，然后进行多模态交互与查询语句进行推理。然而，我们认为，这些方法忽略了两个不可或缺的问题：1）边界偏差：注释的目标段通常是指两个特定的帧作为相应的开始和结束时间戳。视频下采样过程可能会丢失这两个帧，并将相邻的不相关帧作为新的边界。2)推理偏差：这种不正确的新边界框架也会导致框架-查询交互过程中的推理偏差，降低模型的泛化能力。为了缓解上述限制，在本文中，我们提出了一种新的连体采样和推理网络（SSRN）的TSG，它引入了连体采样机制来生成额外的上下文框架，以丰富和细化新的边界。具体而言，推理策略的开发，以学习这些框架之间的相互关系，并产生软标签的边界上更准确的框架查询推理。这种机制还能够将缺少的连续视觉语义补充到采样的稀疏帧中，用于细粒度的活动理解。大量的实验证明了SSRN在三个具有挑战性的数据集上的有效性。
2023-01-02 cs.CV
Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation
WeChat Vision, Tencent Inc.（腾讯微信视觉实验室）；VCIP, CS, Nankai University（南开大学计算机科学与技术学院）
本文提出Stand-In框架，通过引入条件图像分支和受限自注意力机制，实现轻量级身份控制，仅用1%额外参数和2000训练对即可提升视频质量和身份保持性，并支持多种视频生成任务。
2026-03-20 cs.CV
Cartoonish sketch-based face editing in videos using identity deformation transfer
Rutgers University（罗格斯大学）；Binghamton University（宾汉姆顿大学）；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
我们解决了使用手绘草图在视频中对面部进行夸张变形的问题，例如放大形状或修改眼睛或嘴巴的位置。这个任务被制定为一个三维人脸模型重建和变形问题。我们首先从视频中恢复面部身份和表情，通过拟合每个帧的面部变形模型。同时，从输入草图中识别用户的编辑意图，作为一组面部修改。然后提出了一种新的身份变形算法，将这些面部变形从2D空间直接转换到3D面部身份，同时保持面部表情。在用于进一步细化3D面部模型的可选阶段之后，这些变化被传播到具有修改的身份的整个视频。用户研究和实验结果表明，我们的素描框架可以帮助用户有效地编辑视频中的面部身份，同时确保高一致性和保真度。
2019-01-26 cs.CV
Identity-Driven DeepFake Detection
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
到目前为止，DeepFake检测一直由“伪影驱动”方法主导，当图像伪影的类型未知或伪影太难找到时，检测性能会显着下降。在这项工作中，我们提出了一种替代方法：身份驱动的DeepFake检测。我们的方法将可疑图像/视频以及目标身份信息（参考图像或视频）作为输入。我们输出关于可疑图像/视频中的身份是否与目标身份相同的决定。我们的动机是防止最常见和最有害的DeepFakes传播目标人物的虚假信息。基于身份的方法是根本不同的，因为它不试图检测图像伪影。相反，它关注的是嫌疑人图像/视频中的身份是否真实。为了方便基于身份的检测研究，我们提出了一个新的大规模数据集“Vox-DeepFake”，其中每个可疑内容与从目标身份的视频中收集的多个参考图像相关联。我们还提出了一个简单的基于身份的检测算法，称为OuterFace，这可以作为进一步研究的基线。即使在没有虚假视频的情况下进行训练，OuterFace算法也可以实现卓越的检测精度，并很好地推广到不同的DeepFake方法，并且在视频降级技术方面具有鲁棒性-这是现有检测算法无法实现的性能。
2020-12-07 cs.CV
Identity as Presence: Towards Appearance and Voice Personalized Joint Audio-Video Generation
Tencent Inc.（腾讯公司）；Peking University（北京大学）
本文提出一个统一的框架，实现身份感知的音频视频生成，通过数据整理管道和灵活的身份注入机制，提升生成内容的高保真度和一致性。
2026-08-10 cs.CV
Tencent Text-Video Retrieval: Hierarchical Cross-Modal Interactions with Multi-Level Representations
Tencent Data Platform（腾讯数据平台）
文本-视频检索在多模态理解中起着重要作用，近年来受到越来越多的关注。大多数现有的方法集中在构建整个视频和完整的字幕句子之间的对比对，而忽略了细粒度的跨模态关系，例如，剪辑短语或框架词。在本文中，我们提出了一种新的方法，命名为层次跨模态交互（HCMI），探索多层次的跨模态关系的视频句子，剪辑短语，和帧字的文本视频检索。考虑到内在的语义帧关系，HCMI执行自我注意，探索帧级的相关性和自适应聚类相关帧到剪辑级和视频级表示。以这种方式，HCMI构造用于帧-剪辑-视频粒度的多级视频表示以捕获细粒度的视频内容，以及用于文本模态的词-短语-句子粒度的多级文本表示。通过视频和文本的多级表示，分层对比学习被设计为探索细粒度的跨模态关系，即，框架词，剪辑短语和视频句子，这使得HCMI实现视频和文本模态之间的全面语义比较。通过自适应标签去噪和边缘样本增强，HCMI在各种基准测试中取得了新的最先进的结果，例如，MSR-VTT、MSVD、LSMDC、DiDemo和ActivityNet的Rank@1分别为55.0%、58.2%、29.7%、52.1%和57.3%。
2022-12-14 cs.CV
Cross-identity Video Motion Retargeting with Joint Transformation and Synthesis
The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们提出了一种新的双分支变换合成网络（TS-Net），视频运动重定向。给定一个主题视频和一个驾驶视频，TS-Net可以产生一个新的合理的视频与主题视频的主题外观和驾驶视频的运动模式。TS-Net由一个基于扭曲的转换分支和一个无扭曲的合成分支组成。双分支的新颖设计结合了基于变形网格的变换和无扭曲生成的优点，以更好地保持身份和对合成视频中的遮挡的鲁棒性。在变换分支中还引入了掩码相似度模块，以减少计算开销。在人脸和舞蹈数据集上的实验结果表明，TS-Net在视频运动重定向方面比几种最先进的模型及其单分支变体具有更好的性能。我们的代码可在https://github.com/nihaomiao/WACV23_TSNet上获得。
2022-10-02 cs.CV
Coherent Multi-Sentence Video Description with Variable Level of Detail
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）；Technische Universität München（慕尼黑工业大学）
人类可以很容易地以连贯的方式和不同的细节描述他们所看到的东西。然而，现有的自动视频描述方法主要集中在单个句子的生成和产生的描述在一个固定的细节水平。在本文中，我们解决了这两个限制：对于可变的细节水平，我们产生连贯的多句描述复杂的视频。我们遵循一个两步的方法，我们首先学习预测的语义表示（SR）从视频，然后生成自然语言描述SR。要产生一致的多句描述，我们模型跨句子的一致性在SR的水平，通过执行一个一致的主题。我们还有助于提出一个以手为中心的方法，以及强大的生成句子使用词格的对象的视觉识别。人类裁判认为我们的多句描述比相关的工作更可读，更正确，更相关。为了理解更详细和更短的描述之间的区别，我们收集和分析了三个细节层次的视频描述语料库。
2014-03-24 cs.CL cs.CV
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd（最佳视觉科技有限公司）
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说，我们用两阶段的方法解决这个问题，即，首先提出时间事件，然后生成句子。对于时间事件建议，我们直接利用[13，16]中的三阶段工作流。对于句子生成，我们利用基于LSTM的字幕框架与时间注意力机制（称为LSTM-T）。此外，基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面，我们采用了一种后期融合方案，将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
Adversarial Inference for Multi-Sentence Video Description
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
虽然在图像描述任务中已经取得了显著的进展，但是由于视频数据的复杂性质，视频描述仍然处于婴儿期。为长视频生成多句描述更具挑战性。其中的主要问题是所生成的描述的流畅性和连贯性，以及它们与视频的相关性。最近，已经探索了基于强化和对抗学习的方法来改进图像描述模型;然而，这两种类型的方法都存在许多问题，例如RL的可读性差和冗余度高，以及GANs的稳定性问题。在这项工作中，我们建议在推理过程中应用对抗技术，设计一个鼓励更好的多句视频描述的机器人。此外，我们发现，一个多目标的“混合”设计，其中每个目标的一个方面的描述，导致最好的结果。具体来说，我们将视频解耦以评估三个标准：1）与视频的视觉相关性，2）语言多样性和流畅性，以及3）句子之间的连贯性。我们的方法导致更准确，多样和连贯的多句视频描述，如流行的ActivityNet Captions数据集上的自动和人工评估所示。
2019-04-16 cs.CL cs.CV
Lip Reading Sentences in the Wild
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
这项工作的目标是识别说话的脸所说的短语和句子，有或没有音频。与之前专注于识别有限数量的单词或短语的作品不同，我们将唇读作为一个开放世界的问题来处理-不受约束的自然语言句子，以及野生视频。我们的主要贡献包括：（1）“观看、倾听、注意和拼写”（WLAS）网络，其学习将嘴部运动的视频转录为字符;（2）课程学习策略，以加速训练并减少过度拟合;（3）用于视觉语音识别的“唇读句子”（LRS）数据集，其由来自英国电视的超过100，000个自然句子组成。在LRS数据集上训练的WLAS模型超过了以前在标准唇读基准数据集上的所有工作的性能，通常是显著的。在BBC电视台的视频中，这种唇读性能击败了专业唇读器，并且我们还证明了即使在音频可用的情况下，视觉信息也有助于提高语音识别性能。
2017-01-30 cs.CV
ID-V2V: Identity-Preserving Video Restylization
Netflix（网飞公司）；Eyeline Labs（眼线实验室）；Adobe（奥多比公司）
研究如何在视频风格化中保留人类身份和表演，提出将身份保留与视频合成解耦的方法，引入ID-V2V框架，通过互补控制信号实现，实验证明其在面部相似度等方面表现优异，优于现有方法。
2026-08-21 cs.CV
