Video Captioning in Compressed Video
Zhejiang University（浙江大学）；Westlake University（西湖大学）
现有的视频描述方法主要集中在未压缩视频中的全局帧特征，而忽略了压缩视频中已经编码的免费和关键的显著性信息。我们提出了一种视频描述方法，它直接对存储的压缩视频进行操作。为了学习一个有区别的视觉表示视频描述，我们设计了一个残差辅助编码器（RAE），它点的援助下的残差帧的I帧的感兴趣的区域。首先，我们通过提取残差的特征作为I帧中每个位置的显著性值来获得空间注意力权重，并设计了一个空间注意力模块来细化注意力权重。我们进一步提出了一个时间门模块来确定有多少参加的功能有助于字幕生成，这使得该模型能够抵抗压缩视频中的一些噪声信号的干扰。最后，利用长短期记忆将视觉表征解码为描述。我们在两个基准数据集上评估了我们的方法，并证明了我们的方法的有效性。
2021-01-02 cs.CV
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出AVC-DPO后训练框架，通过针对时间动态和空间信息的增强提示进行直接偏好优化，提升视频多模态大语言模型的描述能力，并在CVPR'25视频详细描述挑战赛中获得第一名。
2025-07-02 cs.CV
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China（中国人民大学）
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中，我们提出了一种新的和简单的事件序列生成模型，并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成，并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明，该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕，我们遵循我们以前的工作，采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能，在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent AI Lab（腾讯人工智能实验室）
图像描述是一个模糊的问题，图像有许多合适的标题。为了解决歧义，束搜索是对多个字幕进行采样的实际方法。然而，束搜索在计算上是昂贵的，并且已知产生通用字幕。为了解决这个问题，已经提出了一些基于变分自动编码器（VAE）和生成对抗网络（GAN）的方法。虽然不同，但GAN和VAE不太准确。在本文中，我们首先预测图像的有意义的摘要，然后基于该摘要生成字幕。我们使用词性作为摘要，因为我们的摘要应该驱动标题生成。我们实现了三连胜：（1）如通过标准字幕度量和用户研究评估的不同字幕的高准确性;（2）与束搜索和不同束搜索相比，不同字幕的更快计算;以及（3）如通过计数新句子、不同的n元语法和相互重叠（即，mBleu-4）分数。
2019-04-11 cs.CV
Progress-Aware Video Frame Captioning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出帧级进度感知视频字幕生成任务，构建ProgressCaptioner模型及FrameCap数据集和FrameCapEval基准，显著提升字幕时间精度，并应用于关键帧选择与视频理解。
2025-03-26 cs.CV
Spatio-Temporal Attention Models for Grounded Video Captioning
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
由于动态真实场景中复杂的交互作用，自动视频描述具有挑战性。一个全面的系统最终将定位和跟踪视频中存在的对象、动作和交互，并生成依赖于时间定位的描述，以便为视觉概念奠定基础。然而，大多数现有的自动视频描述系统从原始视频数据映射到高级文本描述，绕过了定位和识别，从而丢弃了用于内容定位和概括的潜在有价值的信息。在这项工作中，我们提出了一种自动视频描述模型，该模型通过基于长短期记忆的深度神经网络结构将时空注意力和图像分类结合起来。由此产生的系统被证明在标准的YouTube字幕基准产生最先进的结果，同时还提供本地化的视觉概念（主题，动词，对象）的优势，没有接地监督，在空间和时间。
2016-10-18 cs.CV
Models See Hallucinations: Evaluating the Factuality in Video Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
视频描述的目的是用自然语言描述视频中的事件。近年来，许多研究工作都集中在提高字幕模型的性能上。然而，与其他文本生成任务一样，它有可能引入输入视频不支持的事实错误。这些事实错误会严重影响生成的文本的质量，有时会使其完全无法使用。虽然事实一致性在文本到文本任务中受到了很多研究关注（例如，摘要），但在基于视觉的文本生成的背景下研究较少。在这项工作中，我们进行了详细的人类评价的真实性视频描述，并收集两个注释的真实性数据集。我们发现，57.0%的模型生成的句子有事实错误，这是一个严重的问题，在这一领域。然而，现有的评价指标主要是基于n-gram匹配和人类真实性标注的相关性很小。我们进一步提出了一个弱监督的，基于模型的真实性度量FactVC，它优于以前的指标对视频描述的真实性评估。这些数据集和指标将被发布，以促进未来对视频描述的研究。
2023-03-06 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。
2022-08-15 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute（OPPO研究院）；Tongji University（同济大学）
本研究针对Soccernet数据集的密集视频字幕任务，采用Blip框架生成足球动作字幕，结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位，完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Mississippi State University（密西西比州立大学）
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务，其中听觉和视觉内容同等重要。虽然音频信息已被利用，以改善视频描述在以前的作品，它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的？这个问题仍然没有得到调查。在本文中，我们首次尝试设计一个可解释的视听视频描述网络，以发现句子中的单词和视听序列之间的关联。为了实现这一点，我们提出了一个多模态卷积神经网络为基础的视听视频描述框架，并介绍了一个模态感知模块，探索在句子生成过程中的模态选择。此外，我们收集了新的音频字幕和视觉字幕数据集，以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明，情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性，我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Streamlined Dense Video Captioning
POSTECH（浦项科技大学）；Seoul National University（首尔大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Wormpex AI Research（Wormpex人工智能研究院）；Amazon Go
密集的视频描述是一项极具挑战性的任务，因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案，然后在提案的子集上加字幕来处理这个问题。因此，生成的句子往往是冗余的或不一致的，因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战，我们提出了一种新的密集视频描述框架，该框架明确地对视频中事件的时间依赖性进行建模，并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的：1）集成事件序列生成网络以自适应地选择事件提议序列，以及2）将事件提议序列馈送到我们的顺序视频描述网络，该网络通过强化学习进行训练，在事件和情节级别上具有两级奖励，以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University（翰阳大学）
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题，提出Sali4Vid框架，通过显著性感知视频重加权和自适应字幕检索优化任务效果，在两个基准上达SOTA。
2025-09-04 cs.CV
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University（南洋理工大学）
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长，视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码，缺乏有效的方法去除不相关的时间信息，同时也忽略了空间细节。然而，目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响，特别是不相关的时间信息是在编码的开始。另外，忽略空间信息会导致词语之间的关系混乱和细节损失。因此，在本文中，我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码，以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息，丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
Meaning guided video captioning
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；Hiroshima University（广岛大学）
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时，经常遭受在要描述的视频中丢失对象的问题。在本文中，我们提出了一种新的方法来视频描述，可以描述由目标检测检测到的对象，并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT，一个用于视频描述的序列到序列模型。给定视频帧序列，编码RNN获取帧以及帧中检测到的对象，以便将对象的信息并入场景中。然后，将以下解码RNN输出馈送到注意层，然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较，使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明，该方法的性能明显优于未引入意义引导框架的模型，表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
RefCaptioner: Multi-Reference Image-Grounded Video Captioning
本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。
2026-07-31 cs.CV
Memory-Attended Recurrent Network for Video Captioning
Tencent（腾讯）；Southern University of Science and Technology（南方科技大学）
用于视频描述的典型技术遵循编码器-解码器框架，其仅能集中于正被处理的一个源视频。这种设计的一个潜在缺点是，它不能捕获出现在训练数据中的多于一个相关视频中的单词的多个视觉上下文信息。为了解决这个问题，我们提出了内存参与递归网络（MARN）的视频描述，其中的内存结构的目的是探索一个词和它的各种相似的视觉上下文之间的全谱对应关系，在训练数据的视频。因此，我们的模型能够对每个单词实现更全面的理解，并产生更高的字幕质量。此外，构建的内存结构使我们的方法能够显式地对相邻单词之间的兼容性进行建模，而不是像大多数现有模型那样要求模型隐式学习。在两个真实数据集上的广泛验证表明，我们的MARN始终优于最先进的方法。
2019-05-10 cs.CV
Jointly Localizing and Describing Events for Dense Video Captioning
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）
用自然语言自动描述视频被认为是计算机视觉的一个基本挑战。然而，这个问题并不是微不足道的，特别是当视频包含多个值得一提的事件时，这在真实视频中经常发生。一个有效的问题是如何在时间上定位然后描述事件，这被称为“密集视频描述”。“在本文中，我们提出了一种新的密集视频描述框架，通过端到端的方式联合训练它们，将时间事件提案的本地化和每个提案的句子生成统一起来。为了结合这两个世界，我们集成了一个新的设计，即重复性回归，到一个Single Shot检测结构，通过句子生成来推断每个检测到的建议的描述性复杂度。这进而调整每个事件提议的时间位置。我们的模型不同于现有的密集的视频描述方法，因为我们提出了一个联合和全局优化的检测和字幕，和框架独特地利用属性增强的视频描述架构。在ActivityNet Captions数据集上进行了广泛的实验，与最先进的技术相比，我们的框架显示出明显的改进。更值得注意的是，我们获得了一个新的记录：在ActivityNet Captions官方测试集上的METEOR为12.96%。
2018-04-23 cs.CV
Video Captioning: a comparative review of where we are and which could be the route
Centro de Investigación en Ciencias de Información Geoespacial AC（地理空间信息科学研究中心（AC））；Consejo Nacional de Ciencia y Tecnología (CONACyT)（国家科学技术委员会（CONACyT））
视频描述是描述图像序列的内容的过程，捕捉其语义关系和含义。用一张图像处理这个任务是艰巨的，更不用说视频（或图像序列）是多么困难。视频描述的应用量和相关性是巨大的，主要用于处理视频监控中的大量视频记录，或者辅助视力受损的人等等。为了分析我们的社区在解决视频描述任务方面的努力，以及可以更好地遵循的路线，本文对2016年至2021年期间的105篇论文进行了广泛的回顾。因此，确定了最常用的数据集和指标。此外，使用的主要方法和最好的方法。我们计算一组排名的基础上，几个性能指标，以获得，根据其性能，最好的方法与最好的结果上的视频描述任务。最后，总结了一些见解，这些见解可能是下一步或机会领域，以改善处理这一复杂的任务。
2022-04-13 cs.CV
Reconstruction Network for Video Captioning
Tencent AI Lab（腾讯人工智能实验室）；School of Control Science Engineering Shandong University（山东大学控制科学与工程学院）
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索，使语言描述，我们提出了一种重建网络（RecNet）与一种新的编码器-解码器-重建器架构，它利用了前向（视频到句子）和后向（句子到视频）流的视频描述。具体地，编码器-解码器利用前向流来基于编码的视频语义特征产生句子描述。两种类型的重建器被定制为采用反向流，并根据解码器生成的隐藏状态序列再现视频特征。由编码器-解码器产生的生成损失和由重建器引入的重建损失以端到端的方式共同被引入到训练所提出的RecNet中。在基准数据集上的实验结果表明，所提出的重建器可以提高编码器-解码器模型，并导致视频字幕准确性的显着增益。
2018-03-30 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Weakly Supervised Dense Video Captioning
Intel Labs China（英特尔中国研究院）；Fudan University（复旦大学）
本文研究了一种新颖而具有挑战性的视觉任务--密集视频描述，其目的是用多个信息丰富且多样化的字幕语句自动描述视频片段。该方法在训练时不需要细粒度句子与视频区域序列对应关系的显式注释，而是仅基于弱视频级句子注释。它在三个技术方面不同于现有的视频描述系统。首先，我们提出了词汇全卷积神经网络（Lexical-FCN）与弱监督多实例多标签学习弱链接视频区域与词汇标签。其次，我们引入了一种新的子模最大化方案，以产生多个信息和不同的区域序列的基础上的词汇-FCN输出。在训练阶段，采用赢者通吃的策略将句子与区域序列进行弱关联。第三，序列到序列的学习为基础的语言模型的弱监督信息，通过关联过程中得到的训练。我们表明，该方法不仅可以产生信息丰富和多样化的密集字幕，但也优于国家的最先进的单一视频描述方法的大幅度。
2017-04-05 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu（百度ERNIE团队）；College of Artificial Intelligence, Inner Mongolia University（内蒙古大学人工智能学院）
提出CodecCap框架，通过关键帧和残差字幕模拟视频编解码器，在保持细粒度视觉证据的同时减少冗余，并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
From Deterministic to Generative: Multi-Modal Stochastic RNNs for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
视频描述在本质上是一个复杂的自然过程，这是由各种不确定性所产生的视频内容，主观判断等，在本文中，我们建立在使用编码器-解码器的框架视频描述的最新进展，并解决我们发现是一个关键的不足，现有的方法，大多数的解码器传播确定性隐藏状态。这种复杂的不确定性不能有效地建模的确定性模型。在本文中，我们提出了一种生成方法，称为多模态随机RNN网络（MS-RNN），它使用潜在随机变量对数据中观察到的不确定性进行建模。因此，MS-RNN可以提高视频描述的性能，并且考虑不同的随机因素来生成多个句子来描述视频。具体来说，首先提出了一种多模态LSTM（M-LSTM）来与视觉和文本特征进行交互，以捕获高级表示。然后，提出了一种后向随机LSTM（S-LSTM），通过引入潜变量来支持不确定性传播。在具有挑战性的数据集MSVD和MSR-VTT上的实验结果表明，我们提出的MS-RNN方法优于最先进的视频描述基准。
2017-10-20 cs.CV
Streaming Dense Video Captioning
Google（谷歌公司）
本文提出流式密集视频字幕生成模型，通过固定大小聚类记忆模块和流式解码算法，实现处理任意长视频并提前输出预测，在ActivityNet、YouCook2和ViTT三个基准上显著超越现有最先进方法。
2024-04-01 cs.CV
NITS-VC System for VATEX Video Captioning Challenge 2020
National Institute of Technology Silchar（西尔查国家理工学院）
视频描述是将视频的内容、事件和动作总结成简短的文本形式的过程，其可以在许多研究领域中有帮助，例如视频引导的机器翻译、视频情感分析以及为有需要的个人提供帮助。在本文中，VATEX-2020视频描述的挑战所使用的框架的系统描述。我们采用基于编码器-解码器的方法，其中视频的视觉特征使用3D卷积神经网络（C3 D）进行编码，并且在解码阶段使用两个长短期记忆（LSTM）递归网络，其中视觉特征和输入字幕被单独融合，并且通过在两个LSTM的输出之间执行元素乘积来生成最终输出。我们的模型能够在公共和私人测试数据集中分别获得0.20和0.22的BLEU分数。
2020-09-25 cs.CV
Thinking Hallucination for Video Captioning
ÉTS（蒙特利尔高等技术学院）；Indian Statistical Institute（印度统计研究所）
随着丰富的视觉表示和预先训练的语言模型的出现，视频描述随着时间的推移不断改进。尽管性能有所提高，但视频描述模型仍容易产生幻觉。幻觉是指产生与源材料分离的高度病态的描述。在视频描述中，存在两种幻觉：物体幻觉和动作幻觉。而不是努力学习更好的视频表示，在这项工作中，我们调查的幻觉问题的根本来源。我们确定了三个主要因素：（i）从预训练模型中提取的视觉特征不足，（ii）多模态融合过程中源和目标上下文的不当影响，以及（iii）训练策略中的曝光偏差。为了缓解这些问题，我们提出了两个强大的解决方案：（a）在提取的视觉特征之上引入在多标签设置中训练的辅助头，以及（b）添加上下文门，在融合过程中动态选择特征。用于视频描述的标准评估度量测量与地面实况字幕的相似性，并且不充分地捕获对象和动作相关性。为此，我们提出了一个新的度量，COAHA（标题对象和动作幻觉评估），它评估幻觉的程度。我们的方法在MSR-Video to Text（MSR-VTT）和Microsoft Research Video Description Corpus（MSVD）数据集上实现了最先进的性能，特别是在CIDER分数上有很大的优势。
2022-09-28 cs.CV
Towards Subject-Oriented Video Captioning via User-Specified Targets
University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Technology（计算机科学与技术学院）；Macquarie University（麦考瑞大学）
提出面向主体的视频字幕生成任务 SOVC，构建基于 MSVD 与 MSRVTT 的数据集，并设计 SOVCNet 通过主体相关采样及硬、软提示编码提升目标描述效果。
2026-10-06 cs.CV
GL-RG: Global-Local Representation Granularity for Video Captioning
Fudan University（复旦大学）；Westlake University（西湖大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Florida（佛罗里达大学）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；Purdue University（普渡大学）；Meta AI
视频描述是一项具有挑战性的任务，因为它需要将视觉理解准确地转换为自然语言描述。到目前为止，最先进的方法不足以跨视频帧对全局-局部表示进行建模以用于字幕生成，留下了大量的改进空间。在这项工作中，我们从一个新的角度来处理视频描述的任务，并提出了一个GL-RG框架的视频描述，即一个\textbf{G}非线性-\textbf{L}局部\textbf{G} epresentation \textbf{G} ranularity。我们的GL-RG表现出三个优势：1）我们明确地利用广泛的视觉表示，从不同的视频范围，以改善语言表达; 2）我们设计了一种新的全局-局部编码器，以产生丰富的语义词汇，以获得跨帧的视频内容的描述粒度; 3）我们开发了一种增量训练策略，该策略以增量方式组织模型学习，以产生最佳字幕行为。在具有挑战性的MSR-VTT和MSVD数据集上的实验结果表明，我们的DL-RG明显优于最近的最先进的方法。代码可从\url{https://github.com/ylqi/GL-RG}获得。
2023-02-28 cs.CV
Grounded Objects and Interactions for Video Captioning
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories America（NEC美国实验室）；Georgia Tech Research Institute（佐治亚理工研究院）
我们解决的问题，视频描述接地语言生成的对象在视频中的相互作用。现有的工作主要集中在整体场景理解，往往有限或没有强调对象的相互作用，以解决视频理解的问题。在本文中，我们提出了SINet-Caption，它可以学习生成基于任意对象组之间的高阶交互的字幕，以实现细粒度的视频理解。我们讨论了这种方法的挑战和好处。我们使用我们的模型，基于这种方法的SINet-Caption，进一步展示了ActivityNet Captions数据集的最新结果。
2017-11-16 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
递归神经网络在视频描述中的应用最近得到了广泛的关注，因为它们既可以用于对输入视频进行编码，也可以用于生成相应的描述。在本文中，我们提出了一个经常性的视频编码方案，可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同，在这种方法中，视频由递归层连续编码，我们提出了一种新的LSTM单元，它可以识别帧或片段之间的不连续点，并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集：蒙特利尔视频注释数据集，MPII电影描述数据集和微软视频描述语料库。实验表明，我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
Not All Words are Equal: Video-specific Information Loss for Video Captioning
对于给定视频的理想描述应该将其目光固定在突出和代表性的内容上，这能够将该视频与其他视频区分开来。然而，在视频描述数据集中，不同词语的分布是不平衡的，用于描述视频特定显著对象的独特词语远少于“a”、“the”和“person”等常见词语。数据集偏差往往导致识别错误或细节缺陷的显着，但不寻常的对象。为了解决这个问题，我们提出了一种新的学习策略称为信息损失，它侧重于视频特定的视觉内容和相应的代表词之间的关系。此外，建立了一个框架，分层视觉表示和优化的分层注意力机制，以捕捉最显着的时空视觉信息，充分发挥了潜在的优势，提出的学习策略。大量的实验表明，巧妙的指导策略与优化的架构一起优于国家的最先进的视频描述方法MSVD与CIDER分数87.5，并实现优异的CIDER分数47.7 MSR-VTT。我们还表明，我们的信息损失是通用的，提高了各种模型的显着利润率。
2019-01-01 cs.CV
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University（特拉维夫大学）
我们介绍了一种zero-shot视频描述方法，该方法采用两个冻结网络：GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同，我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的，从而逐渐提高所生成句子的特异性和全面性。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实世界知识。我们的代码可在：https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
It's Just Another Day: Unique Video Captioning by Discriminative Prompting
University of Bristol（布里斯托大学）；University of Oxford（牛津大学）
本文提出唯一视频字幕生成问题及CDP方法，通过预测区分相同字幕片段的属性生成唯一字幕，在第一人称视频和时间循环电影基准上显著提升了文本到视频检索R@1指标。
2024-10-15 cs.CV
Crowd Video Captioning
Westlake University（西湖大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）
用自然语言自动描述视频是计算机视觉领域的一项具有挑战性的任务。在大多数情况下，重大赛事的现场情况在新闻中得到报道，但在出入口处的场外观众的情况却被忽视，这也引起了人们的兴趣。由于在入口和出口部署记者需要大量的人力，如何自动描述一群场外观众的行为是重要的，仍然是一个问题。为了解决这个问题，我们提出了一个新的任务称为人群视频描述（CVC），其目的是描述人群的观众。我们还为这项任务提供了基线方法，并在WorldExpo'10数据集上对其进行了评估。我们的实验结果表明，字幕模型有一个相当深刻的理解人群的视频和令人满意的表现在CVC任务。
2019-11-13 cs.CV
Time-Scaling State-Space Models for Dense Video Captioning
Google Deepmind（谷歌DeepMind）
针对密集视频字幕生成中长视频处理的计算、内存限制及无法在线处理的问题，提出带转移状态的SSM方法，提升其长上下文状态维持能力，可在线生成字幕，适配长视频且FLOPs降低至1/7。
2025-09-03 cs.CV
Retrieval-Augmented Egocentric Video Captioning
Fudan University（复旦大学）；The University of Tokyo（东京大学）；Nanjing University（南京大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对第一人称视频行为理解的挑战，提出检索增强的多模态字幕模型EgoInstructor，通过自动检索第三人称教学视频增强效果，设计EgoExoNCE损失训练跨视角检索模块，在7个基准上取得优异性能，显著提升第一人称视频字幕生成质量。
2024-06-19 cs.CV
OVC-Net: Object-Oriented Video Captioning with Temporal Graph and Detail Enhancement
School of Artificial Intelligence Beijing Univerisity of Posts\ Telecommunications Beijing, China Email；Department of Electrical；School of Artificial Intelligence Beijing Univerisity of Posts
传统的视频描述要求对视频进行整体描述，但可能无法获得对特定对象的详细描述。这些基于图像的数据驱动方法在没有关联运动轨迹的情况下，无法从对象间视觉特征的时空转换中理解活动。此外，由于多模态函数映射的一对多性质，在训练中采用歧义剪辑句子对不利于学习多模态函数映射。在本文中，我们提出了一个新的任务来理解的视频对象级，命名为面向对象的视频描述。我们引入了基于视频的面向对象的视频描述网络（OVC）-Net，通过时序图和细节增强，有效地分析了沿时间的活动，并在小样本条件下稳定地捕获视觉语言连接。时间图为之前基于图像的方法提供了有用的补充，允许根据视觉特征的时间演变和空间位置的动态移动来推理活动。细节增强有助于捕捉不同对象之间的区别特征，随后的字幕模块可以产生更多的信息和精确的描述。此后，我们构建了一个新的数据集，提供一致的目标句子对，以促进有效的跨模态学习。为了证明其有效性，我们在新的数据集上进行了实验，并将其与最先进的视频描述方法进行了比较。从实验结果来看，OVC-Net具有精确描述并发对象的能力，达到了最先进的性能。
2020-07-14 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen（图宾根大学）
为了生成合适的视频字幕，推理需要识别相关概念，并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构，一个适合的Transformer用于单个联合时空视频分析，以及一个基于自注意力的解码器用于高级文本生成。此外，我们引入了一个自适应帧选择方案，以减少所需的传入帧的数量，同时保持相关的内容时，训练两个Transformers。此外，我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD，以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成（NLG）指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
Exploring Temporal Event Cues for Dense Video Captioning in Cyclic Co-learning
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China（中国教育部可持续城市智能交通工程研究中心）
本文提出多概念循环学习（MCCL）网络，通过帧级概念检测提供时间事件线索，并设计生成器与定位器间的循环共学习，在ActivityNet Captions和YouCook2上取得最先进性能。
2024-12-16 cs.CV
Non-Autoregressive Coarse-to-Fine Video Captioning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
令人鼓舞的是，在连接视频和自然语言方面取得了进展。然而，主流视频描述方法由于自回归解码的顺序方式而遭受缓慢的推断速度，并且由于视觉词的训练不足而优选生成通用描述（例如，名词和动词）和解码范例不足。在本文中，我们提出了一个非自回归解码为基础的模型与粗到细的字幕过程，以减轻这些缺陷。在实现过程中，我们采用了一个基于双向自注意的网络作为我们的语言模型来实现推理加速，在此基础上，我们将字幕过程分解为两个阶段，其中模型具有不同的焦点。具体而言，鉴于视觉词决定了字幕的语义正确性，我们设计了一种视觉词生成机制，不仅促进场景相关词的训练，而且还从视频中捕获相关细节，以构建粗粒度的句子“模板”。此后，我们设计了专用的解码算法，在“模板”中填充合适的单词，并通过迭代细化来修改不适当的措辞，以获得细粒度的描述。在两个主流视频描述基准上进行了广泛的实验，MSVD和MSR-VTT实验表明，该方法具有最佳的性能，生成了多样化的描述，并获得了较高的推理效率。我们的代码可在https://github.com/yangbang18/Non-Autoregressive-Video-Captioning上获得。
2021-03-24 cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题，提出融合外部记忆先验知识的跨模态记忆检索框架，无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.（日立制作所）
自动描述视频，或称视频描述，在多媒体领域得到了广泛的研究。本文提出了一种新的任务，传感器增强自我中心的视频描述，一个新构建的数据集，它称为MMAC字幕，和新提出的任务，有效地利用多模态数据的视频和运动传感器，或惯性测量单元（IMU）的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述，但自我中心视觉具有更大的潜力，可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外，我们利用可穿戴传感器数据作为辅助信息，以减轻自我中心视觉的固有问题：运动模糊，自遮挡和相机范围外的活动。我们提出了一种方法，有效地利用传感器数据与视频数据的基础上的注意力机制，动态地确定模态，需要更多的关注，考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较，发现使用传感器数据作为自我中心视频数据的补充信息是有益的，并且我们提出的方法优于强基线，证明了所提出的方法的有效性。
2021-09-07 cs.CV
Live Video Captioning
本文提出实时视频字幕生成（LVC）新范式，结合可变形变换器与时间滤波在线生成字幕，并设计新评估指标，在ActivityNet Captions上超越离线方法。
2025-05-26 cs.CV
Enhancing Traffic Safety with Parallel Dense Video Captioning for End-to-End Event Analysis
University of Central Florida（中佛罗里达大学）；North Dakota State University（北达科他州立大学）
本研究针对2024年AI City挑战赛交通安全分析任务，基于PDVC框架结合CLIP特征、领域适配与知识迁移优化密集视频字幕，在WTS数据集测试集上获竞赛第6名。
2024-04-12 cs.CV
Video Captioning with Transferred Semantic Attributes
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
自动生成视频的自然语言描述是计算机视觉界面临的一个基本挑战。这个问题的最新进展已经通过采用2-D和/或3-D卷积神经网络（CNN）来编码视频内容以及采用递归神经网络（RNN）来解码句子来实现。在本文中，我们提出了具有转移语义属性的长短期记忆（LSTM-TSA）--一种新型的深度架构，通过端到端的方式训练它们，将从图像和视频中学习的转移语义属性纳入CNN和RNN框架。LSTM-TSA的设计受到以下事实的启发：1）语义属性对字幕起着重要的作用，2）图像和视频具有互补的语义，因此可以相互加强字幕。为了提高视频描述，我们提出了一种新的传输单元来模拟从图像和视频中学习到的相互关联的属性。在三个公共数据集上进行了广泛的实验，即，MSVD、M-VAD和MPII-MD。我们提出的LSTM-TSA在MSVD上实现了迄今为止最好的句子生成性能：BLEU@4和CIDEr-D分别为52.8%和74.0%。与最先进的方法相比，M-VAD和MPII-MD也报告了优越的结果。
2016-11-23 cs.CV
Less Is More: Picking Informative Frames for Video Captioning
University of Chinese Academy of Science（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））
在视频描述任务中，最好的实践是通过基于注意力的模型将视频中的显著视觉成分与句子相关联。然而，现有的研究都是基于等间隔帧采样的帧级外观建模和运动建模，这可能会带来视觉信息冗余、对内容噪声敏感以及不必要的计算开销。我们提出了一个即插即用的PickNet来执行信息帧拾取在视频描述。基于一个标准的编码器-解码器框架，我们开发了一个基于学习的过程来顺序地训练网络，其中每个帧拾取动作的奖励是通过最大化视觉多样性和最小化文本差异来设计的。如果候选人得到奖励，它将被选择，并且编码器-解码器的相应潜在表示将被更新以供将来的试验。这个过程一直持续到视频序列结束。因此，可以选择紧凑的帧子集来表示视觉信息并执行视频描述而不会降低性能。实验结果表明，我们的模型可以使用6-8帧，以达到在流行的基准竞争力的性能。
2018-03-05 cs.CV
Video captioning with stacked attention and semantic hard pull
Islamic University of Technology（伊斯兰科技大学）；Dhaka University of Engineering and Technology（达卡工程技术大学）
本文提出语义敏感视频字幕生成（SSVC）架构，通过堆叠注意力和空间硬拉取改进上下文生成，并引入语义敏感性（SS）评分指标，提升视频字幕生成的性能。
2021-07-16 cs.CV
Cross-Modal Graph with Meta Concepts for Video Captioning
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
视频描述的目标是将复杂的视觉内容解释为文本描述，这要求模型完全理解包括对象及其交互在内的视频场景。现有的方法采用现成的目标检测网络来给出对象建议，并使用注意力机制来建模对象之间的关系。它们通常会遗漏预训练模型中一些未定义的语义概念，并且无法识别对象之间的精确谓词关系。在本文中，我们研究了一个开放的研究任务，生成给定的视频的文本描述，并提出跨模态图（CMG）与Meta概念的视频描述。具体来说，为了覆盖视频字幕中有用的语义概念，我们弱学习文本描述的相应视觉区域，其中相关联的视觉区域和文本词被称为跨模态Meta概念。我们进一步动态地构建Meta概念图与学习的跨模态Meta概念。我们还构建了整体视频级和局部帧级视频图与预测的谓词模型视频序列结构。我们通过广泛的实验验证了我们提出的技术的有效性，并在两个公共数据集上获得了最先进的结果。
2022-08-01 cs.CV
Characterizing the impact of using features extracted from pre-trained models on the quality of video captioning sequence-to-sequence models
Zewail City For Science And Technology（泽维尔科学技术城）
视频描述的任务，即自动生成描述视频中的一系列动作的句子，近来已经吸引了越来越多的关注。视频数据的复杂和高维表示使得典型的编码器-解码器架构难以识别相关特征并以适当的格式对其进行编码。视频数据包含不同的模态，可以使用混合图像，场景，动作和音频特征进行识别。在本文中，我们描述了影响视频描述的不同特征，并探讨了这些特征之间的相互作用以及它们如何影响视频表示的最终质量。建立在现有的编码器-解码器模型，利用有限的视频信息的范围内，我们的比较表明，包括多模态视频功能可以显着提高生成的语句的质量的影响。这项工作是特别感兴趣的科学家和从业者谁是使用序列到序列模型生成视频字幕。
2019-11-22 cs.CV
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad（达尔瓦德印度理工学院）；UltraInstinct AI
视频描述是一个流行的任务，挑战模型使用自然语言描述视频中的事件。在这项工作中，我们调查的能力，各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器（WAFTM），字幕模型，将内存中的Transformer编码器，并使用一种新的方法，融合功能，确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后，我们在两个数据集上对我们的模型进行了基准测试，并在MSVD上获得了92.4的CIDER，在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
Vatex Video Captioning Challenge 2020: Multi-View Features and Hybrid Reward Strategies for Video Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology Beijing（北京科技大学）；Wuhan University（武汉大学）
本报告介绍了我们为VATEX字幕挑战赛2020提供的解决方案，该挑战赛要求为视频生成中英文描述。我们确定了提高性能的三个关键因素，即：多视图功能，混合奖励和多样化的合奏。基于我们的VATEX 2019挑战方法，我们今年通过更先进的模型架构、外观和运动特征的组合以及仔细的超参数调整实现了重大改进。我们的方法在中文和英文视频描述音轨上都取得了很好的效果。
2020-06-24 cs.CV cs.MM
Text with Knowledge Graph Augmented Transformer for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；ByteDance Inc.（字节跳动公司）
视频描述旨在使用自然语言描述视频的内容。虽然已经取得了重大进展，但对于实际应用程序来说，仍然有很大的空间来提高性能，主要是由于长尾词的挑战。在本文中，我们提出了一个文本与知识图谱增强Transformer（TextKG）的视频描述。值得注意的是，TextKG是一个双流Transformer，由外部流和内部流组成。外部流被设计为吸收附加知识，其对附加知识之间的交互进行建模，例如，预先构建的知识图谱，以及视频的内置信息，例如，显著对象区域、语音转录和视频字幕，以减轻长尾词挑战。同时，内部流被设计为利用视频中的多模态信息（例如，视频帧、语音转录和视频字幕的外观）以确保字幕结果的质量。此外，在两个流之间还使用交叉注意力机制来共享信息。通过这种方式，两个流可以相互帮助，获得更准确的结果。在四个具有挑战性的视频描述数据集上进行了广泛的实验，即，YouCookII，ActivityNet Captions，MSRVTT和MSVD，表明所提出的方法与最先进的方法相比表现良好。具体来说，所提出的TextKG方法通过在YouCookII数据集上提高18.7%的绝对CIDER分数，优于最好的公布结果。
2023-03-25 cs.CV
