LFS: Learnable Frame Selector for Event-Aware and Temporally Diverse Video Captioning
GTS, AI Data Department, Huawei Technologies Co., Ltd.（华为技术有限公司人工智能数据部）
本文提出LFS，通过学习选择时间多样且事件相关的帧，提升视频描述的细节质量，在两个基准和ICH-CC上取得显著提升。
2026-05-07 cs.CV
From Representation to Reasoning: Towards both Evidence and Commonsense Reasoning for Video Question-Answering
Shanghai Jiao Tong University（上海交通大学）
视频理解在表示学习方面取得了很大的成功，如视频字幕、视频对象背景、视频描述性问答等。然而，现有的视频推理方法在视频推理方面仍存在一些问题，包括证据推理和常识推理。为了促进对视频推理的更深入的视频理解，我们提出了Cause-VidQA的任务，其中包括四种类型的问题，从场景描述（描述）到证据推理（解释）和常识推理（预测和反事实）。对于常识推理，我们通过回答问题和提供适当的理由来建立两步解决方案。通过对现有视频质量评估方法的大量实验，我们发现现有的视频质量评估方法描述能力强，但推理能力弱。我们希望Cause-VidQA能够指导视频理解从表示学习向更深层次推理的研究。数据集和相关资源可在\url{https://github.com/bcmi/Causal-VidQA.git}上获得。
2022-05-30 cs.CL cs.CV cs.MM
Commonsense Video Question Answering through Video-Grounded Entailment Tree Reasoning
Shanghai Jiao Tong University（上海交通大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）
提出首个视频锚定蕴含树推理方法，通过四步显式锚定视频片段，增强VQA推理并去偏，实验验证其跨基准、模型和推理类型的有效性。
2025-03-25 cs.AI cs.CV
Learning Commonsense-aware Moment-Text Alignment for Fast Video Temporal Grounding
Tianjin University of Technology（天津理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；PengCheng Laboratory（鹏城实验室）；Jiangsu University of Science and Technology（江苏科技大学）
在视觉和语言领域中，有效和高效地将自然语言查询中描述的时间视频片段接地是所需的关键能力。在本文中，我们处理的快速视频时间接地（FVTG）的任务，旨在定位目标段的速度和良好的准确性。现有的方法大多采用精心设计的跨模态交互模块来提高接地性能，但存在测试时间瓶颈。几种常用的基于空间的方法虽然具有推理速度快的优点，但它们很难捕捉视觉和文本模态之间全面而明确的关系。在本文中，为了解决速度-准确性权衡的困境，我们提出了一个常识感知的跨模态对齐（CCA）框架，该框架将常识引导的视觉和文本表示纳入一个互补的公共空间，用于快速视频时间接地。具体而言，通过从语言语料库中提取结构语义信息来探索和利用常识概念。然后，设计了一个常识感知交互模块，利用学习到的常识概念获得桥接的视觉和文本特征。最后，为了保持文本查询的原始语义信息，优化了一个跨模态互补公共空间，以获得执行FVTG的匹配分数。两个具有挑战性的基准测试的广泛结果表明，我们的CCA方法在高速运行时对最先进的性能表现良好。我们的代码可在www.example.com上获得。
2022-04-12 cs.CL cs.CV cs.LG
A-CAP: Anticipation Captioning with Commonsense Knowledge
The University of Tokyo（东京大学）；The Graduate University for Advanced Studies（综合研究大学院大学）；National Institute of Informatics（国立情报学研究所）
本文提出预期描述生成任务及A-CAP模型，通过将常识知识融入预训练视觉-语言模型，利用稀疏时序图像预测未来图像描述，并在视觉叙事数据集上取得优于现有方法的性能。
2023-04-13 cs.CV
Video Moment Localization using Object Evidence and Reverse Captioning
Simon Fraser University（西蒙弗雷泽大学）
我们解决的问题，基于语言的时间定位的时刻在未修剪的视频。与固定类别的时间本地化相比，这个问题更具挑战性，因为基于语言的查询没有预定义的活动类，也可能包含复杂的描述。当前最先进的模型MAC通过从视频和语言模态中挖掘活动概念来解决这个问题。该方法对来自语言查询中的动词/对象对的语义活动概念进行编码，并利用来自视频活动分类预测分数的视觉活动概念。我们提出了“多方面的VideoMoment定位器”（MML），MAC模型的扩展，通过引入视觉对象的证据，通过对象分割掩模和视频理解功能，通过视频描述。此外，我们还改进了句子嵌入中的语言建模。我们在Charades-STA数据集上进行了实验，发现MML在R@1和R@5指标上分别比MAC基线高出4.93%和1.70%。我们的代码和预训练模型可在https://github.com/madhawav/MML上公开获取。
2020-06-18 cs.CV cs.MM
Traffic-Domain Video Question Answering with Automatic Captioning
University of Southern California（南加州大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对交通域VidQA缺乏场景知识融合的问题，提出弱监督方法TRIVIA将交通知识注入大视频语言模型，在SUTD-TrafficQA任务上使模型准确率提升6.5个百分点（19.88%）。
2023-07-18 cs.AI cs.CV
Implicit and Explicit Commonsense for Multi-sentence Video Captioning
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
提出基于Transformer的视频字幕模型，融合隐式与显式常识知识，在指令生成和传统字幕任务上取得显著提升。
2024-01-09 cs.CV
iReason: Multimodal Commonsense Reasoning using Videos and Natural Language with Interpretability
Stanford University（斯坦福大学）
因果关系知识对于构建强大的AI系统至关重要。深度学习模型通常在需要因果推理的任务上表现不佳，因果推理通常是使用某种形式的常识知识推导出来的，这些常识知识在输入中不能立即获得，而是由人类隐含地推断出来的。先前的工作已经揭开了虚假的观察偏差，模型在缺乏因果关系的情况下成为牺牲品。虽然语言表征模型在学习的嵌入中保留了上下文知识，但它们在训练过程中没有考虑因果关系。通过将具有输入特征的因果关系混合到执行视觉认知任务（诸如场景理解、视频描述、视频问答等）的现有模型，由于对因果关系的深入了解，可以取得更好的业绩。最近，已经提出了几个模型，已经解决了从视觉或文本模态中挖掘因果数据的任务。然而，并不存在广泛的研究，通过并列的视觉和语言的方式来挖掘因果关系。虽然图像为我们提供了丰富且易于处理的资源来挖掘因果关系知识，但视频更密集，并且由自然的时间顺序事件组成。此外，文本信息提供了视频中可能隐含的细节。我们提出了iReason，一个框架，推断视觉语义常识知识使用视频和自然语言字幕。此外，iReason的架构集成了一个因果合理化模块，以帮助可解释性，错误分析和偏见检测的过程。我们使用语言表示学习模型（BERT，GPT-2）以及当前最先进的多模态因果关系模型进行了双管齐下的比较分析，证明了iReason的有效性。
2021-06-25 cs.AI cs.CL cs.CV
Relational Reasoning using Prior Knowledge for Visual Captioning
Beijing Institute of Technology（北京理工大学）；University of Rochester（罗切斯特大学）
利用对象之间的关系已经在通过自然语言解释图像或视频方面取得了显着进展。现有的大多数方法都是先检测目标及其关系，然后生成文本描述，这严重依赖于预先训练好的检测器，在目标检测中遇到严重遮挡、小尺寸目标和长尾等问题时会导致性能下降。此外，检测和字幕的分离过程导致预定义的对象/关系类别与目标词汇之间的语义不一致。我们利用先前的人类常识知识来推理对象之间的关系，而无需任何预先训练的检测器，并在字幕中的一个图像或视频中达到语义一致性。先验知识（例如，以知识图谱的形式）提供了图像和视频中不明确的对象之间的常识语义关联和约束，用作构建用于句子生成的语义图谱的有用指导。特别地，我们提出了一种联合推理方法，该方法包括：1）常识推理，用于将图像或视频区域嵌入语义空间以构建语义图; 2）关系推理，用于对语义图进行编码以生成句子。在MS-COCO图像描述基准和MSVD视频描述基准上的大量实验验证了我们的方法在利用先验常识知识增强视觉字幕的关系推理方面的优越性。
2019-06-04 cs.CV
Video2Commonsense: Generating Commonsense Descriptions to Enrich Video Captioning
Arizona State University（亚利桑那州立大学）
字幕是视频理解的一项重要而又具有挑战性的任务。在涉及诸如人类的主动代理的视频中，代理的动作可以在场景中带来无数变化。诸如场景中的对象的移动、操纵和变换的可观察到的变化反映在传统的视频描述中。与图像不同，视频中的动作也与社会方面有内在联系，如意图（为什么动作发生），效果（由于动作而发生的变化）和描述代理的属性。因此，对于视频理解，例如当为视频添加字幕或回答有关视频的问题时，必须了解这些常识方面。我们提出了直接从视频中生成常识性字幕的第一项工作，以描述潜在的方面，如意图，效果和属性。我们提出了一个新的数据集“视频到常识（V2 C）”，其中包含$\sim9k$视频的人类代理执行各种动作，注释与3种类型的常识描述。此外，我们探索使用开放式的视频为基础的常识问答（V2 C-QA）作为一种方式来丰富我们的字幕。生成任务和QA任务都可以用来丰富视频字幕。
2023-01-07 cs.CL cs.CV
Hybrid Reasoning Network for Video-based Commonsense Captioning
基于视频的常识字幕的任务旨在生成事件式字幕，同时提供多个常识描述（例如，属性、效果和意图）。以往的研究都是通过对不同的常识类型使用不同的网络来探索常识字幕，这是耗时的，并且缺乏对不同常识之间的交互作用的挖掘。本文提出了一种混合推理网络（HybridNet），赋予神经网络语义级推理和词级推理的能力。首先，我们通过在一个统一的网络中联合训练不同的常识类型来开发语义级推理的多常识学习，这鼓励了多个常识描述，事件式字幕和视频的线索之间的交互。然后，有两个步骤来实现词级推理：（1）存储器模块记录来自先前生成过程的历史预测序列;（2）存储器路由的多头注意力（MMHA）模块通过将来自存储器模块的历史信息合并到用于词级推理的Transformer解码器中来更新词级注意图。此外，多模态特征被用来充分利用常识推理的多样性知识。在大规模Video-to-Commonsense基准测试上的实验和大量分析表明，与其他方法相比，我们的HybridNet实现了最先进的性能。
2021-08-05 cs.CL cs.CV
VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
VideoPhy-2通过200种动作和人工评估揭示视频生成模型在物理常识上的关键缺陷，并训练自动评估器VideoPhy-AutoEval，为物理一致视频生成提供严格基准。
2025-03-09 cs.CV
Beyond Caption To Narrative: Video Captioning With Multiple Sentences
The University of Tokyo（东京大学）
图像描述任务的最新进展导致对视频描述任务的兴趣增加。然而，大多数关于视频描述的工作都集中在生成聚合特征的单个输入上，这几乎没有偏离图像描述过程，并且没有充分利用视频中存在的动态内容。我们试图生成的视频字幕，传达更丰富的内容，通过时间分割的视频与动作本地化，从多个帧生成多个字幕，并将它们与自然语言处理技术，以生成一个故事般的字幕。我们表明，我们提出的方法可以生成内容更丰富的字幕，可以与最先进的方法竞争，而无需明确使用视频级功能作为输入。
2016-05-18 cs.CV
Visual Commonsense R-CNN
University of Electronic Science and Technology of China（电子科技大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
我们提出了一种新的无监督特征表示学习方法，基于视觉常识区域的卷积神经网络（VC R-CNN），作为一个改进的视觉区域编码器的高级任务，如字幕和VQA。给定图像中的一组检测到的对象区域（例如，使用更快的R-CNN），像任何其他无监督特征学习方法（例如，word 2 vec），VC R-CNN的代理训练目标是预测区域的上下文对象。然而，它们是根本不同的：VC R-CNN的预测是通过使用因果干预：P（Y| do（X）），而其他人则使用传统的似然：P（Y| X）。这也是为什么VC R-CNN可以学习“有意义”的知识的核心原因，比如椅子可以被坐着--而不仅仅是“常见”的同现，比如如果观察到桌子，椅子可能会存在。我们在三个流行任务的流行模型中广泛应用VC R-CNN功能：图像描述，VQA和VCR，并观察到它们之间的一致性能提升，实现了许多新的最先进的技术。代码和功能可在https://github.com/Wangt-CN/VC-R-CNN上获得。
2020-04-27 cs.CV
Guidance Module Network for Video Captioning
视频描述是一个具有挑战性和重要性的任务，它用单个句子描述视频剪辑的内容。视频描述的模型通常是编码器-解码器。我们发现，提取的视频特征的归一化可以提高视频描述的最终性能。编码器-解码器模型通常使用教师强制策略进行训练，使每个单词的预测概率接近0-1分布，并忽略其他单词。在本文中，我们提出了一种新的架构，它引入了一个指导模块，鼓励编码器-解码器模型生成相关的过去和未来的话在一个字幕的话。在规范化和引导模块的基础上，构建了引导模块网络（GMNet）。在常用数据集MSVD上的实验结果表明，GMNet能够提高编码器-解码器模型在视频描述任务上的性能.
2020-12-20 cs.CV
Pre-training for Video Captioning Challenge 2020 Summary
JD AI Research（京东人工智能研究院）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Ocean University（上海海洋大学）；Sun Yat-sen University（中山大学）；University of Electronic Science and Technology of China（电子科技大学）
2020年视频描述挑战赛预培训总结：结果和挑战赛参与者的技术报告。
2020-07-27 cs.CV
Attention Based Encoder Decoder Model for Video Captioning in Nepali (2023)
Tribhuvan University（特里布万大学）
针对尼泊尔语视频字幕生成研究匮乏的问题，提出基于注意力的编码器-解码器模型，结合CNNs特征提取与LSTM/GRU序列模型，构建首个尼泊尔语视频字幕数据集并通过多指标验证有效性。
2024-05-19 cs.CV
Semantic-Aware Pretraining for Dense Video Captioning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
本报告详细介绍了我们在ActivityNet Challenge 2021中进行事件密集字幕任务的方法。我们提出了一种语义感知的预训练方法密集的视频描述，使学习的功能，以识别高层次的语义概念。不同形式的不同视频特征被馈送到事件字幕模块中以生成准确且有意义的句子。我们最终的集成模型在测试集上获得了10.00的METEOR分数。
2022-04-13 cs.CV
Dense-Captioning Events in Videos
Stanford University（斯坦福大学）
大多数自然视频包含许多事件。例如，在一个“一个人在弹钢琴”的视频中，该视频还可能包含“另一个人在跳舞”或“一群人在鼓掌”。我们介绍了密集字幕事件的任务，这涉及到检测和描述视频中的事件。我们提出了一个新的模型，能够识别所有事件在一个单一的视频通过，同时描述检测到的事件与自然语言。我们的模型引入了一个现有提案模块的变体，该模块旨在捕获跨越几分钟的短事件和长事件。为了捕获视频中事件之间的依赖关系，我们的模型引入了一个新的字幕模块，该模块使用来自过去和未来事件的上下文信息来共同描述所有事件。我们还介绍了ActivityNet Captions，这是密集字幕事件的大规模基准。ActivityNet Captions包含20k个视频，总计849个视频小时，100k个描述，每个描述都有其独特的开始和结束时间。最后，我们报告我们的模型的密集字幕事件，视频检索和定位的性能。
2017-05-02 cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University（北京航空航天大学）；Tencent AI LAB（腾讯AI实验室）
虽然端到端（E2E）学习已经在各种视觉理解任务上取得了令人印象深刻的进展，但它经常受到硬件限制（例如，GPU内存），并且易于过拟合。当涉及到视频描述时，这是计算机视觉中最具挑战性的基准任务之一，E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上，用于视频描述的现有技术方法通过卷积神经网络来处理视频帧，并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们，生成的模型既消耗内存又需要大量数据，这使得训练非常困难。在本文中，我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务（例如，属性、奖励和字幕），使得它们可以联合调节E2E神经网络的搜索空间，从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知，这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明，该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Video Captioning in Compressed Video
Zhejiang University（浙江大学）；Westlake University（西湖大学）
现有的视频描述方法主要集中在未压缩视频中的全局帧特征，而忽略了压缩视频中已经编码的免费和关键的显著性信息。我们提出了一种视频描述方法，它直接对存储的压缩视频进行操作。为了学习一个有区别的视觉表示视频描述，我们设计了一个残差辅助编码器（RAE），它点的援助下的残差帧的I帧的感兴趣的区域。首先，我们通过提取残差的特征作为I帧中每个位置的显著性值来获得空间注意力权重，并设计了一个空间注意力模块来细化注意力权重。我们进一步提出了一个时间门模块来确定有多少参加的功能有助于字幕生成，这使得该模型能够抵抗压缩视频中的一些噪声信号的干扰。最后，利用长短期记忆将视觉表征解码为描述。我们在两个基准数据集上评估了我们的方法，并证明了我们的方法的有效性。
2021-01-02 cs.CV
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出AVC-DPO后训练框架，通过针对时间动态和空间信息的增强提示进行直接偏好优化，提升视频多模态大语言模型的描述能力，并在CVPR'25视频详细描述挑战赛中获得第一名。
2025-07-02 cs.CV
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd（最佳视觉科技有限公司）
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说，我们用两阶段的方法解决这个问题，即，首先提出时间事件，然后生成句子。对于时间事件建议，我们直接利用[13，16]中的三阶段工作流。对于句子生成，我们利用基于LSTM的字幕框架与时间注意力机制（称为LSTM-T）。此外，基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面，我们采用了一种后期融合方案，将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China（中国人民大学）
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中，我们提出了一种新的和简单的事件序列生成模型，并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成，并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明，该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕，我们遵循我们以前的工作，采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能，在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
RUC+CMU: System Report for Dense Captioning Events in Videos
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
这篇笔记本论文介绍了我们的系统在视频中的ActivityNet密集字幕任务（任务3）。时间建议生成和字幕生成都是密集字幕任务的重要组成部分。因此，我们提出了一个提案排名模型，采用一组有效的特征表示来生成提案，并集成一系列用上下文信息增强的字幕模型，以根据预测的提案稳健地生成字幕。我们的方法在密集视频描述任务上达到了最先进的性能，在挑战测试集上的METEOR得分为8.529。
2018-06-22 cs.CV
Progress-Aware Video Frame Captioning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出帧级进度感知视频字幕生成任务，构建ProgressCaptioner模型及FrameCap数据集和FrameCapEval基准，显著提升字幕时间精度，并应用于关键帧选择与视频理解。
2025-03-26 cs.CV
Spatio-Temporal Attention Models for Grounded Video Captioning
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
由于动态真实场景中复杂的交互作用，自动视频描述具有挑战性。一个全面的系统最终将定位和跟踪视频中存在的对象、动作和交互，并生成依赖于时间定位的描述，以便为视觉概念奠定基础。然而，大多数现有的自动视频描述系统从原始视频数据映射到高级文本描述，绕过了定位和识别，从而丢弃了用于内容定位和概括的潜在有价值的信息。在这项工作中，我们提出了一种自动视频描述模型，该模型通过基于长短期记忆的深度神经网络结构将时空注意力和图像分类结合起来。由此产生的系统被证明在标准的YouTube字幕基准产生最先进的结果，同时还提供本地化的视觉概念（主题，动词，对象）的优势，没有接地监督，在空间和时间。
2016-10-18 cs.CV
Models See Hallucinations: Evaluating the Factuality in Video Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
视频描述的目的是用自然语言描述视频中的事件。近年来，许多研究工作都集中在提高字幕模型的性能上。然而，与其他文本生成任务一样，它有可能引入输入视频不支持的事实错误。这些事实错误会严重影响生成的文本的质量，有时会使其完全无法使用。虽然事实一致性在文本到文本任务中受到了很多研究关注（例如，摘要），但在基于视觉的文本生成的背景下研究较少。在这项工作中，我们进行了详细的人类评价的真实性视频描述，并收集两个注释的真实性数据集。我们发现，57.0%的模型生成的句子有事实错误，这是一个严重的问题，在这一领域。然而，现有的评价指标主要是基于n-gram匹配和人类真实性标注的相关性很小。我们进一步提出了一个弱监督的，基于模型的真实性度量FactVC，它优于以前的指标对视频描述的真实性评估。这些数据集和指标将被发布，以促进未来对视频描述的研究。
2023-03-06 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。
2022-08-15 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute（OPPO研究院）；Tongji University（同济大学）
本研究针对Soccernet数据集的密集视频字幕任务，采用Blip框架生成足球动作字幕，结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位，完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Mississippi State University（密西西比州立大学）
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务，其中听觉和视觉内容同等重要。虽然音频信息已被利用，以改善视频描述在以前的作品，它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的？这个问题仍然没有得到调查。在本文中，我们首次尝试设计一个可解释的视听视频描述网络，以发现句子中的单词和视听序列之间的关联。为了实现这一点，我们提出了一个多模态卷积神经网络为基础的视听视频描述框架，并介绍了一个模态感知模块，探索在句子生成过程中的模态选择。此外，我们收集了新的音频字幕和视觉字幕数据集，以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明，情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性，我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Streamlined Dense Video Captioning
POSTECH（浦项科技大学）；Seoul National University（首尔大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Wormpex AI Research（Wormpex人工智能研究院）；Amazon Go
密集的视频描述是一项极具挑战性的任务，因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案，然后在提案的子集上加字幕来处理这个问题。因此，生成的句子往往是冗余的或不一致的，因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战，我们提出了一种新的密集视频描述框架，该框架明确地对视频中事件的时间依赖性进行建模，并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的：1）集成事件序列生成网络以自适应地选择事件提议序列，以及2）将事件提议序列馈送到我们的顺序视频描述网络，该网络通过强化学习进行训练，在事件和情节级别上具有两级奖励，以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University（翰阳大学）
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题，提出Sali4Vid框架，通过显著性感知视频重加权和自适应字幕检索优化任务效果，在两个基准上达SOTA。
2025-09-04 cs.CV
Taking an Emotional Look at Video Paragraph Captioning
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
将视觉数据转换为自然语言对于机器理解世界并与人类交互至关重要。在这项工作中，一个全面的研究进行视频段落字幕，目标是生成一个给定的视频段落级的描述。然而，目前的研究主要集中在检测客观事实，忽略了需要建立句子之间的逻辑关联，并发现更准确的情感相关的视频内容。这样的问题影响了预测字幕的流畅和丰富的表达，这远远低于人类的语言标准。为了解决这个问题，我们建议构建一个大规模的情感和逻辑驱动的多语言数据集。该数据集被命名为EMVPC（Emotional Video Paragraph Captioning），包含日常生活中广泛使用的53种情绪，与这些情绪相对应的376个常见场景，10，291个高质量视频和20，582个精心制作的中英文段落字幕。在这个新的数据集中还提供了相关的情感类别、场景标签、情感词标签和逻辑词标签。拟议的EMVPC数据集旨在提供全面的视频段落字幕，具有丰富的情感、连贯的逻辑和精致的表达，这也可以有益于视觉语言领域的其他任务。此外，进行了全面的研究，通过实验对现有的基准视频段落字幕数据集和建议EMVPC。从不同的视觉字幕任务的最先进的方案进行了比较，在15个流行的指标，并总结了详细的客观和主观的结果。最后，本文对视频段落字幕技术存在的问题和未来的发展方向进行了展望。这一独特的视角有望推动视频段落字幕研究的进一步发展。
2022-03-12 cs.CV
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University（南洋理工大学）
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长，视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码，缺乏有效的方法去除不相关的时间信息，同时也忽略了空间细节。然而，目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响，特别是不相关的时间信息是在编码的开始。另外，忽略空间信息会导致词语之间的关系混乱和细节损失。因此，在本文中，我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码，以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息，丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
Meaning guided video captioning
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；Hiroshima University（广岛大学）
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时，经常遭受在要描述的视频中丢失对象的问题。在本文中，我们提出了一种新的方法来视频描述，可以描述由目标检测检测到的对象，并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT，一个用于视频描述的序列到序列模型。给定视频帧序列，编码RNN获取帧以及帧中检测到的对象，以便将对象的信息并入场景中。然后，将以下解码RNN输出馈送到注意层，然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较，使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明，该方法的性能明显优于未引入意义引导框架的模型，表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
Reconstruct and Represent Video Contents for Captioning via Reinforcement Learning
Shandong University（山东大学）；Tencent AI Lab（腾讯人工智能实验室）
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索，使语言描述，我们提出了一种新的编码器-解码器-重建器架构的重建网络（RecNet），它利用正向（视频到句子）和反向（句子到视频）流的视频描述。具体地，编码器-解码器组件利用前向流来基于编码的视频语义特征产生句子描述。随后提出了两种类型的重构器，分别从局部和全局的角度，利用解码器生成的隐藏状态序列，采用反向流和再现视频特征。此外，为了使一个全面的视频特征的重建，我们建议将这两种类型的重建器融合在一起。编码器-解码器组件产生的生成损失和重建器引入的重建损失以端到端的方式共同投入到训练所提出的RecNet中。此外，RecNet通过强化学习由CIDER优化进行微调，这显著提高了字幕性能。在基准数据集上的实验结果表明，该重构器可以持续提高视频描述的性能。
2019-06-03 cs.CV
RefCaptioner: Multi-Reference Image-Grounded Video Captioning
本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。
2026-07-31 cs.CV
PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing University（南京大学）
针对长视频字幕生成的主体指代不一致、叙事碎片化问题，提出基于持久身份图库与演进式全局叙事摘要的PIGEONS模型，经三阶段训练后在长视频字幕生成上性能显著优于现有方法。
2026-10-14 cs.CV
Memory-Attended Recurrent Network for Video Captioning
Tencent（腾讯）；Southern University of Science and Technology（南方科技大学）
用于视频描述的典型技术遵循编码器-解码器框架，其仅能集中于正被处理的一个源视频。这种设计的一个潜在缺点是，它不能捕获出现在训练数据中的多于一个相关视频中的单词的多个视觉上下文信息。为了解决这个问题，我们提出了内存参与递归网络（MARN）的视频描述，其中的内存结构的目的是探索一个词和它的各种相似的视觉上下文之间的全谱对应关系，在训练数据的视频。因此，我们的模型能够对每个单词实现更全面的理解，并产生更高的字幕质量。此外，构建的内存结构使我们的方法能够显式地对相邻单词之间的兼容性进行建模，而不是像大多数现有模型那样要求模型隐式学习。在两个真实数据集上的广泛验证表明，我们的MARN始终优于最先进的方法。
2019-05-10 cs.CV
Jointly Localizing and Describing Events for Dense Video Captioning
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）
用自然语言自动描述视频被认为是计算机视觉的一个基本挑战。然而，这个问题并不是微不足道的，特别是当视频包含多个值得一提的事件时，这在真实视频中经常发生。一个有效的问题是如何在时间上定位然后描述事件，这被称为“密集视频描述”。“在本文中，我们提出了一种新的密集视频描述框架，通过端到端的方式联合训练它们，将时间事件提案的本地化和每个提案的句子生成统一起来。为了结合这两个世界，我们集成了一个新的设计，即重复性回归，到一个Single Shot检测结构，通过句子生成来推断每个检测到的建议的描述性复杂度。这进而调整每个事件提议的时间位置。我们的模型不同于现有的密集的视频描述方法，因为我们提出了一个联合和全局优化的检测和字幕，和框架独特地利用属性增强的视频描述架构。在ActivityNet Captions数据集上进行了广泛的实验，与最先进的技术相比，我们的框架显示出明显的改进。更值得注意的是，我们获得了一个新的记录：在ActivityNet Captions官方测试集上的METEOR为12.96%。
2018-04-23 cs.CV
Towards Diverse Paragraph Captioning for Untrimmed Videos
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
视频段落字幕旨在用描述性段落描述未经裁剪的视频中的多个事件。现有的方法主要通过两个步骤来解决这个问题：事件检测和事件字幕。这种两步的方式使得生成的段落的质量高度依赖于事件提议检测的准确性，这已经是一项具有挑战性的任务。在本文中，我们提出了一个段落字幕模型，它避开了有问题的事件检测阶段，直接生成未修剪的视频段落。为了描述连贯和多样的事件，我们建议增强传统的时间注意力与动态视频记忆，逐步暴露新的视频功能和抑制过度访问的视频内容，以控制模型的视觉焦点。此外，本文还提出了一种多样性驱动的训练策略，从语言的角度来提高段落的多样性。考虑到未修剪的视频通常包含大量但冗余的帧，我们进一步增强视频编码器的关键帧感知能力以提高效率。在ActivityNet和Charades数据集上的实验结果表明，在不使用任何事件边界注释的情况下，我们提出的模型在准确性和多样性指标上的性能都显着优于最先进的性能。代码将在https://github.com/syuqings/video-paragraph上发布。
2021-05-30 cs.CV
Video Captioning: a comparative review of where we are and which could be the route
Centro de Investigación en Ciencias de Información Geoespacial AC（地理空间信息科学研究中心（AC））；Consejo Nacional de Ciencia y Tecnología (CONACyT)（国家科学技术委员会（CONACyT））
视频描述是描述图像序列的内容的过程，捕捉其语义关系和含义。用一张图像处理这个任务是艰巨的，更不用说视频（或图像序列）是多么困难。视频描述的应用量和相关性是巨大的，主要用于处理视频监控中的大量视频记录，或者辅助视力受损的人等等。为了分析我们的社区在解决视频描述任务方面的努力，以及可以更好地遵循的路线，本文对2016年至2021年期间的105篇论文进行了广泛的回顾。因此，确定了最常用的数据集和指标。此外，使用的主要方法和最好的方法。我们计算一组排名的基础上，几个性能指标，以获得，根据其性能，最好的方法与最好的结果上的视频描述任务。最后，总结了一些见解，这些见解可能是下一步或机会领域，以改善处理这一复杂的任务。
2022-04-13 cs.CV
Reconstruction Network for Video Captioning
Tencent AI Lab（腾讯人工智能实验室）；School of Control Science Engineering Shandong University（山东大学控制科学与工程学院）
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索，使语言描述，我们提出了一种重建网络（RecNet）与一种新的编码器-解码器-重建器架构，它利用了前向（视频到句子）和后向（句子到视频）流的视频描述。具体地，编码器-解码器利用前向流来基于编码的视频语义特征产生句子描述。两种类型的重建器被定制为采用反向流，并根据解码器生成的隐藏状态序列再现视频特征。由编码器-解码器产生的生成损失和由重建器引入的重建损失以端到端的方式共同被引入到训练所提出的RecNet中。在基准数据集上的实验结果表明，所提出的重建器可以提高编码器-解码器模型，并导致视频字幕准确性的显着增益。
2018-03-30 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Weakly Supervised Dense Video Captioning
Intel Labs China（英特尔中国研究院）；Fudan University（复旦大学）
本文研究了一种新颖而具有挑战性的视觉任务--密集视频描述，其目的是用多个信息丰富且多样化的字幕语句自动描述视频片段。该方法在训练时不需要细粒度句子与视频区域序列对应关系的显式注释，而是仅基于弱视频级句子注释。它在三个技术方面不同于现有的视频描述系统。首先，我们提出了词汇全卷积神经网络（Lexical-FCN）与弱监督多实例多标签学习弱链接视频区域与词汇标签。其次，我们引入了一种新的子模最大化方案，以产生多个信息和不同的区域序列的基础上的词汇-FCN输出。在训练阶段，采用赢者通吃的策略将句子与区域序列进行弱关联。第三，序列到序列的学习为基础的语言模型的弱监督信息，通过关联过程中得到的训练。我们表明，该方法不仅可以产生信息丰富和多样化的密集字幕，但也优于国家的最先进的单一视频描述方法的大幅度。
2017-04-05 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu（百度ERNIE团队）；College of Artificial Intelligence, Inner Mongolia University（内蒙古大学人工智能学院）
提出CodecCap框架，通过关键帧和残差字幕模拟视频编解码器，在保持细粒度视觉证据的同时减少冗余，并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
From Deterministic to Generative: Multi-Modal Stochastic RNNs for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
视频描述在本质上是一个复杂的自然过程，这是由各种不确定性所产生的视频内容，主观判断等，在本文中，我们建立在使用编码器-解码器的框架视频描述的最新进展，并解决我们发现是一个关键的不足，现有的方法，大多数的解码器传播确定性隐藏状态。这种复杂的不确定性不能有效地建模的确定性模型。在本文中，我们提出了一种生成方法，称为多模态随机RNN网络（MS-RNN），它使用潜在随机变量对数据中观察到的不确定性进行建模。因此，MS-RNN可以提高视频描述的性能，并且考虑不同的随机因素来生成多个句子来描述视频。具体来说，首先提出了一种多模态LSTM（M-LSTM）来与视觉和文本特征进行交互，以捕获高级表示。然后，提出了一种后向随机LSTM（S-LSTM），通过引入潜变量来支持不确定性传播。在具有挑战性的数据集MSVD和MSR-VTT上的实验结果表明，我们提出的MS-RNN方法优于最先进的视频描述基准。
2017-10-20 cs.CV
Weakly Supervised Dense Event Captioning in Videos
Tsinghua University（清华大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；Tencent AI Lab（腾讯人工智能实验室）
密集事件字幕旨在检测和描述视频中包含的所有感兴趣的事件。尽管在这一领域的先进发展，现有的方法解决这个任务，利用密集的时间注释，这是显着的源消耗。本文提出了一个新的问题：弱监督密集事件字幕，它不需要时间段的模型训练注释。我们的解决方案是基于一一对应的假设，每个标题描述一个时间段，每个时间段有一个标题，这在当前的基准数据集和大多数现实世界的情况下。我们将问题分解为一对对偶问题：事件字幕和句子定位，并提出了一个循环系统来训练我们的模型。大量的实验结果证明了我们的模型在密集事件字幕和句子定位视频的能力。
2018-12-10 cs.CV
Streaming Dense Video Captioning
Google（谷歌公司）
本文提出流式密集视频字幕生成模型，通过固定大小聚类记忆模块和流式解码算法，实现处理任意长视频并提前输出预测，在ActivityNet、YouCook2和ViTT三个基准上显著超越现有最先进方法。
2024-04-01 cs.CV
NITS-VC System for VATEX Video Captioning Challenge 2020
National Institute of Technology Silchar（西尔查国家理工学院）
视频描述是将视频的内容、事件和动作总结成简短的文本形式的过程，其可以在许多研究领域中有帮助，例如视频引导的机器翻译、视频情感分析以及为有需要的个人提供帮助。在本文中，VATEX-2020视频描述的挑战所使用的框架的系统描述。我们采用基于编码器-解码器的方法，其中视频的视觉特征使用3D卷积神经网络（C3 D）进行编码，并且在解码阶段使用两个长短期记忆（LSTM）递归网络，其中视觉特征和输入字幕被单独融合，并且通过在两个LSTM的输出之间执行元素乘积来生成最终输出。我们的模型能够在公共和私人测试数据集中分别获得0.20和0.22的BLEU分数。
2020-09-25 cs.CV
