Dense Video Captioning: A Survey of Techniques, Datasets and Evaluation Protocols
UiT The Arctic University of Norway（特罗姆瑟大学（挪威北极大学））
本综述围绕密集视频字幕生成（DVC）任务，梳理其起源、三大子任务，汇总相关研究成果与所用数据集，并点明该领域的新兴挑战与未来发展趋势。
2023-11-05 cs.AI cs.CV
Video Captioning with Aggregated Features Based on Dual Graphs and Gated Fusion
Nanjing Tech University（南京工业大学）
针对视频对象时空关系建模不足的问题，提出双图分别提取外观与运动特征并以门控融合聚合，在 MSVD 和 MSR-VTT 上达到最先进性能。
2023-08-13 cs.AI cs.CV
Video Captioning via Hierarchical Reinforcement Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
视频描述是自动生成视频中动作的文本描述的任务。虽然先前的工作（例如序列到序列模型）已经在提取短视频的粗略描述方面显示出有希望的结果，但是用详细描述为包含多个细粒度动作的视频加标题仍然非常具有挑战性。本文旨在通过提出一种新的分层强化学习框架的视频描述，其中一个高级别的经理模块学习设计子目标和一个低级别的工人模块识别的原始动作，以满足子目标的挑战。有了这个组合框架，以加强视频描述在不同的水平，我们的方法显着优于所有的基线方法上新引入的大规模数据集的细粒度视频描述。此外，我们的非集成模型已经在广泛使用的MSR-VTT数据集上取得了最先进的结果。
2018-03-29 cs.AI cs.CL cs.CV
Multi-Modal interpretable automatic video captioning
École Supérieure des Techniques Aéronautiques et de Construction Automobile (ESTACA)（高等航空与汽车制造技术学院（ESTACA））；Télécom SudParis（南巴黎电信学院）
提出一种基于多模态对比损失的视频字幕生成方法，融合音频与视觉信息并利用多种注意力机制提升可解释性，在 MSR-VTT 和 VATEX 数据集上优于现有模型。
2024-11-11 cs.AI cs.CV
SAVCHOI: Detecting Suspicious Activities using Dense Video Captioning with Human Object Interactions
University of Southern California（南加州大学）
在监控视频中检测可疑活动是实时监控中的一个长期问题，导致难以检测犯罪。因此，我们提出了一种新的方法来检测和总结监控视频中的可疑活动。我们还为UCF-Crime视频数据集创建了地面实况摘要。我们修改了一个预先存在的方法，利用人-物交互（HOI）模型的视觉功能的双模态Transformer的这项任务。此外，我们验证我们的方法对现有的国家的最先进的算法密集视频描述任务的ActivityNet字幕数据集。我们观察到，这种用于密集字幕的公式比其他讨论的BLEU@1，BLEU@2，BLEU@3，BLEU@4和METEOR的基于BMT的方法表现得更好。我们进一步对数据集和模型进行了比较分析，以报告基于不同NMS阈值（使用遗传算法搜索）的发现。在这里，我们的公式优于BLEU@1，BLEU@2，BLEU@3的所有模型，以及BLEU@4和METEOR的大多数模型，分别比ADV-INF Global少25%和0.5%。
2022-10-22 cs.AI cs.CV
Dense Video Captioning using Graph-based Sentence Summarization
School of Electrical and Information Engineering, University of Sydney（电子与信息工程学院，悉尼大学）
提出基于图的分区与摘要（GPaS）两阶段框架，通过GCN-LSTM交互模块融合语义词图与视觉线索进行句子摘要，解决长视频提案中场景演化问题，在ActivityNet Captions和YouCook II上表现优异。
2025-06-25 cs.AI cs.CV
Show, Tell and Summarize: Dense Video Captioning Using Visual Cue Aided Sentence Summarization
School of Electrical and Information Engineering, University of Sydney（悉尼大学电气与信息工程学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
提出分割与总结（DaS）框架解决密集视频描述问题，将任务转化为视觉线索辅助的句子摘要，通过两阶段LSTM结合分层注意力机制编码语义与视觉信息并生成描述，在ActivityNet Captions数据集上验证了有效性。
2025-06-25 cs.AI cs.CV
Beyond Caption To Narrative: Video Captioning With Multiple Sentences
The University of Tokyo（东京大学）
图像描述任务的最新进展导致对视频描述任务的兴趣增加。然而，大多数关于视频描述的工作都集中在生成聚合特征的单个输入上，这几乎没有偏离图像描述过程，并且没有充分利用视频中存在的动态内容。我们试图生成的视频字幕，传达更丰富的内容，通过时间分割的视频与动作本地化，从多个帧生成多个字幕，并将它们与自然语言处理技术，以生成一个故事般的字幕。我们表明，我们提出的方法可以生成内容更丰富的字幕，可以与最先进的方法竞争，而无需明确使用视频级功能作为输入。
2016-05-18 cs.CV
MSC: A Marine Wildlife Video Dataset with Grounded Segmentation and Clip-Level Captioning
The Hong Kong University of Science and Technology（香港科学与技术大学）；Ho Chi Minh University of Science（胡志明市科学大学）；Deakin University（德肯大学）
针对现有视频字幕数据集难以适配海洋环境的问题，研究提出两阶段面向海洋物体的视频字幕流水线，构建含视频、文本、分割掩码的MSC基准数据集，验证视频分割可丰富字幕语义，助力海洋视频理解与生成。
2025-09-01 cs.AI cs.CV cs.MM
Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning
Hanyang University（汉阳大学）
该研究针对弱监督密集视频字幕中LLM合成过渡字幕缺乏视觉基础的问题，提出SBS框架，利用VLM检测过渡并优化时间掩码，在ActivityNet Captions和YouCook2上取得最优性能。
2026-09-04 cs.AI cs.CV
Guidance Module Network for Video Captioning
视频描述是一个具有挑战性和重要性的任务，它用单个句子描述视频剪辑的内容。视频描述的模型通常是编码器-解码器。我们发现，提取的视频特征的归一化可以提高视频描述的最终性能。编码器-解码器模型通常使用教师强制策略进行训练，使每个单词的预测概率接近0-1分布，并忽略其他单词。在本文中，我们提出了一种新的架构，它引入了一个指导模块，鼓励编码器-解码器模型生成相关的过去和未来的话在一个字幕的话。在规范化和引导模块的基础上，构建了引导模块网络（GMNet）。在常用数据集MSVD上的实验结果表明，GMNet能够提高编码器-解码器模型在视频描述任务上的性能.
2020-12-20 cs.CV
Exploring Annotation-free Image Captioning with Retrieval-augmented Pseudo Sentence Generation
University of Sydney（悉尼大学）
本文提出RaPSG策略，通过蒸馏大型预训练模型知识并从不匹配语料库检索相关区域描述生成高质量伪句子，结合流畅性过滤器和CLIP指导，在零样本、无监督等多种设置下优于SOTA模型。
2024-10-14 cs.AI cs.CV
SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning
Hanyang University（翰阳大学）
SAIL通过跨模态对齐和大语言模型增强策略，提升弱监督密集视频字幕生成的准确性和语义感知能力。
2026-03-09 cs.AI cs.CV
MotionAtlas: Detailed Region Captioning for Motion-Centric Videos
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；Wuhan University（武汉大学）；Beijing Jiaotong University（北京交通大学）
提出MotionAtlas系统，通过区域感知运动描述、自举精炼数据管道和定制训练策略，在运动中心视频描述中显著提升细粒度理解，超越现有模型。
2026-06-28 cs.AI cs.CV
Vatex Video Captioning Challenge 2020: Multi-View Features and Hybrid Reward Strategies for Video Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology Beijing（北京科技大学）；Wuhan University（武汉大学）
本报告介绍了我们为VATEX字幕挑战赛2020提供的解决方案，该挑战赛要求为视频生成中英文描述。我们确定了提高性能的三个关键因素，即：多视图功能，混合奖励和多样化的合奏。基于我们的VATEX 2019挑战方法，我们今年通过更先进的模型架构、外观和运动特征的组合以及仔细的超参数调整实现了重大改进。我们的方法在中文和英文视频描述音轨上都取得了很好的效果。
2020-06-24 cs.CV cs.MM
Pre-training for Video Captioning Challenge 2020 Summary
JD AI Research（京东人工智能研究院）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Ocean University（上海海洋大学）；Sun Yat-sen University（中山大学）；University of Electronic Science and Technology of China（电子科技大学）
2020年视频描述挑战赛预培训总结：结果和挑战赛参与者的技术报告。
2020-07-27 cs.CV
Visual-aware Attention Dual-stream Decoder for Video Captioning
Wuhan University of Technology（武汉理工大学）；ZhongQianLiYuan Engineering Consulting Co., Ltd（中前立源工程咨询有限公司）
视频描述是一项具有挑战性的任务，它需要捕捉不同的视觉部分并将其描述成句子，因为它需要视觉和语言的连贯性。当前视频描述方法中的注意力机制学习为每个帧分配权重，从而动态地促进解码器。为了生成语义连贯的句子，本文提出了一种新的视觉感知注意力（VA）模型，它将时间序列帧的动态变化与前一时刻的单词连接起来，作为注意力机制的输入来提取序列特征。流行的方法在训练期间广泛使用教师强迫（TF）学习，其中下一个标记是以先前的地面实况标记为条件而生成的。先前生成的标记中的语义信息丢失。因此，我们设计了一种自强制（SF）流，它将前一个标记的概率分布中的语义信息作为输入，以增强当前标记。双流解码器（DD）架构将TF和SF流统一起来，生成句子，以促进两个流的注释字幕。同时，双流解码器的使用，缓解了曝光偏差问题，通过在微软视频描述（MSVD）语料库和MSR-Video to Text（MSR-VTT）数据集上的实验研究，验证了本文提出的视觉感知注意力双流解码器（VADD）的有效性。
2021-10-16 cs.AI cs.CV
SynPO: Synergizing Descriptiveness and Preference Optimization for Video Detailed Captioning
Sun Yat-Sen University（中山大学）；Lanzhou University（兰州大学）；The University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）
本文提出SynPO方法，通过偏好学习提升视频描述生成性能，解决直接偏好优化的局限性，提升训练效率20%。
2026-03-22 cs.AI cs.CV
Attention Based Encoder Decoder Model for Video Captioning in Nepali (2023)
Tribhuvan University（特里布万大学）
针对尼泊尔语视频字幕生成研究匮乏的问题，提出基于注意力的编码器-解码器模型，结合CNNs特征提取与LSTM/GRU序列模型，构建首个尼泊尔语视频字幕数据集并通过多指标验证有效性。
2024-05-19 cs.CV
Semantic-Aware Pretraining for Dense Video Captioning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
本报告详细介绍了我们在ActivityNet Challenge 2021中进行事件密集字幕任务的方法。我们提出了一种语义感知的预训练方法密集的视频描述，使学习的功能，以识别高层次的语义概念。不同形式的不同视频特征被馈送到事件字幕模块中以生成准确且有意义的句子。我们最终的集成模型在测试集上获得了10.00的METEOR分数。
2022-04-13 cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而，在不同粒度的多模态的时间结构很少探索，如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中，我们提出了一种新的层次对齐的跨模态注意力（HACA）框架学习和选择性地融合不同模态的全局和局部时间动态。此外，我们首次验证了深度音频特征在视频描述任务上的优越性能。最后，我们的HACA模型显著优于以前的最佳系统，并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University（北京航空航天大学）；Tencent AI LAB（腾讯AI实验室）
虽然端到端（E2E）学习已经在各种视觉理解任务上取得了令人印象深刻的进展，但它经常受到硬件限制（例如，GPU内存），并且易于过拟合。当涉及到视频描述时，这是计算机视觉中最具挑战性的基准任务之一，E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上，用于视频描述的现有技术方法通过卷积神经网络来处理视频帧，并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们，生成的模型既消耗内存又需要大量数据，这使得训练非常困难。在本文中，我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务（例如，属性、奖励和字幕），使得它们可以联合调节E2E神经网络的搜索空间，从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知，这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明，该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Video Captioning in Compressed Video
Zhejiang University（浙江大学）；Westlake University（西湖大学）
现有的视频描述方法主要集中在未压缩视频中的全局帧特征，而忽略了压缩视频中已经编码的免费和关键的显著性信息。我们提出了一种视频描述方法，它直接对存储的压缩视频进行操作。为了学习一个有区别的视觉表示视频描述，我们设计了一个残差辅助编码器（RAE），它点的援助下的残差帧的I帧的感兴趣的区域。首先，我们通过提取残差的特征作为I帧中每个位置的显著性值来获得空间注意力权重，并设计了一个空间注意力模块来细化注意力权重。我们进一步提出了一个时间门模块来确定有多少参加的功能有助于字幕生成，这使得该模型能够抵抗压缩视频中的一些噪声信号的干扰。最后，利用长短期记忆将视觉表征解码为描述。我们在两个基准数据集上评估了我们的方法，并证明了我们的方法的有效性。
2021-01-02 cs.CV
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出AVC-DPO后训练框架，通过针对时间动态和空间信息的增强提示进行直接偏好优化，提升视频多模态大语言模型的描述能力，并在CVPR'25视频详细描述挑战赛中获得第一名。
2025-07-02 cs.CV
The Use of Video Captioning for Fostering Physical Activity
The University of Georgia（佐治亚大学）
视频描述被认为是计算机视觉领域最具挑战性的问题之一。视频描述涉及不同深度学习模型的组合，以通过处理图像帧序列来执行目标检测、动作检测和定位。考虑视频中的动作序列是至关重要的，以便生成对整个动作事件的有意义的描述。可靠、准确和实时的视频描述方法可以用于许多应用中。然而，本文着重于一个应用：视频描述，以促进和促进体育活动。从广义上讲，这项工作可以被视为辅助技术。由于许多因素，缺乏身体活动在许多国家似乎越来越普遍，其中最重要的是技术在工作场所提供的便利。久坐不动的生活方式正在成为一个重要的公共健康问题。因此，将更多的身体运动融入我们的日常生活中至关重要。跟踪一个人的日常身体活动将提供一个基础，与随后几天进行的活动进行比较。考虑到上述情况，本文提出了一个视频描述框架，旨在描述视频中的活动，并估计一个人的日常身体活动水平。这个框架可以帮助人们追踪他们的日常活动，以减少不活跃的生活方式的健康风险。本文提出的工作仍处于起步阶段。本文概述了应用程序的初始步骤。根据我们的初步研究，这个项目有很大的优点。
2021-04-07 cs.AI cs.CV cs.LG
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China（中国人民大学）
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中，我们提出了一种新的和简单的事件序列生成模型，并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成，并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明，该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕，我们遵循我们以前的工作，采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能，在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
Progress-Aware Video Frame Captioning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出帧级进度感知视频字幕生成任务，构建ProgressCaptioner模型及FrameCap数据集和FrameCapEval基准，显著提升字幕时间精度，并应用于关键帧选择与视频理解。
2025-03-26 cs.CV
Spatio-Temporal Attention Models for Grounded Video Captioning
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
由于动态真实场景中复杂的交互作用，自动视频描述具有挑战性。一个全面的系统最终将定位和跟踪视频中存在的对象、动作和交互，并生成依赖于时间定位的描述，以便为视觉概念奠定基础。然而，大多数现有的自动视频描述系统从原始视频数据映射到高级文本描述，绕过了定位和识别，从而丢弃了用于内容定位和概括的潜在有价值的信息。在这项工作中，我们提出了一种自动视频描述模型，该模型通过基于长短期记忆的深度神经网络结构将时空注意力和图像分类结合起来。由此产生的系统被证明在标准的YouTube字幕基准产生最先进的结果，同时还提供本地化的视觉概念（主题，动词，对象）的优势，没有接地监督，在空间和时间。
2016-10-18 cs.CV
Models See Hallucinations: Evaluating the Factuality in Video Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
视频描述的目的是用自然语言描述视频中的事件。近年来，许多研究工作都集中在提高字幕模型的性能上。然而，与其他文本生成任务一样，它有可能引入输入视频不支持的事实错误。这些事实错误会严重影响生成的文本的质量，有时会使其完全无法使用。虽然事实一致性在文本到文本任务中受到了很多研究关注（例如，摘要），但在基于视觉的文本生成的背景下研究较少。在这项工作中，我们进行了详细的人类评价的真实性视频描述，并收集两个注释的真实性数据集。我们发现，57.0%的模型生成的句子有事实错误，这是一个严重的问题，在这一领域。然而，现有的评价指标主要是基于n-gram匹配和人类真实性标注的相关性很小。我们进一步提出了一个弱监督的，基于模型的真实性度量FactVC，它优于以前的指标对视频描述的真实性评估。这些数据集和指标将被发布，以促进未来对视频描述的研究。
2023-03-06 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。
2022-08-15 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute（OPPO研究院）；Tongji University（同济大学）
本研究针对Soccernet数据集的密集视频字幕任务，采用Blip框架生成足球动作字幕，结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位，完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Mississippi State University（密西西比州立大学）
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务，其中听觉和视觉内容同等重要。虽然音频信息已被利用，以改善视频描述在以前的作品，它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的？这个问题仍然没有得到调查。在本文中，我们首次尝试设计一个可解释的视听视频描述网络，以发现句子中的单词和视听序列之间的关联。为了实现这一点，我们提出了一个多模态卷积神经网络为基础的视听视频描述框架，并介绍了一个模态感知模块，探索在句子生成过程中的模态选择。此外，我们收集了新的音频字幕和视觉字幕数据集，以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明，情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性，我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Streamlined Dense Video Captioning
POSTECH（浦项科技大学）；Seoul National University（首尔大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Wormpex AI Research（Wormpex人工智能研究院）；Amazon Go
密集的视频描述是一项极具挑战性的任务，因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案，然后在提案的子集上加字幕来处理这个问题。因此，生成的句子往往是冗余的或不一致的，因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战，我们提出了一种新的密集视频描述框架，该框架明确地对视频中事件的时间依赖性进行建模，并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的：1）集成事件序列生成网络以自适应地选择事件提议序列，以及2）将事件提议序列馈送到我们的顺序视频描述网络，该网络通过强化学习进行训练，在事件和情节级别上具有两级奖励，以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University（翰阳大学）
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题，提出Sali4Vid框架，通过显著性感知视频重加权和自适应字幕检索优化任务效果，在两个基准上达SOTA。
2025-09-04 cs.CV
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University（南洋理工大学）
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长，视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码，缺乏有效的方法去除不相关的时间信息，同时也忽略了空间细节。然而，目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响，特别是不相关的时间信息是在编码的开始。另外，忽略空间信息会导致词语之间的关系混乱和细节损失。因此，在本文中，我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码，以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息，丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research（谷歌研究院）
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练（MV-GPT），一个新的预训练框架，用于从未标记的视频中学习，可有效地用于生成任务，如多模态视频描述。与最近的视频语言预训练框架不同，我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏，我们利用未来的话语作为一个额外的文本源，并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文，以及目前的话语给出了未来的观察。为此，我们训练了一个端到端的编码器-解码器模型，以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能，以及其他视频理解任务，如VideoQA，视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
Meaning guided video captioning
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；Hiroshima University（广岛大学）
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时，经常遭受在要描述的视频中丢失对象的问题。在本文中，我们提出了一种新的方法来视频描述，可以描述由目标检测检测到的对象，并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT，一个用于视频描述的序列到序列模型。给定视频帧序列，编码RNN获取帧以及帧中检测到的对象，以便将对象的信息并入场景中。然后，将以下解码RNN输出馈送到注意层，然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较，使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明，该方法的性能明显优于未引入意义引导框架的模型，表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
神经符号表征在学习视觉和语言中的结构信息方面被证明是有效的。在本文中，我们提出了一个新的模型架构学习多模态神经符号表示的视频描述。我们的方法使用基于字典学习的方法来学习视频及其配对文本描述之间的关系。我们将这些关系称为相对角色，并利用它们来使用注意力使每个令牌角色感知。这导致了一个更结构化和可解释的架构，结合了特定模态的归纳偏见的字幕任务。直观地说，该模型能够在给定的一对视频和文本中学习空间、时间和跨模态关系。通过我们的建议实现的解纠缠使模型有更多的能力来捕获多模态结构，从而为视频提供更高质量的字幕。我们在两个已建立的视频描述数据集上的实验验证了该方法的有效性。我们进一步进行了人为评估，以衡量生成的字幕的接地和相关性，并观察所提出的模型的一致改进。代码和训练模型可以在https://github.com/hassanhub/R3Transformer上找到
2020-11-18 cs.AI cs.CV eess.IV
RefCaptioner: Multi-Reference Image-Grounded Video Captioning
本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。
2026-07-31 cs.CV
PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing University（南京大学）
针对长视频字幕生成的主体指代不一致、叙事碎片化问题，提出基于持久身份图库与演进式全局叙事摘要的PIGEONS模型，经三阶段训练后在长视频字幕生成上性能显著优于现有方法。
2026-10-14 cs.CV
Memory-Attended Recurrent Network for Video Captioning
Tencent（腾讯）；Southern University of Science and Technology（南方科技大学）
用于视频描述的典型技术遵循编码器-解码器框架，其仅能集中于正被处理的一个源视频。这种设计的一个潜在缺点是，它不能捕获出现在训练数据中的多于一个相关视频中的单词的多个视觉上下文信息。为了解决这个问题，我们提出了内存参与递归网络（MARN）的视频描述，其中的内存结构的目的是探索一个词和它的各种相似的视觉上下文之间的全谱对应关系，在训练数据的视频。因此，我们的模型能够对每个单词实现更全面的理解，并产生更高的字幕质量。此外，构建的内存结构使我们的方法能够显式地对相邻单词之间的兼容性进行建模，而不是像大多数现有模型那样要求模型隐式学习。在两个真实数据集上的广泛验证表明，我们的MARN始终优于最先进的方法。
2019-05-10 cs.CV
Jointly Localizing and Describing Events for Dense Video Captioning
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）
用自然语言自动描述视频被认为是计算机视觉的一个基本挑战。然而，这个问题并不是微不足道的，特别是当视频包含多个值得一提的事件时，这在真实视频中经常发生。一个有效的问题是如何在时间上定位然后描述事件，这被称为“密集视频描述”。“在本文中，我们提出了一种新的密集视频描述框架，通过端到端的方式联合训练它们，将时间事件提案的本地化和每个提案的句子生成统一起来。为了结合这两个世界，我们集成了一个新的设计，即重复性回归，到一个Single Shot检测结构，通过句子生成来推断每个检测到的建议的描述性复杂度。这进而调整每个事件提议的时间位置。我们的模型不同于现有的密集的视频描述方法，因为我们提出了一个联合和全局优化的检测和字幕，和框架独特地利用属性增强的视频描述架构。在ActivityNet Captions数据集上进行了广泛的实验，与最先进的技术相比，我们的框架显示出明显的改进。更值得注意的是，我们获得了一个新的记录：在ActivityNet Captions官方测试集上的METEOR为12.96%。
2018-04-23 cs.CV
Integrating Temporal and Spatial Attentions for VATEX Video Captioning Challenge 2019
Renmin University of China（中国人民大学）；University of Adelaide（阿德莱德大学）
本文介绍了我们的模型在VATEX视频描述的挑战。为了在视频中捕捉多层次的方面，我们建议整合时间和空间的注意力视频描述。时间注意模块专注于全局动作运动，而空间注意模块能够描述更细粒度的对象。考虑到这两种类型的注意模块是互补的，因此我们通过后期融合策略将它们融合。该模型的性能明显优于基线，在测试集上获得了73.4 CIDER分数，在2019年VATEX视频描述挑战排行榜上排名第二。
2019-10-15 cs.CV cs.LG
TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors
Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所）；NVIDIA（NVIDIA公司）
TA-Prompting通过引入时间锚点提升视频大语言模型的密集视频描述能力，有效解决时间边界识别问题，提升时间感知视频事件理解性能。
2026-01-06 cs.AI cs.CV cs.LG
Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning
Google Research（谷歌研究院）；Inria Paris（法国国家信息与自动化研究所巴黎分部）；Département d’informatique de l’ENS（巴黎高等师范学院计算机系）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（捷克布拉格技术大学信息学、机器人学与控制论研究所）
在这项工作中，我们引入了Vid 2Seq，这是一个多模态单阶段密集事件字幕模型，它在叙事视频上进行了预训练，这些视频在规模上很容易获得。Vid 2Seq架构使用特殊的时间标记增强了语言模型，使其能够在相同的输出序列中无缝预测事件边界和文本描述。这样一个统一的模型需要大规模的训练数据，这是目前的注释数据集不可用。我们表明，它是可以利用未标记的叙述视频密集的视频描述，通过重新制定句子边界的转录语音作为伪事件边界，并使用转录的语音句子作为伪事件标题。在YT-Temporal-1B数据集上预训练的Vid 2Seq模型改进了各种密集视频描述基准测试的最新技术水平，包括YouCook 2，ViTT和ActivityNet字幕。Vid 2Seq还可以很好地推广到视频段落字幕和视频剪辑字幕的任务，以及Few-Shot设置。我们的代码可在https://antoyang.github.io/vid2seq.html上公开获取。
2023-03-21 cs.AI cs.CL cs.CV
Video Captioning: a comparative review of where we are and which could be the route
Centro de Investigación en Ciencias de Información Geoespacial AC（地理空间信息科学研究中心（AC））；Consejo Nacional de Ciencia y Tecnología (CONACyT)（国家科学技术委员会（CONACyT））
视频描述是描述图像序列的内容的过程，捕捉其语义关系和含义。用一张图像处理这个任务是艰巨的，更不用说视频（或图像序列）是多么困难。视频描述的应用量和相关性是巨大的，主要用于处理视频监控中的大量视频记录，或者辅助视力受损的人等等。为了分析我们的社区在解决视频描述任务方面的努力，以及可以更好地遵循的路线，本文对2016年至2021年期间的105篇论文进行了广泛的回顾。因此，确定了最常用的数据集和指标。此外，使用的主要方法和最好的方法。我们计算一组排名的基础上，几个性能指标，以获得，根据其性能，最好的方法与最好的结果上的视频描述任务。最后，总结了一些见解，这些见解可能是下一步或机会领域，以改善处理这一复杂的任务。
2022-04-13 cs.CV
Reconstruction Network for Video Captioning
Tencent AI Lab（腾讯人工智能实验室）；School of Control Science Engineering Shandong University（山东大学控制科学与工程学院）
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索，使语言描述，我们提出了一种重建网络（RecNet）与一种新的编码器-解码器-重建器架构，它利用了前向（视频到句子）和后向（句子到视频）流的视频描述。具体地，编码器-解码器利用前向流来基于编码的视频语义特征产生句子描述。两种类型的重建器被定制为采用反向流，并根据解码器生成的隐藏状态序列再现视频特征。由编码器-解码器产生的生成损失和由重建器引入的重建损失以端到端的方式共同被引入到训练所提出的RecNet中。在基准数据集上的实验结果表明，所提出的重建器可以提高编码器-解码器模型，并导致视频字幕准确性的显着增益。
2018-03-30 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Weakly Supervised Dense Video Captioning
Intel Labs China（英特尔中国研究院）；Fudan University（复旦大学）
本文研究了一种新颖而具有挑战性的视觉任务--密集视频描述，其目的是用多个信息丰富且多样化的字幕语句自动描述视频片段。该方法在训练时不需要细粒度句子与视频区域序列对应关系的显式注释，而是仅基于弱视频级句子注释。它在三个技术方面不同于现有的视频描述系统。首先，我们提出了词汇全卷积神经网络（Lexical-FCN）与弱监督多实例多标签学习弱链接视频区域与词汇标签。其次，我们引入了一种新的子模最大化方案，以产生多个信息和不同的区域序列的基础上的词汇-FCN输出。在训练阶段，采用赢者通吃的策略将句子与区域序列进行弱关联。第三，序列到序列的学习为基础的语言模型的弱监督信息，通过关联过程中得到的训练。我们表明，该方法不仅可以产生信息丰富和多样化的密集字幕，但也优于国家的最先进的单一视频描述方法的大幅度。
2017-04-05 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu（百度ERNIE团队）；College of Artificial Intelligence, Inner Mongolia University（内蒙古大学人工智能学院）
提出CodecCap框架，通过关键帧和残差字幕模拟视频编解码器，在保持细粒度视觉证据的同时减少冗余，并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
From Deterministic to Generative: Multi-Modal Stochastic RNNs for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
视频描述在本质上是一个复杂的自然过程，这是由各种不确定性所产生的视频内容，主观判断等，在本文中，我们建立在使用编码器-解码器的框架视频描述的最新进展，并解决我们发现是一个关键的不足，现有的方法，大多数的解码器传播确定性隐藏状态。这种复杂的不确定性不能有效地建模的确定性模型。在本文中，我们提出了一种生成方法，称为多模态随机RNN网络（MS-RNN），它使用潜在随机变量对数据中观察到的不确定性进行建模。因此，MS-RNN可以提高视频描述的性能，并且考虑不同的随机因素来生成多个句子来描述视频。具体来说，首先提出了一种多模态LSTM（M-LSTM）来与视觉和文本特征进行交互，以捕获高级表示。然后，提出了一种后向随机LSTM（S-LSTM），通过引入潜变量来支持不确定性传播。在具有挑战性的数据集MSVD和MSR-VTT上的实验结果表明，我们提出的MS-RNN方法优于最先进的视频描述基准。
2017-10-20 cs.CV
Streaming Dense Video Captioning
Google（谷歌公司）
本文提出流式密集视频字幕生成模型，通过固定大小聚类记忆模块和流式解码算法，实现处理任意长视频并提前输出预测，在ActivityNet、YouCook2和ViTT三个基准上显著超越现有最先进方法。
2024-04-01 cs.CV
