CLIP4Caption: CLIP for Video Caption
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
视频描述是一项具有挑战性的任务,因为它需要生成描述各种不同和复杂视频的句子。现有的视频描述模型由于忽略了视频和文本之间存在的间隙而缺乏足够的视觉表示。为了弥补这一差距,在本文中,我们提出了一个CLIP 4Caption框架,提高了视频描述的基础上CLIP增强的视频文本匹配网络(VTM)。该框架充分利用了视觉和语言的信息,并强制执行模型来学习文本相关性强的视频特征,以生成文本。此外,与大多数使用LSTM或GRU作为句子解码器的现有模型不同,我们采用了Transformer结构化解码器网络来有效地学习远程视觉和语言依赖。此外,我们介绍了一种新的集成策略的字幕任务。实验结果证明了我们的方法在两个数据集上的有效性:1)在MSR-VTT数据集上,我们的方法在CIDEr中取得了最新的最先进的结果,显著增益高达10%; 2)在私人测试数据上,我们的方法在ACM MM多媒体大挑战赛2021:视频理解挑战赛的预训练中排名第二。值得注意的是,我们的模型只在MSR-VTT数据集上训练。
2021-10-13 cs.CV
Captioning for Text-Video Retrieval via Dual-Group Direct Preference Optimization
Korea University(韩国大学);Hanwha Vision(翰威英航);KAIST(韩国科学技术院)
针对文本-视频检索中辅助字幕泛化且难以区分的问题,提出CaRe-DPO框架,通过双组直接偏好优化和角色嵌入生成细粒度字幕,显著提升检索性能。
2025-09-20 cs.CV
GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation
K.N. Toosi University of Technology(K.N.图西理工大学)
针对多模态大模型在心脏超声字幕生成中性能下降的问题,提出GPEC,一种插入视觉投影层与语言模型之间的高效预大语言模型残差校正方法,利用稀疏变分高斯过程改进视觉表示,提升字幕相似性与内容对齐,且推理开销极低。
2026-10-02 cs.CV
LFS: Learnable Frame Selector for Event-Aware and Temporally Diverse Video Captioning
GTS, AI Data Department, Huawei Technologies Co., Ltd.(华为技术有限公司人工智能数据部)
本文提出LFS,通过学习选择时间多样且事件相关的帧,提升视频描述的细节质量,在两个基准和ICH-CC上取得显著提升。
2026-05-07 cs.CV
AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward
MMLab, CUHK(香港中文大学MMLab);Peking University(北京大学)
针对音视频联合字幕的数据集、奖励信号、评估基准的局限,提出AVCap-100K数据集、AVCap模型及专用基准指标,通过Da-GRPO优化的AVCap模型性能优异。
2026-08-10 cs.CV
AVoCaDO: An Audiovisual Video Captioner Driven by Temporal Orchestration
Kling Team, Kuaishou Technology(快手科技 Kling 团队);New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所模式识别新实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Peking University(北京大学);Nanjing University(南京大学)
本文提出由时序编排驱动的视听视频字幕生成器 AVoCaDO,通过两阶段后训练流程(SFT 与 GRPO)显著提升字幕时序连贯性与准确性,在多个基准上超越现有开源模型。
2025-10-12 cs.CV
From Captions to Keyframes: KeyScore for Multimodal Frame Scoring and Video-Language Understanding
Amazon Prime Video(亚马逊Prime视频)
提出 KeyScore 与 STACFP 方法,结合语义相似性、时间代表性和上下文丢弃影响进行帧评分,实现高达 99% 帧缩减,并在多个视频-语言基准上提升检索与识别性能。
2025-10-10 cs.CV
Auto-captions on GIF: A Large-scale Video-sentence Dataset for Vision-language Pre-training
JD AI Research(京东人工智能研究院)
在这项工作中,我们提出了GIF上的自动字幕,这是一个新的大规模的通用视频理解的预训练数据集。所有的视频句子对都是通过从数十亿个网页中自动提取和过滤视频标题注释来创建的。GIF数据集上的自动字幕可以用于预训练通用特征表示或编码器-解码器结构,以用于视频描述和其他下游任务(例如,视频中的句子定位、视频问答等)也我们提出了一个详细的分析自动字幕GIF数据集相比,现有的视频句子数据集。我们还提供了一个基于transformer的编码器-解码器结构的视觉语言预训练,这是进一步适应视频描述下游任务,并产生令人信服的概括MSR-VTT的评估。该数据集可在\url{http://www.auto-video-captions.top/2020/dataset}上获得。
2020-07-05 cs.CL cs.CV
Controllable Hybrid Captioner for Improved Long-form Video Understanding
Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
本文提出可控混合字幕生成器,通过微调LaViLa并结合LLaVA静态场景描述与场景变化标记,在长视频理解中构建更完整的文本记忆,提升问答能力与字幕生成效率。
2025-11-07 cs.AI cs.CV
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research(谷歌研究院);The Ohio State University(俄亥俄州立大学)
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa,它最大限度地重用了预训练的图像-文本对比字幕(CoCa)模型,并使其适应视频-文本任务,只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型,但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入,从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外,我们还在VideoCoCa上探索了轻量级的微调,并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
VideoCon: Robust Video-Language Alignment via Contrast Captions
UCLA(加利福尼亚大学洛杉矶分校);Google Research(谷歌研究院)
本文提出VideoCon数据集与对齐模型,通过大型语言模型生成对比字幕增强鲁棒性,在视频-语言对齐任务上AUC提升12%,并在多个零样本任务上达到最先进性能。
2023-11-15 cs.AI cs.CL cs.CV
Beyond Caption To Narrative: Video Captioning With Multiple Sentences
The University of Tokyo(东京大学)
图像描述任务的最新进展导致对视频描述任务的兴趣增加。然而,大多数关于视频描述的工作都集中在生成聚合特征的单个输入上,这几乎没有偏离图像描述过程,并且没有充分利用视频中存在的动态内容。我们试图生成的视频字幕,传达更丰富的内容,通过时间分割的视频与动作本地化,从多个帧生成多个字幕,并将它们与自然语言处理技术,以生成一个故事般的字幕。我们表明,我们提出的方法可以生成内容更丰富的字幕,可以与最先进的方法竞争,而无需明确使用视频级功能作为输入。
2016-05-18 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University(翰阳大学)
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题,提出Sali4Vid框架,通过显著性感知视频重加权和自适应字幕检索优化任务效果,在两个基准上达SOTA。
2025-09-04 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute(OPPO研究院);Tongji University(同济大学)
本研究针对Soccernet数据集的密集视频字幕任务,采用Blip框架生成足球动作字幕,结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位,完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University(北京航空航天大学);Tencent AI LAB(腾讯AI实验室)
虽然端到端(E2E)学习已经在各种视觉理解任务上取得了令人印象深刻的进展,但它经常受到硬件限制(例如,GPU内存),并且易于过拟合。当涉及到视频描述时,这是计算机视觉中最具挑战性的基准任务之一,E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上,用于视频描述的现有技术方法通过卷积神经网络来处理视频帧,并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们,生成的模型既消耗内存又需要大量数据,这使得训练非常困难。在本文中,我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务(例如,属性、奖励和字幕),使得它们可以联合调节E2E神经网络的搜索空间,从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知,这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明,该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Meaning guided video captioning
BITS Pilani(比尔拉科学技术学院皮拉尼分校);Hiroshima University(广岛大学)
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时,经常遭受在要描述的视频中丢失对象的问题。在本文中,我们提出了一种新的方法来视频描述,可以描述由目标检测检测到的对象,并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT,一个用于视频描述的序列到序列模型。给定视频帧序列,编码RNN获取帧以及帧中检测到的对象,以便将对象的信息并入场景中。然后,将以下解码RNN输出馈送到注意层,然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较,使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明,该方法的性能明显优于未引入意义引导框架的模型,表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu(百度ERNIE团队);College of Artificial Intelligence, Inner Mongolia University(内蒙古大学人工智能学院)
提出CodecCap框架,通过关键帧和残差字幕模拟视频编解码器,在保持细粒度视觉证据的同时减少冗余,并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出AVC-DPO后训练框架,通过针对时间动态和空间信息的增强提示进行直接偏好优化,提升视频多模态大语言模型的描述能力,并在CVPR'25视频详细描述挑战赛中获得第一名。
2025-07-02 cs.CV
Grounded Video Caption Generation
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague(布拉格捷克理工大学捷克信息学、机器人学与控制论研究所);Inria, École normale supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL大学)
本文提出了grounded video caption generation新任务,构建了GROC测试集和HowToGround训练集,并开发了VideoGround模型,通过统一视频字幕生成与目标定位,在时间一致的边界框基础上实现了该任务的最新技术水平。
2024-11-12 cs.CV
Grounded Objects and Interactions for Video Captioning
Georgia Institute of Technology(佐治亚理工学院);NEC Laboratories America(NEC美国实验室);Georgia Tech Research Institute(佐治亚理工研究院)
我们解决的问题,视频描述接地语言生成的对象在视频中的相互作用。现有的工作主要集中在整体场景理解,往往有限或没有强调对象的相互作用,以解决视频理解的问题。在本文中,我们提出了SINet-Caption,它可以学习生成基于任意对象组之间的高阶交互的字幕,以实现细粒度的视频理解。我们讨论了这种方法的挑战和好处。我们使用我们的模型,基于这种方法的SINet-Caption,进一步展示了ActivityNet Captions数据集的最新结果。
2017-11-16 cs.CV
Attentive Semantic Video Generation using Captions
IIT Hyderabad(印度理工学院海得拉巴分校)
本文提出了一种网络架构,执行可变长度的语义视频生成使用字幕。我们采用了一种新的视角来生成视频,我们允许字幕与视频帧之间的长期和短期依赖性相结合,从而以增量方式生成视频。我们的实验证明了我们的网络架构能够区分视频中的对象、动作和交互,并将它们结合起来生成视频,以提供看不见的字幕。当被要求为一系列字幕生成视频时,该网络还表现出执行时空风格转移的能力。我们还表明,网络学习潜在表示的能力使其能够以无监督的方式生成视频,并执行其他任务,如动作识别。(2017年计算机视觉国际会议(ICCV))
2017-10-21 cs.CV
RUC+CMU: System Report for Dense Captioning Events in Videos
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学)
这篇笔记本论文介绍了我们的系统在视频中的ActivityNet密集字幕任务(任务3)。时间建议生成和字幕生成都是密集字幕任务的重要组成部分。因此,我们提出了一个提案排名模型,采用一组有效的特征表示来生成提案,并集成一系列用上下文信息增强的字幕模型,以根据预测的提案稳健地生成字幕。我们的方法在密集视频描述任务上达到了最先进的性能,在挑战测试集上的METEOR得分为8.529。
2018-06-22 cs.CV
Conditional Video Generation Using Action-Appearance Captions
The University of Tokyo(东京大学);RIKEN(理化学研究所)
由于最近的生成对抗网络(GANs),自动视频生成领域得到了推动。然而,大多数现有的方法不能使用文本字幕来控制所生成的视频的内容,在很大程度上失去了它们的有用性。这特别影响人类视频,因为它们的动作和外观种类繁多。本文提出了条件流和纹理GAN(CFT-GAN),一种基于GAN的视频生成方法从动作外观字幕。我们提出了一种通过编码字幕(例如,“一个穿蓝色牛仔裤的男人正在打高尔夫球”)。我们的CFT-GAN使用这样的标题来为每帧生成光流(动作)和纹理(外观)。结果,输出视频以合理的方式反映在字幕中指定的内容。此外,为了训练我们的方法,我们构建了一个新的数据集,用于生成带有字幕的人类视频。我们通过消融研究和用户研究定性和定量地评估了所提出的方法。结果表明,CFT-GAN能够成功地生成包含字幕中指示的动作和外观的视频。
2018-12-05 cs.CV
Progress-Aware Video Frame Captioning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出帧级进度感知视频字幕生成任务,构建ProgressCaptioner模型及FrameCap数据集和FrameCapEval基准,显著提升字幕时间精度,并应用于关键帧选择与视频理解。
2025-03-26 cs.CV
Video Captioning in Compressed Video
Zhejiang University(浙江大学);Westlake University(西湖大学)
现有的视频描述方法主要集中在未压缩视频中的全局帧特征,而忽略了压缩视频中已经编码的免费和关键的显著性信息。我们提出了一种视频描述方法,它直接对存储的压缩视频进行操作。为了学习一个有区别的视觉表示视频描述,我们设计了一个残差辅助编码器(RAE),它点的援助下的残差帧的I帧的感兴趣的区域。首先,我们通过提取残差的特征作为I帧中每个位置的显著性值来获得空间注意力权重,并设计了一个空间注意力模块来细化注意力权重。我们进一步提出了一个时间门模块来确定有多少参加的功能有助于字幕生成,这使得该模型能够抵抗压缩视频中的一些噪声信号的干扰。最后,利用长短期记忆将视觉表征解码为描述。我们在两个基准数据集上评估了我们的方法,并证明了我们的方法的有效性。
2021-01-02 cs.CV
It's Just Another Day: Unique Video Captioning by Discriminative Prompting
University of Bristol(布里斯托大学);University of Oxford(牛津大学)
本文提出唯一视频字幕生成问题及CDP方法,通过预测区分相同字幕片段的属性生成唯一字幕,在第一人称视频和时间循环电影基准上显著提升了文本到视频检索R@1指标。
2024-10-15 cs.CV
GLaVE-Cap: Global-Local Aligned Video Captioning with Vision Expert Integration
Harbin Institute of Technology(哈尔滨理工大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
针对视频描述局部到全局范式细节不足且上下文不一致的问题,提出全局-局部对齐框架GLaVE-Cap,通过TrackFusion和CaptionBridge模块结合视觉专家生成连贯细粒度描述,并构建了GLaVE-Bench基准与GLaVE-1.2M数据集,在四个基准上达到SOTA。
2025-09-14 cs.CV
Exploiting Auxiliary Caption for Video Grounding
Peking University(北京大学);International Digital Economy Academy (IDEA)(国际数字经济研究院)
本文提出辅助字幕网络(ACNet),通过引入密集视频字幕生成、非辅助字幕抑制、字幕引导注意力(CGA)和非对称跨模态对比学习(ACCL),有效利用辅助字幕增强视频定位性能,在三个公开数据集上显著优于现有方法。
2024-03-24 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science(阿尔托大学理学院)
在本文中,我们描述了使用递归神经网络(RNN)生成短视频片段的文本描述的系统,我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上,并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外,我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明,利用基于关键帧的功能,密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?
The University of Sydney(悉尼大学);Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);Shanghai AI Laboratory(上海人工智能实验室)
现有的文本-视频检索方法大多集中在视频的视觉内容和文本查询语句之间的跨模态匹配。然而,在现实世界的场景中,在线视频往往伴随着相关的文本信息,如标题,标签,甚至字幕,可以用来匹配文本查询。这种洞察力促使我们提出了一种新颖的文本视频检索方法,其中我们使用zero-shot视频描述直接从视频中生成关联的字幕,其中知识来自网络规模的预训练模型(例如,CLIP和GPT-2)。考虑到生成的字幕,一个自然的问题出现了:它们给文本视频检索带来了什么好处?为了回答这个问题,我们引入了Cap 4Video,这是一个新的框架,它以三种方式利用字幕:i)输入数据:视频字幕对可以增加训练数据。ii)中间特征交互:我们在视频和字幕之间执行跨模态特征交互,以产生增强的视频表示。iii)输出分数:查询-字幕匹配分支可以补充原始查询-视频匹配分支以用于文本-视频检索。我们进行全面的消融研究,以证明我们的方法的有效性。在没有任何后处理的情况下,Cap 4Video在四个标准的文本视频检索基准上实现了最先进的性能:MSR-VTT(51.4%),VATEX(66.6%),MSVD(51.8%)和DiDeMo(52.0%)。该代码可在https://github.com/whwu95/Cap4Video上获得。
2023-03-28 cs.CV
Encoder-Decoder Based Long Short-Term Memory (LSTM) Model for Video Captioning
Virginia Tech(弗吉尼亚理工大学);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);Austin Peay State University(奥斯汀皮伊州立大学)
本研究提出一种基于编码器-解码器LSTM的视频字幕生成模型,通过将视频帧时间序列映射为单词序列生成字幕,并使用2-gram BLEU分数评估其正确性与泛化能力。
2023-10-02 cs.CV
Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering
Apple(苹果公司)
针对现有视频字幕评估指标的局限,提出无参考基准CapQuiz,通过人工验证的多项选择问答衡量信息保真度,实验证明其与人类判断相关性更高。
2026-09-10 cs.CV
Frame- and Segment-Level Features and Candidate Pool Evaluation for Video Caption Generation
Aalto University(阿尔托大学)
我们向Microsoft Video to Language Challenge提交了我们的提交,该挑战旨在生成描述挑战数据集中视频的简短字幕。我们的模型是基于编码器-解码器流水线,流行的图像和视频描述字幕系统。我们建议利用两种不同的视频功能,一个是捕捉视频内容的对象和属性,和其他捕捉的运动和动作信息。使用这些不同的功能,我们训练模型专门在两个独立的输入子域。然后,我们训练一个评估器模型,该模型用于从这些领域专家模型生成的候选池中挑选最佳字幕。我们认为,这种方法是更好地适合当前的视频描述任务相比,使用一个单一的模型,由于数据集的多样性。我们的方法的有效性得到了证明,事实上,它被评为最好的MSR视频到语言的挑战,根据人类的评价。此外,我们在基于自动评估指标的表格中排名第二。
2016-08-17 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen(图宾根大学)
为了生成合适的视频字幕,推理需要识别相关概念,并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构,一个适合的Transformer用于单个联合时空视频分析,以及一个基于自注意力的解码器用于高级文本生成。此外,我们引入了一个自适应帧选择方案,以减少所需的传入帧的数量,同时保持相关的内容时,训练两个Transformers。此外,我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD,以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成(NLG)指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
DVCFlow: Modeling Information Flow Towards Human-like Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Huawei Technologies(华为技术有限公司)
密集视频描述(DVC)的目的是生成多句描述来阐明视频中的多个事件,这是一个挑战,需要视觉一致性,话语连贯性和语言多样性。现有的方法主要从单个视频片段生成字幕,缺乏对全局视觉上下文的适应性,以及快速演变的视觉内容和文本描述之间的渐进对齐,这导致冗余和拼接的描述。在本文中,我们引入信息流的概念来模拟渐进的信息变化的视频序列和字幕。通过设计跨模态信息流对齐机制,实现了视觉信息流和文本信息流的捕获和对齐,为字幕过程提供了更丰富的上下文和事件/主题演化的动态性。在跨模态信息流对齐模块的基础上,我们进一步提出了DVCFlow框架,该框架由全局-局部视觉编码器和预训练的字幕生成器组成,全局-局部视觉编码器用于捕获每个视频片段的全局特征和局部特征,字幕生成器用于生成字幕。在流行的ActivityNet Captions和YouCookII数据集上进行的大量实验表明,我们的方法显着优于竞争基线,并根据主题和客观测试生成更人性化的文本。
2021-11-19 cs.CV
Fine-Grained Captioning of Long Videos through Scene Graph Consolidation
ECE, Seoul National University, Korea.(电子工程系,首尔国立大学,韩国);IPAI, Seoul National University, Korea.(人工智能研究所,首尔国立大学,韩国)
本文提出一种基于场景图整合的长视频字幕生成框架,通过将片段级字幕解析为场景图并整合为统一表示,再经轻量级图到文本解码器生成视频级字幕,无需微调即可实现强零样本性能并显著降低计算成本。
2025-07-07 cs.CV
Text with Knowledge Graph Augmented Transformer for Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);ByteDance Inc.(字节跳动公司)
视频描述旨在使用自然语言描述视频的内容。虽然已经取得了重大进展,但对于实际应用程序来说,仍然有很大的空间来提高性能,主要是由于长尾词的挑战。在本文中,我们提出了一个文本与知识图谱增强Transformer(TextKG)的视频描述。值得注意的是,TextKG是一个双流Transformer,由外部流和内部流组成。外部流被设计为吸收附加知识,其对附加知识之间的交互进行建模,例如,预先构建的知识图谱,以及视频的内置信息,例如,显著对象区域、语音转录和视频字幕,以减轻长尾词挑战。同时,内部流被设计为利用视频中的多模态信息(例如,视频帧、语音转录和视频字幕的外观)以确保字幕结果的质量。此外,在两个流之间还使用交叉注意力机制来共享信息。通过这种方式,两个流可以相互帮助,获得更准确的结果。在四个具有挑战性的视频描述数据集上进行了广泛的实验,即,YouCookII,ActivityNet Captions,MSRVTT和MSVD,表明所提出的方法与最先进的方法相比表现良好。具体来说,所提出的TextKG方法通过在YouCookII数据集上提高18.7%的绝对CIDER分数,优于最好的公布结果。
2023-03-25 cs.CV
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd(最佳视觉科技有限公司)
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说,我们用两阶段的方法解决这个问题,即,首先提出时间事件,然后生成句子。对于时间事件建议,我们直接利用[13,16]中的三阶段工作流。对于句子生成,我们利用基于LSTM的字幕框架与时间注意力机制(称为LSTM-T)。此外,基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面,我们采用了一种后期融合方案,将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China(中国人民大学)
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中,我们提出了一种新的和简单的事件序列生成模型,并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成,并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明,该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕,我们遵循我们以前的工作,采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能,在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
PercepCap: Video Captioner with Structured Spatio-Temporal Perception
Nanjing Univerisity(南京大学);Kuaishou Technology(快手科技);Shanghai AI Laboratory(上海人工智能实验室)
研究视频字幕生成问题,提出PercepCap框架,遵循感知-描述生成链,设计两阶段训练策略及相关数据构建方法,在评估中优于基线,提升视频字幕生成质量。
2026-08-28 cs.CV
EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching
University of Science and Technology of China(中国科学技术大学);Southeast University(东南大学);Alibaba Group(阿里巴巴集团);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
当前用于视频描述的度量主要基于参考和候选字幕之间的文本级比较。然而,它们有一些无法克服的缺点,例如,它们不能处理没有参考的视频,并且由于视频到文本的一对多性质和忽视视觉相关性,它们可能导致有偏见的评价。从人类评估者的角度来看,高质量的字幕应该与所提供的视频一致,但不一定在文字或语义上与参考相似。受人类评价的启发,我们提出了EMScore(Embedding Matching-based score),这是一种新的无参考的视频描述指标,它直接测量视频和候选字幕之间的相似性。受益于大规模预训练模型的最新发展,我们利用一个良好的预训练视觉语言模型来提取视觉和语言嵌入以计算EMScore。具体来说,EMScore结合了粗粒度(视频和字幕)和细粒度(帧和文字)级别的匹配分数,考虑了视频的整体理解和详细特征。此外,考虑到潜在的信息增益,EMScore可以灵活地扩展到人类标记参考可用的条件。最后但并非最不重要的是,我们收集VATEX-EVAL和ActivityNet-FOIl数据集,以系统地评估现有指标。VATEX-EVAL实验表明,EMScore具有较高的人类相关性和较低的参考依赖性。ActivityNet-FOIL实验验证了EMScore能够有效识别“幻觉”字幕。将发布数据集,以促进视频描述指标的制定。该代码可从以下网址获取:https://github.com/ShiYaya/emscor…
2022-07-17 cs.CV
VoCap: Video Object Captioning and Segmentation from Any Prompt
Google DeepMind(谷歌DeepMind)
本文提出 VoCap 模型,可依据文本、框或掩码等任意提示联合输出视频物体的时空掩码与物体字幕,并构建 SAV-Caption 数据集,在相关分割与字幕任务上取得先进结果。
2025-08-29 cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University(庆熙大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题,提出融合外部记忆先验知识的跨模态记忆检索框架,无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
VideoCap-R1: Enhancing MLLMs for Video Captioning via Structured Thinking
Nanjing University(南京大学);Shanghai AI Laboratory(上海人工智能实验室);Honor Device Co., Ltd(荣誉设备有限公司)
本文提出 VideoCap-R1,首次将 GRPO 强化学习后训练用于视频描述,通过结构化思维与双重奖励机制,在有限样本下显著提升视频 MLLMs 的动作描述准确性。
2025-06-02 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University(浙江大学)
提出SGCap方法,通过语义组解码、关键句子选择和概率采样监督,利用多帧信息并建模时间动态,实现零样本视频描述生成,性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Enhancing Traffic Safety with Parallel Dense Video Captioning for End-to-End Event Analysis
University of Central Florida(中佛罗里达大学);North Dakota State University(北达科他州立大学)
本研究针对2024年AI City挑战赛交通安全分析任务,基于PDVC框架结合CLIP特征、领域适配与知识迁移优化密集视频字幕,在WTS数据集测试集上获竞赛第6名。
2024-04-12 cs.CV
OwlCap: Harmonizing Motion-Detail for Video Captioning via HMD-270K and Caption Set Equivalence Reward
针对视频字幕生成中运动与细节不平衡问题,本文提出HMD-270K数据集和字幕集等价奖励CSER,并据此训练出OwlCap多模态大语言模型,在VDC和DREAM-1K基准上显著提升性能。
2025-08-27 cs.CV
LongCaptioning: Unlocking the Power of Long Video Caption Generation in Large Multimodal Models
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Department of Computing, Hong Kong Polytechnic University(香港理工大学计算机系)
针对大型多模态模型长视频长字幕生成受限问题,提出LongCaption-Agent框架合成长字幕数据集LongCaption-10K,并构建LongCaption-Bench基准,使模型能生成超1000词的高质量字幕,性能超越GPT4o。
2025-03-01 cs.CV
Panda-70M: Captioning 70M Videos with Multiple Cross-Modality Teachers
Snap Inc.(斯耐普公司);University of California, Merced(加州大学默塞德分校);University of Trento(特伦托大学)
针对高质量视频-文本数据稀缺问题,本文利用多模态输入和多个跨模态教师模型自动生成并筛选字幕,构建含7000万视频的Panda-70M数据集,并在三类下游任务中验证其效果。
2024-02-29 cs.CV
Video captioning with stacked attention and semantic hard pull
Islamic University of Technology(伊斯兰科技大学);Dhaka University of Engineering and Technology(达卡工程技术大学)
本文提出语义敏感视频字幕生成(SSVC)架构,通过堆叠注意力和空间硬拉取改进上下文生成,并引入语义敏感性(SS)评分指标,提升视频字幕生成的性能。
2021-07-16 cs.CV
End-to-End Dense Video Captioning with Parallel Decoding
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
密集视频描述旨在从视频中生成具有其时间位置的多个相关联的字幕。以前的方法遵循复杂的“本地化然后描述”方案,该方案严重依赖于大量手工制作的组件。在本文中,我们提出了一个简单而有效的框架,端到端的密集视频描述与并行解码(PDVC),制定密集字幕生成作为一组预测任务。在实践中,通过在Transformer解码器的顶部堆叠新提出的事件计数器,PDVC在对视频内容的整体理解下精确地将视频分割成多个事件片段,这有效地增加了预测字幕的连贯性和可读性。与现有技术相比,PDVC具有几个吸引人的优点:(1)不依赖于启发式非最大值抑制或递归事件序列选择网络来去除冗余,PDVC直接产生具有适当大小的事件集;(2)与采用两阶段方案不同,我们将增强的事件查询表示并行馈送到本地化头和标题头中,(3)在ActivityNet Captions和YouCook 2上进行的大量实验表明,PDVC能够产生高质量的字幕结果,在定位精度与两阶段方法相当的情况下,其效果优于两阶段方法。代码可在https://github.com/ttengwang/PDVC上获得。
2021-11-17 cs.CV
To Create What You Tell: Generating Videos from Captions
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
我们每天都在创造多媒体内容。虽然自动内容生成几十年来一直是多媒体社区的一个基本挑战,但深度学习的最新进展使这个问题变得可行。例如,生成对抗网络(GANs)是合成图像的一种有益方法。然而,当利用GANs生成视频时,这并不是微不足道的。困难源于视频的内在结构,其中视频是视觉上连贯且语义上依赖的帧的序列。这促使我们在设计生成视频的GANs时探索语义和时间一致性。在本文中,我们提出了一种新的时间GANs条件化字幕,即TGANs-C,其中生成器网络的输入是潜在噪声向量和字幕嵌入的级联,然后被转换为具有3D时空卷积的帧序列。与只判断配对是真是假的天真的机器人不同,我们的机器人还注意到视频是否与正确的标题匹配。特别是,该网络由三个鉴别器组成:视频鉴别器从生成的视频中分类现实视频并优化视频字幕匹配,帧鉴别器区分真实和假帧并将帧与条件字幕对齐,以及运动鉴别器强调生成的视频中的相邻帧应该像真实视频中一样平滑连接的理念。我们定性地证明了我们的TGANs-C在两个合成数据集(SBMG和TBMG)和一个真实世界数据集(MSVD)上生成给定字幕的合理视频的能力。此外,定量实验MSVD进行验证我们的建议,通过生成对抗度量和人类的研究。
2018-04-23 cs.CV
Predicting Visual Features from Text for Image and Video Caption Retrieval
Zhejiang University(浙江大学);Renmin University of China(中国人民大学);University of Amsterdam(阿姆斯特丹大学)
本文试图在一组句子中找到最好的描述给定图像或视频内容的句子。不同于现有的作品,它依赖于一个联合子空间的图像和视频字幕检索,我们建议这样做,在视觉空间专门。除了这个概念上的新颖性,我们贡献了\emph{Word2VisualVec},一个深度神经网络架构,学习预测文本输入的视觉特征表示。示例字幕基于多尺度句子向量化被编码为文本嵌入,并通过简单的多层感知器进一步转换为选择的深度视觉特征。我们进一步推广Word 2 VisualVec的视频字幕检索,从文本预测的3-D卷积神经网络功能,以及视听表示。在Flickr 8 k、Flickr 30 k、微软视频描述数据集和最近NIST TrecVid视频字幕检索挑战上的实验详细介绍了Word 2 VisualVec的属性、其优于文本嵌入的优势、多模态查询组合的潜力及其最先进的结果。
2018-07-14 cs.CV
Characterizing the impact of using features extracted from pre-trained models on the quality of video captioning sequence-to-sequence models
Zewail City For Science And Technology(泽维尔科学技术城)
视频描述的任务,即自动生成描述视频中的一系列动作的句子,近来已经吸引了越来越多的关注。视频数据的复杂和高维表示使得典型的编码器-解码器架构难以识别相关特征并以适当的格式对其进行编码。视频数据包含不同的模态,可以使用混合图像,场景,动作和音频特征进行识别。在本文中,我们描述了影响视频描述的不同特征,并探讨了这些特征之间的相互作用以及它们如何影响视频表示的最终质量。建立在现有的编码器-解码器模型,利用有限的视频信息的范围内,我们的比较表明,包括多模态视频功能可以显着提高生成的语句的质量的影响。这项工作是特别感兴趣的科学家和从业者谁是使用序列到序列模型生成视频字幕。
2019-11-22 cs.CV