Jointly Localizing and Describing Events for Dense Video Captioning
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Research(微软研究院);University of Science and Technology of China(中国科学技术大学)
用自然语言自动描述视频被认为是计算机视觉的一个基本挑战。然而,这个问题并不是微不足道的,特别是当视频包含多个值得一提的事件时,这在真实视频中经常发生。一个有效的问题是如何在时间上定位然后描述事件,这被称为“密集视频描述”。“在本文中,我们提出了一种新的密集视频描述框架,通过端到端的方式联合训练它们,将时间事件提案的本地化和每个提案的句子生成统一起来。为了结合这两个世界,我们集成了一个新的设计,即重复性回归,到一个Single Shot检测结构,通过句子生成来推断每个检测到的建议的描述性复杂度。这进而调整每个事件提议的时间位置。我们的模型不同于现有的密集的视频描述方法,因为我们提出了一个联合和全局优化的检测和字幕,和框架独特地利用属性增强的视频描述架构。在ActivityNet Captions数据集上进行了广泛的实验,与最先进的技术相比,我们的框架显示出明显的改进。更值得注意的是,我们获得了一个新的记录:在ActivityNet Captions官方测试集上的METEOR为12.96%。
2018-04-23 cs.CV
Human-like Controllable Image Captioning with Verb-specific Semantic Roles
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室);Columbia University(哥伦比亚大学);Tencent Data Platform(腾讯数据平台)
可控图像描述(CIC)--根据指定的控制信号生成图像描述--在过去几年中受到了前所未有的关注。为了模仿人类控制字幕生成的能力,目前的CIC研究只关注与客观属性有关的控制信号,例如感兴趣的内容或描述模式。然而,我们认为,几乎所有现有的客观控制信号都忽略了理想控制信号的两个不可或缺的特征:1)事件兼容性:单个句子中所指的所有视觉内容都应该与所描述的活动兼容。2)样品适用:控制信号应适用于特定的图像样品。为此,我们提出了一个新的控制信号CIC:动词特定的语义角色(VSR)。VSR由一个动词和一些语义角色组成,它表示一个目标活动和参与该活动的实体的角色。给定一个指定的VSR,我们首先训练一个接地的语义角色标注(GSRL)模型,以识别和接地每个角色的所有实体。然后,我们提出了一个语义结构规划器(SSP)学习人类一样的描述性语义结构。最后,我们使用角色转换字幕模型来产生字幕。大量的实验和消融表明,我们的框架可以实现更好的可控性比几个强大的基线上两个具有挑战性的CIC基准。此外,我们可以生成多层次的多样化的字幕很容易。该代码可从以下网址获取:https://github.com/mad-red/VSR-guided-CIC。
2021-03-22 cs.AI cs.CL cs.CV
Multi-modal Dense Video Captioning
Tampere University(坦佩雷大学)
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述(字幕)的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而,音频,特别是语音,是人类观察者理解环境的重要线索。在本文中,我们提出了一种新的密集的视频描述方法,能够利用任何数量的事件描述的方式。具体来说,我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别(ASR)系统来获得语音的时间对齐的文本描述(类似于字幕),并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题,并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明,相当大的贡献,从音频和语音组件,这表明这些方式包含大量的补充信息,视频帧。此外,我们通过利用从原始YouTube视频中获得的类别标签,对ActivityNet Caption结果进行了深入分析。代码公开:github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning
Google Research(谷歌研究院);Inria Paris(法国国家信息与自动化研究所巴黎分部);Département d’informatique de l’ENS(巴黎高等师范学院计算机系);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);DeepMind(深度思维);Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague(捷克布拉格技术大学信息学、机器人学与控制论研究所)
在这项工作中,我们引入了Vid 2Seq,这是一个多模态单阶段密集事件字幕模型,它在叙事视频上进行了预训练,这些视频在规模上很容易获得。Vid 2Seq架构使用特殊的时间标记增强了语言模型,使其能够在相同的输出序列中无缝预测事件边界和文本描述。这样一个统一的模型需要大规模的训练数据,这是目前的注释数据集不可用。我们表明,它是可以利用未标记的叙述视频密集的视频描述,通过重新制定句子边界的转录语音作为伪事件边界,并使用转录的语音句子作为伪事件标题。在YT-Temporal-1B数据集上预训练的Vid 2Seq模型改进了各种密集视频描述基准测试的最新技术水平,包括YouCook 2,ViTT和ActivityNet字幕。Vid 2Seq还可以很好地推广到视频段落字幕和视频剪辑字幕的任务,以及Few-Shot设置。我们的代码可在https://antoyang.github.io/vid2seq.html上公开获取。
2023-03-21 cs.AI cs.CL cs.CV
Visual Analytics for Efficient Image Exploration and User-Guided Image Captioning
University of California, Davis(加州大学戴维斯分校);Visa Research(维萨研究院)
本文提出协同视觉分析系统,利用语言-图像模型生成的描述探索大规模图像数据集、识别偏差,并通过交互式界面评估和引导图像描述生成。
2023-11-02 cs.CV
METEOR Guided Divergence for Video Captioning
University of Augsburg(奥格斯堡大学)
自动视频描述的目标是实现整体的视觉场景理解。它需要一种用于捕获视频帧中的时间上下文的机制,以及在给定时间帧中理解对象的动作和关联的能力。这样的系统还应该学习将视频序列抽象成可感知的表示,以及生成自然的书面语言。虽然大多数字幕模型只关注视觉输入,但很少关注视听形式。为了解决这个问题,我们提出了一个新的双重方法。首先,我们实现了一个奖励引导KL分歧训练一个视频描述模型,这是对令牌排列弹性。其次,我们利用双模态分层强化学习(BMHRL)Transformer架构来捕获输入数据的长期时间依赖性,作为分层字幕模块的基础。使用我们的BMHRL,我们通过在ActivityNet Captions数据集上分别实现BLEU3,BLEU4和METEOR分数中的$4.91$,$2.23$和$10.80$来显示HRL代理在生成内容完整和语法合理的句子中的适用性。最后,我们在https://github.com/d-rothen/bmhrl上向用户和开发人员公开了我们的BMHRL框架和训练模型。
2022-12-20 cs.CL cs.CV cs.LG
SAVCHOI: Detecting Suspicious Activities using Dense Video Captioning with Human Object Interactions
University of Southern California(南加州大学)
在监控视频中检测可疑活动是实时监控中的一个长期问题,导致难以检测犯罪。因此,我们提出了一种新的方法来检测和总结监控视频中的可疑活动。我们还为UCF-Crime视频数据集创建了地面实况摘要。我们修改了一个预先存在的方法,利用人-物交互(HOI)模型的视觉功能的双模态Transformer的这项任务。此外,我们验证我们的方法对现有的国家的最先进的算法密集视频描述任务的ActivityNet字幕数据集。我们观察到,这种用于密集字幕的公式比其他讨论的BLEU@1,BLEU@2,BLEU@3,BLEU@4和METEOR的基于BMT的方法表现得更好。我们进一步对数据集和模型进行了比较分析,以报告基于不同NMS阈值(使用遗传算法搜索)的发现。在这里,我们的公式优于BLEU@1,BLEU@2,BLEU@3的所有模型,以及BLEU@4和METEOR的大多数模型,分别比ADV-INF Global少25%和0.5%。
2022-10-22 cs.AI cs.CV
Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning
Hanyang University(汉阳大学)
该研究针对弱监督密集视频字幕中LLM合成过渡字幕缺乏视觉基础的问题,提出SBS框架,利用VLM检测过渡并优化时间掩码,在ActivityNet Captions和YouCook2上取得最优性能。
2026-09-04 cs.AI cs.CV
Grounded Objects and Interactions for Video Captioning
Georgia Institute of Technology(佐治亚理工学院);NEC Laboratories America(NEC美国实验室);Georgia Tech Research Institute(佐治亚理工研究院)
我们解决的问题,视频描述接地语言生成的对象在视频中的相互作用。现有的工作主要集中在整体场景理解,往往有限或没有强调对象的相互作用,以解决视频理解的问题。在本文中,我们提出了SINet-Caption,它可以学习生成基于任意对象组之间的高阶交互的字幕,以实现细粒度的视频理解。我们讨论了这种方法的挑战和好处。我们使用我们的模型,基于这种方法的SINet-Caption,进一步展示了ActivityNet Captions数据集的最新结果。
2017-11-16 cs.CV
SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning
Hanyang University(翰阳大学)
SAIL通过跨模态对齐和大语言模型增强策略,提升弱监督密集视频字幕生成的准确性和语义感知能力。
2026-03-09 cs.AI cs.CV
Dense Video Captioning: A Survey of Techniques, Datasets and Evaluation Protocols
UiT The Arctic University of Norway(特罗姆瑟大学(挪威北极大学))
本综述围绕密集视频字幕生成(DVC)任务,梳理其起源、三大子任务,汇总相关研究成果与所用数据集,并点明该领域的新兴挑战与未来发展趋势。
2023-11-05 cs.AI cs.CV
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad(达尔瓦德印度理工学院);UltraInstinct AI
视频描述是一个流行的任务,挑战模型使用自然语言描述视频中的事件。在这项工作中,我们调查的能力,各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器(WAFTM),字幕模型,将内存中的Transformer编码器,并使用一种新的方法,融合功能,确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后,我们在两个数据集上对我们的模型进行了基准测试,并在MSVD上获得了92.4的CIDER,在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
Dense Video Captioning using Graph-based Sentence Summarization
School of Electrical and Information Engineering, University of Sydney(电子与信息工程学院,悉尼大学)
提出基于图的分区与摘要(GPaS)两阶段框架,通过GCN-LSTM交互模块融合语义词图与视觉线索进行句子摘要,解决长视频提案中场景演化问题,在ActivityNet Captions和YouCook II上表现优异。
2025-06-25 cs.AI cs.CV
Streamlined Dense Video Captioning
POSTECH(浦项科技大学);Seoul National University(首尔大学);ByteDance AI Lab(字节跳动人工智能实验室);Wormpex AI Research(Wormpex人工智能研究院);Amazon Go
密集的视频描述是一项极具挑战性的任务,因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案,然后在提案的子集上加字幕来处理这个问题。因此,生成的句子往往是冗余的或不一致的,因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战,我们提出了一种新的密集视频描述框架,该框架明确地对视频中事件的时间依赖性进行建模,并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的:1)集成事件序列生成网络以自适应地选择事件提议序列,以及2)将事件提议序列馈送到我们的顺序视频描述网络,该网络通过强化学习进行训练,在事件和情节级别上具有两级奖励,以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan(密歇根大学);Salesforce Research(Salesforce研究院)
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此,所有以前的密集视频描述的方法解决这个问题,通过建立两个模型,即事件建议和字幕模型,这两个子问题。这些模型可以单独训练,也可以交替训练。这防止了语言描述对事件提议的直接影响,这对于生成准确的描述是重要的。为了解决这个问题,我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码,以确保在训练期间提案和字幕之间的一致性。此外,我们的模型采用了自我注意力机制,这使得在编码过程中使用高效的非递归结构,并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性,我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching
University of Science and Technology of China(中国科学技术大学);Southeast University(东南大学);Alibaba Group(阿里巴巴集团);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
当前用于视频描述的度量主要基于参考和候选字幕之间的文本级比较。然而,它们有一些无法克服的缺点,例如,它们不能处理没有参考的视频,并且由于视频到文本的一对多性质和忽视视觉相关性,它们可能导致有偏见的评价。从人类评估者的角度来看,高质量的字幕应该与所提供的视频一致,但不一定在文字或语义上与参考相似。受人类评价的启发,我们提出了EMScore(Embedding Matching-based score),这是一种新的无参考的视频描述指标,它直接测量视频和候选字幕之间的相似性。受益于大规模预训练模型的最新发展,我们利用一个良好的预训练视觉语言模型来提取视觉和语言嵌入以计算EMScore。具体来说,EMScore结合了粗粒度(视频和字幕)和细粒度(帧和文字)级别的匹配分数,考虑了视频的整体理解和详细特征。此外,考虑到潜在的信息增益,EMScore可以灵活地扩展到人类标记参考可用的条件。最后但并非最不重要的是,我们收集VATEX-EVAL和ActivityNet-FOIl数据集,以系统地评估现有指标。VATEX-EVAL实验表明,EMScore具有较高的人类相关性和较低的参考依赖性。ActivityNet-FOIL实验验证了EMScore能够有效识别“幻觉”字幕。将发布数据集,以促进视频描述指标的制定。该代码可从以下网址获取:https://github.com/ShiYaya/emscor…
2022-07-17 cs.CV
Show, Tell and Summarize: Dense Video Captioning Using Visual Cue Aided Sentence Summarization
School of Electrical and Information Engineering, University of Sydney(悉尼大学电气与信息工程学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出分割与总结(DaS)框架解决密集视频描述问题,将任务转化为视觉线索辅助的句子摘要,通过两阶段LSTM结合分层注意力机制编码语义与视觉信息并生成描述,在ActivityNet Captions数据集上验证了有效性。
2025-06-25 cs.AI cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University(庆熙大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题,提出融合外部记忆先验知识的跨模态记忆检索框架,无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University(坦佩雷大学)
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务,而完全忽略了音轨。只有少数先前的作品利用了这两种模式,但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中,我们介绍了双模态Transformer,它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务,但该模块能够消化任何两种形式的序列到序列的任务。我们还表明,作为双模态Transformer的一部分,预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明,我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得:v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning
University of California, Santa Barbara(加州大学圣巴巴拉分校);The Ohio State University(俄亥俄州立大学)
虽然在视频描述中已经取得了有希望的结果,但现有的模型仅限于训练语料库中的固定活动清单,并且不推广到开放的词汇场景。在这里,我们介绍了一个新的任务,zero-shot视频描述,旨在描述看不见的活动的域外视频。不同活动的视频通常需要不同的字幕策略,如选词、语义构建、风格表达等,这对在没有配对训练数据的情况下刻画新颖的活动提出了很大的挑战。但与此同时,类似的活动在这些方面有一些共同之处。因此,本文提出了一种基于主题感知的混合专家模型(TAMoE),用于zero-shot视频描述,该模型能够根据不同的主题嵌入来组合不同的专家,将从可见活动中学习到的知识隐式地传递给不可见活动。此外,我们利用外部的主题相关的文本语料库来构建主题嵌入每个活动,它体现了主题内最相关的语义向量。实验结果不仅验证了该方法在利用语义知识进行视频描述方面的有效性,而且在描述新颖活动时也显示了其较强的泛化能力。
2018-11-23 cs.CL cs.CV cs.IR
Streaming Dense Video Captioning
Google(谷歌公司)
本文提出流式密集视频字幕生成模型,通过固定大小聚类记忆模块和流式解码算法,实现处理任意长视频并提前输出预测,在ActivityNet、YouCook2和ViTT三个基准上显著超越现有最先进方法。
2024-04-01 cs.CV
Live Video Captioning
本文提出实时视频字幕生成(LVC)新范式,结合可变形变换器与时间滤波在线生成字幕,并设计新评估指标,在ActivityNet Captions上超越离线方法。
2025-05-26 cs.CV
Exploring Temporal Event Cues for Dense Video Captioning in Cyclic Co-learning
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院);Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China(中国教育部可持续城市智能交通工程研究中心)
本文提出多概念循环学习(MCCL)网络,通过帧级概念检测提供时间事件线索,并设计生成器与定位器间的循环共学习,在ActivityNet Captions和YouCook2上取得最先进性能。
2024-12-16 cs.CV
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida(佛罗里达大学)
视频描述主要研究两个基本概念:特征检测和特征合成。虽然现代Transformers在构成特征上是有益的,但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加,包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中,我们引入了一个新的概念,自我意识的组成Transformer(SACT),能够产生多项式注意力(MultAtt),这是一种生成各种组合的帧的分布。此外,多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来,这对自然语言分类很好,但对视频描述有局限性。视频内容具有重复,并且需要解析重要内容以更好地内容合成。在这项工作中,我们已经引入了SACT更多的选择性注意,并结合他们为不同的注意力头更好地捕捉可用的内容,为任何应用程序。为了解决多样化的问题,并鼓励选择性利用,我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集,如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction
针对现有密集视频字幕方法隐式建模无法捕捉时间连贯性与完整语义的问题,本文提出显式时空语义建模框架CACMI,通过两个核心模块融合时序与语义信息,在两个基准数据集上取得SOTA性能。
2025-11-13 cs.CV
Exposing and Correcting the Gender Bias in Image Captioning Datasets and Models
图像描述的任务隐含地涉及性别识别。然而,由于数据中的性别偏见,图像描述模型的性别识别受到影响。此外,由于逐词预测,性别活动偏差会影响字幕预测中的其他词,从而导致众所周知的标签偏差问题。在这项工作中,我们研究了COCO字幕数据集中的性别偏见,并表明它不仅来自上下文的性别统计分布,而且来自人类注释者的有缺陷的注释。我们在训练模型中研究这种偏见造成的问题。我们提出了一种技术,以摆脱偏见的任务分为2个子任务:性别中立的图像描述和性别分类。通过这种脱钩,可以消除性别背景的影响。我们训练性别中立的图像描述模型,即使在对具有与训练数据类似的偏差的数据集进行评估时,该模型也可以给出与性别化模型相当的结果。有趣的是,这个模型对没有人类的图像的预测也明显不同于对性别字幕训练的预测。我们使用可用的限界框和基于掩码的图像中的人的注释来训练性别分类器。这使我们能够摆脱背景,专注于人来预测性别。通过将性别替换到性别中立的字幕中,我们得到最终的性别预测。我们的预测与使用性别训练的模型具有相似的性能,同时没有性别偏见。最后,我们的主要结果是,在反刻板的数据集上,我们的模型优于一个流行的图像描述模型,该模型是用性别训练的。
2019-12-02 cs.CV
DVCFlow: Modeling Information Flow Towards Human-like Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Huawei Technologies(华为技术有限公司)
密集视频描述(DVC)的目的是生成多句描述来阐明视频中的多个事件,这是一个挑战,需要视觉一致性,话语连贯性和语言多样性。现有的方法主要从单个视频片段生成字幕,缺乏对全局视觉上下文的适应性,以及快速演变的视觉内容和文本描述之间的渐进对齐,这导致冗余和拼接的描述。在本文中,我们引入信息流的概念来模拟渐进的信息变化的视频序列和字幕。通过设计跨模态信息流对齐机制,实现了视觉信息流和文本信息流的捕获和对齐,为字幕过程提供了更丰富的上下文和事件/主题演化的动态性。在跨模态信息流对齐模块的基础上,我们进一步提出了DVCFlow框架,该框架由全局-局部视觉编码器和预训练的字幕生成器组成,全局-局部视觉编码器用于捕获每个视频片段的全局特征和局部特征,字幕生成器用于生成字幕。在流行的ActivityNet Captions和YouCookII数据集上进行的大量实验表明,我们的方法显着优于竞争基线,并根据主题和客观测试生成更人性化的文本。
2021-11-19 cs.CV
Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
Konkuk University(韩国康 kuk 大学);Sejong University(世宗大学);KAIST(韩国科学技术院)
本文提出角色特定查询与重叠抑制损失,用于解决密集视频描述中的多任务干扰和时间冗余问题,通过分离定位与描述任务并增强语义一致性,提升描述精度。
2026-03-12 cs.CV
Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
Keio University(Keio大学)
提出Rigel评估指标,通过自蒸馏从冻结LLM提取评估专用评分头,解决大词汇语言模型与小标签集不匹配问题,在视频字幕评估中超越现有方法。
2026-09-15 cs.CV
Text with Knowledge Graph Augmented Transformer for Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);ByteDance Inc.(字节跳动公司)
视频描述旨在使用自然语言描述视频的内容。虽然已经取得了重大进展,但对于实际应用程序来说,仍然有很大的空间来提高性能,主要是由于长尾词的挑战。在本文中,我们提出了一个文本与知识图谱增强Transformer(TextKG)的视频描述。值得注意的是,TextKG是一个双流Transformer,由外部流和内部流组成。外部流被设计为吸收附加知识,其对附加知识之间的交互进行建模,例如,预先构建的知识图谱,以及视频的内置信息,例如,显著对象区域、语音转录和视频字幕,以减轻长尾词挑战。同时,内部流被设计为利用视频中的多模态信息(例如,视频帧、语音转录和视频字幕的外观)以确保字幕结果的质量。此外,在两个流之间还使用交叉注意力机制来共享信息。通过这种方式,两个流可以相互帮助,获得更准确的结果。在四个具有挑战性的视频描述数据集上进行了广泛的实验,即,YouCookII,ActivityNet Captions,MSRVTT和MSVD,表明所提出的方法与最先进的方法相比表现良好。具体来说,所提出的TextKG方法通过在YouCookII数据集上提高18.7%的绝对CIDER分数,优于最好的公布结果。
2023-03-25 cs.CV
Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning
South China University of Technology(华南理工大学);Tencent AI Lab(腾讯人工智能实验室)
密集视频描述是一个新兴的任务,旨在定位和描述视频中的所有事件。我们确定并解决了这一任务的两个挑战,即(1)如何利用过去和未来的上下文进行准确的事件建议预测,以及(2)如何为解码器构建信息输入以生成自然事件描述。首先,以前的作品主要是在向前的方向上生成时间事件建议,这忽略了未来的视频上下文。我们提出了一个双向的建议方法,有效地利用过去和未来的情况下,使建议预测。第二,在(几乎)同一时间结束的不同事件在以前的作品中无法区分,导致相同的标题。我们通过用来自提议模块和视频内容的隐藏状态的精心融合来表示每个事件来解决这个问题(例如,C3D功能)。我们进一步提出了一种新的上下文门控机制,以平衡当前事件及其周围的上下文动态的贡献。我们的经验表明,我们用心融合的事件表示优于单独的建议隐藏状态或视频内容。通过将提案和字幕模块耦合到一个统一的框架中,我们的模型在ActivityNet Captions数据集上的表现优于最先进的技术,相对增益超过100%(Meteor得分从4.82增加到9.65)。
2018-04-03 cs.CV
Implicit and Explicit Commonsense for Multi-sentence Video Captioning
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
提出基于Transformer的视频字幕模型,融合隐式与显式常识知识,在指令生成和传统字幕任务上取得显著提升。
2024-01-09 cs.CV
DIBS: Enhancing Dense Video Captioning with Unlabeled Videos via Pseudo Boundary Enrichment and Online Refinement
University of Science and Technology of China(中国科学技术大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
提出 DIBS 预训练框架,利用 LLM 生成伪字幕与边界并在线迭代优化,仅用 Vid2Seq 0.4% 的未标注视频即在多个 DVC 基准上取得更优表现。
2024-04-03 cs.AI cs.CV cs.MM
End-to-End Dense Video Captioning with Parallel Decoding
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
密集视频描述旨在从视频中生成具有其时间位置的多个相关联的字幕。以前的方法遵循复杂的“本地化然后描述”方案,该方案严重依赖于大量手工制作的组件。在本文中,我们提出了一个简单而有效的框架,端到端的密集视频描述与并行解码(PDVC),制定密集字幕生成作为一组预测任务。在实践中,通过在Transformer解码器的顶部堆叠新提出的事件计数器,PDVC在对视频内容的整体理解下精确地将视频分割成多个事件片段,这有效地增加了预测字幕的连贯性和可读性。与现有技术相比,PDVC具有几个吸引人的优点:(1)不依赖于启发式非最大值抑制或递归事件序列选择网络来去除冗余,PDVC直接产生具有适当大小的事件集;(2)与采用两阶段方案不同,我们将增强的事件查询表示并行馈送到本地化头和标题头中,(3)在ActivityNet Captions和YouCook 2上进行的大量实验表明,PDVC能够产生高质量的字幕结果,在定位精度与两阶段方法相当的情况下,其效果优于两阶段方法。代码可在https://github.com/ttengwang/PDVC上获得。
2021-11-17 cs.CV
Collaborative Three-Stream Transformers for Video Captioning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of North Texas(北德克萨斯大学)
本文提出协同三流Transformer(COST)框架,分别建模主语、谓语和宾语,并通过跨粒度注意力对齐三个分支的视觉-语言交互,在三个视频字幕数据集上取得了优于现有方法的性能。
2023-09-18 cs.CV
Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos
Renmin University of China(中国人民大学);Microsoft Research Asia(微软亚洲研究院);Carnegie Mellon University(卡内基梅隆大学)
上下文推理对于理解未修剪的长视频中的事件至关重要。在这项工作中,我们系统地探讨了不同的字幕模型与各种背景下的密集字幕事件的视频任务,其目的是在未经修剪的视频中生成不同的事件的字幕。我们提出了五种类型的上下文以及两类事件字幕模型,并从准确性和多样性方面评估其对事件字幕的贡献。建议的字幕模型插入到我们的管道系统的密集视频描述的挑战。整个系统在视频任务中的密集字幕事件上达到了最先进的性能,在挑战测试集上的METEOR得分为9.91。
2019-07-11 cs.CL cs.CV cs.LG
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统:修剪动作识别,视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Fine-grained length controllable video captioning with ordinal embeddings
Toshiba(东芝);Nagoya Institute of Technology(名古屋工业大学)
本文提出基于 multi-hot 向量的 bit embedding 和 ordinal embedding 方法,通过非线性 MLP 实现细粒度视频描述长度控制,在多个数据集上验证了有效性并证明长度与语义可分离学习。
2024-08-27 cs.CV
PR-DETR: Injecting Position and Relation Prior for Dense Video Captioning
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家重点实验室);National Engineering Research Center for Visual Information and Applications(视觉信息与应用国家工程研究中心);Institute of Artificial Intelligence and Robotics(人工智能与机器人研究院);Xi’an Jiaotong University(西安交通大学)
PR-DETR通过向检测Transformer注入显式位置与关系先验,提升密集视频描述中事件定位精度与描述质量,在ActivityNet Captions和YouCook2上表现优异。
2025-06-19 cs.CV
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd(最佳视觉科技有限公司)
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说,我们用两阶段的方法解决这个问题,即,首先提出时间事件,然后生成句子。对于时间事件建议,我们直接利用[13,16]中的三阶段工作流。对于句子生成,我们利用基于LSTM的字幕框架与时间注意力机制(称为LSTM-T)。此外,基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面,我们采用了一种后期融合方案,将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity
South China University of Technology(华南理工大学)
本文提出 UniBrain,利用 Versatile Diffusion 将 fMRI 体素映射为文本与图像潜变量并结合 CLIP 条件引导扩散,首次统一实现脑活动图像重建与描述,且在 NSD 上取得最优表现。
2023-08-14 cs.AI cs.CV
Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020
School of Data and Computer Science, Sun Yat-sen University(中山大学数据与计算机学院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室)
本技术报告简要描述了我们提交的ActivityNet Challenge 2020密集视频描述任务。我们的方法遵循两个阶段的管道:首先,我们提取一组时间事件的建议,然后我们提出了一个多事件字幕模型,以捕获事件级的时间关系,并有效地融合多模态信息。我们的方法在测试集上获得了9.28的METEOR分数。
2020-08-12 cs.CV
Zero-Shot Dense Video Captioning by Jointly Optimizing Text and Moment
KAIST AI(韩国科学技术院人工智能研究院);Korea University(高丽大学);Twelve Labs
本文提出零样本密集视频字幕方法 ZeroTA,通过联合优化软时刻掩码与 GPT-2 前缀参数并结合 CLIP 和时间 IoU 损失,在无训练标注情况下定位并描述多个视频事件。
2023-07-11 cs.CL cs.CV
Brain Captioning: Decoding human brain activity into images and text
University of Rome Tor Vergata(罗马第二大学);CNRS(法国国家科学研究中心);Universite de Toulouse(图卢兹大学);ANITI(图卢兹人工智能与自然智能研究所);Martinos Center For Biomedical Imaging(马丁诺斯生物医学成像中心);MGH(麻省总医院);Harvard Medical School(哈佛医学院)
本研究提出一种利用 GIT 和 latent diffusion models 将 fMRI 大脑活动解码为图像与文本的创新方法,在 Natural Scenes Dataset 上表现优于现有方法,显著推进了脑解码研究。
2023-05-19 cs.AI cs.CV
Video Moment Localization using Object Evidence and Reverse Captioning
Simon Fraser University(西蒙弗雷泽大学)
我们解决的问题,基于语言的时间定位的时刻在未修剪的视频。与固定类别的时间本地化相比,这个问题更具挑战性,因为基于语言的查询没有预定义的活动类,也可能包含复杂的描述。当前最先进的模型MAC通过从视频和语言模态中挖掘活动概念来解决这个问题。该方法对来自语言查询中的动词/对象对的语义活动概念进行编码,并利用来自视频活动分类预测分数的视觉活动概念。我们提出了“多方面的VideoMoment定位器”(MML),MAC模型的扩展,通过引入视觉对象的证据,通过对象分割掩模和视频理解功能,通过视频描述。此外,我们还改进了句子嵌入中的语言建模。我们在Charades-STA数据集上进行了实验,发现MML在R@1和R@5指标上分别比MAC基线高出4.93%和1.70%。我们的代码和预训练模型可在https://github.com/madhawav/MML上公开获取。
2020-06-18 cs.CV cs.MM
Captioning Daily Activity Images in Early Childhood Education: Benchmark and Algorithm
School of Robotics, Beijing Union University(北京联合大学机器人学院);College of Computer and Cyber Security, Hebei Normal University(河北师范大学计算机与网络安全学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);National Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);PeopleAI, Inc.(人民人工智能公司);People Youhe Education Technology Co., Ltd.(人民优和教育科技有限公司)
本文提出ECAC基准和RSRS算法,通过专家标注和细粒度标签提升早期教育图像描述的专业性,实验显示KinderMM-Cap-3B在TTS上表现优异。
2026-04-02 cs.AI cs.CV
OmniNet: A unified architecture for multi-modal multi-task learning
IBM Cloud(IBM云);IBM Research(IBM研究院);University of Amsterdam(阿姆斯特丹大学)
Transformer是一种广泛使用的神经网络结构,特别适用于语言理解。我们引入了一个扩展和统一的架构,可用于涉及各种形式的任务,如图像,文本,视频等,我们提出了一个时空缓存机制,使学习空间维度的输入除了隐藏状态对应的时间输入序列。所提出的架构进一步使单个模型能够支持具有多种输入方式的任务以及异步多任务学习,因此我们将其称为OmniNet。例如,OmniNet的单个实例可以同时学习执行词性标记、图像描述、视觉问答和视频活动识别等任务。我们证明了,与单独训练这四个任务相比,一起训练这四个任务会导致大约三倍的压缩模型,同时保持性能。我们还表明,使用这种神经网络在某些模式上进行预训练有助于学习看不见的任务,如视频描述和视频问答。这说明了OmniNet中时空缓存上的自注意机制的泛化能力。
2020-07-03 cs.CL cs.CV cs.LG
Dense-Captioning Events in Videos
Stanford University(斯坦福大学)
大多数自然视频包含许多事件。例如,在一个“一个人在弹钢琴”的视频中,该视频还可能包含“另一个人在跳舞”或“一群人在鼓掌”。我们介绍了密集字幕事件的任务,这涉及到检测和描述视频中的事件。我们提出了一个新的模型,能够识别所有事件在一个单一的视频通过,同时描述检测到的事件与自然语言。我们的模型引入了一个现有提案模块的变体,该模块旨在捕获跨越几分钟的短事件和长事件。为了捕获视频中事件之间的依赖关系,我们的模型引入了一个新的字幕模块,该模块使用来自过去和未来事件的上下文信息来共同描述所有事件。我们还介绍了ActivityNet Captions,这是密集字幕事件的大规模基准。ActivityNet Captions包含20k个视频,总计849个视频小时,100k个描述,每个描述都有其独特的开始和结束时间。最后,我们报告我们的模型的密集字幕事件,视频检索和定位的性能。
2017-05-02 cs.CV
VidBridge-R1: Bridging QA and Captioning for RL-based Video Understanding Models with Intermediate Proxy Tasks
New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所模式识别实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Peking University(北京大学);Nanjing University(南京大学)
针对强化学习视频模型在问答与字幕任务上难以兼顾的问题,提出基于DarkEventInfer和MixVidQA两个中间代理任务的训练框架VidBridge-R1,使单一模型在两类任务上均获显著性能提升。
2025-09-26 cs.AI cs.CV
RUC+CMU: System Report for Dense Captioning Events in Videos
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学)
这篇笔记本论文介绍了我们的系统在视频中的ActivityNet密集字幕任务(任务3)。时间建议生成和字幕生成都是密集字幕任务的重要组成部分。因此,我们提出了一个提案排名模型,采用一组有效的特征表示来生成提案,并集成一系列用上下文信息增强的字幕模型,以根据预测的提案稳健地生成字幕。我们的方法在密集视频描述任务上达到了最先进的性能,在挑战测试集上的METEOR得分为8.529。
2018-06-22 cs.CV
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
为视频生成多句描述是最具挑战性的字幕任务之一,因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标,我们提出了一种新的方法,称为内存增强的循环Transformer(MART),它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态,以便帮助更好地预测下一个句子(w.r.t.共指和重复方面),从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明,与基线方法相比,MART生成的段落标题更连贯,重复性更低,同时保持了与输入视频事件的相关性。所有代码都是开源的,网址是:https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University(杭州电子科技大学);Baidu Inc.(百度公司);Zhejiang International Studies University(浙江外国语学院)
提出了一种无需事件句标注的密集视频描述(DVC)方法。首先,我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后,我们将通常应用于跨模态检索任务的对比损失和循环一致性损失,以建立建议和句子之间的语义匹配,最终用于训练字幕生成模块。此外,匹配模块的参数通过预训练的基础上标注的图像进行初始化,以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明,基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义,并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Watch, Listen and Tell: Multi-modal Weakly Supervised Dense Event Captioning
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
多模态学习,特别是在成像和语言模态中,在许多高层次的基本视觉理解问题上取得了惊人的进步,从语言基础到密集的事件字幕。然而,大部分的研究已被限制到的方法,要么不考虑对应于视频的音频在所有,或那些模型的视听相关性服务的声音或声源定位。在本文中,我们提出的证据,音频信号可以携带惊人的信息量,当涉及到高层次的视觉语言任务。具体来说,我们专注于视频中弱监督密集事件字幕的问题,并表明音频本身几乎可以媲美最先进的视觉模型的性能,并与视频相结合,可以提高最先进的性能。在ActivityNet Captions数据集上进行的大量实验表明,我们提出的多模态方法优于最先进的单峰方法,并验证了特定的特征表示和架构设计选择。
2019-10-25 cs.CV