D3Net: A Unified Speaker-Listener Architecture for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
最近关于3D中密集字幕和视觉基础的研究取得了令人印象深刻的结果。尽管这两个领域都有发展，但可用的3D视觉语言数据量有限，导致3D视觉基础和3D密集字幕方法的过拟合问题。此外，如何区分描述复杂的三维环境中的对象还没有得到充分的研究。为了解决这些挑战，我们提出了D3 Net，这是一种端到端的神经说话者-听者架构，可以检测，描述和区分。我们的D3 Net以自我批判的方式将密集的字幕和视觉基础统一在3D中。D3 Net的这种自我批判特性还在对象标题生成过程中引入了可辨别性，并支持对具有部分注释描述的ScanNet数据进行半监督训练。我们的方法在ScanRefer数据集上的两项任务中均优于SOTA方法，大大超过了SOTA 3D密集字幕方法。
2022-07-22 cs.CV
Weakly Supervised Dense Event Captioning in Videos
Tsinghua University（清华大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；Tencent AI Lab（腾讯人工智能实验室）
密集事件字幕旨在检测和描述视频中包含的所有感兴趣的事件。尽管在这一领域的先进发展，现有的方法解决这个任务，利用密集的时间注释，这是显着的源消耗。本文提出了一个新的问题：弱监督密集事件字幕，它不需要时间段的模型训练注释。我们的解决方案是基于一一对应的假设，每个标题描述一个时间段，每个时间段有一个标题，这在当前的基准数据集和大多数现实世界的情况下。我们将问题分解为一对对偶问题：事件字幕和句子定位，并提出了一个循环系统来训练我们的模型。大量的实验结果证明了我们的模型在密集事件字幕和句子定位视频的能力。
2018-12-10 cs.CV
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd（最佳视觉科技有限公司）
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说，我们用两阶段的方法解决这个问题，即，首先提出时间事件，然后生成句子。对于时间事件建议，我们直接利用[13，16]中的三阶段工作流。对于句子生成，我们利用基于LSTM的字幕框架与时间注意力机制（称为LSTM-T）。此外，基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面，我们采用了一种后期融合方案，将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。
2022-08-15 cs.CV
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China（中国人民大学）
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中，我们提出了一种新的和简单的事件序列生成模型，并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成，并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明，该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕，我们遵循我们以前的工作，采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能，在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute（OPPO研究院）；Tongji University（同济大学）
本研究针对Soccernet数据集的密集视频字幕任务，采用Blip框架生成足球动作字幕，结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位，完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Meta AI；Simon Fraser University（西蒙菲莎大学）
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而，尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来，但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中，我们提出了UniT 3D，一个简单而有效的完全统一的基于变压器的架构，共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案，可以在两个任务中学习强大的多模态表示。通过通用架构设计，UniT 3D允许将预训练范围扩展到更多不同的训练源，例如来自2D先验知识的合成数据，以利于3D视觉语言任务。大量的实验和分析表明，UniT 3D获得了显着的收益，为3D密集字幕和视觉接地。
2022-12-01 cs.CV
Dense-Captioning Events in Videos
Stanford University（斯坦福大学）
大多数自然视频包含许多事件。例如，在一个“一个人在弹钢琴”的视频中，该视频还可能包含“另一个人在跳舞”或“一群人在鼓掌”。我们介绍了密集字幕事件的任务，这涉及到检测和描述视频中的事件。我们提出了一个新的模型，能够识别所有事件在一个单一的视频通过，同时描述检测到的事件与自然语言。我们的模型引入了一个现有提案模块的变体，该模块旨在捕获跨越几分钟的短事件和长事件。为了捕获视频中事件之间的依赖关系，我们的模型引入了一个新的字幕模块，该模块使用来自过去和未来事件的上下文信息来共同描述所有事件。我们还介绍了ActivityNet Captions，这是密集字幕事件的大规模基准。ActivityNet Captions包含20k个视频，总计849个视频小时，100k个描述，每个描述都有其独特的开始和结束时间。最后，我们报告我们的模型的密集字幕事件，视频检索和定位的性能。
2017-05-02 cs.CV
Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020
School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）
本技术报告简要描述了我们提交的ActivityNet Challenge 2020密集视频描述任务。我们的方法遵循两个阶段的管道：首先，我们提取一组时间事件的建议，然后我们提出了一个多事件字幕模型，以捕获事件级的时间关系，并有效地融合多模态信息。我们的方法在测试集上获得了9.28的METEOR分数。
2020-08-12 cs.CV
Streamlined Dense Video Captioning
POSTECH（浦项科技大学）；Seoul National University（首尔大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Wormpex AI Research（Wormpex人工智能研究院）；Amazon Go
密集的视频描述是一项极具挑战性的任务，因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案，然后在提案的子集上加字幕来处理这个问题。因此，生成的句子往往是冗余的或不一致的，因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战，我们提出了一种新的密集视频描述框架，该框架明确地对视频中事件的时间依赖性进行建模，并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的：1）集成事件序列生成网络以自适应地选择事件提议序列，以及2）将事件提议序列馈送到我们的顺序视频描述网络，该网络通过强化学习进行训练，在事件和情节级别上具有两级奖励，以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
CapDet: Unifying Dense Captioning and Open-World Detection Pretraining
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
得益于大规模的视觉语言预训练，开放世界检测方法在zero-shot或Few-Shot检测环境下表现出了优越的泛化能力。然而，一个预定义的类别空间仍然需要在现有的方法的推理阶段，只有属于该空间的对象将被预测。为了介绍一个“真正的”开放世界检测器，在本文中，我们提出了一种新的方法，名为CapDet，要么预测下一个给定的类别列表或直接生成预测的边界框的类别。具体来说，我们统一的开放世界检测和密集字幕任务到一个单一而有效的框架，通过引入一个额外的密集字幕头生成区域接地字幕。此外，添加字幕任务将反过来有利于检测性能的泛化，因为字幕数据集涵盖更多的概念。实验结果表明，通过统一密集字幕任务，我们的CapDet获得了显着的性能改善（例如，+2.1%mAP（LVIS罕见类别），超过LVIS基线方法（1203个类别）。此外，我们的CapDet还在密集字幕任务上实现了最先进的性能，例如，VG V1.2上的mAP为15.44%，VG-COCO数据集上的mAP为13.98%。
2023-03-15 cs.CV
Jointly Localizing and Describing Events for Dense Video Captioning
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）
用自然语言自动描述视频被认为是计算机视觉的一个基本挑战。然而，这个问题并不是微不足道的，特别是当视频包含多个值得一提的事件时，这在真实视频中经常发生。一个有效的问题是如何在时间上定位然后描述事件，这被称为“密集视频描述”。“在本文中，我们提出了一种新的密集视频描述框架，通过端到端的方式联合训练它们，将时间事件提案的本地化和每个提案的句子生成统一起来。为了结合这两个世界，我们集成了一个新的设计，即重复性回归，到一个Single Shot检测结构，通过句子生成来推断每个检测到的建议的描述性复杂度。这进而调整每个事件提议的时间位置。我们的模型不同于现有的密集的视频描述方法，因为我们提出了一个联合和全局优化的检测和字幕，和框架独特地利用属性增强的视频描述架构。在ActivityNet Captions数据集上进行了广泛的实验，与最先进的技术相比，我们的框架显示出明显的改进。更值得注意的是，我们获得了一个新的记录：在ActivityNet Captions官方测试集上的METEOR为12.96%。
2018-04-23 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu（百度ERNIE团队）；College of Artificial Intelligence, Inner Mongolia University（内蒙古大学人工智能学院）
提出CodecCap框架，通过关键帧和残差字幕模拟视频编解码器，在保持细粒度视觉证据的同时减少冗余，并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University（翰阳大学）
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题，提出Sali4Vid框架，通过显著性感知视频重加权和自适应字幕检索优化任务效果，在两个基准上达SOTA。
2025-09-04 cs.CV
Weakly Supervised Dense Video Captioning
Intel Labs China（英特尔中国研究院）；Fudan University（复旦大学）
本文研究了一种新颖而具有挑战性的视觉任务--密集视频描述，其目的是用多个信息丰富且多样化的字幕语句自动描述视频片段。该方法在训练时不需要细粒度句子与视频区域序列对应关系的显式注释，而是仅基于弱视频级句子注释。它在三个技术方面不同于现有的视频描述系统。首先，我们提出了词汇全卷积神经网络（Lexical-FCN）与弱监督多实例多标签学习弱链接视频区域与词汇标签。其次，我们引入了一种新的子模最大化方案，以产生多个信息和不同的区域序列的基础上的词汇-FCN输出。在训练阶段，采用赢者通吃的策略将句子与区域序列进行弱关联。第三，序列到序列的学习为基础的语言模型的弱监督信息，通过关联过程中得到的训练。我们表明，该方法不仅可以产生信息丰富和多样化的密集字幕，但也优于国家的最先进的单一视频描述方法的大幅度。
2017-04-05 cs.CV
Streaming Dense Video Captioning
Google（谷歌公司）
本文提出流式密集视频字幕生成模型，通过固定大小聚类记忆模块和流式解码算法，实现处理任意长视频并提前输出预测，在ActivityNet、YouCook2和ViTT三个基准上显著超越现有最先进方法。
2024-04-01 cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题，提出融合外部记忆先验知识的跨模态记忆检索框架，无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
CapOnImage: Context-driven Dense-Captioning on Image
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）
现有的图像描述系统专用于生成图像的叙事字幕，其在呈现中与图像空间分离。但是，文字也可以作为图像上的装饰，突出重点，增加图像的吸引力。在这项工作中，我们引入了一个新的任务，称为图像上的字幕（CapOnImage），其目的是根据上下文信息在图像的不同位置生成密集的字幕。为了充分利用周围的视觉上下文来为每个位置生成最合适的字幕，我们提出了一个多模态预训练模型，该模型具有多层次的预训练任务，从容易到困难逐步学习文本和图像位置之间的对应关系。由于该模型可能会为附近的位置生成冗余的字幕，我们进一步增强了与相邻位置作为上下文的位置嵌入。对于这个新任务，我们还引入了一个名为CapOnImage2M的大规模基准测试，其中包含210万个产品图像，每个图像平均具有4.8个空间本地化标题。与其他图像描述模型变体相比，我们的模型在字幕准确性和多样性方面都取得了最好的结果。我们将公开代码和数据集，以方便未来的研究。
2022-04-27 cs.CV
Watch, Listen and Tell: Multi-modal Weakly Supervised Dense Event Captioning
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
多模态学习，特别是在成像和语言模态中，在许多高层次的基本视觉理解问题上取得了惊人的进步，从语言基础到密集的事件字幕。然而，大部分的研究已被限制到的方法，要么不考虑对应于视频的音频在所有，或那些模型的视听相关性服务的声音或声源定位。在本文中，我们提出的证据，音频信号可以携带惊人的信息量，当涉及到高层次的视觉语言任务。具体来说，我们专注于视频中弱监督密集事件字幕的问题，并表明音频本身几乎可以媲美最先进的视觉模型的性能，并与视频相结合，可以提高最先进的性能。在ActivityNet Captions数据集上进行的大量实验表明，我们提出的多模态方法优于最先进的单峰方法，并验证了特定的特征表示和架构设计选择。
2019-10-25 cs.CV
Enhancing Traffic Safety with Parallel Dense Video Captioning for End-to-End Event Analysis
University of Central Florida（中佛罗里达大学）；North Dakota State University（北达科他州立大学）
本研究针对2024年AI City挑战赛交通安全分析任务，基于PDVC框架结合CLIP特征、领域适配与知识迁移优化密集视频字幕，在WTS数据集测试集上获竞赛第6名。
2024-04-12 cs.CV
Exploring Temporal Event Cues for Dense Video Captioning in Cyclic Co-learning
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China（中国教育部可持续城市智能交通工程研究中心）
本文提出多概念循环学习（MCCL）网络，通过帧级概念检测提供时间事件线索，并设计生成器与定位器间的循环共学习，在ActivityNet Captions和YouCook2上取得最先进性能。
2024-12-16 cs.CV
Spatiality-guided Transformer for 3D Dense Captioning on Point Clouds
University of Sydney（悉尼大学）
3D点云中的密集字幕是一项新兴的视觉和语言任务，涉及对象级3D场景理解。除了传统3D目标检测中的粗略语义类预测和限界框回归之外，3D密集字幕旨在为每个感兴趣的场景对象产生关于视觉外观和空间关系的自然语言描述的更进一步和更精细的实例级标签。为了检测和描述场景中的对象，遵循神经机器翻译的精神，我们提出了一种基于转换器的编码器-解码器架构，即SpaCap 3D，将对象转换为描述，其中，我们特别研究了3D场景中对象的相对空间性，并通过令牌到令牌空间关系学习目标和以对象为中心的解码器设计了空间性引导的编码器，以实现精确和空间性。增强的对象标题生成。在两个基准数据集ScanRefer和ReferIt 3D上进行评估，我们提出的SpaCap 3D在CIDEr@0.5IoU上分别比基线方法Scan 2Cap高出4.94%和9.61%。包含源代码和补充文件的项目页面可在https://SpaCap3D.github.io/上找到。
2022-04-22 cs.CV
PaveCap: The First Multimodal Framework for Comprehensive Pavement Condition Assessment with Dense Captioning and PCI Estimation
North Dakota State University（北达科他州立大学）；Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
本文提出PaveCap多模态框架，结合YOLOv8、SAM与Transformer实现路面PCI定量预测和稠密定性描述，并构建标注数据集验证其在自动化路面评估与维护决策中的有效性。
2024-08-07 cs.CV
Time-Scaling State-Space Models for Dense Video Captioning
Google Deepmind（谷歌DeepMind）
针对密集视频字幕生成中长视频处理的计算、内存限制及无法在线处理的问题，提出带转移状态的SSM方法，提升其长上下文状态维持能力，可在线生成字幕，适配长视频且FLOPs降低至1/7。
2025-09-03 cs.CV
Efficient DETR: Improving End-to-End Object Detector with Dense Prior
Megvii Technology（旷视科技）
最近提出的端到端的Transformer检测器，如DETR和Deformable DETR，具有堆叠6个解码器层的级联结构来迭代地更新对象查询，如果没有这种结构，它们的性能会严重下降。在本文中，我们调查的对象容器，其中包括对象查询和参考点的随机初始化，主要负责多次迭代的要求。基于我们的研究结果，我们提出了高效的DETR，一个简单而有效的管道端到端的目标检测。Efficient DETR同时利用稠密检测和稀疏检测的优势，利用稠密优先初始化对象容器，弥补了1-decoder结构和6-decoder结构的不足。在MS COCO上进行的实验表明，我们的方法，只有3个编码器层和1个解码器层，达到竞争力的性能与国家的最先进的目标检测方法。高效的DETR在拥挤的场景中也是健壮的。它在CrowdHuman数据集上的表现远远优于现代检测器。
2021-04-03 cs.CV
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University（杭州电子科技大学）；Baidu Inc.（百度公司）；Zhejiang International Studies University（浙江外国语学院）
提出了一种无需事件句标注的密集视频描述（DVC）方法。首先，我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后，我们将通常应用于跨模态检索任务的对比损失和循环一致性损失，以建立建议和句子之间的语义匹配，最终用于训练字幕生成模块。此外，匹配模块的参数通过预训练的基础上标注的图像进行初始化，以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明，基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义，并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
HiCM$^2$: Hierarchical Compact Memory Modeling for Dense Video Captioning
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））
针对密集视频描述任务，提出受人类认知启发的层次化紧凑记忆模型，通过记忆事件聚类与大语言模型总结构建高效层次化记忆及读取模块，在YouCook2和ViTT数据集上达到最先进性能。
2024-12-19 cs.CV
A Comprehensive Survey of 3D Dense Captioning: Localizing and Describing Objects in 3D Scenes
Hangzhou Normal University（杭州师范大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文是首篇3D密集字幕生成领域的全面综述，梳理了任务定义、模型分类、数据集、评估指标等内容，提炼通用范式，提出未来研究方向，为该领域发展提供参考。
2024-03-12 cs.CV
Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction
针对现有密集视频字幕方法隐式建模无法捕捉时间连贯性与完整语义的问题，本文提出显式时空语义建模框架CACMI，通过两个核心模块融合时序与语义信息，在两个基准数据集上取得SOTA性能。
2025-11-13 cs.CV
BFMD: A Full-Match Badminton Dense Dataset for Dense Shot Captioning
Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）
本文提出BFMD数据集，包含19场完整比赛，提供密集多模态标注，采用VideoMAE框架结合语义反馈机制提升击球标注质量。
2026-03-26 cs.CV
RT-DETRv3: Real-time End-to-End Object Detection with Hierarchical Dense Positive Supervision
Baidu Inc（百度公司）
RT-DETRv3通过引入CNN辅助分支、自注意力扰动策略和共享权重解码器分支，提供分层密集正监督，有效解决了RT-DETR因稀疏监督导致的训练不充分问题，显著提升了实时目标检测性能。
2024-12-19 cs.CV
Dense Video Captioning Using Unsupervised Semantic Information
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）；Pontifical Catholic University of Paraná（巴拉那天主教大学）；University of Campinas（坎皮纳斯大学）
本文提出无监督语义视觉表示，通过聚类构建视觉码本并编码条目共现概率，在仅用视觉特征的密集视频描述中达到最先进性能。
2025-01-06 cs.CV
End-to-End Dense Video Captioning with Parallel Decoding
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
密集视频描述旨在从视频中生成具有其时间位置的多个相关联的字幕。以前的方法遵循复杂的“本地化然后描述”方案，该方案严重依赖于大量手工制作的组件。在本文中，我们提出了一个简单而有效的框架，端到端的密集视频描述与并行解码（PDVC），制定密集字幕生成作为一组预测任务。在实践中，通过在Transformer解码器的顶部堆叠新提出的事件计数器，PDVC在对视频内容的整体理解下精确地将视频分割成多个事件片段，这有效地增加了预测字幕的连贯性和可读性。与现有技术相比，PDVC具有几个吸引人的优点：（1）不依赖于启发式非最大值抑制或递归事件序列选择网络来去除冗余，PDVC直接产生具有适当大小的事件集;（2）与采用两阶段方案不同，我们将增强的事件查询表示并行馈送到本地化头和标题头中，（3）在ActivityNet Captions和YouCook 2上进行的大量实验表明，PDVC能够产生高质量的字幕结果，在定位精度与两阶段方法相当的情况下，其效果优于两阶段方法。代码可在https://github.com/ttengwang/PDVC上获得。
2021-11-17 cs.CV
Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning
The University of Tokyo（东京大学）
使用卷积神经网络（CNN）从图像中提取特征并使用递归神经网络（RNN）生成字幕的工作流程已经成为图像描述任务的事实标准。然而，由于CNN特征最初是为分类任务而设计的，因此它主要关注图像的主要显著元素，并且通常无法正确地传达关于局部次要元素的信息。我们建议将编码与局部聚集描述符（VLAD）的空间金字塔的子区域的CNN功能，以产生图像表示，更好地反映图像的局部信息。我们的研究结果表明，我们的紧凑VLAD编码方法可以匹配CNN功能，只有3%的维度，当与空间金字塔相结合时，它会导致图像字幕，更准确地考虑到本地元素。
2016-03-30 cs.CV
Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
Konkuk University（韩国康 kuk 大学）；Sejong University（世宗大学）；KAIST（韩国科学技术院）
本文提出角色特定查询与重叠抑制损失，用于解决密集视频描述中的多任务干扰和时间冗余问题，通过分离定位与描述任务并增强语义一致性，提升描述精度。
2026-03-12 cs.CV
Context and Attribute Grounded Dense Captioning
University of Science and Technology of China（中国科学技术大学）；College of Software, Beihang University（北京航空航天大学软件学院）；SenseTime Research（商汤科技研究院）；The Chinese Academy of Sciences（中国科学院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；The Chinese University of Hong Kong（香港中文大学）；Key Laboratory of Electromagnetic Space Information（电磁空间信息重点实验室）
密集字幕旨在同时定位语义区域并使用自然语言中的短语或句子描述这些感兴趣区域（ROI）。以前的研究已经取得了显着的进展，但他们往往容易受到光圈问题，一个ROI内的功能生成的字幕缺乏上下文的连贯性与其周围的背景下，在输入图像。在这项工作中，我们研究的上下文推理的基础上，从邻近的内容到目标ROI的多尺度消息传播。为此，我们设计了一个新的端到端的上下文和属性接地密集字幕框架，包括1）上下文视觉挖掘模块和2）多层次属性接地描述生成模块。知道字幕经常与语言属性（如谁，什么和在哪里）共同出现，我们还将从分层语言属性的辅助监督，以增强学习字幕的独特性。在Visual Genome数据集上进行的大量实验和消融研究表明，与最先进的方法相比，所提出的模型具有优越性。
2019-04-02 cs.CV
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们在这项工作中的目标是训练一个图像描述模型，生成更密集和信息量更大的字幕。我们介绍“关系字幕”，一种新的图像描述任务，其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架，是在多样性和信息量的优势，导致图像理解的基础上的关系。词性（POS，即主语-宾语-谓语类别）标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此，我们提出了一个多任务三流网络（MTTSNet），它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV
Contextual Modeling for 3D Dense Captioning on Point Clouds
National Space Science Center, Chinese Academy of Sciences（中国科学院国家空间科学中心）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）；Meituan（美团）
3D密集字幕作为一种新兴的视觉语言任务，其目的是从一组点云中识别和定位每个对象，并生成描述每个定位对象的独特的自然语言语句。然而，现有的方法主要集中在挖掘对象间的关系，而忽略了点云内部的上下文信息，特别是非对象细节和背景环境，从而导致描述质量不高，如相对位置信息不准确。在本文中，我们第一次尝试利用点云聚类功能作为上下文信息，以提供点云的非对象细节和背景环境，并将它们纳入到3D密集字幕任务。我们提出了两个独立的模块，即全球上下文建模（GCM）和本地上下文建模（LCM），在一个由粗到精的方式来执行点云的上下文建模。具体地说，GCM模块利用全局上下文信息捕捉所有对象之间的对象关系，以获得整个点云的更完整的场景信息。LCM模块利用目标对象的邻近对象和局部上下文信息的影响来丰富对象表示。通过这种全局和局部上下文建模策略，我们提出的模型可以有效地表征对象表示和上下文信息，从而生成全面和详细的描述所定位的对象。在ScanRefer和Nr3D数据集上的大量实验表明，该方法在3D密集字幕任务上创下了新的记录，并验证了我们提出的点云上下文建模的有效性。
2022-10-08 cs.CV
DenseCap: Fully Convolutional Localization Networks for Dense Captioning
Stanford University（斯坦福大学）
我们介绍了密集字幕任务，这需要一个计算机视觉系统来定位和描述显着的区域在图像中的自然语言。当描述由单个单词组成时，密集字幕任务概括目标检测，并且当一个预测区域覆盖整个图像时，概括图像描述。为了共同解决定位和描述任务，我们提出了一种全卷积定位网络（FCLN）架构，该架构通过单个高效的前向传递处理图像，不需要外部区域建议，并且可以通过单轮优化进行端到端训练。该体系结构由卷积网络、一个新的密集定位层和生成标签序列的递归神经网络语言模型组成。我们在Visual Genome数据集上评估了我们的网络，该数据集包括94，000张图像和4，100，000个区域接地标题。我们观察到的速度和准确性的改进基线的基础上，目前的最先进的方法在生成和检索设置。
2015-11-24 cs.CV cs.LG
End-to-end Dense Video Captioning as Sequence Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；Google Research（谷歌研究院）
密集视频描述旨在识别输入视频中感兴趣的事件，并为每个事件生成描述性字幕。以前的方法通常遵循两个阶段的生成过程，首先为每个事件提出一个片段，然后为每个识别的片段呈现一个标题。大规模序列生成预训练的最新进展在统一各种任务的任务制定方面取得了巨大成功，但到目前为止，更复杂的任务，如密集的视频描述还不能充分利用这种强大的范例。在这项工作中，我们展示了如何建模的两个子任务的密集视频描述联合作为一个序列生成任务，并同时预测的事件和相应的描述。YouCook2和ViTT上的实验显示了令人鼓舞的结果，并表明了训练复杂任务的可行性，例如集成到大规模预训练模型中的端到端密集视频描述。
2022-09-16 cs.CL cs.CV
Bi-directional Contextual Attention for 3D Dense Captioning
Seoul National University（首尔大学）；LG AI Research（LG AI研究院）；Diquest
针对3D密集描述任务中上下文信息局限与定位-描述目标矛盾问题，提出带双向上下文注意力的Transformer流水线BiCA，通过并行的实例与上下文查询实现双向感知，在两个主流数据集上性能显著优于现有方法。
2024-08-13 cs.CV
TOD3Cap: Towards 3D Dense Captioning in Outdoor Scenes
CASIA（中国科学院自动化研究所）；Li Auto AIR（理想汽车AIR研究院）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；HKUST（香港科技大学）；HKU（香港大学）
本文提出室外3D密集描述任务及TOD3Cap网络，通过BEV表示、Relation Q-Former与LLaMA-Adapter实现点云和图像下的对象定位与描述，并构建了最大规模的TOD3Cap数据集，性能显著超越基线。
2024-06-05 cs.CV
Dense Motion Captioning
University of Trento（特伦托大学）；LIGM, Ecole des Ponts, IP Paris, Univ Gustave Eiffel, CNRS（LIGM，巴黎国立理工学院，IP巴黎， Gustave Eiffel 大学，CNRS）
本文提出密集运动描述生成任务，构建首个大规模复杂运动数据集CompMo，并设计结合大语言模型与运动适配器的DEMO模型，显著提升了3D动作时间定位与描述生成性能。
2025-11-07 cs.CV
Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）
上下文推理对于理解未修剪的长视频中的事件至关重要。在这项工作中，我们系统地探讨了不同的字幕模型与各种背景下的密集字幕事件的视频任务，其目的是在未经修剪的视频中生成不同的事件的字幕。我们提出了五种类型的上下文以及两类事件字幕模型，并从准确性和多样性方面评估其对事件字幕的贡献。建议的字幕模型插入到我们的管道系统的密集视频描述的挑战。整个系统在视频任务中的密集字幕事件上达到了最先进的性能，在挑战测试集上的METEOR得分为9.91。
2019-07-11 cs.CL cs.CV cs.LG
X-Trans2Cap: Cross-Modal Knowledge Transfer using Transformer for 3D Dense Captioning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；The Future Network of Intelligence Institute（未来网络智能研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）
3D密集字幕旨在通过自然语言描述3D场景中的单个对象，其中3D场景通常表示为RGB-D扫描或点云。然而，仅利用单一模态信息，例如，点云，以前的方法不能产生忠实的描述。虽然将2D特征聚合到点云中可能是有益的，但它引入了额外的计算负担，特别是在推理阶段。在这项研究中，我们研究了跨模态知识转移使用Transformer的3D密集字幕，X-trans 2Cap，有效地提高性能的单模态3D字幕通过知识蒸馏使用师生框架。在实践中，在训练阶段，教师网络利用辅助2D模态，并通过特征一致性约束指导仅将点云作为输入的学生网络。由于设计良好的跨模态特征融合模块和训练阶段的特征对齐，X-Trans 2Cap可以轻松获取嵌入在2D图像中的丰富外观信息。因此，在推断期间，可以仅使用点云来生成更忠实的字幕。定性和定量结果证实，X-Trans 2Cap的性能大大优于先前的最先进技术，即，ScanRefer和Nr 3D数据集上的CIDEr绝对评分分别约为+21和约+16。
2022-04-06 cs.CV
Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
密集视频描述是一个新兴的任务，旨在定位和描述视频中的所有事件。我们确定并解决了这一任务的两个挑战，即（1）如何利用过去和未来的上下文进行准确的事件建议预测，以及（2）如何为解码器构建信息输入以生成自然事件描述。首先，以前的作品主要是在向前的方向上生成时间事件建议，这忽略了未来的视频上下文。我们提出了一个双向的建议方法，有效地利用过去和未来的情况下，使建议预测。第二，在（几乎）同一时间结束的不同事件在以前的作品中无法区分，导致相同的标题。我们通过用来自提议模块和视频内容的隐藏状态的精心融合来表示每个事件来解决这个问题（例如，C3D功能）。我们进一步提出了一种新的上下文门控机制，以平衡当前事件及其周围的上下文动态的贡献。我们的经验表明，我们用心融合的事件表示优于单独的建议隐藏状态或视频内容。通过将提案和字幕模块耦合到一个统一的框架中，我们的模型在ActivityNet Captions数据集上的表现优于最先进的技术，相对增益超过100%（Meteor得分从4.82增加到9.65）。
2018-04-03 cs.CV
Dense Video Object Captioning from Disjoint Supervision
Google DeepMind（谷歌DeepMind）
提出统一模型解决密集视频物体描述任务，通过分离监督混合训练策略利用多样化数据集，在多项指标上超越基线，并在空间定位任务上达到SOTA。
2024-10-14 cs.CV
Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning
本文提出STaRC框架，通过显著性检测模块监督帧级显著性，以提升密集视频描述中时间分割的准确性，实现更精确的检索和上下文相关的描述生成。
2026-03-13 cs.CV
Deep Interactive Region Segmentation and Captioning
随着最近在密集图像描述方面的创新，现在可以用一个标题来描述场景中的每个对象，而对象由边界框来确定。然而，由于存在许多重叠的边界框，对这样的输出的解释并不是微不足道的。此外，在当前的字幕框架中，用户不能涉及个人偏好以排除不感兴趣的区域。在本文中，我们提出了一种新的混合深度学习架构，用于交互式区域分割和字幕，其中用户能够指定应该处理的图像的任意区域。为此，一个专用的全卷积网络（FCN）命名为Lyncean FCN（LFCN）的训练使用我们的特殊训练数据隔离用户意图区域（UIR）作为一个有效的分割的输出。并行地，利用密集图像描述模型来为该区域提供各种各样的字幕。然后，将用最佳匹配限界框的标题来解释UIR。据我们所知，这是第一部提供如此全面输出的作品。我们的实验表明，所提出的方法的优越性超过国家的最先进的交互式分割方法在几个著名的数据集。此外，用交互式分割的结果替换边界框导致对密集图像描述输出的更好理解以及在并交（IoU）方面的目标检测的准确性增强。
2017-07-26 cs.CV
VidChain: Chain-of-Tasks with Metric-based Direct Preference Optimization for Dense Video Captioning
Korea University（高丽大学）
针对视频大语言模型在密集视频描述任务中推理能力未充分发挥、训练目标与评估指标不对齐的问题，提出由任务链和基于度量的直接偏好优化组成的VidChain框架，有效提升细粒度视频理解性能。
2025-01-12 cs.CV
CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Alibaba Cloud（阿里云）；The Chinese University of Hong Kong（香港中文大学）
提出CapRL++框架，利用可验证奖励的强化学习（RLVR）优化多模态描述生成，通过非视觉语言模型回答问题的准确性作为奖励，提升密集描述质量，在20多个基准上超越传统监督微调。
2026-06-08 cs.CV
ComiCap: A VLMs pipeline for dense captioning of Comic Panels
Computer Vision Center（计算机视觉中心）；UAB（巴塞罗那自治大学）；MICC, University of Florence（佛罗伦萨大学MICC实验室）
提出一种利用视觉语言模型的漫画画格密集描述流水线，通过属性保留指标和密集标注测试集评估选择最佳模型，无需额外训练即可生成优于专门训练模型的带边界框描述，并已标注超200万个画格。
2024-09-24 cs.CV
See It All: Contextualized Late Aggregation for 3D Dense Captioning
Seoul National University（首尔大学）；Diquest；LG AI Research（LG人工智能研究院）
针对3D密集描述中单个查询需同时关注物体区域与上下文的目标冲突问题，提出采用晚期聚合范式的SIA方法，通过双查询解码与新型聚合器生成上下文感知描述，在主流数据集上实现显著性能提升。
2024-08-14 cs.CL cs.CV
