Multi-Modal interpretable automatic video captioning
École Supérieure des Techniques Aéronautiques et de Construction Automobile (ESTACA)（高等航空与汽车制造技术学院（ESTACA））；Télécom SudParis（南巴黎电信学院）
提出一种基于多模态对比损失的视频字幕生成方法，融合音频与视觉信息并利用多种注意力机制提升可解释性，在 MSR-VTT 和 VATEX 数据集上优于现有模型。
2024-11-11 cs.AI cs.CV
GCS-M3VLT: Guided Context Self-Attention based Multi-modal Medical Vision Language Transformer for Retinal Image Captioning
Georgia State University（佐治亚州立大学）
针对有限标注数据下视网膜图像描述的挑战，提出基于引导上下文自注意力机制的多模态视觉语言模型GCS-M3VLT，有效融合视觉与文本特征，在DeepEyeNet数据集上实现BLEU@4提升0.023。
2024-12-23 cs.CV cs.LG eess.IV
Multi-modal Dense Video Captioning
Tampere University（坦佩雷大学）
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述（字幕）的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而，音频，特别是语音，是人类观察者理解环境的重要线索。在本文中，我们提出了一种新的密集的视频描述方法，能够利用任何数量的事件描述的方式。具体来说，我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别（ASR）系统来获得语音的时间对齐的文本描述（类似于字幕），并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题，并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明，相当大的贡献，从音频和语音组件，这表明这些方式包含大量的补充信息，视频帧。此外，我们通过利用从原始YouTube视频中获得的类别标签，对ActivityNet Caption结果进行了深入分析。代码公开：github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务，视频描述的目的是产生描述的视频数据。近年来，基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中，注意力权重往往是根据单个通道的信息建立的，而忽略了多个通道之间的关联关系。基于此，本文提出了一种基于高阶跨模态注意（HOCA）的视频描述模型，该模型基于高阶相关张量计算注意权值，以充分捕捉不同模态之间的帧级跨模态交互。此外，我们新颖地引入了低秩HOCA，它采用张量分解，以减少非常大的空间需求的HOCA，导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明，低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
Stacked Cross-modal Feature Consolidation Attention Networks for Image Captioning
Shahid Beheshti University（沙希德·贝赫什提大学）
针对图像描述中视觉到文本直接转换难以生成细粒度描述的问题，提出SCFC注意力网络与SCFC-LSTM，通过多步复合融合空间信息和CAA，并在MSCOCO、Flickr30K上优于现有方法。
2023-02-08 cs.CV eess.IV
XGPT: Cross-modal Generative Pre-Training for Image Captioning
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
虽然许多基于BERT的跨模态预训练模型在图像-文本检索和VQA等下游理解任务中产生了出色的结果，但它们不能直接应用于生成任务。在本文中，我们提出了XGPT，一种新的跨模态生成预训练方法的图像描述，旨在通过三个新的生成任务，包括图像条件掩蔽语言建模（IMLM），图像条件去噪自动编码（IDA），和文本条件图像特征生成（TIFG）的文本到图像的字幕生成器进行预训练。因此，预先训练的XGPT可以在没有任何特定于任务的架构修改的情况下进行微调，以创建用于图像描述的最先进的模型。实验表明，XGPT在COCO Captions和Flickr 30 k Captions等基准数据集上获得了新的最新结果。我们还使用XGPT生成新的图像标题作为图像检索任务的数据增强，并在所有召回指标上实现了显着的改善。
2020-03-04 cs.CL cs.CV cs.LG
Beyond a Pre-Trained Object Detector: Cross-Modal Textual and Visual Context for Image Captioning
Georgia Tech（佐治亚理工学院）
视觉字幕已经取得了重大进展，主要依赖于预先训练的特征和后来的固定对象检测器，这些检测器作为自回归模型的丰富输入。然而，这种方法的一个关键限制是模型的输出仅取决于对象检测器的输出。假设这样的输出可以代表所有必要的信息是不现实的，特别是当检测器跨数据集传输时。在这项工作中，我们的原因，由这个假设引起的图形模型，并建议添加一个辅助输入来表示丢失的信息，如对象关系。我们特别建议从Visual Genome数据集中挖掘属性和关系，并根据它们来调整字幕模型。至关重要的是，我们提出（并证明是重要的）使用多模态预训练模型（CLIP）来检索这样的上下文描述。此外，对象检测器模型被冻结，并且不具有足够的丰富性以允许字幕模型适当地使它们接地。因此，我们建议条件的检测器和描述输出的图像，并定性和定量地表明，这可以改善接地。我们在图像描述上验证了我们的方法，对预训练的多模态模型的每个组件和重要性进行了彻底的分析，并证明了与当前技术水平相比的显着改进，特别是CIDER +7.5%和BLEU-4指标+1.3%。
2022-06-08 cs.AI cs.CV cs.LG
From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping
School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息技术学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对CLIP难以用于生成任务且存在模态差距的问题，提出K近邻跨模态映射（Knight）零样本方法，通过纯文本无监督训练实现图像和视频字幕生成，达到最先进性能。
2023-05-08 cs.CL cs.CV cs.LG
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP（对比存储-图像预训练）在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而，它在跨模态生成任务，如zero-shot图像描述的性能仍然不令人满意。在这项工作中，我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态，在很大程度上忽略了视觉信息，我们称之为\emph{contextual language prior}。为了解决这个问题，我们提出了跨模态语言模型（CLM），以促进无监督的跨模态学习。我们进一步提出了锚增强，以指导生成模型的注意力，在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Exploring and Distilling Cross-Modal Information for Image Captioning
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
近来，基于注意力的编码器-解码器模型已经广泛地用于图像描述中。然而，目前的方法仍然存在很大的困难，以实现深的图像理解。在这项工作中，我们认为，这种理解需要视觉上的关注相关的图像区域和语义关注感兴趣的连贯属性。基于Transformer模型，从跨模态的角度对图像描述进行了研究，提出了全局和局部信息挖掘与提取方法，对视觉和语言中的源信息进行挖掘和提取，以实现有效的注意。它通过提取显著区域分组和属性搭配，全局地提供基于字幕上下文的图像的空间和关系表示的方面向量，并参考方面向量局部地提取细粒度的区域和属性用于词选择。我们的基于Transformer的模型在COCO测试集上的离线COCO评估中获得了129.3的CIDER分数，在准确性，速度和参数预算方面具有显着的效率。
2020-03-15 cs.CL cs.CV cs.LG
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此，基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中，文本输入，例如，专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此，有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中，提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示，文本特征强化，和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明，与现有方法相比，该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而，在不同粒度的多模态的时间结构很少探索，如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中，我们提出了一种新的层次对齐的跨模态注意力（HACA）框架学习和选择性地融合不同模态的全局和局部时间动态。此外，我们首次验证了深度音频特征在视频描述任务上的优越性能。最后，我们的HACA模型显著优于以前的最佳系统，并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore（新加坡国立大学）
本文提出Cross2StrA模型，利用场景图和句法成分树作为枢轴结构，结合跨模态语义对齐、跨语言句法对齐及回译训练，显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
Watch, Listen and Tell: Multi-modal Weakly Supervised Dense Event Captioning
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
多模态学习，特别是在成像和语言模态中，在许多高层次的基本视觉理解问题上取得了惊人的进步，从语言基础到密集的事件字幕。然而，大部分的研究已被限制到的方法，要么不考虑对应于视频的音频在所有，或那些模型的视听相关性服务的声音或声源定位。在本文中，我们提出的证据，音频信号可以携带惊人的信息量，当涉及到高层次的视觉语言任务。具体来说，我们专注于视频中弱监督密集事件字幕的问题，并表明音频本身几乎可以媲美最先进的视觉模型的性能，并与视频相结合，可以提高最先进的性能。在ActivityNet Captions数据集上进行的大量实验表明，我们提出的多模态方法优于最先进的单峰方法，并验证了特定的特征表示和架构设计选择。
2019-10-25 cs.CV
From Deterministic to Generative: Multi-Modal Stochastic RNNs for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
视频描述在本质上是一个复杂的自然过程，这是由各种不确定性所产生的视频内容，主观判断等，在本文中，我们建立在使用编码器-解码器的框架视频描述的最新进展，并解决我们发现是一个关键的不足，现有的方法，大多数的解码器传播确定性隐藏状态。这种复杂的不确定性不能有效地建模的确定性模型。在本文中，我们提出了一种生成方法，称为多模态随机RNN网络（MS-RNN），它使用潜在随机变量对数据中观察到的不确定性进行建模。因此，MS-RNN可以提高视频描述的性能，并且考虑不同的随机因素来生成多个句子来描述视频。具体来说，首先提出了一种多模态LSTM（M-LSTM）来与视觉和文本特征进行交互，以捕获高级表示。然后，提出了一种后向随机LSTM（S-LSTM），通过引入潜变量来支持不确定性传播。在具有挑战性的数据集MSVD和MSR-VTT上的实验结果表明，我们提出的MS-RNN方法优于最先进的视频描述基准。
2017-10-20 cs.CV
Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
神经符号表征在学习视觉和语言中的结构信息方面被证明是有效的。在本文中，我们提出了一个新的模型架构学习多模态神经符号表示的视频描述。我们的方法使用基于字典学习的方法来学习视频及其配对文本描述之间的关系。我们将这些关系称为相对角色，并利用它们来使用注意力使每个令牌角色感知。这导致了一个更结构化和可解释的架构，结合了特定模态的归纳偏见的字幕任务。直观地说，该模型能够在给定的一对视频和文本中学习空间、时间和跨模态关系。通过我们的建议实现的解纠缠使模型有更多的能力来捕获多模态结构，从而为视频提供更高质量的字幕。我们在两个已建立的视频描述数据集上的实验验证了该方法的有效性。我们进一步进行了人为评估，以衡量生成的字幕的接地和相关性，并观察所提出的模型的一致改进。代码和训练模型可以在https://github.com/hassanhub/R3Transformer上找到
2020-11-18 cs.AI cs.CV eess.IV
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University（杭州电子科技大学）；Baidu Inc.（百度公司）；Zhejiang International Studies University（浙江外国语学院）
提出了一种无需事件句标注的密集视频描述（DVC）方法。首先，我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后，我们将通常应用于跨模态检索任务的对比损失和循环一致性损失，以建立建议和句子之间的语义匹配，最终用于训练字幕生成模块。此外，匹配模块的参数通过预训练的基础上标注的图像进行初始化，以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明，基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义，并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
iPerceive: Applying Common-Sense Reasoning to Multi-Modal Dense Video Captioning and Video Question Answering
Stanford University（斯坦福大学）；University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）
视觉理解中的大多数现有技术仅仅依赖于分析“什么”（例如，事件识别）和“在哪里”（例如，事件定位），这在某些情况下不能描述事件之间的正确上下文关系或导致不正确的潜在视觉注意。将我们定义为人类和与机器根本不同的部分原因是我们本能地在任何关联背后寻找因果关系，例如事件Y是事件X的直接结果。为此，我们提出iPerceive，一个框架，能够理解的“为什么”之间的事件在视频中建立一个常识性的知识库，使用上下文线索来推断视频中的对象之间的因果关系。我们证明了我们的技术使用密集的视频描述（DVC）和视频问答（VideoQA）任务的有效性。此外，虽然DVC和VideoQA中的大多数先前工作仅依赖于视觉信息，但其他形式（例如音频和语音）对于人类观察者对环境的感知至关重要。我们将DVC和VideoQA任务表述为利用多模态的机器翻译问题。通过分别在ActivityNet字幕和TVQA数据集上评估iPerceive DVC和iPerceive VideoQA的性能，我们表明我们的方法进一步发展了最先进的技术。代码和示例可在：ipeceive.amanchadha.com上获得。
2020-11-16 cs.AI cs.CV cs.LG
Cross-Modal Similarity-Based Curriculum Learning for Image Captioning
Nagoya University（名古屋大学）；National Institute of Informatics（国立信息学研究所）
图像描述模型需要高水平的泛化能力来用文字描述各种图像的内容。大多数现有的方法在训练中平等对待图像-字幕对，而不考虑它们学习难度的差异。几种图像描述方法引入了课程学习方法，其呈现具有增加的难度级别的训练数据。然而，它们的难度测量要么基于特定领域的特征，要么基于先前的模型训练。在本文中，我们提出了一个简单而有效的难度测量图像描述使用跨模态相似度计算的预训练视觉语言模型。COCO和Flickr 30 k数据集上的实验表明，我们提出的方法实现了卓越的性能和有竞争力的收敛速度，而不需要额外的训练成本或产生额外的训练成本。此外，在困难示例和未知数据上的较高模型性能也证明了泛化能力。
2022-12-14 cs.CL cs.CV
Watching Synthetic Videos: Aligning Cross-modal Representations with Visual Synthesis for Zero-shot Video Captioning
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；School of Information Science and Technology, Beijing University of Technology（北京工业大学信息科学与技术学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）
本文提出WSV零样本视频字幕生成框架，通过文本到视频生成模型、抛光器、提示器弥合跨模态差距，在三个公开数据集上取得了B@4 52、CIDEr 95.7的成绩。
2026-08-12 cs.CV
Support-set based Multi-modal Representation Enhancement for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）
视频描述是一项具有挑战性的任务，需要对视觉场景进行透彻的理解。现有的方法遵循典型的一对一映射，集中在一个有限的样本空间，而忽略了样本之间的内在语义关联，导致刚性和无信息的表达式。为了解决这个问题，我们提出了一种新的和灵活的框架，即基于支持集的多模态表示增强（SMRE）模型，挖掘样本之间共享的语义子空间中的丰富信息。具体来说，我们提出了一个支持集建设（SC）模块构建一个支持集学习样本之间的潜在连接，并获得语义相关的视觉元素。在这个过程中，我们设计了一个语义空间转换（SST）模块，以约束相对距离和管理多模态交互的自我监督的方式。MSVD和MSR-VTT数据集上的大量实验表明，我们的SMRE达到了最先进的性能。
2022-05-19 cs.CV
AnyCap Project: A Unified Framework, Dataset, and Benchmark for Controllable Omni-modal Captioning
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
针对可控字幕生成模型缺细粒度控制、缺可靠评估与数据的问题，提出AnyCap Project，含即插即用可控框架ACM、30万条多模态数据集ACD及解耦评估的AnyCapEval基准，显著提升多基准上的字幕质量。
2025-10-28 cs.CV
Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction
针对现有密集视频字幕方法隐式建模无法捕捉时间连贯性与完整语义的问题，本文提出显式时空语义建模框架CACMI，通过两个核心模块融合时序与语义信息，在两个基准数据集上取得SOTA性能。
2025-11-13 cs.CV
Cross-Modal Graph with Meta Concepts for Video Captioning
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
视频描述的目标是将复杂的视觉内容解释为文本描述，这要求模型完全理解包括对象及其交互在内的视频场景。现有的方法采用现成的目标检测网络来给出对象建议，并使用注意力机制来建模对象之间的关系。它们通常会遗漏预训练模型中一些未定义的语义概念，并且无法识别对象之间的精确谓词关系。在本文中，我们研究了一个开放的研究任务，生成给定的视频的文本描述，并提出跨模态图（CMG）与Meta概念的视频描述。具体来说，为了覆盖视频字幕中有用的语义概念，我们弱学习文本描述的相应视觉区域，其中相关联的视觉区域和文本词被称为跨模态Meta概念。我们进一步动态地构建Meta概念图与学习的跨模态Meta概念。我们还构建了整体视频级和局部帧级视频图与预测的谓词模型视频序列结构。我们通过广泛的实验验证了我们提出的技术的有效性，并在两个公共数据集上获得了最先进的结果。
2022-08-01 cs.CV
Semi-Supervised Image Captioning Considering Wasserstein Graph Matching
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）；Nanjing University（南京大学）
提出考虑Wasserstein图匹配的半监督图像描述方法SSIC-WGM，利用场景图作为中间信息实现模态间和模态内一致性约束，从而高效利用未描述图像学习更合理的视觉到语言映射函数。
2024-03-26 cs.AI cs.CV cs.LG
RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning
University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学）；Macquarie University（麦考瑞大学）
针对零样本视频字幕生成研究不足的问题，提出RETTA框架，以可学习token为媒介连接四个冻结预训练模型，通过推理数据软标签在测试时自适应学习，在三个数据集上CIDEr指标较现有SOTA提升5.1%-32.4%。
2025-10-28 cs.CV
Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning
Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室）；Meituan（美团）
提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。
2026-07-03 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.（日立制作所）
自动描述视频，或称视频描述，在多媒体领域得到了广泛的研究。本文提出了一种新的任务，传感器增强自我中心的视频描述，一个新构建的数据集，它称为MMAC字幕，和新提出的任务，有效地利用多模态数据的视频和运动传感器，或惯性测量单元（IMU）的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述，但自我中心视觉具有更大的潜力，可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外，我们利用可穿戴传感器数据作为辅助信息，以减轻自我中心视觉的固有问题：运动模糊，自遮挡和相机范围外的活动。我们提出了一种方法，有效地利用传感器数据与视频数据的基础上的注意力机制，动态地确定模态，需要更多的关注，考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较，发现使用传感器数据作为自我中心视频数据的补充信息是有益的，并且我们提出的方法优于强基线，证明了所提出的方法的有效性。
2021-09-07 cs.CV
Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）；University of Rochester（罗切斯特大学）
安全感知图像描述旨在通过利用相关文章中的背景知识来描述与图像相关的命名实体和事件。这个任务仍然具有挑战性，因为由于命名实体的长尾分布，很难学习命名实体和视觉线索之间的关联。此外，文章的复杂性也给提取实体之间的细粒度关系以生成关于图像的信息事件描述带来了困难。为了应对这些挑战，我们提出了一种新的方法，构建一个多模态的知识图谱，将视觉对象与命名实体相关联，并捕获实体之间的关系，同时从网络上收集的外部知识的帮助。具体来说，我们通过从文章中提取命名实体及其关系来构建文本子图，并通过检测图像中的对象来构建图像子图。为了连接这两个子图，我们提出了一个跨模态实体匹配模块，使用包含维基百科条目和相应图像的知识库进行训练。最后，通过图注意力机制将多模态知识图谱集成到字幕模型中。在GoodNews和NYTimes800k数据集上的大量实验证明了该方法的有效性。
2021-07-26 cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题，提出融合外部记忆先验知识的跨模态记忆检索框架，无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning
Nanjing University（南京大学）；Kuaishou Technology（快手科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
研究全模态视频字幕编排视听协同问题，提出AVSCap框架，构建训练语料库，采用两阶段策略训练字幕生成器，引入新基准，实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色，提升了整体性能。
2026-07-15 cs.CV
OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
针对现有全模态描述生成器忽视物理证据的问题，提出统一框架，通过数据构建、训练和评估，利用物理感知模型提取线索，训练出在多个基准上达到最先进水平的描述生成器。
2026-09-29 cs.CV
Multi-modal reward for visual relationships-based image captioning
University of Isfahan（伊斯法罕大学）
深度神经网络由于其有效的表示学习和基于上下文的内容生成能力，在自动图像描述方面取得了令人鼓舞的成果。作为在许多最近的图像描述方法中使用的突出类型的深度特征，与直接从原始图像提取的特征图相比，公知的自底向上特征提供图像的不同对象的详细表示。然而，缺乏高层次的语义信息，这些对象之间的关系是一个重要的缺点，自底向上的功能，尽管其昂贵的和资源需求的提取过程。为了在字幕生成中利用视觉关系，提出了一种基于深度神经网络的图像描述字幕生成架构，该架构将从图像场景图中提取的视觉关系信息与图像的空间特征图融合。然后引入多模态奖励函数，用于在公共嵌入空间中使用语言和视觉相似性的组合对所提出的网络进行深度强化学习。在MSCOCO数据集上的大量实验结果表明，在所提出的字幕方法中使用视觉关系是有效的。此外，结果清楚地表明，在深度强化学习中提出的多模态奖励可以实现更好的模型优化，优于几种最先进的图像描述算法，同时使用轻便且易于提取的图像特征。构成所提出的方法的组件的详细的实验研究。
2023-03-21 cs.AI cs.CV
X-Trans2Cap: Cross-Modal Knowledge Transfer using Transformer for 3D Dense Captioning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；The Future Network of Intelligence Institute（未来网络智能研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）
3D密集字幕旨在通过自然语言描述3D场景中的单个对象，其中3D场景通常表示为RGB-D扫描或点云。然而，仅利用单一模态信息，例如，点云，以前的方法不能产生忠实的描述。虽然将2D特征聚合到点云中可能是有益的，但它引入了额外的计算负担，特别是在推理阶段。在这项研究中，我们研究了跨模态知识转移使用Transformer的3D密集字幕，X-trans 2Cap，有效地提高性能的单模态3D字幕通过知识蒸馏使用师生框架。在实践中，在训练阶段，教师网络利用辅助2D模态，并通过特征一致性约束指导仅将点云作为输入的学生网络。由于设计良好的跨模态特征融合模块和训练阶段的特征对齐，X-Trans 2Cap可以轻松获取嵌入在2D图像中的丰富外观信息。因此，在推断期间，可以仅使用点云来生成更忠实的字幕。定性和定量结果证实，X-Trans 2Cap的性能大大优于先前的最先进技术，即，ScanRefer和Nr 3D数据集上的CIDEr绝对评分分别约为+21和约+16。
2022-04-06 cs.CV
Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning
Guangxi University（广西大学）；Guangxi Key Laboratory of Multimedia Communications and Network Technology（广西多媒体通信与网络技术重点实验室）
针对纯文本图像字幕生成中模态鸿沟与训练推理不一致的问题，提出结合合成图文对、优化伪特征、引入显著物体辅助的方法，实现了基准数据集上的SOTA性能。
2023-12-14 cs.CL cs.CV
X-Linear Attention Networks for Image Captioning
JD AI Research（京东人工智能研究院）
最近在细粒度视觉识别和视觉问答方面的进展具有双线性池，其有效地对跨多模态输入的2 $^{nd}$阶交互进行建模。然而，还没有证据支持建立这样的互动与注意力机制的同时图像描述。在本文中，我们介绍了一个统一的注意力块- X-线性注意力块，充分利用双线性池选择性地利用视觉信息或执行多模态推理。从技术上讲，X-线性注意力块同时利用空间和通道双线性注意力分布来捕获输入单模态或多模态特征之间的2 $^{nd}$阶交互。通过堆叠多个X-线性注意力块并以无参数的方式分别为块配备指数线性单元（ELU），可以容易地对更高阶和甚至无穷阶特征交互进行建模。此外，我们提出了X-线性注意力网络（简称为X-LAN），它新颖地将X-线性注意力块集成到图像描述模型的图像编码器和句子解码器中，以利用更高阶的模态内和模态间交互。在COCO基准测试上的实验表明，我们的X-LAN在COCO Karpathy测试分裂上获得了迄今为止最好的CIDEr性能132.0%。当进一步赋予Transformer X-线性注意力块时，CIDER提升到132.8%。源代码可从\url{https://github.com/Panda-Peter/image-captioning}获得。
2020-03-31 cs.CV
TPCap: Unlocking Zero-Shot Image Captioning with Trigger-Augmented and Multi-Modal Purification Modules
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；Yunnan Key Laboratory of Computer Technologies Application（云南省计算机技术应用重点实验室）；Hongyun Honghe Group Honghe Cigarette Factory（红云红河集团红河卷烟厂）
针对现有基于RAG的图像描述方法依赖独立检索库导致计算开销大、限制LLMs零样本能力的问题，提出TPCap框架，通过触发增强生成和多模态净化模块，无需外部检索库实现零样本图像描述，在多数据集上取得与SOTA相当的性能。
2025-02-16 cs.CV
Exploiting Cross-Modal Prediction and Relation Consistency for Semi-Supervised Image Captioning
Nanjing University of Science and Technology（南京理工大学）；Baidu Inc（百度公司）；Rutgers University（罗格斯大学）
图像描述的任务旨在通过自动学习的交叉模态生成器直接从图像生成字幕。为了构建一个性能良好的生成器，现有的方法通常需要大量的描述图像，这需要大量的人工标注。然而，在现实世界的应用中，更普遍的情况是，我们只有有限数量的描述图像和大量的未描述图像。因此，如何有效地将未描述的图像组合到交叉模态生成器的学习中是一个挑战。针对这一问题，本文提出了一种基于跨模态预测和关系一致性（CPRC）的图像描述方法，该方法利用原始图像输入，将生成的句子约束在共同语义空间中。具体而言，考虑到模态间的异质性导致直接使用全局嵌入的监督困难，CPRC转而将原始图像和相应的生成语句都转换到共享语义空间中，并从两个方面对生成语句进行度量：1）预测一致性。CPRC利用对原始图像的预测作为软标签，为生成的句子提取有用的监督，而不是使用传统的伪标签; 2）关系一致性。CPRC开发了一种新的增强图像和相应的生成句子之间的关系一致性，以保留重要的关系知识。结果表明，CPRC从信息性和代表性两个角度对生成的句子进行监督，能够合理利用未描述图像，在半监督场景下学习更有效的生成器。
2021-10-28 cs.AI cs.CV
OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning
NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）
提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。
2026-06-07 cs.CV
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University（香港浸会大学）；Fuxi AI Lab, NetEase Inc.（网易公司伏羲人工智能实验室）
图像描述是连接视觉和语言的一项基本任务，涉及跨模态理解和文本生成。近年来，图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前，首先利用一个额外的目标检测器来识别图像中的目标。然而，它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器，这是一项艰巨的任务。此外，目标检测器的错误很容易传播到后续的字幕模型，降低模型的性能。为了减轻这些缺陷，我们提出了一个令人沮丧的简单，但高效的端到端的图像描述框架，视觉条件GPT（VC-GPT），通过连接预先训练的视觉编码器（CLIP-ViT）和语言解码器（GPT 2）。与直接将交叉注意模块插入GPT 2的香草连接方法不同，本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此，我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试（MSCOCO、Flickr 30 k和NoCaps）进行的实验结果表明，我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
Enhancing Scientific Figure Captioning Through Cross-modal Learning
Technological University of Peru（秘鲁理工大学）
本文提出一种基于自然语言处理和多模态技术的科学图表标题自动生成新方法，有效提升了研究数据的清晰度与可访问性。
2024-06-24 cs.CV
Image Captioning with Clause-Focused Metrics in a Multi-Modal Setting for Marketing
University of Augsburg（奥格斯堡大学）；GfK Verein（GfK协会）
自动生成图像的描述性字幕是计算机视觉中的一个研究热点。然而，现有的评价方法侧重于衡量两个句子之间的相似性，而忽略了细粒度的语义的字幕。在我们的设置的图像描绘的人与品牌产品的互动，主题，谓词，对象和品牌产品的名称是重要的评价标准生成的字幕。生成具有这些约束的图像字幕是一个新的挑战，我们在这项工作中解决。通过同时预测描述人与产品交互属性的整数值评级，我们在多任务学习设置中优化了深度神经网络架构，这大大提高了字幕质量。此外，我们引入了一个新的度量，使我们能够评估生成的字幕是否满足我们的要求（即，主语、谓语、宾语和产品名称），并描述了一系列关于字幕质量的实验，以及如何用一种称为软目标的方法来解决注释者对图像评级的分歧。我们还表明，我们的新的子句为重点的指标也适用于其他图像描述数据集，如流行的MSCOCO数据集。
2019-05-06 cs.CV
Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning
National University of Singapore（新加坡国立大学）
研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。
2026-07-07 cs.AI cs.CV cs.MM
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning
University of Science, VNU-HCM（越南国立大学胡志明市分校理学院）；Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
提出分层多模态文章检索增强的图像描述框架，通过结构感知检索和上下文精炼，结合VLM和LLM生成富含上下文细节的描述，在EVENTA 2025挑战赛中获得第5名。
2026-06-18 cs.CV
Efficient Image Captioning for Edge Devices
Huawei Inc.（华为公司）
近年来，图像描述的发展非常迅速。然而，对大的存储器存储和沉重的计算负担的需求阻止这些字幕模型被部署在移动设备上。主要的障碍在于重量级的视觉特征提取器（即，目标检测器）和复杂的跨模态融合网络。为此，我们提出了LightCap，一个轻量级的图像字幕资源有限的设备。核心设计是建立在最新的CLIP模型，以实现高效的图像描述。具体来说，一方面，我们利用CLIP模型来提取紧凑的网格特征，而不依赖于耗时的目标检测器。另一方面，通过设计一个新颖的视觉概念提取器和交叉模态调制器，将CLIP的图文检索设计转移到图像描述场景中。我们通过顺序和集成蒸馏进一步优化了跨模态融合模型和并行预测头。通过精心设计的结构，我们的模型仅包含40 M参数，与当前最先进的方法相比，节省了75%以上的模型大小和98%以上的FLOP。尽管容量较低，但我们的模型在流行的数据集上仍然表现出最先进的性能，例如，136.6 CIDEr对COCO Karpathy测试的拆分。在只有一个CPU的智能手机上进行测试，所提出的LightCap显示出每幅图像188ms的快速推理速度，这是为实际应用做好了准备。
2022-12-18 cs.CV
CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models
Zhejiang University, China（浙江大学）
本文提出CG-MLLM，一种能实现3D描述和高分辨率3D生成的多模态大语言模型，通过混合Transformer架构分离不同建模需求，结合预训练视觉语言模型与专用3D VAE潜在空间，提升3D生成质量与感知能力。
2026-05-15 cs.CV
Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Dianzi University (HDU)（杭州电子科技大学）；Lishui Institute of HDU（杭州电子科技大学丽水研究院）；Key Laboratory of AI Safety of CAS（中国科学院人工智能安全重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）
本文提出干扰免疫表示学习网络，通过自监督通道关联与去相关获得稳定图像表示，并设计跨模态对比正则化提升变化描述生成，在四个公共数据集上超越现有方法。
2024-07-16 cs.CV
SBAT: Video Captioning with Sparse Boundary-Aware Transformer
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Baidu Research（百度研究院）；Alibaba Group（阿里巴巴集团）；Department of Computer Science, Binghamton University（宾汉姆顿大学计算机科学系）
本文主要研究如何将Transformer结构有效地应用于视频描述中。香草Transformer是为单模态语言生成任务，如机器翻译。然而，视频描述是一个多模态学习问题，视频特征在不同时间步长之间存在大量冗余。基于这些问题，我们提出了一种新的方法称为稀疏边界感知Transformer（SBAT），以减少冗余的视频表示。SBAT采用边界感知的池化操作，从不同的场景中选择不同的特征。此外，SBAT还包括一个局部相关方案，以补偿稀疏操作带来的局部信息损失。基于SBAT，我们进一步提出了一个对齐的跨模态编码方案，以提高多模态交互。在两个基准数据集上的实验结果表明，SBAT在大多数指标下都优于现有的方法。
2020-07-23 cs.CL cs.CV cs.LG
Hyperdimensional Cross-Modal Alignment of Frozen Language and Image Models for Efficient Image Captioning
Artificial Intelligence Research Laboratory（人工智能研究实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
HDFLIM通过冻结语言和图像模型的高维计算实现高效的图像描述生成，无需参数调优。
2026-02-27 cs.AI cs.CV cs.LG
PC$^2$: Pseudo-Classification Based Pseudo-Captioning for Noisy Correspondence Learning in Cross-Modal Retrieval
Nanjing University（南京大学）；Ant Group（蚂蚁集团）；Southeast University（东南大学）
针对跨模态检索中的噪声对应学习问题，提出PC$^2$框架，通过伪分类、伪描述监督和对应修正提升鲁棒性，并发布真实噪声数据集NoW。
2024-08-02 cs.AI cs.CV cs.IR
Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain
GTS, Huawei Technologies Co., Ltd.（华为技术有限公司GTS部门）
本文提出多阶段训练策略，构建ICT领域图像描述模型DICModel，通过合成图像文本对提升模型性能，实验表明其在BLEU指标和准确率上均优于现有模型。
2026-05-07 cs.CV
IFCap: Image-like Retrieval and Frequency-based Entity Filtering for Zero-shot Captioning
Hanyang University（汉阳大学）
本文提出IFCap框架，通过类图像检索缓解纯文本训练与图像推理间的模态鸿沟，结合融合模块与基于频率的实体过滤技术，显著提升了零样本图像与视频描述的性能。
2024-09-26 cs.AI cs.CL cs.CV
