RCA-NOC: Relative Contrastive Alignment for Novel Object Captioning
Tsinghua University（清华大学）；International Digital Economy Academy（国际数字经济研究院）
提出RCA-NOC相对对比学习方法，利用CLIP构建标签正负对并按相对相关性对齐区域与标签，在两个数据集上显著提升新物体图像描述性能。
2023-12-11 cs.CV
Bi-directional Contextual Attention for 3D Dense Captioning
Seoul National University（首尔大学）；LG AI Research（LG AI研究院）；Diquest
针对3D密集描述任务中上下文信息局限与定位-描述目标矛盾问题，提出带双向上下文注意力的Transformer流水线BiCA，通过并行的实例与上下文查询实现双向感知，在两个主流数据集上性能显著优于现有方法。
2024-08-13 cs.CV
MORE: Multi-Order RElation Mining for Dense Captioning in 3D Scenes
Fudan University（复旦大学）；Meituan Inc.（美团）
3D密集字幕是最近提出的新任务，其中点云包含比2D对应物更多的几何信息。然而，由于点云中包含的对象间关系的复杂性和多样性，它也更具挑战性。现有的方法只将这些关系视为图中对象特征学习的副产品，而没有对其进行专门编码，这导致了次优结果。本文针对通过捕捉和利用三维场景中的复杂关系来提高三维密集字幕的效果，提出了一种多阶关系挖掘模型MORE，以支持生成描述性更强、更全面的字幕。从技术上讲，我们的MORE以渐进的方式编码对象关系，因为复杂的关系可以从有限数量的基本关系中推导出来。首先，我们设计了一种新的空间布局图卷积（SLGC），它语义编码的几个一阶关系的边缘构建在3D对象的建议。接下来，从所得到的图，我们进一步提取多个三元组封装基本的一阶关系作为基本单元，并构造几个以对象为中心的三元组注意力图（OTAG），以推断每个目标对象的多阶关系。从OTAG更新的节点特征被聚合并馈送到字幕解码器以提供丰富的关系线索，使得可以生成包括与上下文对象的不同关系的字幕。在Scan2Cap数据集上进行的大量实验证明了我们提出的MORE及其组件的有效性，并且我们的性能也优于当前最先进的方法。我们的代码可在https://github.com/SxJyJay/MORE上获得。
2022-07-20 cs.AI cs.CL cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya（马来亚大学）
随着深度模型的发展，在过去十年中，对图像描述的研究工作在原始性能方面取得了显着的进步，同时增加了模型复杂性和计算成本。然而，令人惊讶的是，用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究，我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构，即软注意，上下和对象关系Transformer。在此之后，我们提出了一种新的端到端的权重修剪方法，该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后，修剪方案扩展与编码器修剪，在那里我们表明，同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲，我们证明了80%到95%的稀疏网络（模型大小减少了75%）可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120，但模型大小仅为8.7 MB和14.5 MB（与密集版本相比，大小分别减少了96%和94%），可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
Visual News: Benchmark and Challenges in News Image Captioning
University of Maryland（马里兰大学）；Amazon Alexa（亚马逊 Alexa）；University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
我们提出了视觉新闻字幕，一个实体感知的新闻图像描述的任务模型。我们还介绍了Visual News，这是一个大规模的基准测试，包含超过一百万张新闻图片以及相关的新闻文章、图片标题、作者信息和其他元数据。与标准的图像描述任务不同，新闻图像描述了人物、位置和事件至关重要的情况。我们提出的方法可以有效地结合视觉和文本特征，以生成具有更丰富信息（如事件和实体）的字幕。更具体地说，建立在Transformer架构，我们的模型进一步配备了新的多模态特征融合技术和注意力机制，旨在更准确地生成命名实体。我们的方法使用更少的参数，同时实现略好的预测结果比竞争的方法。我们更大、更多样化的视觉新闻数据集进一步突出了新闻图片字幕方面的剩余挑战。
2021-09-13 cs.CV
Fine-grained Image Captioning with CLIP Reward
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（奥多比研究中心）；Adobe Inc.（奥多比公司）
现代图像描述模型通常是以文本相似度为目标进行训练的。然而，由于公共数据集中的参考标题通常描述最突出的常见对象，因此使用文本相似性目标训练的模型往往会忽略图像的特定和详细方面，这些方面将其与其他方面区分开来。为了生成更具描述性和独特性的字幕，我们建议使用CLIP（一种在Web上训练的多模态编码器）来计算多模态相似度并将其用作奖励函数。我们还提出了一个简单的微调策略的CLIP文本编码器，以改善语法，不需要额外的文本注释。这完全消除了在奖励计算期间对参考字幕的需要。为了全面评估描述性字幕，我们引入了FineCapEval，这是一个用于字幕评估的新数据集，具有细粒度标准：整体、背景、对象、关系。在我们对文本到图像检索和FineCapEval的实验中，所提出的CLIP引导模型比CIDER优化模型生成更独特的字幕。我们还表明，我们的无监督的语法微调的CLIP文本编码器的退化问题的天真CLIP奖励。最后，我们展示了人类分析，其中注释者根据各种标准强烈偏好CLIP奖励而不是CIDER和MLE目标。代码和数据：https://github.com/j-min/CLIP-Caption-Reward
2023-03-29 cs.AI cs.CL cs.CV
C3-Bench: A Context-Aware Change Captioning Benchmark
Gwangju Institute of Science and Technology（光州科学技术院）
提出C3-Bench基准，包含51种真实变化场景的4996对图像，并首次引入LLM-as-Judge评估框架，揭示现有模型在非训练分布场景下的系统性盲点。
2026-06-25 cs.AI cs.CV
Human Attention in Image Captioning: Dataset and Analysis
University of Exeter（埃克塞特大学）；Nokia Technologies（诺基亚技术公司）；Aalto University（阿尔托大学）；MarkableAI（MarkableAI公司）
在这项工作中，我们提出了一个新的数据集，包括眼动和口头描述同步记录的图像。利用这些数据，我们研究了在自由观看和图像描述任务中人类注意力的差异。我们探讨了在感知和句子发音过程中人类注意力和语言结构之间的关系。我们还分析了自上而下的软注意力的方法，认为模仿人类的注意力在字幕任务中的注意力部署机制，并调查视觉显着性是否可以帮助图像描述。我们的研究表明：（1）人类的注意行为在自由观看和图像描述任务中存在差异。在后一种任务下，人类倾向于注视更多的区域，（2）描述对象和关注对象之间存在很强的关系（3）作为特征编码器的卷积神经网络在很大程度上考虑了图像描述期间的人类关注区域（4）软注意力机制在时间和空间上都不同于人类的注意机制，字幕得分与注意一致性得分之间的相关性较低。这表明人类和机器在自上而下的注意力方面存在很大的差距，（5）通过将软注意力模型与图像显着性相结合，我们可以显着提高模型在Flickr30k和MSCOCO基准测试中的性能。数据集可以在https://github.com/SenHe/Human-Attention-in-Image-Captioning上找到。
2019-08-07 cs.CV
Fashion Captioning: Towards Generating Accurate Descriptions with Semantic Rewards
Stony Brook University（石溪大学）；USC（南加州大学）；MIT（麻省理工学院）；Kwai Inc.（快手公司）；BUPT（北京邮电大学）；Megvii（旷视科技）
为在线时尚商品生成准确的描述不仅对于增强客户的购物体验非常重要，而且对于增加在线销售也非常重要。除了需要正确呈现物品的属性外，迷人风格的表情更能吸引顾客的兴趣。这项工作的目标是开发一个新的学习框架，准确和富有表现力的时尚字幕。与流行的图像描述工作不同，它很难识别和描述时尚物品的丰富属性。我们通过首先识别其属性来播种项目的描述，并引入属性级语义（ALS）奖励和语义级语义（SLS）奖励作为度量来提高文本描述的质量。我们进一步将模型的训练与最大似然估计（MLE），属性嵌入和强化学习（RL）相结合。为了方便学习，我们建立了一个新的Fashion CAptioning数据集（FACAD），其中包含993K图像和130K相应的迷人和多样化的描述。FACAD上的实验验证了该模型的有效性。
2022-04-23 cs.CV
S2Cap: A Benchmark and a Baseline for Singing Style Captioning
Pohang University of Science and Technology（釜山科学技术大学）
本文定义了歌唱风格描述生成任务，构建了覆盖发声、声学及人口统计学特征的S2Cap数据集，并提出了一种高效简洁的基线算法，以弥补现有歌声音频-文本数据集属性覆盖不足的问题。
2025-08-18 cs.AI cs.CL cs.LG
Taking an Emotional Look at Video Paragraph Captioning
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
将视觉数据转换为自然语言对于机器理解世界并与人类交互至关重要。在这项工作中，一个全面的研究进行视频段落字幕，目标是生成一个给定的视频段落级的描述。然而，目前的研究主要集中在检测客观事实，忽略了需要建立句子之间的逻辑关联，并发现更准确的情感相关的视频内容。这样的问题影响了预测字幕的流畅和丰富的表达，这远远低于人类的语言标准。为了解决这个问题，我们建议构建一个大规模的情感和逻辑驱动的多语言数据集。该数据集被命名为EMVPC（Emotional Video Paragraph Captioning），包含日常生活中广泛使用的53种情绪，与这些情绪相对应的376个常见场景，10，291个高质量视频和20，582个精心制作的中英文段落字幕。在这个新的数据集中还提供了相关的情感类别、场景标签、情感词标签和逻辑词标签。拟议的EMVPC数据集旨在提供全面的视频段落字幕，具有丰富的情感、连贯的逻辑和精致的表达，这也可以有益于视觉语言领域的其他任务。此外，进行了全面的研究，通过实验对现有的基准视频段落字幕数据集和建议EMVPC。从不同的视觉字幕任务的最先进的方案进行了比较，在15个流行的指标，并总结了详细的客观和主观的结果。最后，本文对视频段落字幕技术存在的问题和未来的发展方向进行了展望。这一独特的视角有望推动视频段落字幕研究的进一步发展。
2022-03-12 cs.CV
TADACap: Time-series Adaptive Domain-Aware Captioning
JP Morgan AI Research（摩根大通人工智能研究院）
针对现有时序图像captioning方法难以适应新领域且描述缺乏领域感知的问题，该研究提出TADACap框架，无需重新训练即可适应新领域生成领域感知caption，并提出TADACap-diverse检索策略，在保证语义准确性的同时减少标注工作量。
2025-04-15 cs.CL cs.CV
Image Captioning: Transforming Objects into Words
Yahoo Research（雅虎研究院）
图像描述模型通常遵循编码器-解码器架构，其使用抽象图像特征向量作为编码器的输入。最成功的算法之一是使用从对象检测器获得的区域建议中提取的特征向量。在这项工作中，我们介绍了对象关系Transformer，建立在这种方法的基础上，明确地将通过几何注意输入检测对象之间的空间关系的信息。定量和定性的结果表明，这种几何注意图像描述的重要性，导致所有常见的字幕度量的MS-COCO数据集上的改进。
2020-01-11 cs.CL cs.CV
Transformer based Multitask Learning for Image Captioning and Object Detection
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
针对真实场景视觉理解需求，提出基于Transformer的多任务框架TICOD，联合训练图像描述与目标检测任务，在MS-COCO数据集上BERTScore较基线提升3.65%。
2024-03-10 cs.CL cs.CV
Variational Stacked Local Attention Networks for Diverse Video Captioning
Independent University, Bangladesh（孟加拉国独立大学）
视频描述模型在用自然语言描述时空事件时，主要依赖于编码器的潜在视觉表示。编码器-解码器模型的最新进展主要涉及与解码器线性交互的编码器特征。然而，不断增长的模型复杂性的视觉数据鼓励更明确的功能交互的细粒度的信息，这是目前缺乏在视频描述域。此外，特征聚合方法已被用于通过连接或使用线性层来揭示更丰富的视觉表示。虽然视频的特征集在语义上有一定程度的重叠，但这些方法会导致客观不匹配和特征冗余。此外，字幕的多样性是从几个有意义的角度表达一个事件的基本组成部分，目前在时间上缺失，即，视频描述域。为此，我们提出了变分堆叠局部注意力网络（VSLAN），它利用低秩双线性池进行自关注特征交互，并以折扣方式堆叠多个视频特征流。每个特征堆栈的学习属性有助于我们提出的多样性编码模块，然后是解码查询阶段，以促进端到端的多样性和自然的字幕，而无需对属性进行任何显式监督。我们在MSVD和MSR-VTT数据集上评估VSLAN的语法和多样性。VSLAN的CIDER评分分别优于MSVD上的$7.8\%$和MSR-VTT上的$4.5\%$的当前现成方法。在相同的数据集上，VSLAN在字幕多样性指标上取得了有竞争力的结果。
2022-01-04 cs.CL cs.CV
Prefix-diffusion: A Lightweight Diffusion Model for Diverse Image Captioning
Dalian University of Technology（大连理工大学）；Meituan（美团）；Information Engineering University（信息工程大学）
针对图像描述生成多样性不足和参数规模大的问题，提出Prefix-diffusion轻量级扩散模型，通过注入前缀图像嵌入和映射网络实现低参数下的多样化描述生成。
2023-10-17 cs.AI cs.CL cs.CV
Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
图像描述通常需要大量的训练图像-句子对。然而，在实践中，获取足够的训练对总是昂贵的，使得最近的字幕模型在其描述训练语料库之外的对象的能力方面受到限制（即，小说对象）。在本文中，我们提出了长短期记忆与字幕机制（LSTM-C）-一种新的架构，将复制纳入卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架，用于描述字幕中的新对象。具体而言，利用免费提供的对象识别数据集来开发新对象的分类器。然后，我们的LSTM-C很好地集成了解码器RNN的标准逐词句子生成与复制机制，该机制可以从输出句子中适当位置的新对象中选择单词。在MSCOCO图像描述和ImageNet数据集上进行了大量的实验，证明了我们提出的LSTM-C架构描述新对象的能力。此外，优越的结果相比，国家的最先进的深模型。
2017-08-17 cs.CL cs.CV
Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent AI Lab（腾讯人工智能实验室）
图像描述是一个模糊的问题，图像有许多合适的标题。为了解决歧义，束搜索是对多个字幕进行采样的实际方法。然而，束搜索在计算上是昂贵的，并且已知产生通用字幕。为了解决这个问题，已经提出了一些基于变分自动编码器（VAE）和生成对抗网络（GAN）的方法。虽然不同，但GAN和VAE不太准确。在本文中，我们首先预测图像的有意义的摘要，然后基于该摘要生成字幕。我们使用词性作为摘要，因为我们的摘要应该驱动标题生成。我们实现了三连胜：（1）如通过标准字幕度量和用户研究评估的不同字幕的高准确性;（2）与束搜索和不同束搜索相比，不同字幕的更快计算;以及（3）如通过计数新句子、不同的n元语法和相互重叠（即，mBleu-4）分数。
2019-04-11 cs.CV
VieCap4H-VLSP 2021: ObjectAoA-Enhancing performance of Object Relation Transformer with Attention on Attention for Vietnamese image captioning
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
图像描述目前是一项具有挑战性的任务，它需要理解视觉信息并使用人类语言来描述图像中的视觉信息的能力。在本文中，我们提出了一种有效的方法来提高图像的理解能力的transformer为基础的方法，通过扩展对象关系Transformer架构与注意力的注意力机制。在VieCap4H数据集上的实验表明，该方法在VLSP图像描述共享任务的公开测试和私有测试中均优于原结构.
2023-03-20 cs.CL cs.CV
Partially-Supervised Novel Object Captioning Leveraging Context from Paired Data
Intel Corporation（英特尔公司）；Intel Labs（英特尔实验室）
在本文中，我们提出了一种方法来改善图像描述解决方案的图像与新的对象，没有标题标签的训练数据集。我们将我们的方法称为部分监督新颖对象字幕（PS-NOC）。PS-NOC与模型架构无关，主要关注使用现有完全配对图像标题数据和仅具有新颖目标检测标签（部分配对数据）的图像的训练方法。我们通过利用现有图像-字幕对的上下文，为新对象创建合成配对字幕数据。然后，我们为带有新对象的部分配对图像创建伪标签字幕，并使用这些额外的数据来微调字幕模型。我们还提出了一个变种的SCST在PS-NOC，称为SCST-F1，直接优化F1分数的新对象。使用流行的字幕模型（上下）作为基线，PS-NOC在保留的MS COCO域外测试拆分上设置了新的最先进的结果，即，85.9 F1-评分和103.8 CIDEr。与在训练期间不使用部分配对数据的基线模型相比，这分别提高了85.9和34.1分。我们还进行了详细的消融研究，以证明我们的方法的有效性。
2021-11-19 cs.CL cs.CV
Object Hallucination in Image Captioning
UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
尽管不断改进性能，但当代图像描述模型倾向于使实际上不在场景中的对象“产生幻觉”。一个问题是标准度量仅测量与地面实况字幕的相似性，并且可能无法完全捕获图像相关性。在这项工作中，我们提出了一个新的图像相关性度量来评估当前的模型与真实的视觉标签，并评估其速度的对象幻觉。我们分析了字幕模型架构和学习目标如何有助于对象幻觉，探索幻觉何时可能是由于图像错误分类或语言先验，并评估当前句子度量捕获对象幻觉的程度。我们调查这些问题的标准图像描述基准，MSCOCO，使用不同的模型。我们的分析产生了几个有趣的发现，包括在标准句子指标上得分最高的模型并不总是具有较低的幻觉，并且幻觉更多的模型往往会在语言先验的驱动下犯错误。
2019-03-29 cs.CL cs.CV
O2NA: An Object-Oriented Non-Autoregressive Approach for Controllable Video Captioning
Peking University（北京大学）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
视频描述结合了视频理解和语言生成。与描述具有几乎每个对象的细节的静态图像的图像描述不同，视频描述通常考虑帧序列和朝向聚焦对象的偏差，例如，无论背景如何变化，物体都保持在焦点上。因此，在视频描述中，检测和适当地调节聚焦对象是至关重要的。为了加强对聚焦对象的描述，实现可控的视频描述，本文提出了一种面向对象的非自回归方法（O2 NA），该方法分三步进行字幕生成：1）识别聚焦对象并预测其在目标字幕中的位置;以及3）组合视频信息以将草稿字幕细化为流畅的最终字幕。由于焦点对象是在其他单词之前生成和定位的，因此很难应用逐词自回归生成过程;相反，我们采用非自回归方法。在两个基准数据集上的实验，MSR-VTT和MSVD证明了O2 NA的有效性，它实现了与最先进技术竞争的结果，但具有更高的多样性和更高的推理速度。
2022-01-09 cs.CL cs.CV
Learning to Select: A Fully Attentive Approach for Novel Object Captioning
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
图像描述模型最近在应用于标准数据集时显示出令人印象深刻的结果。然而，切换到现实生活中的场景，构成了一个挑战，由于更大的各种各样的视觉概念，这是不包括在现有的训练集。出于这个原因，新的对象字幕（NOC）最近出现了一个范例，以测试字幕模型的对象是看不见的训练阶段。在本文中，我们提出了一种新的NOC方法，该方法可以学习选择图像中最相关的对象，而不管它们是否与训练集相关，并相应地约束语言模型的生成过程。我们的架构是完全专注的，端到端可训练的，即使在考虑约束的情况下也是如此。我们在COCO数据集上进行了实验，在对新对象的适应性和字幕质量方面，我们展示了对最先进技术的改进。
2021-06-02 cs.CL cs.CV
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)（德黑兰理工大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Department of Computer Engineering（计算机工程系）
随着视觉和自然语言处理技术的发展，图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型，通过分离语义和风格来生成风格化的字幕。在继续这项工作中，这里开发了一个新的字幕模型，包括一个图像编码器来提取特征，一个混合的递归网络来嵌入一组提取的特征到一组单词中，以及一个句子生成器，它将所获得的单词组合为一个风格化的句子。由此产生的系统，称为递归专家混合（MoRE），使用一种新的训练算法，从递归神经网络（RNN）的加权矩阵导出奇异值分解（SVD），以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库，没有配对的图像，我们的字幕模型也可以做到这一点。此外，风格化和多样化的字幕提取，而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型，我们使用Microsoft COCO，这是一个标准的事实图像字幕数据集。我们表明，建议的字幕模型可以生成一个多样化的和风格化的图像字幕，而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
Are scene graphs good enough to improve Image Captioning?
KU Leuven（鲁汶大学）；New York University（纽约大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
许多表现最好的图像描述模型仅依赖于利用目标检测模型计算的目标特征来生成图像描述。然而，最近的研究提出直接使用场景图来引入关于对象关系的信息到字幕中，希望更好地描述对象之间的交互。在这项工作中，我们彻底调查使用场景图在图像描述。我们的经验研究是否使用额外的场景图形编码器可以导致更好的图像描述，并提出了一个有条件的图形注意力网络（C-GAT），其中的图像描述解码器状态是用来条件的图形更新。最后，我们确定在何种程度上预测的场景图中的噪声影响字幕质量。总体而言，我们发现使用场景图特征的模型和仅使用不同字幕度量的目标检测特征的模型之间没有显著差异，这表明现有的场景图生成模型仍然太嘈杂，在图像描述中没有用。此外，虽然预测的场景图的质量是非常低的，在一般情况下，当使用高质量的场景图，我们获得的增益高达3.3 CIDER相比，一个强大的自下而上自上而下的基线。我们在https://github.com/iacercalixto/butd-image-captioning上开放源代码来重现我们所有的实验。
2020-10-27 cs.CL cs.CV
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University（香港浸会大学）；Fuxi AI Lab, NetEase Inc.（网易公司伏羲人工智能实验室）
图像描述是连接视觉和语言的一项基本任务，涉及跨模态理解和文本生成。近年来，图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前，首先利用一个额外的目标检测器来识别图像中的目标。然而，它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器，这是一项艰巨的任务。此外，目标检测器的错误很容易传播到后续的字幕模型，降低模型的性能。为了减轻这些缺陷，我们提出了一个令人沮丧的简单，但高效的端到端的图像描述框架，视觉条件GPT（VC-GPT），通过连接预先训练的视觉编码器（CLIP-ViT）和语言解码器（GPT 2）。与直接将交叉注意模块插入GPT 2的香草连接方法不同，本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此，我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试（MSCOCO、Flickr 30 k和NoCaps）进行的实验结果表明，我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
Surveying the Landscape of Image Captioning Evaluation: A Comprehensive Taxonomy, Trends and Metrics Analysis
School of Computer Science and Engineering, The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校计算机科学与工程学院）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息学院）
本文首次对70多种图像描述评估指标进行分类调查，发现多数研究仅依赖五种与人类评分弱相关的指标，并提出基于线性回归的集成方法EnsembEval以提升评估效果。
2025-09-14 cs.CL cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen（图宾根大学）
为了生成合适的视频字幕，推理需要识别相关概念，并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构，一个适合的Transformer用于单个联合时空视频分析，以及一个基于自注意力的解码器用于高级文本生成。此外，我们引入了一个自适应帧选择方案，以减少所需的传入帧的数量，同时保持相关的内容时，训练两个Transformers。此外，我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD，以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成（NLG）指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们在这项工作中的目标是训练一个图像描述模型，生成更密集和信息量更大的字幕。我们介绍“关系字幕”，一种新的图像描述任务，其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架，是在多样性和信息量的优势，导致图像理解的基础上的关系。词性（POS，即主语-宾语-谓语类别）标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此，我们提出了一个多任务三流网络（MTTSNet），它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV
ECOL-R: Encouraging Copying in Novel Object Captioning with Reinforcement Learning
Macquarie University（麦考瑞大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；Oracle Corporation（甲骨文公司）
新对象字幕是一个zero-shot图像描述任务，需要描述在训练字幕中看不到的对象，但是可以从外部对象检测器获得信息。关键的挑战是选择和描述输入图像中所有显著的检测到的新对象。在本文中，我们专注于这一挑战，并提出了ECOL-R模型（鼓励对象标签的增强学习），一个复制增强的Transformer模型，鼓励准确地描述新的对象标签。这是通过SCST强化学习框架中的专门奖励函数实现的（Rennie等人，2017），鼓励新的对象提及，同时保持字幕质量。我们进一步将SCST训练限制在参考说明中提到的检测到的对象的图像上，以训练ECOL-R模型。我们还通过抽象标签改进了我们的复制机制，抽象标签将知识从已知对象类型转移到新对象类型，形态学标签确定了新对象标签的适当变形形式。所得到的模型在nocaps上设置了新的最新技术水平（Agrawal等人，2019年）和坚持COCO（亨德里克斯等人，2016）基准。
2021-01-25 cs.CL cs.CV
Image Captioning with Visual Object Representations Grounded in the Textual Modality
Charles University（查理大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所先进智能项目中心）
我们目前正在探索文本和视觉模态之间共享嵌入空间的可能性。利用目标检测标签的文本性质和提取的视觉对象表示的假设表达性，我们提出了一种与当前趋势相反的方法，将表示接地在字幕系统的词嵌入空间中，而不是接地在其相关图像中的词或句子。基于以前的工作，我们施加额外的接地损耗的图像描述训练目标，旨在迫使视觉对象表示，以创建更多的异构集群的基础上，他们的类标签和复制的语义结构的词嵌入空间。此外，我们提供了一个学习的对象向量空间投影及其对IC系统性能的影响的分析。在性能只有轻微变化的情况下，接地模型在训练过程中比无约束模型更快地达到停止标准，需要的训练更新大约少两到三倍。此外，词嵌入与原始和投影对象向量之间的结构相关性的改善表明，接地实际上是相互的。
2020-10-20 cs.CL cs.CV
Object Counts! Bringing Explicit Detections Back into Image Captioning
University of Sheffield（谢菲尔德大学）
使用显式对象检测器作为图像描述的中间步骤--其用于构成早期工作中的基本阶段--在当前占主导地位的端到端方法中经常被绕过，其中语言模型直接以中级图像嵌入为条件。我们认为，明确的检测提供了丰富的语义信息，因此可以作为一个可解释的表示，以更好地理解为什么端到端的图像描述系统工作良好。我们提供了一个深入的分析端到端的图像描述，通过探索各种线索，可以从这样的目标检测。我们的研究表明，端到端的图像描述系统依赖于匹配的图像表示来生成字幕，并且对对象的频率、大小和位置进行编码是互补的，并且都在形成良好的图像表示中发挥作用。它还揭示了不同的对象类别以不同的方式对图像描述的贡献。
2018-04-23 cs.AI cs.CL cs.CV
TROPE: TRaining-Free Object-Part Enhancement for Seamlessly Improving Fine-Grained Zero-Shot Image Captioning
Arizona State University（亚利桑那州立大学）
针对细粒度零样本图像描述生成性能不足的问题，提出无训练对象部件增强（TROPE），利用检测器与NLP补充部件细节，无缝提升各方法性能并达到最先进水平。
2024-11-02 cs.CL cs.CV
Diverse Image Captioning with Context-Object Split Latent Spaces
Dept. of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系）；TU Darmstadt（达姆施塔特工业大学）
不同的图像描述模型旨在学习跨域数据集（如图像和文本）固有的一对多映射。目前用于此任务的方法是基于生成潜在变量模型，例如具有结构化潜在空间的VAE。然而，以前的工作所捕获的多模态的量仅限于成对的训练数据--底层生成过程的真正多样性没有被完全捕获。为了解决这一限制，我们利用数据集中的上下文描述来解释不同视觉场景中的相似上下文。为此，我们引入了一种新型的潜在空间因子分解（称为上下文对象分割），以对数据集中图像和文本的上下文描述的多样性进行建模。我们的框架不仅使不同的字幕，通过基于上下文的伪监督，但扩展到图像与新的对象和没有配对的字幕在训练数据。我们在标准COCO数据集和由具有新对象的图像组成的COCO数据集上评估了我们的COS-CVAE方法，显示出在准确性和多样性方面的显着增益。
2020-11-02 cs.CV cs.LG
In Defense of Scene Graphs for Image Captioning
University of California San Diego（加利福尼亚大学圣迭戈分校）；Intel Labs（英特尔实验室）；University of Warwick（华威大学）
主流的图像描述模型依赖于卷积神经网络（CNN）图像特征，通过递归模型生成字幕。最近，图像场景图已被用来增强字幕模型，以利用其结构语义，如对象实体，关系和属性。一些研究已经注意到，来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能，并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战，我们提出了\textbf{SG2Caps}，一个框架，只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像，另一个来自其标题。为了实现这一点，我们利用对象的空间位置和人-物-交互（HOI）标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度，表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积，从而减少了49%的可训练参数。我们的代码可在：https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
RONA: Pragmatically Diverse Image Captioning with Coherence Relations
The Pennsylvania State University（宾夕法尼亚州立大学）；National Institute of Technology, Tiruchirappalli（特里奇里帕利理工学院）
本文提出 RONA 提示策略，将连贯关系作为 MLLM 生成图像描述时的语用变化控制轴，从而在多个领域提升描述多样性及与真值的对齐程度。
2025-06-09 cs.AI cs.CL cs.CV
LFS: Learnable Frame Selector for Event-Aware and Temporally Diverse Video Captioning
GTS, AI Data Department, Huawei Technologies Co., Ltd.（华为技术有限公司人工智能数据部）
本文提出LFS，通过学习选择时间多样且事件相关的帧，提升视频描述的细节质量，在两个基准和ICH-CC上取得显著提升。
2026-05-07 cs.CV
Learning Compact Reward for Image Captioning
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
对抗学习在图像描述中产生自然多样的描述方面已经显示出了它的进步。然而，现有的对抗方法的学习奖励是模糊的和不明确的，由于奖励歧义问题。在本文中，我们提出了一种改进的对抗逆强化学习（rAIRL）方法，通过为句子中的每个单词解开奖励来处理奖励模糊问题，并通过改进损失函数来实现稳定的对抗训练，以使生成器向纳什均衡移动。此外，我们在损失函数中引入了一个条件项，以减轻模式坍塌，并增加所生成的描述的多样性。在MS COCO和Flickr30K上的实验表明，该方法可以学习到用于图像描述的紧凑奖励。
2020-03-24 cs.CL cs.CV
Diverse Video Captioning Through Latent Variable Expansion
利用文本描述自动描述视频内容是一项具有挑战性的重要任务，一直是计算机视觉领域的研究热点。以往的工作主要追求生成句子的准确性，而忽略了句子的多样性，这与人类的行为是不一致的。在本文中，我们的目标是为每个视频添加多个描述，并提出了一个新的框架。具体地说，对于一个给定的视频，传统的编码-解码过程的中间潜变量被用作输入到条件生成对抗网络（CGAN）的目的是生成不同的句子。我们采用不同的卷积神经网络（CNN）作为我们的生成器，生成以潜在变量为条件的描述，并评估生成句子的质量。同时，设计了一种新的DCE指标来评估不同的字幕。我们在基准数据集上评估了我们的方法，在那里它展示了它生成不同描述的能力，并与其他最先进的方法相比取得了优异的结果。
2021-06-15 cs.CV cs.LG
Analysis of diversity-accuracy tradeoff in image captioning
TTI-Chicago（芝加哥技术研究所）
我们研究了不同的模型架构，训练目标，超参数设置和解码程序对自动生成的图像字幕的多样性的影响。我们的研究结果表明：1）通过朴素采样进行简单解码，再加上低温，是一种具有竞争力和快速的方法，可以产生多样化和准确的字幕集; 2）使用强化学习进行基于CIDER的奖励训练会损害生成器的多样性，这无法通过操纵解码参数来减轻。此外，我们提出了一个新的度量AllSPICE的准确性和多样性的一组字幕由一个单一的值进行评估。
2020-02-27 cs.CL cs.CV
Let there be a clock on the beach: Reducing Object Hallucination in Image Captioning
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
用缺失或不存在的对象来解释图像被称为图像描述中的对象偏差（幻觉）。这种行为在最先进的字幕模型中很常见，这是人类不希望看到的。为了减少字幕中的对象幻觉，我们提出了三种简单而有效的句子训练增强方法，这些方法不需要新的训练数据或增加模型大小。通过广泛的分析，我们表明，所提出的方法可以显着减少我们的模型的对象偏见的幻觉指标。此外，我们通过实验证明，我们的方法减少了对视觉特征的依赖。我们所有的代码、配置文件和模型重量都将公开。
2021-11-02 cs.CV
Set Prediction Guided by Semantic Concepts for Diverse Video Captioning
CASIA（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Linkheer Science and Technology Co., Ltd.（浙江领赫科技有限公司）；ShanghaiTech University（上海科技大学）
本文提出语义概念引导的集合预测方法，通过集合级拟合与概念组合预测提升视频描述生成的多样性，并在基准上达到最优性能。
2023-12-25 cs.CV
MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Ningbo University（宁波大学）
基于文本的图像描述（TextCap）需要同时理解视觉内容和阅读图像的文本以生成自然语言描述。虽然任务可以教机器进一步理解复杂的人类环境，因为文本在我们的日常环境中无处不在，但它对正常的字幕提出了额外的挑战。基于文本的图像直观地包含丰富而复杂的多模态关系内容，即图像细节可以从多个视图而不是单个标题中进行描述。当然，我们可以引入额外的成对训练数据来显示图像描述的多样性，这个过程对于带有额外文本的TextCap对注释来说是劳动密集型和耗时的。基于上述见解，我们研究了如何使用不成对的训练范例生成专注于不同图像部分的多样化字幕。我们提出了多模态关系图逆向推理（MAGIC）框架，多样和不成对的文本帽。该框架可以自适应地构造多个图像的多模态关系图，并对图之间的复杂关系进行建模，以表示描述的多样性。此外，一个级联的生成对抗网络开发从建模图，以推断在图像-句子特征对齐和语言连贯性水平的不成对的字幕生成。我们验证了MAGIC的有效性，从不同的关系信息项的图像生成不同的字幕。实验结果表明，MAGIC可以生成非常有希望的结果，而无需使用任何图像-字幕训练对。
2022-03-04 cs.AI cs.CV
CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales
NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；UCAS（中国科学院大学）；Kling Team（Kling团队）；NJU（南京大学）；FDU（复旦大学）；PKU（北京大学）
提出CapRiCorn-1K基准，评估视频字幕质量和主体指代一致性，发现现有模型在长视频中表现下降，且指标与下游任务性能强相关。
2026-06-23 cs.CL cs.CV
Exploring Diverse In-Context Configurations for Image Captioning
Southeast University（东南大学）
本文针对图像描述中的VL上下文内学习，提出四种图像选择与四种描述分配策略，揭示多模态协同带来的独特规律，并使CIDEr较基线平均提升20.9。
2024-01-23 cs.CV
GroundCap: A Visually Grounded Image Captioning Dataset
INESC-ID（INESC-ID研究所）
提出基于ID的视觉定位图像描述系统及数据集GroundCap，实现对象引用跟踪与动作-对象链接，并引入gMETEOR指标验证描述的可验证性。
2025-06-25 cs.CL cs.CV
Pointing Novel Objects in Image Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
图像描述在最近的进展中随着显著的改进而受到显著的关注。然而，野生图像封装了丰富的知识，并且不能用仅包含域内对象的图像-标题对构建的模型来充分描述。在本文中，我们建议通过使用对象学习器增强标准深度字幕架构来解决这个问题。具体来说，我们提出了长短期记忆与指向（LSTM-P）--一个新的架构，有利于词汇扩展和产生新的对象，通过指向机制。从技术上讲，对象学习器最初是在可用的对象识别数据上进行预训练的。然后，指向LSTM-P平衡了通过LSTM生成单词和在解码器阶段的每个时间步从识别的对象中复制单词之间的概率。此外，我们的标题鼓励句子中对象的全局覆盖。在COCO图像描述和ImageNet数据集上进行了大量的实验，用于描述新的对象，与最先进的方法相比，报告了优越的结果。更值得注意的是，我们得到了平均60.9%的F1评分的HOLD出COCO~数据集。
2019-04-25 cs.CV
ACORT: A Compact Object Relation Transformer for Parameter Efficient Image Captioning
Universiti Malaya（马来亚大学）
最近的研究将基于Transformer的架构应用于图像描述，实现了最先进的图像描述性能，充分利用了Transformers在自然语言任务上的成功。不幸的是，虽然这些模型工作得很好，但一个主要缺陷是它们的模型尺寸太大。为此，我们提出了三种图像描述Transformers的参数减少方法：基数编码，跨层参数共享和注意力参数共享。通过结合这些方法，我们提出的ACORT模型的参数比基线模型少3.7倍至21.6倍，而不会影响测试性能。MS-COCO数据集上的结果表明，我们的ACORT模型与基线和SOTA方法相比具有竞争力，CIDER得分>=126。最后，我们提出了定性结果和消融研究，以进一步证明拟议的变化的有效性。代码和预训练模型可在https://github.com/jiahuei/sparse-image-captioning上公开获取。
2022-02-11 cs.CL cs.CV cs.LG
Diverse Image Captioning with Grounded Style
TU Darmstadt（达姆施塔特工业大学）
如在先前工作中提出的风格化图像描述旨在生成反映场景组成的事实描述之外的特性（诸如情感）的标题。这样的现有工作依赖于给定的情感标识符，其用于在字幕中表达某种全局风格，例如正面或负面，然而没有考虑视觉场景的风格内容。为了解决这个问题，我们首先分析了当前风格化字幕数据集的局限性，并提出了基于COCO属性的增强，以获得不同的风格化字幕COCO注释。此外，我们编码的风格化信息的潜在空间中的变分自编码器，具体地说，我们利用提取的图像属性，明确地结构其顺序的潜在空间根据不同的本地化风格特征。我们在Senticap和COCO数据集上的实验表明，我们的方法能够生成准确的标题，并且具有基于图像的风格多样性。
2022-05-03 cs.CV cs.LG
Sequential Latent Spaces for Modeling the Intention During Diverse Image Captioning
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多样化和准确的视觉+语言建模是保持创作自由和保持用户参与度的重要目标。然而，在语言模型中充分捕捉多样性的复杂性是具有挑战性的。最近的作品通常诉诸于潜变量模型增强或多或少的监督对象检测器或部分的语音标签。所有这些方法的共同之处在于，潜在变量要么只影响句子生成过程，要么在生成的各个步骤中是相同的。这两种方法都没有提供细粒度的控制。为了解决这个问题，我们提出了Seq-CVAE，它为每个单词位置学习一个潜在空间。我们鼓励这个时间的潜在空间来捕捉“意图”关于如何完成的句子，通过模仿一个代表，总结了未来。我们说明了所提出的方法的有效性，以预测具有挑战性的MSCOCO数据集上的句子延续，显着提高多样性指标相比，基线，同时执行标准的w.r.t句子质量。
2019-08-22 cs.CL cs.CV cs.LG
Object Relational Graph with Teacher-Recommended Learning for Video Captioning
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；PeopleAI, Inc.（人民人工智能有限公司）；State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室）；Aerospace Information Research Institute, CAS（中国科学院空天信息创新研究院）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
充分利用来自视觉和语言的信息对于视频描述任务至关重要。现有模型由于忽视对象之间的交互而缺乏足够的视觉表示，并且由于长尾问题而缺乏对内容相关词的足够训练。在本文中，我们提出了一个完整的视频描述系统，包括一个新的模型和一个有效的训练策略。具体来说，我们提出了一个对象关系图（ORG）为基础的编码器，捕捉更详细的交互功能，以丰富视觉表示。同时，我们设计了一种教师推荐学习（TRL）方法，充分利用外部语言模型（ELM），将丰富的语言知识融入到字幕模型中。ELM生成更多语义相似的单词建议，这些建议扩展了用于训练的地面实况单词，以处理长尾问题。三个基准测试：MSVD，MSR-VTT和VATEX的实验评估表明，所提出的ORG-TRL系统达到最先进的性能。广泛的消融研究和可视化说明了我们的系统的有效性。
2020-02-26 cs.CL cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
Decoupled Box Proposal and Featurization with Ultrafine-Grained Semantic Labels Improve Image Captioning and Visual Question Answering
Google AI（谷歌AI）
目标检测在当前的视觉和语言任务（如图像描述和视觉问答）的解决方案中起着重要作用。然而，像Faster R-CNN这样的流行模型依赖于为边界框及其相应的语义标签注释地面事实的昂贵过程，这使得它不太适合作为迁移学习的原始任务。在本文中，我们研究的效果去耦盒建议和特征化的下游任务。关键的见解是，这使我们能够利用大量的标记注释，这些注释以前无法用于标准目标检测基准。从经验上讲，我们证明了这会导致有效的迁移学习和改进的图像描述和视觉问答模型，如在公开的基准测试中所测量的。
2019-09-04 cs.CL cs.CV
Neural Baby Talk
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们介绍了一种新的框架图像描述，可以产生明确接地的实体，对象检测器在图像中找到的自然语言。我们的方法调和了经典的槽填充方法（通常更好地基于图像）与现代神经字幕方法（通常更自然，更准确）。我们的方法首先生成一个句子“模板”与插槽位置明确绑定到特定的图像区域。然后，这些槽由对象检测器在区域中识别的视觉概念填充。整个架构（句子模板生成和对象检测器填充）是端到端可区分的。我们验证了我们提出的模型在不同的图像描述任务的有效性。在标准的图像描述和新颖的对象字幕，我们的模型达到了最先进的COCO和Flickr 30 k数据集。我们还表明，我们的模型具有独特的优势时，场景组成的训练和测试分布-因此相关的字幕语言先验-是不同的。代码已在https://github.com/jiasenlu/NeuralBabyTalk上提供
2018-03-27 cs.CL cs.CV
