Going Beneath the Surface: Evaluating Image Captioning for Grammaticality, Truthfulness and Diversity
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）
图像描述作为一种多模态任务，近年来引起了人们的广泛关注。然而，这项任务的评价仍然是一个具有挑战性的问题。现有的评价指标集中在候选字幕和一组参考字幕之间的表面相似性，而不检查字幕和底层视觉内容之间的实际关系。我们引入了一个新的诊断评估框架的任务图像描述，直接评估模型的语法，真实性和多样性（GTD）生成的字幕的目标。我们证明了我们的评估框架的潜力，通过评估现有的图像描述模型上广泛的合成数据集，我们构建的诊断评估。我们经验表明，如何GTD评估框架，结合诊断数据集，可以提供洞察模型的能力和局限性，以补充标准的评估。
2019-12-19 cs.CL
A Self-Explainable Stylish Image Captioning Framework via Multi-References
University of Kentucky（肯塔基大学）
在本文中，我们提出建立一个时尚的图像描述模型，通过多风格多模态机制（2M）。我们证明，与2M，我们可以建立一个有效的时尚的字幕和模型产生的多个参考也可以通过识别错误的输入功能，错误的例子来支持解释模型。我们将展示如何使用这种2M机制来构建时尚的字幕模型，并展示如何利用这些模型来解释模型中可能出现的错误。
2021-11-18 cs.CL
PR-MCS: Perturbation Robust Metric for MultiLingual Image Captioning
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
易受词汇扰动的影响是图像描述自动评价指标的一个关键弱点。本文提出了扰动鲁棒多语言CLIPScore（PR-MCS），它表现出鲁棒性，这种扰动，作为一种新的无参考图像描述度量适用于多种语言。为了实现扰动鲁棒性，我们微调CLIP的文本编码器与我们的语言无关的方法，以区分扰动文本从原始文本。为了验证PR-MCS的鲁棒性，我们引入了一个新的细粒度的评估数据集，包括详细的标题，关键对象，和对象之间的关系，为3000幅图像在五种语言。在我们的实验中，PR-MCS在捕获所有五种语言中所有各种扰动类型的词汇噪声方面显着优于基线指标，证明PR-MCS对词汇扰动具有高度鲁棒性。
2023-03-15 cs.CL
Reinforced Video Captioning with Entailment Rewards
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
序列到序列模型在视频描述的时间任务上已经显示出有希望的改进，但是它们在训练期间优化了词级交叉熵损失。首先，使用策略梯度和混合损失方法进行强化学习，我们直接优化基于任务的指标（作为奖励），在多个数据集上的自动指标和人工评估的基础上，实现了基线的显著改进。接下来，我们提出了一种新的蕴涵增强型奖励（CIDEnt），纠正基于短语匹配的度量（如CIDER），只允许逻辑上隐含的部分匹配，避免矛盾，实现进一步显着改善CIDER-奖励模型。总的来说，我们的CIDEnt-奖励模型在MSR-VTT数据集上达到了新的最先进水平。
2017-08-07 cs.AI cs.CL cs.CV
Does Multimodality Help Human and Machine for Translation and Image Captioning?
LIUM, University of Le Mans（勒芒大学LIUM）；Galatasaray University（加拉塔萨雷大学）；CVC, Universitat Autonoma de Barcelona（巴塞罗那自治大学CVC）
本文介绍了LIUM和CVC为WMT 16多模态机器翻译挑战开发的系统。我们探索了各种比较方法，即基于短语的系统和使用单模态或多模态数据训练的注意递归神经网络模型。我们还进行了人为评估，以估计人类机器翻译和图像描述生成的多模态数据的有用性。我们的系统获得了最好的结果，这两个任务根据自动评估指标BLEU和METEOR。
2016-08-16 cs.CL cs.LG cs.NE
Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction
Nanyang Technological University（南洋理工大学）
互联网上视频数据的爆炸需要有效和高效的技术来自动为无法观看视频的人生成字幕。尽管视频描述研究取得了很大进展，特别是在视频特征编码方面，但语言解码器在很大程度上仍然基于流行的RNN解码器，如LSTM，它倾向于选择与视频一致的频繁词。在本文中，我们提出了一个边界感知的分层语言解码器的视频描述，它包括一个高层次的GRU为基础的语言解码器，作为一个全球（标题级）语言模型，和一个低层次的GRU为基础的语言解码器，作为一个本地（短语级）语言模型。最重要的是，我们在底层GRU语言解码器中引入了二进制门来检测语言边界。与其他先进的组件，包括联合视频预测，共享的软注意，和边界感知的视频编码，我们的集成视频描述框架可以发现分层的语言信息，并区分在一个句子中，这通常是混乱的语言生成的主题和对象。在两个广泛使用的视频描述数据集MSR-Video-to-Text（MSR-VTT）\cite{xu2016msr}和YouTube-to-Text（MSVD）\cite{chen2011collecting}上的实验表明，与现有方法相比，本文方法具有很强的竞争力.
2018-07-08 cs.CL cs.CV
Controlling Length in Image Captioning
TTI-Chicago（芝加哥丰田技术研究所）
我们开发和评估字幕模型，允许控制字幕长度。我们的模型可以利用这个控件来生成不同风格和连续性的字幕。
2020-05-29 cs.CL cs.CV
MUNIChus: Multilingual News Image Captioning Benchmark
MUNIChus是一个包含9种语言的多语言新闻图像描述基准，旨在评估和改进多语言新闻图像描述模型。
2026-03-11 cs.CL cs.CV
Transformer based Multitask Learning for Image Captioning and Object Detection
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
针对真实场景视觉理解需求，提出基于Transformer的多任务框架TICOD，联合训练图像描述与目标检测任务，在MS-COCO数据集上BERTScore较基线提升3.65%。
2024-03-10 cs.CL cs.CV
Image Representations and New Domains in Neural Image Captioning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
我们研究的可能性，最近有希望的结果，自动字幕生成主要是由于语言模型。通过改变由卷积神经网络产生的图像表示质量，我们发现，即使在提供了令人惊讶的差的图像表示时，最先进的神经字幕算法也能够产生高质量的字幕。我们在一个新的、细粒度的、转移学习的字幕域中复制了这一结果，该域由66 K食谱图像/标题对组成。我们还提供了一些关于自动字幕数据集的适当性的实验，并发现每个图像具有多个字幕是有益的，但不是绝对的要求。
2015-08-09 cs.CL cs.CV
Image Captioning: Transforming Objects into Words
Yahoo Research（雅虎研究院）
图像描述模型通常遵循编码器-解码器架构，其使用抽象图像特征向量作为编码器的输入。最成功的算法之一是使用从对象检测器获得的区域建议中提取的特征向量。在这项工作中，我们介绍了对象关系Transformer，建立在这种方法的基础上，明确地将通过几何注意输入检测对象之间的空间关系的信息。定量和定性的结果表明，这种几何注意图像描述的重要性，导致所有常见的字幕度量的MS-COCO数据集上的改进。
2020-01-11 cs.CL cs.CV
Large-Scale Bidirectional Training for Zero-Shot Image Captioning
LG AI Research（LG人工智能研究院）；Shutterstock（Shutterstock公司）
本文提出 BITTERS 框架，通过大规模图文双向训练实现零样本图像描述，并构建兼顾描述准确性与社会偏见的评估基准及高效关键词提取微调方法。
2023-10-01 cs.CL cs.CV
Re-evaluating Automatic Metrics for Image Captioning
Hacettepe University（哈杰泰佩大学）
近年来，从图像生成自然语言描述的任务受到了很多关注。因此，以自动方式评估此类图像描述方法变得越来越重要。在本文中，我们提供了一个深入的评估现有的图像描述指标，通过一系列精心设计的实验。此外，我们探讨利用最近提出的字移动器的距离（WMD）文档度量的目的图像描述。我们的研究结果概述了指标之间的差异和/或相似之处，并通过广泛的相关性，准确性和分心为基础的评估，其相对稳健性。我们的研究结果还表明，大规模杀伤性武器提供了强大的优势，比其他指标。
2016-12-22 cs.CL cs.CV
Spatial Attention as an Interface for Image Captioning Models
University of Potsdam（波茨坦大学）
现代深度学习模型的内部工作原理对于外部观察者来说通常是不清楚的，尽管涉及空间注意力机制。这项工作的想法是将这些空间注意力转换为自然语言，以提供一个更简单的访问模型的功能。因此，我采取了一个神经图像描述模型，并测量了三种不同的接口方法在其空间注意力的外部修改的反应：固定在整个生成过程中，固定的第一时间步骤和除了发电机的注意力。基于限界框的空间注意力向量的实验结果表明，字幕模型对方法相关变化的反应高达52.65%，并包括9.00%的情况下，对象类别，这是否则未提及。然后，通过提取视觉问答的词、短语和问题层次的空间注意，建立了一个层次共注意网络。在这里，为单词级别生成的字幕包括高达55.20%的情况下的问答对的细节。这项工作表明，空间注意作为一个外部接口的图像字幕生成器是一个有用的方法来访问视觉功能的自然语言。
2020-09-29 cs.CL cs.CV
In Defense of Scene Graphs for Image Captioning
University of California San Diego（加利福尼亚大学圣迭戈分校）；Intel Labs（英特尔实验室）；University of Warwick（华威大学）
主流的图像描述模型依赖于卷积神经网络（CNN）图像特征，通过递归模型生成字幕。最近，图像场景图已被用来增强字幕模型，以利用其结构语义，如对象实体，关系和属性。一些研究已经注意到，来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能，并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战，我们提出了\textbf{SG2Caps}，一个框架，只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像，另一个来自其标题。为了实现这一点，我们利用对象的空间位置和人-物-交互（HOI）标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度，表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积，从而减少了49%的可训练参数。我们的代码可在：https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题，提出EAMA方法，通过实体感知句子选择和实体选择两个对齐任务增强MLLM，在两个主流数据集上超越先前模型。
2024-09-20 cs.CL cs.CV
Are scene graphs good enough to improve Image Captioning?
KU Leuven（鲁汶大学）；New York University（纽约大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
许多表现最好的图像描述模型仅依赖于利用目标检测模型计算的目标特征来生成图像描述。然而，最近的研究提出直接使用场景图来引入关于对象关系的信息到字幕中，希望更好地描述对象之间的交互。在这项工作中，我们彻底调查使用场景图在图像描述。我们的经验研究是否使用额外的场景图形编码器可以导致更好的图像描述，并提出了一个有条件的图形注意力网络（C-GAT），其中的图像描述解码器状态是用来条件的图形更新。最后，我们确定在何种程度上预测的场景图中的噪声影响字幕质量。总体而言，我们发现使用场景图特征的模型和仅使用不同字幕度量的目标检测特征的模型之间没有显著差异，这表明现有的场景图生成模型仍然太嘈杂，在图像描述中没有用。此外，虽然预测的场景图的质量是非常低的，在一般情况下，当使用高质量的场景图，我们获得的增益高达3.3 CIDER相比，一个强大的自下而上自上而下的基线。我们在https://github.com/iacercalixto/butd-image-captioning上开放源代码来重现我们所有的实验。
2020-10-27 cs.CL cs.CV
The Role of Syntactic Planning in Compositional Image Captioning
University of Copenhagen（哥本哈根大学）
图像描述集中于推广到从与训练集相同的分布中提取的图像，而不是推广到图像的不同分布的更具挑战性的问题。最近，Nikolaus等人（2019）引入了一个数据集来评估图像描述中的成分概括，其中模型根据其描述具有不可见的形容词-名词和名词-动词成分的图像的能力进行评估。在这项工作中，我们研究了不同的方法来提高合成概括规划的句法结构的字幕。我们的实验表明，联合建模令牌和语法标签增强了基于RNN和Transformer的模型的泛化能力，同时也提高了标准指标的性能。
2021-01-28 cs.CL cs.CV
More Grounded Image Captioning by Distilling Image-Text Matching Model
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
视觉注意力不仅可以提高图像字幕的性能，而且可以作为一种视觉解释来定性地衡量字幕的合理性和模型的透明度。具体来说，我们期望字幕者能够在生成相应单词的同时将其专注的目光固定在正确的对象上。这种能力也被称为接地图像描述。然而，现有字幕机的接地精度远不能令人满意。为了在保持字幕质量的同时提高接地精度，收集词区域对齐作为强监督是昂贵的。为此，我们提出了一个部分的语音（POS）增强的图像-文本匹配模型（SCAN \cite{lee2018stacked}）：POS-SCAN，作为更接地图像描述的有效知识蒸馏。好处是双重的：1）给定一个句子和一幅图像，POS-SCAN可以比SCAN更准确地定位对象; 2）POS-SCAN作为字幕者视觉注意力模块的单词区域对齐正则化。通过展示基准实验结果，我们证明了配备POS-SCAN的传统图像字幕机可以在没有强有力监督的情况下显着提高接地精度。最后但并非最不重要的是，我们探讨了不可或缺的自我批判序列训练（SCST）\cite{Rennie_2017_CVPR}的背景下接地图像描述，并表明图像-文本匹配分数可以作为奖励更接地的字幕\footnote{https://github.com/YuanEZhou/Grounded-Image-Captioning}。
2020-04-01 cs.CL cs.CV
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们在这项工作中的目标是训练一个图像描述模型，生成更密集和信息量更大的字幕。我们介绍“关系字幕”，一种新的图像描述任务，其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架，是在多样性和信息量的优势，导致图像理解的基础上的关系。词性（POS，即主语-宾语-谓语类别）标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此，我们提出了一个多任务三流网络（MTTSNet），它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV
Consensus Graph Representation Learning for Better Grounded Image Captioning
Zhejiang University（浙江大学）；Citycloud Technology（城云科技）
由于视觉错误分类或过度依赖先验知识，导致视觉信息与目标词汇之间的语义不一致，当代视觉字幕模型经常出现幻觉对象，而这些对象实际上并不在场景中。最常见的方式是鼓励字幕模型将生成的目标词或短语动态地链接到图像的适当区域，即，接地的图像描述（GIC）。然而，GIC利用辅助任务（接地对象），其尚未解决对象幻觉的关键问题，即，语义不一致。在本文中，我们采取了一个新的角度对上述问题-利用视觉和语言模态之间的语义一致性。具体来说，我们提出了共识Ranking表示学习框架（CGRL）的GIC，将共识表示到接地字幕管道。共识是通过对准视觉图（例如，场景图）到考虑图中的节点和边的语言图。有了对齐的共识，字幕模型可以捕获正确的语言特征和视觉相关性，然后进一步建立适当的图像区域。我们验证了我们的模型的有效性，在Flickr 30 k实体数据集上，对象幻觉显著下降（-9% i）。此外，我们的CGRL还通过几个自动度量和人工评估进行了评估，结果表明，所提出的方法可以同时提高图像描述（+2.9 Cider）和接地（+2.3 F1）的性能。
2022-04-13 cs.AI cs.CL cs.CV
Injecting Semantic Concepts into End-to-End Image Captioning
Arizona State University（亚利桑那州立大学）；Microsoft Corporation（微软公司）
近年来，在开发更好的图像描述模型方面取得了巨大的进展，但其中大多数依赖于单独的对象检测器来提取区域特征。最近的视觉语言研究正在转向无检测器的趋势，利用网格表示进行更灵活的模型训练和更快的推理速度。然而，这样的发展主要集中在图像理解任务上，并且对于字幕生成任务的研究仍然较少。在本文中，我们关注一个性能更好的无检测器的图像描述模型，并提出了一个纯视觉Transformer为基础的图像描述模型，称为ViTCAP，其中使用网格表示，而不提取区域特征。为了提高性能，我们引入了一种新的概念令牌网络（CTN）预测的语义概念，然后将它们纳入端到端的字幕。特别是，CTN是建立在一个视觉Transformer的基础上，并被设计为通过分类任务预测的概念令牌，其中包含丰富的语义信息大大有利于字幕任务。与以前的基于检测器的模型相比，ViTCAP大大简化了架构，同时在各种具有挑战性的图像描述数据集上实现了有竞争力的性能。特别是，ViTCAP在COCO-caption Karpathy-split上达到138.1 CIDEr评分，在nocaps和Google-CC字幕数据集上分别达到93.8和108.6 CIDEr评分。
2022-03-31 cs.CL cs.CV
Attend to You: Personalized Image Captioning with Context Sequence Memory Networks
Lunit Inc.（Lunit 公司）；Seoul National University（首尔大学）
我们解决个性化问题的图像描述，这还没有讨论过在以前的研究。对于一个查询图像，我们的目标是生成一个描述性的句子，占先验知识，如用户在以前的文档中的活跃词汇。作为个性化图像描述的应用程序，我们解决了两个后自动化任务：主题标签预测和后生成，在我们新收集的Instagram数据集上，由来自6.3K用户的110万个帖子组成。本文提出了一种新的字幕模型--上下文序列记忆网络（CSMN）。它对以前的记忆网络模型的独特更新包括（i）利用记忆作为多种类型的上下文信息的存储库，（ii）将以前生成的单词附加到记忆中以捕获长期信息，而不会遭受消失梯度问题，以及（iii）采用CNN记忆结构来联合表示附近的有序记忆槽，以更好地理解上下文。通过Amazon Mechanical Turk的定量评估和用户研究，我们展示了CSMN的三个新功能的有效性及其在最先进的字幕模型上对个性化图像描述的性能增强。
2017-04-25 cs.CL cs.CV
Cross-Modal Similarity-Based Curriculum Learning for Image Captioning
Nagoya University（名古屋大学）；National Institute of Informatics（国立信息学研究所）
图像描述模型需要高水平的泛化能力来用文字描述各种图像的内容。大多数现有的方法在训练中平等对待图像-字幕对，而不考虑它们学习难度的差异。几种图像描述方法引入了课程学习方法，其呈现具有增加的难度级别的训练数据。然而，它们的难度测量要么基于特定领域的特征，要么基于先前的模型训练。在本文中，我们提出了一个简单而有效的难度测量图像描述使用跨模态相似度计算的预训练视觉语言模型。COCO和Flickr 30 k数据集上的实验表明，我们提出的方法实现了卓越的性能和有竞争力的收敛速度，而不需要额外的训练成本或产生额外的训练成本。此外，在困难示例和未知数据上的较高模型性能也证明了泛化能力。
2022-12-14 cs.CL cs.CV
Visual Semantic Relatedness Dataset for Image Captioning
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；TALP Research Center（TALP研究中心）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
本研究针对图像字幕任务，在COCO Captions数据集基础上扩展场景文本信息，构建文本视觉上下文数据集，支持将多种NLP方法以端到端或后处理方式融入字幕系统。
2023-04-30 cs.CL cs.CV
I-Tuning: Tuning Frozen Language Models with Image for Lightweight Image Captioning
Hong Kong Baptist University（香港浸会大学）；Zhejiang University（浙江大学）；NetEase Inc.（网易公司）
图像描述是一种传统的视觉和语言任务，旨在生成图像的语言描述。最近的研究集中在按比例增加模型的大小和训练数据的数量，这显著增加了模型训练的成本。与这些高成本模型不同，我们引入了一个轻量级的图像描述框架（I-Tuning），其中包含少量的可训练参数。我们设计了一个新的I-Tuning交叉注意模块来连接不可训练的预训练语言解码器GPT 2和视觉编码器CLIP-ViT。由于大多数参数在训练过程中不需要更新，因此我们的框架是轻量级和快速的。在三个图像描述基准上进行的实验结果表明，我们的框架实现了与大规模基线系统相当或更好的性能。但是，与最先进的基线相比，我们的模型包含的可训练参数少了10倍，需要的训练数据也少得多。
2023-03-13 cs.CL cs.CV
Pragmatic Issue-Sensitive Image Captioning
Stanford University（斯坦福大学）
图像描述系统最近已经有了显著的改进，但是它们仍然倾向于产生对字幕应该满足的通信目标不敏感的字幕。为了解决这个问题，我们提出了问题敏感的图像描述（ISIC）。在ISIC中，字幕系统被赋予目标图像和问题，这是一组以指定哪些信息相关的方式划分的图像。标题程序的目标是生成解决此问题的标题。为了模拟这一任务，我们使用了语用语言使用的理性言语行为模型的扩展。我们的扩展是建立在最先进的预训练神经图像字幕的基础上的，并明确地解释了我们意义上的问题。我们建立实验，这些模型生成的标题，都是高度描述性和问题敏感，我们展示了如何ISIC可以补充和丰富的相关任务的视觉问答。
2020-10-05 cs.CL cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
VieCap4H-VLSP 2021: ObjectAoA-Enhancing performance of Object Relation Transformer with Attention on Attention for Vietnamese image captioning
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
图像描述目前是一项具有挑战性的任务，它需要理解视觉信息并使用人类语言来描述图像中的视觉信息的能力。在本文中，我们提出了一种有效的方法来提高图像的理解能力的transformer为基础的方法，通过扩展对象关系Transformer架构与注意力的注意力机制。在VieCap4H数据集上的实验表明，该方法在VLSP图像描述共享任务的公开测试和私有测试中均优于原结构.
2023-03-20 cs.CL cs.CV
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University（香港浸会大学）；Fuxi AI Lab, NetEase Inc.（网易公司伏羲人工智能实验室）
图像描述是连接视觉和语言的一项基本任务，涉及跨模态理解和文本生成。近年来，图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前，首先利用一个额外的目标检测器来识别图像中的目标。然而，它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器，这是一项艰巨的任务。此外，目标检测器的错误很容易传播到后续的字幕模型，降低模型的性能。为了减轻这些缺陷，我们提出了一个令人沮丧的简单，但高效的端到端的图像描述框架，视觉条件GPT（VC-GPT），通过连接预先训练的视觉编码器（CLIP-ViT）和语言解码器（GPT 2）。与直接将交叉注意模块插入GPT 2的香草连接方法不同，本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此，我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试（MSCOCO、Flickr 30 k和NoCaps）进行的实验结果表明，我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
图像描述通常需要大量的训练图像-句子对。然而，在实践中，获取足够的训练对总是昂贵的，使得最近的字幕模型在其描述训练语料库之外的对象的能力方面受到限制（即，小说对象）。在本文中，我们提出了长短期记忆与字幕机制（LSTM-C）-一种新的架构，将复制纳入卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架，用于描述字幕中的新对象。具体而言，利用免费提供的对象识别数据集来开发新对象的分类器。然后，我们的LSTM-C很好地集成了解码器RNN的标准逐词句子生成与复制机制，该机制可以从输出句子中适当位置的新对象中选择单词。在MSCOCO图像描述和ImageNet数据集上进行了大量的实验，证明了我们提出的LSTM-C架构描述新对象的能力。此外，优越的结果相比，国家的最先进的深模型。
2017-08-17 cs.CL cs.CV
Object Hallucination in Image Captioning
UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
尽管不断改进性能，但当代图像描述模型倾向于使实际上不在场景中的对象“产生幻觉”。一个问题是标准度量仅测量与地面实况字幕的相似性，并且可能无法完全捕获图像相关性。在这项工作中，我们提出了一个新的图像相关性度量来评估当前的模型与真实的视觉标签，并评估其速度的对象幻觉。我们分析了字幕模型架构和学习目标如何有助于对象幻觉，探索幻觉何时可能是由于图像错误分类或语言先验，并评估当前句子度量捕获对象幻觉的程度。我们调查这些问题的标准图像描述基准，MSCOCO，使用不同的模型。我们的分析产生了几个有趣的发现，包括在标准句子指标上得分最高的模型并不总是具有较低的幻觉，并且幻觉更多的模型往往会在语言先验的驱动下犯错误。
2019-03-29 cs.CL cs.CV
Data augmentation to improve robustness of image captioning solutions
Intel Corporation（英特尔公司）；Intel Labs（英特尔研究院）
在本文中，我们研究了运动模糊的影响，在现实世界中的图像中的一个常见的质量缺陷，在一个国家的最先进的两阶段的图像描述解决方案，并注意到解决方案的性能下降，模糊强度增加。我们研究了在解决方案的每个或两个阶段使用训练数据增强来提高解决方案对运动模糊的鲁棒性的技术，即，目标检测和字幕，并观察改进的结果。特别是，增加两个阶段将MS COCO数据集上高运动模糊强度的CIDEr-D降级从68.7降低到11.7，并将Vizwiz数据集上的CIDEr-D降级从22.4降低到6.8。
2021-06-10 cs.CL cs.CV
Image captioning for Brazilian Portuguese using GRIT model
Alana AI Research（阿拉纳人工智能研究院）
本研究基于GRIT模型开发巴西葡萄牙语图像描述生成方法，通过调整模型在葡萄牙语数据集上训练，实现更高效的图像描述生成。
2024-02-07 cs.AI cs.CL cs.CV
Retrieval-augmented Image Captioning
INESC-ID；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
受检索增强的语言生成和预训练的视觉和语言（V&L）编码器的启发，我们提出了一种新的方法来图像描述，生成句子给定的输入图像和一组字幕检索从一个图像，而不是单独的图像。我们模型中的编码器使用预训练的V&L BERT联合处理图像和检索到的字幕，而解码器则关注多模态编码器表示，受益于检索到的字幕中的额外文本证据。COCO数据集上的实验结果表明，图像描述可以有效地制定从这个新的角度。我们的模型名为EXTRA，受益于使用从训练数据集中检索的标题，并且它还可以受益于使用外部数据集而无需重新训练。消融研究表明，检索足够数量的字幕（例如，k=5）可以提高字幕质量。我们的工作有助于使用预训练的V&L编码器进行生成任务，而不是标准的分类任务。
2023-02-16 cs.CL cs.CV
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能领域的一项具有挑战性的研究课题，在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展，包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后，我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore（新加坡国立大学）
本文提出Cross2StrA模型，利用场景图和句法成分树作为枢轴结构，结合跨模态语义对齐、跨语言句法对齐及回译训练，显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
New York University（纽约大学）
本研究在MS-COCO数据集上基准测试了基于注意力机制的图像描述模型，证明其相比RNN能生成更准确、语义更丰富的描述，并提升与人工评估的对齐性。
2025-02-26 cs.CL cs.CV
Object Counts! Bringing Explicit Detections Back into Image Captioning
University of Sheffield（谢菲尔德大学）
使用显式对象检测器作为图像描述的中间步骤--其用于构成早期工作中的基本阶段--在当前占主导地位的端到端方法中经常被绕过，其中语言模型直接以中级图像嵌入为条件。我们认为，明确的检测提供了丰富的语义信息，因此可以作为一个可解释的表示，以更好地理解为什么端到端的图像描述系统工作良好。我们提供了一个深入的分析端到端的图像描述，通过探索各种线索，可以从这样的目标检测。我们的研究表明，端到端的图像描述系统依赖于匹配的图像表示来生成字幕，并且对对象的频率、大小和位置进行编码是互补的，并且都在形成良好的图像表示中发挥作用。它还揭示了不同的对象类别以不同的方式对图像描述的贡献。
2018-04-23 cs.AI cs.CL cs.CV
Learning Compact Reward for Image Captioning
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
对抗学习在图像描述中产生自然多样的描述方面已经显示出了它的进步。然而，现有的对抗方法的学习奖励是模糊的和不明确的，由于奖励歧义问题。在本文中，我们提出了一种改进的对抗逆强化学习（rAIRL）方法，通过为句子中的每个单词解开奖励来处理奖励模糊问题，并通过改进损失函数来实现稳定的对抗训练，以使生成器向纳什均衡移动。此外，我们在损失函数中引入了一个条件项，以减轻模式坍塌，并增加所生成的描述的多样性。在MS COCO和Flickr30K上的实验表明，该方法可以学习到用于图像描述的紧凑奖励。
2020-03-24 cs.CL cs.CV
Adaptively Aligned Image Captioning via Adaptive Attention Time
Peking University（北京大学）；Macau University of Science and Technology（澳门科技大学）；Peng Cheng Laboratory（鹏城实验室）
最近的图像描述的神经模型通常采用具有注意力机制的编码器-解码器框架。然而，这种框架中的注意力机制将一个单个（关注的）图像特征向量对准到一个字幕词，假设从源图像区域和目标字幕词的一对一映射，这是永远不可能的。在本文中，我们提出了一种新的注意力模型，即自适应注意时间（AAT），对准源和目标自适应图像描述字幕。AAT允许框架学习在每个解码步骤中要采取多少注意步骤来输出字幕词。利用AAT，图像区域可以被映射到任意数量的字幕词，而字幕词也可以涉及任意数量的图像区域。AAT是确定性的和可微的，并且不引入任何噪声的参数梯度。在本文中，我们的经验表明，AAT提高了国家的最先进的方法上的任务图像描述。代码可在https://github.com/husthuaan/AAT上获得。
2020-01-06 cs.CL cs.CV
UIT-OpenViIC: A Novel Benchmark for Evaluating Image Captioning in Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
针对越南语图像描述缺乏基准的问题，构建了UIT-OpenViIC数据集，并提出了CAMO方法以提升描述质量，为低资源语言研究提供标准评估平台。
2023-05-09 cs.CL cs.CV
StyleM: Stylized Metrics for Image Captioning Built with Contrastive N-grams
University of Kentucky（肯塔基大学）
在本文中，我们建立了两个自动评估指标，用于评估机器生成的字幕和地面真实风格化字幕之间的关联：OnlyStyle和StyleCIDER。
2022-01-04 cs.AI cs.CL cs.CV
UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
尽管BERTScore等各种文本生成指标取得了成功，但由于描述的多样性，在没有足够参考字幕的情况下仍然难以评估图像字幕。在本文中，我们引入了一个新的度量UMIC，一个无参考的度量图像描述，它不需要参考字幕来评估图像字幕。基于视觉与语言BERT，我们通过对比学习训练UMIC识别负面字幕。此外，我们观察到以前基准数据集的关键问题（即，人类注释）对图像描述度量的影响，并在所生成的字幕上引入人类注释的新集合。我们在四个数据集上验证了UMIC，包括我们的新数据集，并表明UMIC具有比以前所有需要多个引用的指标更高的相关性。我们发布基准数据集和预训练模型来计算UMIC。
2021-06-26 cs.CL cs.CV
Image Captioning using Facial Expression and Attention
Macquarie University（麦考瑞大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
受益于机器视觉和自然语言处理技术的进步，当前的图像描述系统能够生成详细的视觉描述。在大多数情况下，这些描述代表了图像的客观特征，尽管有些模型确实包含了与观察者对图像的看法有关的主观方面，例如情感;然而，当前的模型通常在字幕生成过程中不考虑图像的情感内容。本文针对这个问题，提出了新的图像描述模型，使用面部表情特征来生成图像字幕。该模型使用长短期记忆网络生成图像字幕，该网络在不同的时间步长应用面部特征以及其他视觉特征。我们比较了一个全面的收集图像描述模型，没有面部特征，使用所有标准的评价指标。评估指标表明，应用具有注意力机制的面部特征实现了最佳性能，在从标准Flickr 30 K数据集提取的图像标题数据集上显示出更具表现力和更相关的图像标题，该数据集由约11 K包含面部的图像组成。对生成的字幕的分析发现，也许出乎意料的是，字幕质量的提高似乎不是来自添加与图像的情感方面相关的形容词，而是来自字幕中描述的动作的更多变化。
2020-04-15 cs.CL cs.CV
Image captioning in different languages
Tilburg University（蒂尔堡大学）
本文整理了截至2024年5月的非英语图像描述数据集清单，指出当前仅覆盖23种语言，即使加入Crossmodal-3600数据集，与约500种机构语言相比仍显匮乏，并提出视觉与语言领域的开放性问题。
2025-04-02 cs.CL cs.CV
ACORT: A Compact Object Relation Transformer for Parameter Efficient Image Captioning
Universiti Malaya（马来亚大学）
最近的研究将基于Transformer的架构应用于图像描述，实现了最先进的图像描述性能，充分利用了Transformers在自然语言任务上的成功。不幸的是，虽然这些模型工作得很好，但一个主要缺陷是它们的模型尺寸太大。为此，我们提出了三种图像描述Transformers的参数减少方法：基数编码，跨层参数共享和注意力参数共享。通过结合这些方法，我们提出的ACORT模型的参数比基线模型少3.7倍至21.6倍，而不会影响测试性能。MS-COCO数据集上的结果表明，我们的ACORT模型与基线和SOTA方法相比具有竞争力，CIDER得分>=126。最后，我们提出了定性结果和消融研究，以进一步证明拟议的变化的有效性。代码和预训练模型可在https://github.com/jiahuei/sparse-image-captioning上公开获取。
2022-02-11 cs.CL cs.CV cs.LG
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此，基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中，文本输入，例如，专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此，有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中，提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示，文本特征强化，和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明，与现有方法相比，该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Compositional Generalization in Image Captioning
University of Tübingen（图宾根大学）；University of Copenhagen（哥本哈根大学）；Stanford University（斯坦福大学）
图像描述模型通常是根据它们描述一组图像的能力来评估的，而不是根据它们概括看不见的概念的能力。我们研究了合成泛化的问题，它衡量了一个模型在描述图像时如何组合看不见的概念组合。国家的最先进的图像描述模型在这项任务上表现出较差的泛化性能。我们提出了一个多任务模型，以解决性能不佳，结合字幕生成和图像-句子排名，并使用解码机制，重新排名的字幕，根据其相似性的图像。与最先进的字幕模型相比，该模型在推广看不见的概念组合方面要好得多。
2019-09-16 cs.CL cs.CV cs.LG
Attention-based transformer models for image captioning across languages: An in-depth survey and evaluation
The University of Jordan（约旦大学）；Princess Sumaya University for Technology（苏曼亚公主科技大学）
本文系统综述了基于注意力机制的跨语言图像描述Transformer模型，分类梳理方法、数据集与评估指标，指出多语言场景下的关键挑战，并提出多模态学习与实时应用等未来方向。
2025-06-03 cs.AI cs.CL cs.CV
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Science and Technology Beijing（北京科技大学）；Wuhan University（武汉大学）；University of Chinese Academy of Sciences（中国科学院大学）
自注意网络在图像描述中显示出了重要的应用价值。为了提高图像描述的性能，本文从两个方面对SA进行了改进。首先，我们提出了标准化的自我注意力（NSA），SA的重新参数化，带来了SA内部规范化的好处。虽然规范化以前只适用于SA外，我们介绍了一种新的规范化方法，并证明它是可能的和有益的执行SA内的隐藏激活。其次，为了弥补Transformer的主要限制，它无法建模的输入对象的几何结构，我们提出了一类几何感知的自我注意（GSA），扩展SA显式和有效地考虑图像中的对象之间的相对几何关系。为了构建我们的图像描述模型，我们将这两个模块结合起来，并将其应用于香草自我注意力网络。我们广泛地评估我们的建议MS-COCO图像描述数据集和优越的结果相比，国家的最先进的方法时，取得了。在视频描述、机器翻译和视觉问答三个具有挑战性的任务上的进一步实验表明了我们方法的通用性。
2020-03-19 cs.CL cs.CV cs.MM
Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；IIT-CNR（意大利国家研究委员会IIT）
本综述全面概述了多模态大型语言模型时代图像描述评估的进展，分析了现有指标在相关性、排序准确性和幻觉敏感性等维度的局限，并指出了未来研究方向。
2025-05-30 cs.AI cs.CL cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya（马来亚大学）
随着深度模型的发展，在过去十年中，对图像描述的研究工作在原始性能方面取得了显着的进步，同时增加了模型复杂性和计算成本。然而，令人惊讶的是，用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究，我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构，即软注意，上下和对象关系Transformer。在此之后，我们提出了一种新的端到端的权重修剪方法，该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后，修剪方案扩展与编码器修剪，在那里我们表明，同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲，我们证明了80%到95%的稀疏网络（模型大小减少了75%）可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120，但模型大小仅为8.7 MB和14.5 MB（与密集版本相比，大小分别减少了96%和94%），可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
Image Captioning using Multiple Transformers for Self-Attention Mechanism
实时图像描述，以及足够的精度，是这个研究领域的主要挑战。目前的工作，多个Transformers的自我注意力机制（MTSM），利用多个变压器来解决这些问题。所提出的算法，MTSM，获取区域的建议，使用Transformer检测器（DETR）。MTSM通过另一个Transformer来传递这些区域建议及其视觉和几何特征，并学习对象的局部和全局互连，从而实现自注意力机制。所提出的算法，MTSM，定性和定量的结果显示在MSCOCO数据集。
2021-02-14 cs.AI cs.CL cs.CV
