Alleviating Noisy Data in Image Captioning with Cooperative Distillation
图像描述系统已经取得了实质性的进展，这主要归功于像Microsoft COCO或Vizwiz这样的精选数据集的可用性，这些数据集具有对其相应图像的准确描述。不幸的是，这种干净标记的数据的稀缺性导致训练算法产生的标题可以是简洁的，并且特定于图像中的细节。我们提出了一种新技术，合作蒸馏，它将干净的策划数据集与Google概念标题数据集（GCC）的网络规模自动提取的标题相结合，该数据集可能对图像的描述很差，但大小丰富，因此提供了丰富的词汇表，从而产生更具表现力的标题。
2020-12-21 cs.CV cs.LG
Explicit Image Caption Editing
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）
给定图像和参考字幕，图像字幕编辑任务旨在校正未对准误差并生成细化的字幕。然而，所有现有的字幕编辑工作是隐式的模式，即，他们直接产生的精炼字幕没有显式连接到参考字幕。在本文中，我们介绍了一个新的任务：显式字幕编辑（ECE）。ECE模型显式地生成编辑操作序列，并且该编辑操作序列可以将参考标题转换为精炼的标题。与隐式编辑相比，协同编辑具有以下优点：1）可解释性：可以跟踪整个编辑路径; 2）编辑效率：只需修改几个字。3)人性化：它类似于人类进行字幕编辑的方式，并试图保持原始的句子结构。为了解决这个新的任务，我们提出了第一个ECE模型：Tiger。Tiger是一个基于非自回归变换的模型，由三个模块组成：Tagger_del、Tagger_add和Inserter。具体来说，Tagger_del决定是否应该保留每个单词，Tagger_add决定在哪里添加新单词，Inserter预测要添加的特定单词。为了进一步促进ECE的研究，我们提出了两个新的ECE基准通过重新组织两个现有的数据集，分别称为COCO-EE和Flickr 30 K-EE。两个基准点的广泛消融证明了Tiger的有效性。
2022-07-20 cs.CV
CaMEL: Mean Teacher Learning for Image Captioning
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
用自然语言描述图像是自动建模视觉和文本模态之间联系的基本步骤。在本文中，我们提出了CaMEL，一种新的基于transformer的架构图像描述。我们提出的方法利用了两个相互关联的语言模型的交互，它们在训练阶段相互学习。这两种语言模型之间的相互作用遵循一种知识蒸馏的平均教师学习范式。实验上，我们评估了所提出的解决方案在COCO数据集上的有效性，并结合不同的视觉特征提取器。当与现有的建议相比，我们证明，我们的模型提供了国家的最先进的字幕质量与显着减少参数的数量。根据CIDER指标，在不使用外部数据的情况下进行训练时，我们获得了COCO的新技术水平。源代码和训练模型可在https://github.com/aimagelab/camel上公开获得。
2022-02-21 cs.AI cs.CL cs.CV
COCONut-PanCap: Joint Panoptic Segmentation and Grounded Captions for Fine-Grained Understanding and Generation
ByteDance（字节跳动）
本文提出COCONut-PanCap数据集，在COCO与COCONut全景掩码基础上引入细粒度区域级定位描述，通过人工密集标注提升视觉语言模型的理解与文本到图像生成性能，为联合全景分割与定位描述任务建立新基准。
2025-02-04 cs.CV
Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
New York University（纽约大学）
本研究在MS-COCO数据集上基准测试了基于注意力机制的图像描述模型，证明其相比RNN能生成更准确、语义更丰富的描述，并提升与人工评估的对齐性。
2025-02-26 cs.CL cs.CV
RATT: Recurrent Attention to Transient Tasks for Continual Image Captioning
University of Florence（佛罗伦萨大学）；Universitat Autónoma de Barcelona（巴塞罗那自治大学）
对持续学习的研究导致了各种方法来减轻前馈分类网络中的灾难性遗忘。令人惊讶的是，到目前为止，很少有人关注应用于图像描述等问题的递归模型的持续学习。在本文中，我们系统地研究了基于LSTM的图像描述模型的持续学习。我们提出了一种基于注意力的方法，明确地适应在连续的图像描述任务词汇的瞬态性质-即任务词汇不相交。我们称我们的方法经常注意瞬态任务（RATT），并展示了如何适应持续学习方法的基础上，重量egularization和知识蒸馏经常性的持续学习的问题。我们将我们的方法应用于增量图像描述问题，我们使用MS-COCO和Flickr 30数据集定义的两个新的持续学习基准。我们的研究结果表明，RATT能够顺序学习五个字幕任务，同时不会忘记以前学过的。
2020-10-29 cs.CV cs.LG
The Role of Data Curation in Image Captioning
University of Copenhagen（哥本哈根大学）；Wuhan University of Science and Technology（武汉科技大学）
本文研究图像描述生成中的数据整理，通过移除、替换描述或图像三种方法主动整理困难样本，在不增加样本数的情况下提升模型性能，实验验证了其有效性。
2024-02-02 cs.AI cs.CL cs.CV
CapMap-MS-TTA: 3rd Place Solution for the MUMU Track of the 8th LSVOS Challenge at ECCV 2026
Netease YiDun AI Lab（网易易盾AI实验室）
提出基于 Florence-2 的无训练方案 CapMap-MS-TTA，通过关键词映射和多尺度翻转 TTA 统一解决 MUMU 赛道三项任务，分数从 15.16 提升至 16.4815，获第三名。
2026-09-17 cs.AI cs.CV
Relationship-based Neural Baby Talk
City, University of London（伦敦大学城市学院）；Queen Mary University of London（伦敦玛丽女王大学）；MediaTek Research（联发科研究院）
理解图像中对象之间的交互是生成字幕的重要元素。在本文中，我们提出了一个基于关系的神经婴儿谈话（R-NBT）模型，通过三个不同的基于关系的图注意力网络（GAT）编码每个图像，全面调查几种类型的成对对象交互。我们研究三个主要的关系：\textit{spatial relationships}探索几何的相互作用，\textit{semantic relationships}提取语义的相互作用，和\textit{implicit relationships}捕捉隐藏的信息，不能明确建模如上所述。我们构造了三个关系图，图像中的对象作为节点，成对对象的相互关系作为边。通过GAT分别探索相邻区域的特征，我们将不同类型的关系整合到每个节点的视觉特征中。在COCO数据集上的实验表明，我们提出的R-NBT模型在三个图像字幕生成任务中的性能优于在COCO数据集上训练的最先进的模型。
2021-03-08 cs.AI cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya（马来亚大学）
随着深度模型的发展，在过去十年中，对图像描述的研究工作在原始性能方面取得了显着的进步，同时增加了模型复杂性和计算成本。然而，令人惊讶的是，用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究，我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构，即软注意，上下和对象关系Transformer。在此之后，我们提出了一种新的端到端的权重修剪方法，该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后，修剪方案扩展与编码器修剪，在那里我们表明，同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲，我们证明了80%到95%的稀疏网络（模型大小减少了75%）可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120，但模型大小仅为8.7 MB和14.5 MB（与密集版本相比，大小分别减少了96%和94%），可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
Microsoft COCO Captions: Data Collection and Evaluation Server
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Cornell NYC Tech（康奈尔纽约理工学院）；Virginia Tech（弗吉尼亚理工学院）；Facebook AI Research（Facebook人工智能研究院）；Microsoft Research（微软研究院）
在本文中，我们描述了Microsoft COCO Caption数据集和评估服务器。完成后，数据集将包含超过150万个描述超过330，000张图像的标题。对于训练和验证图像，将提供五个独立的人工生成的标题。为了确保自动字幕生成算法评估的一致性，使用评估服务器。评估服务器接收候选字幕，并使用几个流行的指标（包括BLEU、METEOR、ROUGE和CIDER）对其进行评分。提供了使用评估服务器的说明。
2015-04-03 cs.CL cs.CV
Multimedia Semantic Integrity Assessment Using Joint Embedding Of Images And Text
USC Information Sciences Institute（南加州大学信息科学研究所）
真实世界的多媒体数据通常由多种模态组成，例如具有关联文本（例如，字幕、用户评论等）的图像或视频。和元数据。这种多模态数据包易于被操纵，其中这些模态的子集可以被改变以歪曲或重新使用数据包，具有可能的恶意意图。因此，重要的是制定方法来评估或验证这些多媒体包的完整性。使用计算机视觉和自然语言处理方法来直接比较图像（或视频）和相关联的字幕以验证媒体包的完整性仅可能用于有限的对象和场景集合。在本文中，我们提出了一种新的基于深度学习的方法，用于评估包含图像和字幕的多媒体包的语义完整性，使用多媒体包的参考集。我们在一个框架中构建了一个图像和字幕的联合嵌入，该框架还提供了图像-字幕一致性得分（ICCS）。查询媒体包的完整性被评估为查询ICCS相对于参考数据集的inlierness。我们提出了MultimodAl信息操纵数据集（MAIM），一个新的数据集的媒体包从Flickr，我们提供给研究社区。我们使用新创建的数据集以及Flickr 30 K和MS COCO数据集来定量评估我们提出的方法。引用数据集不包含被篡改的查询包的未操作版本。我们的方法是能够实现的F1分数为0.75，0.89和0.94 MAIM，Flickr 30 K和MS COCO，分别用于检测语义不连贯的媒体包。
2018-06-29 cs.AI cs.CV cs.LG
SynC: Synthetic Image Caption Dataset Refinement with One-to-many Mapping for Zero-shot Image Captioning
Hanyang University（翰阳大学）
针对 T2I 合成数据中图像与描述语义错位的问题，本文提出 SynC 框架，通过一对多候选检索与循环一致性对齐评分重配描述，显著提升多种 ZIC 模型性能。
2025-07-24 cs.AI cs.CL cs.CV
COCO-Urdu: A Large-Scale Urdu Image-Caption Dataset with Multimodal Quality Estimation
Independent Researcher（独立研究者）
针对乌尔都语多模态数据匮乏问题，构建了源自MS COCO的大规模图像-标题数据集COCO-Urdu，含59,000张图像和319,000个标题，采用多模态质量估计框架验证并优化翻译，在多个指标上表现优异，为减少语言偏见奠定基础。
2025-09-10 cs.CL cs.CV
CAPTION: Correction by Analyses, POS-Tagging and Interpretation of Objects using only Nouns
Centro Universitário FEI（FEI大学中心）；Flinders University（弗林德斯大学）
最近，深度学习（DL）方法在图像描述和视觉问答方面表现出了出色的性能。然而，尽管它们的性能，DL方法不学习用于描述场景的单词的语义，使得难以发现字幕中使用的不正确的单词或交换具有相似含义的单词。本文提出了一种结合深度学习方法的目标检测和自然语言处理来验证图像标题的方法。我们测试我们的方法在FOIL-COCO数据集，因为它提供了正确的和不正确的字幕，各种图像只使用对象表示的MS-COCO图像数据集。结果表明，我们的方法具有良好的整体性能，在某些情况下类似于人类的表现。
2020-10-02 cs.CV
Pix2Cap-COCO: Advancing Visual Comprehension via Pixel-Level Captioning
Fudan University（复旦大学）；University of Maryland（马里兰大学）
提出首个全景像素级描述数据集Pix2Cap-COCO，引入全景分割-描述任务，并用于LMMs监督微调，显著提升GPT4RoI在多个基准上的性能。
2025-01-23 cs.AI cs.CV cs.LG
Partially-Supervised Image Captioning
Georgia Tech（佐治亚理工学院）；Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）
图像描述模型在描述受限域中的图像内容方面变得越来越成功。然而，如果这些模型要在野外发挥作用--例如，作为视力受损者的助手--就必须理解数量和种类多得多的视觉概念。为了解决这个问题，我们教图像描述模型新的视觉概念标记的图像和目标检测数据集。由于图像标签和对象类可以被解释为部分标题，我们制定了这个问题，从部分指定的序列数据学习。然后，我们提出了一种新的算法训练序列模型，如递归神经网络，部分指定的序列，我们表示使用有限状态自动机。在图像描述的上下文中，我们的方法解除了限制，以前需要的图像描述模型只在成对的图像句子语料库上进行训练，或者需要专门的模型架构，以利用替代的数据模态。将我们的方法应用于现有的神经字幕模型，我们使用COCO数据集在新的对象字幕任务上取得了最先进的结果。我们进一步表明，我们可以训练字幕模型来描述来自Open Images数据集的新视觉概念，同时保持具有竞争力的COCO评估分数。
2018-11-28 cs.CV
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology（布尔诺理工大学）
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入，以找到语义相似的图像。从这些图像中，基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低，但它在通过图灵测试的字幕比例方面具有竞争力，并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Diverse Image Captioning with Grounded Style
TU Darmstadt（达姆施塔特工业大学）
如在先前工作中提出的风格化图像描述旨在生成反映场景组成的事实描述之外的特性（诸如情感）的标题。这样的现有工作依赖于给定的情感标识符，其用于在字幕中表达某种全局风格，例如正面或负面，然而没有考虑视觉场景的风格内容。为了解决这个问题，我们首先分析了当前风格化字幕数据集的局限性，并提出了基于COCO属性的增强，以获得不同的风格化字幕COCO注释。此外，我们编码的风格化信息的潜在空间中的变分自编码器，具体地说，我们利用提取的图像属性，明确地结构其顺序的潜在空间根据不同的本地化风格特征。我们在Senticap和COCO数据集上的实验表明，我们的方法能够生成准确的标题，并且具有基于图像的风格多样性。
2022-05-03 cs.CV cs.LG
Exploring Discrete Diffusion Models for Image Captioning
Xi’an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）；Microsoft（微软）
图像描述任务通常通过对文本标记逐个解码的自回归方法来实现。我们提出了一个基于扩散的字幕模型，被称为DDCap，以允许更多的解码灵活性。与图像生成不同，图像生成的输出是连续的，冗余的，具有固定的长度，图像标题中的文本是分类的，长度不同的短。因此，如我们的实验所示，单纯地将离散扩散模型应用于文本解码并不能很好地工作。为了解决性能差距，我们提出了几个关键技术，包括最佳优先推理，集中注意力掩码，文本长度预测和无图像训练。在没有额外字幕预训练的COCO上，它的CIDER得分为117.8，比在受控设置中具有相同架构的自回归基线高出+5.0。在字幕填充任务中，它的CIDEr分数比自回归基线（230.3 vs.203.5）高出+26.8。使用4M视觉语言预训练图像和基本大小的模型，我们在COCO上获得了125.1的CIDER分数，这与最好的自回归框架相竞争。该代码可在https://github.com/buxiangzhiren/DDCap上获得。
2022-12-09 cs.CV
ChatPainter: Improving Text to Image Generation using Dialogue
Microsoft Research（微软研究院）；Université de Montréal（蒙特利尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
从Microsoft Common Objects in Context（MS COCO）等数据集上的文本描述合成逼真的图像，其中每个图像可以包含多个对象，这是一项具有挑战性的任务。先前的工作已经使用文本标题来生成图像。然而，字幕可能没有足够的信息来捕获整个图像，并且不足以使模型能够理解图像中的哪些对象对应于字幕中的哪些单词。我们发现，添加一个对话，进一步描述了场景导致显着改善的初始分数和MS COCO数据集上生成的图像的质量。
2018-02-22 cs.CV
Exploring Nearest Neighbor Approaches for Image Captioning
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
我们探讨了各种最近邻基线方法的图像描述。这些方法在训练集中找到一组最近邻图像，可以从该训练集中借用字幕用于查询图像。我们通过找到最能代表从最近邻图像收集的候选字幕集的“一致性”的字幕来为查询图像选择字幕。当通过MS COCO字幕评估服务器上的自动评估指标进行测量时，这些方法的性能与许多最近生成新颖字幕的方法一样好。然而，人类研究表明，生成新颖字幕的方法仍然优于最近邻方法。
2015-05-17 cs.CV
FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）；Surrey Institute for People Centred AI（萨里以人为本人工智能研究所）
我们使用第一个手绘场景草图数据集FS-COCO将草图研究推进到场景。考虑到实际应用，我们收集的草图可以很好地传达场景内容，但可以在几分钟内由具有任何素描技能的人绘制草图。我们的数据集包括10，000个手绘场景矢量草图，每个点的时空信息由100个非专家个人，提供对象和场景级抽象。每个草图都增加了文本描述。使用我们的数据集，我们第一次研究了从手绘场景草图和草图标题的细粒度图像检索的问题。我们从以下方面获得见解：（一）使用笔划时间顺序在草图中编码的场景显著性;（二）从场景草图和图像标题中检索图像的性能比较;（三）草图和图像标题中信息的互补性，以及结合这两种方式的潜在好处。此外，我们扩展了一个流行的矢量草图LSTM为基础的编码器，以处理更大的复杂性比以前的工作所支持的草图。也就是说，我们提出了一个分层的草图解码器，我们利用在一个草图特定的“预文本”任务。我们的数据集首次实现了对手绘场景草图理解及其实际应用的研究。
2022-07-21 cs.CV
Look and Modify: Modification Networks for Image Captioning
Multimedia University（多媒体大学）
基于注意力的神经编码器-解码器框架已被广泛用于图像描述。这些框架中的许多框架将其全部焦点部署在通过仅依赖于图像特征或目标检测区域特征从头开始生成字幕上。在本文中，我们介绍了一种新的框架，通过对剩余信息进行建模，从给定的框架中学习修改现有的字幕，在每个时间步，模型学习保留，删除或添加到现有字幕中的内容，使模型能够完全专注于“修改什么”而不是“预测什么”。我们在COCO数据集上评估了我们的方法，在几个图像描述框架上进行了训练，并表明我们的模型成功地修改了标题，从而获得了更好的评价分数。
2020-03-09 cs.CV
Rich Image Captioning in the Wild
Microsoft Research（微软研究院）
我们提出了一个图像字幕系统，解决了自动描述图像在野外的新挑战。这些挑战包括高质量的字幕质量，相对于人类的判断，域外数据处理，并在许多应用程序中所需的低延迟。我们建立在最先进的框架之上，开发了一个深度视觉模型，可以检测广泛的视觉概念，一个实体识别模型，可以识别名人和地标，以及一个用于字幕输出的置信度模型。实验结果表明，我们的字幕引擎在域内数据集（即MS COCO）和域外数据集上的性能明显优于以前的最先进的系统。
2016-03-31 cs.CV
Image Captioning with Very Scarce Supervised Data: Adversarial Semi-Supervised Learning Approach
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
构建由大量图像和每个图像的几个标题组成的有组织的数据集是一项艰巨的任务，需要大量的人力。另一方面，单独收集大量的图像和句子可能会非常容易。在本文中，我们开发了一种新的数据高效的半监督框架训练的图像描述模型。我们通过学习将大量未配对的图像和字幕数据关联起来，从而利用它们。为此，我们提出的半监督学习方法通过生成对抗网络为未配对样本分配伪标签，以学习图像和字幕的联合分布。为了进行评估，我们构建了很少配对的COCO数据集，这是MS COCO标题数据集的修改版本。实证结果表明，与几个强基线相比，我们的方法是有效的，特别是当配对样本数量很少时。
2019-11-21 cs.CL cs.CV
Text-guided Attention Model for Image Captioning
POSTECH（浦项科技大学）
视觉注意在图像理解中起着重要的作用，并在生成图像的自然语言描述中表现出其有效性。另一方面，最近的研究表明，与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发，我们引入了一个文本引导的注意力模型的图像描述，学习驱动视觉注意力使用相关的字幕。对于这个模型，我们提出了一个基于范例的学习方法，检索从训练数据相关的标题与每个图像，并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型，并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
Show, Edit and Tell: A Framework for Editing Image Captions
Multimedia University（多媒体大学）；Harvard University（哈佛大学）
大多数图像描述框架直接从图像生成标题，学习从视觉特征到自然语言的映射。但是，编辑现有的字幕可能比从头开始生成新字幕更容易。直观地说，当编辑字幕时，模型不需要学习字幕中已经存在的信息（即句子结构），使其能够专注于修复细节（例如替换重复的单词）。本文提出了一种新的方法来图像描述的基础上迭代自适应细化现有的字幕。具体来说，我们的字幕编辑模型由两个子模块组成：（1）EditNet，一个具有自适应复制机制（Copy-LSTM）和选择性复制记忆注意力机制（SCMA）的语言模块，以及（2）DCNet，一个基于LSTM的去噪自动编码器。这些组件使我们的模型能够直接复制和修改现有的字幕。实验表明，我们的新方法在MS COCO数据集上实现了最先进的性能，无论是否有序列级训练。
2020-03-06 cs.CV
Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
当前的字幕方法可以使用黑盒架构来描述图像，其行为很难从外部控制和解释。由于图像可以根据目标和上下文以无限方式描述，因此需要更高程度的可控性来在复杂场景中应用字幕算法。在本文中，我们介绍了一种新的框架图像描述，可以产生不同的描述，允许接地和可控性。给定图像区域序列或集合形式的控制信号，我们通过递归架构生成相应的字幕，该架构根据给定控制的约束条件，预测明确基于区域的文本块。实验是在Flickr30k实体和COCO实体上进行的，COCO实体是COCO的扩展版本，我们在其中添加了以半自动方式收集的接地注释。结果表明，我们的方法实现了可控图像描述的最先进的性能，在字幕质量和多样性。代码和注释可在https://github.com/aimagelab/show-control-and-tell上公开获得。
2019-05-09 cs.CL cs.CV
Reflective Decoding Network for Image Captioning
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
现有的图像描述方法大多集中在改善图像的视觉特征上，较少关注利用语言的固有特性来提高字幕效果。在本文中，我们表明，词汇之间的连贯性和句子的句法范式也很重要，以产生高质量的图像字幕。在传统的编码器-解码器框架下，我们提出了用于图像描述的反射解码网络（RDN），它增强了字幕解码器中单词的长序列依赖性和位置感知。我们的模型学习协作地关注视觉和文本特征，同时感知每个单词在句子中的相对位置，以最大限度地提高生成的标题中提供的信息。我们评估我们的RDN的有效性COCO图像描述数据集上，并实现优于以前的方法的性能。进一步的实验表明，我们的方法是特别有利的复杂的场景描述的标题硬的情况下。
2019-08-30 cs.CV
Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
图像描述的目的是通过机器生成描述图像内容的字幕。尽管做出了许多努力，但为图像生成有区别的字幕仍然是不平凡的。传统的方法大多模仿语言的结构模式，因此往往陷入重复频繁的短语或句子的刻板印象，而忽略了每个图像的独特之处。在这项工作中，我们提出了一个图像描述框架与自检索模块作为训练指导，鼓励产生歧视性的字幕。它具有独特的优势：（1）自检索引导可以充当字幕区分度的度量和评估器，以确保生成的字幕的质量。(2)生成的字幕和图像之间的对应关系自然地被纳入生成过程中，而无需人工注释，因此我们的方法可以利用大量未标记的图像来提高字幕性能，而无需额外的费力注释。我们证明了所提出的检索引导方法的有效性COCO和Flickr30k字幕数据集，并显示其优越的字幕性能与更多的歧视性字幕。
2018-07-23 cs.CV
Image Captioning with Unseen Objects
HAVELSAN Inc.（哈维尔桑公司）；Middle East Technical University（中东技术大学）；Hacettepe University（哈塞特佩大学）
图像字幕生成是计算机视觉和自然语言处理交叉领域的一个长期存在且具有挑战性的问题。许多最近提出的方法利用一个完全监督的对象识别模型内的字幕方法。然而，这样的模型倾向于生成仅由识别模型预测的对象组成的句子，不包括没有标记的训练样本的类的实例。在本文中，我们提出了一个新的具有挑战性的场景，目标是在完全零样本学习设置中的图像描述问题，其中的目标是能够生成包含在训练过程中看不到的对象的测试图像的标题。该方法结合了一种新的zero-shot目标检测模型和一个基于模板的句子生成器。我们的实验在COCO数据集上显示了有希望的结果。
2019-07-31 cs.CV
Self-Supervised Image Captioning with CLIP
New York University（纽约大学）
针对图像描述依赖大量图文对的问题，提出先用少量有标注数据初始化、再借助 CLIP 相关性辅助任务进行自监督学习的方法，仅用不到2%的COCO标注即达到全量训练的先进性能。
2023-11-02 cs.CV
Understanding and Evaluating Racial Biases in Image Captioning
Princeton University（普林斯顿大学）
图像描述是一项重要的任务，为基准的视觉推理和使无障碍的人与视觉障碍。然而，正如在许多机器学习环境中一样，社会偏见可能会以不期望的方式影响图像描述。在这项工作中，我们研究了图像描述中的偏差传播途径，特别关注COCO数据集。先前的工作分析了使用自动派生的性别标签的标题中的性别偏见，在这里，我们研究使用手动注释的种族和交叉偏见。我们的第一个贡献是在获得IRB批准后，注释了28，315名被描绘的人的感知性别和肤色。使用这些注释，我们比较了手动和自动生成的图像标题中存在的种族偏见。我们展示了图片的标题性能，情绪和文字选择之间的差异与较深的皮肤的人。此外，我们发现这些差异的幅度在现代字幕系统中比旧的字幕系统更大，从而导致人们担心，如果没有适当的考虑和缓解，这些差异只会变得越来越普遍。代码和数据可在https://princetonvisualai.github.io/imagecaptioning-bias上获得。
2021-08-30 cs.CV
Guiding Long-Short Term Memory for Image Caption Generation
KU Leuven（鲁汶大学）；iMinds（iMinds研究院）；University of Amsterdam（阿姆斯特丹大学）；The Australian National University（澳大利亚国立大学）
在这项工作中，我们专注于图像字幕生成的问题。我们提出了一个扩展的长短期记忆（LSTM）模型，我们的硬币短gLSTM。特别是，我们将从图像中提取的语义信息作为额外的输入添加到LSTM块的每个单元中，目的是引导模型走向与图像内容更紧密耦合的解决方案。此外，我们探索不同的长度规范化策略的束搜索，以防止有利于短句。在Flickr8K、Flickr30K和MS COCO等各种基准数据集上，我们获得的结果与当前最先进的数据集不相上下，甚至优于当前最先进的数据集。
2015-09-16 cs.CV
SC-Captioner: Improving Image Captioning with Self-Correction by Reinforcement Learning
College of Future Information Technology, Fudan University（复旦大学未来信息科技学院）；StepFun；Shanghai Innovation Institute（上海创新研究院）
提出强化学习框架SC-Captioner，通过基于场景图解析设计的奖励函数实现图像描述自校正，并构建RefinedCaps数据集与改进评估指标，显著提升了大型视觉语言模型的描述质量。
2025-08-08 cs.CV
Harnessing Caption Detailness for Data-Efficient Text-to-Image Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhongguancun Academy（中关村学院）
本研究提出基于图像覆盖率和平均物体细节度的字幕细节度新指标，用于文本生成图像模型的数据选择，仅用20%数据训练就超越全量数据和长度选择法，提升生成效果。
2025-05-21 cs.CV
Diverse Image Captioning with Context-Object Split Latent Spaces
Dept. of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系）；TU Darmstadt（达姆施塔特工业大学）
不同的图像描述模型旨在学习跨域数据集（如图像和文本）固有的一对多映射。目前用于此任务的方法是基于生成潜在变量模型，例如具有结构化潜在空间的VAE。然而，以前的工作所捕获的多模态的量仅限于成对的训练数据--底层生成过程的真正多样性没有被完全捕获。为了解决这一限制，我们利用数据集中的上下文描述来解释不同视觉场景中的相似上下文。为此，我们引入了一种新型的潜在空间因子分解（称为上下文对象分割），以对数据集中图像和文本的上下文描述的多样性进行建模。我们的框架不仅使不同的字幕，通过基于上下文的伪监督，但扩展到图像与新的对象和没有配对的字幕在训练数据。我们在标准COCO数据集和由具有新对象的图像组成的COCO数据集上评估了我们的COS-CVAE方法，显示出在准确性和多样性方面的显着增益。
2020-11-02 cs.CV cs.LG
Uncertainty-Aware Image Captioning
Meituan（美团）
一般认为，字幕中单词的不确定性越高，就需要更多的上下文相关信息来确定它，然而，目前的图像描述方法通常考虑的是句子中所有单词的顺序生成。在本文中，我们提出了一个不确定性感知的图像描述框架，该框架从容易到困难，直到收敛，反复操作插入现有的单词之间的不连续的候选单词。我们假设句子中的高不确定性单词需要更多的先验信息来做出正确的决定，并且应该在稍后的阶段产生。由此产生的非自回归层次结构使得字幕生成易于解释和直观。具体来说，我们利用图像条件的词袋模型来衡量字的不确定性和应用动态规划算法来构建训练对。在推理过程中，我们设计了一个不确定性自适应并行束搜索技术，产生经验对数时间复杂度。在MS COCO基准上的大量实验表明，我们的方法在字幕质量和解码速度上都优于强基线和相关方法。
2022-11-30 cs.CV
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
凝视反映了人类如何处理视觉场景，因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力，例如对象定位和识别，但是仍然不清楚凝视是否也可以有益于以场景为中心的任务，例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用，提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集，我们首先评估最先进的对象和场景识别模型，自下而上的视觉显着性和人类凝视之间的关系。然后，我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中，并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估，我们表明，我们的方法提高了图像描述的性能，凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong（香港城市大学）；Fuzhou University（福州大学）
自动评估图像字幕的质量可能是非常具有挑战性的，因为人类语言是非常灵活的，可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发，我们提出了一种基于学习的图像描述度量，我们称之为内在图像描述评价（$I^2CE$）。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型，双分支模型和三分支模型。我们的实证测试表明，$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断，当代图像描述评价指标。此外，我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明，我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上，建议的度量可以作为一个新的指标的内在信息之间的字幕，这可能是补充现有的。
2021-06-29 cs.CV
A Weighted Multi-Criteria Decision Making Approach for Image Captioning
Shahid Beheshti University G.C（沙希德·贝赫什提大学 G.C）
图像描述的目的是自动生成自然语言的图像描述。这是人工智能领域的一个具有挑战性的问题，最近在计算机视觉和自然语言处理中受到了极大的关注。在现有的方法中，基于视觉检索的方法已被证明是非常有效的。这些方法搜索相似的图像，然后基于检索到的图像的标题为查询图像构建标题。在这项研究中，我们提出了一种基于视觉检索的图像描述的方法，在该方法中，我们使用多准则决策算法，有效地结合了几个标准与比例的影响权重检索最相关的标题查询图像。所提出的方法的主要思想是设计一种机制，检索更多的语义相关的字幕与查询图像，然后选择最合适的字幕通过模仿人类的行为的基础上加权多准则决策算法。在MS COCO基准数据集上进行的实验表明，与使用比例影响权重的标准的最新模型相比，该方法提供了更有效的结果。
2019-03-17 cs.CV
A Semi-supervised Framework for Image Captioning
RWTH Aachen（亚琛工业大学）；ETH Zürich（苏黎世联邦理工学院）
用于图像描述的现有技术方法需要由具有成对图像数据的字幕组成的监督训练数据。这些方法通常无法使用无监督数据，例如没有对应图像的文本数据，这是一种更丰富的商品。在这里，我们提出了一种新的方式来使用这样的文本数据，人工生成丢失的视觉信息。我们评估这种学习方法上的一个新设计的模型，检测视觉概念存在于图像中，并将它们与注意力机制的审查器-解码器架构。与以前的方法，编码视觉概念使用词嵌入，我们建议使用区域图像特征，捕捉更多的内在信息。这种架构的主要好处是，它合成有意义的思想向量，捕捉显着的图像属性，然后应用软注意解码器解码的思想向量，并生成图像字幕。我们在Microsoft COCO和Flickr 30 K数据集上评估了我们的模型，并证明了该模型与我们的半监督学习方法相结合可以大大提高性能，并帮助模型生成更准确和多样化的字幕。
2017-06-24 cs.CV
Engaging Image Captioning Via Personality
Facebook AI Research（Facebook人工智能研究）
标准的图像描述任务，如COCO和Flickr 30 k，是真实的、语气中性的，并且（对人类）陈述明显的（例如，“一个人弹吉他”）。虽然这些任务对于验证机器是否理解图像的内容很有用，但它们并不像字幕那样吸引人类。考虑到这一点，我们定义了一个新的任务，个性字幕，其目标是通过结合可控的风格和个性特征，尽可能地吸引人类。我们收集并发布了一个包含201，858个此类标题的大型数据集，这些标题以215种可能的特征为条件。我们建立模型，结合现有的工作，从（i）句子表示（Mazare等人，2018），其中Transformers在17亿个对话示例上训练;以及（ii）图像表示（Mahajan等人，2018年），ResNets训练了35亿张社交媒体图像。我们在Flickr 30 k和COCO上获得了最先进的性能，并在我们的新任务上获得了强大的性能。最后，在线评估验证了我们的任务和模型与人类的互动，我们的最佳模型接近人类的表现。
2019-03-20 cs.AI cs.CL cs.CV
ALOHa: A New Measure for Hallucination in Captioning Models
University of California, Berkeley（加州大学伯克利分校）
针对 CHAIR 受限于固定物体词表的问题，本文提出开放词汇指标 ALOHa，利用 LLM 提取物体、计算语义相似度并通过匈牙利匹配评分，在 HAT 和 nocaps 上显著提升幻觉识别率。
2024-04-03 cs.AI cs.CL cs.CV
Align2Ground: Weakly Supervised Phrase Grounding Guided by Image-Caption Alignment
Georgia Institute of Technology（佐治亚理工学院）；SRI International（SRI国际）；Facebook AI Research（Facebook人工智能研究院）
我们解决了接地的问题，自由形式的文本短语，通过使用弱监督图像标题对。我们提出了一种新的端到端的模型，使用标题到图像检索作为“下游”的任务，以指导短语本地化的过程。我们的方法，作为第一步，推断感兴趣的区域（ROI）和标题中的短语之间的潜在对应关系，并使用这些匹配的ROI创建一个有区别的图像表示。在随后的步骤中，该（学习的）表示与标题对齐。我们的主要贡献在于建立这种“标题条件”的图像编码，它紧密耦合的任务，并允许弱监督，以有效地指导视觉接地。我们提供了广泛的实证和定性分析，以调查我们提出的模型的不同组成部分，并将其与竞争基线进行比较。对于短语本地化，我们报告了VisualGenome数据集上比现有技术水平提高了4.9%（绝对值）。我们还报告了COCO和Flickr 30 k数据集上下游标题到图像检索任务的最新结果。
2019-10-15 cs.CV
Scene Graph Generation for Better Image Captioning?
Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；LMU Munich（慕尼黑大学）
我们调查纳入监督图像字幕生成的任务，提出了一个模型，利用检测到的对象和自动生成的视觉关系来描述图像中的自然语言的视觉关系。要做到这一点，我们首先从原始图像像素生成一个场景图，通过识别单个对象和它们之间的视觉关系。然后，这个场景图作为我们的图形到文本模型的输入，生成最终的标题。与以前的方法相比，我们的模型因此明确地对图像中的对象和视觉关系的检测进行建模。在我们的实验中，我们从Visual Genome和MS COCO的交集中构建了一个新的数据集，该数据集由具有相应的黄金场景图和人类创作的标题的图像组成。我们的研究结果表明，我们的方法优于现有的最先进的端到端模型，直接从原始输入像素生成图像描述时，比较的BLEU和METEOR评估指标。
2021-09-23 cs.CV
Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Tencent Youtu Lab（腾讯云图实验室）；Tsinghua University（清华大学）
基于变换器的体系结构在图像描述中取得了巨大的成功，其中对象区域被编码，然后被加入到矢量表示中以指导字幕解码。然而，这种矢量表示只包含区域级信息，而没有考虑反映整个图像的全局信息，这未能扩展图像描述中复杂多模态推理的能力。在本文中，我们引入了一个全球增强的Transformer（简称GET），使提取更全面的全球表示，然后自适应地引导解码器生成高质量的字幕。在GET中，设计了全局增强编码器用于全局特征的嵌入，设计了全局自适应解码器用于指导字幕的生成。前者模型内和层间的全局表示，利用所提出的全球增强注意力和逐层融合模块。后者包含一个全局自适应控制器，它可以自适应地将全局信息融合到解码器中，以指导字幕生成。在MS COCO数据集上的大量实验表明，我们的GET优于许多国家的艺术。
2020-12-13 cs.CV
nocaps: novel object captioning at scale
Macquarie University（麦考瑞大学）；University of Michigan（密歇根大学）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）；Oregon State University（俄勒冈州立大学）
图像描述模型在包含有限视觉概念和大量成对图像-字幕训练数据的数据集上取得了令人印象深刻的结果。然而，如果这些模型要在野外发挥作用，就必须学习更多种类的视觉概念，最好是在较少的监督下。为了鼓励图像描述模型的发展，可以从替代数据源，如目标检测数据集学习视觉概念，我们提出了这项任务的第一个大规模的基准。被称为“nocaps”，用于大规模的新颖对象字幕，我们的基准测试由166，100个人类生成的字幕组成，描述了来自OpenImages验证和测试集的15，100个图像。相关的训练数据由COCO图像标题对、OpenImages图像级标签和对象边界框组成。由于OpenImages包含的类比COCO多得多，测试图像中的近400个对象类没有或很少有相关的训练标题（因此，nocaps）。我们扩展了现有的新型对象字幕模型，为该基准建立了强大的基线，并提供了分析，以指导未来的工作。
2019-09-30 cs.AI cs.CL cs.CV
Visual Semantic Reasoning for Image-Text Matching
Northeastern University（东北大学）
图文匹配一直是连接视觉和语言领域的研究热点。它仍然具有挑战性，因为目前的图像表示通常缺乏全局语义概念，在其相应的文本标题。为了解决这个问题，我们提出了一个简单的和可解释的推理模型，以产生视觉表示，捕捉关键对象和语义概念的场景。具体来说，我们首先建立图像区域之间的连接，并执行推理与图卷积网络生成具有语义关系的功能。然后，我们建议使用门和记忆机制，这些关系增强功能进行全局语义推理，选择的歧视性信息，并逐步产生整个场景的表示。实验结果表明，该方法在MS-COCO和Flickr 30 K数据集上实现了一种新的图文匹配方法。在MS-COCO（Recall@1使用1 K测试集）上，该方法在图像检索和字幕检索方面分别比目前最好的方法提高了6.8%和4.8%。在Flickr 30 K上，我们的模型相对提高了12.6%的图像检索和5.8%的字幕检索（Recall@1）。我们的代码可在https://github.com/KunpengLi1994/VSRN上获得。
2019-09-06 cs.CV
Neural Twins Talk
University of Colorado Colorado Springs（科罗拉多大学斯普林斯分校）
受人类大脑如何在增加对主题的关注时采用更多神经通路的启发，我们引入了一种新颖的双级联注意力模型，该模型优于最初使用一个注意力通道进行视觉基础任务的最新图像描述模型。视觉接地确保字幕语句中存在接地到输入图像中的特定区域中的单词。在视觉基础任务上训练深度学习模型之后，当生成字幕时，该模型采用关于视觉基础和字幕句子中对象的顺序的学习模式。我们报告我们的实验结果在三个图像描述任务的COCO数据集。结果报告使用标准的图像描述指标，以显示我们的模型比以前的图像描述模型实现的改进。从我们的实验中收集的结果表明，在深度神经网络中使用更多的平行注意力路径会导致更高的性能。我们的NTT实现可在https://github.com/zanyarz/NeuralTwinsTalk上公开获取。
2020-09-26 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab（字节跳动人工智能实验室）
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型，大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计，但尚未研究在多数据集上训练的最佳实践。在本文中，我们提出了一个简单的网络称为多域姿态网络（MDPN）来解决这个问题。通过将任务视为多域学习，我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合，它显示出比基线的显着改进，并在PoseTrack ECCV 2018挑战赛上实现了最佳性能，而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
Harvesting Information from Captions for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）
由于获取逐像素注释以训练用于语义图像分割的卷积神经网络是耗时的，因此已经提出了仅需要类标签的弱监督方法。在这项工作中，我们提出了另一种形式的监督，即图像标题，因为它们可以在互联网上找到。这些标题有两个优点。它们不需要额外的策展，因为它是当前弱监督方法使用的干净类标签的情况，并且它们为图像中存在的类提供文本上下文。为了利用这样的文本上下文，我们部署了一个多模态网络，该网络学习图像的视觉表示和标题的文本表示的联合嵌入。该网络估计类名以及复合概念（即名词及其属性的组合）的文本激活图（TAM）。描述感兴趣类别的复合概念的TAM实质上提高了估计的类别激活图的质量，然后将其用于训练用于语义分割的网络。我们在COCO数据集上评估了我们的方法，在那里它实现了弱监督图像分割的最新结果。
2019-05-16 cs.CV
Attention Beam: An Image Captioning Approach
图像描述的目的是生成给定图像的文本描述。虽然对人类来说似乎是一项简单的任务，但对机器来说却是一项挑战，因为它需要理解图像（计算机视觉）的能力，从而为图像生成类似人类的描述（自然语言理解）。近来，基于编码器-解码器的体系结构已经实现了用于图像描述的最先进的结果。在这里，我们提出了一个启发式的束搜索的编码器-解码器为基础的架构，提供更好的质量字幕上的三个基准数据集：Flickr 8 k，Flickr 30 k和MS COCO。
2020-11-11 cs.CV cs.LG
