Transparent Human Evaluation for Image Captioning
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们建立THumB，一个基于规则的人类评价协议的图像描述模型。我们的评分规则及其定义是基于MSCOCO数据集上机器和人类生成的标题精心开发的。每个标题都沿着两个主要维度进行评估，以权衡（精确度和召回率）以及衡量文本质量的其他方面（流畅性，简洁性和包容性语言）。我们的评价显示了当前评价实践中的几个关键问题。人类生成的字幕显示出比机器生成的字幕高得多的质量，特别是在显著信息的覆盖方面（即，召回），而大多数自动指标则相反。我们的基于规则的结果表明，CLIPScore，一个最近的指标，使用图像特征，更好地与人类的判断比传统的纯文本的指标，因为它是更敏感的召回。我们希望这项工作将促进一个更透明的评价协议的图像描述及其自动度量。
2022-05-18 cs.CL cs.CV
Neural Joking Machine : Humorous image captioning
Tokyo Denki University（东京电机大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））
什么样的表情能让人发笑？在本文中，为了从学术的角度考虑这个问题，我们生成了一个图像标题，画了一个“笑”的计算机。基于计算机视觉领域提出的图像字幕，构造了一个搞笑字幕输出系统。此外，我们还提出了有趣的分数，它灵活地赋予权重，根据评价数据库。有趣的分数更有效地带来了“笑声”，以优化模型。此外，我们建立了一个自我收集的BoketeDB，其中包含一个主题（图像）和有趣的标题（文本）张贴在“Bokete”，这是一个图像Ogiri网站。在一个实验中，我们使用BoketeDB来验证所提出的方法的有效性，通过比较使用所提出的方法获得的结果和使用MS COCO Pre-trained CNN+LSTM获得的结果，这是人类创建的基线和白痴。我们将使用BoketeDB预训练模型的方法称为神经笑话机（NJM）。
2018-05-30 cs.CL cs.CV
Interactive-predictive neural multimodal systems
Pattern Recognition and Human Language Technology Research Center（模式识别与人类语言技术研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
尽管神经模型在序列到序列学习方面取得了进步，并在各种任务中得到利用，但它们仍然会出错。在许多使用情况下，这些由人类专家在后验修正过程中校正。交互式预测框架的目的是通过考虑部分修正来迭代地完善假设，从而最大限度地减少在此过程中花费的人力。在这项工作中，我们推广的交互式预测方法，通常应用于机器翻译领域，以解决其他多模态问题，即图像和视频描述。我们研究了这个框架的应用多模态神经序列序列模型。我们表明，在这个框架下，我们大约一半的努力用于纠正自动系统产生的输出。此外，我们将我们的系统部署在一个可公开访问的演示中，以便更好地理解交互式预测框架的行为。
2019-05-30 cs.CL cs.CV
SuperCaptioning: Image Captioning Using Two-dimensional Word Embedding
Gyrfalcon Technology Inc.（矛隼科技公司）
在当前的图像描述中，语言和视觉被当作两种不同的模式来处理。然而，最近的超级字符方法的工作表明，二维的【形】词嵌入的有效性，它转换为图像分类问题的文本分类问题。本文提出了SuperCaptioning方法，该方法借鉴了Super Characters方法中二维的【形】词嵌入的思想，将语言信息和视觉信息融合到一个CNN模型中进行处理。在Flickr30k数据集上的实验结果表明，该方法能够获得高质量的图像字幕。一个互动演示已经准备好在研讨会上展示。
2019-06-04 cs.CL
StyleM: Stylized Metrics for Image Captioning Built with Contrastive N-grams
University of Kentucky（肯塔基大学）
在本文中，我们建立了两个自动评估指标，用于评估机器生成的字幕和地面真实风格化字幕之间的关联：OnlyStyle和StyleCIDER。
2022-01-04 cs.AI cs.CL cs.CV
Machine-in-the-Loop Rewriting for Creative Image Captioning
New York University（纽约大学）
机器在环写作旨在使人类能够与模型合作，更有效地完成他们的写作任务。先前的工作已经发现，向人类提供机器编写的草稿或副本级延续的成功有限，因为生成的文本往往偏离人类的意图。为了允许用户保留对内容的控制，我们训练重写模型，当提示时，修改用户原始草稿中指定的文本跨度，以在文本中本地引入描述性和比喻性元素。我们评估模型的能力，与人类合作的任务，创造性的图像描述。在Amazon Mechanical Turk的用户研究中，我们的模型被评为比基线填充语言模型更有帮助。此外，第三方评估显示，与单独完成任务相比，用户在与我们的模型合作时会编写更多描述性和比喻性的标题。
2022-05-08 cs.CL
ChangeChat: An Interactive Model for Remote Sensing Change Analysis via Multimodal Instruction Tuning
School of Information Science and Technology, Beijing Foreign Studies University（北京外国语大学信息科学与技术学院）
针对传统遥感变化检测缺上下文、现有变化字幕不支持交互查询的问题，提出首个专用双时相VLM ChangeChat，经多模态指令调优及自研ChangeChat-87k数据集训练，可处理多类复杂查询，性能媲美SOTA且远超GPT-4。
2024-09-13 cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
Pixels to Prose: Understanding the art of Image Captioning
Indian Institute of Technology - Roorkee（印度鲁基工业大学）
本文全面回顾了图像描述技术从基础架构到前沿方法的演变，剖析其底层机制、医疗领域应用及性能评估指标，为机器学习初学者提供理论结合实践的导航指南。
2024-08-28 cs.CV cs.LG
Vision-Language Agents for Interactive Forest Change Analysis
本文提出一种基于大语言模型的视觉-语言代理，用于处理遥感图像变化解释任务，通过多级变化解释框架和交互式查询提升森林变化分析的准确性与效率。
2026-03-30 cs.AI cs.CL cs.CV
Does Multimodality Help Human and Machine for Translation and Image Captioning?
LIUM, University of Le Mans（勒芒大学LIUM）；Galatasaray University（加拉塔萨雷大学）；CVC, Universitat Autonoma de Barcelona（巴塞罗那自治大学CVC）
本文介绍了LIUM和CVC为WMT 16多模态机器翻译挑战开发的系统。我们探索了各种比较方法，即基于短语的系统和使用单模态或多模态数据训练的注意递归神经网络模型。我们还进行了人为评估，以估计人类机器翻译和图像描述生成的多模态数据的有用性。我们的系统获得了最好的结果，这两个任务根据自动评估指标BLEU和METEOR。
2016-08-16 cs.CL cs.LG cs.NE
Meshed-Memory Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
基于transformer的架构代表了机器翻译和语言理解等序列建模任务的最新技术水平。然而，它们对多模态上下文（如图像描述）的适用性在很大程度上仍有待探索。为了填补这一空白，我们提出了M $^2$ -一个网状的Transformer与内存的图像描述。该体系结构改进了图像编码和语言生成步骤：它学习图像区域之间的关系的多级表示，结合学习到的先验知识，并在解码阶段使用网状连接来利用低级别和高级别的功能。在实验上，我们调查的M $^2$ Transformer和不同的完全注意模型的性能与经常性的比较。当在COCO上进行测试时，我们的建议在“Karpathy”测试分割和在线测试服务器上的单一模型和集合配置中达到了新的技术水平。我们还评估了它在描述训练集中看不见的对象时的性能。用于再现实验的训练模型和代码可在https://github.com/aimagelab/meshed-memory-transformer公开获得。
2020-03-20 cs.CL cs.CV
Enhancing Journalism with AI: A Study of Contextualized Image Captioning for News Articles using LLMs and LMMs
DFKI German Research Center for Artificial Intelligence（德国人工智能研究中心）；Applied Artificial Intelligence, Carl von Ossietzky University Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学应用人工智能系）
本研究利用GoodNews数据集评估LLMs和LMMs为新闻图片生成上下文描述的能力，发现开源LMMs可媲美专有模型，且控制上下文量能提升性能，表明新闻业需要人在回路的交互式策略。
2024-08-08 cs.CL cs.CV
Image Captioning using Facial Expression and Attention
Macquarie University（麦考瑞大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
受益于机器视觉和自然语言处理技术的进步，当前的图像描述系统能够生成详细的视觉描述。在大多数情况下，这些描述代表了图像的客观特征，尽管有些模型确实包含了与观察者对图像的看法有关的主观方面，例如情感;然而，当前的模型通常在字幕生成过程中不考虑图像的情感内容。本文针对这个问题，提出了新的图像描述模型，使用面部表情特征来生成图像字幕。该模型使用长短期记忆网络生成图像字幕，该网络在不同的时间步长应用面部特征以及其他视觉特征。我们比较了一个全面的收集图像描述模型，没有面部特征，使用所有标准的评价指标。评估指标表明，应用具有注意力机制的面部特征实现了最佳性能，在从标准Flickr 30 K数据集提取的图像标题数据集上显示出更具表现力和更相关的图像标题，该数据集由约11 K包含面部的图像组成。对生成的字幕的分析发现，也许出乎意料的是，字幕质量的提高似乎不是来自添加与图像的情感方面相关的形容词，而是来自字幕中描述的动作的更多变化。
2020-04-15 cs.CL cs.CV
CLIPScore: A Reference-free Evaluation Metric for Image Captioning
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
图像描述传统上依赖于基于参考的自动评估，其中将机器字幕与人类书写的字幕进行比较。这与人类评估字幕质量的无参考方式形成对比。在本文中，我们报告了令人惊讶的实证发现，CLIP（Radford et al.，2021），一个跨模态模型预训练的400 M图像+字幕对从网络上，可以用于鲁棒的自动评估图像描述，而不需要参考。跨越几个语料库的实验表明，我们的新的无参考指标，CLIPScore，实现了最高的相关性与人类的判断，优于现有的基于参考的指标，如CIDER和SPICE。信息增益实验表明，CLIPScore，其紧密关注的图像-文本兼容性，是补充现有的基于参考的指标，强调文本-文本的相似性。因此，我们还提出了一个参考增强版本，RefCLIPScore，它实现了更高的相关性。除了文字描述任务之外，几个案例研究揭示了CLIPScore表现良好的领域（剪贴画图像，替代文本评级），但与基于参考的指标相比，它也相对较弱，例如，新闻标题需要更丰富的上下文知识。
2022-03-23 cs.CL cs.CV
NMT-Keras: a Very Flexible Toolkit with a Focus on Interactive NMT and Online Learning
Pattern Recognition and Human Language Technology Research Center, Universitat Politècnica de València（瓦伦西亚理工大学模式识别与人类语言技术研究中心）
我们提出了NMT-Keras，这是一个用于训练深度学习模型的灵活工具包，它特别强调神经机器翻译系统的高级应用程序的开发，例如交互式预测翻译协议和通过持续学习对翻译系统的长期适应。NMT-Keras基于流行的Keras库的扩展版本，它在Theano和Tensorflow上运行。按照Keras提供的高级框架部署和使用最先进的神经机器翻译模型。由于其高度的模块化和灵活性，它也被扩展到解决不同的问题，如图像和视频描述，句子分类和视觉问答。
2018-08-16 cs.CL
Longer Version for "Deep Context-Encoding Network for Retinal Image Captioning"
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
自动生成视网膜图像的医学报告是帮助眼科医生减少工作量和提高工作效率的有前途的方法之一。在这项工作中，我们提出了一个新的上下文驱动的编码网络自动生成视网膜图像的医疗报告。该模型主要由多模态输入编码器和融合特征解码器组成。我们的实验结果表明，我们提出的方法能够有效地利用输入图像和上下文之间的交互信息，即，关键词在我们的案例中所提出的方法为视网膜图像创建比基线模型更准确和有意义的报告，并实现了最先进的性能。这种性能在医疗报告生成任务的几个常用指标中显示：BLEU-avg（+16%），CIDEr（+10.2%）和ROUGE（+8.6%）。
2021-05-30 cs.AI cs.CL cs.CV
Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；IIT-CNR（意大利国家研究委员会IIT）
本综述全面概述了多模态大型语言模型时代图像描述评估的进展，分析了现有指标在相关性、排序准确性和幻觉敏感性等维度的局限，并指出了未来研究方向。
2025-05-30 cs.AI cs.CL cs.CV
Neural Image Captioning
Courant Institute of Mathematical Sciences New York University Email
近年来，主要计算机视觉任务的最大进步，如物体识别，手写数字识别，面部识别等。都是通过使用卷积神经网络（CNN）实现的。类似地，在自然语言处理领域，递归神经网络（RNN），特别是长短期记忆网络（LSTM），对于机器翻译、词性标注、情感分析等任务的性能方面的一些最大突破至关重要。这些进步极大地促进了NLP和计算机视觉交叉领域的任务，受到这一成功的启发，我们研究了一些现有的神经图像描述模型，这些模型已被证明工作良好。在这项工作中，我们研究了一些现有的字幕模型，提供接近国家的最先进的性能，并试图提高这样的模型。我们还提出了一个简单的图像描述模型，该模型利用了CNN、LSTM和beam search1算法，并基于各种定性和定量指标研究了其性能。
2019-07-02 cs.CL cs.CV cs.LG
Image Captioning using Deep Neural Architectures
Chhotubhai Gopalbhai Patel Institute of Technology（乔图拜·戈帕尔拜·帕特尔理工学院）
使用任何自然语言语句（如英语）自动创建图像的描述是一项非常具有挑战性的任务。它需要图像处理和自然语言处理的专业知识。本文讨论了适用于图像描述任务的不同模型。我们还讨论了近年来物体识别和机器翻译任务的进步如何极大地提高了图像描述模型的性能。除此之外，我们还讨论了如何实现这个模型。最后，我们还使用标准的评价矩阵对模型的性能进行了评价。
2018-01-17 cs.CV
Non-Autoregressive Image Captioning with Counterfactuals-Critical Multi-Agent Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
大多数图像描述模型是自回归的，即它们通过对先前生成的单词进行调节来生成每个单词，这导致推理期间的严重延迟。最近，在机器翻译中已经提出了非自回归解码，以通过并行地生成所有单词来加快推理时间。通常，这些模型使用单词级交叉熵损失来独立地优化每个单词。然而，这样的学习过程中没有考虑的一致性，从而导致这些非自回归模型的生成质量较差。在本文中，我们提出了一个非自回归图像描述（NAIC）模型与一种新的训练范式：反事实的关键多智能体学习（CMAL）。CMAL将NAIC表述为一个多智能体强化学习系统，其中目标序列中的位置被视为学习合作最大化奖励的智能体。此外，我们建议利用大量的未标记的图像，以提高字幕的性能。在MSCOCO图像描述基准测试中进行的大量实验表明，我们的NAIC模型实现了与最先进的自回归模型相当的性能，同时带来了13.9倍的解码加速。
2020-05-10 cs.CL cs.CV cs.LG
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Science and Technology Beijing（北京科技大学）；Wuhan University（武汉大学）；University of Chinese Academy of Sciences（中国科学院大学）
自注意网络在图像描述中显示出了重要的应用价值。为了提高图像描述的性能，本文从两个方面对SA进行了改进。首先，我们提出了标准化的自我注意力（NSA），SA的重新参数化，带来了SA内部规范化的好处。虽然规范化以前只适用于SA外，我们介绍了一种新的规范化方法，并证明它是可能的和有益的执行SA内的隐藏激活。其次，为了弥补Transformer的主要限制，它无法建模的输入对象的几何结构，我们提出了一类几何感知的自我注意（GSA），扩展SA显式和有效地考虑图像中的对象之间的相对几何关系。为了构建我们的图像描述模型，我们将这两个模块结合起来，并将其应用于香草自我注意力网络。我们广泛地评估我们的建议MS-COCO图像描述数据集和优越的结果相比，国家的最先进的方法时，取得了。在视频描述、机器翻译和视觉问答三个具有挑战性的任务上的进一步实验表明了我们方法的通用性。
2020-03-19 cs.CL cs.CV cs.MM
Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
图像描述的目的是通过机器生成描述图像内容的字幕。尽管做出了许多努力，但为图像生成有区别的字幕仍然是不平凡的。传统的方法大多模仿语言的结构模式，因此往往陷入重复频繁的短语或句子的刻板印象，而忽略了每个图像的独特之处。在这项工作中，我们提出了一个图像描述框架与自检索模块作为训练指导，鼓励产生歧视性的字幕。它具有独特的优势：（1）自检索引导可以充当字幕区分度的度量和评估器，以确保生成的字幕的质量。(2)生成的字幕和图像之间的对应关系自然地被纳入生成过程中，而无需人工注释，因此我们的方法可以利用大量未标记的图像来提高字幕性能，而无需额外的费力注释。我们证明了所提出的检索引导方法的有效性COCO和Flickr30k字幕数据集，并显示其优越的字幕性能与更多的歧视性字幕。
2018-07-23 cs.CV
Convolutional Image Captioning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
图像描述是一项重要但具有挑战性的任务，适用于虚拟助理、编辑工具、图像索引和残疾人支持。它的挑战是由于可能的图像描述的可变性和模糊性。近年来，在图像描述方面取得了重大进展，使用由长短期记忆（LSTM）单元驱动的递归神经网络。尽管减轻了消失梯度的问题，尽管它们具有令人信服的记忆依赖关系的能力，但LSTM单元是复杂的，并且在时间上具有内在的顺序性。为了解决这个问题，最近的工作已经显示出卷积网络用于机器翻译和条件图像生成的好处。受他们成功的启发，在本文中，我们开发了一种卷积图像描述技术。我们在具有挑战性的MSCOCO数据集上证明了它的有效性，并证明了与基线相当的性能，同时每个参数的训练时间更快。我们还进行了详细的分析，提供了令人信服的理由，有利于卷积语言生成的方法。
2017-11-24 cs.CV
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
凝视反映了人类如何处理视觉场景，因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力，例如对象定位和识别，但是仍然不清楚凝视是否也可以有益于以场景为中心的任务，例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用，提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集，我们首先评估最先进的对象和场景识别模型，自下而上的视觉显着性和人类凝视之间的关系。然后，我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中，并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估，我们表明，我们的方法提高了图像描述的性能，凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
Attention Beam: An Image Captioning Approach
图像描述的目的是生成给定图像的文本描述。虽然对人类来说似乎是一项简单的任务，但对机器来说却是一项挑战，因为它需要理解图像（计算机视觉）的能力，从而为图像生成类似人类的描述（自然语言理解）。近来，基于编码器-解码器的体系结构已经实现了用于图像描述的最先进的结果。在这里，我们提出了一个启发式的束搜索的编码器-解码器为基础的架构，提供更好的质量字幕上的三个基准数据集：Flickr 8 k，Flickr 30 k和MS COCO。
2020-11-11 cs.CV cs.LG
Paying Attention to Descriptions Generated by Image Captioning Models
Aalto University（阿尔托大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Central Florida（中佛罗里达大学）
为了弥合人类和机器在图像理解和描述方面的差距，我们需要进一步了解人们如何描述感知场景。在本文中，我们研究了自下而上的基于显着性的视觉注意和场景描述结构中的对象引用之间的协议。我们调查的性质，人类书面的描述和机器生成的。然后，我们提出了一个显着性增强的图像描述模型，以调查从低级别的线索在语言模型的好处。我们了解到，（1）人类在描述中提到更突出的对象比不太突出的对象更早，（2）字幕模型表现得越好，它与人类描述的注意力一致性就越好，（3）与其基线形式相比，所提出的显着性增强模型在MS COCO数据库上没有显着改善，表明当任务在数据上被很好地学习和调整时，显式自下而上的提升没有帮助，（4）然而，对于未看到的数据，对于显著性提升的模型观察到更好的泛化。
2017-08-04 cs.AI cs.CV
DeltaVLM: Interactive Remote Sensing Image Change Analysis via Instruction-guided Difference Perception
School of Information Science and Technology, Beijing Foreign Studies University（信息科学与技术学院，北京外国语大学）
本研究提出遥感影像变化分析新范式，构建ChangeChat-105k数据集，推出DeltaVLM架构，通过差异感知与指令对齐实现交互式变化分析，性能达当前最优。
2025-07-30 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT（麻省理工学院）；IBM Research（IBM研究院）；JD AI Research（京东人工智能研究院）；UC Davis（加州大学戴维斯分校）
视觉语言基础在现代神经图像描述系统中被广泛研究，其通常采用由两个主要组件组成的编码器-解码器框架：用于图像特征提取的卷积神经网络（CNN）和用于语言字幕生成的递归神经网络（RNN）。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性，我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法，检查神经图像描述系统是否会被误导，输出一些随机选择的标题或关键字。我们广泛的实验表明，我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例，并且对抗性示例可以高度转移到其他图像描述系统。因此，我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Understanding and Evaluating Racial Biases in Image Captioning
Princeton University（普林斯顿大学）
图像描述是一项重要的任务，为基准的视觉推理和使无障碍的人与视觉障碍。然而，正如在许多机器学习环境中一样，社会偏见可能会以不期望的方式影响图像描述。在这项工作中，我们研究了图像描述中的偏差传播途径，特别关注COCO数据集。先前的工作分析了使用自动派生的性别标签的标题中的性别偏见，在这里，我们研究使用手动注释的种族和交叉偏见。我们的第一个贡献是在获得IRB批准后，注释了28，315名被描绘的人的感知性别和肤色。使用这些注释，我们比较了手动和自动生成的图像标题中存在的种族偏见。我们展示了图片的标题性能，情绪和文字选择之间的差异与较深的皮肤的人。此外，我们发现这些差异的幅度在现代字幕系统中比旧的字幕系统更大，从而导致人们担心，如果没有适当的考虑和缓解，这些差异只会变得越来越普遍。代码和数据可在https://princetonvisualai.github.io/imagecaptioning-bias上获得。
2021-08-30 cs.CV
UIT-ViIC: A Dataset for the First Evaluation on Vietnamese Image Captioning
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
图像描述（Image Captioning），即图像字幕的自动生成，近年来引起了计算机视觉、自然语言处理和机器学习等多个领域研究人员的广泛关注。本文的研究有助于图像描述任务的扩展数据集到不同的语言-越南语。到目前为止，还没有越南语的图像描述数据集，所以这是开发越南语图像描述的最基本的一步。在这个范围内，我们首先构建了一个数据集，其中包含Microsoft COCO数据集中与球类运动相关的图像的手动编写的字幕，我们称此数据集为ESP-ViIC。ViViIC由3，850张图片的19，250个越南字幕组成。接下来，我们在深度神经网络模型上评估我们的数据集，并与英语数据集和两个通过不同方法构建的越南数据集进行比较。出于研究目的，我们在实验室网站上发布了EST-ViIC。
2020-02-01 cs.CL
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Mississippi State University（密西西比州立大学）
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务，其中听觉和视觉内容同等重要。虽然音频信息已被利用，以改善视频描述在以前的作品，它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的？这个问题仍然没有得到调查。在本文中，我们首次尝试设计一个可解释的视听视频描述网络，以发现句子中的单词和视听序列之间的关联。为了实现这一点，我们提出了一个多模态卷积神经网络为基础的视听视频描述框架，并介绍了一个模态感知模块，探索在句子生成过程中的模态选择。此外，我们收集了新的音频字幕和视觉字幕数据集，以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明，情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性，我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
Visual Analytics for Efficient Image Exploration and User-Guided Image Captioning
University of California, Davis（加州大学戴维斯分校）；Visa Research（维萨研究院）
本文提出协同视觉分析系统，利用语言-图像模型生成的描述探索大规模图像数据集、识别偏差，并通过交互式界面评估和引导图像描述生成。
2023-11-02 cs.CV
Bringing back simplicity and lightliness into neural image captioning
University of Mons（蒙斯大学）
神经图像描述（NIC）或神经字幕生成在过去几年中吸引了大量关注。用自然语言描述图像是计算机视觉和语言处理领域的一个新兴挑战。因此，许多研究都集中在用新的创造性想法推动这项任务。到目前为止，我们的目标是最大限度地提高自动化指标的分数，要做到这一点，我们必须提出多个新的模块和技术。一旦这些加起来，模型就会变得复杂和资源匮乏。在本文中，我们采取了一个小的倒退，以研究一个有趣的性能和计算复杂性之间的权衡架构。为此，我们解决了神经字幕模型的每个组件，并提出了一个或多个解决方案，以减轻整个模型。我们的想法受到两个相关任务的启发：多模态和单模态神经机器翻译。
2018-10-15 cs.CL
BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文提出BRIDGE，一种可学习且无需参考的图像描述评估指标，通过将视觉特征映射为密集向量并整合到多模态伪描述中，有效编码细粒度细节并惩罚幻觉，在多个数据集上达到最先进水平。
2024-07-29 cs.AI cs.CL cs.CV
Improving Image Captioning with Conditional Generative Adversarial Nets
Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一种新的条件生成对抗网为基础的图像描述框架作为传统的基于学习（RL）的编码器-解码器架构的扩展。为了解决不同客观语言度量之间的不一致评价问题，我们设计了一些“自适应”网络来自动和渐进地确定生成的字幕是人类描述的还是机器生成的。介绍了两种神经网络结构（CNN和基于RNN的结构），因为每种结构都有自己的优点。该算法是通用的，因此它可以增强任何现有的基于RL的图像描述框架，我们表明，传统的RL训练方法只是我们的方法的一个特例。从经验上讲，我们表现出一致的改进，在所有的语言评价指标不同的国家的最先进的图像描述模型。此外，训练良好的鉴别器也可以被看作是客观的图像描述评估器
2019-02-13 cs.CV cs.LG
NITS-VC System for VATEX Video Captioning Challenge 2020
National Institute of Technology Silchar（西尔查国家理工学院）
视频描述是将视频的内容、事件和动作总结成简短的文本形式的过程，其可以在许多研究领域中有帮助，例如视频引导的机器翻译、视频情感分析以及为有需要的个人提供帮助。在本文中，VATEX-2020视频描述的挑战所使用的框架的系统描述。我们采用基于编码器-解码器的方法，其中视频的视觉特征使用3D卷积神经网络（C3 D）进行编码，并且在解码阶段使用两个长短期记忆（LSTM）递归网络，其中视觉特征和输入字幕被单独融合，并且通过在两个LSTM的输出之间执行元素乘积来生成最终输出。我们的模型能够在公共和私人测试数据集中分别获得0.20和0.22的BLEU分数。
2020-09-25 cs.CV
Engaging Image Captioning Via Personality
Facebook AI Research（Facebook人工智能研究）
标准的图像描述任务，如COCO和Flickr 30 k，是真实的、语气中性的，并且（对人类）陈述明显的（例如，“一个人弹吉他”）。虽然这些任务对于验证机器是否理解图像的内容很有用，但它们并不像字幕那样吸引人类。考虑到这一点，我们定义了一个新的任务，个性字幕，其目标是通过结合可控的风格和个性特征，尽可能地吸引人类。我们收集并发布了一个包含201，858个此类标题的大型数据集，这些标题以215种可能的特征为条件。我们建立模型，结合现有的工作，从（i）句子表示（Mazare等人，2018），其中Transformers在17亿个对话示例上训练;以及（ii）图像表示（Mahajan等人，2018年），ResNets训练了35亿张社交媒体图像。我们在Flickr 30 k和COCO上获得了最先进的性能，并在我们的新任务上获得了强大的性能。最后，在线评估验证了我们的任务和模型与人类的互动，我们的最佳模型接近人类的表现。
2019-03-20 cs.AI cs.CL cs.CV
SBAT: Video Captioning with Sparse Boundary-Aware Transformer
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Baidu Research（百度研究院）；Alibaba Group（阿里巴巴集团）；Department of Computer Science, Binghamton University（宾汉姆顿大学计算机科学系）
本文主要研究如何将Transformer结构有效地应用于视频描述中。香草Transformer是为单模态语言生成任务，如机器翻译。然而，视频描述是一个多模态学习问题，视频特征在不同时间步长之间存在大量冗余。基于这些问题，我们提出了一种新的方法称为稀疏边界感知Transformer（SBAT），以减少冗余的视频表示。SBAT采用边界感知的池化操作，从不同的场景中选择不同的特征。此外，SBAT还包括一个局部相关方案，以补偿稀疏操作带来的局部信息损失。基于SBAT，我们进一步提出了一个对齐的跨模态编码方案，以提高多模态交互。在两个基准数据集上的实验结果表明，SBAT在大多数指标下都优于现有的方法。
2020-07-23 cs.CL cs.CV cs.LG
Attention Correctness in Neural Image Captioning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）
注意力机制最近被引入深度学习中，用于自然语言处理和计算机视觉中的各种任务。但是，尽管它们很受欢迎，内隐学习的注意力地图的“正确性”只能通过几个例子的可视化来定性评估。在本文中，我们专注于评估和改善的神经图像描述模型中的注意的正确性。具体来说，我们提出了一个定量的评价指标之间的一致性生成的注意力地图和人类注释，使用最近发布的数据集与图像中的区域和实体之间的标题对齐。然后，我们提出了新的模型，在训练过程中学习注意力地图的不同层次的显式监督。当区域和字幕实体之间的对齐可用时，监督可以是强的，或者当仅提供对象分段和类别时，监督可以是弱的。我们在流行的Flickr30k和COCO数据集上表明，在训练过程中引入注意力地图的监督可以切实提高注意力的正确性和字幕质量，从而有望使机器感知更像人类。
2016-11-23 cs.CL cs.CV cs.LG
Evaluation of Multilingual Image Captioning: How far can we get with CLIP models?
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID；Instituto de Telecomunicações（电信研究所）
本文针对多语言图像描述评估缺乏测试数据的问题，利用机器翻译与语义推理数据集评估 CLIPScore 变体，证明微调后的多语言 CLIPScore 可跨语言保持与人工判断的高相关性。
2025-02-17 cs.AI cs.CL
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Forest-Chat: Adapting Vision-Language Agents for Interactive Forest Change Analysis
School of Computer Science, University of Bristol（布里斯托尔大学计算机科学学院）；School of Geographical Sciences, University of Bristol（布里斯托尔大学地理科学学院）
本文提出Forest-Chat，一种基于LLM的森林变化分析代理，通过多任务处理实现自然语言查询，提升森林变化检测与语义解释的准确性与可解释性。
2026-03-19 cs.AI cs.CL cs.CV
Deep Interactive Region Segmentation and Captioning
随着最近在密集图像描述方面的创新，现在可以用一个标题来描述场景中的每个对象，而对象由边界框来确定。然而，由于存在许多重叠的边界框，对这样的输出的解释并不是微不足道的。此外，在当前的字幕框架中，用户不能涉及个人偏好以排除不感兴趣的区域。在本文中，我们提出了一种新的混合深度学习架构，用于交互式区域分割和字幕，其中用户能够指定应该处理的图像的任意区域。为此，一个专用的全卷积网络（FCN）命名为Lyncean FCN（LFCN）的训练使用我们的特殊训练数据隔离用户意图区域（UIR）作为一个有效的分割的输出。并行地，利用密集图像描述模型来为该区域提供各种各样的字幕。然后，将用最佳匹配限界框的标题来解释UIR。据我们所知，这是第一部提供如此全面输出的作品。我们的实验表明，所提出的方法的优越性超过国家的最先进的交互式分割方法在几个著名的数据集。此外，用交互式分割的结果替换边界框导致对密集图像描述输出的更好理解以及在并交（IoU）方面的目标检测的准确性增强。
2017-07-26 cs.CV
Image Captioning as an Assistive Technology: Lessons Learned from VizWiz 2020 Challenge
IBM Research AI（IBM研究院人工智能部门）
针对现有竞赛数据集场景匮乏导致图像字幕系统辅助视障人士实用性不足的问题，本文介绍了VizWiz 2020图像字幕挑战赛获奖方案的理论与工程实现，助力改进辅助型图像字幕系统。
2021-06-19 cs.CV cs.LG
Masked Non-Autoregressive Image Captioning
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Nanjing University（南京大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）
现有的字幕模型通常采用编码器-解码器架构，其中解码器使用自回归解码来生成字幕，使得在给定先前生成的令牌的情况下顺序地生成每个令牌。然而，自回归解码导致诸如顺序错误累积、生成缓慢、语义不正确和缺乏多样性等问题。非自回归解码已经被提出来解决神经机器翻译的缓慢生成，但是由于目标分布的间接建模而遭受多模态问题。在本文中，我们提出了一种屏蔽的非自回归解码来解决自回归解码和非自回归解码的问题。在掩蔽非自回归解码中，我们在训练过程中对输入序列的几种比率进行掩蔽，在推理过程中以合成的方式从完全掩蔽序列到完全非掩蔽序列分几个阶段生成字幕。实验表明，我们提出的模型可以更有效地保留语义内容，并可以生成更多样化的字幕。
2019-06-03 cs.CV
See or Guess: Counterfactually Regularized Image Captioning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Tencent AI Lab（腾讯AI实验室）
本文提出基于因果推断的反事实正则化图像描述框架，利用总效应或自然直接效应增强模型对遮挡和编辑图像的描述能力，有效减少幻觉并提升泛化性与可移植性。
2024-08-29 cs.CL cs.CV cs.MM
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
Speaking the Same Language: Matching Machine to Human Captions by Adversarial Training
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；UC Berkeley EECS（加州大学伯克利分校电气工程与计算机科学系）；Facebook AI Research（Facebook 人工智能研究院）
虽然在过去的几年里，图像描述已经取得了很大的进步，但机器和人类的字幕仍然是相当不同的。仔细观察发现，这是由于生成的单词分布，词汇量大小以及生成器对频繁字幕的强烈偏见的缺陷。此外，由于字幕任务中固有的模糊性，人类理所当然地生成多个不同的字幕，这在当今的系统中是没有考虑的。为了解决这些挑战，我们将字幕生成器的训练目标从再现地面实况字幕改为生成一组与人类生成的字幕无法区分的字幕。我们没有手工制作这样的学习目标，而是采用对抗训练结合近似Gumbel采样器来隐式地将生成的分布与人类分布相匹配。虽然我们的方法在标题的正确性方面达到了与最先进水平相当的性能，但我们生成了一组不同的标题，这些标题的偏差明显较小，并且在几个方面更好地匹配单词统计。
2017-11-06 cs.AI cs.CL cs.CV
Multi-modal Dense Video Captioning
Tampere University（坦佩雷大学）
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述（字幕）的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而，音频，特别是语音，是人类观察者理解环境的重要线索。在本文中，我们提出了一种新的密集的视频描述方法，能够利用任何数量的事件描述的方式。具体来说，我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别（ASR）系统来获得语音的时间对齐的文本描述（类似于字幕），并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题，并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明，相当大的贡献，从音频和语音组件，这表明这些方式包含大量的补充信息，视频帧。此外，我们通过利用从原始YouTube视频中获得的类别标签，对ActivityNet Caption结果进行了深入分析。代码公开：github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
Boosting Video Captioning with Dynamic Loss Network
Electronics and Communication Sciences Unit Indian Statistical Institute Kolkata（印度统计研究所加尔各答电子与通信科学部）
视频描述是视觉和语言交叉点上的一个具有挑战性的问题，在视频检索、视频监控、辅助视觉障碍者、人机界面等方面有许多实际应用。最近基于深度学习的方法已经显示出有希望的结果，但仍然低于其他视觉任务（如图像分类，目标检测）。现有的视频描述方法的一个显著缺点是它们在交叉熵损失函数上被优化，交叉熵损失函数与事实上的评估度量（BLEU、METEOR、CIDER、ROUGE）不相关。换句话说，交叉熵不是视频描述的真实损失函数的适当替代。为了缓解这种情况，已经应用了诸如REINFORCE、Actor-Critic和最小风险培训（MRT）等方法，但这些方法存在局限性，并且不是非常有效。本文提出了一种替代解决方案，通过引入动态损失网络（DLN），提供一个额外的反馈信号，直接反映评估指标。我们的解决方案被证明比其他解决方案更有效，并且可以很容易地适应类似的任务。我们在微软研究视频描述语料库（MSVD）和MSR-Video to Text（MSRVTT）数据集上的结果优于以前的方法。
2022-02-01 cs.CV cs.LG
Boost Image Captioning with Knowledge Reasoning
Guangxi Normal University（广西师范大学）；Northwest Normal University（西北师范大学）；Guangxi Key Lab of Multi-source Information Mining and Security（广西多源信息挖掘与安全重点实验室）；College of Computer Science and Engineering（计算机科学与工程学院）
对给定图像自动生成类人描述是人工智能领域的一个研究热点，近年来引起了人们的广泛关注。现有的注意力方法大多是探索句子中的单词和图像中的区域之间的映射关系，这种不可预测的匹配方式有时会导致不协调的对齐，从而可能降低生成的字幕的质量。在本文中，我们努力推理出更准确和有意义的字幕。我们首先提出单词注意力，以提高视觉注意力的正确性时，生成顺序的描述逐字逐句。特殊词注意力算法在关注输入图像的不同区域时强调词的重要性，并充分利用内部标注知识辅助视觉注意力的计算。然后，为了揭示那些机器无法直接表达的不可理解的意图，我们引入了一种新的策略，将从知识图谱中提取的外部知识注入到编码器-解码器框架中，以促进有意义的字幕。最后，我们在两个免费提供的字幕基准上验证了我们的模型：Microsoft COCO数据集和Flickr 30 k数据集。结果表明，我们的方法达到了最先进的性能，并优于许多现有的方法。
2020-11-02 cs.CV
Teaching Machines to Describe Images via Natural Language Feedback
University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
机器人最终将成为每个家庭的一部分。因此，使算法能够向非专家用户学习并接受其指导至关重要。在本文中，我们把一个人的循环，并使一个人的老师给反馈的学习代理的形式自然语言。我们认为，描述性句子可以提供比数字奖励更强的学习信号，因为它可以很容易地指出错误在哪里以及如何纠正它们。我们专注于图像描述的输出质量可以很容易地由非专家判断的问题。我们提出了一个分层的短语为基础的字幕模型训练与策略梯度，并设计了一个反馈网络，提供奖励的学习者提供的反馈条件。我们表明，通过利用描述性反馈，我们的模型学习比独立编写的人类字幕时表现得更好。
2017-06-05 cs.AI cs.CL cs.CV
VisualGPT: Data-efficient Adaptation of Pretrained Language Models for Image Captioning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
从少量训练数据中快速学习的能力拓宽了机器学习的应用范围。在本文中，我们提出了一个数据高效的图像描述模型VisualGPT，它利用了来自大型预训练语言模型（LM）的语言知识。一个关键的挑战是在图像中视觉信息的使用和从预训练中获得的先前语言知识之间取得平衡。我们设计了一种新的自恢复编码器-解码器注意力机制，在少量域内训练数据上快速地将预训练的LM作为语言解码器。所提出的自恢复激活单元产生稀疏激活，但具有降低的对零梯度的敏感性。我们训练提出的模型，VisualGPT，0.1%，0.5%和1%的MSCOCO和概念说明训练数据。在这些条件下，我们在MS COCO上的表现优于最佳基线模型高达10.8%CIDEr，在概念字幕上的表现优于最佳基线模型高达5.4%CIDEr。此外，Visual-GPT在IU X射线上实现了最先进的结果，这是一个医疗报告生成数据集。据我们所知，这是第一个工作，提高数据效率的图像描述通过利用LM预训练的单峰数据。我们的代码可在https://github.com/Vision-CAIR/VisualGPT上获取。
2022-03-30 cs.AI cs.CL cs.CV
