Re-evaluating Automatic Metrics for Image Captioning
Hacettepe University(哈杰泰佩大学)
近年来,从图像生成自然语言描述的任务受到了很多关注。因此,以自动方式评估此类图像描述方法变得越来越重要。在本文中,我们提供了一个深入的评估现有的图像描述指标,通过一系列精心设计的实验。此外,我们探讨利用最近提出的字移动器的距离(WMD)文档度量的目的图像描述。我们的研究结果概述了指标之间的差异和/或相似之处,并通过广泛的相关性,准确性和分心为基础的评估,其相对稳健性。我们的研究结果还表明,大规模杀伤性武器提供了强大的优势,比其他指标。
2016-12-22 cs.CL cs.CV
In Defense of Scene Graphs for Image Captioning
University of California San Diego(加利福尼亚大学圣迭戈分校);Intel Labs(英特尔实验室);University of Warwick(华威大学)
主流的图像描述模型依赖于卷积神经网络(CNN)图像特征,通过递归模型生成字幕。最近,图像场景图已被用来增强字幕模型,以利用其结构语义,如对象实体,关系和属性。一些研究已经注意到,来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能,并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战,我们提出了\textbf{SG2Caps},一个框架,只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像,另一个来自其标题。为了实现这一点,我们利用对象的空间位置和人-物-交互(HOI)标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度,表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积,从而减少了49%的可训练参数。我们的代码可在:https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题,提出EAMA方法,通过实体感知句子选择和实体选择两个对齐任务增强MLLM,在两个主流数据集上超越先前模型。
2024-09-20 cs.CL cs.CV
Are scene graphs good enough to improve Image Captioning?
KU Leuven(鲁汶大学);New York University(纽约大学);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
许多表现最好的图像描述模型仅依赖于利用目标检测模型计算的目标特征来生成图像描述。然而,最近的研究提出直接使用场景图来引入关于对象关系的信息到字幕中,希望更好地描述对象之间的交互。在这项工作中,我们彻底调查使用场景图在图像描述。我们的经验研究是否使用额外的场景图形编码器可以导致更好的图像描述,并提出了一个有条件的图形注意力网络(C-GAT),其中的图像描述解码器状态是用来条件的图形更新。最后,我们确定在何种程度上预测的场景图中的噪声影响字幕质量。总体而言,我们发现使用场景图特征的模型和仅使用不同字幕度量的目标检测特征的模型之间没有显著差异,这表明现有的场景图生成模型仍然太嘈杂,在图像描述中没有用。此外,虽然预测的场景图的质量是非常低的,在一般情况下,当使用高质量的场景图,我们获得的增益高达3.3 CIDER相比,一个强大的自下而上自上而下的基线。我们在https://github.com/iacercalixto/butd-image-captioning上开放源代码来重现我们所有的实验。
2020-10-27 cs.CL cs.CV
Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction
Nanyang Technological University(南洋理工大学)
互联网上视频数据的爆炸需要有效和高效的技术来自动为无法观看视频的人生成字幕。尽管视频描述研究取得了很大进展,特别是在视频特征编码方面,但语言解码器在很大程度上仍然基于流行的RNN解码器,如LSTM,它倾向于选择与视频一致的频繁词。在本文中,我们提出了一个边界感知的分层语言解码器的视频描述,它包括一个高层次的GRU为基础的语言解码器,作为一个全球(标题级)语言模型,和一个低层次的GRU为基础的语言解码器,作为一个本地(短语级)语言模型。最重要的是,我们在底层GRU语言解码器中引入了二进制门来检测语言边界。与其他先进的组件,包括联合视频预测,共享的软注意,和边界感知的视频编码,我们的集成视频描述框架可以发现分层的语言信息,并区分在一个句子中,这通常是混乱的语言生成的主题和对象。在两个广泛使用的视频描述数据集MSR-Video-to-Text(MSR-VTT)\cite{xu2016msr}和YouTube-to-Text(MSVD)\cite{chen2011collecting}上的实验表明,与现有方法相比,本文方法具有很强的竞争力.
2018-07-08 cs.CL cs.CV
The Role of Syntactic Planning in Compositional Image Captioning
University of Copenhagen(哥本哈根大学)
图像描述集中于推广到从与训练集相同的分布中提取的图像,而不是推广到图像的不同分布的更具挑战性的问题。最近,Nikolaus等人(2019)引入了一个数据集来评估图像描述中的成分概括,其中模型根据其描述具有不可见的形容词-名词和名词-动词成分的图像的能力进行评估。在这项工作中,我们研究了不同的方法来提高合成概括规划的句法结构的字幕。我们的实验表明,联合建模令牌和语法标签增强了基于RNN和Transformer的模型的泛化能力,同时也提高了标准指标的性能。
2021-01-28 cs.CL cs.CV
More Grounded Image Captioning by Distilling Image-Text Matching Model
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
视觉注意力不仅可以提高图像字幕的性能,而且可以作为一种视觉解释来定性地衡量字幕的合理性和模型的透明度。具体来说,我们期望字幕者能够在生成相应单词的同时将其专注的目光固定在正确的对象上。这种能力也被称为接地图像描述。然而,现有字幕机的接地精度远不能令人满意。为了在保持字幕质量的同时提高接地精度,收集词区域对齐作为强监督是昂贵的。为此,我们提出了一个部分的语音(POS)增强的图像-文本匹配模型(SCAN \cite{lee2018stacked}):POS-SCAN,作为更接地图像描述的有效知识蒸馏。好处是双重的:1)给定一个句子和一幅图像,POS-SCAN可以比SCAN更准确地定位对象; 2)POS-SCAN作为字幕者视觉注意力模块的单词区域对齐正则化。通过展示基准实验结果,我们证明了配备POS-SCAN的传统图像字幕机可以在没有强有力监督的情况下显着提高接地精度。最后但并非最不重要的是,我们探讨了不可或缺的自我批判序列训练(SCST)\cite{Rennie_2017_CVPR}的背景下接地图像描述,并表明图像-文本匹配分数可以作为奖励更接地的字幕\footnote{https://github.com/YuanEZhou/Grounded-Image-Captioning}。
2020-04-01 cs.CL cs.CV
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST(韩国科学技术院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们在这项工作中的目标是训练一个图像描述模型,生成更密集和信息量更大的字幕。我们介绍“关系字幕”,一种新的图像描述任务,其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架,是在多样性和信息量的优势,导致图像理解的基础上的关系。词性(POS,即主语-宾语-谓语类别)标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此,我们提出了一个多任务三流网络(MTTSNet),它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV
Injecting Semantic Concepts into End-to-End Image Captioning
Arizona State University(亚利桑那州立大学);Microsoft Corporation(微软公司)
近年来,在开发更好的图像描述模型方面取得了巨大的进展,但其中大多数依赖于单独的对象检测器来提取区域特征。最近的视觉语言研究正在转向无检测器的趋势,利用网格表示进行更灵活的模型训练和更快的推理速度。然而,这样的发展主要集中在图像理解任务上,并且对于字幕生成任务的研究仍然较少。在本文中,我们关注一个性能更好的无检测器的图像描述模型,并提出了一个纯视觉Transformer为基础的图像描述模型,称为ViTCAP,其中使用网格表示,而不提取区域特征。为了提高性能,我们引入了一种新的概念令牌网络(CTN)预测的语义概念,然后将它们纳入端到端的字幕。特别是,CTN是建立在一个视觉Transformer的基础上,并被设计为通过分类任务预测的概念令牌,其中包含丰富的语义信息大大有利于字幕任务。与以前的基于检测器的模型相比,ViTCAP大大简化了架构,同时在各种具有挑战性的图像描述数据集上实现了有竞争力的性能。特别是,ViTCAP在COCO-caption Karpathy-split上达到138.1 CIDEr评分,在nocaps和Google-CC字幕数据集上分别达到93.8和108.6 CIDEr评分。
2022-03-31 cs.CL cs.CV
Attend to You: Personalized Image Captioning with Context Sequence Memory Networks
Lunit Inc.(Lunit 公司);Seoul National University(首尔大学)
我们解决个性化问题的图像描述,这还没有讨论过在以前的研究。对于一个查询图像,我们的目标是生成一个描述性的句子,占先验知识,如用户在以前的文档中的活跃词汇。作为个性化图像描述的应用程序,我们解决了两个后自动化任务:主题标签预测和后生成,在我们新收集的Instagram数据集上,由来自6.3K用户的110万个帖子组成。本文提出了一种新的字幕模型--上下文序列记忆网络(CSMN)。它对以前的记忆网络模型的独特更新包括(i)利用记忆作为多种类型的上下文信息的存储库,(ii)将以前生成的单词附加到记忆中以捕获长期信息,而不会遭受消失梯度问题,以及(iii)采用CNN记忆结构来联合表示附近的有序记忆槽,以更好地理解上下文。通过Amazon Mechanical Turk的定量评估和用户研究,我们展示了CSMN的三个新功能的有效性及其在最先进的字幕模型上对个性化图像描述的性能增强。
2017-04-25 cs.CL cs.CV
I-Tuning: Tuning Frozen Language Models with Image for Lightweight Image Captioning
Hong Kong Baptist University(香港浸会大学);Zhejiang University(浙江大学);NetEase Inc.(网易公司)
图像描述是一种传统的视觉和语言任务,旨在生成图像的语言描述。最近的研究集中在按比例增加模型的大小和训练数据的数量,这显著增加了模型训练的成本。与这些高成本模型不同,我们引入了一个轻量级的图像描述框架(I-Tuning),其中包含少量的可训练参数。我们设计了一个新的I-Tuning交叉注意模块来连接不可训练的预训练语言解码器GPT 2和视觉编码器CLIP-ViT。由于大多数参数在训练过程中不需要更新,因此我们的框架是轻量级和快速的。在三个图像描述基准上进行的实验结果表明,我们的框架实现了与大规模基线系统相当或更好的性能。但是,与最先进的基线相比,我们的模型包含的可训练参数少了10倍,需要的训练数据也少得多。
2023-03-13 cs.CL cs.CV
Cross-Modal Similarity-Based Curriculum Learning for Image Captioning
Nagoya University(名古屋大学);National Institute of Informatics(国立信息学研究所)
图像描述模型需要高水平的泛化能力来用文字描述各种图像的内容。大多数现有的方法在训练中平等对待图像-字幕对,而不考虑它们学习难度的差异。几种图像描述方法引入了课程学习方法,其呈现具有增加的难度级别的训练数据。然而,它们的难度测量要么基于特定领域的特征,要么基于先前的模型训练。在本文中,我们提出了一个简单而有效的难度测量图像描述使用跨模态相似度计算的预训练视觉语言模型。COCO和Flickr 30 k数据集上的实验表明,我们提出的方法实现了卓越的性能和有竞争力的收敛速度,而不需要额外的训练成本或产生额外的训练成本。此外,在困难示例和未知数据上的较高模型性能也证明了泛化能力。
2022-12-14 cs.CL cs.CV
Visual Semantic Relatedness Dataset for Image Captioning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);TALP Research Center(TALP研究中心);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所)
本研究针对图像字幕任务,在COCO Captions数据集基础上扩展场景文本信息,构建文本视觉上下文数据集,支持将多种NLP方法以端到端或后处理方式融入字幕系统。
2023-04-30 cs.CL cs.CV
Pragmatic Issue-Sensitive Image Captioning
Stanford University(斯坦福大学)
图像描述系统最近已经有了显著的改进,但是它们仍然倾向于产生对字幕应该满足的通信目标不敏感的字幕。为了解决这个问题,我们提出了问题敏感的图像描述(ISIC)。在ISIC中,字幕系统被赋予目标图像和问题,这是一组以指定哪些信息相关的方式划分的图像。标题程序的目标是生成解决此问题的标题。为了模拟这一任务,我们使用了语用语言使用的理性言语行为模型的扩展。我们的扩展是建立在最先进的预训练神经图像字幕的基础上的,并明确地解释了我们意义上的问题。我们建立实验,这些模型生成的标题,都是高度描述性和问题敏感,我们展示了如何ISIC可以补充和丰富的相关任务的视觉问答。
2020-10-05 cs.CL cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学);University of Copenhagen(哥本哈根大学)
本文提出LMCap,一种无需多语言描述训练数据的少样本图像描述模型,通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述,在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
VieCap4H-VLSP 2021: ObjectAoA-Enhancing performance of Object Relation Transformer with Attention on Attention for Vietnamese image captioning
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
图像描述目前是一项具有挑战性的任务,它需要理解视觉信息并使用人类语言来描述图像中的视觉信息的能力。在本文中,我们提出了一种有效的方法来提高图像的理解能力的transformer为基础的方法,通过扩展对象关系Transformer架构与注意力的注意力机制。在VieCap4H数据集上的实验表明,该方法在VLSP图像描述共享任务的公开测试和私有测试中均优于原结构.
2023-03-20 cs.CL cs.CV
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University(香港浸会大学);Fuxi AI Lab, NetEase Inc.(网易公司伏羲人工智能实验室)
图像描述是连接视觉和语言的一项基本任务,涉及跨模态理解和文本生成。近年来,图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前,首先利用一个额外的目标检测器来识别图像中的目标。然而,它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器,这是一项艰巨的任务。此外,目标检测器的错误很容易传播到后续的字幕模型,降低模型的性能。为了减轻这些缺陷,我们提出了一个令人沮丧的简单,但高效的端到端的图像描述框架,视觉条件GPT(VC-GPT),通过连接预先训练的视觉编码器(CLIP-ViT)和语言解码器(GPT 2)。与直接将交叉注意模块插入GPT 2的香草连接方法不同,本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此,我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试(MSCOCO、Flickr 30 k和NoCaps)进行的实验结果表明,我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
Microsoft Research(微软研究院);University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(中山大学)
图像描述通常需要大量的训练图像-句子对。然而,在实践中,获取足够的训练对总是昂贵的,使得最近的字幕模型在其描述训练语料库之外的对象的能力方面受到限制(即,小说对象)。在本文中,我们提出了长短期记忆与字幕机制(LSTM-C)-一种新的架构,将复制纳入卷积神经网络(CNN)和递归神经网络(RNN)图像描述框架,用于描述字幕中的新对象。具体而言,利用免费提供的对象识别数据集来开发新对象的分类器。然后,我们的LSTM-C很好地集成了解码器RNN的标准逐词句子生成与复制机制,该机制可以从输出句子中适当位置的新对象中选择单词。在MSCOCO图像描述和ImageNet数据集上进行了大量的实验,证明了我们提出的LSTM-C架构描述新对象的能力。此外,优越的结果相比,国家的最先进的深模型。
2017-08-17 cs.CL cs.CV
Object Hallucination in Image Captioning
UC Berkeley(加州大学伯克利分校);Boston University(波士顿大学)
尽管不断改进性能,但当代图像描述模型倾向于使实际上不在场景中的对象“产生幻觉”。一个问题是标准度量仅测量与地面实况字幕的相似性,并且可能无法完全捕获图像相关性。在这项工作中,我们提出了一个新的图像相关性度量来评估当前的模型与真实的视觉标签,并评估其速度的对象幻觉。我们分析了字幕模型架构和学习目标如何有助于对象幻觉,探索幻觉何时可能是由于图像错误分类或语言先验,并评估当前句子度量捕获对象幻觉的程度。我们调查这些问题的标准图像描述基准,MSCOCO,使用不同的模型。我们的分析产生了几个有趣的发现,包括在标准句子指标上得分最高的模型并不总是具有较低的幻觉,并且幻觉更多的模型往往会在语言先验的驱动下犯错误。
2019-03-29 cs.CL cs.CV
Data augmentation to improve robustness of image captioning solutions
Intel Corporation(英特尔公司);Intel Labs(英特尔研究院)
在本文中,我们研究了运动模糊的影响,在现实世界中的图像中的一个常见的质量缺陷,在一个国家的最先进的两阶段的图像描述解决方案,并注意到解决方案的性能下降,模糊强度增加。我们研究了在解决方案的每个或两个阶段使用训练数据增强来提高解决方案对运动模糊的鲁棒性的技术,即,目标检测和字幕,并观察改进的结果。特别是,增加两个阶段将MS COCO数据集上高运动模糊强度的CIDEr-D降级从68.7降低到11.7,并将Vizwiz数据集上的CIDEr-D降级从22.4降低到6.8。
2021-06-10 cs.CL cs.CV
Retrieval-augmented Image Captioning
INESC-ID;Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学);University of Copenhagen(哥本哈根大学)
受检索增强的语言生成和预训练的视觉和语言(V&L)编码器的启发,我们提出了一种新的方法来图像描述,生成句子给定的输入图像和一组字幕检索从一个图像,而不是单独的图像。我们模型中的编码器使用预训练的V&L BERT联合处理图像和检索到的字幕,而解码器则关注多模态编码器表示,受益于检索到的字幕中的额外文本证据。COCO数据集上的实验结果表明,图像描述可以有效地制定从这个新的角度。我们的模型名为EXTRA,受益于使用从训练数据集中检索的标题,并且它还可以受益于使用外部数据集而无需重新训练。消融研究表明,检索足够数量的字幕(例如,k=5)可以提高字幕质量。我们的工作有助于使用预训练的V&L编码器进行生成任务,而不是标准的分类任务。
2023-02-16 cs.CL cs.CV
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore(新加坡国立大学)
本文提出Cross2StrA模型,利用场景图和句法成分树作为枢轴结构,结合跨模态语义对齐、跨语言句法对齐及回译训练,显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
New York University(纽约大学)
本研究在MS-COCO数据集上基准测试了基于注意力机制的图像描述模型,证明其相比RNN能生成更准确、语义更丰富的描述,并提升与人工评估的对齐性。
2025-02-26 cs.CL cs.CV
Learning Compact Reward for Image Captioning
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院)
对抗学习在图像描述中产生自然多样的描述方面已经显示出了它的进步。然而,现有的对抗方法的学习奖励是模糊的和不明确的,由于奖励歧义问题。在本文中,我们提出了一种改进的对抗逆强化学习(rAIRL)方法,通过为句子中的每个单词解开奖励来处理奖励模糊问题,并通过改进损失函数来实现稳定的对抗训练,以使生成器向纳什均衡移动。此外,我们在损失函数中引入了一个条件项,以减轻模式坍塌,并增加所生成的描述的多样性。在MS COCO和Flickr30K上的实验表明,该方法可以学习到用于图像描述的紧凑奖励。
2020-03-24 cs.CL cs.CV
Adaptively Aligned Image Captioning via Adaptive Attention Time
Peking University(北京大学);Macau University of Science and Technology(澳门科技大学);Peng Cheng Laboratory(鹏城实验室)
最近的图像描述的神经模型通常采用具有注意力机制的编码器-解码器框架。然而,这种框架中的注意力机制将一个单个(关注的)图像特征向量对准到一个字幕词,假设从源图像区域和目标字幕词的一对一映射,这是永远不可能的。在本文中,我们提出了一种新的注意力模型,即自适应注意时间(AAT),对准源和目标自适应图像描述字幕。AAT允许框架学习在每个解码步骤中要采取多少注意步骤来输出字幕词。利用AAT,图像区域可以被映射到任意数量的字幕词,而字幕词也可以涉及任意数量的图像区域。AAT是确定性的和可微的,并且不引入任何噪声的参数梯度。在本文中,我们的经验表明,AAT提高了国家的最先进的方法上的任务图像描述。代码可在https://github.com/husthuaan/AAT上获得。
2020-01-06 cs.CL cs.CV
UIT-OpenViIC: A Novel Benchmark for Evaluating Image Captioning in Vietnamese
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
针对越南语图像描述缺乏基准的问题,构建了UIT-OpenViIC数据集,并提出了CAMO方法以提升描述质量,为低资源语言研究提供标准评估平台。
2023-05-09 cs.CL cs.CV
UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning
Seoul National University(首尔国立大学);Adobe Research(奥多比研究院)
尽管BERTScore等各种文本生成指标取得了成功,但由于描述的多样性,在没有足够参考字幕的情况下仍然难以评估图像字幕。在本文中,我们引入了一个新的度量UMIC,一个无参考的度量图像描述,它不需要参考字幕来评估图像字幕。基于视觉与语言BERT,我们通过对比学习训练UMIC识别负面字幕。此外,我们观察到以前基准数据集的关键问题(即,人类注释)对图像描述度量的影响,并在所生成的字幕上引入人类注释的新集合。我们在四个数据集上验证了UMIC,包括我们的新数据集,并表明UMIC具有比以前所有需要多个引用的指标更高的相关性。我们发布基准数据集和预训练模型来计算UMIC。
2021-06-26 cs.CL cs.CV
Image Captioning using Facial Expression and Attention
Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
受益于机器视觉和自然语言处理技术的进步,当前的图像描述系统能够生成详细的视觉描述。在大多数情况下,这些描述代表了图像的客观特征,尽管有些模型确实包含了与观察者对图像的看法有关的主观方面,例如情感;然而,当前的模型通常在字幕生成过程中不考虑图像的情感内容。本文针对这个问题,提出了新的图像描述模型,使用面部表情特征来生成图像字幕。该模型使用长短期记忆网络生成图像字幕,该网络在不同的时间步长应用面部特征以及其他视觉特征。我们比较了一个全面的收集图像描述模型,没有面部特征,使用所有标准的评价指标。评估指标表明,应用具有注意力机制的面部特征实现了最佳性能,在从标准Flickr 30 K数据集提取的图像标题数据集上显示出更具表现力和更相关的图像标题,该数据集由约11 K包含面部的图像组成。对生成的字幕的分析发现,也许出乎意料的是,字幕质量的提高似乎不是来自添加与图像的情感方面相关的形容词,而是来自字幕中描述的动作的更多变化。
2020-04-15 cs.CL cs.CV
REO-Relevance, Extraness, Omission: A Fine-grained Evaluation for Image Captioning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research, Redmond(微软研究院雷德蒙德分院)
用于评估图像描述系统的流行指标,如BLEU和CIDER,提供了一个单一的分数来衡量系统的整体有效性。该分数通常不足以指示给定系统产生的具体错误。在这项研究中,我们提出了一个细粒度的评价方法REO自动测量性能的图像描述系统。REO从三个方面评估字幕的质量:1)与地面实况的相关性,2)与地面实况无关的内容的外部性,以及3)图像和人类参考中的元素的省略。在三个基准数据集上的实验表明,该方法与人类判断具有更高的一致性,并提供了比其他指标更直观的评估结果。
2019-09-05 cs.CL cs.CV
Image captioning for Brazilian Portuguese using GRIT model
Alana AI Research(阿拉纳人工智能研究院)
本研究基于GRIT模型开发巴西葡萄牙语图像描述生成方法,通过调整模型在葡萄牙语数据集上训练,实现更高效的图像描述生成。
2024-02-07 cs.AI cs.CL cs.CV
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能领域的一项具有挑战性的研究课题,在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展,包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后,我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
Object Counts! Bringing Explicit Detections Back into Image Captioning
University of Sheffield(谢菲尔德大学)
使用显式对象检测器作为图像描述的中间步骤--其用于构成早期工作中的基本阶段--在当前占主导地位的端到端方法中经常被绕过,其中语言模型直接以中级图像嵌入为条件。我们认为,明确的检测提供了丰富的语义信息,因此可以作为一个可解释的表示,以更好地理解为什么端到端的图像描述系统工作良好。我们提供了一个深入的分析端到端的图像描述,通过探索各种线索,可以从这样的目标检测。我们的研究表明,端到端的图像描述系统依赖于匹配的图像表示来生成字幕,并且对对象的频率、大小和位置进行编码是互补的,并且都在形成良好的图像表示中发挥作用。它还揭示了不同的对象类别以不同的方式对图像描述的贡献。
2018-04-23 cs.AI cs.CL cs.CV
StyleM: Stylized Metrics for Image Captioning Built with Contrastive N-grams
University of Kentucky(肯塔基大学)
在本文中,我们建立了两个自动评估指标,用于评估机器生成的字幕和地面真实风格化字幕之间的关联:OnlyStyle和StyleCIDER。
2022-01-04 cs.AI cs.CL cs.CV
ACORT: A Compact Object Relation Transformer for Parameter Efficient Image Captioning
Universiti Malaya(马来亚大学)
最近的研究将基于Transformer的架构应用于图像描述,实现了最先进的图像描述性能,充分利用了Transformers在自然语言任务上的成功。不幸的是,虽然这些模型工作得很好,但一个主要缺陷是它们的模型尺寸太大。为此,我们提出了三种图像描述Transformers的参数减少方法:基数编码,跨层参数共享和注意力参数共享。通过结合这些方法,我们提出的ACORT模型的参数比基线模型少3.7倍至21.6倍,而不会影响测试性能。MS-COCO数据集上的结果表明,我们的ACORT模型与基线和SOTA方法相比具有竞争力,CIDER得分>=126。最后,我们提出了定性结果和消融研究,以进一步证明拟议的变化的有效性。代码和预训练模型可在https://github.com/jiahuei/sparse-image-captioning上公开获取。
2022-02-11 cs.CL cs.CV cs.LG
Improving Image Captioning by Leveraging Knowledge Graphs
Artificial Intelligent Research Laboratory(人工智能研究实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
我们探索使用知识图谱,捕捉一般或常识的知识,以增强从图像中提取的信息,通过最先进的方法为图像描述。我们的实验的结果,在几个基准数据集,如MS COCO,如CIDER-D,图像描述的性能度量所测量的,显示了利用从知识图谱中提取的信息的图像描述的最先进的方法的变体可以大大优于那些只依赖于从图像中提取的信息。
2019-01-25 cs.CV
Robust Image Captioning
Central Michigan University(中密歇根大学)
照片的自动字幕是一项任务,它结合了照片分析和文本生成的困难。字幕的一个基本特征是注意力的概念:如何确定指定什么以及以何种顺序。在这项研究中,我们利用对象关系使用对抗鲁棒切割算法,该算法通过图形表示专门嵌入有关输入数据之间的空间关联的知识,从而在此方法基础上发展。我们的实验研究代表了我们所提出的方法图像描述有前途的性能。
2020-12-06 cs.CV
Partially-Supervised Image Captioning
Georgia Tech(佐治亚理工学院);Macquarie University(麦考瑞大学);Australian National University(澳大利亚国立大学)
图像描述模型在描述受限域中的图像内容方面变得越来越成功。然而,如果这些模型要在野外发挥作用--例如,作为视力受损者的助手--就必须理解数量和种类多得多的视觉概念。为了解决这个问题,我们教图像描述模型新的视觉概念标记的图像和目标检测数据集。由于图像标签和对象类可以被解释为部分标题,我们制定了这个问题,从部分指定的序列数据学习。然后,我们提出了一种新的算法训练序列模型,如递归神经网络,部分指定的序列,我们表示使用有限状态自动机。在图像描述的上下文中,我们的方法解除了限制,以前需要的图像描述模型只在成对的图像句子语料库上进行训练,或者需要专门的模型架构,以利用替代的数据模态。将我们的方法应用于现有的神经字幕模型,我们使用COCO数据集在新的对象字幕任务上取得了最先进的结果。我们进一步表明,我们可以训练字幕模型来描述来自Open Images数据集的新视觉概念,同时保持具有竞争力的COCO评估分数。
2018-11-28 cs.CV
Attention-based transformer models for image captioning across languages: An in-depth survey and evaluation
The University of Jordan(约旦大学);Princess Sumaya University for Technology(苏曼亚公主科技大学)
本文系统综述了基于注意力机制的跨语言图像描述Transformer模型,分类梳理方法、数据集与评估指标,指出多语言场景下的关键挑战,并提出多模态学习与实时应用等未来方向。
2025-06-03 cs.AI cs.CL cs.CV
End-to-end Image Captioning Exploits Multimodal Distributional Similarity
The University of Sheffield(谢菲尔德大学)
我们假设,端到端的神经图像描述系统的工作似乎很好,因为他们利用和学习“分布相似性”在多模态特征空间,通过映射测试图像在这个空间中类似的训练图像,并从相同的空间生成一个标题。为了验证我们的假设,我们专注于图像描述的“图像”方面,并改变输入图像表示,但保持CNN-RNN模型的RNN文本生成组件不变。我们的分析表明,图像描述模型(i)是能够分离的结构从嘈杂的输入表示;(ii)遭受几乎没有显着的性能损失时,高维表示被压缩到一个较低的维度空间;(iii)聚类图像相似的视觉和语言信息在一起。我们的研究结果表明,我们的分布相似性假设成立。我们的结论是,无论使用的图像表示图像描述系统似乎匹配图像,并在一个学习的联合图像-文本语义子空间生成字幕。
2018-09-11 cs.CV
Neural Attention for Image Captioning: Review of Outstanding Methods
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
图像描述是自动生成以最佳方式描述输入图像的句子的任务。自动生成图像字幕的最成功的技术最近使用了专注深度学习模型。具有注意力的深度学习模型的设计方式有很多变化。在本次调查中,我们提供了与图像描述的专注深度学习模型相关的文献综述。我们没有对深度图像描述模型的所有先前工作进行全面回顾,而是解释了用于深度学习模型中图像描述任务的各种类型的注意力机制。用于图像描述的最成功的深度学习模型遵循编码器-解码器架构,尽管这些模型采用注意力机制的方式存在差异。通过对不同注意深度模型在图像描述中的表现结果的分析,旨在寻找最成功的图像描述深度模型中的注意力机制类型。软注意、自下而上注意和多头注意力是在用于图像描述的最先进的注意深度学习模型中广泛使用的注意力机制类型。目前,最好的结果是从具有自下而上注意力的多头注意力的变体中获得的。
2021-11-29 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP(对比存储-图像预训练)在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而,它在跨模态生成任务,如zero-shot图像描述的性能仍然不令人满意。在这项工作中,我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态,在很大程度上忽略了视觉信息,我们称之为\emph{contextual language prior}。为了解决这个问题,我们提出了跨模态语言模型(CLM),以促进无监督的跨模态学习。我们进一步提出了锚增强,以指导生成模型的注意力,在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Image Captioning as Neural Machine Translation Task in SOCKEYE
Amazon Research(亚马逊研究院)
图像描述是介于计算机视觉和自然语言处理之间的一个交叉学科。任务是生成图像内容的文本描述。用于图像描述的典型模型是编码器-解码器深度网络,其中编码器捕获图像的本质,而解码器负责生成描述图像的句子。注意力机制可以用于自动地将解码器聚焦在与预测下一个单词相关的图像部分上。在本文中,我们探讨了神经机器翻译中流行的不同解码器和注意力模型,即注意力递归神经网络,自注意力Transformers和全卷积网络,它们代表了神经机器翻译的当前技术水平。图像描述模块作为SOCKEYE的一部分在https://github.com/awslabs/sockeye上提供,其教程可以在https://awslabs.github.io/sockeye/image_captioning.html上找到。
2018-10-15 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT(麻省理工学院);IBM Research(IBM研究院);JD AI Research(京东人工智能研究院);UC Davis(加州大学戴维斯分校)
视觉语言基础在现代神经图像描述系统中被广泛研究,其通常采用由两个主要组件组成的编码器-解码器框架:用于图像特征提取的卷积神经网络(CNN)和用于语言字幕生成的递归神经网络(RNN)。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性,我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法,检查神经图像描述系统是否会被误导,输出一些随机选择的标题或关键字。我们广泛的实验表明,我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例,并且对抗性示例可以高度转移到其他图像描述系统。因此,我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Intrinsic Image Captioning Evaluation
City University of Hong Kong(香港城市大学)
图像描述任务即将从图像生成合适的描述。对于这项任务,可能会有几个挑战,如准确性,流畅性和多样性。然而,在评价字幕模型的效果时,很少有指标能够涵盖所有这些属性。基于自动编码机制和词嵌入的研究进展,本文提出了一种基于学习的图像描述评价方法,我们称之为内在图像描述评价(I2CE)。我们选择了几个国家的最先进的图像描述模型和测试他们的表现在MS COCO数据集方面的当代指标和建议的I2CE。实验结果表明,该方法在语义相似或语义不一致的情况下,仍能保持较好的鲁棒性,并能对候选字幕给出更灵活的评分。在这个问题上,建议的度量可以作为一个新的指标之间的内在信息的字幕,这可能是补充现有的。
2020-12-14 cs.CV
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院)
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此,基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中,文本输入,例如,专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此,有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中,提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示,文本特征强化,和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明,与现有方法相比,该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Watch What You Just Said: Image Captioning with Text-Conditional Attention
University of Michigan(密歇根大学);University of Rochester(罗切斯特大学)
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。然而,现有的方法仅使用视觉内容作为注意力,文本上下文是否可以提高图像描述中的注意力仍然没有解决。为了探索这个问题,我们提出了一种新型的注意力机制,称为\textit{text-conditional attention},它允许字幕生成器关注先前生成的文本的某些图像特征。为了获得我们的注意力模型的文本相关图像特征,我们采用了引导性长短期记忆(gLSTM)字幕架构和CNN微调。我们提出的方法允许联合学习的图像嵌入,文本嵌入,文本条件注意和语言模型与一个网络架构在一个端到端的方式。我们在MS-COCO数据集上进行了大量的实验。实验结果表明,我们的方法优于国家的最先进的字幕方法的各种定量指标,以及在人类的评价,这支持使用我们的文本条件注意在图像描述。
2016-11-24 cs.CV
Stack-Captioning: Coarse-to-Fine Learning for Image Captioning
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
现有的图像描述方法通常采用训练一级句子解码器,难以生成丰富的细粒度描述。另一方面,由于梯度消失问题,多级图像字幕模型难以训练。在本文中,我们提出了一个由粗到细的多阶段预测框架的图像描述,由多个解码器,每个操作上一个阶段的输出,产生越来越精细的图像描述。我们提出的学习方法通过提供一个执行中间监督的学习目标函数来解决训练过程中梯度消失的困难。特别是,我们优化我们的模型与强化学习的方法,利用每个中间解码器的测试时推理算法的输出,以及其前一个解码器的输出规范化的奖励,同时解决了众所周知的曝光偏差问题和损失评估不匹配的问题。我们广泛评估所提出的方法MSCOCO和表明,我们的方法可以实现国家的最先进的性能。
2018-03-14 cs.CV
Unpaired Image Captioning by Language Pivoting
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
图像描述是涉及计算机视觉和自然语言处理的多模态任务,其目标是学习从图像到其自然语言描述的映射。通常,映射函数是从图像-字幕对的训练集学习的。然而,对于某些语言,大规模的图像-字幕配对语料库可能无法使用。我们提出了一种方法,这种不成对的图像描述问题的语言旋转。我们的方法可以有效地捕捉图像字幕的特点,从主语言(中文),并将其对齐到目标语言(英语)使用另一个非目标(汉英)句子平行语料库。我们在两个图像到英语的基准数据集上评估我们的方法:MSCOCO和Flickr 30 K。对几个基线方法的定量比较表明,我们的方法的有效性。
2018-07-18 cs.CV
Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
图像描述的目的是通过机器生成描述图像内容的字幕。尽管做出了许多努力,但为图像生成有区别的字幕仍然是不平凡的。传统的方法大多模仿语言的结构模式,因此往往陷入重复频繁的短语或句子的刻板印象,而忽略了每个图像的独特之处。在这项工作中,我们提出了一个图像描述框架与自检索模块作为训练指导,鼓励产生歧视性的字幕。它具有独特的优势:(1)自检索引导可以充当字幕区分度的度量和评估器,以确保生成的字幕的质量。(2)生成的字幕和图像之间的对应关系自然地被纳入生成过程中,而无需人工注释,因此我们的方法可以利用大量未标记的图像来提高字幕性能,而无需额外的费力注释。我们证明了所提出的检索引导方法的有效性COCO和Flickr30k字幕数据集,并显示其优越的字幕性能与更多的歧视性字幕。
2018-07-23 cs.CV
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Science and Technology Beijing(北京科技大学);Wuhan University(武汉大学);University of Chinese Academy of Sciences(中国科学院大学)
自注意网络在图像描述中显示出了重要的应用价值。为了提高图像描述的性能,本文从两个方面对SA进行了改进。首先,我们提出了标准化的自我注意力(NSA),SA的重新参数化,带来了SA内部规范化的好处。虽然规范化以前只适用于SA外,我们介绍了一种新的规范化方法,并证明它是可能的和有益的执行SA内的隐藏激活。其次,为了弥补Transformer的主要限制,它无法建模的输入对象的几何结构,我们提出了一类几何感知的自我注意(GSA),扩展SA显式和有效地考虑图像中的对象之间的相对几何关系。为了构建我们的图像描述模型,我们将这两个模块结合起来,并将其应用于香草自我注意力网络。我们广泛地评估我们的建议MS-COCO图像描述数据集和优越的结果相比,国家的最先进的方法时,取得了。在视频描述、机器翻译和视觉问答三个具有挑战性的任务上的进一步实验表明了我们方法的通用性。
2020-03-19 cs.CL cs.CV cs.MM
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology(布尔诺理工大学)
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入,以找到语义相似的图像。从这些图像中,基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低,但它在通过图灵测试的字幕比例方面具有竞争力,并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives
University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学);IIT-CNR(意大利国家研究委员会IIT)
本综述全面概述了多模态大型语言模型时代图像描述评估的进展,分析了现有指标在相关性、排序准确性和幻觉敏感性等维度的局限,并指出了未来研究方向。
2025-05-30 cs.AI cs.CL cs.CV
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.(InnoPeak科技公司);Stony Brook University(石溪大学)
图像描述通过使用场景图来表示图像中对象的关系,能够实现更好的性能。目前的字幕编码器通常使用图卷积网络(GCN)来表示关系信息,并通过级联或卷积将其与对象区域特征合并,以获得用于句子解码的最终输入。然而,由于两个原因,现有方法中基于GCN的编码器对于字幕效果较差。首先,使用图像描述作为目标(即,最大似然估计)而不是以关系为中心的损失不能充分发掘编码器的潜力。其次,使用预先训练的模型而不是编码器本身来提取关系是不灵活的,并且不能有助于模型的可解释性。为了提高图像描述的质量,我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征,并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型,将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕,而且可以提取强关系的图像特征,还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明,我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya(马来亚大学)
随着深度模型的发展,在过去十年中,对图像描述的研究工作在原始性能方面取得了显着的进步,同时增加了模型复杂性和计算成本。然而,令人惊讶的是,用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究,我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构,即软注意,上下和对象关系Transformer。在此之后,我们提出了一种新的端到端的权重修剪方法,该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后,修剪方案扩展与编码器修剪,在那里我们表明,同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲,我们证明了80%到95%的稀疏网络(模型大小减少了75%)可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120,但模型大小仅为8.7 MB和14.5 MB(与密集版本相比,大小分别减少了96%和94%),可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG