What is the Role of Recurrent Neural Networks (RNNs) in an Image Caption Generator?
University of Malta(马耳他大学)
在神经图像描述系统中,递归神经网络(RNN)通常被视为主要的“生成”组件。这种观点认为,图像特征应该被“注入”到RNN中。事实上,这是文献中的主流观点。或者,RNN可以被视为仅对先前生成的单词进行编码。这种观点认为,RNN应该只用于编码语言特征,只有最终的表示应该在稍后阶段与图像特征“合并”。本文比较了这两种架构。我们发现,一般来说,后期合并优于注入,这表明RNN更好地被视为编码器,而不是生成器。
2017-08-25 cs.CL cs.CV cs.NE
Neural Attention for Image Captioning: Review of Outstanding Methods
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
图像描述是自动生成以最佳方式描述输入图像的句子的任务。自动生成图像字幕的最成功的技术最近使用了专注深度学习模型。具有注意力的深度学习模型的设计方式有很多变化。在本次调查中,我们提供了与图像描述的专注深度学习模型相关的文献综述。我们没有对深度图像描述模型的所有先前工作进行全面回顾,而是解释了用于深度学习模型中图像描述任务的各种类型的注意力机制。用于图像描述的最成功的深度学习模型遵循编码器-解码器架构,尽管这些模型采用注意力机制的方式存在差异。通过对不同注意深度模型在图像描述中的表现结果的分析,旨在寻找最成功的图像描述深度模型中的注意力机制类型。软注意、自下而上注意和多头注意力是在用于图像描述的最先进的注意深度学习模型中广泛使用的注意力机制类型。目前,最好的结果是从具有自下而上注意力的多头注意力的变体中获得的。
2021-11-29 cs.CV
SPICE: Semantic Propositional Image Caption Evaluation
The Australian National University(澳大利亚国立大学);Macquarie University(麦考瑞大学)
有相当大的兴趣,自动生成图像字幕的任务。然而,评价工作具有挑战性。现有的自动评估指标主要是敏感的n-gram重叠,这是既不必要,也不足以模拟人类判断的任务。我们假设语义命题内容是人类字幕评价的一个重要组成部分,并提出了一个新的自动字幕评价标准定义的场景图创造SPICE。对一系列模型和数据集的广泛评估表明,SPICE比其他自动度量(例如,在MS COCO数据集上,与人类判断的系统级相关性为0.88,而CIDER为0.43,METEOR为0.53)。此外,SPICE可以回答诸如“哪个字幕生成器最能理解颜色?”标题生成器能计数吗?'
2016-07-29 cs.CL cs.CV
Generating Diverse and Accurate Visual Captions by Comparative Adversarial Learning
University of Washington(华盛顿大学);Microsoft Research(微软研究院);JD AI Research(京东人工智能研究院)
我们研究如何生成字幕,不仅准确地描述图像,但也区分不同的图像。这个问题既基本又有趣,因为大多数机器生成的字幕,尽管在过去几年中取得了惊人的研究进展,但都是以非常单调和无特色的格式表示的。虽然这些字幕通常是准确的,但它们往往缺乏人类语言的重要特征-每个字幕的独特性和不同图像的多样性。为了解决这个问题,我们提出了一种新的条件生成对抗网络,用于在图像中生成不同的字幕。所提出的比较对抗学习框架不是仅在一张图像上估计字幕的质量,而是通过比较图像-字幕联合空间内的一组字幕来更好地评估字幕的质量。通过与人类书写字幕和图像不匹配字幕的对比,字幕生成器有效地利用了人类语言的固有特性,生成了更具鉴别力的字幕。我们表明,我们提出的网络能够在图像中产生准确和多样化的字幕。
2019-03-10 cs.CV
DeepDiary: Automatic Caption Generation for Lifelogging Image Streams
Indiana University(印第安纳大学)
Lifelogging摄像机从第一人称视角捕捉日常生活,但产生的数据太多,用户很难有效地浏览和组织他们的图像集。在本文中,我们建议使用自动图像描述算法来生成这些集合的文本表示。我们开发和探索基于深度学习的新技术,为单个图像和图像流生成字幕,使用时间一致性约束来创建更紧凑、噪音更小的摘要。我们评估我们的技术与定量和定性的结果,并应用字幕的图像检索应用程序,寻找潜在的私人图像。我们的研究结果表明,我们的自动字幕算法,虽然不完美,可能工作得很好,足以帮助用户管理生活日志照片集。
2016-08-12 cs.CV
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学)
使用基于编码器-解码器的方法的图像描述,其中CNN用作编码器,并且序列生成器如RNN用作解码器,已被证明是非常有效的。然而,这种方法有一个缺点,那就是序列需要按顺序处理。为了克服这个缺点,一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而,没有一个使用Transformer模型生成孟加拉语字幕。因此,我们利用三个不同的孟加拉语数据集,使用Transformer模型从图像中生成孟加拉语字幕。此外,我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后,我们比较了基于transformer的模型的结果与其他模型,采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
Towards Generating Stylized Image Captions via Adversarial Training
Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
虽然大多数图像描述旨在生成图像的客观描述,但是最近几年已经看到了关于生成具有特定风格(例如,包含积极或消极情绪)。然而,由于风格组件通常是训练的最后一部分,因此当前模型通常以牺牲准确的内容描述为代价来关注风格。此外,在文体方面缺乏可变性。为了解决这些问题,我们提出了一个图像描述模型,称为ATTEND-GAN,它有两个核心组件:第一,基于注意力的字幕生成器,将图像的不同部分与字幕的不同部分强烈相关;第二,对抗性训练机制,以帮助字幕生成器向生成的字幕添加不同的风格组件。由于这些组件,ATTEND-GAN可以生成相关的标题以及更人性化的风格模式变化。我们的系统优于最先进的系统以及我们的基线模型的集合。生成的字幕的语言分析表明,使用ATTEND-GAN生成的字幕有更广泛的风格形容词和形容词-名词对。
2019-08-08 cs.CL cs.CV
A Thorough Review on Recent Deep Learning Methodologies for Image Captioning
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
图像描述是结合计算机视觉和自然语言处理的任务,其目的是生成图像的描述性图例。这是一个双重的过程,依赖于准确的图像理解和正确的语言理解句法和语义。由于关于该主题的可用知识量不断增加,跟上图像描述领域的最新研究和发现变得越来越困难。然而,现有的审查文件没有充分涵盖这些调查结果。我们在本文中执行一个贯穿当前的技术,数据集,基准和评价指标中使用的图像描述。目前对该领域的研究主要集中在基于深度学习的方法上,其中注意力机制以及深度强化和对抗学习似乎处于该研究主题的前沿。在本文中,我们回顾了最近的方法,如UpDown,OSCAR,VIVO,Meta Learning和使用条件生成对抗网的模型。虽然基于GAN的模型得分最高,但UpDown代表了图像描述的重要基础,OSCAR和VIVO更有用,因为它们使用了新颖的对象描述。这篇综述论文为研究人员提供了一个路线图,以跟上图像字幕生成领域的最新贡献。
2021-07-28 cs.CV
Deep Learning Approaches on Image Captioning: A Review
McMaster University(麦克马斯特大学);Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
该综述系统梳理了图像字幕生成的深度学习方法,给出分类体系、常用数据集与评价指标,分析现有挑战与性能排名,并指明未来研究方向。
2023-08-22 cs.CV
Empirical Analysis of Image Caption Generation using Deep Learning
自动图像描述是深度学习的应用之一,涉及计算机视觉和自然语言处理中完成的工作的融合,并且通常使用编码器-解码器架构来执行。在这个项目中,我们已经实现并实验了各种风格的多模态图像描述网络,其中探索了基于ResNet 101,DenseNet 121和VGG 19的CNN编码器和基于Attention的LSTM解码器。我们研究了波束大小的影响和预训练词嵌入的使用,并将它们与基线CNN编码器和RNN解码器架构进行了比较。我们的目标是使用各种评估指标,包括BLEU,CIDER,ROUGE和METEOR来分析每种方法的性能。我们还探索了模型的可解释性,使用视觉注意力地图(VAM)来突出显示图像的部分,这些部分对预测生成的字幕的每个单词具有最大贡献。
2021-05-22 cs.CV
Image Captioning with Unseen Objects
HAVELSAN Inc.(哈维尔桑公司);Middle East Technical University(中东技术大学);Hacettepe University(哈塞特佩大学)
图像字幕生成是计算机视觉和自然语言处理交叉领域的一个长期存在且具有挑战性的问题。许多最近提出的方法利用一个完全监督的对象识别模型内的字幕方法。然而,这样的模型倾向于生成仅由识别模型预测的对象组成的句子,不包括没有标记的训练样本的类的实例。在本文中,我们提出了一个新的具有挑战性的场景,目标是在完全零样本学习设置中的图像描述问题,其中的目标是能够生成包含在训练过程中看不到的对象的测试图像的标题。该方法结合了一种新的zero-shot目标检测模型和一个基于模板的句子生成器。我们的实验在COCO数据集上显示了有希望的结果。
2019-07-31 cs.CV
Deep Interactive Region Segmentation and Captioning
随着最近在密集图像描述方面的创新,现在可以用一个标题来描述场景中的每个对象,而对象由边界框来确定。然而,由于存在许多重叠的边界框,对这样的输出的解释并不是微不足道的。此外,在当前的字幕框架中,用户不能涉及个人偏好以排除不感兴趣的区域。在本文中,我们提出了一种新的混合深度学习架构,用于交互式区域分割和字幕,其中用户能够指定应该处理的图像的任意区域。为此,一个专用的全卷积网络(FCN)命名为Lyncean FCN(LFCN)的训练使用我们的特殊训练数据隔离用户意图区域(UIR)作为一个有效的分割的输出。并行地,利用密集图像描述模型来为该区域提供各种各样的字幕。然后,将用最佳匹配限界框的标题来解释UIR。据我们所知,这是第一部提供如此全面输出的作品。我们的实验表明,所提出的方法的优越性超过国家的最先进的交互式分割方法在几个著名的数据集。此外,用交互式分割的结果替换边界框导致对密集图像描述输出的更好理解以及在并交(IoU)方面的目标检测的准确性增强。
2017-07-26 cs.CV
Image Captioning using Deep Neural Architectures
Chhotubhai Gopalbhai Patel Institute of Technology(乔图拜·戈帕尔拜·帕特尔理工学院)
使用任何自然语言语句(如英语)自动创建图像的描述是一项非常具有挑战性的任务。它需要图像处理和自然语言处理的专业知识。本文讨论了适用于图像描述任务的不同模型。我们还讨论了近年来物体识别和机器翻译任务的进步如何极大地提高了图像描述模型的性能。除此之外,我们还讨论了如何实现这个模型。最后,我们还使用标准的评价矩阵对模型的性能进行了评价。
2018-01-17 cs.CV
Exploiting Cross-Modal Prediction and Relation Consistency for Semi-Supervised Image Captioning
Nanjing University of Science and Technology(南京理工大学);Baidu Inc(百度公司);Rutgers University(罗格斯大学)
图像描述的任务旨在通过自动学习的交叉模态生成器直接从图像生成字幕。为了构建一个性能良好的生成器,现有的方法通常需要大量的描述图像,这需要大量的人工标注。然而,在现实世界的应用中,更普遍的情况是,我们只有有限数量的描述图像和大量的未描述图像。因此,如何有效地将未描述的图像组合到交叉模态生成器的学习中是一个挑战。针对这一问题,本文提出了一种基于跨模态预测和关系一致性(CPRC)的图像描述方法,该方法利用原始图像输入,将生成的句子约束在共同语义空间中。具体而言,考虑到模态间的异质性导致直接使用全局嵌入的监督困难,CPRC转而将原始图像和相应的生成语句都转换到共享语义空间中,并从两个方面对生成语句进行度量:1)预测一致性。CPRC利用对原始图像的预测作为软标签,为生成的句子提取有用的监督,而不是使用传统的伪标签; 2)关系一致性。CPRC开发了一种新的增强图像和相应的生成句子之间的关系一致性,以保留重要的关系知识。结果表明,CPRC从信息性和代表性两个角度对生成的句子进行监督,能够合理利用未描述图像,在半监督场景下学习更有效的生成器。
2021-10-28 cs.AI cs.CV
TextMage: The Automated Bangla Caption Generator Based On Deep Learning
Universität Potsdam(波茨坦大学);Technische Universität Dortmund(多特蒙德工业大学);University of Liberal Arts Bangladesh(孟加拉国文科大学)
神经网络和深度学习在过去十年中由于改进的结果而出现了研究热潮。从给定的图像中生成文本是一项至关重要的任务,需要结合计算机视觉和自然语言处理这两个部门,以理解图像并使用自然语言表示它。然而,现有的工作都是在一个特定的语言领域和同一组数据上完成的。这导致正在开发的系统在属于特定地点地理环境的图像上表现不佳。TextMage是一个能够理解属于孟加拉国地理背景的视觉场景的系统,并使用其知识来表示它在孟加拉语中所理解的内容。因此,我们在之前开发和发布的名为BanglaLekhaImageCaptions的数据集上训练了一个模型。该数据集包含9,154张图像以及每张图像的两个注释。为了访问性能,所提出的模型已经实施和评估。
2020-10-15 cs.CV cs.LG
Where to put the Image in an Image Caption Generator
Institute of Linguistics and Language Technology(语言与语言技术研究所);University of Malta(马耳他大学);Department of Systems and Control Engineering(系统与控制工程系)
当循环神经网络语言模型用于字幕生成时,图像信息可以通过直接将其并入RNN(通过“注入”图像特征来调节语言模型)或在RNN之后的层中(通过“合并”图像特征来调节语言模型)而被馈送到神经网络。虽然这两种选择都在文献中得到证实,但迄今还没有对两者进行系统的比较。在本文中,我们的经验表明,它不是特别有害的性能是否使用一种架构或另一种。合并架构确实具有实际优势,因为通过合并进行调节允许RNN的隐藏状态向量的大小缩小多达四倍。我们的研究结果表明,字幕生成的视觉和语言形式不需要由RNN联合编码,因为这会产生大型的内存密集型模型,在性能上几乎没有明显的优势;相反,多模态集成应该延迟到后续阶段。
2018-03-14 cs.CL cs.CV cs.NE
Improved Bengali Image Captioning via deep convolutional neural network based encoder-decoder model
Shahjalal University of Science and Technology(沙赫贾拉尔科技大学)
图像描述是一项艰巨的任务,它要用自然语言和与图像相关的上下文来生成图像的语法和语义上正确的文本描述。孟加拉语图像描述(BIC)中现有的值得注意的研究是基于编码器-解码器架构的。本文提出了一种端到端的图像描述系统,利用多模态架构,通过结合一维卷积神经网络(CNN)编码序列信息与预训练的ResNet-50模型图像编码器提取基于区域的视觉特征。我们使用现有的评估指标研究了我们的方法在BanglaLekhaImageCaptions数据集上的性能,并进行了定性分析的人工评估。实验表明,该方法的语言编码器能够捕捉到字幕中的细粒度信息,并结合图像特征,生成准确多样的字幕。我们的工作优于所有现有的BIC作品,并实现了一个新的最先进的(SOTA)的性能得分为0.651上的蓝色-1,0.572上的CIDER,0.297上的METEOR,0.434上的ROUGE,和0.357上的SPICE。
2021-02-14 cs.CV
VAR-CLIP: Text-to-Image Generator with Visual Auto-Regressive Modeling
Institute of Applied Physics and Computational Mathematics(应用物理与计算数学研究所);DeepGlint(深格灵科技);Shanghai Jiao Tong University(上海交通大学)
本文提出VAR-CLIP,将视觉自回归建模与CLIP文本嵌入相结合,实现高质量文本到图像生成,并通过BLIP2构建大规模图文数据集进行训练验证。
2024-08-02 cs.CV
3G structure for image caption generation
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所);University of Chinese Academy of Sciences(中国科学院大学)
如何使机器自动地用一句自然语言来描述图像的内容是计算机视觉的一大挑战。以往的研究在这方面取得了很大的进展,但都是利用图像的全局或局部特征,这可能会丢失图像的一些重要的细微或全局信息。在本文中,我们提出了一个模型与3门模型,融合了全局和局部图像特征在一起的图像字幕生成任务。该模型主要有三个门控结构。1)全局图像特征的门,它可以自适应地决定何时以及如何将全局图像特征导入句子生成器。2)门控递归神经网络(RNN)被用作句子生成器。3)为了提高非线性拟合的能力,采用了门控反馈叠加方法。特别地,本文将图像的全局特征和局部特征相结合,充分利用了图像的信息。全局图像特征由第一门控制,局部图像特征由注意力机制选择。通过后两个门,可以很好地探索图像和文本之间的关系,这提高了语言部分以及多模态嵌入部分的性能。实验结果表明,我们提出的方法优于国家的最先进的图像字幕生成。
2019-04-21 cs.CV
Analysis of diversity-accuracy tradeoff in image captioning
TTI-Chicago(芝加哥技术研究所)
我们研究了不同的模型架构,训练目标,超参数设置和解码程序对自动生成的图像字幕的多样性的影响。我们的研究结果表明:1)通过朴素采样进行简单解码,再加上低温,是一种具有竞争力和快速的方法,可以产生多样化和准确的字幕集; 2)使用强化学习进行基于CIDER的奖励训练会损害生成器的多样性,这无法通过操纵解码参数来减轻。此外,我们提出了一个新的度量AllSPICE的准确性和多样性的一组字幕由一个单一的值进行评估。
2020-02-27 cs.CL cs.CV
OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
Hunyuan, Tencent(腾讯混元);Nanyang Technological University(南洋理工大学);Northumbria University(诺森比亚大学)
研究针对MLLM视听推理评估的痛点,提出OmniCapBench深度结构化评估框架,通过原子评估单元实现可靠评分,揭示前沿MLLM局部感知强但长时视听推理弱的问题,为全模态发展提供路线图。
2026-10-09 cs.CV
Topic-Guided Attention for Image Captioning
Institute of Artificial Intelligence;Robotics School of Electronic;Information Engineering, Xi¡¯an Jiaotong University , P. R. China \ \ , \ \ , \ \
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。现有的基于注意力的模型使用来自字幕生成器的反馈信息作为指导,以确定应该关注哪些图像特征。这些注意力生成方法的一个共同缺陷是它们缺乏来自图像本身的更高级别的指导信息,这限制了选择最具信息量的图像特征。因此,在本文中,我们提出了一种新的注意力机制,称为主题引导的注意力,它集成在注意力模型中的图像主题作为指导信息,以帮助选择最重要的图像特征。此外,我们使用单独的网络提取图像特征和图像主题,这些网络可以在训练期间以端到端的方式进行联合微调。在基准Microsoft COCO数据集上的实验结果表明,我们的方法在各种定量指标上都具有最先进的性能。
2018-07-10 cs.CV
Image Captioning based on Deep Reinforcement Learning
Chinese Academy of Sciences(中国科学院)
最近已经表明,用于强化学习的策略梯度方法已被用于对自然语言处理任务进行深度端到端系统的训练。此外,由于图像内容理解的复杂性和自然语言描述图像内容的多样性,图像描述成为一个具有挑战性的问题。据我们所知,大多数最先进的方法都遵循序列模型的模式,例如递归神经网络(RNN)。然而,在本文中,我们提出了一种新的图像字幕架构,采用深度强化学习来优化图像描述任务。我们利用两个网络称为“政策网络”和“价值网络”,以协同生成图像的字幕。在Microsoft COCO数据集上进行了实验,实验结果验证了该方法的有效性。
2018-09-13 cs.CV cs.LG
A Comprehensive Survey of Deep Learning for Image Captioning
Murdoch University(莫道克大学)
生成图像的描述被称为图像描述。图像描述需要识别图像中的重要对象及其属性和关系。它还需要生成语法和语义正确的句子。基于深度学习的技术能够处理图像描述的复杂性和挑战。在这篇调查论文中,我们旨在对现有的基于深度学习的图像描述技术进行全面回顾。我们讨论了技术的基础,分析其性能,优势和局限性。我们还讨论了基于深度学习的自动图像描述中常用的数据集和评估指标。
2018-10-14 cs.CV cs.LG stat.ML
Deep soccer captioning with transformer: dataset, semantics-related losses, and multi-level evaluation
ISIA Lab(ISIA实验室);MAIA Lab(MAIA实验室);MARO Lab(MARO实验室)
这项工作旨在使用深度学习为足球视频生成字幕。在此背景下,本文介绍了数据集,模型和三级评估。该数据集由22 k个字幕剪辑对和三个视觉特征(图像、光流、修复)组成,用于约500小时的\emph{SoccerNet}视频。该模型分为三个部分:Transformer学习语言,ConvNets学习视觉,以及语言和视觉特征的融合生成字幕。本文建议在三个层次上评估生成的字幕:语法(常用的评估指标,如BLEU评分和CIDER),含义(领域专家的描述质量)和语料库(生成的字幕的多样性)。该论文表明,生成的字幕的多样性有所改善(从0.07达到0.18)与语义相关的损失,优先选择的话。语义相关的损失和利用更多的视觉特征(光流,修复)提高了28%的标准化字幕得分。本作品的网页:https://sites.google.com/view/soccercaptioning}{https://sites.google.com/view/soccercaptioning
2022-11-30 cs.AI cs.CV
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)(德黑兰理工大学);Department of Mathematics and Computer Science(数学与计算机科学系);Department of Computer Engineering(计算机工程系)
随着视觉和自然语言处理技术的发展,图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型,通过分离语义和风格来生成风格化的字幕。在继续这项工作中,这里开发了一个新的字幕模型,包括一个图像编码器来提取特征,一个混合的递归网络来嵌入一组提取的特征到一组单词中,以及一个句子生成器,它将所获得的单词组合为一个风格化的句子。由此产生的系统,称为递归专家混合(MoRE),使用一种新的训练算法,从递归神经网络(RNN)的加权矩阵导出奇异值分解(SVD),以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库,没有配对的图像,我们的字幕模型也可以做到这一点。此外,风格化和多样化的字幕提取,而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型,我们使用Microsoft COCO,这是一个标准的事实图像字幕数据集。我们表明,建议的字幕模型可以生成一个多样化的和风格化的图像字幕,而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
An Efficient Technique for Image Captioning using Deep Neural Network
随着互联网的巨大扩张和每天产生的数万亿GB数据,开发各种工具的需求已经成为强制性的,以保持系统对快速变化的适应性。这些工具中的一个被称为图像描述。互联网上的每个实体都必须被正确识别和管理,因此在图像数据的情况下,需要自动识别字幕。类似地,针对缺失标签的内容生成、图像分类和人工语言都需要图像描述的过程。本文讨论了一种有效的和独特的方式来执行自动图像描述的个人形象,并讨论了战略,以提高其性能和功能。
2020-09-05 cs.CV cs.LG
Deep Compositional Captioning: Describing Novel Object Categories without Paired Training Data
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);UT Austin(德克萨斯大学奥斯汀分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
虽然最近的深度神经网络模型在图像描述任务上取得了有希望的结果,但它们在很大程度上依赖于具有成对图像和句子标题的语料库的可用性来描述上下文中的对象。在这项工作中,我们提出了深度组合字幕(DCC),以解决的任务,生成描述的新对象不存在于成对的图像-句子数据集。我们的方法通过利用大型对象识别数据集和外部文本语料库以及在语义相似的概念之间传输知识来实现这一点。目前的深度字幕模型只能描述包含在成对的图像-句子语料库中的对象,尽管它们是用大型对象识别数据集(即ImageNet)预先训练的。相比之下,我们的模型可以组成描述新对象及其与其他对象交互的句子。我们通过实证评估其在MSCOCO上的性能来证明我们的模型描述新概念的能力,并在没有配对图像标题数据的对象的ImageNet图像上显示定性结果。此外,我们扩展我们的方法来生成视频剪辑中的对象的描述。我们的研究结果表明,DCC有明显的优势,现有的图像和视频描述方法产生的新对象的描述上下文中。
2016-04-27 cs.CL cs.CV
UnMA-CapSumT: Unified and Multi-Head Attention-driven Caption Summarization Transformer
Delhi Technological University(德里理工大学)
本文提出UnMA-CapSumT框架,结合事实性与风格化(浪漫、幽默)图像描述,通过多头注意力摘要Transformer解决词汇外和重复问题,在Flickr8K和FlickrStyle10K上验证有效性。
2024-12-16 cs.CV
Caption Generation for Dongba Paintings via Prompt Learning and Semantic Fusion
Sichuan Agricultural University(四川农业大学)
本文提出PVGF-DPC框架,结合内容提示模块和新颖的视觉语义生成融合损失,解决东巴绘画自动描述问题,生成符合文化特色的描述。
2026-03-24 cs.CV
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能领域的一项具有挑战性的研究课题,在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展,包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后,我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning
本文提出HalDec-Bench,用于评估图像描述中幻觉检测的性能,通过多样化模型生成的描述和人工标注揭示了模型在不同难度任务中的表现差异,并发现检测器倾向于认为响应开头的句子正确。
2026-03-24 cs.CV
Deep Reinforcement Learning-based Image Captioning with Embedding Reward
Snap Inc.(Snap公司);Google Inc.(谷歌公司)
图像描述是一个具有挑战性的问题,因为理解图像内容的复杂性和用自然语言描述图像内容的多种方式。深度神经网络的最新进展大大提高了这项任务的性能。大多数最先进的方法遵循编码器-解码器框架,其使用顺序递归预测模型生成字幕。然而,在本文中,我们介绍了一种新的决策框架图像描述。我们利用“策略网络”和“价值网络”来协作生成字幕。策略网络通过提供根据当前状态预测下一个单词的置信度来充当本地指导。此外,价值网络通过评估当前状态的所有可能扩展来作为全局和前瞻性指导。本质上,它将预测正确单词的目标调整为生成类似于地面实况字幕的字幕的目标。我们使用演员-评论家强化学习模型训练这两个网络,并通过视觉语义嵌入定义了一种新的奖励。在Microsoft COCO数据集上进行的大量实验和分析表明,所提出的框架在不同的评估指标上优于最先进的方法。
2017-04-12 cs.AI cs.CV
Predicting Visual Features from Text for Image and Video Caption Retrieval
Zhejiang University(浙江大学);Renmin University of China(中国人民大学);University of Amsterdam(阿姆斯特丹大学)
本文试图在一组句子中找到最好的描述给定图像或视频内容的句子。不同于现有的作品,它依赖于一个联合子空间的图像和视频字幕检索,我们建议这样做,在视觉空间专门。除了这个概念上的新颖性,我们贡献了\emph{Word2VisualVec},一个深度神经网络架构,学习预测文本输入的视觉特征表示。示例字幕基于多尺度句子向量化被编码为文本嵌入,并通过简单的多层感知器进一步转换为选择的深度视觉特征。我们进一步推广Word 2 VisualVec的视频字幕检索,从文本预测的3-D卷积神经网络功能,以及视听表示。在Flickr 8 k、Flickr 30 k、微软视频描述数据集和最近NIST TrecVid视频字幕检索挑战上的实验详细介绍了Word 2 VisualVec的属性、其优于文本嵌入的优势、多模态查询组合的潜力及其最先进的结果。
2018-07-14 cs.CV
Rich Image Captioning in the Wild
Microsoft Research(微软研究院)
我们提出了一个图像字幕系统,解决了自动描述图像在野外的新挑战。这些挑战包括高质量的字幕质量,相对于人类的判断,域外数据处理,并在许多应用程序中所需的低延迟。我们建立在最先进的框架之上,开发了一个深度视觉模型,可以检测广泛的视觉概念,一个实体识别模型,可以识别名人和地标,以及一个用于字幕输出的置信度模型。实验结果表明,我们的字幕引擎在域内数据集(即MS COCO)和域外数据集上的性能明显优于以前的最先进的系统。
2016-03-31 cs.CV
Neural Twins Talk
University of Colorado Colorado Springs(科罗拉多大学斯普林斯分校)
受人类大脑如何在增加对主题的关注时采用更多神经通路的启发,我们引入了一种新颖的双级联注意力模型,该模型优于最初使用一个注意力通道进行视觉基础任务的最新图像描述模型。视觉接地确保字幕语句中存在接地到输入图像中的特定区域中的单词。在视觉基础任务上训练深度学习模型之后,当生成字幕时,该模型采用关于视觉基础和字幕句子中对象的顺序的学习模式。我们报告我们的实验结果在三个图像描述任务的COCO数据集。结果报告使用标准的图像描述指标,以显示我们的模型比以前的图像描述模型实现的改进。从我们的实验中收集的结果表明,在深度神经网络中使用更多的平行注意力路径会导致更高的性能。我们的NTT实现可在https://github.com/zanyarz/NeuralTwinsTalk上公开获取。
2020-09-26 cs.CV
HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning
OMRON SINICX;The University of Tokyo(东京大学);The University of Osaka(大阪大学)
本文提出HalDec-Bench,用于评估图像描述中幻觉检测的性能,通过多样化VLM生成的描述和人类标注揭示模型差异,发现检测器倾向于认可响应开头的句子,并通过强VLM过滤减少数据噪声。
2026-03-24 cs.CV
Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
最近,深度学习方法,特别是深度卷积神经网络(ConvNets),已经实现了图像分类的快速处理速度和压倒性的准确性。用深度ConvNets描述视频的时间结构成为视频内容分析的一个基本问题。在本文中,我们提出了一种新的方法,即层次递归神经编码器(HRNE),利用视频的时间信息。与目前的视频表示推理方法相比,本文做出了以下三个贡献。首先,我们的HRNE是能够有效地利用视频的时间结构在更长的范围内,通过减少输入信息流的长度,并在更高的水平上合成多个连续的输入。其次,计算操作显著减少,同时获得更多的非线性。第三,HRNE能够揭示具有不同粒度的帧块之间的时间转换,即,它可以对帧之间的时间转换以及段之间的转换进行建模。我们将新的方法应用到时间信息起着至关重要的作用的视频描述。实验表明,我们的方法优于国家的最先进的视频描述基准。值得注意的是,即使使用仅RGB流作为输入的单个网络,HRNE也击败了所有结合多个输入的最新系统,例如RGB ConvNet和3D ConvNet。
2015-11-11 cs.CV
Uterine Ultrasound Image Captioning Using Deep Learning Techniques
Faculty of Medicine Salah Boubnider University(萨拉赫·布布尼德大学医学院);Abdelhamid Mehri University(阿卜杜勒哈米德·迈赫里大学);Obstetrics and Gynecology Clinic(妇产科诊所)
本文提出一种结合卷积神经网络与双向门控循环单元的深度学习模型,用于自动生成子宫超声图像的描述文字,实验证明其BLEU和ROUGE分数优于基线方法,有助于辅助医疗诊断。
2024-11-21 cs.AI cs.CV
Image to Bengali Caption Generation Using Deep CNN and Bidirectional Gated Recurrent Unit
American International University-Bangladesh(美国国际大学-孟加拉国分校)
关于孟加拉语的生成描述的研究很少。大约有2.43亿人说孟加拉语,它是地球上第七大语言。本研究的目的是提出一种基于CNN和双向GRU的架构模型,该模型可以从图像中生成孟加拉语的自然语言字幕。孟加拉人可以利用这项研究打破语言障碍,更好地了解彼此的观点。它也将帮助许多盲人的日常生活。本文采用了一种编码器-解码器的方法来生成字幕。我们使用了一个预先训练的深度卷积神经网络(DCNN),称为InceptonV 3图像嵌入模型,作为数据集图像分析、分类和注释的编码器,双向门控递归单元(BGRU)层作为解码器来生成字幕。Argmax和束搜索用于产生尽可能高质量的字幕。使用了一个名为BNATURE的新数据集,该数据集包括8000张图像,每张图像有5个标题。它用于训练和测试所提出的模型。我们得到BLEU-1、BLEU-2、BLEU-3、BLEU-4和Meteor的平均值分别为42.6、27.95、23、66、16.41、28.7。
2020-12-22 cs.CV cs.LG
A Competitive Deep Neural Network Approach for the ImageCLEFmed Caption 2020 Task
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
ImageCLEFmed标题任务的目的是开发一个系统,自动标记放射学图像与相关的医学概念。我们描述了我们的深度神经网络(DNN)为基础的方法来解决这个问题。在3,534张放射学图像的挑战测试集上,我们的系统获得了0.375的F1分数,在所有成功提交挑战的系统中排名第12,因此我们只依赖于提供的数据源,而不使用任何外部医学知识或本体,或来自其他医学图像库或应用领域的预训练模型。
2020-09-22 cs.CV cs.LG
Multi-modal reward for visual relationships-based image captioning
University of Isfahan(伊斯法罕大学)
深度神经网络由于其有效的表示学习和基于上下文的内容生成能力,在自动图像描述方面取得了令人鼓舞的成果。作为在许多最近的图像描述方法中使用的突出类型的深度特征,与直接从原始图像提取的特征图相比,公知的自底向上特征提供图像的不同对象的详细表示。然而,缺乏高层次的语义信息,这些对象之间的关系是一个重要的缺点,自底向上的功能,尽管其昂贵的和资源需求的提取过程。为了在字幕生成中利用视觉关系,提出了一种基于深度神经网络的图像描述字幕生成架构,该架构将从图像场景图中提取的视觉关系信息与图像的空间特征图融合。然后引入多模态奖励函数,用于在公共嵌入空间中使用语言和视觉相似性的组合对所提出的网络进行深度强化学习。在MSCOCO数据集上的大量实验结果表明,在所提出的字幕方法中使用视觉关系是有效的。此外,结果清楚地表明,在深度强化学习中提出的多模态奖励可以实现更好的模型优化,优于几种最先进的图像描述算法,同时使用轻便且易于提取的图像特征。构成所提出的方法的组件的详细的实验研究。
2023-03-21 cs.AI cs.CV
SD-RSIC: Summarization Driven Deep Remote Sensing Image Captioning
Technische Universität Berlin(柏林工业大学)
深度神经网络(DNN)最近被发现流行于遥感(RS)中的图像描述问题。现有的基于DNN的方法依赖于由大量带有标题的RS图像组成的训练集的可用性。然而,训练图像的字幕可能包含冗余信息(它们可以是重复的或语义上彼此相似),从而导致在学习从图像域到语言域的映射时的信息不足。为了克服这一局限性,在本文中,我们提出了一种新的摘要驱动的遥感图像描述(SD-RSIC)的方法。所提出的方法包括三个主要步骤。第一步通过联合利用卷积神经网络(CNN)和长短期记忆(LSTM)网络来获得标准图像字幕。与现有的RS图像描述方法不同,第二步通过利用序列到序列神经网络将每个训练图像的地面实况字幕总结为单个字幕,并消除训练集中存在的冗余。第三步自动定义与每个RS图像相关联的自适应权重,以基于图像的语义内容将标准字幕与摘要字幕相结合。这是通过在LSTM网络上下文中定义的一种新的自适应加权策略来实现的。在RSCID、UCM-Captions和Sydney-Captions数据集上的实验结果表明,与现有的RS图像描述方法相比,该方法是有效的.所提出的方法的代码可在https://gitlab.tubit.tu-berlin.de/rsim/SD-RSIC上公开获得。
2020-10-13 cs.CL cs.CV cs.LG
LineCap: Line Charts for Data Visualization Captioning Models
Harvard University(哈佛大学)
数据可视化标题可以帮助读者理解可视化的目的,对于有视觉障碍的人来说至关重要。不良图形字幕的普遍存在以及深度学习方法在图像描述中的成功应用促使人们将类似技术用于自动图形字幕。然而,由于缺乏合适的数据集,这一领域的研究一直受到阻碍。我们介绍了LineCap,这是一个包含3,528个图形的新型图形字幕数据集,我们提供了对该数据集的管理和使用端到端深度学习模型进行自动图形字幕的见解。
2022-07-15 cs.CL cs.CV cs.LG
TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision
ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
在本文中,我们研究了一个开放的研究任务,从给定的文本描述生成可控的3D纹理形状。以前的作品要么需要地面实况字幕标记,要么需要大量的优化时间。为了解决这些问题,我们提出了一个新的框架,TAPS3D,训练一个文本引导的三维形状生成器与伪字幕。具体来说,基于渲染的2D图像,我们检索相关的词从CLIP词汇和使用模板构建伪标题。我们构造的标题为生成的3D形状提供高级语义监督。此外,为了产生细粒度的纹理和增加几何多样性,我们建议采用低级别的图像正则化,使假渲染的图像与真实的对齐。在推理阶段,我们提出的模型可以从给定的文本生成3D纹理形状,而无需任何额外的优化。我们进行了广泛的实验,分析我们提出的每个组件,并显示我们的框架在生成高保真3D纹理和文本相关的形状的功效。
2023-03-23 cs.CV
In Defense of Scene Graphs for Image Captioning
University of California San Diego(加利福尼亚大学圣迭戈分校);Intel Labs(英特尔实验室);University of Warwick(华威大学)
主流的图像描述模型依赖于卷积神经网络(CNN)图像特征,通过递归模型生成字幕。最近,图像场景图已被用来增强字幕模型,以利用其结构语义,如对象实体,关系和属性。一些研究已经注意到,来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能,并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战,我们提出了\textbf{SG2Caps},一个框架,只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像,另一个来自其标题。为了实现这一点,我们利用对象的空间位置和人-物-交互(HOI)标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度,表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积,从而减少了49%的可训练参数。我们的代码可在:https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
Script-a-Video: Deep Structured Audio-visual Captions via Factorized Streams and Relational Grounding
Tencent Hunyuan Team(腾讯文言团队)
本文提出MTSS框架,通过因子化流和关系 grounding 解决视频描述中信息耦合问题,提升视频理解与生成性能,实验显示在多个基准测试中均取得显著改进。
2026-04-15 cs.CV
Comprehensive Image Captioning via Scene Graph Decomposition
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tencent AI Lab(腾讯人工智能实验室)
我们通过重新审视图像场景图的表示来解决图像描述的挑战性问题。在我们的方法的核心在于一个场景图分解成一组子图,每个子图捕捉输入图像的语义组件。我们设计了一个深度模型来选择重要的子图,并将每个选定的子图解码成单个目标句子。通过使用子图,我们的模型能够关注图像的不同组成部分。因此,我们的方法占准确,多样,接地和可控的字幕在同一时间。我们提出了广泛的实验来证明我们的综合字幕模型的好处。我们的方法建立了新的国家的最先进的字幕多样性,接地和可控性的结果,并比较有利的字幕质量的最新方法。我们的项目网站可以在http://pages.cs.wisc.edu/~yiwuzhong/Sub-GC.html上找到。
2020-07-23 cs.CV
CAPTION: Correction by Analyses, POS-Tagging and Interpretation of Objects using only Nouns
Centro Universitário FEI(FEI大学中心);Flinders University(弗林德斯大学)
最近,深度学习(DL)方法在图像描述和视觉问答方面表现出了出色的性能。然而,尽管它们的性能,DL方法不学习用于描述场景的单词的语义,使得难以发现字幕中使用的不正确的单词或交换具有相似含义的单词。本文提出了一种结合深度学习方法的目标检测和自然语言处理来验证图像标题的方法。我们测试我们的方法在FOIL-COCO数据集,因为它提供了正确的和不正确的字幕,各种图像只使用对象表示的MS-COCO图像数据集。结果表明,我们的方法具有良好的整体性能,在某些情况下类似于人类的表现。
2020-10-02 cs.CV
An Image captioning algorithm based on the Hybrid Deep Learning Technique (CNN+GRU)
Comsats University Islamabad, Sahiwal Campus(伊斯兰堡科萨茨大学萨希瓦尔校区);Chosun University(朝鲜大学)
编码器-解码器框架的图像描述在过去十年中取得了巨大的进步,其中CNN主要用作编码器,LSTM用作解码器。尽管在简单图像的准确性方面取得了令人印象深刻的成就,但在时间复杂度和空间复杂度效率方面却有所欠缺。除此之外,在具有大量信息和对象的复杂图像的情况下,由于缺乏对图像中呈现的场景的语义理解,该CNN-LSTM对的性能呈指数级下降。因此,考虑到这些问题,我们提出了CNN-GRU编码器解码框架的标题到图像重建器处理的语义上下文考虑以及时间复杂度。通过考虑解码器的隐藏状态,重建输入图像及其类似的语义表示,并且在模型训练期间结合可能性使用来自语义重建器的重建分数来评估所生成的字幕的质量。结果,解码器接收到改进的语义信息,增强了字幕制作过程。在模型测试期间,结合重建分数和对数似然来选择最合适的标题也是可行的。该模型在时间复杂度和准确性方面优于最先进的LSTM-A5图像字幕模型。
2023-01-06 cs.AI cs.CV
Image Captioning with Clause-Focused Metrics in a Multi-Modal Setting for Marketing
University of Augsburg(奥格斯堡大学);GfK Verein(GfK协会)
自动生成图像的描述性字幕是计算机视觉中的一个研究热点。然而,现有的评价方法侧重于衡量两个句子之间的相似性,而忽略了细粒度的语义的字幕。在我们的设置的图像描绘的人与品牌产品的互动,主题,谓词,对象和品牌产品的名称是重要的评价标准生成的字幕。生成具有这些约束的图像字幕是一个新的挑战,我们在这项工作中解决。通过同时预测描述人与产品交互属性的整数值评级,我们在多任务学习设置中优化了深度神经网络架构,这大大提高了字幕质量。此外,我们引入了一个新的度量,使我们能够评估生成的字幕是否满足我们的要求(即,主语、谓语、宾语和产品名称),并描述了一系列关于字幕质量的实验,以及如何用一种称为软目标的方法来解决注释者对图像评级的分歧。我们还表明,我们的新的子句为重点的指标也适用于其他图像描述数据集,如流行的MSCOCO数据集。
2019-05-06 cs.CV
Prompt-Based Caption Generation for Single-Tooth Dental Images Using Vision-Language Models
Marshall University(马歇尔大学);West Virginia State University(西弗吉尼亚州立大学)
本文提出使用视觉-语言模型生成单牙牙科图像标题,解决现有数据集缺乏和标题描述不全面的问题。
2026-03-08 cs.CV
Unsupervised Image Captioning
Tencent AI Lab(腾讯人工智能实验室);University of Rochester(罗切斯特大学)
深度神经网络在图像描述任务上取得了巨大成功。然而,大多数现有的模型严重依赖于成对的图像-句子数据集,这是非常昂贵的获取。在本文中,我们首次尝试以无监督的方式训练一个图像描述模型。而不是依赖于手动标记的图像-句子对,我们提出的模型只需要一个图像集,句子语料库,和现有的视觉概念检测器。句子语料库用于教导字幕模型如何生成合理的句子。同时,视觉概念检测器中的知识被提取到字幕模型中,以指导模型识别图像中的视觉概念。为了进一步鼓励生成的字幕与图像语义一致,图像和字幕被投影到公共潜在空间中,使得它们可以彼此重构。鉴于现有的句子语料库主要是为语言学研究而设计的,因此很少参考图像内容,我们爬行了一个大规模的图像描述语料库的200万个自然句子,以促进无监督的图像描述的情况。实验结果表明,我们提出的模型是能够产生相当有前途的结果没有任何字幕注释。
2019-04-06 cs.CV
Excitation Backprop for RNNs
Boston University(波士顿大学);Istituto Italiano di Tecnologia(意大利理工学院);Adobe Research(奥多比研究院);Università di Verona(维罗纳大学)
深度模型是许多视觉任务的最新技术,包括视频动作识别和视频描述。模型被训练来对视频中的活动进行说明或分类,但人们对用于做出此类决定的证据知之甚少。在空间视觉内容中研究了深度网络做出的接地决策,从而更深入地了解图像的模型预测。然而,这样的研究是相对缺乏的时空视觉内容的模型-视频。在这项工作中,我们设计了一个配方,同时理由的证据在空间和时间,在一个单一的通行证,使用自上而下的显着性。我们可视化的时空线索,有助于深模型的分类/字幕输出使用模型的内部表示。基于这些时空线索,我们能够定位视频中与特定动作或字幕中的短语相对应的片段,而无需针对这些任务进行显式优化/训练。
2018-03-08 cs.CV