A Neural Compositional Paradigm for Image Captioning
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；NVIDIA（英伟达）
主流的字幕模型通常遵循顺序结构来生成字幕，导致诸如引入无关语义、生成的字幕缺乏多样性以及泛化性能不足等问题。在本文中，我们提出了另一种范式的图像描述，它分解成两个阶段的字幕过程：（1）提取一个明确的语义表示从给定的图像;（2）构建的标题的基础上递归的组成过程中自底向上的方式。与传统的范式相比，我们的范式通过对语义和句法的显式分解，更好地保留了语义内容。通过使用合成生成过程，字幕构造遵循递归结构，这自然符合人类语言的特性。此外，所提出的合成过程需要更少的数据来训练，更好地概括，并产生更多样化的字幕。
2018-10-23 cs.CL cs.CV cs.LG
An Empirical Study of Language CNN for Image Captioning
Nanyang Technological University（南洋理工大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
基于递归神经网络的语言模型已经主导了最近的图像字幕生成任务。在本文中，我们介绍了一种语言CNN模型，它适用于统计语言建模任务，并在图像描述中显示出有竞争力的性能。与之前基于前一个单词和隐藏状态预测下一个单词的模型相比，我们的语言CNN提供了所有之前的单词，并且可以对历史单词的长期依赖性进行建模，这对于图像描述至关重要。在MS COCO和Flickr30K两个数据集上验证了该方法的有效性。我们广泛的实验结果表明，我们的方法优于香草递归神经网络为基础的语言模型，是具有竞争力的国家的最先进的方法。
2017-08-02 cs.CV cs.LG
Neural Attention for Image Captioning: Review of Outstanding Methods
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
图像描述是自动生成以最佳方式描述输入图像的句子的任务。自动生成图像字幕的最成功的技术最近使用了专注深度学习模型。具有注意力的深度学习模型的设计方式有很多变化。在本次调查中，我们提供了与图像描述的专注深度学习模型相关的文献综述。我们没有对深度图像描述模型的所有先前工作进行全面回顾，而是解释了用于深度学习模型中图像描述任务的各种类型的注意力机制。用于图像描述的最成功的深度学习模型遵循编码器-解码器架构，尽管这些模型采用注意力机制的方式存在差异。通过对不同注意深度模型在图像描述中的表现结果的分析，旨在寻找最成功的图像描述深度模型中的注意力机制类型。软注意、自下而上注意和多头注意力是在用于图像描述的最先进的注意深度学习模型中广泛使用的注意力机制类型。目前，最好的结果是从具有自下而上注意力的多头注意力的变体中获得的。
2021-11-29 cs.CV
Image Representations and New Domains in Neural Image Captioning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
我们研究的可能性，最近有希望的结果，自动字幕生成主要是由于语言模型。通过改变由卷积神经网络产生的图像表示质量，我们发现，即使在提供了令人惊讶的差的图像表示时，最先进的神经字幕算法也能够产生高质量的字幕。我们在一个新的、细粒度的、转移学习的字幕域中复制了这一结果，该域由66 K食谱图像/标题对组成。我们还提供了一些关于自动字幕数据集的适当性的实验，并发现每个图像具有多个字幕是有益的，但不是绝对的要求。
2015-08-09 cs.CL cs.CV
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
凝视反映了人类如何处理视觉场景，因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力，例如对象定位和识别，但是仍然不清楚凝视是否也可以有益于以场景为中心的任务，例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用，提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集，我们首先评估最先进的对象和场景识别模型，自下而上的视觉显着性和人类凝视之间的关系。然后，我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中，并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估，我们表明，我们的方法提高了图像描述的性能，凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
Image Captioning with Compositional Neural Module Networks
Carnegie Mellon University（卡内基梅隆大学）
在流畅性是评价中的重要因素的图像描述中，例如，$n$ -gram度量，通常使用顺序模型;然而，顺序模型通常导致过度概括的表达式，其缺乏可能存在于输入图像中的细节。受视觉问答任务中组合神经模块网络想法的启发，我们引入了一个用于图像描述的分层框架，该框架探索了自然语言的组合性和顺序性。我们的算法通过选择性地关注与输入图像中检测到的每个对象的独特方面相对应的不同模块来学习撰写细节丰富的句子，以包括特定的描述，例如计数和颜色。在MSCOCO数据集上的一组实验中，所提出的模型在多个评估指标上优于最先进的模型，更重要的是，呈现了视觉上可解释的结果。此外，子类别$f$的细分-Amazon Mechanical Turk上的SPICE指标和人工评估的分数表明，我们的组合模块网络有效地生成了准确和详细的标题。
2020-07-10 cs.CL cs.CV cs.LG
Can Neural Image Captioning be Controlled via Forced Attention?
University of Potsdam（波茨坦大学）
学习的动态加权的调节信号（注意力）已被证明，以改善神经语言生成在各种设置。在生成特定输出序列时应用的权重也被视为提供了对生成器内部工作的潜在解释性洞察。在本文中，我们颠倒了这种联系的方向，并询问是否通过控制模型的注意力，我们可以控制其输出。具体来说，我们采用了一个标准的神经图像描述模型，该模型使用注意力，并将注意力固定在图像中的预定区域。我们评估结果输出是否比正常生成的标题更有可能提到该区域中对象的类。我们介绍了三种控制注意力的有效方法，并发现这些方法在高达28.56%的情况下产生了预期的结果。
2019-11-10 cs.CL cs.CV cs.LG
Image Captioning using Deep Neural Architectures
Chhotubhai Gopalbhai Patel Institute of Technology（乔图拜·戈帕尔拜·帕特尔理工学院）
使用任何自然语言语句（如英语）自动创建图像的描述是一项非常具有挑战性的任务。它需要图像处理和自然语言处理的专业知识。本文讨论了适用于图像描述任务的不同模型。我们还讨论了近年来物体识别和机器翻译任务的进步如何极大地提高了图像描述模型的性能。除此之外，我们还讨论了如何实现这个模型。最后，我们还使用标准的评价矩阵对模型的性能进行了评价。
2018-01-17 cs.CV
TPsgtR: Neural-Symbolic Tensor Product Scene-Graph-Triplet Representation for Image Captioning
University of Florida（佛罗里达大学）
如果图形表示的结构可以用概念位置绑定来公式化，则可以改进图像描述。在这项工作中，我们介绍了一种新的技术，用于字幕生成使用的场景图的神经符号编码，来自区域的图像视觉信息，我们称之为张量积场景图三元组表示（TP $_{sgt}$ R）。虽然，以前的大多数工作集中在识别图像中的对象特征，我们引入了神经符号嵌入，可以将图像不同区域之间的识别关系嵌入到具体的形式中，而不是依赖于模型来组成任何/所有组合。这些神经符号表征有助于更好地定义神经符号空间，以实现神经符号注意，并可以转换为更好的字幕。在此基础上，我们引入了两种新的字幕生成模型（TP $_{sgt}$ R-TDBU和TP $_{sgt}$ R-sTDBU）进行对比，实验结果表明，本文提出的字幕生成模型性能优于其他模型，生成的字幕更加全面、自然。
2019-11-22 cs.CL cs.CV cs.LG
Empirical Autopsy of Deep Video Captioning Frameworks
The University of Western Australia（西澳大利亚大学）
当代基于深度学习的视频描述遵循编码器-解码器框架。在编码器中，使用2D/3D卷积神经网络（CNN）提取视觉特征，并将这些特征的变换版本传递给解码器。解码器使用词嵌入和语言模型将视觉特征映射到自然语言标题。由于其复合性质，编码器-解码器流水线为其每个组件提供了多种选择的自由，例如CNN模型、特征变换、词嵌入和语言模型等的选择。组件选择可能对整体视频描述性能产生巨大影响。然而，目前的文献是缺乏任何系统的调查，在这方面。本文填补了这一空白，提供了第一个彻底的实证分析的作用，每个主要组成部分在当代视频描述管道。我们通过改变视频描述框架的组成部分进行了广泛的实验，并量化了仅通过组件选择就可能获得的性能增益。我们使用流行的MSVD数据集作为测试平台，并证明了通过仔细选择组成组件而不对管道本身进行重大更改，可以获得实质性的性能增益。这些结果有望为视频描述这一快速发展方向的未来研究提供指导原则。
2019-11-21 cs.CL cs.CV cs.LG
Enhancing Image Captioning with Neural Models
本文研究神经图像描述生成，比较不同架构并重点关注注入式架构，提出新质量指标，发现注入式架构能生成更简洁相关的描述，并强调数据优化和超参数调优的重要性。
2023-12-01 cs.CV cs.NE
Image Captioning with Sparse Recurrent Neural Network
University of Malaya（马来亚大学）
循环神经网络（RNN）已被广泛用于解决各种各样的语言生成问题，并能够达到最先进的（SOTA）性能。然而，尽管其结果令人印象深刻，但RNN模型中的大量参数使得部署到移动和嵌入式设备不可行。在这个问题的驱动下，许多研究者提出了一些剪枝方法来减小RNN模型的规模。在这项工作中，我们提出了一个端到端的修剪方法的图像描述模型配备了视觉注意。我们提出的方法能够实现高达97.5%的稀疏度，相对于基线没有显著的性能损失（微调后在40倍压缩时损失约2%）。我们的方法也易于使用和调整，有利于神经网络从业者更快的开发时间。我们在流行的MS-COCO数据集上进行了广泛的实验，以实证验证我们所提出的方法的有效性。
2019-10-28 cs.CL cs.CV cs.LG
A Thorough Review on Recent Deep Learning Methodologies for Image Captioning
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
图像描述是结合计算机视觉和自然语言处理的任务，其目的是生成图像的描述性图例。这是一个双重的过程，依赖于准确的图像理解和正确的语言理解句法和语义。由于关于该主题的可用知识量不断增加，跟上图像描述领域的最新研究和发现变得越来越困难。然而，现有的审查文件没有充分涵盖这些调查结果。我们在本文中执行一个贯穿当前的技术，数据集，基准和评价指标中使用的图像描述。目前对该领域的研究主要集中在基于深度学习的方法上，其中注意力机制以及深度强化和对抗学习似乎处于该研究主题的前沿。在本文中，我们回顾了最近的方法，如UpDown，OSCAR，VIVO，Meta Learning和使用条件生成对抗网的模型。虽然基于GAN的模型得分最高，但UpDown代表了图像描述的重要基础，OSCAR和VIVO更有用，因为它们使用了新颖的对象描述。这篇综述论文为研究人员提供了一个路线图，以跟上图像字幕生成领域的最新贡献。
2021-07-28 cs.CV
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
Event Recognition with Automatic Album Detection based on Sequential Processing, Neural Attention and Image Captioning
National Research University Higher School of Economics（国立研究型大学高等经济学院）；St. Petersburg Department of Steklov Institute of Mathematics（斯捷克洛夫数学研究所圣彼得堡分部）
在本文中，事件识别任务的一个新的配方进行检查：它需要预测事件类别的图像库，其中相册（对应于一个单一的事件的照片组）是未知的。我们提出了新的两阶段的方法。首先，使用预先训练好的卷积神经网络在每张照片中提取特征。这些特征被单独分类。分类器的分数用于将连续的照片分组为几个聚类。最后，利用神经注意力机制将每组照片的特征聚合成单个描述符。该算法可选地被扩展以提高相册中的每个图像的分类的准确性。与卷积神经网络（CNN）的常规微调相比，我们提出使用图像描述，即，将图像转换为文本描述的生成模型。它们被一热编码和总结成稀疏的特征向量适合学习的任意分类器。实验研究与照片事件收集和Flickr事件数据集的多标签策展表明，我们的方法是9-20%的准确率比事件识别单张照片。此外，该方法具有13-16%的低出错率比分层聚类得到的照片组的分类。实验表明，在概念字幕数据集上训练的图像字幕可以比对象检测器的特征更准确地分类，尽管它们显然都不如基于CNN的特征丰富。然而，可以将我们的方法与传统的CNN集成在一起，为几个事件数据集提供最先进的结果。
2020-01-15 cs.CV cs.LG
Improved Bengali Image Captioning via deep convolutional neural network based encoder-decoder model
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）
图像描述是一项艰巨的任务，它要用自然语言和与图像相关的上下文来生成图像的语法和语义上正确的文本描述。孟加拉语图像描述（BIC）中现有的值得注意的研究是基于编码器-解码器架构的。本文提出了一种端到端的图像描述系统，利用多模态架构，通过结合一维卷积神经网络（CNN）编码序列信息与预训练的ResNet-50模型图像编码器提取基于区域的视觉特征。我们使用现有的评估指标研究了我们的方法在BanglaLekhaImageCaptions数据集上的性能，并进行了定性分析的人工评估。实验表明，该方法的语言编码器能够捕捉到字幕中的细粒度信息，并结合图像特征，生成准确多样的字幕。我们的工作优于所有现有的BIC作品，并实现了一个新的最先进的（SOTA）的性能得分为0.651上的蓝色-1，0.572上的CIDER，0.297上的METEOR，0.434上的ROUGE，和0.357上的SPICE。
2021-02-14 cs.CV
Supervising Neural Attention Models for Video Captioning by Human Gaze Data
Seoul National University（首尔大学）
深度神经网络中的注意力机制受到人类注意力的启发，人类注意力随着时间的推移顺序地关注信息的最相关部分以生成预测输出。这些模型中的注意力参数是以端到端的方式进行隐式训练的，但很少有试验明确地将人类视线跟踪纳入监督注意力模型。在本文中，我们调查是否注意力模型可以受益于明确的人类注视标签，特别是视频描述的任务。我们收集了一个名为VAS的新数据集，包括电影剪辑和相应的多个描述性句子以及人类视线跟踪数据。我们提出了一个视频描述模型称为凝视编码注意网络（GEAN），可以利用视线跟踪信息，以提供空间和时间的注意句子生成。通过评估语言相似性指标和亚马逊机械土耳其人的评估，我们证明了由人类凝视数据引导的空间注意力确实提高了多种字幕方法的性能。此外，我们表明，所提出的方法不仅在我们的VAS数据集，而且在标准数据集（例如LSMDC和好莱坞2）中实现了最先进的性能的凝视预测和视频描述。
2017-07-19 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
递归神经网络在视频描述中的应用最近得到了广泛的关注，因为它们既可以用于对输入视频进行编码，也可以用于生成相应的描述。在本文中，我们提出了一个经常性的视频编码方案，可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同，在这种方法中，视频由递归层连续编码，我们提出了一种新的LSTM单元，它可以识别帧或片段之间的不连续点，并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集：蒙特利尔视频注释数据集，MPII电影描述数据集和微软视频描述语料库。实验表明，我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
图像描述最近得到了很多关注，这要归功于深度字幕架构所取得的令人印象深刻的成就，深度字幕架构结合了卷积神经网络来提取图像表示，并结合了递归神经网络来生成相应的字幕。与此同时，一个重要的研究工作一直致力于显着性预测模型的发展，它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构，研究仍然在努力将这两种技术结合起来。在这项工作中，我们提出了一个图像描述的方法，其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题，通过利用由显着性预测模型上的图像的部分是显着的，哪些是上下文的条件。我们表明，通过对大规模数据集进行广泛的定量和定性实验，我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Deep Learning Approaches on Image Captioning: A Review
McMaster University（麦克马斯特大学）；Ferdowsi University of Mashhad（马什哈德 Ferdowsi 大学）
该综述系统梳理了图像字幕生成的深度学习方法，给出分类体系、常用数据集与评价指标，分析现有挑战与性能排名，并指明未来研究方向。
2023-08-22 cs.CV
Bidirectional Beam Search: Forward-Backward Inference in Neural Sequence Models for Fill-in-the-Blank Image Captioning
Virginia Tech（弗吉尼亚理工大学）；Georgia Tech（佐治亚理工学院）
通过扩展束搜索（BS）来推理前向和后向时间依赖性，我们开发了双向神经序列模型中1-Best（和M-Best）解码的第一近似推理算法。束搜索（BS）是一种广泛使用的近似推理算法，用于从单向神经序列模型中解码序列。有趣的是，双向模型中的近似推理仍然是一个悬而未决的问题，尽管它们在对过去和未来的信息进行建模方面具有显着的优势。为了使双向模型的使用，我们提出了双向束搜索（BiBS），一个有效的算法近似双向inference.To评估我们的方法，并作为一个有趣的问题，在其本身的权利，我们引入了一个新的填空图像描述任务，需要推理的过去和未来的句子结构，以重建合理的图像描述。我们使用这个任务以及Visual Madlibs数据集来证明我们方法的有效性，始终优于所有基线方法。
2017-05-24 cs.CV
Attention Correctness in Neural Image Captioning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）
注意力机制最近被引入深度学习中，用于自然语言处理和计算机视觉中的各种任务。但是，尽管它们很受欢迎，内隐学习的注意力地图的“正确性”只能通过几个例子的可视化来定性评估。在本文中，我们专注于评估和改善的神经图像描述模型中的注意的正确性。具体来说，我们提出了一个定量的评价指标之间的一致性生成的注意力地图和人类注释，使用最近发布的数据集与图像中的区域和实体之间的标题对齐。然后，我们提出了新的模型，在训练过程中学习注意力地图的不同层次的显式监督。当区域和字幕实体之间的对齐可用时，监督可以是强的，或者当仅提供对象分段和类别时，监督可以是弱的。我们在流行的Flickr30k和COCO数据集上表明，在训练过程中引入注意力地图的监督可以切实提高注意力的正确性和字幕质量，从而有望使机器感知更像人类。
2016-11-23 cs.CL cs.CV cs.LG
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
使用基于编码器-解码器的方法的图像描述，其中CNN用作编码器，并且序列生成器如RNN用作解码器，已被证明是非常有效的。然而，这种方法有一个缺点，那就是序列需要按顺序处理。为了克服这个缺点，一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而，没有一个使用Transformer模型生成孟加拉语字幕。因此，我们利用三个不同的孟加拉语数据集，使用Transformer模型从图像中生成孟加拉语字幕。此外，我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后，我们比较了基于transformer的模型的结果与其他模型，采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation
National Institute of Technology（印度国家技术学院）
图像描述或图像描述的自动生成是计算机视觉中的核心问题之一，并且使用深度学习技术已经取得了相当大的进展。我们建议使用Inception-ResNet卷积神经网络作为编码器来从图像中提取特征，基于层次上下文的词嵌入用于单词表示，深度堆叠长短期记忆网络作为解码器，此外还使用图像数据增强来避免过拟合。对于数据增强，除了图像上的透视变换外，我们还使用水平和垂直翻转。我们评估我们提出的方法与两个图像描述框架-编码器-解码器和软注意。广泛使用的指标的评估表明，我们的方法导致模型性能的显着改善。
2021-02-22 cs.AI cs.CV cs.LG
A Baseline for Detecting Out-of-Distribution Examples in Image Captioning
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
近年来，图像描述研究取得了突破性进展，开发出了能够对与训练图像相同分布的图像进行多样化、高质量描述的神经模型。然而，当面对分发（OOD）图像，如损坏的图像，或包含未知对象的图像时，模型无法生成相关的字幕。本文研究了图像描述中的OOD检测问题。我们制定的问题，并提出了一个评估设置评估模型的性能的任务。然后，我们分析和显示的字幕的似然得分在检测和拒绝OOD图像，这意味着输入图像和生成的字幕之间的相关性封装在分数的有效性。
2022-07-12 cs.CV cs.LG
Learning Visual Relation Priors for Image-Text Matching and Image Captioning with Neural Scene Graph Generators
Microsoft AI and Research（微软人工智能与研究事业部）
将语言与视觉关系联系起来对于各种语言和视觉应用至关重要。在这项工作中，我们解决了两个基本的语言和视觉任务：图像-文本匹配和图像描述，并证明神经场景图生成器可以学习有效的视觉关系特征，以促进接地语言视觉关系，并随后改善两个终端应用程序。通过将关系特征与最先进的模型相结合，我们的实验显示出对标准Flickr 30 K和MSCOCO基准的显着改进。我们的实验结果和分析表明，关系特征提高了下游模型捕捉视觉关系的能力，在最终的视觉和语言应用程序。我们还证明了学习场景图生成器与视觉相关的关系，关系功能的有效性的重要性。
2019-09-22 cs.AI cs.CV
SD-RSIC: Summarization Driven Deep Remote Sensing Image Captioning
Technische Universität Berlin（柏林工业大学）
深度神经网络（DNN）最近被发现流行于遥感（RS）中的图像描述问题。现有的基于DNN的方法依赖于由大量带有标题的RS图像组成的训练集的可用性。然而，训练图像的字幕可能包含冗余信息（它们可以是重复的或语义上彼此相似），从而导致在学习从图像域到语言域的映射时的信息不足。为了克服这一局限性，在本文中，我们提出了一种新的摘要驱动的遥感图像描述（SD-RSIC）的方法。所提出的方法包括三个主要步骤。第一步通过联合利用卷积神经网络（CNN）和长短期记忆（LSTM）网络来获得标准图像字幕。与现有的RS图像描述方法不同，第二步通过利用序列到序列神经网络将每个训练图像的地面实况字幕总结为单个字幕，并消除训练集中存在的冗余。第三步自动定义与每个RS图像相关联的自适应权重，以基于图像的语义内容将标准字幕与摘要字幕相结合。这是通过在LSTM网络上下文中定义的一种新的自适应加权策略来实现的。在RSCID、UCM-Captions和Sydney-Captions数据集上的实验结果表明，与现有的RS图像描述方法相比，该方法是有效的.所提出的方法的代码可在https://gitlab.tubit.tu-berlin.de/rsim/SD-RSIC上公开获得。
2020-10-13 cs.CL cs.CV cs.LG
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University（北京航空航天大学）；Tencent AI LAB（腾讯AI实验室）
虽然端到端（E2E）学习已经在各种视觉理解任务上取得了令人印象深刻的进展，但它经常受到硬件限制（例如，GPU内存），并且易于过拟合。当涉及到视频描述时，这是计算机视觉中最具挑战性的基准任务之一，E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上，用于视频描述的现有技术方法通过卷积神经网络来处理视频帧，并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们，生成的模型既消耗内存又需要大量数据，这使得训练非常困难。在本文中，我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务（例如，属性、奖励和字幕），使得它们可以联合调节E2E神经网络的搜索空间，从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知，这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明，该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Neural Fashion Image Captioning : Accounting for Data Diversity
Ai4Innov；Masakhane NLP
图像描述的应用领域越来越广，时尚也不例外。拥有自动商品描述对于时尚网络平台来说非常有趣，有时候会托管数十万张图片。本文是第一个解决时尚图像的图像描述。为了解决数据集多样性问题，我们引入了InFashAIv1数据集，其中包含近16，000个非洲时尚商品图像及其标题，价格和一般描述。除了InFashAIv1之外，我们还使用了著名的DeepFashion数据集。字幕是使用由CNN编码器和RNN解码器组成的Show and Tell模型生成的。我们发现，在两个数据集上联合训练模型可以提高非洲风格时尚图像的字幕质量，这表明从西方风格数据中进行了迁移学习。InFashAIv1数据集在Github上发布，以鼓励更具多样性的作品。
2021-12-13 cs.AI cs.CV
Learning to Collocate Neural Modules for Image Captioning
Nanyang Technological University（南洋理工大学）
我们不会一个字一个字地从头开始说话;我们的大脑会很快构建一个像\textsc{sth do sth at someplace}这样的模式，然后填写详细的描述。为了使现有的编码器-解码器图像字幕，如人类一样的推理，我们提出了一个新的框架：学习搭配神经模块（CNM），以生成连接视觉编码器和语言解码器的“内部模式”。与视觉问答中广泛使用的神经模块网络不同，语言（即问题）是完全可观察的，用于字幕的CNM更具挑战性，因为语言正在生成，因此部分可观察。为此，我们为CNM培训做出了以下技术贡献：1）紧凑的模块设计-一个功能词，三个视觉内容词（如名词、形容词和动词）; 2）软模块融合和多步模块执行，在部分观察中增强视觉推理; 3）模块控制器忠实于词性搭配的语言损失（形容词在名词之前）。在具有挑战性的MS-COCO图像描述基准上进行的大量实验验证了我们的CNM图像标题的有效性。特别是，CNM在Karpathy split上实现了最先进的127.9 CIDEr-D，并在官方服务器上实现了单一模型126.0 c40。CNM对很少的训练样本也是鲁棒的，例如，通过对每个图像只训练一个句子，与强基线相比，CNM可以将性能损失减半。
2019-04-18 cs.CV
Partially-Supervised Image Captioning
Georgia Tech（佐治亚理工学院）；Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）
图像描述模型在描述受限域中的图像内容方面变得越来越成功。然而，如果这些模型要在野外发挥作用--例如，作为视力受损者的助手--就必须理解数量和种类多得多的视觉概念。为了解决这个问题，我们教图像描述模型新的视觉概念标记的图像和目标检测数据集。由于图像标签和对象类可以被解释为部分标题，我们制定了这个问题，从部分指定的序列数据学习。然后，我们提出了一种新的算法训练序列模型，如递归神经网络，部分指定的序列，我们表示使用有限状态自动机。在图像描述的上下文中，我们的方法解除了限制，以前需要的图像描述模型只在成对的图像句子语料库上进行训练，或者需要专门的模型架构，以利用替代的数据模态。将我们的方法应用于现有的神经字幕模型，我们使用COCO数据集在新的对象字幕任务上取得了最先进的结果。我们进一步表明，我们可以训练字幕模型来描述来自Open Images数据集的新视觉概念，同时保持具有竞争力的COCO评估分数。
2018-11-28 cs.CV
A Hybrid Model for Combining Neural Image Caption and k-Nearest Neighbor Approach for Image Captioning
Delhi Technological University（德里理工大学）
提出了一种混合模型，该模型集成了两种流行的图像描述方法，以生成描述图像内容的基于文本的摘要。两种图像描述模型是神经图像描述（NIC）和k-最近邻方法。它们在训练集上单独训练。我们从验证集中提取了一组五个特征，用于评估两个模型的结果，这两个模型又用于训练逻辑回归分类器。比较两个模型的BLEU-4分数，以生成逻辑回归分类器的二进制值基础事实。对于测试集，输入图像首先分别通过两个模型以生成单独的字幕。从两个模型中提取的五维特征集被传递到逻辑回归分类器，以做出关于所生成的最终字幕的决定，该最终字幕是由模型生成的两个字幕中最好的。在基准Flickr 8 k数据集上，我们实现的k-最近邻模型的BLEU-4得分为15.95，NIC模型的BLEU-4得分为16.01。所提出的混合模型能够实现BLEU-4得分为18.20，证明了我们的方法的有效性。
2021-05-09 cs.CV
Image Captioning as an Assistive Technology: Lessons Learned from VizWiz 2020 Challenge
IBM Research AI（IBM研究院人工智能部门）
针对现有竞赛数据集场景匮乏导致图像字幕系统辅助视障人士实用性不足的问题，本文介绍了VizWiz 2020图像字幕挑战赛获奖方案的理论与工程实现，助力改进辅助型图像字幕系统。
2021-06-19 cs.CV cs.LG
Recurrent Fusion Network for Image Captioning
Fudan University（复旦大学）
最近，在图像描述中已经取得了很大的进步，并且编码器-解码器框架已经被所有最先进的模型所采用。在该框架下，输入图像由卷积神经网络（CNN）编码，然后用递归神经网络（RNN）翻译成自然语言。依赖于该框架的现有模型仅采用一种CNN，例如，ResNet或Inception-X，仅从一个特定的视角描述图像内容。因此，不能全面地理解输入图像的语义，这限制了字幕的性能。在本文中，为了利用多个编码器的互补信息，我们提出了一种新的递归融合网络（RFNet）处理图像描述。我们的模型中的融合过程可以利用图像编码器的输出之间的相互作用，然后为解码器生成新的紧凑但信息丰富的表示。MSCOCO数据集上的实验证明了我们提出的RFNet的有效性，它为图像描述提供了一个新的最先进的技术。
2018-07-31 cs.CV
Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Carnegie Mellon University（卡内基梅隆大学）
现代神经网络在计算机视觉、自然语言处理和相关垂直领域的任务上实现了最先进的性能。然而，它们因其贪婪的内存和计算需求而臭名昭著，这进一步阻碍了它们在资源有限的边缘设备上的部署。为了实现边缘部署，研究人员开发了修剪和量化算法来压缩此类网络，而不会影响其效率。这种压缩算法在独立的CNN和RNN架构上进行了广泛的实验，而在这项工作中，我们提出了一种非传统的基于CNN-LSTM的图像描述模型的端到端压缩流水线。该模型使用VGG 16或ResNet 50作为flickr 8 k数据集上的编码器和LSTM解码器进行训练。然后，我们研究了不同的压缩架构对模型的影响，并设计了一个压缩架构，与未压缩的模型相比，模型大小减少了73.1%，推理时间减少了71.3%，BLEU得分增加了7.7%。
2020-12-17 cs.AI cs.CV
Multi-modal reward for visual relationships-based image captioning
University of Isfahan（伊斯法罕大学）
深度神经网络由于其有效的表示学习和基于上下文的内容生成能力，在自动图像描述方面取得了令人鼓舞的成果。作为在许多最近的图像描述方法中使用的突出类型的深度特征，与直接从原始图像提取的特征图相比，公知的自底向上特征提供图像的不同对象的详细表示。然而，缺乏高层次的语义信息，这些对象之间的关系是一个重要的缺点，自底向上的功能，尽管其昂贵的和资源需求的提取过程。为了在字幕生成中利用视觉关系，提出了一种基于深度神经网络的图像描述字幕生成架构，该架构将从图像场景图中提取的视觉关系信息与图像的空间特征图融合。然后引入多模态奖励函数，用于在公共嵌入空间中使用语言和视觉相似性的组合对所提出的网络进行深度强化学习。在MSCOCO数据集上的大量实验结果表明，在所提出的字幕方法中使用视觉关系是有效的。此外，结果清楚地表明，在深度强化学习中提出的多模态奖励可以实现更好的模型优化，优于几种最先进的图像描述算法，同时使用轻便且易于提取的图像特征。构成所提出的方法的组件的详细的实验研究。
2023-03-21 cs.AI cs.CV
Boosting Image Captioning with Attributes
Microsoft Research Asia（微软亚洲研究院）
用自然语言自动描述图像一直是计算机视觉和自然语言处理领域的一个新兴挑战。在本文中，我们提出了长短期记忆与属性（LSTM-A）-一种新的架构，将属性集成到成功的卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架中，通过端到端的方式训练它们。为了整合属性，我们通过以不同的方式将图像表示和属性输入RNN来构建架构的变体，以探索它们之间的相互但模糊的关系。在COCO图像描述数据集上进行了大量的实验，与最先进的深度模型相比，我们的框架取得了优异的结果。最值得注意的是，在通过GoogleNet提取图像表示时，我们在广泛使用和公开可用的分割测试数据（Karpathy & Fei-Fei，2015）中获得了25.2%/98.6%的METEOR/CIDER-D，并在COCO字幕排行榜上获得了迄今为止的顶级性能。
2016-11-05 cs.CV
Neural Twins Talk
University of Colorado Colorado Springs（科罗拉多大学斯普林斯分校）
受人类大脑如何在增加对主题的关注时采用更多神经通路的启发，我们引入了一种新颖的双级联注意力模型，该模型优于最初使用一个注意力通道进行视觉基础任务的最新图像描述模型。视觉接地确保字幕语句中存在接地到输入图像中的特定区域中的单词。在视觉基础任务上训练深度学习模型之后，当生成字幕时，该模型采用关于视觉基础和字幕句子中对象的顺序的学习模式。我们报告我们的实验结果在三个图像描述任务的COCO数据集。结果报告使用标准的图像描述指标，以显示我们的模型比以前的图像描述模型实现的改进。从我们的实验中收集的结果表明，在深度神经网络中使用更多的平行注意力路径会导致更高的性能。我们的NTT实现可在https://github.com/zanyarz/NeuralTwinsTalk上公开获取。
2020-09-26 cs.CV
SPASS: Scientific Prominence Active Search System with Deep Image Captioning Network
Carnegie Mellon University（卡内基梅隆大学）
火星漫游者的行星探测任务是复杂的，通常需要人类专家进行详细的任务规划，从要采取的路径到要捕获的图像。NASA已经使用这个过程从火星上获取了超过2200万张图像。为了提高自动化程度，从而在这个过程中的效率，我们提出了一个系统的行星漫游车，积极寻找突出的预先指定的科学功能在捕获的图像。科学家可以用自然语言预先指定这些搜索任务，并将其上传到漫游者上，在漫游者上，部署的系统不断地用深度图像描述网络为捕获的图像添加字幕，并通过某些指标将自动生成的字幕与预先指定的搜索任务进行比较，以便优先考虑这些图像进行传输。作为一个有益的副作用，所提出的系统也可以部署到地面行星数据系统作为基于内容的搜索引擎。
2018-09-10 cs.CV cs.IR cs.LG
Distinctive-attribute Extraction for Image Captioning
Korea Electronics Technology Institute（韩国电子技术研究院）
图像描述是一个开放的研究课题，随着深度神经网络的发展而不断发展。研究中采用了卷积神经网络（CNN）和递归神经网络（RNN）来计算图像特征并生成自然语言描述。在以前的工作中，可以通过将附加信息应用到RNN中来生成涉及语义描述的字幕。在这种方法中，我们提出了一个独特的属性提取（DAE），明确鼓励重要的意义，以产生一个准确的标题描述的整体意义的图像与他们独特的情况。具体地说，训练图像的字幕进行分析的词频逆文档频率（TF-IDF），和分析的语义信息进行训练，以提取独特的属性推断字幕。所提出的方案进行评估的挑战数据，它提高了客观的性能，同时更详细地描述图像。
2018-07-25 cs.CL cs.CV
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology（布尔诺理工大学）
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入，以找到语义相似的图像。从这些图像中，基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低，但它在通过图灵测试的字幕比例方面具有竞争力，并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Protect, Show, Attend and Tell: Empowering Image Captioning Models with Ownership Protection
Universiti Malaya（马来亚大学）；WeBank AI Lab（微众银行人工智能实验室）
总的来说，对深度神经网络的现有知识产权（IP）保护通常i）仅关注图像分类任务，以及ii）遵循常规用于保护多媒体和视频内容的所有权的标准数字水印框架。本文证明了当前的数字水印框架是不足以保护图像描述的任务，往往被视为人工智能的前沿问题之一。作为一种补救措施，本文研究并提出了两种不同的嵌入方案在隐藏的记忆状态的递归神经网络，以保护图像描述模型。从经验的角度，我们证明了伪造的密钥将产生一个不可用的图像描述模型，击败侵权的目的。据我们所知，这项工作是第一次提出所有权保护的图像描述任务。此外，大量的实验表明，所提出的方法不妥协的原始图像描述的性能上的所有常见的字幕指标的Flickr 30 k和MS-COCO数据集，并在同一时间，它是能够承受的去除和歧义攻击。代码可在https://github.com/jianhanlim/ipr-imagecaptioning上获得
2021-08-31 cs.CR cs.CV
Deep Reinforcement Learning-based Image Captioning with Embedding Reward
Snap Inc.（Snap公司）；Google Inc.（谷歌公司）
图像描述是一个具有挑战性的问题，因为理解图像内容的复杂性和用自然语言描述图像内容的多种方式。深度神经网络的最新进展大大提高了这项任务的性能。大多数最先进的方法遵循编码器-解码器框架，其使用顺序递归预测模型生成字幕。然而，在本文中，我们介绍了一种新的决策框架图像描述。我们利用“策略网络”和“价值网络”来协作生成字幕。策略网络通过提供根据当前状态预测下一个单词的置信度来充当本地指导。此外，价值网络通过评估当前状态的所有可能扩展来作为全局和前瞻性指导。本质上，它将预测正确单词的目标调整为生成类似于地面实况字幕的字幕的目标。我们使用演员-评论家强化学习模型训练这两个网络，并通过视觉语义嵌入定义了一种新的奖励。在Microsoft COCO数据集上进行的大量实验和分析表明，所提出的框架在不同的评估指标上优于最先进的方法。
2017-04-12 cs.AI cs.CV
Delving Deeper into the Decoder for Video Captioning
Tsinghua University（清华大学）
视频描述是一种高级的多模态任务，其目的是使用自然语言语句来描述视频片段。编码器-解码器框架是近年来用于此任务的最流行的范例。然而，在视频描述模型的解码器中存在一些问题。我们对解码器进行了深入的研究，并采用了三种技术来提高模型的性能。首先，将变分丢弃和层归一化的组合嵌入到循环单元中，以缓解过拟合问题。其次，提出了一种新的在线方法来评估模型在验证集上的性能，以选择最佳的检查点进行测试。最后，提出了一种新的培训策略，称为专业学习，它利用字幕模型的优点，绕过它的弱点。在微软研究院视频描述语料库（MSVD）和MSR-Video to Text（MSR-VTT）数据集上的实验表明，我们的模型在BLEU，CIDEr，METEOR和ROUGE-L指标上取得了最好的结果，与以前的最先进的模型相比，MSVD和MSR-VTT的收益分别高达18%和3.5%。
2020-02-15 cs.CL cs.CV
AIC-AB NET: A Neural Network for Image Captioning with Spatial Attention and Text Attributes
KTH Royal Institute of Technology（瑞典皇家理工学院）；Norna
提出 AIC-AB NET，在编码器—解码器中融合自适应空间注意力与同步文本属性，并在 MS COCO 和新建 Fashion 单目标数据集上验证其 CIDEr 性能优于基线及消融模型。
2023-07-14 cs.AI cs.CV cs.LG
Boosting Video Captioning with Dynamic Loss Network
Electronics and Communication Sciences Unit Indian Statistical Institute Kolkata（印度统计研究所加尔各答电子与通信科学部）
视频描述是视觉和语言交叉点上的一个具有挑战性的问题，在视频检索、视频监控、辅助视觉障碍者、人机界面等方面有许多实际应用。最近基于深度学习的方法已经显示出有希望的结果，但仍然低于其他视觉任务（如图像分类，目标检测）。现有的视频描述方法的一个显著缺点是它们在交叉熵损失函数上被优化，交叉熵损失函数与事实上的评估度量（BLEU、METEOR、CIDER、ROUGE）不相关。换句话说，交叉熵不是视频描述的真实损失函数的适当替代。为了缓解这种情况，已经应用了诸如REINFORCE、Actor-Critic和最小风险培训（MRT）等方法，但这些方法存在局限性，并且不是非常有效。本文提出了一种替代解决方案，通过引入动态损失网络（DLN），提供一个额外的反馈信号，直接反映评估指标。我们的解决方案被证明比其他解决方案更有效，并且可以很容易地适应类似的任务。我们在微软研究视频描述语料库（MSVD）和MSR-Video to Text（MSRVTT）数据集上的结果优于以前的方法。
2022-02-01 cs.CV cs.LG
From Show to Tell: A Survey on Deep Learning-based Image Captioning
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；NVIDIA AI Technology Centre（英伟达人工智能技术中心）
连接视觉和语言在生成智能中起着重要作用。出于这个原因，大量的研究工作已经致力于图像描述，即用句法和语义上有意义的句子来描述图像。从2015年开始，这项任务通常通过由视觉编码器和用于文本生成的语言模型组成的管道来解决。在这些年里，这两个组成部分已经通过开发对象区域，属性，引入多模态连接，完全注意的方法，和BERT一样的早期融合策略大大发展。然而，尽管取得了令人印象深刻的成果，图像描述的研究还没有得出一个结论性的答案。这项工作的目的是提供一个全面的概述图像描述方法，从视觉编码和文本生成的训练策略，数据集和评估指标。在这方面，我们定量地比较了许多相关的最先进的方法，以确定架构和培训策略中最具影响力的技术创新。此外，许多变量的问题和它的开放的挑战进行了讨论。这项工作的最终目标是作为一种工具，用于理解现有的文献，并强调计算机视觉和自然语言处理可以找到最佳协同作用的研究领域的未来方向。
2021-11-30 cs.CL cs.CV
Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
图像描述通常需要大量的训练图像-句子对。然而，在实践中，获取足够的训练对总是昂贵的，使得最近的字幕模型在其描述训练语料库之外的对象的能力方面受到限制（即，小说对象）。在本文中，我们提出了长短期记忆与字幕机制（LSTM-C）-一种新的架构，将复制纳入卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架，用于描述字幕中的新对象。具体而言，利用免费提供的对象识别数据集来开发新对象的分类器。然后，我们的LSTM-C很好地集成了解码器RNN的标准逐词句子生成与复制机制，该机制可以从输出句子中适当位置的新对象中选择单词。在MSCOCO图像描述和ImageNet数据集上进行了大量的实验，证明了我们提出的LSTM-C架构描述新对象的能力。此外，优越的结果相比，国家的最先进的深模型。
2017-08-17 cs.CL cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Image Captioning with Deep Bidirectional LSTMs
Hasso Plattner Institute, University of Potsdam（哈索·普拉特纳研究所，波茨坦大学）
本文提出了一种用于图像描述的端到端可训练的深度双向LSTM（长短期记忆）模型。我们的模型建立在深度卷积神经网络（CNN）和两个独立的LSTM网络上。它能够通过利用高层语义空间中的历史和未来上下文信息来学习长期的视觉语言交互。提出了两种新的深度双向变体模型，其中我们以不同的方式增加非线性过渡的深度，学习层次视觉语言嵌入。提出了多裁剪、多尺度和垂直镜像等数据增强技术，以防止训练深度模型时的过拟合。我们可视化双向LSTM内部状态随时间的演变，并定性分析我们的模型如何将图像“翻译”为句子。我们提出的模型进行了评估的标题生成和图像句子检索任务与三个基准数据集：Flickr8K，Flickr30K和MSCOCO数据集。我们证明了双向LSTM模型即使在没有集成额外机制（例如目标检测、注意力模型等）的情况下，也能在字幕生成方面取得与最先进结果相比具有高度竞争力的性能。并且在检索任务上显著优于最近的方法。
2016-07-20 cs.CL cs.CV cs.MM
Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning
Dr.Vishwanath Karad MIT World Peace University（维什瓦纳特·卡拉德博士MIT世界和平大学）
在当前生成智能时代的全球化世界中，大多数体力劳动任务都是自动化的，效率更高。这可以帮助企业节省时间和金钱。生成智能的一个关键组成部分是视觉和语言的整合。因此，图像描述成为一个有趣的研究领域。研究人员曾多次尝试用不同的深度学习架构来解决这个问题，虽然准确率有所提高，但结果仍不达标。这项研究将Transformer和LSTM与MS-COCO数据集上的注意力块模型进行了比较，MS-COCO数据集是图像描述的标准数据集。对于这两个模型，我们使用预训练的Inception-V3 CNN编码器进行图像的特征提取。双语评价替补评分（BLEU）用于检查两个模型生成的字幕的准确性。随着Transformer和具有注意力块模型的LSTM，CLIP-扩散模型，M2-Transformer模型和X-线性注意力模型已经以最先进的精度进行了讨论。
2023-03-05 cs.CV cs.LG
MAT: A Multimodal Attentive Translator for Image Captioning
Tsinghua University（清华大学）；Toutiao AI Lab（今日头条人工智能实验室）；UESTC（电子科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们制定的问题，图像描述作为一个多模态翻译任务。类似于机器翻译，我们提出了一个序列到序列的递归神经网络（RNN）模型的图像字幕生成。与大多数现有的工作不同，其中整个图像由卷积神经网络（CNN）特征表示，我们建议将输入图像表示为检测到的对象的序列，该序列作为RNN模型的源序列。通过这种方式，图像的顺序表示可以自然地转换为单词序列，作为RNN模型的目标序列。为了以顺序的方式表示图像，我们提取图像中的对象特征，并使用卷积神经网络将它们按顺序排列。为了进一步利用来自编码对象的视觉信息，引入顺序注意层以选择性地注意相关的对象以在句子中生成对应的单词。在流行的基准数据集上进行了大量的实验来验证所提出的方法，MS COCO，和所提出的模型超越了国家的最先进的方法在所有指标以下的数据集分裂以前的工作。所提出的方法也由MS COCO字幕挑战的评估服务器进行评估，并且实现了非常有竞争力的结果，例如，a CIDEr为1.029（c5）和1.064（c40）。
2017-08-10 cs.CV
Video Captioning with Transferred Semantic Attributes
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
自动生成视频的自然语言描述是计算机视觉界面临的一个基本挑战。这个问题的最新进展已经通过采用2-D和/或3-D卷积神经网络（CNN）来编码视频内容以及采用递归神经网络（RNN）来解码句子来实现。在本文中，我们提出了具有转移语义属性的长短期记忆（LSTM-TSA）--一种新型的深度架构，通过端到端的方式训练它们，将从图像和视频中学习的转移语义属性纳入CNN和RNN框架。LSTM-TSA的设计受到以下事实的启发：1）语义属性对字幕起着重要的作用，2）图像和视频具有互补的语义，因此可以相互加强字幕。为了提高视频描述，我们提出了一种新的传输单元来模拟从图像和视频中学习到的相互关联的属性。在三个公共数据集上进行了广泛的实验，即，MSVD、M-VAD和MPII-MD。我们提出的LSTM-TSA在MSVD上实现了迄今为止最好的句子生成性能：BLEU@4和CIDEr-D分别为52.8%和74.0%。与最先进的方法相比，M-VAD和MPII-MD也报告了优越的结果。
2016-11-23 cs.CV
D3Net: A Unified Speaker-Listener Architecture for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
最近关于3D中密集字幕和视觉基础的研究取得了令人印象深刻的结果。尽管这两个领域都有发展，但可用的3D视觉语言数据量有限，导致3D视觉基础和3D密集字幕方法的过拟合问题。此外，如何区分描述复杂的三维环境中的对象还没有得到充分的研究。为了解决这些挑战，我们提出了D3 Net，这是一种端到端的神经说话者-听者架构，可以检测，描述和区分。我们的D3 Net以自我批判的方式将密集的字幕和视觉基础统一在3D中。D3 Net的这种自我批判特性还在对象标题生成过程中引入了可辨别性，并支持对具有部分注释描述的ScanNet数据进行半监督训练。我们的方法在ScanRefer数据集上的两项任务中均优于SOTA方法，大大超过了SOTA 3D密集字幕方法。
2022-07-22 cs.CV
