Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
Microsoft Research(微软研究院);University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(中山大学)
图像描述通常需要大量的训练图像-句子对。然而,在实践中,获取足够的训练对总是昂贵的,使得最近的字幕模型在其描述训练语料库之外的对象的能力方面受到限制(即,小说对象)。在本文中,我们提出了长短期记忆与字幕机制(LSTM-C)-一种新的架构,将复制纳入卷积神经网络(CNN)和递归神经网络(RNN)图像描述框架,用于描述字幕中的新对象。具体而言,利用免费提供的对象识别数据集来开发新对象的分类器。然后,我们的LSTM-C很好地集成了解码器RNN的标准逐词句子生成与复制机制,该机制可以从输出句子中适当位置的新对象中选择单词。在MSCOCO图像描述和ImageNet数据集上进行了大量的实验,证明了我们提出的LSTM-C架构描述新对象的能力。此外,优越的结果相比,国家的最先进的深模型。
2017-08-17 cs.CL cs.CV
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Science and Technology Beijing(北京科技大学);Wuhan University(武汉大学);University of Chinese Academy of Sciences(中国科学院大学)
自注意网络在图像描述中显示出了重要的应用价值。为了提高图像描述的性能,本文从两个方面对SA进行了改进。首先,我们提出了标准化的自我注意力(NSA),SA的重新参数化,带来了SA内部规范化的好处。虽然规范化以前只适用于SA外,我们介绍了一种新的规范化方法,并证明它是可能的和有益的执行SA内的隐藏激活。其次,为了弥补Transformer的主要限制,它无法建模的输入对象的几何结构,我们提出了一类几何感知的自我注意(GSA),扩展SA显式和有效地考虑图像中的对象之间的相对几何关系。为了构建我们的图像描述模型,我们将这两个模块结合起来,并将其应用于香草自我注意力网络。我们广泛地评估我们的建议MS-COCO图像描述数据集和优越的结果相比,国家的最先进的方法时,取得了。在视频描述、机器翻译和视觉问答三个具有挑战性的任务上的进一步实验表明了我们方法的通用性。
2020-03-19 cs.CL cs.CV cs.MM
Distinctive-attribute Extraction for Image Captioning
Korea Electronics Technology Institute(韩国电子技术研究院)
图像描述是一个开放的研究课题,随着深度神经网络的发展而不断发展。研究中采用了卷积神经网络(CNN)和递归神经网络(RNN)来计算图像特征并生成自然语言描述。在以前的工作中,可以通过将附加信息应用到RNN中来生成涉及语义描述的字幕。在这种方法中,我们提出了一个独特的属性提取(DAE),明确鼓励重要的意义,以产生一个准确的标题描述的整体意义的图像与他们独特的情况。具体地说,训练图像的字幕进行分析的词频逆文档频率(TF-IDF),和分析的语义信息进行训练,以提取独特的属性推断字幕。所提出的方案进行评估的挑战数据,它提高了客观的性能,同时更详细地描述图像。
2018-07-25 cs.CL cs.CV
A Semantics-Assisted Video Captioning Model Trained with Scheduled Sampling
Tsinghua University(清华大学);Samsung Research China(三星中国研究院)
给定视频的特征,递归神经网络可以用于自动生成视频的字幕。用于视频描述的现有方法具有至少三个限制。首先,语义信息已被广泛应用于提高视频描述模型的性能,但现有的网络往往无法提供有意义的语义特征。第二,教师强迫算法通常用于优化视频描述模型,但在训练和推理期间,应用不同的策略来指导单词生成,导致性能不佳。第三,当前的视频描述模型倾向于生成不适当地表达视频内容的相对短的字幕。针对这三个问题,我们提出了三个相应的改进措施。首先,我们提出了一个度量来比较语义特征的质量,并利用适当的功能作为输入的语义检测网络(SDN)具有足够的复杂性,以产生有意义的语义特征的视频。然后,我们应用了一个预定的抽样策略,逐渐转移培训阶段从教师指导的方式向更多的自学方式。最后,利用句子长度对普通对数概率损失函数进行杠杆作用,从而缓解了短句生成倾向。我们的模型在YouTube 2 Text数据集上取得了比以前模型更好的结果,并且与MSR-VTT数据集上以前的最佳模型具有竞争力。
2020-07-24 cs.CL cs.CV
Semantic Compositional Networks for Visual Captioning
Duke University(杜克大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
提出了一种用于图像描述的语义合成网络(SCN),标签),并且每个标签的概率用于构成长短期记忆(LSTM)网络中的参数。SCN将LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合。集合中的每个成员用于生成图像标题的程度与对应标签的图像相关概率有关。除了为图像添加字幕外,我们还扩展了SCN以生成视频剪辑的字幕。我们定性分析了SCN中的语义组成,并在三个基准数据集上定量评估了该算法:COCO,Flickr30k和Youtube2Text。实验结果表明,该方法显着优于现有的最先进的方法,在多个评价指标。
2017-03-28 cs.CL cs.CV cs.LG
Variational Stacked Local Attention Networks for Diverse Video Captioning
Independent University, Bangladesh(孟加拉国独立大学)
视频描述模型在用自然语言描述时空事件时,主要依赖于编码器的潜在视觉表示。编码器-解码器模型的最新进展主要涉及与解码器线性交互的编码器特征。然而,不断增长的模型复杂性的视觉数据鼓励更明确的功能交互的细粒度的信息,这是目前缺乏在视频描述域。此外,特征聚合方法已被用于通过连接或使用线性层来揭示更丰富的视觉表示。虽然视频的特征集在语义上有一定程度的重叠,但这些方法会导致客观不匹配和特征冗余。此外,字幕的多样性是从几个有意义的角度表达一个事件的基本组成部分,目前在时间上缺失,即,视频描述域。为此,我们提出了变分堆叠局部注意力网络(VSLAN),它利用低秩双线性池进行自关注特征交互,并以折扣方式堆叠多个视频特征流。每个特征堆栈的学习属性有助于我们提出的多样性编码模块,然后是解码查询阶段,以促进端到端的多样性和自然的字幕,而无需对属性进行任何显式监督。我们在MSVD和MSR-VTT数据集上评估VSLAN的语法和多样性。VSLAN的CIDER评分分别优于MSVD上的$7.8\%$和MSR-VTT上的$4.5\%$的当前现成方法。在相同的数据集上,VSLAN在字幕多样性指标上取得了有竞争力的结果。
2022-01-04 cs.CL cs.CV
Image Representations and New Domains in Neural Image Captioning
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
我们研究的可能性,最近有希望的结果,自动字幕生成主要是由于语言模型。通过改变由卷积神经网络产生的图像表示质量,我们发现,即使在提供了令人惊讶的差的图像表示时,最先进的神经字幕算法也能够产生高质量的字幕。我们在一个新的、细粒度的、转移学习的字幕域中复制了这一结果,该域由66 K食谱图像/标题对组成。我们还提供了一些关于自动字幕数据集的适当性的实验,并发现每个图像具有多个字幕是有益的,但不是绝对的要求。
2015-08-09 cs.CL cs.CV
Hybrid Reasoning Network for Video-based Commonsense Captioning
基于视频的常识字幕的任务旨在生成事件式字幕,同时提供多个常识描述(例如,属性、效果和意图)。以往的研究都是通过对不同的常识类型使用不同的网络来探索常识字幕,这是耗时的,并且缺乏对不同常识之间的交互作用的挖掘。本文提出了一种混合推理网络(HybridNet),赋予神经网络语义级推理和词级推理的能力。首先,我们通过在一个统一的网络中联合训练不同的常识类型来开发语义级推理的多常识学习,这鼓励了多个常识描述,事件式字幕和视频的线索之间的交互。然后,有两个步骤来实现词级推理:(1)存储器模块记录来自先前生成过程的历史预测序列;(2)存储器路由的多头注意力(MMHA)模块通过将来自存储器模块的历史信息合并到用于词级推理的Transformer解码器中来更新词级注意图。此外,多模态特征被用来充分利用常识推理的多样性知识。在大规模Video-to-Commonsense基准测试上的实验和大量分析表明,与其他方法相比,我们的HybridNet实现了最先进的性能。
2021-08-05 cs.CL cs.CV
Image Captioning with Compositional Neural Module Networks
Carnegie Mellon University(卡内基梅隆大学)
在流畅性是评价中的重要因素的图像描述中,例如,$n$ -gram度量,通常使用顺序模型;然而,顺序模型通常导致过度概括的表达式,其缺乏可能存在于输入图像中的细节。受视觉问答任务中组合神经模块网络想法的启发,我们引入了一个用于图像描述的分层框架,该框架探索了自然语言的组合性和顺序性。我们的算法通过选择性地关注与输入图像中检测到的每个对象的独特方面相对应的不同模块来学习撰写细节丰富的句子,以包括特定的描述,例如计数和颜色。在MSCOCO数据集上的一组实验中,所提出的模型在多个评估指标上优于最先进的模型,更重要的是,呈现了视觉上可解释的结果。此外,子类别$f$的细分-Amazon Mechanical Turk上的SPICE指标和人工评估的分数表明,我们的组合模块网络有效地生成了准确和详细的标题。
2020-07-10 cs.CL cs.CV cs.LG
A sequential guiding network with attention for image captioning
Beihang University(北京航空航天大学);Keep Inc.(Keep公司);North China Electric Power University(华北电力大学)
深度学习在计算机视觉(CV)和自然语言处理(NLP)方面的最新进展为我们提供了一种理解语义的新方法,通过这种方法,我们可以处理更具挑战性的任务,例如从自然图像中自动生成描述。在这一挑战中,当卷积神经网络(CNN)用作图像编码器和递归神经网络(RNN)用作解码器时,编码器-解码器框架已经实现了有希望的性能。在本文中,我们介绍了一个顺序的指导网络,指导解码器在字生成。新模型是编码器-解码器框架的扩展,具有额外的引导长短期记忆(LSTM),可以通过使用图像/描述对以端到端的方式进行训练。我们通过在基准数据集上进行广泛的实验来验证我们的方法,即,COCO小姐字幕与其他最先进的深度学习模型相比,该模型实现了显着的改进。
2019-02-08 cs.CL cs.CV
Neural Image Captioning
Courant Institute of Mathematical Sciences New York University Email
近年来,主要计算机视觉任务的最大进步,如物体识别,手写数字识别,面部识别等。都是通过使用卷积神经网络(CNN)实现的。类似地,在自然语言处理领域,递归神经网络(RNN),特别是长短期记忆网络(LSTM),对于机器翻译、词性标注、情感分析等任务的性能方面的一些最大突破至关重要。这些进步极大地促进了NLP和计算机视觉交叉领域的任务,受到这一成功的启发,我们研究了一些现有的神经图像描述模型,这些模型已被证明工作良好。在这项工作中,我们研究了一些现有的字幕模型,提供接近国家的最先进的性能,并试图提高这样的模型。我们还提出了一个简单的图像描述模型,该模型利用了CNN、LSTM和beam search1算法,并基于各种定性和定量指标研究了其性能。
2019-07-02 cs.CL cs.CV cs.LG
Dropout during inference as a model for neurological degeneration in an image captioning network
University of Toronto(多伦多大学);Vector Institute(向量研究所);Toronto Rehabilitation Institute(多伦多康复研究所)
我们复制了Vinyals等人(2015)的图像描述架构的变体,然后在推理模式中引入dropout,以模拟阿尔茨海默病(AD)和韦尼克失语症(WA)等神经退行性疾病的影响。我们通过测量词频分布和其他语言指标的KL-发散度来评估辍学对语言产生的影响。我们发现,当在推理过程中使用0.4的适度dropout时,生成的句子最接近训练语料库的词频分布。
2018-08-11 cs.CL
Semantic-Conditional Diffusion Networks for Image Captioning
Sun Yat-sen University(中山大学);JD Explore Academy(京东探索研究院)
文本到图像生成的最新进展见证了扩散模型的兴起,它作为强大的生成模型。然而,利用这样的潜变量模型来捕获离散词之间的依赖性,同时在图像描述中追求复杂的视觉语言对齐并不是微不足道的。在本文中,我们打破根深蒂固的公约,学习transformer为基础的编码器-解码器,并提出了一个新的扩散模型为基础的范例量身定制的图像描述,即语义条件扩散网络(SCD-网)。在技术上,对于每幅输入图像,我们首先通过跨模态检索模型搜索语义相关的句子,以传达全面的语义信息。丰富的语义被进一步视为语义优先于触发扩散Transformer的学习,其在扩散过程中产生输出句子。在SCD网络中,多个扩散Transformer结构被堆叠,以级联方式逐步加强输出句子,具有更好的视觉语言对齐和语言连贯性。此外,为了稳定扩散过程,设计了一种新的自临界序列训练策略,以指导SCD网络的学习与标准自回归Transformer模型的知识。COCO数据集上的大量实验表明,在具有挑战性的图像描述任务中使用扩散模型具有很大的潜力。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}获得。
2022-12-06 cs.CL cs.CV cs.MM
Interactive Machine Learning for Image Captioning
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Oldenburg University(奥尔登堡大学)
我们提出了一种交互式学习的图像描述模型的方法。由于人的反馈是昂贵的,现代神经网络的方法往往需要大量的监督数据进行训练,我们设想一个系统,利用人的反馈,尽可能好地利用反馈使用数据增强的方法,并集成所产生的训练样本到模型中的智能方式。这种方法有三个关键组成部分,我们需要找到合适的实际实现:反馈收集,数据增强和模型更新。我们概述了我们的想法,并审查了解决这些任务的不同可能性。
2022-02-28 cs.CL cs.CV
Transform and Tell: Entity-Aware News Image Captioning
Australian National University(澳大利亚国立大学)
我们提出了一个端到端的模型,生成标题嵌入在新闻文章中的图像。新闻图像面临两个关键挑战:它们依赖于现实世界的知识,特别是关于命名实体的知识;它们通常具有语言丰富的标题,其中包括不常见的单词。我们通过多模态、多头注意力机制,将字幕中的单词与图像中的人脸和物体相关联,来解决第一个挑战。我们用最先进的Transformer语言模型来解决第二个挑战,该模型使用字节对编码来生成标题作为单词部分的序列。在GoodNews数据集上,我们的模型在CIDER评分(13至54)方面优于之前的最新技术水平4倍。这种性能提升来自于语言模型、单词表示、图像嵌入、人脸嵌入、对象嵌入以及神经网络设计改进的独特组合。我们还介绍了NYTimes 800 k数据集,它比GoodNews大70%,具有更高的文章质量,并包括文章中图像的位置作为额外的上下文线索。
2020-06-13 cs.CL cs.CV
Dense Relational Image Captioning via Multi-task Triple-Stream Networks
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Dept. of Electrical Engineering and Graduate School of AI (GSAI), POSTECH(浦项科技大学电气工程系与人工智能研究生院)
我们介绍了密集的关系字幕,一种新的图像描述任务,其目的是生成多个字幕相对于视觉场景中的对象之间的关系信息。关系字幕为对象组合之间的每种关系提供了明确的描述。该框架在信息的多样性和数量方面都是有利的,从而导致基于关系的全面图像理解,例如,关系提案生成。对于对象之间的关系理解,词性(POS;即,主语-宾语-谓语类别)可以是有价值的先验信息,以指导字幕中单词的因果序列。我们加强我们的框架,不仅要学习生成标题,还要理解每个单词的词性。为此,我们提出了多任务三流网络(MTTSNet),它由三个负责每个POS的经常性单元组成,通过联合预测每个单词的正确标题和POS来训练。此外,我们发现,MTTSNet的性能可以提高调制对象嵌入与显式关系模块。我们证明,我们提出的模型可以生成更多样化和更丰富的字幕,通过大量的实验分析大规模数据集和几个指标。然后,我们提出的应用程序,我们的框架整体图像描述,场景图生成,检索任务。
2021-10-11 cs.AI cs.CL cs.CV
Are scene graphs good enough to improve Image Captioning?
KU Leuven(鲁汶大学);New York University(纽约大学);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
许多表现最好的图像描述模型仅依赖于利用目标检测模型计算的目标特征来生成图像描述。然而,最近的研究提出直接使用场景图来引入关于对象关系的信息到字幕中,希望更好地描述对象之间的交互。在这项工作中,我们彻底调查使用场景图在图像描述。我们的经验研究是否使用额外的场景图形编码器可以导致更好的图像描述,并提出了一个有条件的图形注意力网络(C-GAT),其中的图像描述解码器状态是用来条件的图形更新。最后,我们确定在何种程度上预测的场景图中的噪声影响字幕质量。总体而言,我们发现使用场景图特征的模型和仅使用不同字幕度量的目标检测特征的模型之间没有显著差异,这表明现有的场景图生成模型仍然太嘈杂,在图像描述中没有用。此外,虽然预测的场景图的质量是非常低的,在一般情况下,当使用高质量的场景图,我们获得的增益高达3.3 CIDER相比,一个强大的自下而上自上而下的基线。我们在https://github.com/iacercalixto/butd-image-captioning上开放源代码来重现我们所有的实验。
2020-10-27 cs.CL cs.CV
In Defense of Scene Graphs for Image Captioning
University of California San Diego(加利福尼亚大学圣迭戈分校);Intel Labs(英特尔实验室);University of Warwick(华威大学)
主流的图像描述模型依赖于卷积神经网络(CNN)图像特征,通过递归模型生成字幕。最近,图像场景图已被用来增强字幕模型,以利用其结构语义,如对象实体,关系和属性。一些研究已经注意到,来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能,并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战,我们提出了\textbf{SG2Caps},一个框架,只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像,另一个来自其标题。为了实现这一点,我们利用对象的空间位置和人-物-交互(HOI)标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度,表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积,从而减少了49%的可训练参数。我们的代码可在:https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
Injecting Semantic Concepts into End-to-End Image Captioning
Arizona State University(亚利桑那州立大学);Microsoft Corporation(微软公司)
近年来,在开发更好的图像描述模型方面取得了巨大的进展,但其中大多数依赖于单独的对象检测器来提取区域特征。最近的视觉语言研究正在转向无检测器的趋势,利用网格表示进行更灵活的模型训练和更快的推理速度。然而,这样的发展主要集中在图像理解任务上,并且对于字幕生成任务的研究仍然较少。在本文中,我们关注一个性能更好的无检测器的图像描述模型,并提出了一个纯视觉Transformer为基础的图像描述模型,称为ViTCAP,其中使用网格表示,而不提取区域特征。为了提高性能,我们引入了一种新的概念令牌网络(CTN)预测的语义概念,然后将它们纳入端到端的字幕。特别是,CTN是建立在一个视觉Transformer的基础上,并被设计为通过分类任务预测的概念令牌,其中包含丰富的语义信息大大有利于字幕任务。与以前的基于检测器的模型相比,ViTCAP大大简化了架构,同时在各种具有挑战性的图像描述数据集上实现了有竞争力的性能。特别是,ViTCAP在COCO-caption Karpathy-split上达到138.1 CIDEr评分,在nocaps和Google-CC字幕数据集上分别达到93.8和108.6 CIDEr评分。
2022-03-31 cs.CL cs.CV
Hierarchy Parsing for Image Captioning
JD AI Research(京东人工智能研究院)
人们一直相信,将图像解析成组成视觉模式将有助于理解和表示图像。然而,没有证据支持用自然语言话语描述图像的想法。在本文中,我们介绍了一种新的设计,从实例级(分割),区域级(检测)到整个图像的层次模型,深入到一个彻底的图像理解字幕。具体来说,我们提出了一个层次化解析(HIP)架构,新颖地集成到图像编码器的层次结构。从技术上讲,图像分解成一组区域,其中一些区域被分解成更精细的区域。每个区域然后回归到一个实例,即,该地区的前景。这样的过程自然地构建了层次树。然后使用树结构的长短期记忆(Tree-LSTM)网络来解释层次结构并增强所有实例级、区域级和图像级特征。我们的HIP很有吸引力,因为它可以插入任何神经字幕模型。在COCO图像描述数据集上的大量实验证明了HIP的优越性。更值得注意的是,HIP加上一个自上而下的基于注意力的LSTM解码器,在COCO Karpathy测试分割中将CIDEr-D性能从120.1%提高到127.2%。当进一步赋予HIP的实例级和区域级特征以通过图卷积网络(GCN)学习的语义关系时,CIDEr-D被提升到130.6%。
2019-09-10 cs.CL cs.CV
SD-RSIC: Summarization Driven Deep Remote Sensing Image Captioning
Technische Universität Berlin(柏林工业大学)
深度神经网络(DNN)最近被发现流行于遥感(RS)中的图像描述问题。现有的基于DNN的方法依赖于由大量带有标题的RS图像组成的训练集的可用性。然而,训练图像的字幕可能包含冗余信息(它们可以是重复的或语义上彼此相似),从而导致在学习从图像域到语言域的映射时的信息不足。为了克服这一局限性,在本文中,我们提出了一种新的摘要驱动的遥感图像描述(SD-RSIC)的方法。所提出的方法包括三个主要步骤。第一步通过联合利用卷积神经网络(CNN)和长短期记忆(LSTM)网络来获得标准图像字幕。与现有的RS图像描述方法不同,第二步通过利用序列到序列神经网络将每个训练图像的地面实况字幕总结为单个字幕,并消除训练集中存在的冗余。第三步自动定义与每个RS图像相关联的自适应权重,以基于图像的语义内容将标准字幕与摘要字幕相结合。这是通过在LSTM网络上下文中定义的一种新的自适应加权策略来实现的。在RSCID、UCM-Captions和Sydney-Captions数据集上的实验结果表明,与现有的RS图像描述方法相比,该方法是有效的.所提出的方法的代码可在https://gitlab.tubit.tu-berlin.de/rsim/SD-RSIC上公开获得。
2020-10-13 cs.CL cs.CV cs.LG
Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
New York University(纽约大学)
本研究在MS-COCO数据集上基准测试了基于注意力机制的图像描述模型,证明其相比RNN能生成更准确、语义更丰富的描述,并提升与人工评估的对齐性。
2025-02-26 cs.CL cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya(马来亚大学)
随着深度模型的发展,在过去十年中,对图像描述的研究工作在原始性能方面取得了显着的进步,同时增加了模型复杂性和计算成本。然而,令人惊讶的是,用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究,我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构,即软注意,上下和对象关系Transformer。在此之后,我们提出了一种新的端到端的权重修剪方法,该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后,修剪方案扩展与编码器修剪,在那里我们表明,同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲,我们证明了80%到95%的稀疏网络(模型大小减少了75%)可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120,但模型大小仅为8.7 MB和14.5 MB(与密集版本相比,大小分别减少了96%和94%),可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
Prefix-diffusion: A Lightweight Diffusion Model for Diverse Image Captioning
Dalian University of Technology(大连理工大学);Meituan(美团);Information Engineering University(信息工程大学)
针对图像描述生成多样性不足和参数规模大的问题,提出Prefix-diffusion轻量级扩散模型,通过注入前缀图像嵌入和映射网络实现低参数下的多样化描述生成。
2023-10-17 cs.AI cs.CL cs.CV
Rule-driven News Captioning
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院)
本文提出规则驱动的新闻标题生成方法,通过设计新闻感知语义规则并注入BART模型,引导生成符合新闻报道规则的图像描述,在GoodNews和NYTimes800k数据集上验证了有效性。
2024-03-14 cs.AI cs.CL
AC-Lite : A Lightweight Image Captioning Model for Low-Resource Assamese Language
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提)
本文提出AC-Lite,一种面向低资源阿萨姆语的轻量级图像描述模型,通过使用ShuffleNetv2x1.5、GRU解码器和双线性注意力降低计算量,在COCO-AC数据集上取得82.3 CIDEr分数。
2025-04-30 cs.AI cs.CL cs.CV
Query-centric Audio-Visual Cognition Network for Moment Retrieval, Segmentation and Step-Captioning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
针对HIREST任务中跨模态层次和关联关系被忽略的问题,提出以查询为中心的音视频认知网络QUAG,通过模态协同感知和深层查询过滤构建多模态表示,在多项任务上达到SOTA并具备良好泛化能力。
2024-12-18 cs.AI cs.CL cs.CV
Automated Audio Captioning with Recurrent Neural Networks
Tampere University of Technology(坦佩雷理工大学)
我们提出了第一种方法来自动音频字幕。我们采用了一个编码器-解码器方案与对齐模型之间。编码器的输入是从音频文件计算的对数梅尔带能量序列,而输出是单词序列,即字幕。编码器是一个多层的双向门控递归单元(GRU),解码器是一个多层GRU,其分类层连接到解码器的最后一个GRU。分类层和对齐模型是在时间步之间具有共享权重的全连接层。所提出的方法进行评估,使用从商业音效库,ProSound Effects的数据。通过在机器翻译和图像描述领域中使用的度量对所得到的字幕进行评级。度量结果表明,该方法可以预测出现在原始字幕中的单词,但并不总是正确的顺序。
2017-10-24 cs.CL cs.LG cs.SD
Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)
University of California, Los Angeles(加州大学洛杉矶分校);Baidu Research(百度研究院)
在本文中,我们提出了一个多模态递归神经网络(m-RNN)模型生成新的图像字幕。它直接对给定先前单词和图像的生成单词的概率分布进行建模。图像标题通过从该分布中采样来生成。该模型由两个子网络组成:用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用,形成整个m-RNN模型。在四个基准数据集(IAPR TC-12、Flickr 8 K、Flickr 30 K和MS COCO)上验证了模型的有效性。我们的模型优于最先进的方法。此外,我们将m-RNN模型应用于检索图像或句子的检索任务,并与直接优化检索排名目标函数的最新方法相比,实现了显着的性能提升。本作品的项目页面是:www.stat.ucla.edu/~junhua.mao/m-RNN.html。
2015-06-11 cs.CL cs.CV cs.LG
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)(德黑兰理工大学);Department of Mathematics and Computer Science(数学与计算机科学系);Department of Computer Engineering(计算机工程系)
随着视觉和自然语言处理技术的发展,图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型,通过分离语义和风格来生成风格化的字幕。在继续这项工作中,这里开发了一个新的字幕模型,包括一个图像编码器来提取特征,一个混合的递归网络来嵌入一组提取的特征到一组单词中,以及一个句子生成器,它将所获得的单词组合为一个风格化的句子。由此产生的系统,称为递归专家混合(MoRE),使用一种新的训练算法,从递归神经网络(RNN)的加权矩阵导出奇异值分解(SVD),以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库,没有配对的图像,我们的字幕模型也可以做到这一点。此外,风格化和多样化的字幕提取,而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型,我们使用Microsoft COCO,这是一个标准的事实图像字幕数据集。我们表明,建议的字幕模型可以生成一个多样化的和风格化的图像字幕,而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
Can adversarial training learn image captioning ?
Polytechnic Mons(蒙斯理工学院)
最近,生成对抗网络(GAN)引起了人们的极大兴趣。多年来,它们在生成高质量的不可见样本(特别是图像)方面的效率有所提高。在自然语言生成(NLG)领域,使用对抗设置来生成有意义的句子已经被证明是困难的,原因有二:缺乏现有的架构来生成真实的句子和缺乏评估工具。在本文中,我们提出了一个对抗架构相关的条件GAN(cGAN),生成句子根据给定的图像(也称为图像描述)。这是第一次尝试不使用预先训练或强化方法。我们还解释了为什么我们的实验设置可以安全地评估和解释进一步的工作。
2019-10-31 cs.CL cs.CV cs.LG
Longer Version for "Deep Context-Encoding Network for Retinal Image Captioning"
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院)
自动生成视网膜图像的医学报告是帮助眼科医生减少工作量和提高工作效率的有前途的方法之一。在这项工作中,我们提出了一个新的上下文驱动的编码网络自动生成视网膜图像的医疗报告。该模型主要由多模态输入编码器和融合特征解码器组成。我们的实验结果表明,我们提出的方法能够有效地利用输入图像和上下文之间的交互信息,即,关键词在我们的案例中所提出的方法为视网膜图像创建比基线模型更准确和有意义的报告,并实现了最先进的性能。这种性能在医疗报告生成任务的几个常用指标中显示:BLEU-avg(+16%),CIDEr(+10.2%)和ROUGE(+8.6%)。
2021-05-30 cs.AI cs.CL cs.CV
With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会-意大利理工学院)
针对图像字幕生成中Transformer注意力忽略过往样本语义的问题,提出原型记忆网络,通过兼具判别性与紧凑性的原型向量建模过往键值分布,在COCO数据集上使Transformer性能提升3.7个CIDEr点。
2023-08-23 cs.AI cs.CL cs.CV
Image Captioning with Deep Bidirectional LSTMs
Hasso Plattner Institute, University of Potsdam(哈索·普拉特纳研究所,波茨坦大学)
本文提出了一种用于图像描述的端到端可训练的深度双向LSTM(长短期记忆)模型。我们的模型建立在深度卷积神经网络(CNN)和两个独立的LSTM网络上。它能够通过利用高层语义空间中的历史和未来上下文信息来学习长期的视觉语言交互。提出了两种新的深度双向变体模型,其中我们以不同的方式增加非线性过渡的深度,学习层次视觉语言嵌入。提出了多裁剪、多尺度和垂直镜像等数据增强技术,以防止训练深度模型时的过拟合。我们可视化双向LSTM内部状态随时间的演变,并定性分析我们的模型如何将图像“翻译”为句子。我们提出的模型进行了评估的标题生成和图像句子检索任务与三个基准数据集:Flickr8K,Flickr30K和MSCOCO数据集。我们证明了双向LSTM模型即使在没有集成额外机制(例如目标检测、注意力模型等)的情况下,也能在字幕生成方面取得与最先进结果相比具有高度竞争力的性能。并且在检索任务上显著优于最近的方法。
2016-07-20 cs.CL cs.CV cs.MM
UIT-ViIC: A Dataset for the First Evaluation on Vietnamese Image Captioning
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
图像描述(Image Captioning),即图像字幕的自动生成,近年来引起了计算机视觉、自然语言处理和机器学习等多个领域研究人员的广泛关注。本文的研究有助于图像描述任务的扩展数据集到不同的语言-越南语。到目前为止,还没有越南语的图像描述数据集,所以这是开发越南语图像描述的最基本的一步。在这个范围内,我们首先构建了一个数据集,其中包含Microsoft COCO数据集中与球类运动相关的图像的手动编写的字幕,我们称此数据集为ESP-ViIC。ViViIC由3,850张图片的19,250个越南字幕组成。接下来,我们在深度神经网络模型上评估我们的数据集,并与英语数据集和两个通过不同方法构建的越南数据集进行比较。出于研究目的,我们在实验室网站上发布了EST-ViIC。
2020-02-01 cs.CL
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现,发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
Language Models for Image Captioning: The Quirks and What Works
Microsoft Research(微软研究院);University of Washington(华盛顿大学);University of California at Berkeley(加州大学伯克利分校)
两种最近的方法已经在图像描述中实现了最先进的结果。第一种使用流水线处理,其中通过在图像上训练的卷积神经网络(CNN)生成一组候选词,然后使用最大熵(ME)语言模型将这些词排列成连贯的句子。第二种方法使用CNN的倒数第二个激活层作为递归神经网络(RNN)的输入,然后生成字幕序列。在本文中,我们通过使用相同的最先进的CNN作为输入,首次比较了这些不同语言建模方法的优点。我们研究的问题,在不同的方法,包括语言的不规则性,标题重复,和数据集重叠。通过结合ME和RNN方法的关键方面,我们在基准COCO数据集上实现了比以前发表的结果更高的性能记录。然而,我们在BLEU中看到的收益并不能转化为人类的判断。
2015-10-14 cs.AI cs.CL cs.CV
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University(南洋理工大学)
在本文中,我们研究了使用预训练音频神经网络(PANNs)的迁移学习的使用,并提出了一种架构,能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标,重建潜在空间相似正则化(RLSSR)。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Let Your Heart Speak in its Mother Tongue: Multilingual Captioning of Cardiac Signals
University of Oxford(牛津大学)
诸如心电图之类的心脏信号传达关于患者的健康状态的大量信息,这些信息通常由临床医生以临床报告的形式进行总结,这是一个容易出错的繁琐过程。为了简化这个常规过程,我们提出了一个能够为心脏信号添加字幕的深度神经网络;它接收心脏信号作为输入,并生成临床报告作为输出。我们进一步扩展此功能以生成多语言报告。为此,我们创建并公开提供多语言临床报告数据集。在缺乏足够的标记数据的情况下,深度神经网络可以从热启动或预训练过程中受益,在该过程中,首先在任意任务中学习参数。我们提出了这样一个任务,其形式是有区别的多语言预训练,其中来自临床报告的标记被随机替换为来自其他语言的标记,网络的任务是预测所有标记的语言。我们表明,我们的方法与最先进的预训练方法(如MLM,ELECTRA和MARGE)不相上下,同时生成多样化和合理的临床报告。我们还证明了多语言模型可以胜过单语言模型,非正式地将这种有益的现象称为多语言的祝福。
2021-03-19 cs.AI cs.CL cs.LG