Attention Based Encoder Decoder Model for Video Captioning in Nepali (2023)
Tribhuvan University(特里布万大学)
针对尼泊尔语视频字幕生成研究匮乏的问题,提出基于注意力的编码器-解码器模型,结合CNNs特征提取与LSTM/GRU序列模型,构建首个尼泊尔语视频字幕数据集并通过多指标验证有效性。
2024-05-19 cs.CV
Guidance Module Network for Video Captioning
视频描述是一个具有挑战性和重要性的任务,它用单个句子描述视频剪辑的内容。视频描述的模型通常是编码器-解码器。我们发现,提取的视频特征的归一化可以提高视频描述的最终性能。编码器-解码器模型通常使用教师强制策略进行训练,使每个单词的预测概率接近0-1分布,并忽略其他单词。在本文中,我们提出了一种新的架构,它引入了一个指导模块,鼓励编码器-解码器模型生成相关的过去和未来的话在一个字幕的话。在规范化和引导模块的基础上,构建了引导模块网络(GMNet)。在常用数据集MSVD上的实验结果表明,GMNet能够提高编码器-解码器模型在视频描述任务上的性能.
2020-12-20 cs.CV
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University(世宗大学);Ton Duc Thang University(孙德胜大学);ASICLAND;Northeastern University(东北大学);Deakin University(迪肯大学)
本研究介绍了我们在2021年越南语言和语音处理(VLSP)挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法,如图1所示。近年来,图像描述通常采用基于卷积神经网络的架构作为编码器,并采用长短期记忆(LSTM)作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器,但我们在编码器中使用Swin Transformer,在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数,并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能领域的一项具有挑战性的研究课题,在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展,包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后,我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
Image Captioning as Neural Machine Translation Task in SOCKEYE
Amazon Research(亚马逊研究院)
图像描述是介于计算机视觉和自然语言处理之间的一个交叉学科。任务是生成图像内容的文本描述。用于图像描述的典型模型是编码器-解码器深度网络,其中编码器捕获图像的本质,而解码器负责生成描述图像的句子。注意力机制可以用于自动地将解码器聚焦在与预测下一个单词相关的图像部分上。在本文中,我们探讨了神经机器翻译中流行的不同解码器和注意力模型,即注意力递归神经网络,自注意力Transformers和全卷积网络,它们代表了神经机器翻译的当前技术水平。图像描述模块作为SOCKEYE的一部分在https://github.com/awslabs/sockeye上提供,其教程可以在https://awslabs.github.io/sockeye/image_captioning.html上找到。
2018-10-15 cs.CV
Stack-Captioning: Coarse-to-Fine Learning for Image Captioning
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
现有的图像描述方法通常采用训练一级句子解码器,难以生成丰富的细粒度描述。另一方面,由于梯度消失问题,多级图像字幕模型难以训练。在本文中,我们提出了一个由粗到细的多阶段预测框架的图像描述,由多个解码器,每个操作上一个阶段的输出,产生越来越精细的图像描述。我们提出的学习方法通过提供一个执行中间监督的学习目标函数来解决训练过程中梯度消失的困难。特别是,我们优化我们的模型与强化学习的方法,利用每个中间解码器的测试时推理算法的输出,以及其前一个解码器的输出规范化的奖励,同时解决了众所周知的曝光偏差问题和损失评估不匹配的问题。我们广泛评估所提出的方法MSCOCO和表明,我们的方法可以实现国家的最先进的性能。
2018-03-14 cs.CV
Hidden State Guidance: Improving Image Captioning using An Image Conditioned Autoencoder
University of Texas at Austin(德克萨斯大学奥斯汀分校)
大多数基于RNN的图像描述模型接收对输出单词的监督以模仿人类字幕。因此,隐藏状态只能通过时间反向传播层接收噪声梯度信号,导致生成的字幕不太准确。因此,我们提出了一种新的框架,隐藏状态指导(HSG),匹配隐藏状态的字幕解码器中的教师解码器训练的一个更容易的任务,自动编码的字幕条件的图像。在使用REINFORCE算法进行训练期间,传统的奖励是平均分配给每个生成的单词的基于排名的评估指标,而不管它们的相关性如何。HSG提供了一个单词级的奖励,帮助模型学习更好的隐藏表示。实验结果表明,HSG明显优于各种国家的最先进的字幕解码器使用原始图像或检测到的对象作为输入。
2020-01-14 cs.CL cs.CV
Empirical Autopsy of Deep Video Captioning Frameworks
The University of Western Australia(西澳大利亚大学)
当代基于深度学习的视频描述遵循编码器-解码器框架。在编码器中,使用2D/3D卷积神经网络(CNN)提取视觉特征,并将这些特征的变换版本传递给解码器。解码器使用词嵌入和语言模型将视觉特征映射到自然语言标题。由于其复合性质,编码器-解码器流水线为其每个组件提供了多种选择的自由,例如CNN模型、特征变换、词嵌入和语言模型等的选择。组件选择可能对整体视频描述性能产生巨大影响。然而,目前的文献是缺乏任何系统的调查,在这方面。本文填补了这一空白,提供了第一个彻底的实证分析的作用,每个主要组成部分在当代视频描述管道。我们通过改变视频描述框架的组成部分进行了广泛的实验,并量化了仅通过组件选择就可能获得的性能增益。我们使用流行的MSVD数据集作为测试平台,并证明了通过仔细选择组成组件而不对管道本身进行重大更改,可以获得实质性的性能增益。这些结果有望为视频描述这一快速发展方向的未来研究提供指导原则。
2019-11-21 cs.CL cs.CV cs.LG
Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning
Sun Yat-sen University(中山大学);JD AI Research(京东人工智能研究院)
视频描述是计算机视觉和人工智能领域中的一项基本而又具有挑战性的任务。流行的方法是通过递归神经网络(RNN)以序列到序列的方式将输入视频映射到可变长度的输出句子。然而,RNN的训练仍然在一定程度上受到消失/爆炸梯度问题的影响,使得优化变得困难。此外,RNN中固有的递归依赖性阻止了训练期间序列内的并行化,因此限制了计算。在本文中,我们提出了一种新的设计-时间可变形卷积编码器-解码器网络(简称TDConvED),充分利用卷积的编码器和解码器网络的视频描述。从技术上讲,我们利用卷积块结构来计算固定数量输入的中间状态,并堆叠几个块来捕获长期关系。编码器中的结构还配备有时间可变形卷积,以实现时间采样的自由形式变形。我们的模型还利用时间注意力机制的句子生成。在MSVD和MSR-VTT视频描述数据集上进行了大量的实验,与传统的基于RNN的编码器-解码器技术相比,报告了更好的结果。更值得注意的是,TDConvED将MSVD的CIDEr-D性能从58.8%提高到67.2%。
2019-05-03 cs.CV
DISCODE: Distribution-Aware Score Decoder for Robust Automatic Evaluation of Image Captioning
DISCODE是一种无需微调的鲁棒图像描述评估方法,通过自适应测试时损失和多领域基准提升评估鲁棒性。
2026-01-03 cs.AI cs.CV
MAMI: Multi-Attentional Mutual-Information for Long Sequence Neuron Captioning
Brawijaya University(布拉维贾亚大学)
针对MILAN在长序列神经元描述上表现不佳的问题,本文提出MAMI方法,通过融合多种注意力机制提升性能,在复合数据集上取得了更高的BLEU和F1-Score。
2024-01-05 cs.AI cs.CL cs.CV
Violet: A Vision-Language Model for Arabic Image Captioning with Gemini Decoder
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出Violet,一种基于视觉编码器和Gemini解码器的阿拉伯语图像描述模型,通过自动获取英语数据训练,并在多个数据集上显著优于基线,CIDEr达61.2。
2023-11-15 cs.CL cs.CV
Learning to Guide Decoding for Image Captioning
Tencent AI Lab(腾讯人工智能实验室);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学)
近来,在图像描述中已经取得了很大的进步,并且编码器-解码器框架已经实现了用于该任务的出色性能。在本文中,我们提出了一个扩展的编码器-解码器框架,通过添加一个组件称为指导网络。引导网络对输入图像的属性特性进行建模,并利用其输出在每个时间步组成解码器的输入。引导网络可以插入到当前的编码器-解码器框架中,并以端到端的方式进行训练。因此,引导向量可以根据来自解码器的信号自适应地学习,使其本身嵌入来自图像和语言的信息。此外,可以采用区别性监督,以进一步提高指导质量。在MS COCO数据集上进行的实验验证了我们所提出的方法的优点。
2018-04-03 cs.CV
Reconstruction Network for Video Captioning
Tencent AI Lab(腾讯人工智能实验室);School of Control Science Engineering Shandong University(山东大学控制科学与工程学院)
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索,使语言描述,我们提出了一种重建网络(RecNet)与一种新的编码器-解码器-重建器架构,它利用了前向(视频到句子)和后向(句子到视频)流的视频描述。具体地,编码器-解码器利用前向流来基于编码的视频语义特征产生句子描述。两种类型的重建器被定制为采用反向流,并根据解码器生成的隐藏状态序列再现视频特征。由编码器-解码器产生的生成损失和由重建器引入的重建损失以端到端的方式共同被引入到训练所提出的RecNet中。在基准数据集上的实验结果表明,所提出的重建器可以提高编码器-解码器模型,并导致视频字幕准确性的显着增益。
2018-03-30 cs.CV
Improved Bengali Image Captioning via deep convolutional neural network based encoder-decoder model
Shahjalal University of Science and Technology(沙赫贾拉尔科技大学)
图像描述是一项艰巨的任务,它要用自然语言和与图像相关的上下文来生成图像的语法和语义上正确的文本描述。孟加拉语图像描述(BIC)中现有的值得注意的研究是基于编码器-解码器架构的。本文提出了一种端到端的图像描述系统,利用多模态架构,通过结合一维卷积神经网络(CNN)编码序列信息与预训练的ResNet-50模型图像编码器提取基于区域的视觉特征。我们使用现有的评估指标研究了我们的方法在BanglaLekhaImageCaptions数据集上的性能,并进行了定性分析的人工评估。实验表明,该方法的语言编码器能够捕捉到字幕中的细粒度信息,并结合图像特征,生成准确多样的字幕。我们的工作优于所有现有的BIC作品,并实现了一个新的最先进的(SOTA)的性能得分为0.651上的蓝色-1,0.572上的CIDER,0.297上的METEOR,0.434上的ROUGE,和0.357上的SPICE。
2021-02-14 cs.CV
An Image captioning algorithm based on the Hybrid Deep Learning Technique (CNN+GRU)
Comsats University Islamabad, Sahiwal Campus(伊斯兰堡科萨茨大学萨希瓦尔校区);Chosun University(朝鲜大学)
编码器-解码器框架的图像描述在过去十年中取得了巨大的进步,其中CNN主要用作编码器,LSTM用作解码器。尽管在简单图像的准确性方面取得了令人印象深刻的成就,但在时间复杂度和空间复杂度效率方面却有所欠缺。除此之外,在具有大量信息和对象的复杂图像的情况下,由于缺乏对图像中呈现的场景的语义理解,该CNN-LSTM对的性能呈指数级下降。因此,考虑到这些问题,我们提出了CNN-GRU编码器解码框架的标题到图像重建器处理的语义上下文考虑以及时间复杂度。通过考虑解码器的隐藏状态,重建输入图像及其类似的语义表示,并且在模型训练期间结合可能性使用来自语义重建器的重建分数来评估所生成的字幕的质量。结果,解码器接收到改进的语义信息,增强了字幕制作过程。在模型测试期间,结合重建分数和对数似然来选择最合适的标题也是可行的。该模型在时间复杂度和准确性方面优于最先进的LSTM-A5图像字幕模型。
2023-01-06 cs.AI cs.CV
AC-Lite : A Lightweight Image Captioning Model for Low-Resource Assamese Language
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提)
本文提出AC-Lite,一种面向低资源阿萨姆语的轻量级图像描述模型,通过使用ShuffleNetv2x1.5、GRU解码器和双线性注意力降低计算量,在COCO-AC数据集上取得82.3 CIDEr分数。
2025-04-30 cs.AI cs.CL cs.CV
A sequential guiding network with attention for image captioning
Beihang University(北京航空航天大学);Keep Inc.(Keep公司);North China Electric Power University(华北电力大学)
深度学习在计算机视觉(CV)和自然语言处理(NLP)方面的最新进展为我们提供了一种理解语义的新方法,通过这种方法,我们可以处理更具挑战性的任务,例如从自然图像中自动生成描述。在这一挑战中,当卷积神经网络(CNN)用作图像编码器和递归神经网络(RNN)用作解码器时,编码器-解码器框架已经实现了有希望的性能。在本文中,我们介绍了一个顺序的指导网络,指导解码器在字生成。新模型是编码器-解码器框架的扩展,具有额外的引导长短期记忆(LSTM),可以通过使用图像/描述对以端到端的方式进行训练。我们通过在基准数据集上进行广泛的实验来验证我们的方法,即,COCO小姐字幕与其他最先进的深度学习模型相比,该模型实现了显着的改进。
2019-02-08 cs.CL cs.CV
Compressed Image Captioning using CNN-based Encoder-Decoder Framework
University of Alberta(阿尔伯塔大学)
本研究提出结合CNN与编码器-解码器模型的自动图像描述生成架构,通过实验预训练模型并引入频率正则化技术压缩AlexNet和EfficientNetB0,在保持描述生成有效性的同时提升资源效率。
2024-04-28 cs.CV
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学)
使用基于编码器-解码器的方法的图像描述,其中CNN用作编码器,并且序列生成器如RNN用作解码器,已被证明是非常有效的。然而,这种方法有一个缺点,那就是序列需要按顺序处理。为了克服这个缺点,一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而,没有一个使用Transformer模型生成孟加拉语字幕。因此,我们利用三个不同的孟加拉语数据集,使用Transformer模型从图像中生成孟加拉语字幕。此外,我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后,我们比较了基于transformer的模型的结果与其他模型,采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架,通过优化编码器-解码器的空域表示和语言生成,提升遥感图像描述的准确性,实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research(谷歌研究院)
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练(MV-GPT),一个新的预训练框架,用于从未标记的视频中学习,可有效地用于生成任务,如多模态视频描述。与最近的视频语言预训练框架不同,我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏,我们利用未来的话语作为一个额外的文本源,并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文,以及目前的话语给出了未来的观察。为此,我们训练了一个端到端的编码器-解码器模型,以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能,以及其他视频理解任务,如VideoQA,视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学);University of Copenhagen(哥本哈根大学)
本文提出LMCap,一种无需多语言描述训练数据的少样本图像描述模型,通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述,在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
Encoder-Decoder Based Long Short-Term Memory (LSTM) Model for Video Captioning
Virginia Tech(弗吉尼亚理工大学);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);Austin Peay State University(奥斯汀皮伊州立大学)
本研究提出一种基于编码器-解码器LSTM的视频字幕生成模型,通过将视频帧时间序列映射为单词序列生成字幕,并使用2-gram BLEU分数评估其正确性与泛化能力。
2023-10-02 cs.CV
Image Captioning: Transforming Objects into Words
Yahoo Research(雅虎研究院)
图像描述模型通常遵循编码器-解码器架构,其使用抽象图像特征向量作为编码器的输入。最成功的算法之一是使用从对象检测器获得的区域建议中提取的特征向量。在这项工作中,我们介绍了对象关系Transformer,建立在这种方法的基础上,明确地将通过几何注意输入检测对象之间的空间关系的信息。定量和定性的结果表明,这种几何注意图像描述的重要性,导致所有常见的字幕度量的MS-COCO数据集上的改进。
2020-01-11 cs.CL cs.CV
CNN+CNN: Convolutional Decoders for Image Captioning
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);City University of Hong Kong(香港城市大学)
图像描述是计算机视觉与自然语言处理相结合的一项具有挑战性的任务。已经提出了各种方法来实现自动描述图像的目标,并且基于递归神经网络(RNN)或长短期记忆(LSTM)的模型主导了该领域。然而,RNN或LSTM不能并行计算,也不能忽略句子的底层层次结构。在本文中,我们提出了一个框架,只采用卷积神经网络(CNN)生成字幕。由于并行计算,我们的基本模型在训练时间比NIC(基于LSTM的模型)快3倍左右,同时也提供了更好的结果。我们进行了广泛的实验MSCOCO和调查的影响模型的宽度和深度。与采用相似注意力机制的基于LSTM的模型相比,我们提出的模型在BLEU-1,2,3,4和METEOR上获得了相当的分数,而在CIDER上获得了更高的分数。我们还在段落标注数据集上测试了我们的模型,并与分层LSTM相比获得了更高的CIDEr得分
2018-05-23 cs.CV
Attention Beam: An Image Captioning Approach
图像描述的目的是生成给定图像的文本描述。虽然对人类来说似乎是一项简单的任务,但对机器来说却是一项挑战,因为它需要理解图像(计算机视觉)的能力,从而为图像生成类似人类的描述(自然语言理解)。近来,基于编码器-解码器的体系结构已经实现了用于图像描述的最先进的结果。在这里,我们提出了一个启发式的束搜索的编码器-解码器为基础的架构,提供更好的质量字幕上的三个基准数据集:Flickr 8 k,Flickr 30 k和MS COCO。
2020-11-11 cs.CV cs.LG
Attention on Attention for Image Captioning
Peking University(北京大学);Macau University of Science and Technology(澳门科技大学);Peng Cheng Laboratory(鹏城实验室)
注意力机制广泛用于当前图像描述的编码器/解码器框架中,其中在每个时间步长处生成编码向量的加权平均以指导字幕解码过程。然而,解码器不知道关注向量和给定关注查询是否相关或相关程度如何,这可能使解码器给出误导的结果。在本文中,我们提出了一个注意力的注意力(AoA)模块,它扩展了传统的注意力机制,以确定关注结果和查询之间的相关性。AoA首先利用注意力结果和当前上下文生成信息向量和注意力门,然后对它们进行逐元素乘法以增加另一个注意力,最后得到关注信息,即期望的有用知识。我们将AoA应用于我们的图像描述模型的编码器和解码器,我们将其命名为AoA网络(AoANet)。实验表明,AoANet优于所有以前公布的方法,并实现了新的最先进的性能,在MS COCO Karpathy离线测试分裂129.8 CIDEr-D得分和129.6 CIDEr-D(C40)得分在官方在线测试服务器上。代码可在https://github.com/husthuaan/AoANet上获得。
2019-08-21 cs.CV
Image Captioning based on Feature Refinement and Reflective Decoding
King Saud University(沙特国王大学)
图像描述是以自然语言自动生成图像描述的过程。图像描述是图像理解中的重要挑战之一,因为它不仅需要识别图像中的显著对象,还需要识别它们的属性以及它们相互作用的方式。然后,系统必须生成语法和语义正确的标题,该标题以自然语言描述图像内容。随着深度学习模型的重大进展及其有效编码大量图像和生成正确句子的能力,最近提出了几种基于神经的字幕方法,每种方法都试图实现更好的准确性和字幕质量。本文介绍了一种基于编码器-解码器的图像描述系统,其中编码器使用ResNet-101从图像中提取空间特征。这个阶段之后是一个细化模型,它使用一个注意力的注意力机制来提取目标图像对象的视觉特征,然后确定它们的相互作用。解码器由一个基于注意力的递归模块和一个反射注意力模块组成,它们协同地将注意力应用于视觉和文本特征,以增强解码器对长期顺序依赖关系建模的能力。在Flickr 30 K上进行的大量实验表明了该方法的有效性和生成字幕的高质量。
2022-07-25 cs.CV
Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
Virginia Tech(弗吉尼亚理工大学);Salesforce Research(Salesforce研究院);Georgia Institute of Technology(佐治亚理工学院)
基于注意力的神经编码器-解码器框架已被广泛用于图像描述。大多数方法强制视觉注意力对每个生成的单词都是活跃的。然而,解码器可能需要很少或不需要来自图像的视觉信息来预测诸如“the”和“of”的非视觉词。可能看起来可视的其他单词通常可以仅从语言模型可靠地预测,在“红灯后”后面加上“sign”,或者在“talking on a cell”后面加上“phone”。在本文中,我们提出了一种新的自适应注意力模型与视觉哨兵。在每个时间步,我们的模型决定是否关注图像(如果是,则关注哪些区域)或视觉哨兵。该模型决定是否关注图像以及在哪里,以便提取有意义的信息用于顺序单词生成。我们在COCO图像描述2015挑战数据集和Flickr 30 K上测试了我们的方法。我们的方法将新的最先进的技术设置为显著的优势。
2017-06-06 cs.AI cs.CV
Review Networks for Caption Generation
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的扩展的编码器-解码器框架,称为审查网络。审查网络是通用的,可以增强任何现有的编码器-解码器模型:在本文中,我们考虑RNN解码器与CNN和RNN编码器。回顾网络利用注意力机制对编码器隐藏状态执行多个回顾步骤,并且在每个回顾步骤之后输出思想向量;思想向量用作解码器中的注意力机制的输入。我们表明,传统的编码器-解码器是我们的框架的一个特殊情况。从经验上讲,我们表明,我们的框架提高了国家的最先进的编码器-解码器系统上的任务,图像描述和源代码字幕。
2016-10-27 cs.CL cs.CV cs.LG
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China(电子科技大学)
近年来,Transformer结构已经广泛应用于图像描述中,并具有令人印象深刻的性能。为了获得良好的字幕效果,不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述,提出了一种改进的几何注意力Transformer(GAT)模型.为了进一步利用几何信息,两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外,该模型还包括两个工作模块:1)几何门控自注意细化器,用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2)一组位置LSTM,用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明,该方法具有较好的效果,并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
RefineCap: Concept-Aware Refinement for Image Captioning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Pittsburgh(匹兹堡大学)
图像到文本的自动翻译涉及到图像场景理解和语言建模。在本文中,我们提出了一种新的模型,称为RefineCap,使用解码器引导的视觉语义细化语言解码器的输出词汇,并隐式地学习视觉标签词和图像之间的映射。所提出的视觉概念细化方法可以允许生成器参加图像中的语义细节,从而生成更多的语义描述性字幕。与以前的基于视觉概念的模型相比,我们的模型在MS-COCO数据集上实现了卓越的性能。
2021-09-08 cs.CL
Reflective Decoding Network for Image Captioning
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
现有的图像描述方法大多集中在改善图像的视觉特征上,较少关注利用语言的固有特性来提高字幕效果。在本文中,我们表明,词汇之间的连贯性和句子的句法范式也很重要,以产生高质量的图像字幕。在传统的编码器-解码器框架下,我们提出了用于图像描述的反射解码网络(RDN),它增强了字幕解码器中单词的长序列依赖性和位置感知。我们的模型学习协作地关注视觉和文本特征,同时感知每个单词在句子中的相对位置,以最大限度地提高生成的标题中提供的信息。我们评估我们的RDN的有效性COCO图像描述数据集上,并实现优于以前的方法的性能。进一步的实验表明,我们的方法是特别有利的复杂的场景描述的标题硬的情况下。
2019-08-30 cs.CV
Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);Monitorapp(Monitorapp公司);Dankook University(檀国大学)
图像和视频中场景理解的自动转录是迈向人工通用智能的一步。图像描述是使用计算机视觉技术描述图像中有意义信息的术语。自动化图像描述技术利用编码器和解码器架构,其中编码器从图像提取特征并且解码器生成转录本。在这项工作中,我们调查了两个未开发的想法图像描述使用Transformers:首先,我们证明了使用对象的相关性在周围环境中的执法。第二,学习标签和语言结构之间的明确关联。我们提出了标记注意力Transformer与几何相干对象(LATGeO)。所提出的技术获得了一个建议的几何连贯的对象,使用深度神经网络(DNN)和生成字幕,通过调查他们的关系,使用标签注意模块。使用提案的几何特性的局部化比率来定义对象相干性。标签关注模块使用自关注层将提取的对象类与可用字典相关联。实验结果表明,对象在周围环境中的相关性和结合他们的视觉特征与他们的几何定位率结合其相关的标签有助于定义有意义的字幕。所提出的框架进行了测试的MSCOCO数据集,并在整体上更好的定量分数的全面评估,宣布其优越性。
2021-09-16 cs.AI cs.CV
Phrase-based Image Captioning with Hierarchical LSTM Model
University of Malaya(马来亚大学)
自动生成描述图像内容的字幕是近年来的一个研究热点,现有的大多数工作都将图像字幕视为纯序列数据。然而,自然语言具有时间层次结构,每个子序列之间具有复杂的依赖关系。在本文中,我们提出了一个基于短语的分层长短期记忆(phi-LSTM)模型来生成图像描述。与传统的以纯顺序方式生成字幕的解决方案相比,我们提出的模型从短语到句子解码图像字幕。它包括一个在底层的短语解码器,用于解码可变长度的名词短语,和一个在上层的缩写句解码器,用于解码图像描述的缩写形式。在推理阶段,通过将生成的短语与句子相结合来形成完整的图像标题。从经验上讲,与最先进的模型相比,我们提出的模型在Flickr 8 k,Flickr 30 k和MS-COCO数据集上显示出更好或具有竞争力的结果。我们还表明,我们提出的模型是能够产生更多的新颖的字幕(没有看到在训练数据),这是更丰富的文字内容,在所有这三个数据集。
2017-11-11 cs.AI cs.CL cs.CV
Recurrent Fusion Network for Image Captioning
Fudan University(复旦大学)
最近,在图像描述中已经取得了很大的进步,并且编码器-解码器框架已经被所有最先进的模型所采用。在该框架下,输入图像由卷积神经网络(CNN)编码,然后用递归神经网络(RNN)翻译成自然语言。依赖于该框架的现有模型仅采用一种CNN,例如,ResNet或Inception-X,仅从一个特定的视角描述图像内容。因此,不能全面地理解输入图像的语义,这限制了字幕的性能。在本文中,为了利用多个编码器的互补信息,我们提出了一种新的递归融合网络(RFNet)处理图像描述。我们的模型中的融合过程可以利用图像编码器的输出之间的相互作用,然后为解码器生成新的紧凑但信息丰富的表示。MSCOCO数据集上的实验证明了我们提出的RFNet的有效性,它为图像描述提供了一个新的最先进的技术。
2018-07-31 cs.CV
VisualGPT: Data-efficient Adaptation of Pretrained Language Models for Image Captioning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
从少量训练数据中快速学习的能力拓宽了机器学习的应用范围。在本文中,我们提出了一个数据高效的图像描述模型VisualGPT,它利用了来自大型预训练语言模型(LM)的语言知识。一个关键的挑战是在图像中视觉信息的使用和从预训练中获得的先前语言知识之间取得平衡。我们设计了一种新的自恢复编码器-解码器注意力机制,在少量域内训练数据上快速地将预训练的LM作为语言解码器。所提出的自恢复激活单元产生稀疏激活,但具有降低的对零梯度的敏感性。我们训练提出的模型,VisualGPT,0.1%,0.5%和1%的MSCOCO和概念说明训练数据。在这些条件下,我们在MS COCO上的表现优于最佳基线模型高达10.8%CIDEr,在概念字幕上的表现优于最佳基线模型高达5.4%CIDEr。此外,Visual-GPT在IU X射线上实现了最先进的结果,这是一个医疗报告生成数据集。据我们所知,这是第一个工作,提高数据效率的图像描述通过利用LM预训练的单峰数据。我们的代码可在https://github.com/Vision-CAIR/VisualGPT上获取。
2022-03-30 cs.AI cs.CL cs.CV
Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation
National Institute of Technology(印度国家技术学院)
图像描述或图像描述的自动生成是计算机视觉中的核心问题之一,并且使用深度学习技术已经取得了相当大的进展。我们建议使用Inception-ResNet卷积神经网络作为编码器来从图像中提取特征,基于层次上下文的词嵌入用于单词表示,深度堆叠长短期记忆网络作为解码器,此外还使用图像数据增强来避免过拟合。对于数据增强,除了图像上的透视变换外,我们还使用水平和垂直翻转。我们评估我们提出的方法与两个图像描述框架-编码器-解码器和软注意。广泛使用的指标的评估表明,我们的方法导致模型性能的显着改善。
2021-02-22 cs.AI cs.CV cs.LG
Unpaired Image Captioning via Scene Graph Alignments
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院);Monash University(莫纳什大学);Adobe Research(Adobe研究院);Alibaba Group(阿里巴巴集团)
当前的大多数图像描述模型严重依赖于成对的图像-字幕数据集。然而,获得大规模的图像-字幕配对数据是劳动密集型和耗时的。本文提出了一种基于场景图的非成对图像描述字幕生成方法。我们的框架包括一个图像场景图生成器,句子场景图生成器,场景图编码器,和句子解码器。具体来说,我们首先训练场景图编码器和句子解码器的文本模态。为了对齐图像和句子之间的场景图,我们提出了一种无监督的特征对齐方法,将场景图特征从图像映射到句子模态。实验结果表明,我们提出的模型可以产生相当有前途的结果,而不使用任何图像字幕训练对,优于现有的方法,由一个很大的利润。
2019-08-17 cs.CV
Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network
Xiamen University(厦门大学);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院);Tencent Youtu Lab(腾讯云图实验室);Tsinghua University(清华大学)
基于变换器的体系结构在图像描述中取得了巨大的成功,其中对象区域被编码,然后被加入到矢量表示中以指导字幕解码。然而,这种矢量表示只包含区域级信息,而没有考虑反映整个图像的全局信息,这未能扩展图像描述中复杂多模态推理的能力。在本文中,我们引入了一个全球增强的Transformer(简称GET),使提取更全面的全球表示,然后自适应地引导解码器生成高质量的字幕。在GET中,设计了全局增强编码器用于全局特征的嵌入,设计了全局自适应解码器用于指导字幕的生成。前者模型内和层间的全局表示,利用所提出的全球增强注意力和逐层融合模块。后者包含一个全局自适应控制器,它可以自适应地将全局信息融合到解码器中,以指导字幕生成。在MS COCO数据集上的大量实验表明,我们的GET优于许多国家的艺术。
2020-12-13 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen(图宾根大学)
为了生成合适的视频字幕,推理需要识别相关概念,并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构,一个适合的Transformer用于单个联合时空视频分析,以及一个基于自注意力的解码器用于高级文本生成。此外,我们引入了一个自适应帧选择方案,以减少所需的传入帧的数量,同时保持相关的内容时,训练两个Transformers。此外,我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD,以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成(NLG)指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan(密歇根大学);Salesforce Research(Salesforce研究院)
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此,所有以前的密集视频描述的方法解决这个问题,通过建立两个模型,即事件建议和字幕模型,这两个子问题。这些模型可以单独训练,也可以交替训练。这防止了语言描述对事件提议的直接影响,这对于生成准确的描述是重要的。为了解决这个问题,我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码,以确保在训练期间提案和字幕之间的一致性。此外,我们的模型采用了自我注意力机制,这使得在编码过程中使用高效的非递归结构,并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性,我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Variational Stacked Local Attention Networks for Diverse Video Captioning
Independent University, Bangladesh(孟加拉国独立大学)
视频描述模型在用自然语言描述时空事件时,主要依赖于编码器的潜在视觉表示。编码器-解码器模型的最新进展主要涉及与解码器线性交互的编码器特征。然而,不断增长的模型复杂性的视觉数据鼓励更明确的功能交互的细粒度的信息,这是目前缺乏在视频描述域。此外,特征聚合方法已被用于通过连接或使用线性层来揭示更丰富的视觉表示。虽然视频的特征集在语义上有一定程度的重叠,但这些方法会导致客观不匹配和特征冗余。此外,字幕的多样性是从几个有意义的角度表达一个事件的基本组成部分,目前在时间上缺失,即,视频描述域。为此,我们提出了变分堆叠局部注意力网络(VSLAN),它利用低秩双线性池进行自关注特征交互,并以折扣方式堆叠多个视频特征流。每个特征堆栈的学习属性有助于我们提出的多样性编码模块,然后是解码查询阶段,以促进端到端的多样性和自然的字幕,而无需对属性进行任何显式监督。我们在MSVD和MSR-VTT数据集上评估VSLAN的语法和多样性。VSLAN的CIDER评分分别优于MSVD上的$7.8\%$和MSR-VTT上的$4.5\%$的当前现成方法。在相同的数据集上,VSLAN在字幕多样性指标上取得了有竞争力的结果。
2022-01-04 cs.CL cs.CV
From Deterministic to Generative: Multi-Modal Stochastic RNNs for Video Captioning
University of Electronic Science and Technology of China(电子科技大学);Chinese Academy of Sciences(中国科学院);Delft University of Technology(代尔夫特理工大学)
视频描述在本质上是一个复杂的自然过程,这是由各种不确定性所产生的视频内容,主观判断等,在本文中,我们建立在使用编码器-解码器的框架视频描述的最新进展,并解决我们发现是一个关键的不足,现有的方法,大多数的解码器传播确定性隐藏状态。这种复杂的不确定性不能有效地建模的确定性模型。在本文中,我们提出了一种生成方法,称为多模态随机RNN网络(MS-RNN),它使用潜在随机变量对数据中观察到的不确定性进行建模。因此,MS-RNN可以提高视频描述的性能,并且考虑不同的随机因素来生成多个句子来描述视频。具体来说,首先提出了一种多模态LSTM(M-LSTM)来与视觉和文本特征进行交互,以捕获高级表示。然后,提出了一种后向随机LSTM(S-LSTM),通过引入潜变量来支持不确定性传播。在具有挑战性的数据集MSVD和MSR-VTT上的实验结果表明,我们提出的MS-RNN方法优于最先进的视频描述基准。
2017-10-20 cs.CV
CaptionFool: Universal Image Captioning Model Attacks
Intuit
CaptionFool通过修改少量图像块,成功生成任意目标描述,揭示了视觉-语言模型的安全漏洞。
2026-02-28 cs.AI cs.CV
Image Captioning with Context-Aware Auxiliary Guidance
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);University of Science and Technology of China(中国科学技术大学)
图像描述是一项具有挑战性的计算机视觉任务,其目的是生成图像的自然语言描述。最近的研究遵循编码器-解码器框架,该框架严重依赖于先前生成的用于当前预测的单词。这种方法不能有效地利用未来的预测信息来学习完整的语义。在本文中,我们提出了上下文感知辅助指导(CAAG)机制,可以指导字幕模型感知全局上下文。在字幕模型上,CAAG执行语义注意,选择性地集中在全局预测的有用信息,以再现当前生成。为了验证该方法的适应性,我们将CAAG应用于三种流行的字幕,我们的建议在具有挑战性的Microsoft COCO图像描述基准上实现了具有竞争力的性能,例如在Karpathy分裂上的132.2 CIDEr-D得分和在官方在线评估服务器上的130.7 CIDEr-D(c40)得分。
2021-01-04 cs.AI cs.CV
Less Is More: Picking Informative Frames for Video Captioning
University of Chinese Academy of Science(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海))
在视频描述任务中,最好的实践是通过基于注意力的模型将视频中的显著视觉成分与句子相关联。然而,现有的研究都是基于等间隔帧采样的帧级外观建模和运动建模,这可能会带来视觉信息冗余、对内容噪声敏感以及不必要的计算开销。我们提出了一个即插即用的PickNet来执行信息帧拾取在视频描述。基于一个标准的编码器-解码器框架,我们开发了一个基于学习的过程来顺序地训练网络,其中每个帧拾取动作的奖励是通过最大化视觉多样性和最小化文本差异来设计的。如果候选人得到奖励,它将被选择,并且编码器-解码器的相应潜在表示将被更新以供将来的试验。这个过程一直持续到视频序列结束。因此,可以选择紧凑的帧子集来表示视觉信息并执行视频描述而不会降低性能。实验结果表明,我们的模型可以使用6-8帧,以达到在流行的基准竞争力的性能。
2018-03-05 cs.CV
Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations
Monterrey Institute of Technology and Higher Education(墨西哥蒙特雷理工大学);University of Leeds(利兹大学)
本研究提出溃疡性结肠炎内镜图像病灶感知描述框架,融合多模态特征与临床元数据提示,提升描述质量与MES分类准确率,辅助内镜报告生成。
2025-09-03 cs.AI cs.CV
Neural Fashion Image Captioning : Accounting for Data Diversity
Ai4Innov;Masakhane NLP
图像描述的应用领域越来越广,时尚也不例外。拥有自动商品描述对于时尚网络平台来说非常有趣,有时候会托管数十万张图片。本文是第一个解决时尚图像的图像描述。为了解决数据集多样性问题,我们引入了InFashAIv1数据集,其中包含近16,000个非洲时尚商品图像及其标题,价格和一般描述。除了InFashAIv1之外,我们还使用了著名的DeepFashion数据集。字幕是使用由CNN编码器和RNN解码器组成的Show and Tell模型生成的。我们发现,在两个数据集上联合训练模型可以提高非洲风格时尚图像的字幕质量,这表明从西方风格数据中进行了迁移学习。InFashAIv1数据集在Github上发布,以鼓励更具多样性的作品。
2021-12-13 cs.AI cs.CV
A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning
Indian Institute of Technology Bombay(印度理工学院孟买分校);Technical University of Munich(慕尼黑工业大学)
我们使用深度强化学习的概念处理从光学遥感(RS)图像生成文本字幕的问题。由于描述遥感数据的参考句子中的高类间相似性,联合编码的句子和图像鼓励预测的字幕,在许多情况下,语义上比地面真相更精确。为此,我们引入了一种Actor Dual-Critic训练策略,其中以编码器-解码器RNN的形式部署了第二个评论家模型,以对与原始和生成的字幕对应的潜在信息进行编码。虽然所有的演员-评论家方法都使用演员来预测图像的句子和评论家来提供奖励,但我们提出的编码器-解码器RNN通过图像到图像的翻译来保证对图像的高水平理解。我们观察到,所提出的模型生成的句子的测试数据高度相似的地面真相,并成功地在许多关键情况下,生成更好的字幕。在基准遥感图像描述数据集(RSICD)和UCM字幕数据集上的大量实验证实了所提出的方法与以前的最先进的方法相比的优越性,在这种方法中,我们获得了ROUGE-L和CIDER措施的急剧增加的增益。
2020-10-05 cs.AI cs.CV
Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning
University of Electronic Science and Technology of China(电子科技大学);Beijing University of Posts and Telecommunications(北京邮电大学)
在使用基于注意力的编码器-解码器框架用于视频描述方面已经取得了最近的进展。然而,大多数现有的解码器将注意力机制应用于包括两个视觉词(例如,“枪”和“射击”)和非视觉词(例如“the”,“a”)。然而,这些非视觉词语可以使用自然语言模型轻松预测,而无需考虑视觉信号或注意力。将注意力机制强加于非视觉文字会误导和降低视频描述的整体性能。为了解决这个问题,我们提出了一种用于视频描述的具有调整时间注意力的分层LSTM(hLSTMat)方法。具体地说,该框架利用时间注意力来选择特定的帧来预测相关词,而调整后的时间注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外,分层LSTM被设计为同时考虑低级视觉信息和高级语言上下文信息以支持视频字幕生成。为了证明我们提出的框架的有效性,我们测试了我们的方法在两个流行的数据集:MSVD和MSR-VTT,实验结果表明,我们的方法优于国家的最先进的方法在这两个数据集。
2017-06-05 cs.CV
I-Tuning: Tuning Frozen Language Models with Image for Lightweight Image Captioning
Hong Kong Baptist University(香港浸会大学);Zhejiang University(浙江大学);NetEase Inc.(网易公司)
图像描述是一种传统的视觉和语言任务,旨在生成图像的语言描述。最近的研究集中在按比例增加模型的大小和训练数据的数量,这显著增加了模型训练的成本。与这些高成本模型不同,我们引入了一个轻量级的图像描述框架(I-Tuning),其中包含少量的可训练参数。我们设计了一个新的I-Tuning交叉注意模块来连接不可训练的预训练语言解码器GPT 2和视觉编码器CLIP-ViT。由于大多数参数在训练过程中不需要更新,因此我们的框架是轻量级和快速的。在三个图像描述基准上进行的实验结果表明,我们的框架实现了与大规模基线系统相当或更好的性能。但是,与最先进的基线相比,我们的模型包含的可训练参数少了10倍,需要的训练数据也少得多。
2023-03-13 cs.CL cs.CV
Masked Non-Autoregressive Image Captioning
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Nanjing University(南京大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);City University of Hong Kong(香港城市大学)
现有的字幕模型通常采用编码器-解码器架构,其中解码器使用自回归解码来生成字幕,使得在给定先前生成的令牌的情况下顺序地生成每个令牌。然而,自回归解码导致诸如顺序错误累积、生成缓慢、语义不正确和缺乏多样性等问题。非自回归解码已经被提出来解决神经机器翻译的缓慢生成,但是由于目标分布的间接建模而遭受多模态问题。在本文中,我们提出了一种屏蔽的非自回归解码来解决自回归解码和非自回归解码的问题。在掩蔽非自回归解码中,我们在训练过程中对输入序列的几种比率进行掩蔽,在推理过程中以合成的方式从完全掩蔽序列到完全非掩蔽序列分几个阶段生成字幕。实验表明,我们提出的模型可以更有效地保留语义内容,并可以生成更多样化的字幕。
2019-06-03 cs.CV