Guidance Module Network for Video Captioning
视频描述是一个具有挑战性和重要性的任务，它用单个句子描述视频剪辑的内容。视频描述的模型通常是编码器-解码器。我们发现，提取的视频特征的归一化可以提高视频描述的最终性能。编码器-解码器模型通常使用教师强制策略进行训练，使每个单词的预测概率接近0-1分布，并忽略其他单词。在本文中，我们提出了一种新的架构，它引入了一个指导模块，鼓励编码器-解码器模型生成相关的过去和未来的话在一个字幕的话。在规范化和引导模块的基础上，构建了引导模块网络（GMNet）。在常用数据集MSVD上的实验结果表明，GMNet能够提高编码器-解码器模型在视频描述任务上的性能.
2020-12-20 cs.CV
HorNet: A Hierarchical Offshoot Recurrent Network for Improving Person Re-ID via Image Captioning
Nanjing Institute of Advanced Artificial Intelligence（南京高等人工智能研究院）；Horizon Robotics（地平线机器人）
人物重新识别（re-ID）旨在识别不同相机中具有显著外观差异的感兴趣人物。现有的研究工作集中在视觉表示的能力和鲁棒性。在本文中，相反，我们提出了一种新的分层分支递归网络（HorNet），用于通过图像描述提高人的重新识别。图像标题比视觉属性在语义上更丰富、更一致，这可以显着减轻差异。我们使用相似性保持生成对抗网络（SPGAN）和图像字幕机来实现域转移和语言描述生成。然后，所提出的HorNet可以从图像和标题中联合学习视觉和语言表示，从而提高人的re-ID的性能。在有或没有图像标题的几个基准数据集上进行了大量的实验，即，CUHK 03、Market-1501和Duke-MTMC的仿真结果表明了该方法的优越性。我们的方法可以生成和提取有意义的图像字幕，同时实现最先进的性能。
2019-08-14 cs.CV
Finding It at Another Side: A Viewpoint-Adapted Matching Encoder for Change Captioning
Nanyang Technological University（南洋理工大学）；Adobe Research（Adobe研究院）；Monash University（蒙纳士大学）
改变字幕是一项旨在用自然语言描述图像之间差异的任务。大多数现有的方法把这个问题作为一个差异判断，而不存在干扰，如观点的变化。然而，在实践中，视点变化经常发生，并且可以压倒要描述的语义差异。在本文中，我们提出了一种新的视觉编码器，明确区分视点变化的语义变化中的变化字幕任务。此外，我们进一步模拟人类的注意力偏好，并提出了一种新的强化学习过程来微调的注意力直接与语言评价奖励。大量的实验结果表明，我们的方法优于国家的最先进的方法在两个斑点的差异和CLEVR-Change数据集的大幅度。
2020-09-30 cs.CV
RATT: Recurrent Attention to Transient Tasks for Continual Image Captioning
University of Florence（佛罗伦萨大学）；Universitat Autónoma de Barcelona（巴塞罗那自治大学）
对持续学习的研究导致了各种方法来减轻前馈分类网络中的灾难性遗忘。令人惊讶的是，到目前为止，很少有人关注应用于图像描述等问题的递归模型的持续学习。在本文中，我们系统地研究了基于LSTM的图像描述模型的持续学习。我们提出了一种基于注意力的方法，明确地适应在连续的图像描述任务词汇的瞬态性质-即任务词汇不相交。我们称我们的方法经常注意瞬态任务（RATT），并展示了如何适应持续学习方法的基础上，重量egularization和知识蒸馏经常性的持续学习的问题。我们将我们的方法应用于增量图像描述问题，我们使用MS-COCO和Flickr 30数据集定义的两个新的持续学习基准。我们的研究结果表明，RATT能够顺序学习五个字幕任务，同时不会忘记以前学过的。
2020-10-29 cs.CV cs.LG
Improved Bengali Image Captioning via deep convolutional neural network based encoder-decoder model
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）
图像描述是一项艰巨的任务，它要用自然语言和与图像相关的上下文来生成图像的语法和语义上正确的文本描述。孟加拉语图像描述（BIC）中现有的值得注意的研究是基于编码器-解码器架构的。本文提出了一种端到端的图像描述系统，利用多模态架构，通过结合一维卷积神经网络（CNN）编码序列信息与预训练的ResNet-50模型图像编码器提取基于区域的视觉特征。我们使用现有的评估指标研究了我们的方法在BanglaLekhaImageCaptions数据集上的性能，并进行了定性分析的人工评估。实验表明，该方法的语言编码器能够捕捉到字幕中的细粒度信息，并结合图像特征，生成准确多样的字幕。我们的工作优于所有现有的BIC作品，并实现了一个新的最先进的（SOTA）的性能得分为0.651上的蓝色-1，0.572上的CIDER，0.297上的METEOR，0.434上的ROUGE，和0.357上的SPICE。
2021-02-14 cs.CV
Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
视频描述是计算机视觉和人工智能领域中的一项基本而又具有挑战性的任务。流行的方法是通过递归神经网络（RNN）以序列到序列的方式将输入视频映射到可变长度的输出句子。然而，RNN的训练仍然在一定程度上受到消失/爆炸梯度问题的影响，使得优化变得困难。此外，RNN中固有的递归依赖性阻止了训练期间序列内的并行化，因此限制了计算。在本文中，我们提出了一种新的设计-时间可变形卷积编码器-解码器网络（简称TDConvED），充分利用卷积的编码器和解码器网络的视频描述。从技术上讲，我们利用卷积块结构来计算固定数量输入的中间状态，并堆叠几个块来捕获长期关系。编码器中的结构还配备有时间可变形卷积，以实现时间采样的自由形式变形。我们的模型还利用时间注意力机制的句子生成。在MSVD和MSR-VTT视频描述数据集上进行了大量的实验，与传统的基于RNN的编码器-解码器技术相比，报告了更好的结果。更值得注意的是，TDConvED将MSVD的CIDEr-D性能从58.8%提高到67.2%。
2019-05-03 cs.CV
Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong（香港城市大学）；Fuzhou University（福州大学）
自动评估图像字幕的质量可能是非常具有挑战性的，因为人类语言是非常灵活的，可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发，我们提出了一种基于学习的图像描述度量，我们称之为内在图像描述评价（$I^2CE$）。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型，双分支模型和三分支模型。我们的实证测试表明，$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断，当代图像描述评价指标。此外，我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明，我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上，建议的度量可以作为一个新的指标的内在信息之间的字幕，这可能是补充现有的。
2021-06-29 cs.CV
New Encoder Learning for Captioning Heavy Rain Images via Semantic Visual Feature Matching
Kunsan National University（群山大学）
针对暴雨图像描述中视觉特征退化问题，提出一种基于初始重建子网络和语义视觉特征匹配子网络联合学习的新型编码器，将退化特征转换为语义视觉特征，从而提升描述准确性。
2021-09-15 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
递归神经网络在视频描述中的应用最近得到了广泛的关注，因为它们既可以用于对输入视频进行编码，也可以用于生成相应的描述。在本文中，我们提出了一个经常性的视频编码方案，可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同，在这种方法中，视频由递归层连续编码，我们提出了一种新的LSTM单元，它可以识别帧或片段之间的不连续点，并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集：蒙特利尔视频注释数据集，MPII电影描述数据集和微软视频描述语料库。实验表明，我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.（InnoPeak科技公司）；Stony Brook University（石溪大学）
图像描述通过使用场景图来表示图像中对象的关系，能够实现更好的性能。目前的字幕编码器通常使用图卷积网络（GCN）来表示关系信息，并通过级联或卷积将其与对象区域特征合并，以获得用于句子解码的最终输入。然而，由于两个原因，现有方法中基于GCN的编码器对于字幕效果较差。首先，使用图像描述作为目标（即，最大似然估计）而不是以关系为中心的损失不能充分发掘编码器的潜力。其次，使用预先训练的模型而不是编码器本身来提取关系是不灵活的，并且不能有助于模型的可解释性。为了提高图像描述的质量，我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征，并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型，将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕，而且可以提取强关系的图像特征，还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明，我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
Compressed Image Captioning using CNN-based Encoder-Decoder Framework
University of Alberta（阿尔伯塔大学）
本研究提出结合CNN与编码器-解码器模型的自动图像描述生成架构，通过实验预训练模型并引入频率正则化技术压缩AlexNet和EfficientNetB0，在保持描述生成有效性的同时提升资源效率。
2024-04-28 cs.CV
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
使用基于编码器-解码器的方法的图像描述，其中CNN用作编码器，并且序列生成器如RNN用作解码器，已被证明是非常有效的。然而，这种方法有一个缺点，那就是序列需要按顺序处理。为了克服这个缺点，一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而，没有一个使用Transformer模型生成孟加拉语字幕。因此，我们利用三个不同的孟加拉语数据集，使用Transformer模型从图像中生成孟加拉语字幕。此外，我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后，我们比较了基于transformer的模型的结果与其他模型，采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
Reconstruction Network for Video Captioning
Tencent AI Lab（腾讯人工智能实验室）；School of Control Science Engineering Shandong University（山东大学控制科学与工程学院）
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索，使语言描述，我们提出了一种重建网络（RecNet）与一种新的编码器-解码器-重建器架构，它利用了前向（视频到句子）和后向（句子到视频）流的视频描述。具体地，编码器-解码器利用前向流来基于编码的视频语义特征产生句子描述。两种类型的重建器被定制为采用反向流，并根据解码器生成的隐藏状态序列再现视频特征。由编码器-解码器产生的生成损失和由重建器引入的重建损失以端到端的方式共同被引入到训练所提出的RecNet中。在基准数据集上的实验结果表明，所提出的重建器可以提高编码器-解码器模型，并导致视频字幕准确性的显着增益。
2018-03-30 cs.CV
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University（南洋理工大学）
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长，视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码，缺乏有效的方法去除不相关的时间信息，同时也忽略了空间细节。然而，目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响，特别是不相关的时间信息是在编码的开始。另外，忽略空间信息会导致词语之间的关系混乱和细节损失。因此，在本文中，我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码，以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息，丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
图像描述最近得到了很多关注，这要归功于深度字幕架构所取得的令人印象深刻的成就，深度字幕架构结合了卷积神经网络来提取图像表示，并结合了递归神经网络来生成相应的字幕。与此同时，一个重要的研究工作一直致力于显着性预测模型的发展，它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构，研究仍然在努力将这两种技术结合起来。在这项工作中，我们提出了一个图像描述的方法，其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题，通过利用由显着性预测模型上的图像的部分是显着的，哪些是上下文的条件。我们表明，通过对大规模数据集进行广泛的定量和定性实验，我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Encoder-Decoder Based Long Short-Term Memory (LSTM) Model for Video Captioning
Virginia Tech（弗吉尼亚理工大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；Austin Peay State University（奥斯汀皮伊州立大学）
本研究提出一种基于编码器-解码器LSTM的视频字幕生成模型，通过将视频帧时间序列映射为单词序列生成字幕，并使用2-gram BLEU分数评估其正确性与泛化能力。
2023-10-02 cs.CV
Learning to Guide Decoding for Image Captioning
Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）
近来，在图像描述中已经取得了很大的进步，并且编码器-解码器框架已经实现了用于该任务的出色性能。在本文中，我们提出了一个扩展的编码器-解码器框架，通过添加一个组件称为指导网络。引导网络对输入图像的属性特性进行建模，并利用其输出在每个时间步组成解码器的输入。引导网络可以插入到当前的编码器-解码器框架中，并以端到端的方式进行训练。因此，引导向量可以根据来自解码器的信号自适应地学习，使其本身嵌入来自图像和语言的信息。此外，可以采用区别性监督，以进一步提高指导质量。在MS COCO数据集上进行的实验验证了我们所提出的方法的优点。
2018-04-03 cs.CV
Image Captioning as Neural Machine Translation Task in SOCKEYE
Amazon Research（亚马逊研究院）
图像描述是介于计算机视觉和自然语言处理之间的一个交叉学科。任务是生成图像内容的文本描述。用于图像描述的典型模型是编码器-解码器深度网络，其中编码器捕获图像的本质，而解码器负责生成描述图像的句子。注意力机制可以用于自动地将解码器聚焦在与预测下一个单词相关的图像部分上。在本文中，我们探讨了神经机器翻译中流行的不同解码器和注意力模型，即注意力递归神经网络，自注意力Transformers和全卷积网络，它们代表了神经机器翻译的当前技术水平。图像描述模块作为SOCKEYE的一部分在https://github.com/awslabs/sockeye上提供，其教程可以在https://awslabs.github.io/sockeye/image_captioning.html上找到。
2018-10-15 cs.CV
Reconstruct and Represent Video Contents for Captioning via Reinforcement Learning
Shandong University（山东大学）；Tencent AI Lab（腾讯人工智能实验室）
本文研究了用自然语言描述视频序列的视觉内容的问题。不同于以往的视频描述工作主要利用视频内容的线索，使语言描述，我们提出了一种新的编码器-解码器-重建器架构的重建网络（RecNet），它利用正向（视频到句子）和反向（句子到视频）流的视频描述。具体地，编码器-解码器组件利用前向流来基于编码的视频语义特征产生句子描述。随后提出了两种类型的重构器，分别从局部和全局的角度，利用解码器生成的隐藏状态序列，采用反向流和再现视频特征。此外，为了使一个全面的视频特征的重建，我们建议将这两种类型的重建器融合在一起。编码器-解码器组件产生的生成损失和重建器引入的重建损失以端到端的方式共同投入到训练所提出的RecNet中。此外，RecNet通过强化学习由CIDER优化进行微调，这显著提高了字幕性能。在基准数据集上的实验结果表明，该重构器可以持续提高视频描述的性能。
2019-06-03 cs.CV
Image to Language Understanding: Captioning approach
Columbia University（哥伦比亚大学）
在计算机科学的发展中，从视觉表示中提取上下文是至关重要的。用自然语言表示这样的格式具有各种各样的应用，例如帮助视力受损者等。这样的方法是计算机视觉和自然语言技术的组合，这是一个很难解决的问题。这个项目的目的是比较不同的方法来解决图像描述的问题。具体而言，重点是比较两种不同类型的模型：编码器-解码器方法和多模型方法。在编码器-解码器方法中，将注入和合并架构与主要基于目标检测的多模态图像描述方法进行比较。这些方法是基于最先进的句子比较指标进行比较的，例如BLEU，GLEU，Meteor和Rouge，这些指标是在包含100 k图像的Google Conceptual captions数据集的子集上进行的。在此比较的基础上，我们观察到最好的模型是Inception注入编码器模型。这一最佳方法已作为一个基于网络的系统部署。在上传图像时，这样的系统将输出与图像相关联的最佳标题。
2020-02-21 cs.CV
CPTR: Full Transformer Network for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们认为图像描述任务从一个新的序列到序列的预测的角度来看，并提出了CPTR（CPTR），它需要序列化的原始图像作为输入到Transformer。与“CNN+Transformer”设计范式相比，我们的模型可以从一开始就在每个编码器层对全局上下文进行建模，并且完全无卷积。大量的实验证明了所提出的模型的有效性，我们超越了传统的“CNN+Transformer”的方法在MSCOCO数据集。此外，我们提供了详细的可视化的自我注意之间的补丁在编码器和“字到补丁”的注意在解码器感谢完整的Transformer架构。
2021-01-28 cs.CV
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
End-to-End Transformer Based Model for Image Captioning
University of Chinese Academy of Sciences（中国科学院大学）
基于CNN-LSTM的架构在图像描述中发挥了重要作用，但受限于训练效率和表达能力，研究者开始探索基于CNN-Transformer的模型并取得了巨大成功。与此同时，几乎所有最近的工作都采用Faster R-CNN作为骨干编码器，从给定图像中提取区域级特征。然而，Faster R-CNN需要在额外的数据集上进行预训练，这将图像描述任务分为两个阶段，并限制了其潜在的应用。本文构建了一个纯基于Transformer的模型，将图像描述集成到一个阶段并实现端到端训练。首先，采用SwinTransformer代替Faster R-CNN作为骨干编码器，从给定图像中提取网格级特征;然后，参考Transformer，构建细化编码器和解码器。细化编码器通过捕获网格特征之间的内部关系来细化网格特征，解码器将细化的特征逐词解码为字幕。此外，为了增加多模态（视觉和语言）特征之间的交互，增强建模能力，计算网格特征的均值池作为全局特征，将其引入细化编码器中与网格特征一起进行细化，并在解码器中加入细化后的全局特征与生成词的预融合过程。为了验证我们提出的模型的有效性，我们进行了实验MSCOCO数据集。与现有的已发表作品相比，实验结果表明，我们的模型在“Karpathy”离线测试分割上实现了138.2%（单个模型）和141.0%（4个模型的集成）的CIDEr分数，在官方在线测试服务器上实现了136.0%（c5）和1…
2022-03-29 cs.CV
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)（德黑兰理工大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Department of Computer Engineering（计算机工程系）
随着视觉和自然语言处理技术的发展，图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型，通过分离语义和风格来生成风格化的字幕。在继续这项工作中，这里开发了一个新的字幕模型，包括一个图像编码器来提取特征，一个混合的递归网络来嵌入一组提取的特征到一组单词中，以及一个句子生成器，它将所获得的单词组合为一个风格化的句子。由此产生的系统，称为递归专家混合（MoRE），使用一种新的训练算法，从递归神经网络（RNN）的加权矩阵导出奇异值分解（SVD），以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库，没有配对的图像，我们的字幕模型也可以做到这一点。此外，风格化和多样化的字幕提取，而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型，我们使用Microsoft COCO，这是一个标准的事实图像字幕数据集。我们表明，建议的字幕模型可以生成一个多样化的和风格化的图像字幕，而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能中最具挑战性的任务之一，其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而，这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中，我们探索显式和隐式的视觉关系，以丰富区域级表示的图像描述。具体地说，我们在对象对上构建语义图，并利用门控图卷积网络（Gated GCN）选择性地聚合局部邻居的信息。隐含地，我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers（区域BERT）没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性，我们进行了广泛的实验在Microsoft COCO基准，并取得显着的改善相比，强大的基线。
2021-05-06 cs.CV
Image Captioning with Sparse Recurrent Neural Network
University of Malaya（马来亚大学）
循环神经网络（RNN）已被广泛用于解决各种各样的语言生成问题，并能够达到最先进的（SOTA）性能。然而，尽管其结果令人印象深刻，但RNN模型中的大量参数使得部署到移动和嵌入式设备不可行。在这个问题的驱动下，许多研究者提出了一些剪枝方法来减小RNN模型的规模。在这项工作中，我们提出了一个端到端的修剪方法的图像描述模型配备了视觉注意。我们提出的方法能够实现高达97.5%的稀疏度，相对于基线没有显著的性能损失（微调后在40倍压缩时损失约2%）。我们的方法也易于使用和调整，有利于神经网络从业者更快的开发时间。我们在流行的MS-COCO数据集上进行了广泛的实验，以实证验证我们所提出的方法的有效性。
2019-10-28 cs.CL cs.CV cs.LG
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad（达尔瓦德印度理工学院）；UltraInstinct AI
视频描述是一个流行的任务，挑战模型使用自然语言描述视频中的事件。在这项工作中，我们调查的能力，各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器（WAFTM），字幕模型，将内存中的Transformer编码器，并使用一种新的方法，融合功能，确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后，我们在两个数据集上对我们的模型进行了基准测试，并在MSVD上获得了92.4的CIDER，在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
A Lightweight Sparse Focus Transformer for Remote Sensing Image Change Captioning
本文提出一种轻量级Sparse Focus Transformer（SFT），通过引入稀疏聚焦注意力机制，在保持性能的同时大幅降低Transformer编码器的参数量和计算复杂度，用于遥感图像变化描述任务。
2024-10-11 cs.CV
Retrieval-augmented Image Captioning
INESC-ID；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
受检索增强的语言生成和预训练的视觉和语言（V&L）编码器的启发，我们提出了一种新的方法来图像描述，生成句子给定的输入图像和一组字幕检索从一个图像，而不是单独的图像。我们模型中的编码器使用预训练的V&L BERT联合处理图像和检索到的字幕，而解码器则关注多模态编码器表示，受益于检索到的字幕中的额外文本证据。COCO数据集上的实验结果表明，图像描述可以有效地制定从这个新的角度。我们的模型名为EXTRA，受益于使用从训练数据集中检索的标题，并且它还可以受益于使用外部数据集而无需重新训练。消融研究表明，检索足够数量的字幕（例如，k=5）可以提高字幕质量。我们的工作有助于使用预训练的V&L编码器进行生成任务，而不是标准的分类任务。
2023-02-16 cs.CL cs.CV
Image Captioning In the Transformer Age
Southeast University（东南大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
图像描述（IC）通过将各种技术结合到CNN-RNN编码器-解码器架构中而取得了惊人的发展。然而，由于CNN和RNN不共享基本网络组件，因此这种异构流水线难以端到端地训练，其中视觉编码器将不会从字幕监督中学习任何东西。这一缺陷激发了研究人员开发一种促进端到端训练的同构架构，其中Transformer是完美的架构，它已被证明在视觉和语言领域具有巨大潜力，因此可以用作IC流水线中视觉编码器和语言解码器的基本组件。同时，自监督学习释放了Transformer架构的力量，预先训练的大规模学习可以推广到包括IC在内的各种任务。这些大规模模型的成功似乎削弱了单一IC任务的重要性。然而，我们通过分析IC与一些流行的自监督学习范式之间的联系，证明IC在这个时代仍然有其特定的意义。由于篇幅限制，我们在这个简短的调查中只提到非常重要的论文，更多相关的作品可以在https://github.com/SjokerLily/awesome-image-captioning上找到。
2022-04-15 cs.CV
Image Captioning: Transforming Objects into Words
Yahoo Research（雅虎研究院）
图像描述模型通常遵循编码器-解码器架构，其使用抽象图像特征向量作为编码器的输入。最成功的算法之一是使用从对象检测器获得的区域建议中提取的特征向量。在这项工作中，我们介绍了对象关系Transformer，建立在这种方法的基础上，明确地将通过几何注意输入检测对象之间的空间关系的信息。定量和定性的结果表明，这种几何注意图像描述的重要性，导致所有常见的字幕度量的MS-COCO数据集上的改进。
2020-01-11 cs.CL cs.CV
Shot2Tactic-Caption: Multi-Scale Captioning of Badminton Videos for Tactical Understanding
Nagoya Institute of Technology（名古屋技术大学）；Nagoya University（名古屋大学）
本文提出Shot2Tactic-Caption框架及首个羽毛球描述数据集，通过双分支结构和逐击球提示引导机制，实现击球级与战术级多尺度视频描述，有效捕捉中断后恢复的战术执行。
2025-10-16 cs.CV
Auto-Encoding Scene Graphs for Image Captioning
Nanyang Technological University（南洋理工大学）
我们提出了场景图自动编码器（SGAE），将语言归纳偏见的编码器-解码器的图像描述框架更人性化的字幕。人类在语篇中的搭配和语境推理往往是通过归纳偏见来实现的。例如，当我们看到关系“person on bike”时，很自然地用“ride”代替“on”，并推断“person riding bike on a road”，即使“road”并不明显。因此，利用这种偏差作为语言先验，预计将有助于传统的编码器-解码器模型不太可能过拟合数据集偏差，并专注于推理。具体来说，我们使用场景图-一个有向图（$\mathcal{G}$），其中对象节点由形容词节点和关系节点连接-来表示图像（$\mathcal{I}$）和句子（$\mathcal{S}$）的复杂结构布局。在文本域中，我们使用SGAE来学习有助于在$\mathcal{S}\rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$管道中重建句子的字典（$\mathcal{D}$），其中$\mathcal{D}$对所需语言进行编码;在视觉语言域中，我们使用共享的$\mathcal{D}$来指导$\mathcal{I}\rightarrow \mathcal{G}\rightarrow \mathcal{D} \rightarrow \mathcal{S}$管道中的编…
2018-12-11 cs.CV
Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers
UC San Diego（加州大学圣地亚哥分校）
近年来，由于序列建模的进步，随着长短期记忆网络（LSTM）的复兴和门控递归单元（GRU）的引入，视频描述和摘要变得非常流行。现有的架构使用CNN提取时空特征，并利用GRU或LSTM对软注意力层的依赖关系进行建模。这些注意力层确实有助于关注最突出的特征并改进经常性单元，然而，这些模型受到经常性单元本身固有的缺陷的影响。Transformer模型的引入将序列建模领域推向了一个新的方向。在这个项目中，我们实现了一个基于transformer的视频描述模型，利用3D CNN架构，如C3D和双流I3D视频提取。我们还应用了某些降维技术，以保持模型的整体大小在一定范围内。最后，我们提出了我们的结果MSVD和ActivityNet数据集的单一和密集的视频描述任务分别。
2019-06-06 cs.CV
An Empirical Study of Language CNN for Image Captioning
Nanyang Technological University（南洋理工大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
基于递归神经网络的语言模型已经主导了最近的图像字幕生成任务。在本文中，我们介绍了一种语言CNN模型，它适用于统计语言建模任务，并在图像描述中显示出有竞争力的性能。与之前基于前一个单词和隐藏状态预测下一个单词的模型相比，我们的语言CNN提供了所有之前的单词，并且可以对历史单词的长期依赖性进行建模，这对于图像描述至关重要。在MS COCO和Flickr30K两个数据集上验证了该方法的有效性。我们广泛的实验结果表明，我们的方法优于香草递归神经网络为基础的语言模型，是具有竞争力的国家的最先进的方法。
2017-08-02 cs.CV cs.LG
Image Captioners Are Scalable Vision Learners Too
Google DeepMind（谷歌DeepMind）
本文公平比较图像描述与对比预训练，发现仅用描述训练视觉编码器在分类上相当、在视觉语言任务上更优，且扩展性更好。
2023-12-21 cs.CV
Exploring the sequence length bottleneck in the Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
最新的最先进的架构依赖于三种方法的组合和变化：卷积，循环和自我关注的方法。我们的工作试图奠定一个新的研究方向的基础上修改的序列长度的想法的基础上的序列建模。为了做到这一点，我们提出了一种新的方法称为“扩展机制”，它可以动态或静态地将输入序列转换为具有不同序列长度的新序列。此外，我们介绍了一种新的架构，利用这种方法，并实现了竞争力的表现在MS-COCO 2014数据集上，产生134.6和131.4 CIDEr-D的Karpathy测试分裂在合奏和单一模型配置分别和130 CIDEr-D在官方在线评估服务器，尽管既不是经常性的，也不是完全注意。与此同时，我们在设计中解决了效率方面的问题，并引入了一种方便的训练策略，与标准的训练策略相比，该策略适用于大多数计算资源。源代码可在https://github.com/jchenghu/exploring上获得
2022-12-24 cs.CV
Less Is More: Picking Informative Frames for Video Captioning
University of Chinese Academy of Science（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））
在视频描述任务中，最好的实践是通过基于注意力的模型将视频中的显著视觉成分与句子相关联。然而，现有的研究都是基于等间隔帧采样的帧级外观建模和运动建模，这可能会带来视觉信息冗余、对内容噪声敏感以及不必要的计算开销。我们提出了一个即插即用的PickNet来执行信息帧拾取在视频描述。基于一个标准的编码器-解码器框架，我们开发了一个基于学习的过程来顺序地训练网络，其中每个帧拾取动作的奖励是通过最大化视觉多样性和最小化文本差异来设计的。如果候选人得到奖励，它将被选择，并且编码器-解码器的相应潜在表示将被更新以供将来的试验。这个过程一直持续到视频序列结束。因此，可以选择紧凑的帧子集来表示视觉信息并执行视频描述而不会降低性能。实验结果表明，我们的模型可以使用6-8帧，以达到在流行的基准竞争力的性能。
2018-03-05 cs.CV
Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing
University of Technology, Sydney（悉尼大学）
提出Custom ZeroCLIP框架，利用检索增强的视觉-语言模型，在零样本设置下为印度尼西亚传统服装生成描述，在8个未见省份上取得优于基线的性能。
2026-06-12 cs.CV
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能领域的一项具有挑战性的研究课题，在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展，包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后，我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
MsEdF: A Multi-stream Encoder-decoder Framework for Remote Sensing Image Captioning
本文提出MsEdF框架，通过优化编码器-解码器的空域表示和语言生成，提升遥感图像描述的准确性，实验表明其在三个基准数据集上优于现有方法。
2025-10-28 cs.CV cs.HC cs.LG
Attention Beam: An Image Captioning Approach
图像描述的目的是生成给定图像的文本描述。虽然对人类来说似乎是一项简单的任务，但对机器来说却是一项挑战，因为它需要理解图像（计算机视觉）的能力，从而为图像生成类似人类的描述（自然语言理解）。近来，基于编码器-解码器的体系结构已经实现了用于图像描述的最先进的结果。在这里，我们提出了一个启发式的束搜索的编码器-解码器为基础的架构，提供更好的质量字幕上的三个基准数据集：Flickr 8 k，Flickr 30 k和MS COCO。
2020-11-11 cs.CV cs.LG
Characterizing the impact of using features extracted from pre-trained models on the quality of video captioning sequence-to-sequence models
Zewail City For Science And Technology（泽维尔科学技术城）
视频描述的任务，即自动生成描述视频中的一系列动作的句子，近来已经吸引了越来越多的关注。视频数据的复杂和高维表示使得典型的编码器-解码器架构难以识别相关特征并以适当的格式对其进行编码。视频数据包含不同的模态，可以使用混合图像，场景，动作和音频特征进行识别。在本文中，我们描述了影响视频描述的不同特征，并探讨了这些特征之间的相互作用以及它们如何影响视频表示的最终质量。建立在现有的编码器-解码器模型，利用有限的视频信息的范围内，我们的比较表明，包括多模态视频功能可以显着提高生成的语句的质量的影响。这项工作是特别感兴趣的科学家和从业者谁是使用序列到序列模型生成视频字幕。
2019-11-22 cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Texture Synthesis with Recurrent Variational Auto-Encoder
我们提出了一种用于纹理合成的递归变分自动编码器。一种新的损失函数，FLTBNK，用于训练的纹理合成器。它是旋转和部分颜色不变的损失函数。与L2损失不同，FLTBNK明确地对像素之间的颜色强度的相关性进行建模。我们的纹理合成器生成相邻的瓦片来扩展样本纹理，并使用可描述纹理数据集（DTD）中的各种纹理模式进行评估。我们进行定量和定性实验与各种损失函数，以评估我们提出的损失函数（FLTBNK）的性能-一个小型的人类主题研究用于定性评价。
2017-12-23 cs.CV
Boosting Image Captioning with Attributes
Microsoft Research Asia（微软亚洲研究院）
用自然语言自动描述图像一直是计算机视觉和自然语言处理领域的一个新兴挑战。在本文中，我们提出了长短期记忆与属性（LSTM-A）-一种新的架构，将属性集成到成功的卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架中，通过端到端的方式训练它们。为了整合属性，我们通过以不同的方式将图像表示和属性输入RNN来构建架构的变体，以探索它们之间的相互但模糊的关系。在COCO图像描述数据集上进行了大量的实验，与最先进的深度模型相比，我们的框架取得了优异的结果。最值得注意的是，在通过GoogleNet提取图像表示时，我们在广泛使用和公开可用的分割测试数据（Karpathy & Fei-Fei，2015）中获得了25.2%/98.6%的METEOR/CIDER-D，并在COCO字幕排行榜上获得了迄今为止的顶级性能。
2016-11-05 cs.CV
A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning
针对遥感图像描述模型计算成本高且忽视边缘等细粒度结构的问题，本文提出结合 GPT-2 蒸馏解码器、知识蒸馏与边缘感知增强的轻量级 Transformer，显著提升描述质量。
2025-06-11 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT（麻省理工学院）；IBM Research（IBM研究院）；JD AI Research（京东人工智能研究院）；UC Davis（加州大学戴维斯分校）
视觉语言基础在现代神经图像描述系统中被广泛研究，其通常采用由两个主要组件组成的编码器-解码器框架：用于图像特征提取的卷积神经网络（CNN）和用于语言字幕生成的递归神经网络（RNN）。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性，我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法，检查神经图像描述系统是否会被误导，输出一些随机选择的标题或关键字。我们广泛的实验表明，我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例，并且对抗性示例可以高度转移到其他图像描述系统。因此，我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model
Instituto Superior Técnico（里斯本大学理工学院）；INESC-ID；Instituto de Telecomunicações（电信机构）
本文提出了一种无参考图像描述评估方法BEiTScore，通过高效的交叉编码器模型解决传统评估方法在计算成本和敏感性方面的不足，提出了一种新的评估指标，并在多种场景下验证了其优越的性能。
2026-05-20 cs.CL cs.CV cs.LG
Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)
University of California, Los Angeles（加州大学洛杉矶分校）；Baidu Research（百度研究院）
在本文中，我们提出了一个多模态递归神经网络（m-RNN）模型生成新的图像字幕。它直接对给定先前单词和图像的生成单词的概率分布进行建模。图像标题通过从该分布中采样来生成。该模型由两个子网络组成：用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用，形成整个m-RNN模型。在四个基准数据集（IAPR TC-12、Flickr 8 K、Flickr 30 K和MS COCO）上验证了模型的有效性。我们的模型优于最先进的方法。此外，我们将m-RNN模型应用于检索图像或句子的检索任务，并与直接优化检索排名目标函数的最新方法相比，实现了显着的性能提升。本作品的项目页面是：www.stat.ucla.edu/~junhua.mao/m-RNN.html。
2015-06-11 cs.CL cs.CV cs.LG
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network
Pioneer Alpha；Mississippi State University（密西西比州立大学）
自动图像描述是一种无休止的努力，它用自然语言和上下文来创建图像的语法和验证文本描述的准确性。在现有的孟加拉语图像描述（BIC）研究中使用的编码器-解码器结构利用抽象图像特征向量作为编码器的输入。我们提出了一种新的基于transformer的架构，具有注意力机制和预训练的ResNet-101模型图像编码器，用于从图像中提取特征提取。实验表明，我们的技术中的语言解码器捕获标题中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成准确且多样化的标题。我们的方法优于所有现有的孟加拉语图像描述工作，并通过在BLEU-1上得分0.694，在BLEU-2上得分0.630，在BLEU-3上得分0.582，在METEOR上得分0.337来设定新的基准。
2021-10-24 cs.AI cs.CV
NITS-VC System for VATEX Video Captioning Challenge 2020
National Institute of Technology Silchar（西尔查国家理工学院）
视频描述是将视频的内容、事件和动作总结成简短的文本形式的过程，其可以在许多研究领域中有帮助，例如视频引导的机器翻译、视频情感分析以及为有需要的个人提供帮助。在本文中，VATEX-2020视频描述的挑战所使用的框架的系统描述。我们采用基于编码器-解码器的方法，其中视频的视觉特征使用3D卷积神经网络（C3 D）进行编码，并且在解码阶段使用两个长短期记忆（LSTM）递归网络，其中视觉特征和输入字幕被单独融合，并且通过在两个LSTM的输出之间执行元素乘积来生成最终输出。我们的模型能够在公共和私人测试数据集中分别获得0.20和0.22的BLEU分数。
2020-09-25 cs.CV
Learning to Collocate Neural Modules for Image Captioning
Nanyang Technological University（南洋理工大学）
我们不会一个字一个字地从头开始说话;我们的大脑会很快构建一个像\textsc{sth do sth at someplace}这样的模式，然后填写详细的描述。为了使现有的编码器-解码器图像字幕，如人类一样的推理，我们提出了一个新的框架：学习搭配神经模块（CNM），以生成连接视觉编码器和语言解码器的“内部模式”。与视觉问答中广泛使用的神经模块网络不同，语言（即问题）是完全可观察的，用于字幕的CNM更具挑战性，因为语言正在生成，因此部分可观察。为此，我们为CNM培训做出了以下技术贡献：1）紧凑的模块设计-一个功能词，三个视觉内容词（如名词、形容词和动词）; 2）软模块融合和多步模块执行，在部分观察中增强视觉推理; 3）模块控制器忠实于词性搭配的语言损失（形容词在名词之前）。在具有挑战性的MS-COCO图像描述基准上进行的大量实验验证了我们的CNM图像标题的有效性。特别是，CNM在Karpathy split上实现了最先进的127.9 CIDEr-D，并在官方服务器上实现了单一模型126.0 c40。CNM对很少的训练样本也是鲁棒的，例如，通过对每个图像只训练一个句子，与强基线相比，CNM可以将性能损失减半。
2019-04-18 cs.CV
