Rethinking the Reference-based Distinctive Image Captioning
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Hong Kong University of Science and Technology（香港科技大学）
独特的图像描述（DIC）--生成描述目标图像独特细节的独特标题--在过去几年中受到了相当大的关注。最近的DIC工作提出通过将目标图像与一组语义相似的参考图像进行比较来生成独特的字幕，即，基于参考的DIC（Ref-DIC）。它的目的是使生成的字幕能够区分目标和参考图像。遗憾的是，现有Ref-DIC作品使用的参考图像很容易区分：这些参考图像仅在场景级类似于目标图像，并且具有很少的共同对象，使得Ref-DIC模型即使不考虑参考图像也可以平凡地生成独特的字幕。为了确保Ref-DIC模型真正感知目标图像中的唯一对象（或属性），我们首先提出了两个新的Ref-DIC基准。具体来说，我们设计了一个两阶段的匹配机制，它严格控制目标和参考图像之间的相似性在对象/属性级（与场景级）。其次，为了生成独特的字幕，我们开发了一个强大的基于Transformer的Ref-DIC基线，称为TransDIC。它不仅从目标图像中提取视觉特征，而且对目标图像和参考图像中的对象之间的差异进行编码。最后，为了更值得信赖的基准测试，我们提出了一个新的评价指标命名为DiscIDER的参考DIC，它评估的准确性和独特性的生成的字幕。实验结果表明，我们的transDIC可以产生独特的字幕。此外，它在两个新的基准测试中在不同的指标上都优于几个最先进的模型。
2022-07-22 cs.CV
Contrastive Learning for Image Captioning
The Chinese University of Hong Kong（香港中文大学）
图像描述是计算机视觉的一个热门课题，近年来取得了长足的进展。然而，自然描述的独特性在以前的工作中经常被忽视。它与字幕的质量密切相关，因为独特的字幕更有可能描述具有独特方面的图像。在这项工作中，我们提出了一种新的学习方法，对比学习（CL），图像描述。具体而言，通过制定的参考模型的顶部上的两个约束，所提出的方法可以鼓励独特性，同时保持生成的字幕的整体质量。我们在两个具有挑战性的数据集上测试了我们的方法，它显著提高了基线模型。我们还表明，在我们的研究中，所提出的方法是通用的，可用于各种结构的模型。
2017-10-06 cs.CV
Improving Reference-based Distinctive Image Captioning with Contrastive Rewards
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
研究提出两个新Ref-DIC基准和基于Transformer的TransDIC模型，并进一步提出包含对比学习模块的TransDIC++和新评估指标DisCIDEr，在多个指标上超越现有模型。
2023-06-25 cs.CV
Attend to You: Personalized Image Captioning with Context Sequence Memory Networks
Lunit Inc.（Lunit 公司）；Seoul National University（首尔大学）
我们解决个性化问题的图像描述，这还没有讨论过在以前的研究。对于一个查询图像，我们的目标是生成一个描述性的句子，占先验知识，如用户在以前的文档中的活跃词汇。作为个性化图像描述的应用程序，我们解决了两个后自动化任务：主题标签预测和后生成，在我们新收集的Instagram数据集上，由来自6.3K用户的110万个帖子组成。本文提出了一种新的字幕模型--上下文序列记忆网络（CSMN）。它对以前的记忆网络模型的独特更新包括（i）利用记忆作为多种类型的上下文信息的存储库，（ii）将以前生成的单词附加到记忆中以捕获长期信息，而不会遭受消失梯度问题，以及（iii）采用CNN记忆结构来联合表示附近的有序记忆槽，以更好地理解上下文。通过Amazon Mechanical Turk的定量评估和用户研究，我们展示了CSMN的三个新功能的有效性及其在最先进的字幕模型上对个性化图像描述的性能增强。
2017-04-25 cs.CL cs.CV
Meshed-Memory Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
基于transformer的架构代表了机器翻译和语言理解等序列建模任务的最新技术水平。然而，它们对多模态上下文（如图像描述）的适用性在很大程度上仍有待探索。为了填补这一空白，我们提出了M $^2$ -一个网状的Transformer与内存的图像描述。该体系结构改进了图像编码和语言生成步骤：它学习图像区域之间的关系的多级表示，结合学习到的先验知识，并在解码阶段使用网状连接来利用低级别和高级别的功能。在实验上，我们调查的M $^2$ Transformer和不同的完全注意模型的性能与经常性的比较。当在COCO上进行测试时，我们的建议在“Karpathy”测试分割和在线测试服务器上的单一模型和集合配置中达到了新的技术水平。我们还评估了它在描述训练集中看不见的对象时的性能。用于再现实验的训练模型和代码可在https://github.com/aimagelab/meshed-memory-transformer公开获得。
2020-03-20 cs.CL cs.CV
Towards Adaptable and Interactive Image Captioning with Data Augmentation and Episodic Memory
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Oldenburg University（奥尔登堡大学）；Saarland University（萨尔大学）
本文提出一种交互式图像描述生成流水线，结合数据增强与情景记忆持续学习方法，在VizWiz数据集上验证了情景记忆能有效缓解灾难性遗忘，而数据增强反而降低性能。
2023-06-06 cs.CL cs.CV
HiCM$^2$: Hierarchical Compact Memory Modeling for Dense Video Captioning
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））
针对密集视频描述任务，提出受人类认知启发的层次化紧凑记忆模型，通过记忆事件聚类与大语言模型总结构建高效层次化记忆及读取模块，在YouCook2和ViTT数据集上达到最先进性能。
2024-12-19 cs.CV
Memory-Attended Recurrent Network for Video Captioning
Tencent（腾讯）；Southern University of Science and Technology（南方科技大学）
用于视频描述的典型技术遵循编码器-解码器框架，其仅能集中于正被处理的一个源视频。这种设计的一个潜在缺点是，它不能捕获出现在训练数据中的多于一个相关视频中的单词的多个视觉上下文信息。为了解决这个问题，我们提出了内存参与递归网络（MARN）的视频描述，其中的内存结构的目的是探索一个词和它的各种相似的视觉上下文之间的全谱对应关系，在训练数据的视频。因此，我们的模型能够对每个单词实现更全面的理解，并产生更高的字幕质量。此外，构建的内存结构使我们的方法能够显式地对相邻单词之间的兼容性进行建模，而不是像大多数现有模型那样要求模型隐式学习。在两个真实数据集上的广泛验证表明，我们的MARN始终优于最先进的方法。
2019-05-10 cs.CV
Fine-grained Image Captioning with CLIP Reward
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（奥多比研究中心）；Adobe Inc.（奥多比公司）
现代图像描述模型通常是以文本相似度为目标进行训练的。然而，由于公共数据集中的参考标题通常描述最突出的常见对象，因此使用文本相似性目标训练的模型往往会忽略图像的特定和详细方面，这些方面将其与其他方面区分开来。为了生成更具描述性和独特性的字幕，我们建议使用CLIP（一种在Web上训练的多模态编码器）来计算多模态相似度并将其用作奖励函数。我们还提出了一个简单的微调策略的CLIP文本编码器，以改善语法，不需要额外的文本注释。这完全消除了在奖励计算期间对参考字幕的需要。为了全面评估描述性字幕，我们引入了FineCapEval，这是一个用于字幕评估的新数据集，具有细粒度标准：整体、背景、对象、关系。在我们对文本到图像检索和FineCapEval的实验中，所提出的CLIP引导模型比CIDER优化模型生成更独特的字幕。我们还表明，我们的无监督的语法微调的CLIP文本编码器的退化问题的天真CLIP奖励。最后，我们展示了人类分析，其中注释者根据各种标准强烈偏好CLIP奖励而不是CIDER和MLE目标。代码和数据：https://github.com/j-min/CLIP-Caption-Reward
2023-03-29 cs.AI cs.CL cs.CV
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)（德黑兰理工大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Department of Computer Engineering（计算机工程系）
随着视觉和自然语言处理技术的发展，图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型，通过分离语义和风格来生成风格化的字幕。在继续这项工作中，这里开发了一个新的字幕模型，包括一个图像编码器来提取特征，一个混合的递归网络来嵌入一组提取的特征到一组单词中，以及一个句子生成器，它将所获得的单词组合为一个风格化的句子。由此产生的系统，称为递归专家混合（MoRE），使用一种新的训练算法，从递归神经网络（RNN）的加权矩阵导出奇异值分解（SVD），以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库，没有配对的图像，我们的字幕模型也可以做到这一点。此外，风格化和多样化的字幕提取，而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型，我们使用Microsoft COCO，这是一个标准的事实图像字幕数据集。我们表明，建议的字幕模型可以生成一个多样化的和风格化的图像字幕，而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
Hierarchical Memory Decoding for Video Captioning
Tianjin University（天津大学）
视频描述的最新进展通常采用递归神经网络（RNN）作为解码器。然而，RNN容易稀释长期信息。最近的研究表明，记忆网络（MemNet）具有存储长期信息的优势。然而，作为解码器，它还没有被很好地开发用于视频描述。部分原因来自MemNet序列解码的困难。而不是通常的做法，即，基于RNN序列解码算法，本文设计了一种新的视频描述存储解码器。具体地说，在通过预先训练的网络获得每帧的表示后，我们首先融合视觉和词汇信息。然后，在每个时间步，我们构造一个多层的基于MemNet的解码器，即，在每一层中，我们使用一个存储器组来存储先前的信息和一个注意力机制来选择与当前输入相关的信息。因此，该解码器避免了长期信息的稀释。多层架构有助于捕捉帧和词序列之间的依赖关系。实验结果表明，即使没有编码网络，我们的解码器仍然可以获得有竞争力的性能，优于RNN解码器的性能。此外，与单层RNN解码器相比，我们的解码器具有更少的参数。
2020-02-27 cs.CV
Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对仅靠视觉输入完成密集视频字幕生成任务语义不足的问题，提出融合外部记忆先验知识的跨模态记忆检索框架，无需大规模视频预训练即在两个基准数据集上取得良好效果。
2024-04-11 cs.CV
Retrieval-Augmented Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
图像描述模型旨在通过提供对输入图像的自然语言描述来连接视觉和语言。在过去的几年里，这项任务已经通过学习参数模型和提出视觉特征提取改进或通过建模更好的多模态连接来解决。在本文中，我们研究了一个图像描述方法与kNN记忆，知识可以从外部语料库检索，以帮助生成过程的发展。我们的架构结合了基于视觉相似性的知识检索器，可区分的编码器和kNN增强的注意力层，以根据过去的上下文和从外部存储器中检索的文本来预测令牌。在COCO数据集上进行的实验结果表明，采用显式外部存储器可以帮助生成过程并提高字幕质量。我们的工作开辟了新的途径，改善图像描述模型在更大的规模。
2022-08-22 cs.AI cs.CL cs.CV
Multimodal Memory Modelling for Video Captioning
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
视频描述是计算机视觉中的一项重要任务，它将视频片段自动翻译成自然语言句子。借助于最近的深度学习技术，例如，卷积神经网络（CNN）和递归神经网络（RNN）的发展，视频描述字幕技术取得了长足的进步。然而，学习从视觉序列空间到语言空间的有效映射仍然是一个具有挑战性的问题。在本文中，我们提出了一个多模态记忆模型（M3）来描述视频，它建立了一个视觉和文本共享的记忆模型的长期视觉-文本的依赖，并进一步引导全球视觉注意所描述的目标。具体来说，建议M3附加一个外部存储器来存储和检索视觉和文本内容，通过与视频和句子进行交互，具有多个读写操作。首先，将基于长短期记忆（LSTM）的文本解码器中的文本表示写入存储器中，并且将读出存储器内容以引导注意力选择相关视觉目标。然后，所选择的视觉信息被写入存储器，该存储器将被进一步读出到文本解码器。为了评估所提出的模型，我们在两个公开的基准数据集上进行了实验：MSVD和MSR-VTT。实验结果表明，我们的方法优于国家的最先进的方法在BLEU和METEOR。
2016-11-17 cs.CV
Neural Image Captioning
Courant Institute of Mathematical Sciences New York University Email
近年来，主要计算机视觉任务的最大进步，如物体识别，手写数字识别，面部识别等。都是通过使用卷积神经网络（CNN）实现的。类似地，在自然语言处理领域，递归神经网络（RNN），特别是长短期记忆网络（LSTM），对于机器翻译、词性标注、情感分析等任务的性能方面的一些最大突破至关重要。这些进步极大地促进了NLP和计算机视觉交叉领域的任务，受到这一成功的启发，我们研究了一些现有的神经图像描述模型，这些模型已被证明工作良好。在这项工作中，我们研究了一些现有的字幕模型，提供接近国家的最先进的性能，并试图提高这样的模型。我们还提出了一个简单的图像描述模型，该模型利用了CNN、LSTM和beam search1算法，并基于各种定性和定量指标研究了其性能。
2019-07-02 cs.CL cs.CV cs.LG
Self-Supervised Image Captioning with CLIP
New York University（纽约大学）
针对图像描述依赖大量图文对的问题，提出先用少量有标注数据初始化、再借助 CLIP 相关性辅助任务进行自监督学习的方法，仅用不到2%的COCO标注即达到全量训练的先进性能。
2023-11-02 cs.CV
Semantic Compositional Networks for Visual Captioning
Duke University（杜克大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
提出了一种用于图像描述的语义合成网络（SCN），标签），并且每个标签的概率用于构成长短期记忆（LSTM）网络中的参数。SCN将LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合。集合中的每个成员用于生成图像标题的程度与对应标签的图像相关概率有关。除了为图像添加字幕外，我们还扩展了SCN以生成视频剪辑的字幕。我们定性分析了SCN中的语义组成，并在三个基准数据集上定量评估了该算法：COCO，Flickr30k和Youtube2Text。实验结果表明，该方法显着优于现有的最先进的方法，在多个评价指标。
2017-03-28 cs.CL cs.CV cs.LG
EVCap: Retrieval-Augmented Image Captioning with External Visual-Name Memory for Open-World Comprehension
The University of Tokyo（东京大学）；National Institute of Informatics（情报学研究科）
本文提出 EVCap，通过可低成本更新的外部视觉-名称记忆检索物体名称并提示 LLM，以轻量模型实现开放世界图像描述。
2024-04-07 cs.CV
ReflectCAP: Detailed Image Captioning with Reflective Memory
IPAI, Seoul National University（首尔国立大学IPAI）；Dept. of ECE, Seoul National University（首尔国立大学电子与计算机工程系）；Adobe Research（Adobe研究）
ReflectCAP通过反思笔记指导生成详细且准确的图像描述，平衡事实性和覆盖性，优于现有方法。
2026-04-14 cs.AI cs.CV
MeaCap: Memory-Augmented Zero-shot Image Captioning
Xidian University（西安电子科技大学）
针对现有零样本图像字幕生成方法易产生幻觉或泛化性差的问题，提出记忆增强框架MeaCap，通过检索过滤关键概念和记忆增强融合分数生成高质量字幕，在多设置下达SOTA。
2024-03-06 cs.CV
Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning
Italian Institute of Technology, Genoa, Italy（意大利理工学院，热那亚，意大利）；University of Genoa, Genoa, Italy（热那亚大学，热那亚，意大利）
本文提出一种统一的记忆增强视觉-语言代理，通过单一自回归框架同时处理数据关联、对象描述和探索策略，提升持久且语义一致的对象描述能力。
2026-03-30 cs.CV
Towards Retrieval-Augmented Architectures for Image Captioning
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Leonardo S.p.A.（莱昂纳多公司）；IIT-CNR（意大利国家研究委员会信息研究所）
本研究提出利用外部kNN记忆的检索增强图像字幕模型，通过视觉相似性检索和kNN增强语言模型提升生成质量，并在COCO和nocaps数据集上验证了其有效性。
2024-05-21 cs.AI cs.CL cs.CV
With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会-意大利理工学院）
针对图像字幕生成中Transformer注意力忽略过往样本语义的问题，提出原型记忆网络，通过兼具判别性与紧凑性的原型向量建模过往键值分布，在COCO数据集上使Transformer性能提升3.7个CIDEr点。
2023-08-23 cs.AI cs.CL cs.CV
Encoder-Decoder Based Long Short-Term Memory (LSTM) Model for Video Captioning
Virginia Tech（弗吉尼亚理工大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；Austin Peay State University（奥斯汀皮伊州立大学）
本研究提出一种基于编码器-解码器LSTM的视频字幕生成模型，通过将视频帧时间序列映射为单词序列生成字幕，并使用2-gram BLEU分数评估其正确性与泛化能力。
2023-10-02 cs.CV
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad（达尔瓦德印度理工学院）；UltraInstinct AI
视频描述是一个流行的任务，挑战模型使用自然语言描述视频中的事件。在这项工作中，我们调查的能力，各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器（WAFTM），字幕模型，将内存中的Transformer编码器，并使用一种新的方法，融合功能，确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后，我们在两个数据集上对我们的模型进行了基准测试，并在MSVD上获得了92.4的CIDER，在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
Not All Words are Equal: Video-specific Information Loss for Video Captioning
对于给定视频的理想描述应该将其目光固定在突出和代表性的内容上，这能够将该视频与其他视频区分开来。然而，在视频描述数据集中，不同词语的分布是不平衡的，用于描述视频特定显著对象的独特词语远少于“a”、“the”和“person”等常见词语。数据集偏差往往导致识别错误或细节缺陷的显着，但不寻常的对象。为了解决这个问题，我们提出了一种新的学习策略称为信息损失，它侧重于视频特定的视觉内容和相应的代表词之间的关系。此外，建立了一个框架，分层视觉表示和优化的分层注意力机制，以捕捉最显着的时空视觉信息，充分发挥了潜在的优势，提出的学习策略。大量的实验表明，巧妙的指导策略与优化的架构一起优于国家的最先进的视频描述方法MSVD与CIDER分数87.5，并实现优异的CIDER分数47.7 MSR-VTT。我们还表明，我们的信息损失是通用的，提高了各种模型的显着利润率。
2019-01-01 cs.CV
Question-controlled Text-aware Image Captioning
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
对于具有多个场景文本的图像，不同的人可能对不同的文本信息感兴趣。当前的文本感知图像描述模型不能根据不同的信息需求生成不同的字幕。为了探索如何生成个性化的文本感知字幕，我们定义了一个新的具有挑战性的任务，即文本控制的文本感知图像描述（Qc-TextCap）。该任务以问题为控制信号，要求模型理解问题，找到相关的场景文本，并用人类语言流利地将它们与对象一起描述。基于两个现有的文本感知字幕数据集，我们自动构建两个数据集，ControlTextCaps和ControlVizWiz来支持任务。我们提出了一种新的几何和问题感知模型（GQAM）。GQAM首先应用一个基于几何信息的视觉编码器，融合区域级对象特征和区域级场景文本特征，并考虑空间关系。然后，我们设计了一个视觉引导的编码器，为每个问题选择最相关的视觉特征。最后，GQAM使用多模态解码器生成个性化的文本感知字幕。我们的模型实现了更好的字幕性能和问答能力比精心设计的基线上的两个数据集。以问题作为控制信号，我们的模型比最先进的文本感知字幕模型生成更多信息和多样化的字幕。我们的代码和数据集可在https://github.com/HAWLYQ/Qc-TextCap上公开获取。
2021-08-04 cs.CV cs.MM
Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects
Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
图像描述通常需要大量的训练图像-句子对。然而，在实践中，获取足够的训练对总是昂贵的，使得最近的字幕模型在其描述训练语料库之外的对象的能力方面受到限制（即，小说对象）。在本文中，我们提出了长短期记忆与字幕机制（LSTM-C）-一种新的架构，将复制纳入卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架，用于描述字幕中的新对象。具体而言，利用免费提供的对象识别数据集来开发新对象的分类器。然后，我们的LSTM-C很好地集成了解码器RNN的标准逐词句子生成与复制机制，该机制可以从输出句子中适当位置的新对象中选择单词。在MSCOCO图像描述和ImageNet数据集上进行了大量的实验，证明了我们提出的LSTM-C架构描述新对象的能力。此外，优越的结果相比，国家的最先进的深模型。
2017-08-17 cs.CL cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University（北京航空航天大学）；Tencent AI LAB（腾讯AI实验室）
虽然端到端（E2E）学习已经在各种视觉理解任务上取得了令人印象深刻的进展，但它经常受到硬件限制（例如，GPU内存），并且易于过拟合。当涉及到视频描述时，这是计算机视觉中最具挑战性的基准任务之一，E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上，用于视频描述的现有技术方法通过卷积神经网络来处理视频帧，并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们，生成的模型既消耗内存又需要大量数据，这使得训练非常困难。在本文中，我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务（例如，属性、奖励和字幕），使得它们可以联合调节E2E神经网络的搜索空间，从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知，这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明，该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
SD-RSIC: Summarization Driven Deep Remote Sensing Image Captioning
Technische Universität Berlin（柏林工业大学）
深度神经网络（DNN）最近被发现流行于遥感（RS）中的图像描述问题。现有的基于DNN的方法依赖于由大量带有标题的RS图像组成的训练集的可用性。然而，训练图像的字幕可能包含冗余信息（它们可以是重复的或语义上彼此相似），从而导致在学习从图像域到语言域的映射时的信息不足。为了克服这一局限性，在本文中，我们提出了一种新的摘要驱动的遥感图像描述（SD-RSIC）的方法。所提出的方法包括三个主要步骤。第一步通过联合利用卷积神经网络（CNN）和长短期记忆（LSTM）网络来获得标准图像字幕。与现有的RS图像描述方法不同，第二步通过利用序列到序列神经网络将每个训练图像的地面实况字幕总结为单个字幕，并消除训练集中存在的冗余。第三步自动定义与每个RS图像相关联的自适应权重，以基于图像的语义内容将标准字幕与摘要字幕相结合。这是通过在LSTM网络上下文中定义的一种新的自适应加权策略来实现的。在RSCID、UCM-Captions和Sydney-Captions数据集上的实验结果表明，与现有的RS图像描述方法相比，该方法是有效的.所提出的方法的代码可在https://gitlab.tubit.tu-berlin.de/rsim/SD-RSIC上公开获得。
2020-10-13 cs.CL cs.CV cs.LG
Streaming Dense Video Captioning
Google（谷歌公司）
本文提出流式密集视频字幕生成模型，通过固定大小聚类记忆模块和流式解码算法，实现处理任意长视频并提前输出预测，在ActivityNet、YouCook2和ViTT三个基准上显著超越现有最先进方法。
2024-04-01 cs.CV
Controllable Video Captioning with an Exemplar Sentence
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）；Meituan（美团）
在本文中，我们研究了一个新的和具有挑战性的任务，即可控的视频描述与一个范例的句子。形式上，给定一个视频和一个句法上有效的例句，该任务的目的是生成一个标题，不仅描述了视频的语义内容，但也遵循给定的例句的句法形式。为了解决这样一个基于范例的视频描述任务，我们提出了一种新的视频调制字幕生成器（SMCG）的编码器-解码器-重构器架构。SMCG以视频语义表征为输入，根据样例句子的句法信息有条件地调节长短期记忆网络的门和细胞。因此，SMCG能够控制单词预测的状态，并实现语法定制的字幕生成。我们通过收集两个公共视频描述数据集的辅助例句进行实验。大量的实验结果表明，我们的方法在生成语法可控和语义保留的视频字幕的有效性。通过提供不同的例句，我们的方法是能够产生不同的字幕与各种句法结构，从而表明一个有前途的方式来加强视频描述的多样性。
2021-12-02 cs.CL cs.CV
TCIC: Theme Concepts Learning Cross Language and Vision for Image Captioning
Fudan University（复旦大学）；Research Institute of Intelligent and Complex Systems, Fudan University（复旦大学智能复杂系统研究院）；Zhejiang Lab（之江实验室）
现有的图像描述研究通常使用具有低层事实（对象和关系）的场景图来表示图像，并且未能捕获高层语义。在本文中，我们提出了一个主题概念扩展的图像描述（TCIC）框架，采用主题概念来表示高层次的跨模态语义。在实践中，我们的主题概念模型的记忆向量，并提出Transformer与主题节点（TTN），将这些向量的图像描述。考虑到主题概念可以从图像和字幕中学习，我们提出了两种基于TTN的表示学习设置。在视觉方面，TTN被配置为将基于场景图的特征和主题概念两者作为视觉表示学习的输入。在语言方面，TTN被配置为将标题和主题概念作为文本表示重构的输入。两种设置都旨在使用相同的基于transformer的解码器生成目标字幕。在训练过程中，我们进一步调整从图像和相应的字幕中学习到的主题概念的表示，以加强跨模态学习。MS COCO上的实验结果表明，我们的方法相比，一些国家的最先进的模型的有效性。
2021-06-21 cs.CL cs.CV
Image Captioning using Facial Expression and Attention
Macquarie University（麦考瑞大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
受益于机器视觉和自然语言处理技术的进步，当前的图像描述系统能够生成详细的视觉描述。在大多数情况下，这些描述代表了图像的客观特征，尽管有些模型确实包含了与观察者对图像的看法有关的主观方面，例如情感;然而，当前的模型通常在字幕生成过程中不考虑图像的情感内容。本文针对这个问题，提出了新的图像描述模型，使用面部表情特征来生成图像字幕。该模型使用长短期记忆网络生成图像字幕，该网络在不同的时间步长应用面部特征以及其他视觉特征。我们比较了一个全面的收集图像描述模型，没有面部特征，使用所有标准的评价指标。评估指标表明，应用具有注意力机制的面部特征实现了最佳性能，在从标准Flickr 30 K数据集提取的图像标题数据集上显示出更具表现力和更相关的图像标题，该数据集由约11 K包含面部的图像组成。对生成的字幕的分析发现，也许出乎意料的是，字幕质量的提高似乎不是来自添加与图像的情感方面相关的形容词，而是来自字幕中描述的动作的更多变化。
2020-04-15 cs.CL cs.CV
Putting Humans in the Image Captioning Loop
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Oldenburg University（奥尔登堡大学）
本文提出在MS COCO预训练图像描述模型中引入用户反馈，通过数据增强、逐步更新与稀疏记忆回放实现个性化适配并缓解灾难性遗忘。
2023-06-06 cs.CL cs.CV
Watch What You Just Said: Image Captioning with Text-Conditional Attention
University of Michigan（密歇根大学）；University of Rochester（罗切斯特大学）
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。然而，现有的方法仅使用视觉内容作为注意力，文本上下文是否可以提高图像描述中的注意力仍然没有解决。为了探索这个问题，我们提出了一种新型的注意力机制，称为\textit{text-conditional attention}，它允许字幕生成器关注先前生成的文本的某些图像特征。为了获得我们的注意力模型的文本相关图像特征，我们采用了引导性长短期记忆（gLSTM）字幕架构和CNN微调。我们提出的方法允许联合学习的图像嵌入，文本嵌入，文本条件注意和语言模型与一个网络架构在一个端到端的方式。我们在MS-COCO数据集上进行了大量的实验。实验结果表明，我们的方法优于国家的最先进的字幕方法的各种定量指标，以及在人类的评价，这支持使用我们的文本条件注意在图像描述。
2016-11-24 cs.CV
Spatio-Temporal Attention Models for Grounded Video Captioning
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
由于动态真实场景中复杂的交互作用，自动视频描述具有挑战性。一个全面的系统最终将定位和跟踪视频中存在的对象、动作和交互，并生成依赖于时间定位的描述，以便为视觉概念奠定基础。然而，大多数现有的自动视频描述系统从原始视频数据映射到高级文本描述，绕过了定位和识别，从而丢弃了用于内容定位和概括的潜在有价值的信息。在这项工作中，我们提出了一种自动视频描述模型，该模型通过基于长短期记忆的深度神经网络结构将时空注意力和图像分类结合起来。由此产生的系统被证明在标准的YouTube字幕基准产生最先进的结果，同时还提供本地化的视觉概念（主题，动词，对象）的优势，没有接地监督，在空间和时间。
2016-10-18 cs.CV
Bidirectional Long-Short Term Memory for Video Description
University of Electronic Science and Technology（电子科技大学）；The University of Queensland（昆士兰大学）
视频描述在多媒体领域引起了广泛的研究兴趣。然而，大多数现有的方法要么忽略了视频帧之间的时间信息，或只采用局部上下文时间知识。在这项工作中，我们提出了一种新的视频描述框架，称为\emph{Bidirectional Long-Short Term Memory}（BiLSTM），它深刻地捕捉双向的全局时间结构的视频。具体来说，我们首先设计了一种联合视觉建模方法，通过将前向LSTM通道、后向LSTM通道与来自卷积神经网络（CNN）的视觉特征相结合来编码视频数据。然后，我们将导出的视频表示注入到后续的语言模型中进行初始化。好处有两个方面：1）全面保留顺序和视觉信息; 2）分别自适应地学习视频和句子的密集视觉特征和稀疏语义表示。我们验证了我们提出的视频描述框架的有效性，在一个常用的基准，即，微软视频描述（MSVD）语料库，实验结果表明，该方法的优越性相比，一些国家的最先进的方法。
2016-06-15 cs.CL cs.MM
Convolutional Image Captioning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
图像描述是一项重要但具有挑战性的任务，适用于虚拟助理、编辑工具、图像索引和残疾人支持。它的挑战是由于可能的图像描述的可变性和模糊性。近年来，在图像描述方面取得了重大进展，使用由长短期记忆（LSTM）单元驱动的递归神经网络。尽管减轻了消失梯度的问题，尽管它们具有令人信服的记忆依赖关系的能力，但LSTM单元是复杂的，并且在时间上具有内在的顺序性。为了解决这个问题，最近的工作已经显示出卷积网络用于机器翻译和条件图像生成的好处。受他们成功的启发，在本文中，我们开发了一种卷积图像描述技术。我们在具有挑战性的MSCOCO数据集上证明了它的有效性，并证明了与基线相当的性能，同时每个参数的训练时间更快。我们还进行了详细的分析，提供了令人信服的理由，有利于卷积语言生成的方法。
2017-11-24 cs.CV
Hierarchy Parsing for Image Captioning
JD AI Research（京东人工智能研究院）
人们一直相信，将图像解析成组成视觉模式将有助于理解和表示图像。然而，没有证据支持用自然语言话语描述图像的想法。在本文中，我们介绍了一种新的设计，从实例级（分割），区域级（检测）到整个图像的层次模型，深入到一个彻底的图像理解字幕。具体来说，我们提出了一个层次化解析（HIP）架构，新颖地集成到图像编码器的层次结构。从技术上讲，图像分解成一组区域，其中一些区域被分解成更精细的区域。每个区域然后回归到一个实例，即，该地区的前景。这样的过程自然地构建了层次树。然后使用树结构的长短期记忆（Tree-LSTM）网络来解释层次结构并增强所有实例级、区域级和图像级特征。我们的HIP很有吸引力，因为它可以插入任何神经字幕模型。在COCO图像描述数据集上的大量实验证明了HIP的优越性。更值得注意的是，HIP加上一个自上而下的基于注意力的LSTM解码器，在COCO Karpathy测试分割中将CIDEr-D性能从120.1%提高到127.2%。当进一步赋予HIP的实例级和区域级特征以通过图卷积网络（GCN）学习的语义关系时，CIDEr-D被提升到130.6%。
2019-09-10 cs.CL cs.CV
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
凝视反映了人类如何处理视觉场景，因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力，例如对象定位和识别，但是仍然不清楚凝视是否也可以有益于以场景为中心的任务，例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用，提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集，我们首先评估最先进的对象和场景识别模型，自下而上的视觉显着性和人类凝视之间的关系。然后，我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中，并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估，我们表明，我们的方法提高了图像描述的性能，凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
SMArT: Training Shallow Memory-aware Transformers for Robotic Explainability
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；Department of Engineering “Enzo Ferrari”（恩佐·法拉利工程系）
生成以视觉感知为条件的自然语言解释的能力是走向能够解释自己并与人类交流的自主智能体的关键一步。虽然在图像和视频描述字幕的研究工作给出了有希望的结果，这往往是在牺牲的计算要求的方法，限制了它们的适用性，以真实的情况下。在本文中，我们提出了一个全注意力字幕算法，可以提供最先进的性能语言生成，同时限制其计算需求。我们的模型的灵感来自于Transformer模型，在编码和解码阶段只使用了两个Transformer层。此外，它结合了一种新的记忆感知编码的图像区域。实验表明，我们的方法取得了竞争力的结果，在字幕质量，同时具有减少计算需求。此外，为了评估其适用于自主智能体，我们进行实验的模拟场景，从家庭机器人的角度来看。
2020-03-09 cs.CL cs.CV cs.RO
Boosting Image Captioning with Attributes
Microsoft Research Asia（微软亚洲研究院）
用自然语言自动描述图像一直是计算机视觉和自然语言处理领域的一个新兴挑战。在本文中，我们提出了长短期记忆与属性（LSTM-A）-一种新的架构，将属性集成到成功的卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架中，通过端到端的方式训练它们。为了整合属性，我们通过以不同的方式将图像表示和属性输入RNN来构建架构的变体，以探索它们之间的相互但模糊的关系。在COCO图像描述数据集上进行了大量的实验，与最先进的深度模型相比，我们的框架取得了优异的结果。最值得注意的是，在通过GoogleNet提取图像表示时，我们在广泛使用和公开可用的分割测试数据（Karpathy & Fei-Fei，2015）中获得了25.2%/98.6%的METEOR/CIDER-D，并在COCO字幕排行榜上获得了迄今为止的顶级性能。
2016-11-05 cs.CV
Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation
National Institute of Technology（印度国家技术学院）
图像描述或图像描述的自动生成是计算机视觉中的核心问题之一，并且使用深度学习技术已经取得了相当大的进展。我们建议使用Inception-ResNet卷积神经网络作为编码器来从图像中提取特征，基于层次上下文的词嵌入用于单词表示，深度堆叠长短期记忆网络作为解码器，此外还使用图像数据增强来避免过拟合。对于数据增强，除了图像上的透视变换外，我们还使用水平和垂直翻转。我们评估我们提出的方法与两个图像描述框架-编码器-解码器和软注意。广泛使用的指标的评估表明，我们的方法导致模型性能的显着改善。
2021-02-22 cs.AI cs.CV cs.LG
Pointing Novel Objects in Image Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
图像描述在最近的进展中随着显著的改进而受到显著的关注。然而，野生图像封装了丰富的知识，并且不能用仅包含域内对象的图像-标题对构建的模型来充分描述。在本文中，我们建议通过使用对象学习器增强标准深度字幕架构来解决这个问题。具体来说，我们提出了长短期记忆与指向（LSTM-P）--一个新的架构，有利于词汇扩展和产生新的对象，通过指向机制。从技术上讲，对象学习器最初是在可用的对象识别数据上进行预训练的。然后，指向LSTM-P平衡了通过LSTM生成单词和在解码器阶段的每个时间步从识别的对象中复制单词之间的概率。此外，我们的标题鼓励句子中对象的全局覆盖。在COCO图像描述和ImageNet数据集上进行了大量的实验，用于描述新的对象，与最先进的方法相比，报告了优越的结果。更值得注意的是，我们得到了平均60.9%的F1评分的HOLD出COCO~数据集。
2019-04-25 cs.CV
Video Captioning in Compressed Video
Zhejiang University（浙江大学）；Westlake University（西湖大学）
现有的视频描述方法主要集中在未压缩视频中的全局帧特征，而忽略了压缩视频中已经编码的免费和关键的显著性信息。我们提出了一种视频描述方法，它直接对存储的压缩视频进行操作。为了学习一个有区别的视觉表示视频描述，我们设计了一个残差辅助编码器（RAE），它点的援助下的残差帧的I帧的感兴趣的区域。首先，我们通过提取残差的特征作为I帧中每个位置的显著性值来获得空间注意力权重，并设计了一个空间注意力模块来细化注意力权重。我们进一步提出了一个时间门模块来确定有多少参加的功能有助于字幕生成，这使得该模型能够抵抗压缩视频中的一些噪声信号的干扰。最后，利用长短期记忆将视觉表征解码为描述。我们在两个基准数据集上评估了我们的方法，并证明了我们的方法的有效性。
2021-01-02 cs.CV
Protect, Show, Attend and Tell: Empowering Image Captioning Models with Ownership Protection
Universiti Malaya（马来亚大学）；WeBank AI Lab（微众银行人工智能实验室）
总的来说，对深度神经网络的现有知识产权（IP）保护通常i）仅关注图像分类任务，以及ii）遵循常规用于保护多媒体和视频内容的所有权的标准数字水印框架。本文证明了当前的数字水印框架是不足以保护图像描述的任务，往往被视为人工智能的前沿问题之一。作为一种补救措施，本文研究并提出了两种不同的嵌入方案在隐藏的记忆状态的递归神经网络，以保护图像描述模型。从经验的角度，我们证明了伪造的密钥将产生一个不可用的图像描述模型，击败侵权的目的。据我们所知，这项工作是第一次提出所有权保护的图像描述任务。此外，大量的实验表明，所提出的方法不妥协的原始图像描述的性能上的所有常见的字幕指标的Flickr 30 k和MS-COCO数据集，并在同一时间，它是能够承受的去除和歧义攻击。代码可在https://github.com/jianhanlim/ipr-imagecaptioning上获得
2021-08-31 cs.CR cs.CV
phi-LSTM: A Phrase-based Hierarchical LSTM Model for Image Captioning
University of Malaya（马来亚大学）
一张图片胜过千言万语。然而，直到最近，我们才注意到在理解视觉场景方面的一些成功案例：一个能够检测/命名对象，描述其属性并识别其关系/交互的模型。在本文中，我们提出了一个基于短语的分层长短期记忆（phi-LSTM）模型来生成图像描述。所提出的模型将句子编码为短语和单词的组合序列，而不是像传统解决方案中那样单独的单词序列。该模型的两个层次致力于i）学习生成图像相关名词短语，以及ii）从语料库中的短语和其他单词中产生适当的图像描述。采用卷积神经网络来学习图像特征，采用LSTM来学习句子中的单词序列，与Flickr 8 k和Flickr 30 k数据集上的最先进模型相比，该模型显示出更好或具有竞争力的结果。
2017-10-26 cs.CL cs.CV
NITS-VC System for VATEX Video Captioning Challenge 2020
National Institute of Technology Silchar（西尔查国家理工学院）
视频描述是将视频的内容、事件和动作总结成简短的文本形式的过程，其可以在许多研究领域中有帮助，例如视频引导的机器翻译、视频情感分析以及为有需要的个人提供帮助。在本文中，VATEX-2020视频描述的挑战所使用的框架的系统描述。我们采用基于编码器-解码器的方法，其中视频的视觉特征使用3D卷积神经网络（C3 D）进行编码，并且在解码阶段使用两个长短期记忆（LSTM）递归网络，其中视觉特征和输入字幕被单独融合，并且通过在两个LSTM的输出之间执行元素乘积来生成最终输出。我们的模型能够在公共和私人测试数据集中分别获得0.20和0.22的BLEU分数。
2020-09-25 cs.CV
A sequential guiding network with attention for image captioning
Beihang University（北京航空航天大学）；Keep Inc.（Keep公司）；North China Electric Power University（华北电力大学）
深度学习在计算机视觉（CV）和自然语言处理（NLP）方面的最新进展为我们提供了一种理解语义的新方法，通过这种方法，我们可以处理更具挑战性的任务，例如从自然图像中自动生成描述。在这一挑战中，当卷积神经网络（CNN）用作图像编码器和递归神经网络（RNN）用作解码器时，编码器-解码器框架已经实现了有希望的性能。在本文中，我们介绍了一个顺序的指导网络，指导解码器在字生成。新模型是编码器-解码器框架的扩展，具有额外的引导长短期记忆（LSTM），可以通过使用图像/描述对以端到端的方式进行训练。我们通过在基准数据集上进行广泛的实验来验证我们的方法，即，COCO小姐字幕与其他最先进的深度学习模型相比，该模型实现了显着的改进。
2019-02-08 cs.CL cs.CV
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University（世宗大学）；Ton Duc Thang University（孙德胜大学）；ASICLAND；Northeastern University（东北大学）；Deakin University（迪肯大学）
本研究介绍了我们在2021年越南语言和语音处理（VLSP）挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法，如图1所示。近年来，图像描述通常采用基于卷积神经网络的架构作为编码器，并采用长短期记忆（LSTM）作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器，但我们在编码器中使用Swin Transformer，在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数，并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
Exploring Visual Relationship for Image Captioning
JD AI Research（京东AI研究院）；Sun Yat-sen University（中山大学）
人们一直相信，对象之间的建模关系将有助于表示和最终描述图像。然而，没有证据支持图像描述生成的想法。在本文中，我们介绍了一种新的设计，探索对象之间的连接图像描述的保护伞下，基于注意力的编码器-解码器框架。具体来说，我们提出了图卷积网络加上长短期记忆（称为GCN-LSTM）架构，该架构新颖地将语义和空间对象关系集成到图像编码器中。从技术上讲，我们根据图像中检测到的对象的空间和语义连接来构建图形。然后，通过GCN利用图结构来细化在对象上提出的每个区域的表示。通过学习区域级别的特征，我们的GCN-LSTM利用基于LSTM的字幕框架和注意力机制来生成句子。在COCO图像描述数据集上进行了大量的实验，并与最先进的方法相比，获得了优异的结果。更值得注意的是，GCN-LSTM在COCO测试集上将CIDEr-D性能从120.1%提高到128.7%。
2018-09-19 cs.CV
Image Captioning with Deep Bidirectional LSTMs
Hasso Plattner Institute, University of Potsdam（哈索·普拉特纳研究所，波茨坦大学）
本文提出了一种用于图像描述的端到端可训练的深度双向LSTM（长短期记忆）模型。我们的模型建立在深度卷积神经网络（CNN）和两个独立的LSTM网络上。它能够通过利用高层语义空间中的历史和未来上下文信息来学习长期的视觉语言交互。提出了两种新的深度双向变体模型，其中我们以不同的方式增加非线性过渡的深度，学习层次视觉语言嵌入。提出了多裁剪、多尺度和垂直镜像等数据增强技术，以防止训练深度模型时的过拟合。我们可视化双向LSTM内部状态随时间的演变，并定性分析我们的模型如何将图像“翻译”为句子。我们提出的模型进行了评估的标题生成和图像句子检索任务与三个基准数据集：Flickr8K，Flickr30K和MSCOCO数据集。我们证明了双向LSTM模型即使在没有集成额外机制（例如目标检测、注意力模型等）的情况下，也能在字幕生成方面取得与最先进结果相比具有高度竞争力的性能。并且在检索任务上显著优于最近的方法。
2016-07-20 cs.CL cs.CV cs.MM
SEMT: Static-Expansion-Mesh Transformer Network Architecture for Remote Sensing Image Captioning
Austrian Institute of Technology（奥地利技术研究院）；University of Technology of Troyes（图卢兹技术大学）；Ho Chi Minh University of Technology（胡志明技术大学）；Ton Duc Thang University（-ton Duc Thang大学）
本文提出SEMT遥感图像描述网络架构，融合静态扩展、记忆增强自注意力与网格Transformer技术，在UCM-Caption和NWPU-Caption数据集上多数指标超越现有最优系统。
2025-07-17 cs.AI cs.CV
