What a Whole Slide Image Can Tell? Subtype-guided Masked Transformer for Pathological Image Captioning
College of Engineering Peking University（北京大学工学院）
本文提出亚型引导掩码Transformer（SGMT），将全切片图像视为稀疏图像块序列进行病理描述生成，并通过亚型预测和非对称掩码机制提升训练效果，在PatchGastricADC22数据集上优于传统RNN方法。
2023-10-31 cs.AI cs.CV
Image captioning for Brazilian Portuguese using GRIT model
Alana AI Research（阿拉纳人工智能研究院）
本研究基于GRIT模型开发巴西葡萄牙语图像描述生成方法，通过调整模型在葡萄牙语数据集上训练，实现更高效的图像描述生成。
2024-02-07 cs.AI cs.CL cs.CV
ACORT: A Compact Object Relation Transformer for Parameter Efficient Image Captioning
Universiti Malaya（马来亚大学）
最近的研究将基于Transformer的架构应用于图像描述，实现了最先进的图像描述性能，充分利用了Transformers在自然语言任务上的成功。不幸的是，虽然这些模型工作得很好，但一个主要缺陷是它们的模型尺寸太大。为此，我们提出了三种图像描述Transformers的参数减少方法：基数编码，跨层参数共享和注意力参数共享。通过结合这些方法，我们提出的ACORT模型的参数比基线模型少3.7倍至21.6倍，而不会影响测试性能。MS-COCO数据集上的结果表明，我们的ACORT模型与基线和SOTA方法相比具有竞争力，CIDER得分>=126。最后，我们提出了定性结果和消融研究，以进一步证明拟议的变化的有效性。代码和预训练模型可在https://github.com/jiahuei/sparse-image-captioning上公开获取。
2022-02-11 cs.CL cs.CV cs.LG
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University（世宗大学）；Ton Duc Thang University（孙德胜大学）；ASICLAND；Northeastern University（东北大学）；Deakin University（迪肯大学）
本研究介绍了我们在2021年越南语言和语音处理（VLSP）挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法，如图1所示。近年来，图像描述通常采用基于卷积神经网络的架构作为编码器，并采用长短期记忆（LSTM）作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器，但我们在编码器中使用Swin Transformer，在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数，并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
Retrieval-Augmented Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
图像描述模型旨在通过提供对输入图像的自然语言描述来连接视觉和语言。在过去的几年里，这项任务已经通过学习参数模型和提出视觉特征提取改进或通过建模更好的多模态连接来解决。在本文中，我们研究了一个图像描述方法与kNN记忆，知识可以从外部语料库检索，以帮助生成过程的发展。我们的架构结合了基于视觉相似性的知识检索器，可区分的编码器和kNN增强的注意力层，以根据过去的上下文和从外部存储器中检索的文本来预测令牌。在COCO数据集上进行的实验结果表明，采用显式外部存储器可以帮助生成过程并提高字幕质量。我们的工作开辟了新的途径，改善图像描述模型在更大的规模。
2022-08-22 cs.AI cs.CL cs.CV
Meshed-Memory Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
基于transformer的架构代表了机器翻译和语言理解等序列建模任务的最新技术水平。然而，它们对多模态上下文（如图像描述）的适用性在很大程度上仍有待探索。为了填补这一空白，我们提出了M $^2$ -一个网状的Transformer与内存的图像描述。该体系结构改进了图像编码和语言生成步骤：它学习图像区域之间的关系的多级表示，结合学习到的先验知识，并在解码阶段使用网状连接来利用低级别和高级别的功能。在实验上，我们调查的M $^2$ Transformer和不同的完全注意模型的性能与经常性的比较。当在COCO上进行测试时，我们的建议在“Karpathy”测试分割和在线测试服务器上的单一模型和集合配置中达到了新的技术水平。我们还评估了它在描述训练集中看不见的对象时的性能。用于再现实验的训练模型和代码可在https://github.com/aimagelab/meshed-memory-transformer公开获得。
2020-03-20 cs.CL cs.CV
SEMT: Static-Expansion-Mesh Transformer Network Architecture for Remote Sensing Image Captioning
Austrian Institute of Technology（奥地利技术研究院）；University of Technology of Troyes（图卢兹技术大学）；Ho Chi Minh University of Technology（胡志明技术大学）；Ton Duc Thang University（-ton Duc Thang大学）
本文提出SEMT遥感图像描述网络架构，融合静态扩展、记忆增强自注意力与网格Transformer技术，在UCM-Caption和NWPU-Caption数据集上多数指标超越现有最优系统。
2025-07-17 cs.AI cs.CV
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida（佛罗里达大学）
视频描述主要研究两个基本概念：特征检测和特征合成。虽然现代Transformers在构成特征上是有益的，但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加，包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中，我们引入了一个新的概念，自我意识的组成Transformer（SACT），能够产生多项式注意力（MultAtt），这是一种生成各种组合的帧的分布。此外，多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来，这对自然语言分类很好，但对视频描述有局限性。视频内容具有重复，并且需要解析重要内容以更好地内容合成。在这项工作中，我们已经引入了SACT更多的选择性注意，并结合他们为不同的注意力头更好地捕捉可用的内容，为任何应用程序。为了解决多样化的问题，并鼓励选择性利用，我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集，如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers
Mitsubishi electric research laboratories（三菱电机研究实验室）
视频描述是理解场景、用自然语言描述事件的必要技术。为了将其应用于实时监控，系统不仅需要准确地描述事件，而且还需要尽快产生字幕。需要低延迟字幕来实现这样的功能，但是用于在线视频描述字幕的这一研究领域尚未被追求。本文提出了一种新的方法来优化每个字幕的输出时间之间的权衡延迟和字幕质量的基础上。视听变换器被训练为仅使用所有视频帧的一小部分来生成地面实况字幕，并且模仿所有帧都被给予的预先训练的Transformer的输出。基于CNN的定时检测器也被训练来检测适当的输出定时，其中由两个变压器生成的字幕变得彼此足够接近。通过联合训练的Transformer和定时检测器，可以在事件触发的视频剪辑的早期阶段生成字幕，只要事件发生或可以预测。使用ActivityNet Captions数据集进行的实验表明，我们的方法使用整个视频片段实现了预先训练的Transformer给出的上限的94%的字幕质量，仅使用了从开始的28%的帧。
2021-08-04 cs.CL cs.CV
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
近年来，Transformer结构已经广泛应用于图像描述中，并具有令人印象深刻的性能。为了获得良好的字幕效果，不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述，提出了一种改进的几何注意力Transformer（GAT）模型.为了进一步利用几何信息，两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外，该模型还包括两个工作模块：1）几何门控自注意细化器，用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2）一组位置LSTM，用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明，该方法具有较好的效果，并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
使用基于编码器-解码器的方法的图像描述，其中CNN用作编码器，并且序列生成器如RNN用作解码器，已被证明是非常有效的。然而，这种方法有一个缺点，那就是序列需要按顺序处理。为了克服这个缺点，一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而，没有一个使用Transformer模型生成孟加拉语字幕。因此，我们利用三个不同的孟加拉语数据集，使用Transformer模型从图像中生成孟加拉语字幕。此外，我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后，我们比较了基于transformer的模型的结果与其他模型，采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而，在不同粒度的多模态的时间结构很少探索，如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中，我们提出了一种新的层次对齐的跨模态注意力（HACA）框架学习和选择性地融合不同模态的全局和局部时间动态。此外，我们首次验证了深度音频特征在视频描述任务上的优越性能。最后，我们的HACA模型显著优于以前的最佳系统，并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
CPTR: Full Transformer Network for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们认为图像描述任务从一个新的序列到序列的预测的角度来看，并提出了CPTR（CPTR），它需要序列化的原始图像作为输入到Transformer。与“CNN+Transformer”设计范式相比，我们的模型可以从一开始就在每个编码器层对全局上下文进行建模，并且完全无卷积。大量的实验证明了所提出的模型的有效性，我们超越了传统的“CNN+Transformer”的方法在MSCOCO数据集。此外，我们提供了详细的可视化的自我注意之间的补丁在编码器和“字到补丁”的注意在解码器感谢完整的Transformer架构。
2021-01-28 cs.CV
Image Captioning through Image Transformer
University of Surrey（萨里大学）；Leibniz University of Hanover（莱布尼茨汉诺威大学）；Nokia Technologies（诺基亚技术公司）；University of Twente（特温特大学）；University of Glasgow（格拉斯哥大学）
图像的自动字幕是一项结合了图像分析和文本生成的挑战的任务。字幕的一个重要方面是注意力的概念：如何决定描述什么以及以什么顺序。受文本分析和翻译成功的启发，以前的工作提出了用于图像描述的\textit{transformer}架构。然而，图像中的\textit{semantic units}（通常是来自目标检测模型的检测区域）和句子（每个单词）之间的结构是不同的。为了使Transformer的内部架构适应图像，已经做了有限的工作。在这项工作中，我们介绍了\textbf{\textit{image transformer}}，它包括一个修改的编码Transformer和一个隐式解码Transformer，动机的图像区域之间的相对空间关系。我们的设计扩展了原有的Transformer层的内部架构，以适应图像的结构。只有区域特征作为输入，我们的模型在MSCOCO离线和在线测试基准上都实现了新的最先进的性能。
2020-10-02 cs.CV
Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）；Monitorapp（Monitorapp公司）；Dankook University（檀国大学）
图像和视频中场景理解的自动转录是迈向人工通用智能的一步。图像描述是使用计算机视觉技术描述图像中有意义信息的术语。自动化图像描述技术利用编码器和解码器架构，其中编码器从图像提取特征并且解码器生成转录本。在这项工作中，我们调查了两个未开发的想法图像描述使用Transformers：首先，我们证明了使用对象的相关性在周围环境中的执法。第二，学习标签和语言结构之间的明确关联。我们提出了标记注意力Transformer与几何相干对象（LATGeO）。所提出的技术获得了一个建议的几何连贯的对象，使用深度神经网络（DNN）和生成字幕，通过调查他们的关系，使用标签注意模块。使用提案的几何特性的局部化比率来定义对象相干性。标签关注模块使用自关注层将提取的对象类与可用字典相关联。实验结果表明，对象在周围环境中的相关性和结合他们的视觉特征与他们的几何定位率结合其相关的标签有助于定义有意义的字幕。所提出的框架进行了测试的MSCOCO数据集，并在整体上更好的定量分数的全面评估，宣布其优越性。
2021-09-16 cs.AI cs.CV
Enhancing image captioning with depth information using a Transformer-based framework
Faculty of Computers and Information（计算机与信息学院）；Assiut University（艾斯尤特大学）
本文提出基于Transformer的编码器-解码器框架，通过融合RGB图像与深度信息生成3D场景多句描述，并清理NYU-v2数据集以提升深度信息利用效果。
2023-07-24 cs.AI cs.CL cs.CV
SBAT: Video Captioning with Sparse Boundary-Aware Transformer
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Baidu Research（百度研究院）；Alibaba Group（阿里巴巴集团）；Department of Computer Science, Binghamton University（宾汉姆顿大学计算机科学系）
本文主要研究如何将Transformer结构有效地应用于视频描述中。香草Transformer是为单模态语言生成任务，如机器翻译。然而，视频描述是一个多模态学习问题，视频特征在不同时间步长之间存在大量冗余。基于这些问题，我们提出了一种新的方法称为稀疏边界感知Transformer（SBAT），以减少冗余的视频表示。SBAT采用边界感知的池化操作，从不同的场景中选择不同的特征。此外，SBAT还包括一个局部相关方案，以补偿稀疏操作带来的局部信息损失。基于SBAT，我们进一步提出了一个对齐的跨模态编码方案，以提高多模态交互。在两个基准数据集上的实验结果表明，SBAT在大多数指标下都优于现有的方法。
2020-07-23 cs.CL cs.CV cs.LG
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.（InnoPeak科技公司）；Stony Brook University（石溪大学）
图像描述通过使用场景图来表示图像中对象的关系，能够实现更好的性能。目前的字幕编码器通常使用图卷积网络（GCN）来表示关系信息，并通过级联或卷积将其与对象区域特征合并，以获得用于句子解码的最终输入。然而，由于两个原因，现有方法中基于GCN的编码器对于字幕效果较差。首先，使用图像描述作为目标（即，最大似然估计）而不是以关系为中心的损失不能充分发掘编码器的潜力。其次，使用预先训练的模型而不是编码器本身来提取关系是不灵活的，并且不能有助于模型的可解释性。为了提高图像描述的质量，我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征，并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型，将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕，而且可以提取强关系的图像特征，还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明，我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
Semi-Autoregressive Transformer for Image Captioning
Hefei University of Technology（合肥工业大学）；Tencent AI Lab（腾讯AI实验室）；Key Laboratory of Knowledge Engineering with Big Data (Ministry of Education)（大数据知识工程教育部重点实验室）
当前最先进的图像描述模型采用自回归解码器\ie，它们通过调节先前生成的单词来生成每个单词，这导致推理期间的严重延迟。为了解决这个问题，最近提出了非自回归图像描述模型，通过并行生成所有单词来显著加快推理速度。然而，这些非自回归模型不可避免地遭受大的生成质量下降，因为他们删除字依赖过度。为了在速度和质量之间取得更好的平衡，我们引入了一个用于图像描述~的半自回归模型（SATIC），该模型在全局上保持自回归特性，但在局部上生成单词。在Transformer的基础上，只需要做一些修改就可以实现SATIC。在MSCOCO图像描述基准测试上的实验结果表明，SATIC可以实现良好的权衡，而无需花里胡哨。代码可在{ \color{magenta} \url{https://github.com/YuanEZhou/satic} }获得。
2021-08-17 cs.CV
End-to-End Attention-based Image Captioning
在本文中，我们解决的问题，图像描述专门为分子翻译的结果将是一个预测的化学符号InChI格式为一个给定的分子结构。目前的方法主要遵循基于规则或基于CNN+RNN的方法。然而，它们在噪声图像和具有少量可区分特征的图像上似乎表现不佳。为了克服这一点，我们提出了一个端到端的Transformer模型。与基于注意力的技术相比，我们提出的模型在分子数据集上表现出色。
2021-04-30 cs.AI cs.CV
MAMI: Multi-Attentional Mutual-Information for Long Sequence Neuron Captioning
Brawijaya University（布拉维贾亚大学）
针对MILAN在长序列神经元描述上表现不佳的问题，本文提出MAMI方法，通过融合多种注意力机制提升性能，在复合数据集上取得了更高的BLEU和F1-Score。
2024-01-05 cs.AI cs.CL cs.CV
VCRScore: Image captioning metric based on V\&L Transformers, CLIP, and precision-recall
针对图像描述任务评估指标长期停滞的问题，本文提出基于V&L Transformers、CLIP和精确率-召回率的新评估指标VCRScore，构建人工标注数据集作为真实标签，实验证明其性能优于现有经典及新指标。
2025-01-27 cs.CL cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Meta AI；Simon Fraser University（西蒙菲莎大学）
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而，尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来，但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中，我们提出了UniT 3D，一个简单而有效的完全统一的基于变压器的架构，共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案，可以在两个任务中学习强大的多模态表示。通过通用架构设计，UniT 3D允许将预训练范围扩展到更多不同的训练源，例如来自2D先验知识的合成数据，以利于3D视觉语言任务。大量的实验和分析表明，UniT 3D获得了显着的收益，为3D密集字幕和视觉接地。
2022-12-01 cs.CV
Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
New York University（纽约大学）
本研究在MS-COCO数据集上基准测试了基于注意力机制的图像描述模型，证明其相比RNN能生成更准确、语义更丰富的描述，并提升与人工评估的对齐性。
2025-02-26 cs.CL cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；National Institute of Technology Durgapur（德里apur国立学院）；Durgapur, India（印度德里apur）
提出基于高斯混合模型和EM算法的概率Transformer，将自注意力复杂度从二次降至线性，在Flickr30K上实现高效图像描述。
2026-06-16 cs.AI cs.CV
Neighborhood Contrastive Transformer for Change Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
变化字幕是用自然语言描述一对相似图像之间的语义变化。它比一般的图像描述更具挑战性，因为它需要捕获细粒度的变化信息，同时不受无关视点变化的影响，并解决变化描述中的语法歧义。本文提出了一种邻域对比变换器Transformer，以提高模型对不同场景下各种变化的感知能力和对复杂句法结构的认知能力。具体地说，我们首先设计了一个邻近特征聚合，将邻近上下文集成到每个特征中，这有助于在显著参照物的指导下快速定位不显著的变化。然后，我们设计了一个共同特征提取方法，在邻域水平上对两幅图像进行比较，从每幅图像中提取共同的属性，从而学习它们之间有效的对比信息。最后，我们引入单词之间的显式依赖来校准Transformer解码器，这有助于在训练期间更好地理解复杂的语法结构。大量的实验结果表明，所提出的方法实现了国家的最先进的性能在三个公共数据集与不同的变化场景。该代码可在https://github.com/tuyunbin/NCT上获得。
2023-03-06 cs.CL cs.CV cs.MM
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
Adaptively Aligned Image Captioning via Adaptive Attention Time
Peking University（北京大学）；Macau University of Science and Technology（澳门科技大学）；Peng Cheng Laboratory（鹏城实验室）
最近的图像描述的神经模型通常采用具有注意力机制的编码器-解码器框架。然而，这种框架中的注意力机制将一个单个（关注的）图像特征向量对准到一个字幕词，假设从源图像区域和目标字幕词的一对一映射，这是永远不可能的。在本文中，我们提出了一种新的注意力模型，即自适应注意时间（AAT），对准源和目标自适应图像描述字幕。AAT允许框架学习在每个解码步骤中要采取多少注意步骤来输出字幕词。利用AAT，图像区域可以被映射到任意数量的字幕词，而字幕词也可以涉及任意数量的图像区域。AAT是确定性的和可微的，并且不引入任何噪声的参数梯度。在本文中，我们的经验表明，AAT提高了国家的最先进的方法上的任务图像描述。代码可在https://github.com/husthuaan/AAT上获得。
2020-01-06 cs.CL cs.CV
Boosted Attention: Leveraging Human Attention for Image Captioning
Department of Computer Science and Engineering, University of Minnesota（明尼苏达大学计算机科学与工程系）
视觉注意力在图像描述中已经显示出有用性，其目的是使字幕模型能够选择性地聚焦于感兴趣区域。现有的模型通常依赖于自上而下的语言信息，并通过优化字幕目标来隐式地学习注意力。虽然有些有效，但学习的自上而下的注意力在没有直接监督的情况下可能无法集中在正确的兴趣区域。受人类视觉系统的启发，它不仅是由特定于任务的自上而下的信号，但也是视觉刺激，我们在这项工作中提出使用这两种类型的注意图像描述。特别是，我们强调了这两种类型的注意力的互补性，并开发了一个模型（提升注意力），将它们整合为图像描述。我们验证了所提出的方法与国家的最先进的性能在各种评估指标。
2019-03-18 cs.CV
Prophet Attention: Predicting Attention with Future Attention for Image Captioning
Peking University（北京大学）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
本文提出先知注意力模块，利用未来信息计算理想注意力权重以正则化解码中的焦点偏移问题，可嵌入现有图像描述模型，并在Flickr30k Entities和MSCOCO上取得最优性能。
2023-04-11 cs.CL cs.CV
AGIC: Attention-Guided Image Captioning to Improve Caption Relevance
NIT Silchar（NIT西里char）；TCS Research, Hyderabad（TCS研究 Hyderabad）；SVNIT Surat, India（SVNIT Surat印度）
本文提出AGIC框架，通过在特征空间放大显著视觉区域引导描述生成，并引入混合解码策略平衡流畅性与多样性，在Flickr8k和Flickr30k上实验表明其性能超越多个先进模型且推理更快。
2025-08-09 cs.AI cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Neural Attention for Image Captioning: Review of Outstanding Methods
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
图像描述是自动生成以最佳方式描述输入图像的句子的任务。自动生成图像字幕的最成功的技术最近使用了专注深度学习模型。具有注意力的深度学习模型的设计方式有很多变化。在本次调查中，我们提供了与图像描述的专注深度学习模型相关的文献综述。我们没有对深度图像描述模型的所有先前工作进行全面回顾，而是解释了用于深度学习模型中图像描述任务的各种类型的注意力机制。用于图像描述的最成功的深度学习模型遵循编码器-解码器架构，尽管这些模型采用注意力机制的方式存在差异。通过对不同注意深度模型在图像描述中的表现结果的分析，旨在寻找最成功的图像描述深度模型中的注意力机制类型。软注意、自下而上注意和多头注意力是在用于图像描述的最先进的注意深度学习模型中广泛使用的注意力机制类型。目前，最好的结果是从具有自下而上注意力的多头注意力的变体中获得的。
2021-11-29 cs.CV
Watch What You Just Said: Image Captioning with Text-Conditional Attention
University of Michigan（密歇根大学）；University of Rochester（罗切斯特大学）
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。然而，现有的方法仅使用视觉内容作为注意力，文本上下文是否可以提高图像描述中的注意力仍然没有解决。为了探索这个问题，我们提出了一种新型的注意力机制，称为\textit{text-conditional attention}，它允许字幕生成器关注先前生成的文本的某些图像特征。为了获得我们的注意力模型的文本相关图像特征，我们采用了引导性长短期记忆（gLSTM）字幕架构和CNN微调。我们提出的方法允许联合学习的图像嵌入，文本嵌入，文本条件注意和语言模型与一个网络架构在一个端到端的方式。我们在MS-COCO数据集上进行了大量的实验。实验结果表明，我们的方法优于国家的最先进的字幕方法的各种定量指标，以及在人类的评价，这支持使用我们的文本条件注意在图像描述。
2016-11-24 cs.CV
A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning
针对遥感图像描述模型计算成本高且忽视边缘等细粒度结构的问题，本文提出结合 GPT-2 蒸馏解码器、知识蒸馏与边缘感知增强的轻量级 Transformer，显著提升描述质量。
2025-06-11 cs.CV
Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning
Dr.Vishwanath Karad MIT World Peace University（维什瓦纳特·卡拉德博士MIT世界和平大学）
在当前生成智能时代的全球化世界中，大多数体力劳动任务都是自动化的，效率更高。这可以帮助企业节省时间和金钱。生成智能的一个关键组成部分是视觉和语言的整合。因此，图像描述成为一个有趣的研究领域。研究人员曾多次尝试用不同的深度学习架构来解决这个问题，虽然准确率有所提高，但结果仍不达标。这项研究将Transformer和LSTM与MS-COCO数据集上的注意力块模型进行了比较，MS-COCO数据集是图像描述的标准数据集。对于这两个模型，我们使用预训练的Inception-V3 CNN编码器进行图像的特征提取。双语评价替补评分（BLEU）用于检查两个模型生成的字幕的准确性。随着Transformer和具有注意力块模型的LSTM，CLIP-扩散模型，M2-Transformer模型和X-线性注意力模型已经以最先进的精度进行了讨论。
2023-03-05 cs.CV cs.LG
Spatial Attention as an Interface for Image Captioning Models
University of Potsdam（波茨坦大学）
现代深度学习模型的内部工作原理对于外部观察者来说通常是不清楚的，尽管涉及空间注意力机制。这项工作的想法是将这些空间注意力转换为自然语言，以提供一个更简单的访问模型的功能。因此，我采取了一个神经图像描述模型，并测量了三种不同的接口方法在其空间注意力的外部修改的反应：固定在整个生成过程中，固定的第一时间步骤和除了发电机的注意力。基于限界框的空间注意力向量的实验结果表明，字幕模型对方法相关变化的反应高达52.65%，并包括9.00%的情况下，对象类别，这是否则未提及。然后，通过提取视觉问答的词、短语和问题层次的空间注意，建立了一个层次共注意网络。在这里，为单词级别生成的字幕包括高达55.20%的情况下的问答对的细节。这项工作表明，空间注意作为一个外部接口的图像字幕生成器是一个有用的方法来访问视觉功能的自然语言。
2020-09-29 cs.CL cs.CV
Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
Virginia Tech（弗吉尼亚理工大学）；Salesforce Research（Salesforce研究院）；Georgia Institute of Technology（佐治亚理工学院）
基于注意力的神经编码器-解码器框架已被广泛用于图像描述。大多数方法强制视觉注意力对每个生成的单词都是活跃的。然而，解码器可能需要很少或不需要来自图像的视觉信息来预测诸如“the”和“of”的非视觉词。可能看起来可视的其他单词通常可以仅从语言模型可靠地预测，在“红灯后”后面加上“sign”，或者在“talking on a cell”后面加上“phone”。在本文中，我们提出了一种新的自适应注意力模型与视觉哨兵。在每个时间步，我们的模型决定是否关注图像（如果是，则关注哪些区域）或视觉哨兵。该模型决定是否关注图像以及在哪里，以便提取有意义的信息用于顺序单词生成。我们在COCO图像描述2015挑战数据集和Flickr 30 K上测试了我们的方法。我们的方法将新的最先进的技术设置为显著的优势。
2017-06-06 cs.AI cs.CV
Figure Captioning with Reasoning and Sequence-Level Training
Ohio University（俄亥俄大学）；Adobe Research（奥多比研究）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
条形图、饼图和折线图等图形广泛用于以简洁的格式传达重要信息。它们通常对人类友好，但计算机难以自动处理。在这项工作中，我们调查的问题，图字幕的目标是自动生成一个自然语言描述的数字。虽然自然图像描述已经被广泛地研究，但图形字幕受到的关注相对较少，并且仍然是一个具有挑战性的问题。首先，我们介绍了一个新的数据集的图形字幕，FigCAP，基于FigureQA。其次，我们提出了两种新的注意力机制。为了实现数字中标签的准确生成，我们提出了标签地图注意力。为了对图形标签之间的关系进行建模，我们提出了关系映射注意力。第三，我们使用序列级训练和强化学习，以直接优化评估指标，这消除了曝光偏差问题，并进一步改进了生成长字幕的模型。大量的实验表明，所提出的方法优于基线，从而展示了巨大的数据库的自动字幕的显着潜力。
2019-06-07 cs.CL cs.CV
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Science and Technology Beijing（北京科技大学）；Wuhan University（武汉大学）；University of Chinese Academy of Sciences（中国科学院大学）
自注意网络在图像描述中显示出了重要的应用价值。为了提高图像描述的性能，本文从两个方面对SA进行了改进。首先，我们提出了标准化的自我注意力（NSA），SA的重新参数化，带来了SA内部规范化的好处。虽然规范化以前只适用于SA外，我们介绍了一种新的规范化方法，并证明它是可能的和有益的执行SA内的隐藏激活。其次，为了弥补Transformer的主要限制，它无法建模的输入对象的几何结构，我们提出了一类几何感知的自我注意（GSA），扩展SA显式和有效地考虑图像中的对象之间的相对几何关系。为了构建我们的图像描述模型，我们将这两个模块结合起来，并将其应用于香草自我注意力网络。我们广泛地评估我们的建议MS-COCO图像描述数据集和优越的结果相比，国家的最先进的方法时，取得了。在视频描述、机器翻译和视觉问答三个具有挑战性的任务上的进一步实验表明了我们方法的通用性。
2020-03-19 cs.CL cs.CV cs.MM
Image captioning with weakly-supervised attention penalty
UCLA（加州大学洛杉矶分校）；UC Merced（加州大学默塞德分校）
故事对家谱研究至关重要，因为它们可以帮助人们建立情感联系。很多家庭故事都保留在历史照片和相册中。图像描述模型的最新发展使得自动为照片“讲故事”成为可能。由于注意力机制可以在视觉部分和语言部分之间架起一座桥梁，因此在许多基于编码器-解码器的图像描述模型中被广泛采用。大多数现有的字幕模型隐含地训练注意模块与词的可能性损失。与此同时，大量的研究采用基于梯度的方法来研究视觉模型的内在注意力。理想情况下，由字幕模型预测的注意力地图应该与任何给定视觉概念的视觉模型的内在注意力一致。然而，没有工作已经做了调整内隐学习的注意力地图与内在的视觉注意。在本文中，我们提出了一个新的模型，衡量字幕预测注意力和内在视觉注意力之间的一致性。这种对齐丢失允许明确的注意力校正，而无需使用任何昂贵的限界框注释。我们在COCO数据集以及来自Ancestry.com Operations Inc.的系谱数据集上开发和评估了我们的模型，它包含了数十亿张历史照片该模型在两个数据集的所有常用语言评估指标上都取得了更好的性能。
2019-03-06 cs.CV
Gated Hierarchical Attention for Image Captioning
City University of Hong Kong（香港城市大学）
连接编码器和解码器的注意力模块已广泛应用于目标识别、图像描述、视觉问答和神经机器翻译等领域，并显著提高了性能。在本文中，我们提出了一个自底向上的门控分层注意（GHA）机制的图像描述。我们提出的模型采用CNN作为解码器，它能够在不同的层学习不同的概念，显然，不同的概念对应于图像的不同区域。因此，我们开发了GHA，其中低级别的概念被合并到高级别的概念，同时低级别的关注功能传递到顶部进行预测。我们的GHA显著提高了仅应用一级注意力的模型的性能，例如，CIDER分数从0.923增加到0.999，这与采用属性提升和强化学习（RL）的最先进模型相当。我们还进行了大量的实验来分析CNN解码器和我们提出的GHA，我们发现更深的解码器不能获得更好的性能，当卷积解码器变得更深时，模型很可能在训练过程中崩溃。
2018-10-31 cs.AI cs.CV
Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Tencent Youtu Lab（腾讯云图实验室）；Tsinghua University（清华大学）
基于变换器的体系结构在图像描述中取得了巨大的成功，其中对象区域被编码，然后被加入到矢量表示中以指导字幕解码。然而，这种矢量表示只包含区域级信息，而没有考虑反映整个图像的全局信息，这未能扩展图像描述中复杂多模态推理的能力。在本文中，我们引入了一个全球增强的Transformer（简称GET），使提取更全面的全球表示，然后自适应地引导解码器生成高质量的字幕。在GET中，设计了全局增强编码器用于全局特征的嵌入，设计了全局自适应解码器用于指导字幕的生成。前者模型内和层间的全局表示，利用所提出的全球增强注意力和逐层融合模块。后者包含一个全局自适应控制器，它可以自适应地将全局信息融合到解码器中，以指导字幕生成。在MS COCO数据集上的大量实验表明，我们的GET优于许多国家的艺术。
2020-12-13 cs.CV
Image Captioning: Transforming Objects into Words
Yahoo Research（雅虎研究院）
图像描述模型通常遵循编码器-解码器架构，其使用抽象图像特征向量作为编码器的输入。最成功的算法之一是使用从对象检测器获得的区域建议中提取的特征向量。在这项工作中，我们介绍了对象关系Transformer，建立在这种方法的基础上，明确地将通过几何注意输入检测对象之间的空间关系的信息。定量和定性的结果表明，这种几何注意图像描述的重要性，导致所有常见的字幕度量的MS-COCO数据集上的改进。
2020-01-11 cs.CL cs.CV
Inserting Faces inside Captions: Image Captioning with Attention Guided Merging
Moments Lab Research（Moments Lab 研究院）
本文提出 AstroCaptions 数据集和一种基于可解释AI与视觉-语言模型的后处理方法，将识别出的人物姓名插入图像字幕，显著提升字幕质量并减少幻觉。
2024-03-20 cs.AI cs.CL cs.CV
Text-guided Attention Model for Image Captioning
POSTECH（浦项科技大学）
视觉注意在图像理解中起着重要的作用，并在生成图像的自然语言描述中表现出其有效性。另一方面，最近的研究表明，与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发，我们引入了一个文本引导的注意力模型的图像描述，学习驱动视觉注意力使用相关的字幕。对于这个模型，我们提出了一个基于范例的学习方法，检索从训练数据相关的标题与每个图像，并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型，并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务，视频描述的目的是产生描述的视频数据。近年来，基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中，注意力权重往往是根据单个通道的信息建立的，而忽略了多个通道之间的关联关系。基于此，本文提出了一种基于高阶跨模态注意（HOCA）的视频描述模型，该模型基于高阶相关张量计算注意权值，以充分捕捉不同模态之间的帧级跨模态交互。此外，我们新颖地引入了低秩HOCA，它采用张量分解，以减少非常大的空间需求的HOCA，导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明，低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
图像描述最近得到了很多关注，这要归功于深度字幕架构所取得的令人印象深刻的成就，深度字幕架构结合了卷积神经网络来提取图像表示，并结合了递归神经网络来生成相应的字幕。与此同时，一个重要的研究工作一直致力于显着性预测模型的发展，它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构，研究仍然在努力将这两种技术结合起来。在这项工作中，我们提出了一个图像描述的方法，其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题，通过利用由显着性预测模型上的图像的部分是显着的，哪些是上下文的条件。我们表明，通过对大规模数据集进行广泛的定量和定性实验，我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Paying Attention to Descriptions Generated by Image Captioning Models
Aalto University（阿尔托大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Central Florida（中佛罗里达大学）
为了弥合人类和机器在图像理解和描述方面的差距，我们需要进一步了解人们如何描述感知场景。在本文中，我们研究了自下而上的基于显着性的视觉注意和场景描述结构中的对象引用之间的协议。我们调查的性质，人类书面的描述和机器生成的。然后，我们提出了一个显着性增强的图像描述模型，以调查从低级别的线索在语言模型的好处。我们了解到，（1）人类在描述中提到更突出的对象比不太突出的对象更早，（2）字幕模型表现得越好，它与人类描述的注意力一致性就越好，（3）与其基线形式相比，所提出的显着性增强模型在MS COCO数据库上没有显着改善，表明当任务在数据上被很好地学习和调整时，显式自下而上的提升没有帮助，（4）然而，对于未看到的数据，对于显著性提升的模型观察到更好的泛化。
2017-08-04 cs.AI cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
Scaling Up Vision-Language Pre-training for Image Captioning
Microsoft（微软）
近年来，基于视觉语言预训练（VLP）的图像描述任务的性能得到了显著提高。规模被认为是这一进步的重要因素。然而，大多数现有的工作只集中在预训练具有中等大小的Transformers（例如，12或24层），大约400万张图像。在本文中，我们提出了LEMON，一个大规模的图像captiONer，并提供了第一个实证研究的缩放行为的VLP的图像描述。我们使用最先进的VinVL模型作为我们的参考模型，该模型由图像特征提取器和Transformer模型组成，并将Transformer上下缩放，模型大小从1300万到6.75亿参数不等。在数据方面，我们进行了多达2亿的图像-文本对，这是自动收集的基础上的alt属性的图像（称为ALT 200 M）从Web上的实验。随着模型大小和预训练数据大小的增加，广泛的分析有助于表征性能趋势。我们还比较了不同的训练配方，特别是在大规模噪声数据上的训练。因此，LEMON在几个主要的图像描述基准上达到了新的技术水平，包括COCO Caption、nocaps和Conceptual Captions。我们还表明，LEMON可以产生长尾视觉概念的字幕时，在zero-shot的方式使用。
2022-03-26 cs.CL cs.CV
Text with Knowledge Graph Augmented Transformer for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；ByteDance Inc.（字节跳动公司）
视频描述旨在使用自然语言描述视频的内容。虽然已经取得了重大进展，但对于实际应用程序来说，仍然有很大的空间来提高性能，主要是由于长尾词的挑战。在本文中，我们提出了一个文本与知识图谱增强Transformer（TextKG）的视频描述。值得注意的是，TextKG是一个双流Transformer，由外部流和内部流组成。外部流被设计为吸收附加知识，其对附加知识之间的交互进行建模，例如，预先构建的知识图谱，以及视频的内置信息，例如，显著对象区域、语音转录和视频字幕，以减轻长尾词挑战。同时，内部流被设计为利用视频中的多模态信息（例如，视频帧、语音转录和视频字幕的外观）以确保字幕结果的质量。此外，在两个流之间还使用交叉注意力机制来共享信息。通过这种方式，两个流可以相互帮助，获得更准确的结果。在四个具有挑战性的视频描述数据集上进行了广泛的实验，即，YouCookII，ActivityNet Captions，MSRVTT和MSVD，表明所提出的方法与最先进的方法相比表现良好。具体来说，所提出的TextKG方法通过在YouCookII数据集上提高18.7%的绝对CIDER分数，优于最好的公布结果。
2023-03-25 cs.CV
Image Captioning In the Transformer Age
Southeast University（东南大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
图像描述（IC）通过将各种技术结合到CNN-RNN编码器-解码器架构中而取得了惊人的发展。然而，由于CNN和RNN不共享基本网络组件，因此这种异构流水线难以端到端地训练，其中视觉编码器将不会从字幕监督中学习任何东西。这一缺陷激发了研究人员开发一种促进端到端训练的同构架构，其中Transformer是完美的架构，它已被证明在视觉和语言领域具有巨大潜力，因此可以用作IC流水线中视觉编码器和语言解码器的基本组件。同时，自监督学习释放了Transformer架构的力量，预先训练的大规模学习可以推广到包括IC在内的各种任务。这些大规模模型的成功似乎削弱了单一IC任务的重要性。然而，我们通过分析IC与一些流行的自监督学习范式之间的联系，证明IC在这个时代仍然有其特定的意义。由于篇幅限制，我们在这个简短的调查中只提到非常重要的论文，更多相关的作品可以在https://github.com/SjokerLily/awesome-image-captioning上找到。
2022-04-15 cs.CV
