Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning
Dr.Vishwanath Karad MIT World Peace University（维什瓦纳特·卡拉德博士MIT世界和平大学）
在当前生成智能时代的全球化世界中，大多数体力劳动任务都是自动化的，效率更高。这可以帮助企业节省时间和金钱。生成智能的一个关键组成部分是视觉和语言的整合。因此，图像描述成为一个有趣的研究领域。研究人员曾多次尝试用不同的深度学习架构来解决这个问题，虽然准确率有所提高，但结果仍不达标。这项研究将Transformer和LSTM与MS-COCO数据集上的注意力块模型进行了比较，MS-COCO数据集是图像描述的标准数据集。对于这两个模型，我们使用预训练的Inception-V3 CNN编码器进行图像的特征提取。双语评价替补评分（BLEU）用于检查两个模型生成的字幕的准确性。随着Transformer和具有注意力块模型的LSTM，CLIP-扩散模型，M2-Transformer模型和X-线性注意力模型已经以最先进的精度进行了讨论。
2023-03-05 cs.CV cs.LG
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida（佛罗里达大学）
视频描述主要研究两个基本概念：特征检测和特征合成。虽然现代Transformers在构成特征上是有益的，但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加，包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中，我们引入了一个新的概念，自我意识的组成Transformer（SACT），能够产生多项式注意力（MultAtt），这是一种生成各种组合的帧的分布。此外，多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来，这对自然语言分类很好，但对视频描述有局限性。视频内容具有重复，并且需要解析重要内容以更好地内容合成。在这项工作中，我们已经引入了SACT更多的选择性注意，并结合他们为不同的注意力头更好地捕捉可用的内容，为任何应用程序。为了解决多样化的问题，并鼓励选择性利用，我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集，如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
Attention-based transformer models for image captioning across languages: An in-depth survey and evaluation
The University of Jordan（约旦大学）；Princess Sumaya University for Technology（苏曼亚公主科技大学）
本文系统综述了基于注意力机制的跨语言图像描述Transformer模型，分类梳理方法、数据集与评估指标，指出多语言场景下的关键挑战，并提出多模态学习与实时应用等未来方向。
2025-06-03 cs.AI cs.CL cs.CV
Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers
Mitsubishi electric research laboratories（三菱电机研究实验室）
视频描述是理解场景、用自然语言描述事件的必要技术。为了将其应用于实时监控，系统不仅需要准确地描述事件，而且还需要尽快产生字幕。需要低延迟字幕来实现这样的功能，但是用于在线视频描述字幕的这一研究领域尚未被追求。本文提出了一种新的方法来优化每个字幕的输出时间之间的权衡延迟和字幕质量的基础上。视听变换器被训练为仅使用所有视频帧的一小部分来生成地面实况字幕，并且模仿所有帧都被给予的预先训练的Transformer的输出。基于CNN的定时检测器也被训练来检测适当的输出定时，其中由两个变压器生成的字幕变得彼此足够接近。通过联合训练的Transformer和定时检测器，可以在事件触发的视频剪辑的早期阶段生成字幕，只要事件发生或可以预测。使用ActivityNet Captions数据集进行的实验表明，我们的方法使用整个视频片段实现了预先训练的Transformer给出的上限的94%的字幕质量，仅使用了从开始的28%的帧。
2021-08-04 cs.CL cs.CV
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
近年来，Transformer结构已经广泛应用于图像描述中，并具有令人印象深刻的性能。为了获得良好的字幕效果，不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述，提出了一种改进的几何注意力Transformer（GAT）模型.为了进一步利用几何信息，两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外，该模型还包括两个工作模块：1）几何门控自注意细化器，用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2）一组位置LSTM，用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明，该方法具有较好的效果，并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
Bornon: Bengali Image Captioning with Transformer-based Deep learning approach
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
使用基于编码器-解码器的方法的图像描述，其中CNN用作编码器，并且序列生成器如RNN用作解码器，已被证明是非常有效的。然而，这种方法有一个缺点，那就是序列需要按顺序处理。为了克服这个缺点，一些研究人员已经利用Transformer模型从使用英语数据集的图像生成字幕。然而，没有一个使用Transformer模型生成孟加拉语字幕。因此，我们利用三个不同的孟加拉语数据集，使用Transformer模型从图像中生成孟加拉语字幕。此外，我们比较了基于变换器的模型与基于视觉注意力的编码器-解码器方法的性能。最后，我们比较了基于transformer的模型的结果与其他模型，采用不同的孟加拉语图像描述数据集。
2021-09-11 cs.CV
CPTR: Full Transformer Network for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们认为图像描述任务从一个新的序列到序列的预测的角度来看，并提出了CPTR（CPTR），它需要序列化的原始图像作为输入到Transformer。与“CNN+Transformer”设计范式相比，我们的模型可以从一开始就在每个编码器层对全局上下文进行建模，并且完全无卷积。大量的实验证明了所提出的模型的有效性，我们超越了传统的“CNN+Transformer”的方法在MSCOCO数据集。此外，我们提供了详细的可视化的自我注意之间的补丁在编码器和“字到补丁”的注意在解码器感谢完整的Transformer架构。
2021-01-28 cs.CV
Image Captioning through Image Transformer
University of Surrey（萨里大学）；Leibniz University of Hanover（莱布尼茨汉诺威大学）；Nokia Technologies（诺基亚技术公司）；University of Twente（特温特大学）；University of Glasgow（格拉斯哥大学）
图像的自动字幕是一项结合了图像分析和文本生成的挑战的任务。字幕的一个重要方面是注意力的概念：如何决定描述什么以及以什么顺序。受文本分析和翻译成功的启发，以前的工作提出了用于图像描述的\textit{transformer}架构。然而，图像中的\textit{semantic units}（通常是来自目标检测模型的检测区域）和句子（每个单词）之间的结构是不同的。为了使Transformer的内部架构适应图像，已经做了有限的工作。在这项工作中，我们介绍了\textbf{\textit{image transformer}}，它包括一个修改的编码Transformer和一个隐式解码Transformer，动机的图像区域之间的相对空间关系。我们的设计扩展了原有的Transformer层的内部架构，以适应图像的结构。只有区域特征作为输入，我们的模型在MSCOCO离线和在线测试基准上都实现了新的最先进的性能。
2020-10-02 cs.CV
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
当前最先进的图像描述方法采用基于区域的特征，因为它们提供了描述图像内容所必需的对象级信息;它们通常由诸如Faster R-CNN之类的对象检测器提取。然而，它们有几个问题，如缺乏上下文信息，不准确检测的风险，以及高计算成本。前两个可以通过额外使用基于网格的特征来解决。然而，如何提取和融合这两种类型的功能是未知的。本文提出了一种仅基于Transformer的神经架构，称为GRIT（Grid- and Region-based图像描述Transformer），它有效地利用了这两个视觉特征来生成更好的字幕。GRIT用基于DETR的检测器取代了以前方法中使用的基于CNN的检测器，使其计算速度更快。此外，它的单片设计仅由Transformers组成，可以实现模型的端到端训练。这种创新的设计和双重视觉功能的整合带来了显着的性能改善。在多个图像描述基准上的实验结果表明，GRIT在推理精度和速度上都优于以往的方法。
2022-07-20 cs.AI cs.CL cs.CV
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.（InnoPeak科技公司）；Stony Brook University（石溪大学）
图像描述通过使用场景图来表示图像中对象的关系，能够实现更好的性能。目前的字幕编码器通常使用图卷积网络（GCN）来表示关系信息，并通过级联或卷积将其与对象区域特征合并，以获得用于句子解码的最终输入。然而，由于两个原因，现有方法中基于GCN的编码器对于字幕效果较差。首先，使用图像描述作为目标（即，最大似然估计）而不是以关系为中心的损失不能充分发掘编码器的潜力。其次，使用预先训练的模型而不是编码器本身来提取关系是不灵活的，并且不能有助于模型的可解释性。为了提高图像描述的质量，我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征，并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型，将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕，而且可以提取强关系的图像特征，还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明，我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
Semi-Autoregressive Transformer for Image Captioning
Hefei University of Technology（合肥工业大学）；Tencent AI Lab（腾讯AI实验室）；Key Laboratory of Knowledge Engineering with Big Data (Ministry of Education)（大数据知识工程教育部重点实验室）
当前最先进的图像描述模型采用自回归解码器\ie，它们通过调节先前生成的单词来生成每个单词，这导致推理期间的严重延迟。为了解决这个问题，最近提出了非自回归图像描述模型，通过并行生成所有单词来显著加快推理速度。然而，这些非自回归模型不可避免地遭受大的生成质量下降，因为他们删除字依赖过度。为了在速度和质量之间取得更好的平衡，我们引入了一个用于图像描述~的半自回归模型（SATIC），该模型在全局上保持自回归特性，但在局部上生成单词。在Transformer的基础上，只需要做一些修改就可以实现SATIC。在MSCOCO图像描述基准测试上的实验结果表明，SATIC可以实现良好的权衡，而无需花里胡哨。代码可在{ \color{magenta} \url{https://github.com/YuanEZhou/satic} }获得。
2021-08-17 cs.CV
Automated Image Captioning with CNNs and Transformers
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
该项目融合计算机视觉与自然语言处理技术，构建自动图像描述系统，比较CNN-RNN与Transformer方法，通过注意力机制和超参数优化提升性能，并用BLEU、METEOR和CIDEr评估。
2024-12-13 cs.AI cs.CV
Retrieval-Augmented Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
图像描述模型旨在通过提供对输入图像的自然语言描述来连接视觉和语言。在过去的几年里，这项任务已经通过学习参数模型和提出视觉特征提取改进或通过建模更好的多模态连接来解决。在本文中，我们研究了一个图像描述方法与kNN记忆，知识可以从外部语料库检索，以帮助生成过程的发展。我们的架构结合了基于视觉相似性的知识检索器，可区分的编码器和kNN增强的注意力层，以根据过去的上下文和从外部存储器中检索的文本来预测令牌。在COCO数据集上进行的实验结果表明，采用显式外部存储器可以帮助生成过程并提高字幕质量。我们的工作开辟了新的途径，改善图像描述模型在更大的规模。
2022-08-22 cs.AI cs.CL cs.CV
VCRScore: Image captioning metric based on V\&L Transformers, CLIP, and precision-recall
针对图像描述任务评估指标长期停滞的问题，本文提出基于V&L Transformers、CLIP和精确率-召回率的新评估指标VCRScore，构建人工标注数据集作为真实标签，实验证明其性能优于现有经典及新指标。
2025-01-27 cs.CL cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Meta AI；Simon Fraser University（西蒙菲莎大学）
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而，尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来，但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中，我们提出了UniT 3D，一个简单而有效的完全统一的基于变压器的架构，共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案，可以在两个任务中学习强大的多模态表示。通过通用架构设计，UniT 3D允许将预训练范围扩展到更多不同的训练源，例如来自2D先验知识的合成数据，以利于3D视觉语言任务。大量的实验和分析表明，UniT 3D获得了显着的收益，为3D密集字幕和视觉接地。
2022-12-01 cs.CV
What a Whole Slide Image Can Tell? Subtype-guided Masked Transformer for Pathological Image Captioning
College of Engineering Peking University（北京大学工学院）
本文提出亚型引导掩码Transformer（SGMT），将全切片图像视为稀疏图像块序列进行病理描述生成，并通过亚型预测和非对称掩码机制提升训练效果，在PatchGastricADC22数据集上优于传统RNN方法。
2023-10-31 cs.AI cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya（马来亚大学）
随着深度模型的发展，在过去十年中，对图像描述的研究工作在原始性能方面取得了显着的进步，同时增加了模型复杂性和计算成本。然而，令人惊讶的是，用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究，我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构，即软注意，上下和对象关系Transformer。在此之后，我们提出了一种新的端到端的权重修剪方法，该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后，修剪方案扩展与编码器修剪，在那里我们表明，同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲，我们证明了80%到95%的稀疏网络（模型大小减少了75%）可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120，但模型大小仅为8.7 MB和14.5 MB（与密集版本相比，大小分别减少了96%和94%），可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
Neighborhood Contrastive Transformer for Change Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
变化字幕是用自然语言描述一对相似图像之间的语义变化。它比一般的图像描述更具挑战性，因为它需要捕获细粒度的变化信息，同时不受无关视点变化的影响，并解决变化描述中的语法歧义。本文提出了一种邻域对比变换器Transformer，以提高模型对不同场景下各种变化的感知能力和对复杂句法结构的认知能力。具体地说，我们首先设计了一个邻近特征聚合，将邻近上下文集成到每个特征中，这有助于在显著参照物的指导下快速定位不显著的变化。然后，我们设计了一个共同特征提取方法，在邻域水平上对两幅图像进行比较，从每幅图像中提取共同的属性，从而学习它们之间有效的对比信息。最后，我们引入单词之间的显式依赖来校准Transformer解码器，这有助于在训练期间更好地理解复杂的语法结构。大量的实验结果表明，所提出的方法实现了国家的最先进的性能在三个公共数据集与不同的变化场景。该代码可在https://github.com/tuyunbin/NCT上获得。
2023-03-06 cs.CL cs.CV cs.MM
Exploring and Distilling Cross-Modal Information for Image Captioning
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
近来，基于注意力的编码器-解码器模型已经广泛地用于图像描述中。然而，目前的方法仍然存在很大的困难，以实现深的图像理解。在这项工作中，我们认为，这种理解需要视觉上的关注相关的图像区域和语义关注感兴趣的连贯属性。基于Transformer模型，从跨模态的角度对图像描述进行了研究，提出了全局和局部信息挖掘与提取方法，对视觉和语言中的源信息进行挖掘和提取，以实现有效的注意。它通过提取显著区域分组和属性搭配，全局地提供基于字幕上下文的图像的空间和关系表示的方面向量，并参考方面向量局部地提取细粒度的区域和属性用于词选择。我们的基于Transformer的模型在COCO测试集上的离线COCO评估中获得了129.3的CIDER分数，在准确性，速度和参数预算方面具有显着的效率。
2020-03-15 cs.CL cs.CV cs.LG
Image captioning for Brazilian Portuguese using GRIT model
Alana AI Research（阿拉纳人工智能研究院）
本研究基于GRIT模型开发巴西葡萄牙语图像描述生成方法，通过调整模型在葡萄牙语数据集上训练，实现更高效的图像描述生成。
2024-02-07 cs.AI cs.CL cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University（世宗大学）；Ton Duc Thang University（孙德胜大学）；ASICLAND；Northeastern University（东北大学）；Deakin University（迪肯大学）
本研究介绍了我们在2021年越南语言和语音处理（VLSP）挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法，如图1所示。近年来，图像描述通常采用基于卷积神经网络的架构作为编码器，并采用长短期记忆（LSTM）作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器，但我们在编码器中使用Swin Transformer，在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数，并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
GCS-M3VLT: Guided Context Self-Attention based Multi-modal Medical Vision Language Transformer for Retinal Image Captioning
Georgia State University（佐治亚州立大学）
针对有限标注数据下视网膜图像描述的挑战，提出基于引导上下文自注意力机制的多模态视觉语言模型GCS-M3VLT，有效融合视觉与文本特征，在DeepEyeNet数据集上实现BLEU@4提升0.023。
2024-12-23 cs.CV cs.LG eess.IV
SEMT: Static-Expansion-Mesh Transformer Network Architecture for Remote Sensing Image Captioning
Austrian Institute of Technology（奥地利技术研究院）；University of Technology of Troyes（图卢兹技术大学）；Ho Chi Minh University of Technology（胡志明技术大学）；Ton Duc Thang University（-ton Duc Thang大学）
本文提出SEMT遥感图像描述网络架构，融合静态扩展、记忆增强自注意力与网格Transformer技术，在UCM-Caption和NWPU-Caption数据集上多数指标超越现有最优系统。
2025-07-17 cs.AI cs.CV
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning
针对遥感图像描述模型计算成本高且忽视边缘等细粒度结构的问题，本文提出结合 GPT-2 蒸馏解码器、知识蒸馏与边缘感知增强的轻量级 Transformer，显著提升描述质量。
2025-06-11 cs.CV
Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset
Instituto Federal do Espírito Santo (IFES)（巴西联邦大学埃斯皮里图圣安东尼奥理工学院）；École de Technologie Supérieure (ÉTS)（加拿大超技术学院）
本研究通过跨原生翻译数据集评估Transformer模型在巴西葡萄牙语图像描述生成中的表现，发现Swin-DistilBERTimbau表现优异，GPT-4在CLIP-Score上表现最佳，同时揭示了模型中的系统性偏见。
2026-01-30 cs.CL cs.CV cs.LG
Hyperparameter Analysis for Image Captioning
University of Toronto（多伦多大学）
在本文中，我们使用两种不同的架构对最先进的图像描述方法进行了彻底的敏感性分析：CNN+LSTM和CNN+Transformer。使用Flickr8k数据集进行实验。实验中最大的收获是，微调CNN编码器的性能优于基线和针对两种架构进行的所有其他实验。
2020-06-19 cs.CV cs.LG
Variational Transformer: A Framework Beyond the Trade-off between Accuracy and Diversity for Image Captioning
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
准确性和多样性是生成自然和语义正确的字幕的两个基本可度量表现。许多努力已经作出了加强其中一个与另一个衰减由于权衡差距。在这项工作中，我们将表明，从人类注释（留一）的准确性低标准提请不适合机器生成的字幕。为了提高多样性与坚实的准确性性能，我们利用了一种新的变分Transformer框架。通过引入“不可见信息先验”和“自动选择的GMM”，指导编码器学习不同场景中精确的语言信息和对象关系，以保证准确性。通过引入“范围-中位数奖励”基准，我们在基于RL的培训过程中保留了更多具有更高奖励的多元化候选人，以确保多元化。实验表明，我们的方法实现了准确性（CIDEr）和多样性（self-CIDEr）的同时提升，分别达到1.1%和4.8%。此外，与人类注释相比，我们的方法获得了最相似的语义检索性能，R@1（i2 t）为50.3（人类的50.6）。
2022-09-21 cs.CV cs.LG
Enhancing image captioning with depth information using a Transformer-based framework
Faculty of Computers and Information（计算机与信息学院）；Assiut University（艾斯尤特大学）
本文提出基于Transformer的编码器-解码器框架，通过融合RGB图像与深度信息生成3D场景多句描述，并清理NYU-v2数据集以提升深度信息利用效果。
2023-07-24 cs.AI cs.CL cs.CV
Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Tencent Youtu Lab（腾讯云图实验室）；Tsinghua University（清华大学）
基于变换器的体系结构在图像描述中取得了巨大的成功，其中对象区域被编码，然后被加入到矢量表示中以指导字幕解码。然而，这种矢量表示只包含区域级信息，而没有考虑反映整个图像的全局信息，这未能扩展图像描述中复杂多模态推理的能力。在本文中，我们引入了一个全球增强的Transformer（简称GET），使提取更全面的全球表示，然后自适应地引导解码器生成高质量的字幕。在GET中，设计了全局增强编码器用于全局特征的嵌入，设计了全局自适应解码器用于指导字幕的生成。前者模型内和层间的全局表示，利用所提出的全球增强注意力和逐层融合模块。后者包含一个全局自适应控制器，它可以自适应地将全局信息融合到解码器中，以指导字幕生成。在MS COCO数据集上的大量实验表明，我们的GET优于许多国家的艺术。
2020-12-13 cs.CV
Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）；Monitorapp（Monitorapp公司）；Dankook University（檀国大学）
图像和视频中场景理解的自动转录是迈向人工通用智能的一步。图像描述是使用计算机视觉技术描述图像中有意义信息的术语。自动化图像描述技术利用编码器和解码器架构，其中编码器从图像提取特征并且解码器生成转录本。在这项工作中，我们调查了两个未开发的想法图像描述使用Transformers：首先，我们证明了使用对象的相关性在周围环境中的执法。第二，学习标签和语言结构之间的明确关联。我们提出了标记注意力Transformer与几何相干对象（LATGeO）。所提出的技术获得了一个建议的几何连贯的对象，使用深度神经网络（DNN）和生成字幕，通过调查他们的关系，使用标签注意模块。使用提案的几何特性的局部化比率来定义对象相干性。标签关注模块使用自关注层将提取的对象类与可用字典相关联。实验结果表明，对象在周围环境中的相关性和结合他们的视觉特征与他们的几何定位率结合其相关的标签有助于定义有意义的字幕。所提出的框架进行了测试的MSCOCO数据集，并在整体上更好的定量分数的全面评估，宣布其优越性。
2021-09-16 cs.AI cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
Scaling Up Vision-Language Pre-training for Image Captioning
Microsoft（微软）
近年来，基于视觉语言预训练（VLP）的图像描述任务的性能得到了显著提高。规模被认为是这一进步的重要因素。然而，大多数现有的工作只集中在预训练具有中等大小的Transformers（例如，12或24层），大约400万张图像。在本文中，我们提出了LEMON，一个大规模的图像captiONer，并提供了第一个实证研究的缩放行为的VLP的图像描述。我们使用最先进的VinVL模型作为我们的参考模型，该模型由图像特征提取器和Transformer模型组成，并将Transformer上下缩放，模型大小从1300万到6.75亿参数不等。在数据方面，我们进行了多达2亿的图像-文本对，这是自动收集的基础上的alt属性的图像（称为ALT 200 M）从Web上的实验。随着模型大小和预训练数据大小的增加，广泛的分析有助于表征性能趋势。我们还比较了不同的训练配方，特别是在大规模噪声数据上的训练。因此，LEMON在几个主要的图像描述基准上达到了新的技术水平，包括COCO Caption、nocaps和Conceptual Captions。我们还表明，LEMON可以产生长尾视觉概念的字幕时，在zero-shot的方式使用。
2022-03-26 cs.CL cs.CV
Text with Knowledge Graph Augmented Transformer for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；ByteDance Inc.（字节跳动公司）
视频描述旨在使用自然语言描述视频的内容。虽然已经取得了重大进展，但对于实际应用程序来说，仍然有很大的空间来提高性能，主要是由于长尾词的挑战。在本文中，我们提出了一个文本与知识图谱增强Transformer（TextKG）的视频描述。值得注意的是，TextKG是一个双流Transformer，由外部流和内部流组成。外部流被设计为吸收附加知识，其对附加知识之间的交互进行建模，例如，预先构建的知识图谱，以及视频的内置信息，例如，显著对象区域、语音转录和视频字幕，以减轻长尾词挑战。同时，内部流被设计为利用视频中的多模态信息（例如，视频帧、语音转录和视频字幕的外观）以确保字幕结果的质量。此外，在两个流之间还使用交叉注意力机制来共享信息。通过这种方式，两个流可以相互帮助，获得更准确的结果。在四个具有挑战性的视频描述数据集上进行了广泛的实验，即，YouCookII，ActivityNet Captions，MSRVTT和MSVD，表明所提出的方法与最先进的方法相比表现良好。具体来说，所提出的TextKG方法通过在YouCookII数据集上提高18.7%的绝对CIDER分数，优于最好的公布结果。
2023-03-25 cs.CV
Image Captioning In the Transformer Age
Southeast University（东南大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）
图像描述（IC）通过将各种技术结合到CNN-RNN编码器-解码器架构中而取得了惊人的发展。然而，由于CNN和RNN不共享基本网络组件，因此这种异构流水线难以端到端地训练，其中视觉编码器将不会从字幕监督中学习任何东西。这一缺陷激发了研究人员开发一种促进端到端训练的同构架构，其中Transformer是完美的架构，它已被证明在视觉和语言领域具有巨大潜力，因此可以用作IC流水线中视觉编码器和语言解码器的基本组件。同时，自监督学习释放了Transformer架构的力量，预先训练的大规模学习可以推广到包括IC在内的各种任务。这些大规模模型的成功似乎削弱了单一IC任务的重要性。然而，我们通过分析IC与一些流行的自监督学习范式之间的联系，证明IC在这个时代仍然有其特定的意义。由于篇幅限制，我们在这个简短的调查中只提到非常重要的论文，更多相关的作品可以在https://github.com/SjokerLily/awesome-image-captioning上找到。
2022-04-15 cs.CV
Dual Graph Convolutional Networks with Transformer and Curriculum Learning for Image Captioning
Wuhan University（武汉大学）；JD Finance America Corporation（京东金融美国公司）；OPPO US Research Center, InnoPeak Technology Inc.（OPPO美国研究中心，英诺峰科技有限公司）
现有的图像描述方法只关注于理解单个图像中对象或实例之间的关系，而没有探索上下文图像之间存在的上下文相关性。在本文中，我们提出了双图卷积网络（Dual-GCN）与Transformer和课程学习的图像描述。特别地，我们不仅使用对象级GCN来捕获单个图像内的对象到对象的空间关系，而且还采用图像级GCN来捕获相似图像提供的特征信息。通过设计良好的Dual-GCN，可以使语言转换器Transformer更好地理解单个图像中不同对象之间的关系，并充分利用相似图像作为辅助信息，为单个图像生成合理的字幕描述。同时，通过引入交叉复习策略来确定难度水平，我们采用课程学习作为训练策略，以提高我们提出的模型的鲁棒性和泛化能力。我们在大规模MS COCO数据集上进行了大量的实验，实验结果有力地证明了我们提出的方法优于最近的最先进的方法。它的BLEU-1得分为82.2，BLEU-2得分为67.6。我们的源代码位于{ \em \color{magenta}{\url{https://github.com/Unbear430/DGCN-for-image-captioning}} }。
2021-08-05 cs.CV
Collaborative Three-Stream Transformers for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
本文提出协同三流Transformer（COST）框架，分别建模主语、谓语和宾语，并通过跨粒度注意力对齐三个分支的视觉-语言交互，在三个视频字幕数据集上取得了优于现有方法的性能。
2023-09-18 cs.CV
Injecting Semantic Concepts into End-to-End Image Captioning
Arizona State University（亚利桑那州立大学）；Microsoft Corporation（微软公司）
近年来，在开发更好的图像描述模型方面取得了巨大的进展，但其中大多数依赖于单独的对象检测器来提取区域特征。最近的视觉语言研究正在转向无检测器的趋势，利用网格表示进行更灵活的模型训练和更快的推理速度。然而，这样的发展主要集中在图像理解任务上，并且对于字幕生成任务的研究仍然较少。在本文中，我们关注一个性能更好的无检测器的图像描述模型，并提出了一个纯视觉Transformer为基础的图像描述模型，称为ViTCAP，其中使用网格表示，而不提取区域特征。为了提高性能，我们引入了一种新的概念令牌网络（CTN）预测的语义概念，然后将它们纳入端到端的字幕。特别是，CTN是建立在一个视觉Transformer的基础上，并被设计为通过分类任务预测的概念令牌，其中包含丰富的语义信息大大有利于字幕任务。与以前的基于检测器的模型相比，ViTCAP大大简化了架构，同时在各种具有挑战性的图像描述数据集上实现了有竞争力的性能。特别是，ViTCAP在COCO-caption Karpathy-split上达到138.1 CIDEr评分，在nocaps和Google-CC字幕数据集上分别达到93.8和108.6 CIDEr评分。
2022-03-31 cs.CL cs.CV
Semantic-Conditional Diffusion Networks for Image Captioning
Sun Yat-sen University（中山大学）；JD Explore Academy（京东探索研究院）
文本到图像生成的最新进展见证了扩散模型的兴起，它作为强大的生成模型。然而，利用这样的潜变量模型来捕获离散词之间的依赖性，同时在图像描述中追求复杂的视觉语言对齐并不是微不足道的。在本文中，我们打破根深蒂固的公约，学习transformer为基础的编码器-解码器，并提出了一个新的扩散模型为基础的范例量身定制的图像描述，即语义条件扩散网络（SCD-网）。在技术上，对于每幅输入图像，我们首先通过跨模态检索模型搜索语义相关的句子，以传达全面的语义信息。丰富的语义被进一步视为语义优先于触发扩散Transformer的学习，其在扩散过程中产生输出句子。在SCD网络中，多个扩散Transformer结构被堆叠，以级联方式逐步加强输出句子，具有更好的视觉语言对齐和语言连贯性。此外，为了稳定扩散过程，设计了一种新的自临界序列训练策略，以指导SCD网络的学习与标准自回归Transformer模型的知识。COCO数据集上的大量实验表明，在具有挑战性的图像描述任务中使用扩散模型具有很大的潜力。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}获得。
2022-12-06 cs.CL cs.CV cs.MM
Image Captioning: Transforming Objects into Words
Yahoo Research（雅虎研究院）
图像描述模型通常遵循编码器-解码器架构，其使用抽象图像特征向量作为编码器的输入。最成功的算法之一是使用从对象检测器获得的区域建议中提取的特征向量。在这项工作中，我们介绍了对象关系Transformer，建立在这种方法的基础上，明确地将通过几何注意输入检测对象之间的空间关系的信息。定量和定性的结果表明，这种几何注意图像描述的重要性，导致所有常见的字幕度量的MS-COCO数据集上的改进。
2020-01-11 cs.CL cs.CV
Dual-Level Collaborative Transformer for Image Captioning
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）；National Tsing Hua University（清华大学（台湾））
由目标检测网络提取的描述性区域特征在图像描述的最新进展中发挥了重要作用。然而，他们仍然批评缺乏上下文信息和细粒度的细节，这是传统的网格特征的优点。在本文中，我们介绍了一种新的双层协作Transformer（DLCT）网络，以实现这两个功能的优势互补。具体地说，在DLCT中，这两个特征首先通过一种新的双路自衰减（DWSA）算法进行处理，挖掘出它们的内在属性，并引入综合关系注意力（Comprehensive RelationAttention）组件嵌入几何信息。此外，我们提出了一个局部约束的交叉注意力模块，以解决这两个功能的直接融合所造成的语义噪声，其中构造的几何对齐图，以准确地对齐和加强区域和网格功能。为了验证我们的模型，我们在竞争激烈的MS-COCO数据集上进行了广泛的实验，并在本地和在线测试集上实现了新的最先进的性能，即，133.8% CIDEr-D在Karpathy分裂和135.4% CIDEr在官方分裂。代码可在https://github.com/luo3300612/image-captioning-DLCT上获得。
2021-08-03 cs.CV
End-to-End Transformer Based Model for Image Captioning
University of Chinese Academy of Sciences（中国科学院大学）
基于CNN-LSTM的架构在图像描述中发挥了重要作用，但受限于训练效率和表达能力，研究者开始探索基于CNN-Transformer的模型并取得了巨大成功。与此同时，几乎所有最近的工作都采用Faster R-CNN作为骨干编码器，从给定图像中提取区域级特征。然而，Faster R-CNN需要在额外的数据集上进行预训练，这将图像描述任务分为两个阶段，并限制了其潜在的应用。本文构建了一个纯基于Transformer的模型，将图像描述集成到一个阶段并实现端到端训练。首先，采用SwinTransformer代替Faster R-CNN作为骨干编码器，从给定图像中提取网格级特征;然后，参考Transformer，构建细化编码器和解码器。细化编码器通过捕获网格特征之间的内部关系来细化网格特征，解码器将细化的特征逐词解码为字幕。此外，为了增加多模态（视觉和语言）特征之间的交互，增强建模能力，计算网格特征的均值池作为全局特征，将其引入细化编码器中与网格特征一起进行细化，并在解码器中加入细化后的全局特征与生成词的预融合过程。为了验证我们提出的模型的有效性，我们进行了实验MSCOCO数据集。与现有的已发表作品相比，实验结果表明，我们的模型在“Karpathy”离线测试分割上实现了138.2%（单个模型）和141.0%（4个模型的集成）的CIDEr分数，在官方在线测试服务器上实现了136.0%（c5）和1…
2022-03-29 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen（图宾根大学）
为了生成合适的视频字幕，推理需要识别相关概念，并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构，一个适合的Transformer用于单个联合时空视频分析，以及一个基于自注意力的解码器用于高级文本生成。此外，我们引入了一个自适应帧选择方案，以减少所需的传入帧的数量，同时保持相关的内容时，训练两个Transformers。此外，我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD，以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成（NLG）指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
Dual-Stream Collaborative Transformer for Image Captioning
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计学院）；Computer Vision Institute, College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机视觉研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（社会人工智能与机器人研究院）
本文提出双流协作Transformer，通过融合区域和分割特征提升图像描述生成的准确性和描述性。
2026-01-19 cs.CV
Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；National Institute of Technology Durgapur（德里apur国立学院）；Durgapur, India（印度德里apur）
提出基于高斯混合模型和EM算法的概率Transformer，将自注意力复杂度从二次降至线性，在Flickr30K上实现高效图像描述。
2026-06-16 cs.AI cs.CV
Areas of Attention for Image Captioning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
我们提出了“注意区域”，一种新的基于注意力的自动图像描述模型。我们的方法使用三个成对的相互作用对图像区域、标题词和RNN语言模型的状态之间的依赖关系进行建模。与之前仅将图像区域与RNN状态相关联的基于注意力的方法相比，我们的方法允许标题词和图像区域之间的直接关联。在训练过程中，这些关联是从图像级字幕中推断出来的，类似于弱监督对象检测器训练。这些关联有助于通过在测试期间本地化相应区域来改进字幕。我们还提出并比较了产生注意力区域的不同方法：CNN激活网格，对象建议和以卷积方式应用的空间Transformers网络。空间Transformers可提供最佳效果。它们允许图像特定的注意区域，并且可以与网络的其余部分联合训练。我们的注意力机制和空间Transformer注意区域一起在MSCOCO数据集上产生了最先进的结果。
2017-08-25 cs.CV
TCIC: Theme Concepts Learning Cross Language and Vision for Image Captioning
Fudan University（复旦大学）；Research Institute of Intelligent and Complex Systems, Fudan University（复旦大学智能复杂系统研究院）；Zhejiang Lab（之江实验室）
现有的图像描述研究通常使用具有低层事实（对象和关系）的场景图来表示图像，并且未能捕获高层语义。在本文中，我们提出了一个主题概念扩展的图像描述（TCIC）框架，采用主题概念来表示高层次的跨模态语义。在实践中，我们的主题概念模型的记忆向量，并提出Transformer与主题节点（TTN），将这些向量的图像描述。考虑到主题概念可以从图像和字幕中学习，我们提出了两种基于TTN的表示学习设置。在视觉方面，TTN被配置为将基于场景图的特征和主题概念两者作为视觉表示学习的输入。在语言方面，TTN被配置为将标题和主题概念作为文本表示重构的输入。两种设置都旨在使用相同的基于transformer的解码器生成目标字幕。在训练过程中，我们进一步调整从图像和相应的字幕中学习到的主题概念的表示，以加强跨模态学习。MS COCO上的实验结果表明，我们的方法相比，一些国家的最先进的模型的有效性。
2021-06-21 cs.CL cs.CV
METEOR Guided Divergence for Video Captioning
University of Augsburg（奥格斯堡大学）
自动视频描述的目标是实现整体的视觉场景理解。它需要一种用于捕获视频帧中的时间上下文的机制，以及在给定时间帧中理解对象的动作和关联的能力。这样的系统还应该学习将视频序列抽象成可感知的表示，以及生成自然的书面语言。虽然大多数字幕模型只关注视觉输入，但很少关注视听形式。为了解决这个问题，我们提出了一个新的双重方法。首先，我们实现了一个奖励引导KL分歧训练一个视频描述模型，这是对令牌排列弹性。其次，我们利用双模态分层强化学习（BMHRL）Transformer架构来捕获输入数据的长期时间依赖性，作为分层字幕模块的基础。使用我们的BMHRL，我们通过在ActivityNet Captions数据集上分别实现BLEU3，BLEU4和METEOR分数中的$4.91$，$2.23$和$10.80$来显示HRL代理在生成内容完整和语法合理的句子中的适用性。最后，我们在https://github.com/d-rothen/bmhrl上向用户和开发人员公开了我们的BMHRL框架和训练模型。
2022-12-20 cs.CL cs.CV cs.LG
The Role of Syntactic Planning in Compositional Image Captioning
University of Copenhagen（哥本哈根大学）
图像描述集中于推广到从与训练集相同的分布中提取的图像，而不是推广到图像的不同分布的更具挑战性的问题。最近，Nikolaus等人（2019）引入了一个数据集来评估图像描述中的成分概括，其中模型根据其描述具有不可见的形容词-名词和名词-动词成分的图像的能力进行评估。在这项工作中，我们研究了不同的方法来提高合成概括规划的句法结构的字幕。我们的实验表明，联合建模令牌和语法标签增强了基于RNN和Transformer的模型的泛化能力，同时也提高了标准指标的性能。
2021-01-28 cs.CL cs.CV
Dual-Level Decoupled Transformer for Video Captioning
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）
视频描述旨在理解视频的时空语义概念并生成描述性语句。该任务的实际方法指示文本生成器从来自\textit{pre-trained}视觉模型的\textit{offline-extracted}运动或外观特征学习。然而，这些方法在\textit{video spatio-temporal representation}和\textit{sentence generation}上都可能遭受所谓的\textbf{\textit{"couple"}}缺点。对于前者，\textbf{\textit{"couple"}}意味着在单个模型（3DCNN）中学习时空表示，导致称为\emph{disconnection in task/pre-train domain}和\emph{hard for end-to-end training}的问题。对于后者，\textbf{\textit{"couple"}}意味着平等对待视觉语义和句法相关词的生成。为此，我们提出了$\mathcal{D}^{2}$ -一个双层解耦的Transformer管道来解决上述缺点：\emph{(i)}用于视频时空表示，我们将其过程解耦为“先空间后时间”的范式，释放了使用专用模型（\textit{e.g.}图像-文本预训练）连接预训练和下游任务的潜力，并使整个模型端到端可训练。\emph{(ii)}的句子生成，我们提出了\emp…
2022-05-06 cs.CV
Pre-training image-language transformers for open-vocabulary tasks
Google Research（谷歌研究院）
我们提出了一种基于不同任务混合的视觉和语言Transformer模型的预训练方法。我们探索了在预训练中使用图像-文本字幕数据，这不需要额外的监督，以及对象感知策略来预训练模型。我们在一些文本生成视觉+语言任务上评估了该方法，例如视觉问答，视觉蕴涵和字幕，并展示了比标准预训练方法更大的收益。
2022-09-09 cs.CV
