Comprehending and Ordering Semantics for Image Captioning
JD Explore Academy（京东探索研究院）
理解图像中丰富的语义并将其按语言顺序排列是构成图像描述的视觉基础和语言连贯描述的必要条件。现代技术通常利用预先训练的对象检测器/分类器来挖掘图像中的语义，同时使语义的固有语言顺序未得到充分利用。在本文中，我们提出了一个新的配方的变压器式的结构，即理解和排序语义网络（COS-Net），新颖地统一到一个单一的架构，丰富的语义理解和可学习的语义排序过程。在技术上，我们首先利用一个跨模态检索模型来搜索每幅图像的相关句子，并将搜索到的句子中的所有单词作为主要的语义线索。其次，设计了一种新的语义理解器，过滤掉主要语义线索中不相关的语义词，同时基于图像视觉推理缺失的相关语义词。之后，我们将所有筛选和丰富的语义词输入到语义排名器中，该排名器学习按照人类的语言顺序分配所有语义词。这种有序语义词的序列进一步与图像的视觉标记集成以触发句子生成。经验证据表明，COS-Net明显超过了COCO的最新方法，并在Karpathy测试分裂中获得了迄今为止最好的CIDER分数141.1%。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}获得。
2022-06-14 cs.AI cs.CL cs.CV
Human-like Controllable Image Captioning with Verb-specific Semantic Roles
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯AI实验室）；Columbia University（哥伦比亚大学）；Tencent Data Platform（腾讯数据平台）
可控图像描述（CIC）--根据指定的控制信号生成图像描述--在过去几年中受到了前所未有的关注。为了模仿人类控制字幕生成的能力，目前的CIC研究只关注与客观属性有关的控制信号，例如感兴趣的内容或描述模式。然而，我们认为，几乎所有现有的客观控制信号都忽略了理想控制信号的两个不可或缺的特征：1）事件兼容性：单个句子中所指的所有视觉内容都应该与所描述的活动兼容。2)样品适用：控制信号应适用于特定的图像样品。为此，我们提出了一个新的控制信号CIC：动词特定的语义角色（VSR）。VSR由一个动词和一些语义角色组成，它表示一个目标活动和参与该活动的实体的角色。给定一个指定的VSR，我们首先训练一个接地的语义角色标注（GSRL）模型，以识别和接地每个角色的所有实体。然后，我们提出了一个语义结构规划器（SSP）学习人类一样的描述性语义结构。最后，我们使用角色转换字幕模型来产生字幕。大量的实验和消融表明，我们的框架可以实现更好的可控性比几个强大的基线上两个具有挑战性的CIC基准。此外，我们可以生成多层次的多样化的字幕很容易。该代码可从以下网址获取：https://github.com/mad-red/VSR-guided-CIC。
2021-03-22 cs.AI cs.CL cs.CV
Syntax Customized Video Captioning by Imitating Exemplar Sentences
Meituan（美团）；Tsinghua University（清华大学）
增强描述视频内容的句子的多样性是当前视频描述研究中的一个重要问题。在本文中，我们探讨这个问题，从一个新的角度定制视频字幕模仿例句语法。具体来说，给定一个视频和任何语法有效的例句，我们引入了一个新的任务，定制的视频描述（SCVC），旨在生成一个标题，不仅语义描述的视频内容，但也句法模仿给定的例句。为了解决SCVC任务，我们提出了一种新的视频描述模型，首先设计分层句子语法编码器来提取范例句子的语法结构，然后设计语法条件字幕解码器来生成表达视频语义的语法结构字幕。由于没有可用的语法定制的groundtruth视频字幕，我们通过提出一种新的训练策略来解决这样的挑战，该策略利用传统的成对视频描述数据和我们收集的例句来完成模型学习。大量的实验，在语义，句法，流畅性和多样性评价方面，清楚地表明我们的模型能够生成语法变化和语义连贯的视频字幕，以及模仿不同的例句与丰富的diligence。
2021-12-02 cs.CL cs.CV
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore（新加坡国立大学）
本文提出Cross2StrA模型，利用场景图和句法成分树作为枢轴结构，结合跨模态语义对齐、跨语言句法对齐及回译训练，显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
A Neural Compositional Paradigm for Image Captioning
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；NVIDIA（英伟达）
主流的字幕模型通常遵循顺序结构来生成字幕，导致诸如引入无关语义、生成的字幕缺乏多样性以及泛化性能不足等问题。在本文中，我们提出了另一种范式的图像描述，它分解成两个阶段的字幕过程：（1）提取一个明确的语义表示从给定的图像;（2）构建的标题的基础上递归的组成过程中自底向上的方式。与传统的范式相比，我们的范式通过对语义和句法的显式分解，更好地保留了语义内容。通过使用合成生成过程，字幕构造遵循递归结构，这自然符合人类语言的特性。此外，所提出的合成过程需要更少的数据来训练，更好地概括，并产生更多样化的字幕。
2018-10-23 cs.CL cs.CV cs.LG
MAViC: Multimodal Active Learning for Video Captioning
ShareChat；INRIA（法国国家信息与自动化研究所）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
训练视频描述模型需要大量的带注释的视频-字幕对，导致高注释成本。主动学习有助于减少这些注释要求。然而，用于视频描述的主动学习是具有挑战性的，因为多个语义相似的字幕对于视频是有效的，导致即使对于信息量较少的样本也是高熵输出。此外，视频描述算法本质上是多模态的，具有视觉编码器和语言解码器。此外，输出的顺序和组合性质使问题更具挑战性。在本文中，我们介绍MAViC利用我们提出的多模态语义感知顺序熵（M-SASE）为基础的采集功能，以解决主动学习方法的挑战视频描述。我们的方法集成了语义相似性和不确定性的视觉和语言方面的收购功能。我们详细的实验经验证明的有效性M-SASE主动学习视频描述字幕和提高基线的大幅度。
2022-12-11 cs.CL cs.CV cs.LG
Refined Semantic Enhancement towards Frequency Diffusion for Video Captioning
Wuhan University of Technology（武汉理工大学）；Hubei University of Education（湖北第二师范学院）；Wuhan University（武汉大学）；University of Central Florida（中佛罗里达大学）
视频描述旨在生成准确描述给定视频的自然语言句子。现有的方法通过在编码阶段探索更丰富的视觉表示或提高解码能力来获得有利的生成。然而，长尾问题阻碍了低频令牌的这些尝试，低频令牌很少出现，但具有关键的语义，在详细生成中起着至关重要的作用。在本文中，我们介绍了一种新的细化语义增强方法频率扩散（RSFD），字幕模型，不断感知的语言表示的不频繁的令牌。具体而言，提出了一个频率感知扩散（FAD）模块来理解低频令牌的语义，以突破生成限制。以这种方式，通过促进吸收出现不足的标记来细化字幕。在FAD的基础上，设计了一个发散语义监督器（Divergent Semantic Supervisor，DSS）模块，以弥补扩散过程中高频词的信息损失，并进一步强调低频词的语义，以缓解长尾问题。大量的实验表明，RSFD在两个基准数据集上的性能优于最先进的方法，即，MSR-VTT和MSVD，表明低频标记语义的增强可以获得竞争生成效果。代码可在https://github.com/lzp870/RSFD上获得。
2022-12-18 cs.AI cs.CL cs.CV
Controllable Video Captioning with an Exemplar Sentence
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）；Meituan（美团）
在本文中，我们研究了一个新的和具有挑战性的任务，即可控的视频描述与一个范例的句子。形式上，给定一个视频和一个句法上有效的例句，该任务的目的是生成一个标题，不仅描述了视频的语义内容，但也遵循给定的例句的句法形式。为了解决这样一个基于范例的视频描述任务，我们提出了一种新的视频调制字幕生成器（SMCG）的编码器-解码器-重构器架构。SMCG以视频语义表征为输入，根据样例句子的句法信息有条件地调节长短期记忆网络的门和细胞。因此，SMCG能够控制单词预测的状态，并实现语法定制的字幕生成。我们通过收集两个公共视频描述数据集的辅助例句进行实验。大量的实验结果表明，我们的方法在生成语法可控和语义保留的视频字幕的有效性。通过提供不同的例句，我们的方法是能够产生不同的字幕与各种句法结构，从而表明一个有前途的方式来加强视频描述的多样性。
2021-12-02 cs.CL cs.CV
Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；The Ohio State University（俄亥俄州立大学）
虽然在视频描述中已经取得了有希望的结果，但现有的模型仅限于训练语料库中的固定活动清单，并且不推广到开放的词汇场景。在这里，我们介绍了一个新的任务，zero-shot视频描述，旨在描述看不见的活动的域外视频。不同活动的视频通常需要不同的字幕策略，如选词、语义构建、风格表达等，这对在没有配对训练数据的情况下刻画新颖的活动提出了很大的挑战。但与此同时，类似的活动在这些方面有一些共同之处。因此，本文提出了一种基于主题感知的混合专家模型（TAMoE），用于zero-shot视频描述，该模型能够根据不同的主题嵌入来组合不同的专家，将从可见活动中学习到的知识隐式地传递给不可见活动。此外，我们利用外部的主题相关的文本语料库来构建主题嵌入每个活动，它体现了主题内最相关的语义向量。实验结果不仅验证了该方法在利用语义知识进行视频描述方面的有效性，而且在描述新颖活动时也显示了其较强的泛化能力。
2018-11-23 cs.CL cs.CV cs.IR
Scaling Laws for Conditional Emergence of Multilingual Image Captioning via Generalization from Translation
针对视觉语言模型跨语言跨任务迁移的数据稀缺问题，研究编码器-解码器Transformer VLMs的多语言泛化能力，发现未见过的任务-语言对的间接学习遵循缩放定律，且该定律可扩展到下游任务并取得竞争性性能。
2025-11-16 cs.CL cs.LG
Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework
Computer & Information Science & Engineering Department, University of Florida（佛罗里达大学计算机与信息科学与工程系）
在这项工作中，我们引入了高斯平滑语义特征（GSSF），以更好地为印度区域语言为基础的图像描述的语义选择，并介绍了一个程序，我们使用现有的翻译和英语众包的句子进行训练。我们已经证明，这种架构是一个有前途的替代来源，在那里有一个紧缩的资源。我们这项工作的主要贡献是为孟加拉语（世界上第五种广泛使用的语言）开发深度学习架构，它具有完全不同的语法和语言属性。我们已经证明，这些对于从图像上下文生成语言生成等复杂应用非常有效，并且可以通过引入约束、更广泛的特征和独特的特征空间来实现表示的多样化。我们还确定，当我们使用平滑的语义张量与传统的LSTM和特征分解网络时，我们可以实现绝对的精度和多样性。通过更好的学习架构，我们成功地建立了一个自动化的算法和评估程序，可以帮助评估合格的应用程序，而无需专业知识和人工干预。
2020-02-16 cs.CL cs.CV cs.LG
In Defense of Scene Graphs for Image Captioning
University of California San Diego（加利福尼亚大学圣迭戈分校）；Intel Labs（英特尔实验室）；University of Warwick（华威大学）
主流的图像描述模型依赖于卷积神经网络（CNN）图像特征，通过递归模型生成字幕。最近，图像场景图已被用来增强字幕模型，以利用其结构语义，如对象实体，关系和属性。一些研究已经注意到，来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能，并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战，我们提出了\textbf{SG2Caps}，一个框架，只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像，另一个来自其标题。为了实现这一点，我们利用对象的空间位置和人-物-交互（HOI）标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度，表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积，从而减少了49%的可训练参数。我们的代码可在：https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
Learning Compact Reward for Image Captioning
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
对抗学习在图像描述中产生自然多样的描述方面已经显示出了它的进步。然而，现有的对抗方法的学习奖励是模糊的和不明确的，由于奖励歧义问题。在本文中，我们提出了一种改进的对抗逆强化学习（rAIRL）方法，通过为句子中的每个单词解开奖励来处理奖励模糊问题，并通过改进损失函数来实现稳定的对抗训练，以使生成器向纳什均衡移动。此外，我们在损失函数中引入了一个条件项，以减轻模式坍塌，并增加所生成的描述的多样性。在MS COCO和Flickr30K上的实验表明，该方法可以学习到用于图像描述的紧凑奖励。
2020-03-24 cs.CL cs.CV
Consensus Graph Representation Learning for Better Grounded Image Captioning
Zhejiang University（浙江大学）；Citycloud Technology（城云科技）
由于视觉错误分类或过度依赖先验知识，导致视觉信息与目标词汇之间的语义不一致，当代视觉字幕模型经常出现幻觉对象，而这些对象实际上并不在场景中。最常见的方式是鼓励字幕模型将生成的目标词或短语动态地链接到图像的适当区域，即，接地的图像描述（GIC）。然而，GIC利用辅助任务（接地对象），其尚未解决对象幻觉的关键问题，即，语义不一致。在本文中，我们采取了一个新的角度对上述问题-利用视觉和语言模态之间的语义一致性。具体来说，我们提出了共识Ranking表示学习框架（CGRL）的GIC，将共识表示到接地字幕管道。共识是通过对准视觉图（例如，场景图）到考虑图中的节点和边的语言图。有了对齐的共识，字幕模型可以捕获正确的语言特征和视觉相关性，然后进一步建立适当的图像区域。我们验证了我们的模型的有效性，在Flickr 30 k实体数据集上，对象幻觉显著下降（-9% i）。此外，我们的CGRL还通过几个自动度量和人工评估进行了评估，结果表明，所提出的方法可以同时提高图像描述（+2.9 Cider）和接地（+2.3 F1）的性能。
2022-04-13 cs.AI cs.CL cs.CV
Distinctive-attribute Extraction for Image Captioning
Korea Electronics Technology Institute（韩国电子技术研究院）
图像描述是一个开放的研究课题，随着深度神经网络的发展而不断发展。研究中采用了卷积神经网络（CNN）和递归神经网络（RNN）来计算图像特征并生成自然语言描述。在以前的工作中，可以通过将附加信息应用到RNN中来生成涉及语义描述的字幕。在这种方法中，我们提出了一个独特的属性提取（DAE），明确鼓励重要的意义，以产生一个准确的标题描述的整体意义的图像与他们独特的情况。具体地说，训练图像的字幕进行分析的词频逆文档频率（TF-IDF），和分析的语义信息进行训练，以提取独特的属性推断字幕。所提出的方案进行评估的挑战数据，它提高了客观的性能，同时更详细地描述图像。
2018-07-25 cs.CL cs.CV
RefineCap: Concept-Aware Refinement for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
图像到文本的自动翻译涉及到图像场景理解和语言建模。在本文中，我们提出了一种新的模型，称为RefineCap，使用解码器引导的视觉语义细化语言解码器的输出词汇，并隐式地学习视觉标签词和图像之间的映射。所提出的视觉概念细化方法可以允许生成器参加图像中的语义细节，从而生成更多的语义描述性字幕。与以前的基于视觉概念的模型相比，我们的模型在MS-COCO数据集上实现了卓越的性能。
2021-09-08 cs.CL
CIC-BART-SSA: Controllable Image Captioning with Structured Semantic Augmentation
Rutgers University（罗格斯大学）；Samsung AI Centre - Toronto（三星人工智能中心（多伦多））；Solventum（索尔文腾公司）
提出CIC-BART-SSA模型，利用AMR结构化语义增强扩充数据集，生成多样且可控的图像描述，在多样性和文本质量上优于现有方法，并有效应对高度聚焦场景。
2024-07-17 cs.AI cs.CL cs.CV
Are scene graphs good enough to improve Image Captioning?
KU Leuven（鲁汶大学）；New York University（纽约大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
许多表现最好的图像描述模型仅依赖于利用目标检测模型计算的目标特征来生成图像描述。然而，最近的研究提出直接使用场景图来引入关于对象关系的信息到字幕中，希望更好地描述对象之间的交互。在这项工作中，我们彻底调查使用场景图在图像描述。我们的经验研究是否使用额外的场景图形编码器可以导致更好的图像描述，并提出了一个有条件的图形注意力网络（C-GAT），其中的图像描述解码器状态是用来条件的图形更新。最后，我们确定在何种程度上预测的场景图中的噪声影响字幕质量。总体而言，我们发现使用场景图特征的模型和仅使用不同字幕度量的目标检测特征的模型之间没有显著差异，这表明现有的场景图生成模型仍然太嘈杂，在图像描述中没有用。此外，虽然预测的场景图的质量是非常低的，在一般情况下，当使用高质量的场景图，我们获得的增益高达3.3 CIDER相比，一个强大的自下而上自上而下的基线。我们在https://github.com/iacercalixto/butd-image-captioning上开放源代码来重现我们所有的实验。
2020-10-27 cs.CL cs.CV
CgT-GAN: CLIP-guided Text GAN for Image Captioning
University of Science and Technology of China（中国科学技术大学）；Singapore Management University（新加坡管理大学）
针对无标注图像字幕任务中纯文本训练范式的缺陷，提出融合视觉模态的CgT-GAN，结合对抗训练与CLIP语义奖励，在三个子任务上全面超越SOTA。
2023-08-23 cs.AI cs.CL cs.CV
TCIC: Theme Concepts Learning Cross Language and Vision for Image Captioning
Fudan University（复旦大学）；Research Institute of Intelligent and Complex Systems, Fudan University（复旦大学智能复杂系统研究院）；Zhejiang Lab（之江实验室）
现有的图像描述研究通常使用具有低层事实（对象和关系）的场景图来表示图像，并且未能捕获高层语义。在本文中，我们提出了一个主题概念扩展的图像描述（TCIC）框架，采用主题概念来表示高层次的跨模态语义。在实践中，我们的主题概念模型的记忆向量，并提出Transformer与主题节点（TTN），将这些向量的图像描述。考虑到主题概念可以从图像和字幕中学习，我们提出了两种基于TTN的表示学习设置。在视觉方面，TTN被配置为将基于场景图的特征和主题概念两者作为视觉表示学习的输入。在语言方面，TTN被配置为将标题和主题概念作为文本表示重构的输入。两种设置都旨在使用相同的基于transformer的解码器生成目标字幕。在训练过程中，我们进一步调整从图像和相应的字幕中学习到的主题概念的表示，以加强跨模态学习。MS COCO上的实验结果表明，我们的方法相比，一些国家的最先进的模型的有效性。
2021-06-21 cs.CL cs.CV
Can adversarial training learn image captioning ?
Polytechnic Mons（蒙斯理工学院）
最近，生成对抗网络（GAN）引起了人们的极大兴趣。多年来，它们在生成高质量的不可见样本（特别是图像）方面的效率有所提高。在自然语言生成（NLG）领域，使用对抗设置来生成有意义的句子已经被证明是困难的，原因有二：缺乏现有的架构来生成真实的句子和缺乏评估工具。在本文中，我们提出了一个对抗架构相关的条件GAN（cGAN），生成句子根据给定的图像（也称为图像描述）。这是第一次尝试不使用预先训练或强化方法。我们还解释了为什么我们的实验设置可以安全地评估和解释进一步的工作。
2019-10-31 cs.CL cs.CV cs.LG
Controllable Image Captioning with Prompt-Conditioned Scene Rewards
POSTECH（浦项科技大学）；Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
本研究提出FoCUS可控图像字幕方法，通过提示条件场景奖励实现细粒度语义控制，引入SCoPE基准评估，在不降低通用性能的情况下提升了字幕可控性与质量。
2026-09-02 cs.CL cs.CV cs.LG
CoordSpeaker: Exploiting Gesture Captioning for Coordinated Caption-Empowered Co-Speech Gesture Generation
Tsinghua University（清华大学）
CoordSpeaker通过引入手势描述框架和条件潜在扩散模型，实现了协调的caption驱动的语音同步手势生成，解决了手势生成中的语义先验间隙和多模态控制难题。
2025-11-28 cs.CV
TADACap: Time-series Adaptive Domain-Aware Captioning
JP Morgan AI Research（摩根大通人工智能研究院）
针对现有时序图像captioning方法难以适应新领域且描述缺乏领域感知的问题，该研究提出TADACap框架，无需重新训练即可适应新领域生成领域感知caption，并提出TADACap-diverse检索策略，在保证语义准确性的同时减少标注工作量。
2025-04-15 cs.CL cs.CV
Improving Image Captioning with Better Use of Captions
Ingenuity Labs Research Institute, Queen’s University（女王大学Ingenuity实验室研究所）；Queen’s University（女王大学）；Fudan University（复旦大学）
图像描述是一个多模态问题，在自然语言处理和计算机视觉领域都引起了广泛的关注。在本文中，我们提出了一种新的图像描述架构，以更好地探索字幕中的语义，并利用它来增强图像表示和字幕生成。我们的模型首先构建标题引导的视觉关系图，使用弱监督多示例学习引入有益的归纳偏差。然后，通过具有文本和视觉特征的相邻和上下文节点来增强表示。在生成过程中，该模型还使用多任务学习来结合视觉关系，以联合预测单词和对象/谓词标签序列。我们在MSCOCO数据集上进行了大量的实验，结果表明，所提出的框架显着优于基线，从而在广泛的评估指标下获得了最先进的性能。
2020-06-21 cs.CL cs.CV
Adversarial Semantic Alignment for Improved Image Captions
IBM Research（IBM研究院）
在本文中，我们将图像描述作为条件GAN训练进行研究，提出了一个上下文感知的LSTM字幕和共同关注的字幕，它强制图像和字幕之间的语义对齐。我们根据经验专注于两种训练方法的可行性：自我批判序列训练（SCST）和Gumbel Straight-Through（ST），并证明SCST显示出比Gumbel ST更稳定的梯度行为和改进的结果，即使没有直接访问梯度。我们还解决了字幕模型的自动评估问题，并引入了一个新的语义分数，并显示其与人类判断的相关性。作为一个评价范式，我们认为，一个字幕的一个重要标准是能够概括的组合物的对象，通常不共同出现在一起。为此，我们引入了一个小标题的脱离上下文（OOC）测试集。OOC集，结合我们的语义评分，是为字幕社区提出的新诊断工具。在OOC和MS-COCO基准测试上进行评估时，我们表明基于SCST的训练在语义评分和人工评估方面都具有很强的性能，有望成为高效离散GAN训练的有价值的新方法。
2019-06-06 cs.CL cs.CV cs.LG
Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
New York University（纽约大学）
本研究在MS-COCO数据集上基准测试了基于注意力机制的图像描述模型，证明其相比RNN能生成更准确、语义更丰富的描述，并提升与人工评估的对齐性。
2025-02-26 cs.CL cs.CV
Classifier-Guided Captioning Across Modalities
Tel Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
本文提出一种推理期文本分类器引导框架，利用 GPT-4 生成数据训练分类器，使冻结字幕模型适配音频等跨模态语义，并在零样本音频字幕生成上达到 SOTA。
2025-01-03 cs.AI cs.CL cs.SD
Object Counts! Bringing Explicit Detections Back into Image Captioning
University of Sheffield（谢菲尔德大学）
使用显式对象检测器作为图像描述的中间步骤--其用于构成早期工作中的基本阶段--在当前占主导地位的端到端方法中经常被绕过，其中语言模型直接以中级图像嵌入为条件。我们认为，明确的检测提供了丰富的语义信息，因此可以作为一个可解释的表示，以更好地理解为什么端到端的图像描述系统工作良好。我们提供了一个深入的分析端到端的图像描述，通过探索各种线索，可以从这样的目标检测。我们的研究表明，端到端的图像描述系统依赖于匹配的图像表示来生成字幕，并且对对象的频率、大小和位置进行编码是互补的，并且都在形成良好的图像表示中发挥作用。它还揭示了不同的对象类别以不同的方式对图像描述的贡献。
2018-04-23 cs.AI cs.CL cs.CV
SD-RSIC: Summarization Driven Deep Remote Sensing Image Captioning
Technische Universität Berlin（柏林工业大学）
深度神经网络（DNN）最近被发现流行于遥感（RS）中的图像描述问题。现有的基于DNN的方法依赖于由大量带有标题的RS图像组成的训练集的可用性。然而，训练图像的字幕可能包含冗余信息（它们可以是重复的或语义上彼此相似），从而导致在学习从图像域到语言域的映射时的信息不足。为了克服这一局限性，在本文中，我们提出了一种新的摘要驱动的遥感图像描述（SD-RSIC）的方法。所提出的方法包括三个主要步骤。第一步通过联合利用卷积神经网络（CNN）和长短期记忆（LSTM）网络来获得标准图像字幕。与现有的RS图像描述方法不同，第二步通过利用序列到序列神经网络将每个训练图像的地面实况字幕总结为单个字幕，并消除训练集中存在的冗余。第三步自动定义与每个RS图像相关联的自适应权重，以基于图像的语义内容将标准字幕与摘要字幕相结合。这是通过在LSTM网络上下文中定义的一种新的自适应加权策略来实现的。在RSCID、UCM-Captions和Sydney-Captions数据集上的实验结果表明，与现有的RS图像描述方法相比，该方法是有效的.所提出的方法的代码可在https://gitlab.tubit.tu-berlin.de/rsim/SD-RSIC上公开获得。
2020-10-13 cs.CL cs.CV cs.LG
DiffVC: A Non-autoregressive Framework Based on Diffusion Model for Video Captioning
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Beijing University Of Technology（北京工业大学）
本文提出DiffVC，一种基于扩散模型的非自回归框架，解决视频描述生成中自回归方法速度慢和累积误差问题，通过并行解码和判别性条件扩散模型提升生成质量，实验表明其在多个数据集上优于非自回归方法并接近自回归方法。
2026-04-09 cs.CV
Attention-based transformer models for image captioning across languages: An in-depth survey and evaluation
The University of Jordan（约旦大学）；Princess Sumaya University for Technology（苏曼亚公主科技大学）
本文系统综述了基于注意力机制的跨语言图像描述Transformer模型，分类梳理方法、数据集与评估指标，指出多语言场景下的关键挑战，并提出多模态学习与实时应用等未来方向。
2025-06-03 cs.AI cs.CL cs.CV
Evaluation of Multilingual Image Captioning: How far can we get with CLIP models?
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID；Instituto de Telecomunicações（电信研究所）
本文针对多语言图像描述评估缺乏测试数据的问题，利用机器翻译与语义推理数据集评估 CLIPScore 变体，证明微调后的多语言 CLIPScore 可跨语言保持与人工判断的高相关性。
2025-02-17 cs.AI cs.CL
Diverse Video Captioning Through Latent Variable Expansion
利用文本描述自动描述视频内容是一项具有挑战性的重要任务，一直是计算机视觉领域的研究热点。以往的工作主要追求生成句子的准确性，而忽略了句子的多样性，这与人类的行为是不一致的。在本文中，我们的目标是为每个视频添加多个描述，并提出了一个新的框架。具体地说，对于一个给定的视频，传统的编码-解码过程的中间潜变量被用作输入到条件生成对抗网络（CGAN）的目的是生成不同的句子。我们采用不同的卷积神经网络（CNN）作为我们的生成器，生成以潜在变量为条件的描述，并评估生成句子的质量。同时，设计了一种新的DCE指标来评估不同的字幕。我们在基准数据集上评估了我们的方法，在那里它展示了它生成不同描述的能力，并与其他最先进的方法相比取得了优异的结果。
2021-06-15 cs.CV cs.LG
Watch What You Just Said: Image Captioning with Text-Conditional Attention
University of Michigan（密歇根大学）；University of Rochester（罗切斯特大学）
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。然而，现有的方法仅使用视觉内容作为注意力，文本上下文是否可以提高图像描述中的注意力仍然没有解决。为了探索这个问题，我们提出了一种新型的注意力机制，称为\textit{text-conditional attention}，它允许字幕生成器关注先前生成的文本的某些图像特征。为了获得我们的注意力模型的文本相关图像特征，我们采用了引导性长短期记忆（gLSTM）字幕架构和CNN微调。我们提出的方法允许联合学习的图像嵌入，文本嵌入，文本条件注意和语言模型与一个网络架构在一个端到端的方式。我们在MS-COCO数据集上进行了大量的实验。实验结果表明，我们的方法优于国家的最先进的字幕方法的各种定量指标，以及在人类的评价，这支持使用我们的文本条件注意在图像描述。
2016-11-24 cs.CV
Improving Image Captioning with Conditional Generative Adversarial Nets
Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一种新的条件生成对抗网为基础的图像描述框架作为传统的基于学习（RL）的编码器-解码器架构的扩展。为了解决不同客观语言度量之间的不一致评价问题，我们设计了一些“自适应”网络来自动和渐进地确定生成的字幕是人类描述的还是机器生成的。介绍了两种神经网络结构（CNN和基于RNN的结构），因为每种结构都有自己的优点。该算法是通用的，因此它可以增强任何现有的基于RL的图像描述框架，我们表明，传统的RL训练方法只是我们的方法的一个特例。从经验上讲，我们表现出一致的改进，在所有的语言评价指标不同的国家的最先进的图像描述模型。此外，训练良好的鉴别器也可以被看作是客观的图像描述评估器
2019-02-13 cs.CV cs.LG
Semantic-Aware Pretraining for Dense Video Captioning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
本报告详细介绍了我们在ActivityNet Challenge 2021中进行事件密集字幕任务的方法。我们提出了一种语义感知的预训练方法密集的视频描述，使学习的功能，以识别高层次的语义概念。不同形式的不同视频特征被馈送到事件字幕模块中以生成准确且有意义的句子。我们最终的集成模型在测试集上获得了10.00的METEOR分数。
2022-04-13 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。
2022-08-15 cs.CV
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology（布尔诺理工大学）
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入，以找到语义相似的图像。从这些图像中，基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低，但它在通过图灵测试的字幕比例方面具有竞争力，并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Exploring Semantic Relationships for Unpaired Image Captioning
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Foreign Studies University（北京外国语大学）
近年来，图像描述在学术界和工业界都引起了极大的兴趣。大多数现有的系统都是建立在由图像-句子对组成的大规模数据集上的，然而，这是耗时的构造。此外，即使是最先进的图像描述系统，也仍然难以实现深度图像理解。在这项工作中，我们实现了不成对的图像描述的桥梁视觉和语言领域的高层语义信息。其动机源于这样一个事实，即具有相同模态的语义概念可以从图像和描述中提取。为了进一步提高该模型生成的字幕的质量，我们提出了语义关系浏览器，它探索语义概念之间的关系，以更好地理解图像。在MSCOCO数据集上的大量实验表明，我们可以在没有配对数据集的情况下生成令人满意的字幕。此外，所提出的方法在配对设置下提高了五个强基线，其中CIDEr得分的最显着改善达到8%，表明它是有效的，并且可以很好地推广到各种模型。
2021-08-17 cs.CV
Relational Reasoning using Prior Knowledge for Visual Captioning
Beijing Institute of Technology（北京理工大学）；University of Rochester（罗切斯特大学）
利用对象之间的关系已经在通过自然语言解释图像或视频方面取得了显着进展。现有的大多数方法都是先检测目标及其关系，然后生成文本描述，这严重依赖于预先训练好的检测器，在目标检测中遇到严重遮挡、小尺寸目标和长尾等问题时会导致性能下降。此外，检测和字幕的分离过程导致预定义的对象/关系类别与目标词汇之间的语义不一致。我们利用先前的人类常识知识来推理对象之间的关系，而无需任何预先训练的检测器，并在字幕中的一个图像或视频中达到语义一致性。先验知识（例如，以知识图谱的形式）提供了图像和视频中不明确的对象之间的常识语义关联和约束，用作构建用于句子生成的语义图谱的有用指导。特别地，我们提出了一种联合推理方法，该方法包括：1）常识推理，用于将图像或视频区域嵌入语义空间以构建语义图; 2）关系推理，用于对语义图进行编码以生成句子。在MS-COCO图像描述基准和MSVD视频描述基准上的大量实验验证了我们的方法在利用先验常识知识增强视觉字幕的关系推理方面的优越性。
2019-06-04 cs.CV
Captioning Images with Diverse Objects
UT Austin（得克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；Boston Univ（波士顿大学）
最近的字幕模型在扩展和描述成对图像-文本语料库中看不到的概念的能力方面受到限制。我们提出了新颖的对象字幕（NOC），一个深度的视觉语义字幕模型，可以描述大量的对象类别不存在于现有的图像字幕数据集。我们的模型利用了外部资源--来自对象识别数据集的标记图像，以及从未注释文本中提取的语义知识。我们建议最小化一个联合目标，它可以从这些不同的数据源中学习，并利用分布式语义嵌入，使模型能够概括和描述图像标题数据集之外的新对象。我们证明了我们的模型利用语义信息为ImageNet对象识别数据集中的数百个对象类别生成标题，这些对象类别在MSCOCO图像标题训练数据中没有观察到，以及许多很少观察到的类别。自动评估和人类判断都表明，我们的模型在能够描述更多类别的对象方面大大优于先前的工作。
2017-07-20 cs.CL cs.CV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
受视频中不同模态携带互补信息这一事实的启发，我们提出了多模态语义注意网络（MSAN），这是一种新的编码器-解码器框架，将多模态语义属性用于视频描述。在编码阶段，我们检测和生成多模态语义属性，制定它作为一个多标签分类问题。此外，我们增加了辅助分类损失，我们的模型，可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段，我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合，并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法：MSVD和MSR-VTT，在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Video Captioning with Transferred Semantic Attributes
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
自动生成视频的自然语言描述是计算机视觉界面临的一个基本挑战。这个问题的最新进展已经通过采用2-D和/或3-D卷积神经网络（CNN）来编码视频内容以及采用递归神经网络（RNN）来解码句子来实现。在本文中，我们提出了具有转移语义属性的长短期记忆（LSTM-TSA）--一种新型的深度架构，通过端到端的方式训练它们，将从图像和视频中学习的转移语义属性纳入CNN和RNN框架。LSTM-TSA的设计受到以下事实的启发：1）语义属性对字幕起着重要的作用，2）图像和视频具有互补的语义，因此可以相互加强字幕。为了提高视频描述，我们提出了一种新的传输单元来模拟从图像和视频中学习到的相互关联的属性。在三个公共数据集上进行了广泛的实验，即，MSVD、M-VAD和MPII-MD。我们提出的LSTM-TSA在MSVD上实现了迄今为止最好的句子生成性能：BLEU@4和CIDEr-D分别为52.8%和74.0%。与最先进的方法相比，M-VAD和MPII-MD也报告了优越的结果。
2016-11-23 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
Fashion Captioning: Towards Generating Accurate Descriptions with Semantic Rewards
Stony Brook University（石溪大学）；USC（南加州大学）；MIT（麻省理工学院）；Kwai Inc.（快手公司）；BUPT（北京邮电大学）；Megvii（旷视科技）
为在线时尚商品生成准确的描述不仅对于增强客户的购物体验非常重要，而且对于增加在线销售也非常重要。除了需要正确呈现物品的属性外，迷人风格的表情更能吸引顾客的兴趣。这项工作的目标是开发一个新的学习框架，准确和富有表现力的时尚字幕。与流行的图像描述工作不同，它很难识别和描述时尚物品的丰富属性。我们通过首先识别其属性来播种项目的描述，并引入属性级语义（ALS）奖励和语义级语义（SLS）奖励作为度量来提高文本描述的质量。我们进一步将模型的训练与最大似然估计（MLE），属性嵌入和强化学习（RL）相结合。为了方便学习，我们建立了一个新的Fashion CAptioning数据集（FACAD），其中包含993K图像和130K相应的迷人和多样化的描述。FACAD上的实验验证了该模型的有效性。
2022-04-23 cs.CV
Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction
针对现有密集视频字幕方法隐式建模无法捕捉时间连贯性与完整语义的问题，本文提出显式时空语义建模框架CACMI，通过两个核心模块融合时序与语义信息，在两个基准数据集上取得SOTA性能。
2025-11-13 cs.CV
Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong（香港城市大学）；Fuzhou University（福州大学）
自动评估图像字幕的质量可能是非常具有挑战性的，因为人类语言是非常灵活的，可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发，我们提出了一种基于学习的图像描述度量，我们称之为内在图像描述评价（$I^2CE$）。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型，双分支模型和三分支模型。我们的实证测试表明，$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断，当代图像描述评价指标。此外，我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明，我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上，建议的度量可以作为一个新的指标的内在信息之间的字幕，这可能是补充现有的。
2021-06-29 cs.CV
Video captioning with stacked attention and semantic hard pull
Islamic University of Technology（伊斯兰科技大学）；Dhaka University of Engineering and Technology（达卡工程技术大学）
本文提出语义敏感视频字幕生成（SSVC）架构，通过堆叠注意力和空间硬拉取改进上下文生成，并引入语义敏感性（SS）评分指标，提升视频字幕生成的性能。
2021-07-16 cs.CV
New Encoder Learning for Captioning Heavy Rain Images via Semantic Visual Feature Matching
Kunsan National University（群山大学）
针对暴雨图像描述中视觉特征退化问题，提出一种基于初始重建子网络和语义视觉特征匹配子网络联合学习的新型编码器，将退化特征转换为语义视觉特征，从而提升描述准确性。
2021-09-15 cs.CV
Egoshots, an ego-vision life-logging dataset and semantic fidelity metric to evaluate diversity in image captioning models
INRIA RITS（法国国家信息与自动化研究所RITS）；LANDING AI（澜舟科技）；Signal Ocean（信号海洋）；Philips Research（飞利浦研究院）；Eindhoven University of Technology（埃因霍温理工大学）；U2IS ENSTA Institut Polytechnique Paris（巴黎综合理工学院ENSTA U2IS实验室）；INRIA Flowers（法国国家信息与自动化研究所Flowers实验室）
图像描述模型已经能够生成语法正确且人类可理解的句子。然而，大多数标题传达的信息有限，因为所使用的模型是在数据集上训练的，这些数据集并没有对日常生活中存在的所有可能的对象进行说明。由于缺乏先验信息，大多数字幕都偏向于场景中存在的少数对象，因此限制了它们在日常生活中的使用。在本文中，我们试图显示当前现有的图像描述模型的偏见的性质，并提出了一个新的图像描述数据集，Egoshots，由978个现实生活中的图像没有字幕。我们进一步利用最先进的预先训练的图像描述和对象识别网络来注释我们的图像，并显示现有作品的局限性。此外，为了评估生成的字幕的质量，我们提出了一个新的图像描述度量，基于对象的语义保真度（SF）。现有的图像描述度量可以仅在存在其对应注释的情况下评估字幕;然而，SF允许评估针对没有注释的图像生成的字幕，使得其对于现实生活中生成的字幕非常有用。
2020-03-27 cs.CV cs.LG
WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment
本文提出WiFi2Cap框架，通过Wi-Fi CSI生成动作描述，引入镜像一致性损失解决方向敏感问题，并在基准数据集上验证了其在隐私保护语义感知中的有效性。
2026-03-24 cs.AI cs.CV
Semantic-CC: Boosting Remote Sensing Image Change Captioning via Foundational Knowledge and Semantic Guidance
Beihang University（北京航空航天大学）
提出Semantic-CC方法，利用基础模型知识和像素级语义引导，通过多任务架构与三阶段训练，在LEVIR数据集上提升遥感图像变化描述的准确性与全面性。
2024-07-19 cs.CV
