Unpaired Image Captioning by Language Pivoting
Nanyang Technological University（南洋理工大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
图像描述是涉及计算机视觉和自然语言处理的多模态任务，其目标是学习从图像到其自然语言描述的映射。通常，映射函数是从图像-字幕对的训练集学习的。然而，对于某些语言，大规模的图像-字幕配对语料库可能无法使用。我们提出了一种方法，这种不成对的图像描述问题的语言旋转。我们的方法可以有效地捕捉图像字幕的特点，从主语言（中文），并将其对齐到目标语言（英语）使用另一个非目标（汉英）句子平行语料库。我们在两个图像到英语的基准数据集上评估我们的方法：MSCOCO和Flickr 30 K。对几个基线方法的定量比较表明，我们的方法的有效性。
2018-07-18 cs.CV
Understanding and Evaluating Racial Biases in Image Captioning
Princeton University（普林斯顿大学）
图像描述是一项重要的任务，为基准的视觉推理和使无障碍的人与视觉障碍。然而，正如在许多机器学习环境中一样，社会偏见可能会以不期望的方式影响图像描述。在这项工作中，我们研究了图像描述中的偏差传播途径，特别关注COCO数据集。先前的工作分析了使用自动派生的性别标签的标题中的性别偏见，在这里，我们研究使用手动注释的种族和交叉偏见。我们的第一个贡献是在获得IRB批准后，注释了28，315名被描绘的人的感知性别和肤色。使用这些注释，我们比较了手动和自动生成的图像标题中存在的种族偏见。我们展示了图片的标题性能，情绪和文字选择之间的差异与较深的皮肤的人。此外，我们发现这些差异的幅度在现代字幕系统中比旧的字幕系统更大，从而导致人们担心，如果没有适当的考虑和缓解，这些差异只会变得越来越普遍。代码和数据可在https://princetonvisualai.github.io/imagecaptioning-bias上获得。
2021-08-30 cs.CV
Image Captioning with Integrated Bottom-Up and Multi-level Residual Top-Down Attention for Game Scene Understanding
Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
近年来，图像描述引起了相当大的关注。然而，游戏图像描述具有一些独特的特点和要求，对于它的研究还很少。在这项工作中，我们提出了一种新的游戏图像描述模型，它集成了自自底向上的【形】的注意力与一个新的多级剩余自上而下的注意力机制。首先，在基于Faster R-CNN的自底向上注意力网络中添加一个较低级别的残差自顶向下注意力网络，以解决后者在提取区域特征时可能丢失重要空间信息的问题。其次，在字幕生成网络中实现上层残差自上而下的注意力网络，以更好地融合提取的区域特征，用于后续的字幕预测。我们创建了两个游戏数据集来评估所提出的模型。大量的实验表明，我们提出的模型优于现有的基线模型。
2019-06-16 cs.CV
OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
NVIDIA；National Taiwan University（国立台湾大学）
OpenVoxel通过无需训练的多模态大语言模型实现稀疏体素的分组与标注，提升开放词汇3D场景理解的性能。
2026-01-14 cs.CV
Context-Aware Visual Policy Network for Fine-Grained Image Captioning
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
随着视觉检测技术的成熟，我们更加雄心勃勃地用开放词汇、细粒度和自由形式的语言来描述视觉内容，即，图像描述的任务。特别是，我们有兴趣生成更长，更丰富，更细粒度的句子和段落作为图像描述。图像描述可以转化为给定视觉内容的序列语言预测任务，其中输出序列形成具有合理语法的自然语言描述。然而，现有的图像描述方法仅关注语言策略而非视觉策略，并且因此未能捕获对于诸如对象关系（例如，“人骑马”）和视觉比较（例如，“小（er）猫”）。当生成较长的序列（如段落）时，此问题尤其严重。为了填补这一空白，我们提出了一个上下文感知的视觉策略网络（CAVP）细粒度的图像到语言生成：图像句子字幕和图像段落字幕。在字幕生成过程中，CAVP将先前的视觉注意力视为上下文，并在给定当前视觉注意力的情况下决定上下文是否用于当前单词/句子生成。与传统的视觉注意力机制在每一步只固定一个视觉区域相比，CAVP可以随着时间的推移注意到复杂的视觉成分。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过使用演员-评论家策略梯度方法进行端到端的有效优化。我们已经证明了CAVP的有效性，最先进的性能MS-COCO和斯坦福字幕数据集，使用各种指标和定性视觉环境的明智的可视化。
2019-06-06 cs.CV
Grounded Objects and Interactions for Video Captioning
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories America（NEC美国实验室）；Georgia Tech Research Institute（佐治亚理工研究院）
我们解决的问题，视频描述接地语言生成的对象在视频中的相互作用。现有的工作主要集中在整体场景理解，往往有限或没有强调对象的相互作用，以解决视频理解的问题。在本文中，我们提出了SINet-Caption，它可以学习生成基于任意对象组之间的高阶交互的字幕，以实现细粒度的视频理解。我们讨论了这种方法的挑战和好处。我们使用我们的模型，基于这种方法的SINet-Caption，进一步展示了ActivityNet Captions数据集的最新结果。
2017-11-16 cs.CV
Object Captioning and Retrieval with Natural Language
IIT（意大利理工学院）；University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心(ACRV)）；Department of Advanced Robotics（高级机器人系）
我们解决了联合学习视觉和语言的问题，以便以细粒度的方式理解对象。我们的方法的关键思想是使用对象描述来提供对对象的详细理解。基于这一思想，我们提出了两种新的体系结构来解决两个相关的问题：对象字幕和基于自然语言的对象检索。对象字幕任务的目标是同时检测对象并生成其相关描述，而在对象检索任务中，目标是在给定输入查询的情况下定位对象。我们证明了这两个问题都可以使用混合端到端CNN-LSTM网络有效地解决。在我们新的具有挑战性的数据集上的实验结果表明，我们的方法在相当大的程度上优于最近的方法，同时提供了对对象的详细理解，并具有快速的推理时间。将提供源代码。
2018-03-16 cs.CV
VLRM: Vision-Language Models act as Reward Models for Image Captioning
Huawei Moscow Research Center（华为莫斯科研究中心）
本文提出 VLRM，一种以 CLIP、BLIP2-ITM 等视觉-语言模型为奖励模型、通过强化学习无监督增强 BLIP2 图像描述的方法，使描述更长更全面，并在 MS-COCO 上达到 0.90 R@1。
2024-04-02 cs.CV
Shot2Tactic-Caption: Multi-Scale Captioning of Badminton Videos for Tactical Understanding
Nagoya Institute of Technology（名古屋技术大学）；Nagoya University（名古屋大学）
本文提出Shot2Tactic-Caption框架及首个羽毛球描述数据集，通过双分支结构和逐击球提示引导机制，实现击球级与战术级多尺度视频描述，有效捕捉中断后恢复的战术执行。
2025-10-16 cs.CV
Bench-Marking And Improving Arabic Automatic Image Captioning Through The Use Of Multi-Task Learning Paradigm
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of British Columbia（不列颠哥伦比亚大学）
社交媒体的使用和互联网上的视觉内容的持续增长加速了计算机视觉领域的研究，特别是图像描述任务。生成最好地描述图像的字幕的过程对于各种应用是有用的任务，例如它可以用于图像索引和作为视力受损者的助听器。近年来，图像描述任务在数据集和体系结构方面都取得了显着的进步，因此，字幕质量已经达到了惊人的性能。然而，大多数这些进步，特别是在数据集方面，都是针对英语的，这使得阿拉伯语等其他语言落后。尽管阿拉伯语有超过4.5亿人使用，并且是互联网上增长最快的语言，但它缺乏推进其图像描述研究所需的基本支柱，例如基准或统一数据集。这项工作是一种尝试，以加快在这项任务中的协同作用，提供统一的数据集和基准，同时也探索的方法和技术，可以提高阿拉伯图像描述的性能。多任务学习的使用进行了探索，同时探索各种单词表示和不同的功能。结果表明，使用多任务学习和预训练的词嵌入显着提高了图像描述的质量，但所呈现的结果显示，阿拉伯语字幕仍然落后于英语。使用的数据集和代码可在此链接中获得。
2022-03-11 cs.CV
ABMAMBA: Multimodal Large Language Model with Aligned Hierarchical Bidirectional Scan for Efficient Video Captioning
Keio University（庆应义塾大学）；National Institute of Informatics（国立信息学研究所）；National Institute of Informatics Research and Development Center for Large Language Models（国立信息学研究所大型语言模型研发中心）
本文提出ABMamba，一种具有线性计算复杂度的多模态大语言模型，通过替代二次注意力机制，实现视频序列的高效处理，在视频描述任务中表现出色。
2026-04-09 cs.CV
Beam-Guided Knowledge Replay for Knowledge-Rich Image Captioning using Vision-Language Model
KFUPM（科威特理工学院）
提出KRCapVLM框架，通过束搜索解码、注意力模块和训练调度器，提升视觉语言模型生成知识丰富图像描述的质量和泛化能力。
2025-05-29 cs.CV
Large Language Models for Captioning and Retrieving Remote Sensing Images
INESC-ID, Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院INESC-ID研究所）；Universidade NOVA de Lisboa（新里斯本大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出RS-CapRet，结合大型解码器语言模型与遥感适配的图像编码器，通过线性层桥接，实现遥感图像描述与文本-图像检索，达到最先进或相当性能。
2024-02-09 cs.CV
Unified Vision-Language Pre-Training for Image Captioning and VQA
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）；Microsoft Cloud & AI（微软云与人工智能部门）；Microsoft AI & Research（微软人工智能与研究部门）
提出了一种统一的视觉语言预训练模型。该模型是统一的，因为（1）它可以针对视觉-语言生成（例如，图像描述）或理解（例如，视觉问答）任务，以及（2）它使用共享的多层Transformer网络来进行编码和解码，这不同于其中编码器和解码器使用单独的模型来实现的许多现有方法。统一的VLP模型使用两个任务的无监督学习目标在大量图像-文本对上进行预训练：双向和序列到序列（seq 2seq）掩蔽的视觉语言预测。这两个任务的不同之处仅在于预测条件的上下文，这是通过使用共享Transformer网络的特定自我注意掩码来控制的。据我们所知，VLP是第一个报告的模型，它在视觉语言生成和理解任务上都取得了最先进的结果，就像图像描述和视觉问答一样不同，跨越三个具有挑战性的基准数据集：COCO字幕，Flickr 30 k字幕和VQA 2.0。代码和预训练模型可在https://github.com/LuoweiZhou/VLP上获得。
2019-12-04 cs.CV
VLCap: Vision-Language with Contrastive Learning for Coherent Video Paragraph Captioning
University of Arkansas（阿肯色大学）
在本文中，我们利用人类的感知过程，涉及视觉和语言的互动，产生一个连贯的段落描述的未修剪的视频。我们提出了视觉语言（VL）功能，包括两个模态，即，(i)视觉模态，用于捕获整个场景的全局视觉内容;以及（ii）语言模态，用于提取人类和非人类对象（例如，动物、车辆等）、视觉和非视觉元素（例如，关系、活动等）的场景元素描述。此外，我们建议在对比学习VL损失下训练我们提出的VLCap。在ActivityNet Captions和YouCookII数据集上的实验和消融研究表明，我们的VLCap在准确性和多样性指标上都优于现有的SOTA方法。
2022-08-06 cs.CV
LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning
School of Engineering and Sciences, Tecnologico de Monterrey（蒙特雷理工学院工程与科学学院）；School of Computer Science, University of Leeds（利兹大学计算机学院）
该研究针对内镜图像解读的主观性问题，提出LUX图条件视觉-语言架构，通过病灶中心场景图实现可解释描述，在多指标上优于现有模型并减少了幻觉与定位误差。
2026-08-26 cs.CV
LaMP: Language-Motion Pretraining for Motion Generation, Retrieval, and Captioning
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
本文提出语言-运动预训练模型 LaMP，通过生成运动信息文本嵌入并学习对齐的语言-运动表示，同时提升文本到运动生成、运动-文本检索和运动描述三项任务性能。
2025-03-08 cs.CV
Image Captioning using Deep Neural Architectures
Chhotubhai Gopalbhai Patel Institute of Technology（乔图拜·戈帕尔拜·帕特尔理工学院）
使用任何自然语言语句（如英语）自动创建图像的描述是一项非常具有挑战性的任务。它需要图像处理和自然语言处理的专业知识。本文讨论了适用于图像描述任务的不同模型。我们还讨论了近年来物体识别和机器翻译任务的进步如何极大地提高了图像描述模型的性能。除此之外，我们还讨论了如何实现这个模型。最后，我们还使用标准的评价矩阵对模型的性能进行了评价。
2018-01-17 cs.CV
Image captioning in different languages
Tilburg University（蒂尔堡大学）
本文整理了截至2024年5月的非英语图像描述数据集清单，指出当前仅覆盖23种语言，即使加入Crossmodal-3600数据集，与约500种机构语言相比仍显匮乏，并提出视觉与语言领域的开放性问题。
2025-04-02 cs.CL cs.CV
Using Artificial Tokens to Control Languages for Multilingual Image Caption Generation
School of Informatics and Computing（信息学与计算学院）；Indiana University（印第安纳大学）
计算机视觉领域最近的工作在用自然语言自动描述图像方面取得了令人印象深刻的成果。这些系统中的大多数都用一种语言生成字幕，需要多个特定于语言的模型来构建多语言字幕系统。我们提出了一种非常简单的技术来构建一个跨语言的统一模型，使用人工令牌来控制语言，使字幕系统更加紧凑。我们评估了我们生成英语和日语字幕的方法，并表明典型的神经字幕架构能够学习可以在两种不同语言之间切换的单个模型。
2017-06-20 cs.CV
ClipCap: CLIP Prefix for Image Captioning
Tel Aviv University（特拉维夫大学）
图像描述是视觉-语言理解中的一项基本任务，其中该模型预测给定输入图像的文本信息说明。在本文中，我们提出了一个简单的方法来解决这个问题。我们使用CLIP编码作为标题的前缀，通过采用一个简单的映射网络，然后微调一个语言模型来生成图像标题。最近提出的CLIP模型包含丰富的语义特征，这些特征是用文本上下文训练的，使其最适合视觉语言感知。我们的关键思想是，与预训练的语言模型（GPT 2）一起，我们可以获得对视觉和文本数据的广泛理解。因此，我们的方法只需要相当快的训练，以产生一个称职的字幕模型。无需额外的注释或预训练，它可以有效地为大规模和多样化的数据集生成有意义的标题。令人惊讶的是，我们的方法即使在只训练映射网络时也能很好地工作，而CLIP和语言模型都保持冻结，从而允许更轻的架构和更少的可训练参数。通过定量评估，我们证明了我们的模型在具有挑战性的概念标题和nocaps数据集上取得了与最先进方法相当的结果，同时它更简单，更快，更轻。我们的代码可以在https://github.com/rmokady/CLIP_prefix_caption上找到。
2021-11-18 cs.CV
MSVD-Turkish: A Comprehensive Multimodal Dataset for Integrated Vision and Language Research in Turkish
Imperial College London（帝国理工学院）；Hacettepe University（哈杰特佩大学）；Koç University（科奇大学）
以自然语言自动生成视频描述，也称为视频字幕，旨在理解视频的视觉内容并产生描绘场景中的对象和动作的自然语言句子。然而，这种具有挑战性的综合视觉和语言问题主要是针对英语的。缺乏数据和其他语言的语言特性限制了这些语言的现有方法的成功。在本文中，我们针对土耳其语，一个形态丰富和粘着的语言，有非常不同的属性相比，英语。为此，我们创建了第一个大规模的视频描述数据集，通过仔细翻译的MSVD（微软研究视频描述语料库）数据集中的视频的英语描述成土耳其语。除了能够在土耳其语的视频描述的研究，平行的英语-土耳其语的描述也使视频上下文（多模态）机器翻译的作用的研究。在我们的实验中，我们为视频描述和多模态机器翻译建立模型，并研究不同的分词方法和不同的神经架构的效果，以更好地解决土耳其语的属性。我们希望MSVD-土耳其语数据集和这项工作中报告的结果将导致更好的视频描述和多模态机器翻译模型，用于土耳其语和其他形态丰富和粘着的语言。
2020-12-13 cs.CV
A Chain-of-Thought Subspace Meta-Learning for Few-shot Image Captioning with Large Vision and Language Models
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对小样本图像描述中视觉与语言模态领域差距大的问题，本文提出思维链子空间元学习框架，通过可调提示连接两个冻结大模型，在不同子空间学习各CoT步骤元参数，实验表明其性能优于基线。
2025-02-19 cs.CV
Enhancing Traffic Safety with Parallel Dense Video Captioning for End-to-End Event Analysis
University of Central Florida（中佛罗里达大学）；North Dakota State University（北达科他州立大学）
本研究针对2024年AI City挑战赛交通安全分析任务，基于PDVC框架结合CLIP特征、领域适配与知识迁移优化密集视频字幕，在WTS数据集测试集上获竞赛第6名。
2024-04-12 cs.CV
Text-guided Attention Model for Image Captioning
POSTECH（浦项科技大学）
视觉注意在图像理解中起着重要的作用，并在生成图像的自然语言描述中表现出其有效性。另一方面，最近的研究表明，与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发，我们引入了一个文本引导的注意力模型的图像描述，学习驱动视觉注意力使用相关的字幕。对于这个模型，我们提出了一个基于范例的学习方法，检索从训练数据相关的标题与每个图像，并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型，并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
An Empirical Study of Language CNN for Image Captioning
Nanyang Technological University（南洋理工大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
基于递归神经网络的语言模型已经主导了最近的图像字幕生成任务。在本文中，我们介绍了一种语言CNN模型，它适用于统计语言建模任务，并在图像描述中显示出有竞争力的性能。与之前基于前一个单词和隐藏状态预测下一个单词的模型相比，我们的语言CNN提供了所有之前的单词，并且可以对历史单词的长期依赖性进行建模，这对于图像描述至关重要。在MS COCO和Flickr30K两个数据集上验证了该方法的有效性。我们广泛的实验结果表明，我们的方法优于香草递归神经网络为基础的语言模型，是具有竞争力的国家的最先进的方法。
2017-08-02 cs.CV cs.LG
Pixels to Prose: Understanding the art of Image Captioning
Indian Institute of Technology - Roorkee（印度鲁基工业大学）
本文全面回顾了图像描述技术从基础架构到前沿方法的演变，剖析其底层机制、医疗领域应用及性能评估指标，为机器学习初学者提供理论结合实践的导航指南。
2024-08-28 cs.CV cs.LG
Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction
Nanyang Technological University（南洋理工大学）
互联网上视频数据的爆炸需要有效和高效的技术来自动为无法观看视频的人生成字幕。尽管视频描述研究取得了很大进展，特别是在视频特征编码方面，但语言解码器在很大程度上仍然基于流行的RNN解码器，如LSTM，它倾向于选择与视频一致的频繁词。在本文中，我们提出了一个边界感知的分层语言解码器的视频描述，它包括一个高层次的GRU为基础的语言解码器，作为一个全球（标题级）语言模型，和一个低层次的GRU为基础的语言解码器，作为一个本地（短语级）语言模型。最重要的是，我们在底层GRU语言解码器中引入了二进制门来检测语言边界。与其他先进的组件，包括联合视频预测，共享的软注意，和边界感知的视频编码，我们的集成视频描述框架可以发现分层的语言信息，并区分在一个句子中，这通常是混乱的语言生成的主题和对象。在两个广泛使用的视频描述数据集MSR-Video-to-Text（MSR-VTT）\cite{xu2016msr}和YouTube-to-Text（MSVD）\cite{chen2011collecting}上的实验表明，与现有方法相比，本文方法具有很强的竞争力.
2018-07-08 cs.CL cs.CV
CaptionSmiths: Flexibly Controlling Language Pattern in Image Captioning
University of Seoul（首尔大学）
本文提出 CaptionSmiths 方法，通过将描述的长度、描述性和词语独特性量化为连续标量并利用端点向量插值进行条件控制，使单一图像描述模型能够平滑切换语言模式，并在词汇对齐和控制精度上优于基线。
2025-07-02 cs.CV
A Thorough Review on Recent Deep Learning Methodologies for Image Captioning
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
图像描述是结合计算机视觉和自然语言处理的任务，其目的是生成图像的描述性图例。这是一个双重的过程，依赖于准确的图像理解和正确的语言理解句法和语义。由于关于该主题的可用知识量不断增加，跟上图像描述领域的最新研究和发现变得越来越困难。然而，现有的审查文件没有充分涵盖这些调查结果。我们在本文中执行一个贯穿当前的技术，数据集，基准和评价指标中使用的图像描述。目前对该领域的研究主要集中在基于深度学习的方法上，其中注意力机制以及深度强化和对抗学习似乎处于该研究主题的前沿。在本文中，我们回顾了最近的方法，如UpDown，OSCAR，VIVO，Meta Learning和使用条件生成对抗网的模型。虽然基于GAN的模型得分最高，但UpDown代表了图像描述的重要基础，OSCAR和VIVO更有用，因为它们使用了新颖的对象描述。这篇综述论文为研究人员提供了一个路线图，以跟上图像字幕生成领域的最新贡献。
2021-07-28 cs.CV
Actor-Critic Sequence Training for Image Captioning
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
生成图像的自然语言描述是机器人或其他视觉智能驱动的人工智能智能体的重要能力，其可能需要与人类用户就其所看到的内容进行通信。这种图像描述方法通常通过最大化给定图像的地面实况注释字幕的可能性来训练。虽然简单且易于实现，但这种方法并不能直接最大化我们关心的语言质量指标，如CIDER。在本文中，我们研究训练图像描述方法的基础上演员-评论家强化学习，以直接优化不可区分的质量指标的兴趣。通过在这种基于强化学习的字幕模型中制定每个标记的优势和值计算策略，我们证明了在广泛使用的MSCOCO基准上实现最先进的性能是可能的。
2017-11-28 cs.CV
Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning
Italian Institute of Technology, Genoa, Italy（意大利理工学院，热那亚，意大利）；University of Genoa, Genoa, Italy（热那亚大学，热那亚，意大利）
本文提出一种统一的记忆增强视觉-语言代理，通过单一自回归框架同时处理数据关联、对象描述和探索策略，提升持久且语义一致的对象描述能力。
2026-03-30 cs.CV
Prompt-based Learning for Unpaired Image Captioning
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Anhui University（安徽大学）；Beijing Institute of Technology（北京理工大学）；Sun Yat-Sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
非配对图像描述（UIC）已被开发用于从非对齐的视觉语言样本对中学习图像描述。现有的工作通常解决这个任务使用对抗学习和视觉概念奖励的基础上强化学习。然而，这些现有的工作只能学习有限的跨域信息的视觉和语言领域，这限制了UIC的字幕性能。受视觉语言预训练模型（VL-PTM）在本研究中的成功启发，我们试图从UIC任务的大型VL-PTM中推断关于给定图像的跨域线索信息。这项研究也受到了最近在许多下游多模态任务中快速学习的成功的启发，包括图像-文本检索和视觉问答。在这项工作中，引入了语义提示，并与视觉特征聚合，以便在对抗学习框架下进行更准确的字幕预测。此外，度量提示被设计为选择从基本字幕模型获得的高质量的伪图像字幕样本，并以迭代的方式改进模型。在COCO和Flickr 30 K数据集上的大量实验验证了该模型的字幕能力。我们期望，建议的基于UIC模型将刺激一个新的线的研究VL-PTM基于字幕。
2022-11-18 cs.CV
Taking an Emotional Look at Video Paragraph Captioning
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
将视觉数据转换为自然语言对于机器理解世界并与人类交互至关重要。在这项工作中，一个全面的研究进行视频段落字幕，目标是生成一个给定的视频段落级的描述。然而，目前的研究主要集中在检测客观事实，忽略了需要建立句子之间的逻辑关联，并发现更准确的情感相关的视频内容。这样的问题影响了预测字幕的流畅和丰富的表达，这远远低于人类的语言标准。为了解决这个问题，我们建议构建一个大规模的情感和逻辑驱动的多语言数据集。该数据集被命名为EMVPC（Emotional Video Paragraph Captioning），包含日常生活中广泛使用的53种情绪，与这些情绪相对应的376个常见场景，10，291个高质量视频和20，582个精心制作的中英文段落字幕。在这个新的数据集中还提供了相关的情感类别、场景标签、情感词标签和逻辑词标签。拟议的EMVPC数据集旨在提供全面的视频段落字幕，具有丰富的情感、连贯的逻辑和精致的表达，这也可以有益于视觉语言领域的其他任务。此外，进行了全面的研究，通过实验对现有的基准视频段落字幕数据集和建议EMVPC。从不同的视觉字幕任务的最先进的方案进行了比较，在15个流行的指标，并总结了详细的客观和主观的结果。最后，本文对视频段落字幕技术存在的问题和未来的发展方向进行了展望。这一独特的视角有望推动视频段落字幕研究的进一步发展。
2022-03-12 cs.CV
User-Aware Prefix-Tuning is a Good Learner for Personalized Image Captioning
Zhejiang University（浙江大学）；University of Washington（华盛顿大学）
提出一种基于用户感知前缀微调的个性化图像描述框架，利用冻结的GPT-2和CLIP提取视觉特征与用户上下文生成前缀，在少量参数训练下显著提升了描述性能。
2024-12-20 cs.CV
Exploring Semantic Relationships for Unpaired Image Captioning
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Foreign Studies University（北京外国语大学）
近年来，图像描述在学术界和工业界都引起了极大的兴趣。大多数现有的系统都是建立在由图像-句子对组成的大规模数据集上的，然而，这是耗时的构造。此外，即使是最先进的图像描述系统，也仍然难以实现深度图像理解。在这项工作中，我们实现了不成对的图像描述的桥梁视觉和语言领域的高层语义信息。其动机源于这样一个事实，即具有相同模态的语义概念可以从图像和描述中提取。为了进一步提高该模型生成的字幕的质量，我们提出了语义关系浏览器，它探索语义概念之间的关系，以更好地理解图像。在MSCOCO数据集上的大量实验表明，我们可以在没有配对数据集的情况下生成令人满意的字幕。此外，所提出的方法在配对设置下提高了五个强基线，其中CIDEr得分的最显着改善达到8%，表明它是有效的，并且可以很好地推广到各种模型。
2021-08-17 cs.CV
Hierarchical LSTMs with Adaptive Attention for Visual Captioning
The University of Electronic Science and Technology of China（电子科技大学）
最近在使用基于注意力的编码器-解码器框架用于图像和视频描述字幕方面取得了进展。大多数现有的解码器将注意力机制应用于包括两个视觉词（例如，“枪”和“射击”）和非视觉词（例如“the”，“a”）。然而，这些非视觉词可以很容易地预测使用自然语言模型，而不考虑视觉信号或注意。将注意力机制强加在非视觉文字上会产生误导，降低视觉字幕的整体效果。此外，LSTM的层次结构可以更复杂地表示视觉数据，以不同的尺度捕获信息。为了解决这些问题，我们提出了一种具有自适应注意力的分层LSTM（hLSTMat）方法，用于图像和视频描述。具体地说，该框架利用空间或时间注意力来选择特定的区域或帧来预测相关词，而自适应注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外，一个分层的LSTM被设计为同时考虑低级别的视觉信息和高级语言上下文信息，以支持字幕生成。我们最初设计我们的hLSTMat为视频描述任务。然后，我们进一步完善它，并将其应用到图像描述任务。为了证明我们提出的框架的有效性，我们在视频和图像描述任务上测试了我们的方法。实验结果表明，我们的方法实现了国家的最先进的性能的大多数评价指标的任务。在消融研究中也充分利用了重要组件的作用。
2018-12-26 cs.CV
Finding It at Another Side: A Viewpoint-Adapted Matching Encoder for Change Captioning
Nanyang Technological University（南洋理工大学）；Adobe Research（Adobe研究院）；Monash University（蒙纳士大学）
改变字幕是一项旨在用自然语言描述图像之间差异的任务。大多数现有的方法把这个问题作为一个差异判断，而不存在干扰，如观点的变化。然而，在实践中，视点变化经常发生，并且可以压倒要描述的语义差异。在本文中，我们提出了一种新的视觉编码器，明确区分视点变化的语义变化中的变化字幕任务。此外，我们进一步模拟人类的注意力偏好，并提出了一种新的强化学习过程来微调的注意力直接与语言评价奖励。大量的实验结果表明，我们的方法优于国家的最先进的方法在两个斑点的差异和CLEVR-Change数据集的大幅度。
2020-09-30 cs.CV
AutoCaption: Image Captioning with Neural Architecture Search
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述将复杂的视觉信息转化为抽象的自然语言进行表示，可以帮助计算机快速理解世界。但由于现实环境的复杂性，它需要识别关键对象并实现它们之间的联系，进而生成自然语言。整个过程涉及一个视觉理解模块和一个语言生成模块，这给深度神经网络的设计带来了比其他任务更多的挑战。神经结构搜索（NAS）在各种图像识别任务中显示出其重要作用。此外，RNN在图像描述任务中起着至关重要的作用。为了更好地设计图像描述的解码器模块，我们引入了AutoCaption方法，使用NAS自动设计解码器模块AutoRNN。我们使用基于共享参数的强化学习方法来有效地自动设计AutoRNN。AutoCaption的搜索空间包含了层间的连接和层内的操作，使得AutoRNN可以表达更多的结构。特别地，RNN等价于我们的搜索空间的子集。在MSCOCO数据集上的实验表明，我们的AutoCaption模型可以获得比传统手工设计方法更好的性能。
2021-11-18 cs.CV
Boosting Image Captioning with Attributes
Microsoft Research Asia（微软亚洲研究院）
用自然语言自动描述图像一直是计算机视觉和自然语言处理领域的一个新兴挑战。在本文中，我们提出了长短期记忆与属性（LSTM-A）-一种新的架构，将属性集成到成功的卷积神经网络（CNN）和递归神经网络（RNN）图像描述框架中，通过端到端的方式训练它们。为了整合属性，我们通过以不同的方式将图像表示和属性输入RNN来构建架构的变体，以探索它们之间的相互但模糊的关系。在COCO图像描述数据集上进行了大量的实验，与最先进的深度模型相比，我们的框架取得了优异的结果。最值得注意的是，在通过GoogleNet提取图像表示时，我们在广泛使用和公开可用的分割测试数据（Karpathy & Fei-Fei，2015）中获得了25.2%/98.6%的METEOR/CIDER-D，并在COCO字幕排行榜上获得了迄今为止的顶级性能。
2016-11-05 cs.CV
OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
针对现有全模态描述生成器忽视物理证据的问题，提出统一框架，通过数据构建、训练和评估，利用物理感知模型提取线索，训练出在多个基准上达到最先进水平的描述生成器。
2026-09-29 cs.CV
DualPrompt-MedCap: A Dual-Prompt Enhanced Approach for Medical Image Captioning
University of Technology Sydney（悉尼科技大学）
针对医学图像 captioning 中模态识别与上下文相关性不足的问题，提出双提示增强框架 DualPrompt-MedCap，通过模态感知提示和问题引导提示增强 LVLMs，还提出联合评估框架，实验提升模态识别准确率 22%，生成更优临床报告。
2025-04-13 cs.CV
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University（特拉维夫大学）
我们介绍了一种zero-shot视频描述方法，该方法采用两个冻结网络：GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同，我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的，从而逐渐提高所生成句子的特异性和全面性。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实世界知识。我们的代码可在：https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
I-Tuning: Tuning Frozen Language Models with Image for Lightweight Image Captioning
Hong Kong Baptist University（香港浸会大学）；Zhejiang University（浙江大学）；NetEase Inc.（网易公司）
图像描述是一种传统的视觉和语言任务，旨在生成图像的语言描述。最近的研究集中在按比例增加模型的大小和训练数据的数量，这显著增加了模型训练的成本。与这些高成本模型不同，我们引入了一个轻量级的图像描述框架（I-Tuning），其中包含少量的可训练参数。我们设计了一个新的I-Tuning交叉注意模块来连接不可训练的预训练语言解码器GPT 2和视觉编码器CLIP-ViT。由于大多数参数在训练过程中不需要更新，因此我们的框架是轻量级和快速的。在三个图像描述基准上进行的实验结果表明，我们的框架实现了与大规模基线系统相当或更好的性能。但是，与最先进的基线相比，我们的模型包含的可训练参数少了10倍，需要的训练数据也少得多。
2023-03-13 cs.CL cs.CV
Context-Aware Visual Policy Network for Sequence-Level Image Captioning
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
许多视觉语言任务可以归结为自然语言输出的序列预测问题。特别是，图像描述的最新进展使用深度强化学习（RL）来减轻训练期间的“暴露偏差”：在每一步预测中暴露真实子序列，这在仅看到预测子序列时在测试中引入偏差。然而，现有的基于RL的图像描述方法仅关注语言策略而不关注视觉策略（例如，视觉注意力），并且因此不能捕获对于诸如视觉关系的组成推理至关重要的视觉上下文（例如，“人骑马”）和比较（例如，“更小的猫”）。为了填补这一空白，我们提出了一个上下文感知的视觉策略网络（CAVP）的序列级图像描述。在每一个时间步，CAVP显式地考虑以前的视觉注意力作为上下文，然后决定上下文是否有助于当前词生成给定的当前视觉注意力。与传统的视觉注意在每一步只固定一个图像区域相比，CAVP可以随着时间的推移关注复杂的视觉组合。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过相对于任何字幕评价度量使用演员-评论家策略梯度方法来有效地端到端优化。我们证明了CAVP的有效性，最先进的性能MS-COCO离线分割和在线服务器上，使用各种指标和明智的可视化的定性视觉环境。代码可在https://github.com/daqingliu/CAVP上获得
2018-08-22 cs.CV
Deep Learning Approaches on Image Captioning: A Review
McMaster University（麦克马斯特大学）；Ferdowsi University of Mashhad（马什哈德 Ferdowsi 大学）
该综述系统梳理了图像字幕生成的深度学习方法，给出分类体系、常用数据集与评价指标，分析现有挑战与性能排名，并指明未来研究方向。
2023-08-22 cs.CV
Self-Supervised Image Captioning with CLIP
New York University（纽约大学）
针对图像描述依赖大量图文对的问题，提出先用少量有标注数据初始化、再借助 CLIP 相关性辅助任务进行自监督学习的方法，仅用不到2%的COCO标注即达到全量训练的先进性能。
2023-11-02 cs.CV
Towards Unsupervised Image Captioning with Shared Multimodal Embeddings
Technische Universität München（慕尼黑工业大学）；University of Oxford（牛津大学）
在没有显式监督的情况下理解图像已经成为计算机视觉中的一个重要问题。在本文中，我们解决图像描述生成的语言描述的场景，而不学习的注释对图像和它们的字幕。我们的方法的核心组成部分是一个共享的潜在空间，是由视觉概念结构。在这方面，这两种模式应该是不可区分的。首先训练语言模型以将句子编码为语义结构化的嵌入。翻译到该嵌入空间的图像特征可以通过相同的语言模型解码为描述，类似于句子嵌入。这种翻译是从弱配对的图像和文本中学习的，使用对噪声分配和条件对抗组件具有鲁棒性的损失。我们的方法允许利用大型文本语料库以外的图像/字幕数据的注释分布。我们的实验表明，所提出的域对齐学习一个语义上有意义的表示，优于以前的工作。
2019-08-25 cs.CV
ExCap3D: Expressive 3D Scene Understanding via Object Captioning with Varying Detail
Technical University of Munich（慕尼黑工业大学）
针对现有3D对象字幕仅单一细节级别的不足，提出ExCap3D模型生成对象级与部件级多细节字幕，构建对应数据集，实验显示其字幕质量显著优于SOTA方法。
2025-03-21 cs.CV
Evaluating Multimodal Large Language Models on Video Captioning via Monte Carlo Tree Search
TJUNLP Lab, College of Intelligence and Computing, Tianjin University（天津大学智能计算学院）
针对现有视频字幕评估基准的缺陷，研究提出基于MCTS的AutoCaption框架构建细粒度基准MCTS-VCB，评估20余款MLLMs并验证了其生成数据的微调增益效果。
2025-06-11 cs.CV
A Comprehensive Analysis of Real-World Image Captioning and Scene Identification
本文针对真实世界低质量图像描述难题，基于MIT Indoor scenes构建含800+图像、65+场景类别的数据集，并采用IC3方法生成描述，系统评估了不同编码机制、语言解码器和训练流程下多种模型的性能。
2023-08-05 cs.CV
Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
在使用基于注意力的编码器-解码器框架用于视频描述方面已经取得了最近的进展。然而，大多数现有的解码器将注意力机制应用于包括两个视觉词（例如，“枪”和“射击”）和非视觉词（例如“the”，“a”）。然而，这些非视觉词语可以使用自然语言模型轻松预测，而无需考虑视觉信号或注意力。将注意力机制强加于非视觉文字会误导和降低视频描述的整体性能。为了解决这个问题，我们提出了一种用于视频描述的具有调整时间注意力的分层LSTM（hLSTMat）方法。具体地说，该框架利用时间注意力来选择特定的帧来预测相关词，而调整后的时间注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外，分层LSTM被设计为同时考虑低级视觉信息和高级语言上下文信息以支持视频字幕生成。为了证明我们提出的框架的有效性，我们测试了我们的方法在两个流行的数据集：MSVD和MSR-VTT，实验结果表明，我们的方法优于国家的最先进的方法在这两个数据集。
2017-06-05 cs.CV
BTCChat: Advancing Remote Sensing Bi-temporal Change Captioning with Multimodal Large Language Model
State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；Aerospace Information Research Institute（航天信息研究所）；Chinese Academy of Sciences（中国科学院）；School of Geographical Sciences（地理科学学院）；Hunan Normal University（湖南师范大学）
BTCChat通过多模态大语言模型提升遥感双时相变化描述能力，引入变化提取模块和提示增强机制，实现更精确的视觉-语义对齐和更优的性能表现。
2026-01-27 cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
