Controllable Image Captioning via Prompting
Huawei Inc.（华为公司）
尽管图像描述取得了显著的进步，但是现有的字幕器通常缺乏生成期望的图像字幕的可控能力，例如，在本文中，我们表明，一个统一的模型是有资格在不同的领域表现良好，并在多种风格之间自由切换。通过将提示学习嵌入到图像描述框架中来实现这种可控能力。具体来说，我们设计了一组提示来微调预训练的图像字幕。这些提示允许模型从不同领域吸收程式化数据进行联合训练，而不会降低每个领域的性能。此外，我们优化的提示与学习向量在连续的词嵌入空间，避免了启发式提示工程，同时表现出优越的性能。在推理阶段，我们的模型能够通过选择相应的提示来生成所需的风格化字幕。大量的实验验证了所提出的方法的可控能力。值得注意的是，我们实现了两个不同的图像描述基准，包括COCO Karpathy分裂和TextCaps使用一个统一的模型出色的性能。
2022-12-04 cs.CV
Top-Down Framework for Weakly-supervised Grounded Image Captioning
School of Electrical and Electronic Engineering, Nanyang Technology University（南洋理工大学电气与电子工程学院）；Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电气与电子工程系）
针对两阶段WSGIC依赖独立候选框、忽视物体关系的问题，提出单阶段自上而下框架，通过RGM、VLAMs和关系语义模块实现描述生成与定位，并在两个数据集上达到SOTA定位性能。
2024-03-02 cs.CV
Controllable Image Captioning
现有的图像字幕生成器可以生成准确的句子来描述图像，而不考虑可控性和可解释性。然而，这远不能使图像描述被广泛使用，因为图像可以根据目标和手头的上下文以无限的方式被解释。实现可控性是重要的，特别是当图像字幕由不同的人使用不同的方式来解释图像时。在本文中，我们介绍了一种新的框架图像描述，它可以产生不同的描述，通过捕获的词性标签和语义之间的相互依赖。我们的模型解释了连续变量之间的直接相关性。通过这种方式，它允许解码器彻底搜索潜在的词性选择，同时保持解码速度与POS词汇表的大小成比例。给定一个控制信号的形式的一个序列的部分的语音标签，我们提出了一种方法来生成字幕，通过一个Transformer网络，预测的基础上输入的部分的语音标签序列的话。在公开数据集上的实验表明，我们的模型在生成高质量的各种图像标题方面显着优于最先进的方法。
2022-05-25 cs.CV
Deconfounded Image Captioning: A Causal Retrospect
Southeast University（东南大学）；Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）
本文提出基于因果推断的去混淆图像描述框架 DICv1.0，通过后门和前门调整缓解数据集偏差，并在 MS COCO 上取得显著性能提升。
2023-12-01 cs.CV
Enhancing Vision-Language Pre-Training with Jointly Learned Questioner and Dense Captioner
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出JADE方法，利用预训练多模态模型和网络图像-文本对自动生成并过滤大规模VQA与密集描述数据集CC3M-QA-DC，用于多任务预训练以增强视觉-语言细粒度对齐，并在多个下游任务上提升性能。
2023-08-06 cs.AI cs.CL cs.CV
ViTOC: Vision Transformer and Object-aware Captioner
本文提出ViTOC模型，通过Vision Transformer与目标检测器双路径架构融合全局与局部特征，结合目标感知提示策略，在COCO数据集上超越基线模型，并提出基于CLIP的无参考评估方法，提升图像描述生成的准确性与多样性。
2025-04-17 cs.CV
Learning to Collocate Neural Modules for Image Captioning
Nanyang Technological University（南洋理工大学）
我们不会一个字一个字地从头开始说话;我们的大脑会很快构建一个像\textsc{sth do sth at someplace}这样的模式，然后填写详细的描述。为了使现有的编码器-解码器图像字幕，如人类一样的推理，我们提出了一个新的框架：学习搭配神经模块（CNM），以生成连接视觉编码器和语言解码器的“内部模式”。与视觉问答中广泛使用的神经模块网络不同，语言（即问题）是完全可观察的，用于字幕的CNM更具挑战性，因为语言正在生成，因此部分可观察。为此，我们为CNM培训做出了以下技术贡献：1）紧凑的模块设计-一个功能词，三个视觉内容词（如名词、形容词和动词）; 2）软模块融合和多步模块执行，在部分观察中增强视觉推理; 3）模块控制器忠实于词性搭配的语言损失（形容词在名词之前）。在具有挑战性的MS-COCO图像描述基准上进行的大量实验验证了我们的CNM图像标题的有效性。特别是，CNM在Karpathy split上实现了最先进的127.9 CIDEr-D，并在官方服务器上实现了单一模型126.0 c40。CNM对很少的训练样本也是鲁棒的，例如，通过对每个图像只训练一个句子，与强基线相比，CNM可以将性能损失减半。
2019-04-18 cs.CV
No Detail Left Behind: Revisiting Self-Retrieval for Fine-Grained Image Captioning
IIIT Hyderabad（印度国际信息技术学院）；CVIT（视觉信息技术中心）
针对细粒度图像描述中自检索微调导致描述失真与幻觉的问题，本文提出Visual Caption Boosting框架和BagCurri训练课程，在保持忠实度的同时提升细粒度描述能力，并构建TrueMatch基准评估细微视觉差异捕捉能力，以更少参数超越现有开源MLLM。
2025-04-09 cs.CV
Image Captioning with Context-Aware Auxiliary Guidance
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Science and Technology of China（中国科学技术大学）
图像描述是一项具有挑战性的计算机视觉任务，其目的是生成图像的自然语言描述。最近的研究遵循编码器-解码器框架，该框架严重依赖于先前生成的用于当前预测的单词。这种方法不能有效地利用未来的预测信息来学习完整的语义。在本文中，我们提出了上下文感知辅助指导（CAAG）机制，可以指导字幕模型感知全局上下文。在字幕模型上，CAAG执行语义注意，选择性地集中在全局预测的有用信息，以再现当前生成。为了验证该方法的适应性，我们将CAAG应用于三种流行的字幕，我们的建议在具有挑战性的Microsoft COCO图像描述基准上实现了具有竞争力的性能，例如在Karpathy分裂上的132.2 CIDEr-D得分和在官方在线评估服务器上的130.7 CIDEr-D（c40）得分。
2021-01-04 cs.AI cs.CV
SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment
Ant Group（蚂蚁集团）
本文提出SyCoCa方法，通过引入文本引导的掩码图像建模头和注意力掩码策略，在全局与局部层面实现图像与文本的双向交互，有效提升了多模态对齐在细粒度层面的理解能力。
2024-01-04 cs.AI cs.CV
Unpaired Image Captioning by Language Pivoting
Nanyang Technological University（南洋理工大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
图像描述是涉及计算机视觉和自然语言处理的多模态任务，其目标是学习从图像到其自然语言描述的映射。通常，映射函数是从图像-字幕对的训练集学习的。然而，对于某些语言，大规模的图像-字幕配对语料库可能无法使用。我们提出了一种方法，这种不成对的图像描述问题的语言旋转。我们的方法可以有效地捕捉图像字幕的特点，从主语言（中文），并将其对齐到目标语言（英语）使用另一个非目标（汉英）句子平行语料库。我们在两个图像到英语的基准数据集上评估我们的方法：MSCOCO和Flickr 30 K。对几个基线方法的定量比较表明，我们的方法的有效性。
2018-07-18 cs.CV
Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data
Hanyang University（汉阳大学）；POSTECH（浦项科技大学）；Yonsei University（延世大学）；KAIST（韩国科学技术院）
我们提出了一种新的数据有效的半监督框架，以提高图像描述模型的泛化能力。构建大规模标记的图像描述数据集在劳动力、时间和成本方面是昂贵的任务。与手动注释所有训练样本相比，单独收集单峰数据集要容易得多，例如，大规模图像数据集和句子数据集。我们通过学习将它们关联起来，在标准配对数据上利用如此大量的未配对图像和字幕数据。为此，我们提出的半监督学习方法分配伪标签的不成对的样本在一个对抗性的学习方式，学习图像和字幕的联合分布。我们的方法训练字幕从配对数据中学习，并逐步关联未配对的数据。这种方法即使在包括任务外数据（即，关系字幕，其中目标任务不同于未配对的数据）和web爬取的数据。我们还表明，我们提出的方法是理论上动机良好，并具有良好的全局最优性能。我们对（1）基于图像和（2）基于密集区域的字幕数据集进行了广泛而全面的实证结果，然后对很少配对的COCO数据集进行了全面分析，证明了我们的半监督学习方法与竞争方法相比具有一致的有效性。
2023-01-26 cs.AI cs.CL cs.CV
RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning
Apple（苹果公司）；University of Wisconsin—Madison（威斯康星大学麦迪逊分校）
RubiCap通过基于评分标准的强化学习方法，在密集图像描述任务中实现了更高的胜率和词效，优于监督蒸馏和传统RL方法。
2026-09-29 cs.AI cs.CV cs.LG
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore（新加坡国立大学）
本文提出Cross2StrA模型，利用场景图和句法成分树作为枢轴结构，结合跨模态语义对齐、跨语言句法对齐及回译训练，显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
Exploring Annotation-free Image Captioning with Retrieval-augmented Pseudo Sentence Generation
University of Sydney（悉尼大学）
本文提出RaPSG策略，通过蒸馏大型预训练模型知识并从不匹配语料库检索相关区域描述生成高质量伪句子，结合流畅性过滤器和CLIP指导，在零样本、无监督等多种设置下优于SOTA模型。
2024-10-14 cs.AI cs.CV
PercepCap: Video Captioner with Structured Spatio-Temporal Perception
Nanjing Univerisity（南京大学）；Kuaishou Technology（快手科技）；Shanghai AI Laboratory（上海人工智能实验室）
研究视频字幕生成问题，提出PercepCap框架，遵循感知-描述生成链，设计两阶段训练策略及相关数据构建方法，在评估中优于基线，提升视频字幕生成质量。
2026-08-28 cs.CV
Revisiting Image Captioning Training Paradigm via Direct CLIP-based Optimization
IIT-CNR（意大利国家研究委员会信息学与电信研究所）
本文提出Direct CLIP-Based Optimization (DiCO)新训练范式，通过联合优化蒸馏的奖励模型并解决加权分类问题，提升图像描述的稳定性和质量，更符合人类偏好。
2024-08-26 cs.AI cs.CL cs.CV
Differentially Private Representation Learning via Image Captioning
Meta；École polytechnique（巴黎综合理工学院）；UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣迭戈分校）
针对差分隐私表示学习隐私-准确率权衡不佳的问题，本研究通过图像字幕结合工程技巧，在LAION-2B子集上训练DP-Cap模型，获得高质量特征，在ε=8时ImageNet-1K线性分类准确率达65.8%，显著超越此前最优水平。
2024-10-30 cs.CV cs.LG
HalCECE: A Framework for Explainable Hallucination Detection through Conceptual Counterfactuals in Image Captioning
National Technical University of Athens（国家技术大学雅典）
本研究针对视觉-语言模型的幻觉检测问题，提出可解释框架HalCECE，基于概念反事实生成语义最小编辑，结合层级概念分解与角色幻觉分析，为VL系统可信评估提供新方向。
2025-06-30 cs.AI cs.CV
Show, Adapt and Tell: Adversarial Training of Cross-domain Image Captioner
National Tsing Hua University（清华大学（台湾））；Microsoft Research（微软研究院）
令人印象深刻的图像描述结果在具有大量训练图像和句子对的域中实现（例如，MSCOCO）。然而，转移到具有显著域移位但没有配对训练数据的目标域（称为跨域图像描述）仍然在很大程度上未被探索。我们提出了一种新的对抗性训练过程，以利用目标域中的未配对数据。引入了两个评论家网络来指导字幕，即域评论家和多模态评论家。域评论器评估所生成的句子是否与目标域中的句子不可区分。多模态批评家评估图像和其生成的句子是否是有效的对。在训练过程中，批评者和字幕者扮演着对手的角色--字幕者的目标是生成无法区分的句子，而批评者的目标是区分它们。评估通过策略梯度更新来改进标题。在推理过程中，我们进一步提出了一种新的基于批评的规划方法来选择高质量的句子，而无需额外的监督（例如，标签）。为了进行评估，我们使用MSCOCO作为源域，其他四个数据集（CUB-200-2011，Oxford-102，TGIF和Flickr 30 k）作为目标域。我们的方法在所有数据集上都表现良好。特别是，在CUB-200-2011上，我们在适应后实现了21.8%的CIDEr-D改善。在推理过程中利用批评者进一步提高了4.5%。
2017-08-14 cs.AI cs.CV cs.LG
Efficient Image Captioning for Edge Devices
Huawei Inc.（华为公司）
近年来，图像描述的发展非常迅速。然而，对大的存储器存储和沉重的计算负担的需求阻止这些字幕模型被部署在移动设备上。主要的障碍在于重量级的视觉特征提取器（即，目标检测器）和复杂的跨模态融合网络。为此，我们提出了LightCap，一个轻量级的图像字幕资源有限的设备。核心设计是建立在最新的CLIP模型，以实现高效的图像描述。具体来说，一方面，我们利用CLIP模型来提取紧凑的网格特征，而不依赖于耗时的目标检测器。另一方面，通过设计一个新颖的视觉概念提取器和交叉模态调制器，将CLIP的图文检索设计转移到图像描述场景中。我们通过顺序和集成蒸馏进一步优化了跨模态融合模型和并行预测头。通过精心设计的结构，我们的模型仅包含40 M参数，与当前最先进的方法相比，节省了75%以上的模型大小和98%以上的FLOP。尽管容量较低，但我们的模型在流行的数据集上仍然表现出最先进的性能，例如，136.6 CIDEr对COCO Karpathy测试的拆分。在只有一个CPU的智能手机上进行测试，所提出的LightCap显示出每幅图像188ms的快速推理速度，这是为实际应用做好了准备。
2022-12-18 cs.CV
Pretrained Image-Text Models are Secretly Video Captioners
Dartmouth College（达特茅斯学院）
本文提出仅用6,000个视频-文本对后训练 BLIP2 并简单拼接帧，将图像字幕模型转化为高性能视频字幕器，在多个基准上达到顶级排名。
2025-02-19 cs.CV cs.LG
Image Captioning via Compact Bidirectional Architecture
School of Big Data and Statistics, Anhui University（安徽大学大数据与统计学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Intelligent Interconnected Systems Laboratory of Anhui Province (Hefei University of Technology)（安徽省智能互联系统实验室（合肥工业大学））；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息学院）；JD Explore Academy, JD.com Inc（京东探索研究院）；State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining, Anhui University of Science and Technology（安徽理工大学深部煤矿采动响应与灾害防控国家重点实验室）
本文提出紧凑双向Transformer模型，通过并行解码器隐式和显式利用双向上下文，经消融研究发现其比显式交互机制更重要，结合词级融合进一步提升效果，并扩展至LSTM基座实现新SOTA结果。
2026-03-10 cs.CL cs.CV
Fluent and Accurate Image Captioning with a Self-Trained Reward Model
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
本文提出Self-Cap方法，通过基于自生成负样本训练的可学习判别器作为奖励模型，在提升图像描述正确性与丰富度的同时避免CLIP奖励导致的语法问题，并缩短了微调时间。
2024-08-29 cs.CV
OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
针对现有全模态描述生成器忽视物理证据的问题，提出统一框架，通过数据构建、训练和评估，利用物理感知模型提取线索，训练出在多个基准上达到最先进水平的描述生成器。
2026-09-29 cs.CV
Scaling Up Vision-Language Pre-training for Image Captioning
Microsoft（微软）
近年来，基于视觉语言预训练（VLP）的图像描述任务的性能得到了显著提高。规模被认为是这一进步的重要因素。然而，大多数现有的工作只集中在预训练具有中等大小的Transformers（例如，12或24层），大约400万张图像。在本文中，我们提出了LEMON，一个大规模的图像captiONer，并提供了第一个实证研究的缩放行为的VLP的图像描述。我们使用最先进的VinVL模型作为我们的参考模型，该模型由图像特征提取器和Transformer模型组成，并将Transformer上下缩放，模型大小从1300万到6.75亿参数不等。在数据方面，我们进行了多达2亿的图像-文本对，这是自动收集的基础上的alt属性的图像（称为ALT 200 M）从Web上的实验。随着模型大小和预训练数据大小的增加，广泛的分析有助于表征性能趋势。我们还比较了不同的训练配方，特别是在大规模噪声数据上的训练。因此，LEMON在几个主要的图像描述基准上达到了新的技术水平，包括COCO Caption、nocaps和Conceptual Captions。我们还表明，LEMON可以产生长尾视觉概念的字幕时，在zero-shot的方式使用。
2022-03-26 cs.CL cs.CV
More Grounded Image Captioning by Distilling Image-Text Matching Model
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
视觉注意力不仅可以提高图像字幕的性能，而且可以作为一种视觉解释来定性地衡量字幕的合理性和模型的透明度。具体来说，我们期望字幕者能够在生成相应单词的同时将其专注的目光固定在正确的对象上。这种能力也被称为接地图像描述。然而，现有字幕机的接地精度远不能令人满意。为了在保持字幕质量的同时提高接地精度，收集词区域对齐作为强监督是昂贵的。为此，我们提出了一个部分的语音（POS）增强的图像-文本匹配模型（SCAN \cite{lee2018stacked}）：POS-SCAN，作为更接地图像描述的有效知识蒸馏。好处是双重的：1）给定一个句子和一幅图像，POS-SCAN可以比SCAN更准确地定位对象; 2）POS-SCAN作为字幕者视觉注意力模块的单词区域对齐正则化。通过展示基准实验结果，我们证明了配备POS-SCAN的传统图像字幕机可以在没有强有力监督的情况下显着提高接地精度。最后但并非最不重要的是，我们探讨了不可或缺的自我批判序列训练（SCST）\cite{Rennie_2017_CVPR}的背景下接地图像描述，并表明图像-文本匹配分数可以作为奖励更接地的字幕\footnote{https://github.com/YuanEZhou/Grounded-Image-Captioning}。
2020-04-01 cs.CL cs.CV
AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning
Nanjing University（南京大学）；Kuaishou Technology（快手科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
研究全模态视频字幕编排视听协同问题，提出AVSCap框架，构建训练语料库，采用两阶段策略训练字幕生成器，引入新基准，实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色，提升了整体性能。
2026-07-15 cs.CV
Towards Accurate Text-based Image Captioning with Content Diversity Exploration
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；University of Adelaide（阿德莱德大学）
基于文本的图像描述（TextCap）是一种以文本为基础对图像进行解读和推理的方法，它是机器理解复杂场景环境的关键，因为文本在日常生活中无处不在。然而，这项任务是非常具有挑战性的，因为图像往往包含复杂的文本和视觉信息，很难被全面描述。现有的方法试图扩展传统的图像描述方法来解决这一问题，该方法集中于通过一个全局字幕来描述图像的整体场景。这是不可行的，因为复杂的文本和视觉信息无法在一个标题中很好地描述。为了解决这个困难，我们试图生成多个标题，准确地描述图像的不同部分的细节。为了实现这一目的，存在三个关键挑战：1）难以决定图像文本的哪些部分要复制或释义; 2）捕捉图像中不同文本之间的复杂关系是不平凡的; 3）如何生成具有不同内容的多个字幕仍然是一个悬而未决的问题。为了克服这些问题，我们提出了一种新的锚定字幕方法。具体来说，我们首先找到应该更多关注的重要令牌，并将其视为锚。然后，对于每个选定的锚点，我们将其相关的文本进行分组，以构建相应的锚点中心图（ACG）。最后，基于不同的ACG进行多视角字幕生成，以提高生成字幕的内容多样性。实验结果表明，我们的方法不仅达到SOTA性能，但也产生不同的字幕来描述图像。
2021-04-23 cs.CV
An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎综合理工学院）
针对音视频模态鸿沟阻碍音频字幕生成的问题，提出通过对齐音频与图像token分布的方法，在不改动原有图像字幕组件的情况下实现无监督零样本音频描述，性能显著优于现有方法。
2024-10-08 cs.CV cs.LG cs.SD
Poet: Product-oriented Video Captioner for E-commerce
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
在电子商业中，越来越多的用户生成的视频被用于产品推广。如何生成能够描述用户偏好的产品特征的视频描述是成功推广的关键。传统的视频描述方法集中于常规地描述视频中存在和发生的内容，不适合于面向产品的视频描述。为了解决这个问题，我们提出了一个面向产品的视频字幕框架，简称为诗人。诗人首先表示为面向产品的时空图的视频。然后，基于视频相关产品的方面，我们执行知识增强的时空推理这些图捕捉细粒度的产品零件特征的动态变化。Poet中的知识利用模块通过执行知识过滤和动态内存建模而不同于传统设计。我们表明，诗人实现了一致的性能改进，比以前的方法，关于生成质量，产品方面的捕获，和词汇的多样性。在两个面向产品的视频描述数据集上进行了实验，这两个数据集分别是买家生成的时尚视频数据集（BFVD）和粉丝生成的时尚视频数据集（FFVD）。我们将发布脱敏数据集，以促进对视频描述和一般视频分析问题的进一步研究。
2020-08-16 cs.CV
Image Captioners Are Scalable Vision Learners Too
Google DeepMind（谷歌DeepMind）
本文公平比较图像描述与对比预训练，发现仅用描述训练视觉编码器在分类上相当、在视觉语言任务上更优，且扩展性更好。
2023-12-21 cs.CV
A Matched-Budget Audit Framework for Recaptioned Image-Text Supervision Distributions
Seoul National University（首尔大学）
针对重标注图像-文本监督分布难以审计的问题，提出匹配预算审计框架，在固定文本预算下报告五轴概况，并在多源语料库上验证其有效性，同时发布审计语料库与工件。
2026-10-02 cs.AI cs.CV
A Glance Is All You Need: Single-Pass Fine-Grained Image Captioning with SimLoss
Adobe Research（奥多比研究院）
该研究针对现有图像字幕模型遗漏视觉细节、多阶段系统延迟高的问题，提出SimLoss，实现单遍细粒度图像字幕生成，相关变体在精度、召回率等指标上表现优异且推理速度快。
2026-10-01 cs.CV
Image Captioners Sometimes Tell More Than Images They See
Yokohama City University（横滨市立大学）；NTT Comware Corporation（NTT Comware公司）
本文探究图像描述生成器生成的文本对原始图像信息的保留程度，实验表明仅凭描述文本分类有时优于图像分类，且融合两者可提升准确率。
2023-05-11 cs.CV cs.MM
Decoupled Novel Object Captioner
University of Technology Sydney（悉尼科技大学）；Google Inc.（谷歌公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
图像描述是一个具有挑战性的任务，机器自动描述一个图像的句子或短语。它通常需要大量成对的图像-句子注释进行训练。然而，预先训练的字幕模型很难应用于其中存在一些新颖对象类别的新领域，即，对象及其描述词在模型训练期间不可见。为了正确地描述新的对象，它需要专业的人类工作者用新的词语对图像进行句子注释。它是劳动力昂贵的，因此限制了它在现实世界中的应用。在本文中，我们介绍了zero-shot小说对象字幕任务，机器生成的描述没有额外的句子的小说对象。为了解决这个具有挑战性的问题，我们提出了一个解耦的新颖对象描述符（DNOC）框架，可以完全解耦的语言序列模型的对象描述。DNOC有两个组成部分。1)带有占位符的序列模型（SM-P）生成一个包含占位符的句子。占位符代表一个看不见的新对象。因此，序列模型可以从新颖的对象描述中解耦。2)一个建立在自由可用的检测模型上的键值对象存储器包含每个对象的视觉信息和相应的单词。SM-P将生成查询以从对象存储器中检索单词。然后占位符将被填充正确的单词，从而产生具有新颖对象描述的标题。实验结果表明，在zero-shot新颖物体字幕任务中，DNOC具有描述新颖概念的能力。
2018-08-11 cs.CV
Learning to Collocate Visual-Linguistic Neural Modules for Image Captioning
Southeast University（东南大学）；Nanyang Technological University（南洋理工大学）；Northwestern University（西北大学）；Monash University（莫纳什大学）
本文提出CVLNM图像描述器，通过可区分的视觉-语言模块、自注意力控制器和词性句法损失实现动态模块搭配，并在MS-COCO上取得129.5 CIDEr-D的最优性能。
2023-04-24 cs.CL cs.CV
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa，它最大限度地重用了预训练的图像-文本对比字幕（CoCa）模型，并使其适应视频-文本任务，只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型，但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入，从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外，我们还在VideoCoCa上探索了轻量级的微调，并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
LocCa: Visual Pretraining with Location-aware Captioners
KU Leuven（鲁汶大学）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文提出了一种具有位置感知能力的字幕生成器视觉预训练方法LocCa，通过图像字幕生成器任务接口教导模型读出边界框坐标和字幕信息，在定位下游任务上显著优于标准字幕生成器并保持整体任务性能。
2024-11-11 cs.CV
Recurrent Image Captioner: Describing Images with Spatial-Invariant Transformation and Attention Filtering
UESTC（电子科技大学）
随着递归神经网络在建模序列数据方面的繁荣和注意力机制在自动识别显著信息方面的强大功能，图像描述，又名，图像描述，近年来有了显著的进步。然而，大多数现有范例可能遭受对具有不同缩放、旋转等的图像的不变性的不足;有效整合独立的注意力，形成一个整体的端到端系统。在本文中，我们提出了一种新的图像描述体系结构，称为循环图像字幕（\textbf{RIC}），它允许视觉编码器和语言解码器的连贯合作，在一个经常性的方式。具体来说，我们首先为基于CNN的视觉编码器配备了一个可微层，以实现视觉信号的空间不变变换。此外，我们部署了一个注意力过滤器模块（可区分）之间的编码器和解码器，以动态地确定显着的视觉部分。我们还使用双向LSTM来预处理句子，以生成更好的文本表示。此外，我们建议利用变分推理来优化整个架构。在三个基准数据集上的广泛实验结果（即，Flickr 8 k，Flickr 30 k和MS COCO）证明了我们提出的架构相比，最先进的方法的优越性。
2016-12-15 cs.CL cs.CV
AVoCaDO: An Audiovisual Video Captioner Driven by Temporal Orchestration
Kling Team, Kuaishou Technology（快手科技 Kling 团队）；New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所模式识别新实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peking University（北京大学）；Nanjing University（南京大学）
本文提出由时序编排驱动的视听视频字幕生成器 AVoCaDO，通过两阶段后训练流程（SFT 与 GRPO）显著提升字幕时序连贯性与准确性，在多个基准上超越现有开源模型。
2025-10-12 cs.CV
A Reverse Sign Language Dictionary: Open-Vocabulary Sign Recognition from Continuous Signing via Video Captioning and Description Retrieval
The University of Tokyo（东京大学）；National Institute of Informatics（情报学研究所）
该研究提出无需 gloss 监督的反向手语词典，通过开放权重视觉语言模型生成手语描述、多语言句子编码器检索，实现日本手语的开放词汇识别，可见与未见类检索均获显著提升。
2026-09-04 cs.CL cs.CV
Title Generation for User Generated Videos
National Tsing Hua University（国立清华大学）；Stanford University（斯坦福大学）
一个伟大的视频标题描述了最突出的事件，并抓住观众的注意力。相反，视频描述倾向于生成描述整个视频的句子。虽然自动生成视频标题是一项非常有用的任务，但它远不如视频描述解决。我们解决视频标题生成的第一次提出了两种方法，扩展国家的最先进的视频字幕到这个新的任务。首先，我们使视频字幕突出敏感的启动他们与突出检测器。我们的框架允许联合训练标题生成和视频精彩部分本地化的模型。第二，我们在视频字幕中引入了高句子多样性，这样生成的标题也是多样的和朗朗上口的。这意味着可能需要大量的句子来学习标题的句子结构。因此，我们提出了一种新的句子增强方法来训练字幕与额外的仅限重复的例子，没有相应的视频。我们收集了一个大规模的视频标题在野生（VTW）数据集的18100自动抓取用户生成的视频和标题。在VTW上，我们的方法不断提高标题预测的准确性，并在自动和人工评估中实现最佳性能。最后，我们的句子增强方法也优于M-VAD数据集上的基线。
2016-09-08 cs.AI cs.CV cs.MM
Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception
本文提出Omni-Captioner，通过数据管道、模型和基准系统，系统研究多模态细粒度感知，提出Omni-Detective生成高质量数据，实现音频和视频细粒度描述的最优性能。
2026-03-16 cs.CL cs.CV cs.MM
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
Salesforce Research（Salesforce研究院）
视觉语言预训练（VLP）提高了许多视觉语言任务的性能。然而，大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外，性能的提高在很大程度上是通过用从网络上收集的嘈杂的图像-文本对来扩展数据集来实现的，这是一个次优的监督源。在本文中，我们提出了BLIP，一个新的VLP框架，灵活地转移到视觉语言理解和生成任务。BLIP通过自举字幕有效地利用了有噪声的Web数据，其中字幕器生成合成字幕，过滤器去除有噪声的字幕。我们在广泛的视觉语言任务上取得了最先进的结果，例如图像-文本检索（平均召回率为+2.7%），图像描述（CIDER为+2.8%）和VQA（VQA得分为+1.6%）。当以zero-shot方式直接转移到视频语言任务时，BLIP也表现出很强的泛化能力。代码、模型和数据集发布于https://github.com/salesforce/BLIP。
2022-02-15 cs.CV
One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework
ISTI-CNR, Italy（意大利国家研究委员会信息科学与技术研究所）；University of Pisa, Italy（比萨大学）
本文提出一种统一的零样本描述框架，从图像中心转向补丁中心范式，使能描述任意区域而不需区域级监督。通过将单个补丁视为原子描述单元，实现对任意区域的描述，实验表明有意义的密集视觉特征对多区域描述任务至关重要。
2026-03-27 cs.CV
Explore and Tell: Embodied Visual Captioning in 3D Environments
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
针对单张图像视角不佳阻碍细粒度场景理解的问题，提出具身视觉描述任务与级联具身描述模型CaBOT，构建ET-Cap数据集支撑研究，实验证明模型表现优于基线。
2023-08-21 cs.CV
3D CoCa: Contrastive Learners are 3D Captioners
Shanghai University of Engineering Science（上海工程技术大学）；The Australian National University（澳大利亚国立大学）；Xiamen University（厦门大学）；Peking University（北京大学）
针对3D描述生成中点云稀疏性与跨模态对齐弱的问题，提出3D CoCa统一框架，联合对比视觉-语言学习与描述生成，在ScanRefer和Nr3D基准的CIDEr指标上分别提升10.2%和5.76%。
2025-04-13 cs.CV
Adversarial Semantic Alignment for Improved Image Captions
IBM Research（IBM研究院）
在本文中，我们将图像描述作为条件GAN训练进行研究，提出了一个上下文感知的LSTM字幕和共同关注的字幕，它强制图像和字幕之间的语义对齐。我们根据经验专注于两种训练方法的可行性：自我批判序列训练（SCST）和Gumbel Straight-Through（ST），并证明SCST显示出比Gumbel ST更稳定的梯度行为和改进的结果，即使没有直接访问梯度。我们还解决了字幕模型的自动评估问题，并引入了一个新的语义分数，并显示其与人类判断的相关性。作为一个评价范式，我们认为，一个字幕的一个重要标准是能够概括的组合物的对象，通常不共同出现在一起。为此，我们引入了一个小标题的脱离上下文（OOC）测试集。OOC集，结合我们的语义评分，是为字幕社区提出的新诊断工具。在OOC和MS-COCO基准测试上进行评估时，我们表明基于SCST的训练在语义评分和人工评估方面都具有很强的性能，有望成为高效离散GAN训练的有价值的新方法。
2019-06-06 cs.CL cs.CV cs.LG
Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners
Department of Computer Science and Engineering, University of Moratuwa, Sri Lanka（计算机科学与工程系，穆塔瓦大学，斯里兰卡）
本文研究了如何通过对比captioners适应少样本学习，探讨了参数高效微调策略及生成-对比基础模型的高效适应方法。
2025-12-14 cs.AI cs.CV
OmniCaptioner: One Captioner to Rule Them All
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
提出通用视觉字幕生成框架OmniCaptioner，统一处理自然图像、视觉文本和结构化视觉，生成细粒度文本描述，以增强LLM多模态推理、改进图像生成并提升SFT效率。
2025-06-02 cs.CL cs.CV
Visual News: Benchmark and Challenges in News Image Captioning
University of Maryland（马里兰大学）；Amazon Alexa（亚马逊 Alexa）；University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
我们提出了视觉新闻字幕，一个实体感知的新闻图像描述的任务模型。我们还介绍了Visual News，这是一个大规模的基准测试，包含超过一百万张新闻图片以及相关的新闻文章、图片标题、作者信息和其他元数据。与标准的图像描述任务不同，新闻图像描述了人物、位置和事件至关重要的情况。我们提出的方法可以有效地结合视觉和文本特征，以生成具有更丰富信息（如事件和实体）的字幕。更具体地说，建立在Transformer架构，我们的模型进一步配备了新的多模态特征融合技术和注意力机制，旨在更准确地生成命名实体。我们的方法使用更少的参数，同时实现略好的预测结果比竞争的方法。我们更大、更多样化的视觉新闻数据集进一步突出了新闻图片字幕方面的剩余挑战。
2021-09-13 cs.CV
Altogether: Image Captioning via Re-aligning Alt-text
Meta FAIR；University of Washington（华盛顿大学）；New York University（纽约大学）
本文提出 Altogether 方法，通过多轮人工标注重新对齐已有替代文本以构建富含视觉概念的图像描述训练数据，并训练描述器大规模泛化该过程，从而提升图像描述质量及下游文本到图像生成和零样本分类任务。
2024-12-28 cs.CL cs.CV
Noise-aware Learning from Web-crawled Image-Text Data for Image Captioning
Kakao Brain
针对网络爬取图文数据噪声与过滤导致知识损失的问题，本文提出NoC框架，以对齐层级为控制信号训练可控描述器，从而利用全部数据并生成高质量描述。
2023-09-27 cs.AI cs.CV
