Pragmatic Issue-Sensitive Image Captioning
Stanford University（斯坦福大学）
图像描述系统最近已经有了显著的改进，但是它们仍然倾向于产生对字幕应该满足的通信目标不敏感的字幕。为了解决这个问题，我们提出了问题敏感的图像描述（ISIC）。在ISIC中，字幕系统被赋予目标图像和问题，这是一组以指定哪些信息相关的方式划分的图像。标题程序的目标是生成解决此问题的标题。为了模拟这一任务，我们使用了语用语言使用的理性言语行为模型的扩展。我们的扩展是建立在最先进的预训练神经图像字幕的基础上的，并明确地解释了我们意义上的问题。我们建立实验，这些模型生成的标题，都是高度描述性和问题敏感，我们展示了如何ISIC可以补充和丰富的相关任务的视觉问答。
2020-10-05 cs.CL cs.CV
Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning
Microsoft（微软）
人们说：“一张照片胜过千言万语。那么我们怎样才能从图像中提取出丰富的信息呢？我们认为，通过使用视觉线索来桥接大型预训练视觉基础模型和语言模型，我们可以在没有任何额外的跨模态训练的情况下做到这一点。由于基础模型强大的zero-shot能力，我们首先构建图像的丰富语义表示（例如，图像标签、对象属性/位置、标题）作为结构化的文本提示，称为视觉线索，使用视觉基础模型。基于视觉线索，使用大语言模型对视觉内容进行一系列综合描述，然后再次通过视觉模型进行验证，选出与图像最匹配的候选项。我们通过定量和定性测量来评估生成的描述的质量。结果表明，这种结构化的语义表示的有效性。
2022-09-14 cs.AI cs.CL cs.CV
LLMVA-GEBC: Large Language Model with Video Adapter for Generic Event Boundary Captioning
SUSTech VIP Lab（四川大学VIP实验室）
本文提出LLMVA-GEBC模型，利用预训练大语言模型和视频Q-former适配器，在CVPR 2023 GEBC竞赛中获第一名，测试集得分76.14。
2025-10-08 cs.CL cs.CV
Guided Open Vocabulary Image Captioning with Constrained Beam Search
The Australian National University（澳大利亚国立大学）；Macquarie University（麦考瑞大学）
现有的图像描述模型不能很好地推广到包含新场景或对象的域外图像。这种限制严重阻碍了这些模型在处理野外图像的现实应用中的使用。我们使用一种灵活的方法来解决这个问题，该方法使现有的深度字幕架构能够在测试时利用图像标记器，而无需重新训练。我们的方法使用约束束搜索来强制在输出中包含选定的标记词，并使用固定的预训练词嵌入来促进词汇扩展到以前未见过的标记词。使用这种方法，我们实现了最先进的结果，在MSCOCO的域外字幕（和改进的结果，在域字幕）。也许令人惊讶的是，我们的结果显着优于将相同的标签预测纳入学习算法的方法。我们还表明，我们可以通过利用地面实况标签来显着提高生成的ImageNet标题的质量。
2017-07-19 cs.CV
The Devil is in the EOS: Sequence Training for Detailed Image Captioning
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
本文提出一种无监督方法消除交叉熵训练中模型对EOS标记的偏置，从而在不依赖复杂奖励或监督的情况下生成更长、更详细的图像描述，并在多个VLMs和基准上验证了有效性。
2025-08-21 cs.CL cs.CV
CogVLM: Visual Expert for Pretrained Language Models
Tsinghua University（清华大学）；Zhipu AI（智谱AI）；Beihang University（北京航空航天大学）
CogVLM通过可训练的视觉专家模块实现视觉语言深度融合，在多个跨模态基准上达到领先性能，超越或匹配PaLI-X 55B。
2024-02-04 cs.CV
VIXEN: Visual Text Comparison Network for Image Difference Captioning
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
VIXEN通过成对线性映射图像特征为语言模型生成软提示，利用合成数据训练，以文本描述图像差异，对抗篡改图像传播的误导信息。
2024-03-14 cs.CL cs.CV
CLIPScore: A Reference-free Evaluation Metric for Image Captioning
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
图像描述传统上依赖于基于参考的自动评估，其中将机器字幕与人类书写的字幕进行比较。这与人类评估字幕质量的无参考方式形成对比。在本文中，我们报告了令人惊讶的实证发现，CLIP（Radford et al.，2021），一个跨模态模型预训练的400 M图像+字幕对从网络上，可以用于鲁棒的自动评估图像描述，而不需要参考。跨越几个语料库的实验表明，我们的新的无参考指标，CLIPScore，实现了最高的相关性与人类的判断，优于现有的基于参考的指标，如CIDER和SPICE。信息增益实验表明，CLIPScore，其紧密关注的图像-文本兼容性，是补充现有的基于参考的指标，强调文本-文本的相似性。因此，我们还提出了一个参考增强版本，RefCLIPScore，它实现了更高的相关性。除了文字描述任务之外，几个案例研究揭示了CLIPScore表现良好的领域（剪贴画图像，替代文本评级），但与基于参考的指标相比，它也相对较弱，例如，新闻标题需要更丰富的上下文知识。
2022-03-23 cs.CL cs.CV
A Chain-of-Thought Subspace Meta-Learning for Few-shot Image Captioning with Large Vision and Language Models
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对小样本图像描述中视觉与语言模态领域差距大的问题，本文提出思维链子空间元学习框架，通过可调提示连接两个冻结大模型，在不同子空间学习各CoT步骤元参数，实验表明其性能优于基线。
2025-02-19 cs.CV
On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Utah（犹他大学）
将视觉模态与预先训练的语言模型相结合，对于简单的描述性任务（如图像描述）非常有效。然而，更一般的文本生成仍然是难以捉摸的。我们退一步问：这些模型如何适用于更复杂的生成任务，即对文本和图像的条件反射？多模态模型仅仅是视觉适应的语言模型，还是它们结合了模态？我们调查这些问题的自我合理化的背景下（联合生成任务标签/答案和自由文本解释）的三个任务：（一）视觉问答VQA-X，（二）视觉常识推理VCR，（三）视觉文本蕴涵在e-SNLI-VE。我们发现，最近的单峰的进步，CLIP图像表示和缩放的语言模型，并没有一贯提高自我合理化多模态任务。我们发现，没有任何一种模型类型在任务、数据集和微调数据大小方面都能做到最好。我们的研究结果激发了对新的通用主干方法的需求，该方法将文本生成从图像和文本中超越图像描述。
2022-10-22 cs.CL cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
SynPO: Synergizing Descriptiveness and Preference Optimization for Video Detailed Captioning
Sun Yat-Sen University（中山大学）；Lanzhou University（兰州大学）；The University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）
本文提出SynPO方法，通过偏好学习提升视频描述生成性能，解决直接偏好优化的局限性，提升训练效率20%。
2026-03-22 cs.AI cs.CV
Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning
Dr.Vishwanath Karad MIT World Peace University（维什瓦纳特·卡拉德博士MIT世界和平大学）
在当前生成智能时代的全球化世界中，大多数体力劳动任务都是自动化的，效率更高。这可以帮助企业节省时间和金钱。生成智能的一个关键组成部分是视觉和语言的整合。因此，图像描述成为一个有趣的研究领域。研究人员曾多次尝试用不同的深度学习架构来解决这个问题，虽然准确率有所提高，但结果仍不达标。这项研究将Transformer和LSTM与MS-COCO数据集上的注意力块模型进行了比较，MS-COCO数据集是图像描述的标准数据集。对于这两个模型，我们使用预训练的Inception-V3 CNN编码器进行图像的特征提取。双语评价替补评分（BLEU）用于检查两个模型生成的字幕的准确性。随着Transformer和具有注意力块模型的LSTM，CLIP-扩散模型，M2-Transformer模型和X-线性注意力模型已经以最先进的精度进行了讨论。
2023-03-05 cs.CV cs.LG
Cross-Modal Graph with Meta Concepts for Video Captioning
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
视频描述的目标是将复杂的视觉内容解释为文本描述，这要求模型完全理解包括对象及其交互在内的视频场景。现有的方法采用现成的目标检测网络来给出对象建议，并使用注意力机制来建模对象之间的关系。它们通常会遗漏预训练模型中一些未定义的语义概念，并且无法识别对象之间的精确谓词关系。在本文中，我们研究了一个开放的研究任务，生成给定的视频的文本描述，并提出跨模态图（CMG）与Meta概念的视频描述。具体来说，为了覆盖视频字幕中有用的语义概念，我们弱学习文本描述的相应视觉区域，其中相关联的视觉区域和文本词被称为跨模态Meta概念。我们进一步动态地构建Meta概念图与学习的跨模态Meta概念。我们还构建了整体视频级和局部帧级视频图与预测的谓词模型视频序列结构。我们通过广泛的实验验证了我们提出的技术的有效性，并在两个公共数据集上获得了最先进的结果。
2022-08-01 cs.CV
ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校计算机科学与工程系）
研究针对视频字幕质量提升问题，提出突出感知的迭代事后校正框架。通过轻量级评分机制排序对象，经提示驱动细化循环多轮注入相关对象。在多数据集验证，相比基线提升完整性、减少幻觉，提供了轻量级且模型无关的视频字幕优化途径。
2026-07-24 cs.CV
Hyperdimensional Cross-Modal Alignment of Frozen Language and Image Models for Efficient Image Captioning
Artificial Intelligence Research Laboratory（人工智能研究实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
HDFLIM通过冻结语言和图像模型的高维计算实现高效的图像描述生成，无需参数调优。
2026-02-27 cs.AI cs.CV cs.LG
COSA: Concatenated Sample Pretrained Vision-Language Foundation Model
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Bytedance Inc（字节跳动公司）
针对现有视觉语言基础模型忽略时序语义的问题，提出COSA模型，通过拼接图像-文本对构造伪语料实现联合建模，在多类下游任务取得SOTA结果。
2023-06-15 cs.AI cs.CL cs.CV
Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning
AI Platform OneNexus, OneMount（OneMount AI平台OneNexus）；School of Electronic Engineering, Soongsil University（崇实大学电子工程学院）；MoAdata（MoAdata公司）；University of Economics Ho Chi Minh City (UEH)（胡志明市经济大学）
该研究提出裁决式字幕生成多智能体框架，通过多阶段对齐评分与共识蒸馏重排序，在不微调IFCap的情况下，显著提升COCO等数据集的零样本图像字幕生成性能，且可跨数据集迁移。
2026-08-03 cs.AI cs.CL cs.CV
RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning
Apple（苹果公司）；University of Wisconsin—Madison（威斯康星大学麦迪逊分校）
RubiCap通过基于评分标准的强化学习方法，在密集图像描述任务中实现了更高的胜率和词效，优于监督蒸馏和传统RL方法。
2026-09-29 cs.AI cs.CV cs.LG
MeaCap: Memory-Augmented Zero-shot Image Captioning
Xidian University（西安电子科技大学）
针对现有零样本图像字幕生成方法易产生幻觉或泛化性差的问题，提出记忆增强框架MeaCap，通过检索过滤关键概念和记忆增强融合分数生成高质量字幕，在多设置下达SOTA。
2024-03-06 cs.CV
CoCa: Contrastive Captioners are Image-Text Foundation Models
Google Research（谷歌研究院）
探索大规模预训练的基础模型在计算机视觉中具有重要意义，因为这些模型可以快速转移到许多下游任务中。本文介绍了对比字幕（CoCa），一个极简的设计，预训练图像-文本编码器-解码器基础模型联合对比损失和字幕损失，从而包含模型功能的对比方法，如CLIP和生成方法，如SimVLM。与标准的编码器-解码器Transformers（其中所有解码器层都参与编码器输出）相比，CoCa省略了解码器层的前半部分中的交叉关注以编码单峰文本表示，并级联了交叉关注图像编码器的剩余解码器层以用于多模态图像-文本表示。我们应用单峰图像和文本嵌入之间的对比损失，除了多模态解码器输出的字幕损失，预测文本令牌自回归。通过共享相同的计算图，这两个训练目标以最小的开销有效地计算。CoCa通过将所有标签简单地视为文本，对网络规模的替代文本数据和注释图像进行端到端的预训练，无缝统一自然语言监督以进行表示学习。从经验上讲，CoCa通过zero-shot传输或对广泛的下游任务的最小任务特定适应实现了最先进的性能，包括视觉识别（ImageNet，Kinetics-400/600/700，Moments-in-Time），跨模态检索（MSCOCO，Flickr 30 K，MSR-VTT），多模态理解（VQA，SNLI-VE，NLVR 2）和图像描述（MSCOCO，NoCaps）。值得注意的是，在ImageNet分类上，CoCa获得了8…
2022-06-14 cs.CV cs.LG cs.MM
Medical Image Captioning via Generative Pretrained Transformers
Philips Innovation Labs Rus（飞利浦俄罗斯创新实验室）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Sber AI Lab（俄联邦储蓄银行人工智能实验室）
自动临床字幕生成问题被称为建议的模型相结合的分析额胸部X射线扫描与结构化的患者信息从放射学记录。我们结合两个语言模型，显示-参加-告诉和GPT-3，生成全面的和描述性的放射学记录。这些模型的拟议组合生成了一个文本摘要，其中包含有关发现的病理、其位置以及在原始X射线扫描上定位每个病理的2D热图的基本信息。该模型在两个医学数据集上进行了测试，Open-I，MIMIC-CXR和通用MS-COCO。用自然语言评估度量测量的结果证明了它们对胸部X射线图像描述的有效适用性。
2022-09-28 cs.AI cs.CV
Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达公司）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出基于Flamingo的检索增强视觉语言模型Re-ViLM，通过外部数据库显式存储知识以减少参数并适应新数据，在域外零样本和少样本图像到文本生成任务中，以少于基线4倍的参数显著提升性能。
2023-10-22 cs.AI cs.CL cs.CV
PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所，巴黎高等师范学院，法国国家科学研究中心，巴黎文理研究大学）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（捷克信息学、机器人与控制论研究所，布拉格捷克理工大学）
针对视觉-语言模型在图像描述中缺乏像素级接地的问题，提出全景接地描述任务，构建PanoCaps基准并设计PANORAMA模型，通过从短语条件掩码提议中选择实现高质量接地，达到最优性能。
2026-09-17 cs.CL cs.CV
Improving Generalization of Image Captioning with Unsupervised Prompt Learning
Wuhan University（武汉大学）
本文提出无监督提示学习方法 GeneIC，通过 CLIP 对齐视觉与语言模态，从属性和语义一致性两方面优化领域特定提示向量，在不需标注数据的情况下提升图像描述模型的领域泛化能力。
2023-08-05 cs.CV
Aesthetic Image Captioning with Saliency Enhanced MLLMs
AI Lab, Terminus International, Terminus Group（特斯联集团特斯联国际人工智能实验室）
针对现有MLLM在美学描述生成中未聚焦美学内容的问题，提出ASE-MLLM框架，通过IASM提取美学显著性特征并经IAS-ViT融合，在主流基准上取得SOTA性能。
2025-09-09 cs.CV
Q-Adapter: Visual Query Adapter for Extracting Textually-related Features in Video Captioning
Nagoya University（名古屋大学）
本文提出轻量级视觉适配器Q-Adapter，通过在Vision Encoder中引入可学习查询令牌和门控层，实现无需外部文本监督的高效微调，在MSR-VTT和MSVD数据集上仅用1.4%参数即达到SOTA性能。
2025-10-11 cs.CV
Learning Combinatorial Prompts for Universal Controllable Image Captioning
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出基于组合提示的框架ComPro，利用GPT-2与轻量级提示生成网络及掩码注意力机制，统一实现单一与组合控制信号的可控图像描述。
2023-08-02 cs.CV
RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning
University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学）；Macquarie University（麦考瑞大学）
针对零样本视频字幕生成研究不足的问题，提出RETTA框架，以可学习token为媒介连接四个冻结预训练模型，通过推理数据软标签在测试时自适应学习，在三个数据集上CIDEr指标较现有SOTA提升5.1%-32.4%。
2025-10-28 cs.CV
DIR: Retrieval-Augmented Image Captioning with Comprehensive Understanding
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对检索增强图像描述在域外场景中的特征偏差与检索文本利用不足问题，本文提出DIR，通过扩散引导检索增强和高质量检索数据库提升视觉理解与泛化能力，且不增加推理成本。
2024-12-02 cs.CV
CCExpert: Advancing MLLM Capability in Remote Sensing Change Captioning with Difference-Aware Integration and a Foundational Dataset
Beihang University（北京航空航天大学）
本文提出CCExpert模型，通过设计差异感知集成模块捕获双时相图像多尺度差异，并构建包含20万对图像和120万条描述的CC-Foundation数据集，结合三阶段渐进式训练，在LEVIR-CC基准上取得81.80分，显著提升了遥感变化描述性能。
2024-11-18 cs.CV
Scalable 3D Captioning with Pretrained Models
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）
本研究提出自动3D字幕生成方法Cap3D，利用多类预训练模型整合3D多视角字幕，在多个数据集上表现优于或媲美人工标注，还可提升文本到3D模型的性能。
2023-06-16 cs.CV
Pre-Decoding Acoustic Triage for Budgeted Vision-Language Captioning of Untrimmed Egocentric Video
Aalto University（阿尔托大学）
本研究针对预算受限的未修剪自我中心视频视觉-语言字幕生成问题，提出预解码音频分诊策略，通过音频优先选择窗口减少VLM调用，提升动作覆盖率，在多个数据集上优于现有方法。
2026-08-25 cs.AI cs.CV cs.SD
Exploring Visual Culture Awareness in GPT-4V: A Comprehensive Probing
Huazhong University of Science and Technology（华中科技大学）；University of Copenhagen（哥本哈根大学）
该研究使用MaRVL基准数据集，通过三项视觉任务全面探测了GPT-4V的视觉文化意识，发现其虽在低资源语言上表现较弱，但在图像描述中比原人工标注更具文化相关性。
2024-02-15 cs.CL cs.CV
CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting
Simon Fraser University（西蒙菲莎大学）；Institut Polytechnique de Paris（巴黎综合理工学院）
该研究提出基于Cosmos3-Nano的CosmosAlign框架，通过两阶段LoRA适配与推理优化，在AI City Challenge 2026 Track 5基准中获76.49分排名第一，实现了高质量交通视频预测。
2026-08-11 cs.AI cs.CL cs.CV
VAuLT: Augmenting the Vision-and-Language Transformer for Sentiment Classification on Social Media
University of Southern California（南加州大学）
我们提出了视觉和增强语言Transformer（VAuLT）。VAuLT是流行的视觉和语言Transformer（ViLT）的扩展，并提高了视觉和语言（VL）任务的性能，这些任务涉及比图像标题更复杂的文本输入，同时对训练和推理效率的影响最小。重要的是，ViLT能够在VL任务中进行有效的训练和推理，这是通过使用补丁的线性投影而不是对象检测器来编码图像来实现的。然而，它是在字幕数据集上进行预训练的，其中语言输入是简单的，字面的和描述性的，因此缺乏语言多样性。因此，当在野外处理多媒体数据时，例如多模态社交媒体数据，字幕语言数据以及任务的多样性有明显的转变。我们确实发现了ViLT缺乏语言能力的证据。VAuLT的关键见解和新颖性在于将大语言模型（LM）（如BERT）的输出表示传播到ViLT的语言输入。我们发现，LM和ViLT的联合训练可以比ViLT产生高达20%的相对改进，并在涉及更丰富的语言输入和情感结构的VL任务上实现最先进或相当的性能，例如TWITTER-2015和TWITTER-2017中的目标导向情感分类，以及MVSA-单和MVSA-多的情感分类。我们的代码可在https://github.com/gchochla/VAuLT上获得。
2023-01-25 cs.AI cs.CL cs.CV
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google（谷歌）
大型预训练（例如，"基础"）模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的，但它们可能仅勉强重叠。例如，视觉语言模型（VLM）是在互联网规模的图像标题上训练的，但是大语言模型（LM）是在没有图像的互联网规模的文本上进一步训练的（例如，电子表格、SAT问题、代码）。因此，这些模型在不同领域存储不同形式的常识知识。在这项工作中，我们表明这种多样性是共生的，并且可以通过苏格拉底模型（SM）来利用：一个模块化框架，其中多个预训练模型可以由zero-shot组成，即，通过多模态通知提示，彼此交换信息并捕获新的多模态能力，而不需要微调。通过最少的工程，SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争，而且还实现了新的应用，例如（i）回答关于自我中心视频的自由形式的问题，（ii）参与与人的多模态辅助对话（例如，用于烹饪食谱）通过与外部API和数据库（例如，网络搜索），以及（iii）机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
LangNav: Language as a Perceptual Representation for Navigation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Dartmouth College（达特茅斯学院）
本文提出LangNav，将语言描述作为视觉-语言导航的感知表征，在低数据场景下利用合成轨迹、领域迁移及视觉-语言表征融合，超越依赖视觉特征的基线方法。
2024-03-30 cs.AI cs.CL cs.CV
Can Visual Encoder Learn to See Arrows?
Hitachi, Ltd.（日本日立株式会社）；Kyoto Sangyo University（京都 Sangyo 大学）；Gifu University（岐阜大学）
本研究通过对比学习训练视觉编码器，消除文本和位置偏差，使其在图表边识别上超越CLIP及零样本GPT-4o和LLaVA-Mistral，为提升VLM图表理解提供了有效路径。
2025-05-26 cs.AI cs.CL cs.CV
A Study of Autoregressive Decoders for Multi-Tasking in Computer Vision
Google Research（谷歌研究院）
最近出现了计算机视觉模型的爆炸，这些模型执行许多任务，并且由图像编码器（通常是ViT）和自回归解码器（通常是Transformer）组成。然而，这项工作的大部分只是提出了一个系统和它的结果，留下了许多问题的设计决策和权衡这样的系统没有答案。在这项工作中，我们的目标是提供这样的答案。我们仔细研究了多模态计算机视觉中用于多任务学习的自回归解码器，包括分类，字幕，视觉问答和光学字符识别。通过广泛的系统实验，我们研究了任务和数据混合、训练和正则化超参数、条件反射类型和特异性、模态组合等的影响。重要的是，我们将这些与调整良好的单任务基线进行比较，以突出多任务处理所产生的成本。一个关键的发现是，在冻结的预训练编码器上学习的小解码器工作得非常好。我们称这种设置为带解码器的锁定图像调谐（LiT解码器）。它可以被视为通过自然语言教导解码器与预训练的视觉模型进行交互。
2023-03-30 cs.AI cs.CV cs.LG
Fusion Models for Improved Visual Captioning
Saarland University（萨尔大学）；Spoken Language Systems (LSV)（口语语言系统研究所）
视觉字幕旨在生成给定图像或视频的文本描述。传统上，图像描述模型是在人类注释的数据集上训练的，例如Flickr 30 k和MS-COCO，这些数据集在大小和多样性方面都受到限制。这种限制阻碍了这些模型的泛化能力，同时也使它们容易出错。然而，语言模型可以在大量免费可用的未标记数据上进行训练，并且最近已经成为成功的语言编码器和连贯文本生成器。同时，一些单模态和多模态融合技术已经被证明可以很好地用于自然语言生成和自动语音识别。基于这些最新的发展，并以提高生成的字幕的质量为目的，我们在本文中的工作的贡献是双重的：首先，我们提出了一个通用的多模态模型融合框架的字幕生成以及校正，我们利用不同的融合策略，将一个预训练的辅助语言模型（MALM）在传统的编码器-解码器的视觉字幕框架。接下来，我们采用相同的融合策略，将预先训练的掩蔽语言模型（MLM），即BERT，与视觉字幕模型，即Show，Attend和Tell集成在一起，用于校正字幕中的语法和语义错误。我们的标题校正实验的三个基准图像描述数据集，即Flickr 8 k，Flickr 30 k，和MSCOCO，显示出改进的基线，表明我们提出的多模态融合策略的实用性。此外，我们进行了初步的定性分析，并确定错误类别的校正类型的基础上的修订标题。
2020-12-05 cs.AI cs.CL cs.CV
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge（剑桥大学）；Toyota Motor Europe（丰田汽车欧洲公司）
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题，提出一种选择性局部更新视觉编码器的高效鲁棒微调方法，在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
Pretrained Image-Text Models are Secretly Video Captioners
Dartmouth College（达特茅斯学院）
本文提出仅用6,000个视频-文本对后训练 BLIP2 并简单拼接帧，将图像字幕模型转化为高性能视频字幕器，在多个基准上达到顶级排名。
2025-02-19 cs.CV cs.LG
LEMoN: Label Error Detection using Multimodal Neighbors
Massachusetts Institute of Technology（麻省理工学院）
本文提出LEMoN方法，利用对比预训练多模态模型潜在空间中的多模态邻域自动检测图像-标题数据集中的标签错误，在八个数据集上超过基线3%以上，并显著提升下游标题生成性能。
2025-06-04 cs.CV cs.LG
Reassessing Evaluation Practices in Visual Question Answering: A Case Study on Out-of-Distribution Generalization
DeepMind（深度思维）；University of Copenhagen（哥本哈根大学）；University of Oxford（牛津大学）
本文通过跨数据集评估发现，预训练视觉与语言模型在VQA分布外设置下泛化能力差，倾向于解决基准而非学习高级技能，且自动评估指标的严苛性会错误惩罚正确响应。
2023-04-01 cs.AI cs.CL cs.CV
Sieve: Multimodal Dataset Pruning Using Image Captioning Models
FAIR at Meta（Meta FAIR研究院）；University of Toronto（多伦多大学）；UC Los Angeles（加州大学洛杉矶分校）；DatologyAI（DatologyAI公司）
针对现有CLIPScore剪枝方法的假阳性/阴性问题，提出基于图像字幕模型合成字幕的剪枝信号Sieve，结合语言模型嵌入空间的语义相似度评估图文对齐度，在DataComp基准的下游任务和检索任务上均优于CLIPScore。
2024-03-10 cs.CV
Bridging Vision and Language Spaces with Assignment Prediction
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）；NAVER AI Lab（NAVER AI实验室）
本研究提出VLAP方法，通过最优传输建模的分配预测、单个线性层桥接预训练视觉模型与冻结LLMs的词嵌入空间，在多类视觉-语言任务上超越现有线性变换方法，还实现了视觉语义运算。
2024-04-15 cs.CV cs.LG
CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion
Kyutai
CASA通过交叉注意力机制提升视觉-语言模型的效率，实现实时视频字幕处理中的低延迟和恒定内存成本。
2026-03-06 cs.AI cs.CV
Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models
KAIST（韩国科学技术院）
针对视觉语言模型空间推理的几何脆弱性问题，提出多视图关系蒸馏方法，在保留语言对齐的同时提升视觉空间推理性能，可泛化至3D场景理解任务。
2026-11-11 cs.CV
Towards Multimodal Vision-Language Models Generating Non-Generic Text
Montana State University（蒙大拿州立大学）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
视觉语言模型可以评估图像中的视觉上下文并生成描述性文本。虽然生成的文本可能是准确的和语法正确的，但它通常过于笼统。为了解决这个问题，最近的工作已经使用了光学字符识别，以补充视觉信息与文本提取的图像。在这项工作中，我们认为，视觉语言模型可以受益于额外的信息，可以从图像中提取，但不使用当前的模型。我们修改以前的多模态框架，接受任何数量的辅助分类器的相关信息。特别是，我们专注于人的名字作为一个额外的一组令牌，并创建一个新的图像标题数据集，以方便字幕与人名。政治家和运动员字幕（PAC）数据集由背景中的知名人士的字幕图像组成。通过使用该数据集微调预训练模型，我们展示了一个模型，该模型可以通过在有限的数据上进行训练，自然地将面部识别令牌集成到生成的文本中。对于PAC数据集，我们提供了关于收集和基线基准分数的讨论。
2022-07-09 cs.AI cs.CV
SAR-TEXT: A Large-Scale SAR Image-Text Dataset Built with SAR-Narrator and A Progressive Learning Strategy for Downstream Tasks
Intelligent Game and Decision Lab（智能游戏与决策实验室）
针对SAR图像-文本数据集匮乏的问题，研究团队构建了含13万余对样本的大规模SAR-TEXT数据集，设计SAR-Narrator框架生成文本描述，并验证了其在三类视觉语言任务上的性能提升效果。
2025-10-04 cs.CV
Towards Models that Can See and Read
Technion（以色列理工学院）；AWS AI Labs（AWS人工智能实验室）
视觉问答（VQA）和图像描述（CAP）是最流行的视觉语言任务之一，它们具有类似的场景文本版本，需要从图像中的文本进行推理。尽管它们有明显的相似之处，但两者被独立对待，正如我们所展示的，产生特定于任务的方法，可以看到或阅读，但不能两者兼而有之。在这项工作中，我们对这种现象进行了深入分析，并提出了UniTNT，一种统一的文本-非文本方法，它赋予现有的多模态架构场景-文本理解能力。具体来说，我们将场景文本信息视为一种额外的模态，通过指定的模块将其与任何预训练的基于编码器-解码器的架构融合。彻底的实验表明，UniTNT导致第一个单一的模型，成功地处理两种任务类型。此外，我们表明，场景文本理解能力可以提高视觉语言模型的性能一般VQA和CAP分别高达2.69%和0.6 CIDER。
2023-03-21 cs.CV cs.LG
OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在这项工作中，我们追求一个统一的范式多模态预训练，打破复杂的任务/特定模态定制的脚手架。我们提出了OFA，一个任务不可知和模态不可知的框架，支持任务的全面性。OFA统一了一组不同的跨模态和单峰任务，包括图像生成、视觉基础、图像描述、图像分类、语言建模等，在一个简单的序列到序列的学习框架中。OFA在预训练和微调阶段都遵循基于预防的学习，不需要为下游任务提供额外的特定任务层。与最近依赖于非常大的跨模态数据集的最先进的视觉和语言模型相比，OFA仅在20 M公开可用的图像-文本对上进行预训练。尽管它的简单性和相对小规模的训练数据，OFA实现了新的SOTA在一系列的跨模态的任务，同时实现了高竞争力的性能在单峰的任务。我们进一步的分析表明，OFA也可以有效地转移到看不见的任务和看不见的领域。我们的代码和模型可在https://github.com/OFA-Sys/OFA上公开获取。
2022-06-01 cs.CL cs.CV
New Encoder Learning for Captioning Heavy Rain Images via Semantic Visual Feature Matching
Kunsan National University（群山大学）
针对暴雨图像描述中视觉特征退化问题，提出一种基于初始重建子网络和语义视觉特征匹配子网络联合学习的新型编码器，将退化特征转换为语义视觉特征，从而提升描述准确性。
2021-09-15 cs.CV
