RefineCap: Concept-Aware Refinement for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
图像到文本的自动翻译涉及到图像场景理解和语言建模。在本文中，我们提出了一种新的模型，称为RefineCap，使用解码器引导的视觉语义细化语言解码器的输出词汇，并隐式地学习视觉标签词和图像之间的映射。所提出的视觉概念细化方法可以允许生成器参加图像中的语义细节，从而生成更多的语义描述性字幕。与以前的基于视觉概念的模型相比，我们的模型在MS-COCO数据集上实现了卓越的性能。
2021-09-08 cs.CL
Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；The Ohio State University（俄亥俄州立大学）
虽然在视频描述中已经取得了有希望的结果，但现有的模型仅限于训练语料库中的固定活动清单，并且不推广到开放的词汇场景。在这里，我们介绍了一个新的任务，zero-shot视频描述，旨在描述看不见的活动的域外视频。不同活动的视频通常需要不同的字幕策略，如选词、语义构建、风格表达等，这对在没有配对训练数据的情况下刻画新颖的活动提出了很大的挑战。但与此同时，类似的活动在这些方面有一些共同之处。因此，本文提出了一种基于主题感知的混合专家模型（TAMoE），用于zero-shot视频描述，该模型能够根据不同的主题嵌入来组合不同的专家，将从可见活动中学习到的知识隐式地传递给不可见活动。此外，我们利用外部的主题相关的文本语料库来构建主题嵌入每个活动，它体现了主题内最相关的语义向量。实验结果不仅验证了该方法在利用语义知识进行视频描述方面的有效性，而且在描述新颖活动时也显示了其较强的泛化能力。
2018-11-23 cs.CL cs.CV cs.IR
Linguistically Informed Multimodal Fusion for Vietnamese Scene-Text Image Captioning: Dataset, Graph Framework, and Phonological Attention
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
本文提出HSTFG和PhonoSTFG框架，通过图拓扑分析发现跨模态边对场景文本融合有害，并构建首个大规模越南语场景文本描述数据集ViTextCaps，揭示52.8%词汇存在声调符号冲突风险。
2026-04-30 cs.CL cs.CV
NOC-REK: Novel Object Captioning with Retrieved Vocabulary from External Knowledge
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
新颖的对象字幕旨在描述训练数据中缺少的对象，其关键成分是向模型提供对象词汇。虽然现有的方法在很大程度上依赖于一个目标检测模型，我们认为检测步骤作为词汇检索从外部知识的形式嵌入任何对象的定义从维基词典，在那里我们使用的检索图像区域的功能从Transformers模型。我们提出了一种端到端的新颖对象字幕与外部知识检索词汇方法（NOC-REK），它同时学习词汇检索和字幕生成，成功地描述了训练数据集之外的新颖对象。此外，我们的模型消除了模型再训练的要求，只要一个新的对象出现，只需更新外部知识。我们在COCO和Nocaps数据集上的综合实验表明，我们的NOC-REK对SOTA相当有效。
2022-03-28 cs.CV
Guided Open Vocabulary Image Captioning with Constrained Beam Search
The Australian National University（澳大利亚国立大学）；Macquarie University（麦考瑞大学）
现有的图像描述模型不能很好地推广到包含新场景或对象的域外图像。这种限制严重阻碍了这些模型在处理野外图像的现实应用中的使用。我们使用一种灵活的方法来解决这个问题，该方法使现有的深度字幕架构能够在测试时利用图像标记器，而无需重新训练。我们的方法使用约束束搜索来强制在输出中包含选定的标记词，并使用固定的预训练词嵌入来促进词汇扩展到以前未见过的标记词。使用这种方法，我们实现了最先进的结果，在MSCOCO的域外字幕（和改进的结果，在域字幕）。也许令人惊讶的是，我们的结果显着优于将相同的标签预测纳入学习算法的方法。我们还表明，我们可以通过利用地面实况标签来显着提高生成的ImageNet标题的质量。
2017-07-19 cs.CV
Captioning Images with Novel Objects via Online Vocabulary Expansion
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在这项研究中，我们介绍了一种低成本的方法，从图像中包含新的对象产生的描述。通常，构建一个可以解释具有新对象的图像的模型是昂贵的，因为：（1）为每个类别收集大量数据，以及（2）重新训练整个系统。如果人类看到少量的新物体，他们能够通过将它们的外观与已知物体相关联来估计它们的属性。因此，我们提出了一种方法，可以解释图像与新的对象，而无需重新训练使用的词嵌入的对象估计，只有少量的图像特征的对象。该方法可以与一般的图像字幕模型集成。实验结果表明了该方法的有效性。
2020-03-06 cs.CV
OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
NVIDIA；National Taiwan University（国立台湾大学）
OpenVoxel通过无需训练的多模态大语言模型实现稀疏体素的分组与标注，提升开放词汇3D场景理解的性能。
2026-01-14 cs.CV
COMIC: Towards A Compact Image Captioning Model with Attention
University of Malaya（马来亚大学）
最近的工作在图像描述显示了非常有前途的原始性能。然而，我们意识到，大多数这些编码器-解码器风格的注意力网络不能自然地扩展到大的词汇量，使它们难以部署在硬件资源有限的嵌入式系统上。这是因为单词和输出嵌入矩阵的大小与词汇表的大小成比例地增长，从而对这些网络的紧凑性产生不利影响。针对这一局限性，本文在图像描述领域引入了一种全新的思想。也就是说，我们解决了迄今为止尚未探索的图像描述模型的紧凑性问题。我们发现，我们提出的模型，名为COMIC for COMpact图像描述，在MS-COCO和InstaPIC-1.1M数据集上，尽管嵌入词汇量小了39 - 99倍，但在五个常见的评估指标中，与最先进的方法取得了相当的结果。源代码和模型可在以下网址获得：https://github.com/jiahuei/COMIC-Compact-Image-Captioning-with-Attention
2019-06-11 cs.CV
Mitigating Open-Vocabulary Caption Hallucinations
Tel-Aviv University（特拉维夫大学）
针对图像描述中的开放词汇幻觉问题，提出包含基准OpenCHAIR和强化学习方法MOCHa的框架，以提升生成保真度与充分性，并改善多种模型性能。
2024-10-16 cs.AI cs.CV
Speaking the Same Language: Matching Machine to Human Captions by Adversarial Training
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；UC Berkeley EECS（加州大学伯克利分校电气工程与计算机科学系）；Facebook AI Research（Facebook 人工智能研究院）
虽然在过去的几年里，图像描述已经取得了很大的进步，但机器和人类的字幕仍然是相当不同的。仔细观察发现，这是由于生成的单词分布，词汇量大小以及生成器对频繁字幕的强烈偏见的缺陷。此外，由于字幕任务中固有的模糊性，人类理所当然地生成多个不同的字幕，这在当今的系统中是没有考虑的。为了解决这些挑战，我们将字幕生成器的训练目标从再现地面实况字幕改为生成一组与人类生成的字幕无法区分的字幕。我们没有手工制作这样的学习目标，而是采用对抗训练结合近似Gumbel采样器来隐式地将生成的分布与人类分布相匹配。虽然我们的方法在标题的正确性方面达到了与最先进水平相当的性能，但我们生成了一组不同的标题，这些标题的偏差明显较小，并且在几个方面更好地匹配单词统计。
2017-11-06 cs.AI cs.CL cs.CV
Pre-training image-language transformers for open-vocabulary tasks
Google Research（谷歌研究院）
我们提出了一种基于不同任务混合的视觉和语言Transformer模型的预训练方法。我们探索了在预训练中使用图像-文本字幕数据，这不需要额外的监督，以及对象感知策略来预训练模型。我们在一些文本生成视觉+语言任务上评估了该方法，例如视觉问答，视觉蕴涵和字幕，并展示了比标准预训练方法更大的收益。
2022-09-09 cs.CV
A Thorough Review on Recent Deep Learning Methodologies for Image Captioning
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
图像描述是结合计算机视觉和自然语言处理的任务，其目的是生成图像的描述性图例。这是一个双重的过程，依赖于准确的图像理解和正确的语言理解句法和语义。由于关于该主题的可用知识量不断增加，跟上图像描述领域的最新研究和发现变得越来越困难。然而，现有的审查文件没有充分涵盖这些调查结果。我们在本文中执行一个贯穿当前的技术，数据集，基准和评价指标中使用的图像描述。目前对该领域的研究主要集中在基于深度学习的方法上，其中注意力机制以及深度强化和对抗学习似乎处于该研究主题的前沿。在本文中，我们回顾了最近的方法，如UpDown，OSCAR，VIVO，Meta Learning和使用条件生成对抗网的模型。虽然基于GAN的模型得分最高，但UpDown代表了图像描述的重要基础，OSCAR和VIVO更有用，因为它们使用了新颖的对象描述。这篇综述论文为研究人员提供了一个路线图，以跟上图像字幕生成领域的最新贡献。
2021-07-28 cs.CV
Mapping Images to Sentiment Adjective Noun Pairs with Factorized Neural Nets
Sony（索尼）；ICSI（国际计算机科学研究所）；DFKI（德国人工智能研究中心）；UC Berkeley（加州大学伯克利分校）；In-Q-Tel（In-Q-Tel公司）
我们认为视觉情感的任务映射图像到一个形容词名词对（ANP），如“可爱的宝贝”。为了捕获我们的ANP语义的双因素结构以及克服注释噪声和歧义，我们提出了一种新的因子分解的CNN模型，该模型学习形容词和名词的单独表示，但优化了其产品的分类性能。我们的实验上公开的SentiBank数据集表明，我们的模型显着优于不仅是独立的ANP分类器上看不见的ANP和检索图像的新的ANP，但也图像描述模型，捕捉词的语义从自然文本的共现;后者竟然是令人惊讶的穷人在捕捉纯视觉体验引起的情绪。也就是说，我们的因子化ANP CNN不仅可以更好地从嘈杂的标签中训练，更好地概括新图像，而且还可以自己扩展ANP词汇。
2015-11-21 cs.CL cs.CV
Track and Caption Any Motion: Open-Vocabulary Spatiotemporal Captioning via Trajectory-Conditioned Generation
Northeastern University（东北大学）
研究提出TCAM框架，无需文本查询和区域提示，通过字幕感知重采样器在点粒度结合跟踪与语言，用现有分割注释训练，能描述视频中运动、定位时间及轨迹，优于密集视频字幕基线，匹配相关方法，为运动驱动视频理解提供新途径。
2026-10-20 cs.CV
Alleviating Noisy Data in Image Captioning with Cooperative Distillation
图像描述系统已经取得了实质性的进展，这主要归功于像Microsoft COCO或Vizwiz这样的精选数据集的可用性，这些数据集具有对其相应图像的准确描述。不幸的是，这种干净标记的数据的稀缺性导致训练算法产生的标题可以是简洁的，并且特定于图像中的细节。我们提出了一种新技术，合作蒸馏，它将干净的策划数据集与Google概念标题数据集（GCC）的网络规模自动提取的标题相结合，该数据集可能对图像的描述很差，但大小丰富，因此提供了丰富的词汇表，从而产生更具表现力的标题。
2020-12-21 cs.CV cs.LG
Joint-ViVo: Selecting and Weighting Visual Words Jointly for Bag-of-Features based Tissue Classification in Medical Images
医学图像中感兴趣区域（ROI）的组织类型自动分类是计算机辅助诊断（CAD）中的一个重要应用，如乳腺X线照片中的乳腺实质组织分类、高分辨率计算机断层扫描（HRCT）中的肺部疾病模式分类等。在本文中，我们研究使用袋的功能策略，在医学成像应用中的组织类型进行分类。这里考虑了两个重要的问题：视觉词汇学习和加权。虽然已经有很多算法来处理它们，但它们都是独立处理的，即先学习词汇，然后直方图加权。受联合学习特征和分类器的Auto-Context的启发，我们尝试开发一种联合学习词汇和权重的新颖算法。新算法称为Joint-ViVo，以迭代方式工作。在每次迭代中，我们首先通过最大化ROI三元组的边缘来学习每个视觉词的权重，然后基于学习到的权重为下一次迭代选择最有区别的视觉词。我们测试我们的算法在三个组织分类任务：识别脑组织类型的磁共振成像（MRI），分类肺组织的HRCT图像，并分类乳腺组织密度在乳房X线照片。实验结果表明，Joint-ViVo算法能够有效地对组织进行分类。
2013-04-05 cs.CV stat.ML
GLIPv2: Unifying Localization and Vision-Language Understanding
Microsoft（微软）；University of Washington（华盛顿大学）；Meta AI；UCLA（加州大学洛杉矶分校）
我们提出了GLIPv 2，一个接地的VL理解模型，既服务于本地化任务（例如，目标检测，实例分割）和视觉语言（VL）理解任务（例如，VQA，图像描述）。GLIPv 2通过三个预训练任务将本地化预训练和视觉语言预训练（VLP）优雅地统一起来：短语接地作为检测任务的VL重构，区域词对比学习作为新的区域词级别的对比学习任务，以及掩蔽语言建模。这种统一不仅简化了以前的多阶段VLP过程，而且实现了本地化和理解任务之间的互惠互利。实验结果表明，一个单一的GLIPv 2模型（所有模型的权重是共享的）实现了各种定位和理解任务的SoTA性能。该模型还显示出（1）在开放词汇目标检测任务上的强zero-shot和Few-Shot适应性能和（2）在VL理解任务上的优异的接地能力。代码将在https://github.com/microsoft/GLIP上发布。
2022-10-11 cs.AI cs.CL cs.CV
Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
Keio University（Keio大学）
提出Rigel评估指标，通过自蒸馏从冻结LLM提取评估专用评分头，解决大词汇语言模型与小标签集不匹配问题，在视频字幕评估中超越现有方法。
2026-09-15 cs.CV
Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering
Google Research（谷歌研究院）
我们提出了一个任务感知的多任务框架，它统一了各种问答任务，如视觉问答，视觉蕴涵，视觉推理。与以前使用对比或生成式字幕训练的作品相比，我们提出了一种新颖而简单的方法来预训练视觉-语言联合模型，该模型也是多任务的。预训练仅使用有噪声的图像描述数据，并且被制定为使用具有强语言编码器和解码器的端到端的整个架构。我们的研究结果显示了最先进的性能，zero-shot泛化，对遗忘的鲁棒性，以及在各种问答任务中具有竞争力的单任务结果。我们的多任务混合训练从各种问题意图的任务中学习，从而更好地泛化，包括zero-shot视觉语言任务。我们在具有挑战性的多任务和开放词汇设置中进行实验，并跨越各种数据集和任务，如VQA 2.0，SNLI-VE，NLVR 2，GQA。我们观察到，所提出的方法是能够推广到看不见的任务，更多样化的混合物导致更高的准确性，在已知的和新的任务。
2022-11-30 cs.CV
Open-Vocabulary Object Detection using Pseudo Caption Labels
KakaoBrain
最近的开放词汇检测方法旨在通过从大量图像-文本对上训练的视觉语言模型（VLM）中提取知识来检测新对象。为了提高这些方法的有效性，研究人员利用了包含大量对象类的大型词汇表数据集，假设这些数据将使模型能够提取关于各种对象之间关系的全面知识，并更好地推广到看不见的对象类。在这项研究中，我们认为，更细粒度的标签是必要的，以提取更丰富的知识，新的对象，包括对象属性和关系，除了他们的名字。为了解决这个问题，我们提出了一个简单而有效的方法命名为伪标题标注（PCL），它利用一个图像描述模型来生成标题，描述对象实例从不同的角度。由此产生的伪标题标签为知识蒸馏提供了密集的样本。在LVIS基准测试中，我们在重复数据消除的VisualGenome数据集上训练的最佳模型实现了34.5的AP和30.6的APr，与最先进的性能相当。PCL的简单性和灵活性是其他值得注意的特征，因为它是一种简单的预处理技术，可以与任何图像描述模型一起使用，而不会对模型架构或训练过程施加任何限制。
2023-03-23 cs.AI cs.CV
Good News, Everyone! Context driven entity-aware captioning for news images
Computer Vision Center, UAB, Spain（西班牙加泰罗尼亚理工大学计算机视觉中心）
当前的图像描述系统仅在描述性水平上执行，基本上列举场景中的对象及其关系。相反，人类通过整合世界的几个先验知识来源来解释图像。在这项工作中，我们的目标是采取一个步骤更接近生产字幕，提供一个合理的解释的场景，通过整合这样的上下文信息到字幕管道。为此，我们专注于用于说明新闻文章的图像的标题。我们提出了一种新的字幕方法，能够利用上下文信息与图像相关联的新闻文章的文本提供。我们的模型能够有选择地从视觉线索引导的文章中提取信息，并动态地将输出字典扩展到出现在上下文源中的词汇表外的命名实体。此外，我们介绍了“好新闻”，最大的新闻图像描述数据集在文献中，并展示了国家的最先进的结果。
2019-04-02 cs.CV
Reflective Decoding Network for Image Captioning
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
现有的图像描述方法大多集中在改善图像的视觉特征上，较少关注利用语言的固有特性来提高字幕效果。在本文中，我们表明，词汇之间的连贯性和句子的句法范式也很重要，以产生高质量的图像字幕。在传统的编码器-解码器框架下，我们提出了用于图像描述的反射解码网络（RDN），它增强了字幕解码器中单词的长序列依赖性和位置感知。我们的模型学习协作地关注视觉和文本特征，同时感知每个单词在句子中的相对位置，以最大限度地提高生成的标题中提供的信息。我们评估我们的RDN的有效性COCO图像描述数据集上，并实现优于以前的方法的性能。进一步的实验表明，我们的方法是特别有利的复杂的场景描述的标题硬的情况下。
2019-08-30 cs.CV
Enhancing Image Captioning with Neural Models
本文研究神经图像描述生成，比较不同架构并重点关注注入式架构，提出新质量指标，发现注入式架构能生成更简洁相关的描述，并强调数据优化和超参数调优的重要性。
2023-12-01 cs.CV cs.NE
Pointing Novel Objects in Image Captioning
Sun Yat-sen University（中山大学）；JD AI Research（京东人工智能研究院）
图像描述在最近的进展中随着显著的改进而受到显著的关注。然而，野生图像封装了丰富的知识，并且不能用仅包含域内对象的图像-标题对构建的模型来充分描述。在本文中，我们建议通过使用对象学习器增强标准深度字幕架构来解决这个问题。具体来说，我们提出了长短期记忆与指向（LSTM-P）--一个新的架构，有利于词汇扩展和产生新的对象，通过指向机制。从技术上讲，对象学习器最初是在可用的对象识别数据上进行预训练的。然后，指向LSTM-P平衡了通过LSTM生成单词和在解码器阶段的每个时间步从识别的对象中复制单词之间的概率。此外，我们的标题鼓励句子中对象的全局覆盖。在COCO图像描述和ImageNet数据集上进行了大量的实验，用于描述新的对象，与最先进的方法相比，报告了优越的结果。更值得注意的是，我们得到了平均60.9%的F1评分的HOLD出COCO~数据集。
2019-04-25 cs.CV
UnMA-CapSumT: Unified and Multi-Head Attention-driven Caption Summarization Transformer
Delhi Technological University（德里理工大学）
本文提出UnMA-CapSumT框架，结合事实性与风格化（浪漫、幽默）图像描述，通过多头注意力摘要Transformer解决词汇外和重复问题，在Flickr8K和FlickrStyle10K上验证有效性。
2024-12-16 cs.CV
GL-RG: Global-Local Representation Granularity for Video Captioning
Fudan University（复旦大学）；Westlake University（西湖大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Florida（佛罗里达大学）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；Purdue University（普渡大学）；Meta AI
视频描述是一项具有挑战性的任务，因为它需要将视觉理解准确地转换为自然语言描述。到目前为止，最先进的方法不足以跨视频帧对全局-局部表示进行建模以用于字幕生成，留下了大量的改进空间。在这项工作中，我们从一个新的角度来处理视频描述的任务，并提出了一个GL-RG框架的视频描述，即一个\textbf{G}非线性-\textbf{L}局部\textbf{G} epresentation \textbf{G} ranularity。我们的GL-RG表现出三个优势：1）我们明确地利用广泛的视觉表示，从不同的视频范围，以改善语言表达; 2）我们设计了一种新的全局-局部编码器，以产生丰富的语义词汇，以获得跨帧的视频内容的描述粒度; 3）我们开发了一种增量训练策略，该策略以增量方式组织模型学习，以产生最佳字幕行为。在具有挑战性的MSR-VTT和MSVD数据集上的实验结果表明，我们的DL-RG明显优于最近的最先进的方法。代码可从\url{https://github.com/ylqi/GL-RG}获得。
2023-02-28 cs.CV
PLA: Language-Driven Open-Vocabulary 3D Scene Understanding
The University of Hong Kong（香港大学）；ByteDance（字节跳动）
开放词汇场景理解的目标是定位和识别标注空间之外的不可见类别。2D开放式词汇感知的最新突破主要是由互联网规模的具有丰富词汇概念的配对图像-文本数据驱动的。然而，由于无法访问大规模的3D文本对，这种成功不能直接转移到3D场景。为此，我们建议通过从3D中为多视图图像添加字幕来提取预训练的视觉语言（VL）基础模型中编码的知识，这允许显式关联3D和语义丰富的字幕。此外，为了促进从字幕的从粗到细的视觉语义表示学习，我们设计了分层的3D字幕对，利用3D场景和多视图图像之间的几何约束。最后，通过采用对比学习，该模型学习连接3D和文本的开放词汇任务的语言感知嵌入。我们的方法不仅在开放词汇语义和实例分割方面显著优于基线方法$\sim$ 44.7%hIoU和$\sim$ 50.4%hAP $_{50}$，而且在具有挑战性的zero-shot域转移任务上显示出强大的可转移性。参见项目网站https://dingry.github.io/projects/PLA。
2023-03-22 cs.CV
Satellite Captioning: Large Language Models to Augment Labeling
PeopleTec（PeopleTec公司）
针对遥感图像等特定领域字幕数据集存在的词汇有限、语法错误等问题，本研究以RSICD数据集为对象，验证了ChatGPT语法校正可有效提升字幕模型性能准确率。
2023-12-18 cs.CL cs.CV cs.LG
Controllable Image Captioning
现有的图像字幕生成器可以生成准确的句子来描述图像，而不考虑可控性和可解释性。然而，这远不能使图像描述被广泛使用，因为图像可以根据目标和手头的上下文以无限的方式被解释。实现可控性是重要的，特别是当图像字幕由不同的人使用不同的方式来解释图像时。在本文中，我们介绍了一种新的框架图像描述，它可以产生不同的描述，通过捕获的词性标签和语义之间的相互依赖。我们的模型解释了连续变量之间的直接相关性。通过这种方式，它允许解码器彻底搜索潜在的词性选择，同时保持解码速度与POS词汇表的大小成比例。给定一个控制信号的形式的一个序列的部分的语音标签，我们提出了一种方法来生成字幕，通过一个Transformer网络，预测的基础上输入的部分的语音标签序列的话。在公开数据集上的实验表明，我们的模型在生成高质量的各种图像标题方面显着优于最先进的方法。
2022-05-25 cs.CV
RA-CoA: Training-free Fashion Image Captioning via Retrieval-Augmented Chain-of-Attributes
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
针对时尚图像描述中通用VLM细粒度属性精度不足的问题，提出无训练框架RA-CoA，通过从知识库检索属性集并进行属性级推理，显著提升描述质量，METEOR平均提升26.3%。
2026-09-15 cs.AI cs.CV cs.LG
ALOHa: A New Measure for Hallucination in Captioning Models
University of California, Berkeley（加州大学伯克利分校）
针对 CHAIR 受限于固定物体词表的问题，本文提出开放词汇指标 ALOHa，利用 LLM 提取物体、计算语义相似度并通过匈牙利匹配评分，在 HAT 和 nocaps 上显著提升幻觉识别率。
2024-04-03 cs.AI cs.CL cs.CV
Context-Aware Visual Policy Network for Fine-Grained Image Captioning
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
随着视觉检测技术的成熟，我们更加雄心勃勃地用开放词汇、细粒度和自由形式的语言来描述视觉内容，即，图像描述的任务。特别是，我们有兴趣生成更长，更丰富，更细粒度的句子和段落作为图像描述。图像描述可以转化为给定视觉内容的序列语言预测任务，其中输出序列形成具有合理语法的自然语言描述。然而，现有的图像描述方法仅关注语言策略而非视觉策略，并且因此未能捕获对于诸如对象关系（例如，“人骑马”）和视觉比较（例如，“小（er）猫”）。当生成较长的序列（如段落）时，此问题尤其严重。为了填补这一空白，我们提出了一个上下文感知的视觉策略网络（CAVP）细粒度的图像到语言生成：图像句子字幕和图像段落字幕。在字幕生成过程中，CAVP将先前的视觉注意力视为上下文，并在给定当前视觉注意力的情况下决定上下文是否用于当前单词/句子生成。与传统的视觉注意力机制在每一步只固定一个视觉区域相比，CAVP可以随着时间的推移注意到复杂的视觉成分。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过使用演员-评论家策略梯度方法进行端到端的有效优化。我们已经证明了CAVP的有效性，最先进的性能MS-COCO和斯坦福字幕数据集，使用各种指标和定性视觉环境的明智的可视化。
2019-06-06 cs.CV
BACON: Improving Clarity of Image Captions via Bag-of-Concept Graphs
Shanghai Jiao Tong University（上海交通大学）；Alibaba group（阿里巴巴集团）；University of Pennsylvania（宾夕法尼亚大学）；University of Waterloo（滑铁卢大学）
针对VLM生成图像描述冗长难解析的问题，提出BACON提示方法，将描述分解为结构化元素并转为JSON，训练LLaVA生成器，提升清晰度，使GroundingDINO等模型无需训练即可在开放词汇检测中实现1.51倍召回率提升。
2025-03-27 cs.CL cs.CV cs.DB
Auto-Vocabulary 3D Object Detection
Department of Computer Science, Purdue University（计算机科学系，普渡大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
AV3DOD通过自动生成类别名称，实现了无需用户输入的开放词汇3D目标检测，取得SOTA性能。
2025-12-18 cs.CV
Cascaded Revision Network for Novel Object Captioning
University of Technology Sydney（悉尼科技大学）；Hangzhou Dianzi University（杭州电子科技大学）
图像描述是一个具有挑战性的任务，其中机器自动地通过句子描述图像，近年来引起了极大的关注。尽管最近的方法有了显着的改进，但是，这些方法是建立在一个大的训练图像-句子对。因此，昂贵的劳动力成本限制了字幕模型描述更广阔的世界。在本文中，我们提出了一种新的网络结构，级联修订网络，其目的是在缓解问题，通过装备的模型与领域外的知识。CRN首先尽最大努力使用来自领域内知识的现有词汇来描述图像。由于缺乏域外知识，标题可能不准确，或者包含具有未知（新）对象的图像的模糊词语。我们建议通过一系列级联操作来重新编辑主字幕语句。我们引入了一个困惑预测器，找出哪些词是最有可能是不准确的输入图像。之后，我们利用来自预训练的目标检测模型的外部知识，并通过视觉匹配模块从检测结果中选择更准确的词。在最后一步中，我们设计了一个语义匹配模块，以确保新的对象是适合在正确的位置。通过这种新的级联字幕修正机制，CRN可以准确地描述图像与不可见的对象。我们在MSCOCO数据集上验证了所提出的方法具有最先进的性能，并扩展到ImageNet，证明了该方法的有效性。
2019-08-06 cs.CV cs.MM
MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning
Duke University（杜克大学）；Johns Hopkins University（约翰霍普金斯大学）；University of Maryland College Park（马里兰大学学院市分校）；Lenovo Research（联想研究院）
针对联邦学习中数据异质性问题，提出MLLM-LLaVA-FL框架，利用多模态大语言模型，通过全球视觉文本预训练、客户端本地训练和服务器端全局对齐三个阶段，提升联邦学习性能。
2026-07-08 cs.AI cs.CL cs.LG
ROVI: A VLM-LLM Re-Captioned Dataset for Open-Vocabulary Instance-Grounded Text-to-Image Generation
State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室）
ROVI通过VLM-LLM重新标注策略生成高质量合成数据集，提升开放词汇实例级文本到图像生成的定位精度与提示保真度。
2025-08-01 cs.CV
RTGen: Generating Region-Text Pairs for Open-Vocabulary Object Detection
Carnegie Mellon University（卡内基梅隆大学）
本研究提出RTGen方法，通过文本到区域和区域到文本双向生成流程构建可扩展区域-文本对，并引入定位感知对比损失，显著提升开放词汇目标检测性能。
2024-05-30 cs.CV
Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection
Johns Hopkins University（约翰霍普金斯大学）；Kitware；DEVCOM Army Research Laboratory（国防部陆军研究实验室）
本文提出Thermal-Det，首个针对热成像的开放词汇检测器，通过合成数据集和跨模态蒸馏提升热成像目标检测性能，实验显示在公开基准上取得2-4%的AP提升。
2026-05-11 cs.CV
Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing
University of Technology, Sydney（悉尼大学）
提出Custom ZeroCLIP框架，利用检索增强的视觉-语言模型，在零样本设置下为印度尼西亚传统服装生成描述，在8个未见省份上取得优于基线的性能。
2026-06-12 cs.CV
OvDSGG: End-to-End Open-Vocabulary Dynamic Scene Graph Generation
Meta；University of Bath（巴斯大学）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
OvDSGG是首个开放词汇DSGG的端到端框架，通过空间主干、时间主干及相关模块实现开放词汇识别，在开放词汇指标上显著优于基线，封闭集性能仍具竞争力，且构建了对应基准并公开代码。
2026-08-25 cs.CV
Cooperative image captioning
Bar-Ilan University（巴伊兰大学）；NVIDIA research（英伟达研究院）
当用自然语言描述图像时，如果使用下游任务进行调优，则可以使描述更加信息化。这通常是通过训练两个网络来实现的：一个是“说话者网络”，它在给定图像的情况下生成句子，另一个是“倾听者网络”，它使用它们来执行任务。不幸的是，联合训练多个网络进行通信以实现联合任务面临两个主要挑战。首先，由扬声器网络生成的描述是离散和随机的，使得优化非常困难和低效。其次，联合训练通常会导致交流过程中使用的词汇与自然语言发生漂移和偏离。我们描述了一种解决这两个挑战的方法。首先，我们开发了一种新的有效的优化的基础上部分采样从一个多项分布结合直通梯度更新，我们命名为PSST的部分采样直通。第二，我们表明，生成的描述可以保持接近自然的约束，他们是类似于人类的描述。总之，这种方法创建的描述比以前的方法更有区别，更自然。对标准COCO基准测试的评估表明，PSST Multinomial将recall@10从60%大幅提高到86%，保持了相当的语言自然度，人类评估表明，它还提高了自然度，同时保持了生成的字幕的区分能力。
2019-07-26 cs.CV
Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning
University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；Northeastern University（东北大学）
本文提出CompreCap基准，利用有向场景图从对象覆盖、属性准确性和关系得分等多层面评估大型视觉-语言模型的详细图像描述生成能力，实验验证其与人工评估高度一致。
2025-03-26 cs.CV
Contextual Object Detection with Multimodal Large Language Models
Nanyang Technological University（南洋理工大学）；Hong Kong Baptist University（香港浸会大学）
本文提出ContextDET模型，通过端到端可微的视觉-语言上下文建模，解决多模态大语言模型缺乏目标检测能力的问题，并在多个基准上验证其有效性。
2024-08-12 cs.AI cs.CV
DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection
Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）
针对现有开放词汇目标检测器需预定义类别、应用受限的问题，提出兼具检测与分层标签生成能力的DetCLIPv3，通过通用架构、高密数据和高效训练策略，在多项基准上取得性能突破。
2024-04-14 cs.CV
Da Yu: Towards USV-Based Image Captioning for Waterway Surveillance and Scene Understanding
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科技大学，香港特别行政区，中国）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；China University of Petroleum (East China)（中国石油大学（华东））；University of Science and Technology of China（中国科学技术大学）；Yancheng Institute of Technology（盐城职业技术学院）；Wuhan University of Technology（武汉理工大学）
本文提出了首个水道图像描述数据集 WaterCaption 及边缘可部署的多模态大模型 Da Yu，通过新型视觉到语言投影器 NTA 平衡计算效率与细粒度建模，在多项基准上达到最优性能。
2025-07-01 cs.CV cs.RO
VideoBERT: A Joint Model for Video and Language Representation Learning
Google Research（谷歌研究院）
自监督学习对于利用YouTube等平台上丰富的未标记数据变得越来越重要。鉴于大多数现有的方法学习低层次的表示，我们提出了一个联合视觉语言模型来学习高层次的功能，没有任何明确的监督。特别是，其最近的成功语言建模的启发，我们建立在BERT模型学习双向联合分布的视觉和语言令牌序列，来自矢量量化的视频数据和现成的语音识别输出，分别。我们在许多任务中使用VideoBERT，包括动作分类和视频描述。我们表明，它可以直接应用于开放式词汇分类，并确认大量的训练数据和跨模态信息的性能是至关重要的。此外，我们优于国家的最先进的视频描述，定量结果验证了该模型学习高层次的语义特征。
2019-09-11 cs.AI cs.CV
Efficient Unified Multimodal Understanding (EUMU): Winning Solution for the MUMU Track at the 8th LSVOS Challenge
Soongsil University（崇实大学）
EUMU是第八届LSVOS挑战赛MUMU赛道的获胜方案，通过共享预训练模型和跨任务线索细化，在单个模型中统一实现图像打标、开放词汇检测和图像描述，以239.169M参数和23.947 GFLOPs达到17.3409分。
2026-09-18 cs.CV
SILC: Improving Vision Language Pretraining with Self-Distillation
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；Google Deepmind（谷歌DeepMind）；TU Munich（慕尼黑工业大学）
本文提出视觉语言预训练框架 SILC，通过 EMA 教师自蒸馏增加局部到全局对应学习，在增强密集预测的同时提升分类、检索等图像级任务，并刷新多项开放词汇基准。
2023-12-07 cs.CV
Beyond Text: Frozen Large Language Models in Visual Signal Comprehension
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
本研究提出V2T Tokenizer，将图像转换为LLM词表中的离散词元，使冻结大语言模型无需微调即可完成视觉理解及图像去噪修复等多类任务，并通过多项实验验证了方法有效性。
2024-03-12 cs.CV
ClaimDiff-RL: Fine-Grained Caption Reinforcement Learning through Visual Claim Comparison
The Chinese University of Hong Kong（香港中文大学）；MiniMax
提出ClaimDiff-RL框架，利用原子声明差异作为奖励单元，通过多模态判断器枚举视觉差异并分配错误类型和严重程度，以解决长描述强化学习中事实性与覆盖度的权衡问题。
2026-05-24 cs.AI cs.CV cs.LG
QR-Structured Thermal Triggers for Targeted Semantic Attacks on Infrared Vision-Language Models
本研究提出QR-STT框架，作为隐蔽黑盒攻击手段，可定向操控IR-VLMs的语义对齐，其扰动还能跨任务迁移，凸显了对该类攻击进行鲁棒性评估的必要性。
2026-08-03 cs.AI cs.CV
Seeing through the Human Reporting Bias: Visual Classifiers from Noisy Human-Centric Labels
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Microsoft Research（微软研究院）
当人类注释者可以选择在图像中标记什么时，他们会对忽略什么和提及什么做出自己的主观判断。我们将这些嘈杂的“以人为中心”的注释称为表现出人类报告偏见。这种注释的示例包括在照片共享网站上或在包含图像标题的数据集中找到的图像标签和关键字。在本文中，我们使用这些嘈杂的注释学习视觉上正确的图像分类器。这样的注释不使用一致的词汇，并错过了大量的信息存在于图像中，但是，我们证明了这些注释中的噪声表现出结构，可以建模。我们提出了一种算法，以解耦人类的报告偏见从正确的视觉接地标签。我们的结果对于报告“图像中的内容”与“值得说的内容”具有高度的可解释性。“我们通过各种指标和数据集证明了该算法的有效性，包括MS COCO和Yahoo Flickr 100M。我们表现出显着的改进，传统算法的图像分类和图像描述，在某些情况下，现有的方法的性能增加一倍。
2016-04-12 cs.CV
Discoverability in Satellite Imagery: A Good Sentence is Worth a Thousand Pictures
PeopleTec, Inc.（PeopleTec公司）；US Army Space Missile Defense Command (SMDC)（美国陆军太空与导弹防御司令部）
小型卫星星座提供了对地球陆地的每日全球覆盖，但图像丰富依赖于自动化的关键任务，如变化检测或特征搜索。例如，从原始像素中提取文本注释需要两个相关的机器学习模型，一个用于分析头顶图像，另一个用于生成描述性说明。我们评估了七个模型，以前最大的基准卫星图像字幕。我们将标记的图像样本扩展五倍，然后增加，校正和修剪词汇，以接近一个粗略的最小最大值（最小单词，最大描述）。这一结果与先前使用大型预训练图像模型的工作相比是有利的，但在不牺牲整体准确性的情况下（当用对数熵损失测量时），模型大小减少了100倍。这些更小的模型提供了新的部署机会，特别是当被推到边缘处理器、星载卫星或分布式地面站时。为了量化字幕的重复性，我们引入了一种新的多类混淆或错误矩阵来对人类标记的测试数据和从未标记过的图像进行评分，这些图像包括限界框检测，但缺乏完整的句子字幕。这项工作提出了未来的字幕策略，特别是那些可以丰富的类覆盖范围以外的土地利用的应用程序，减少颜色为中心的和相邻的形容词（“绿色”，“附近”，“之间”等）。许多现代语言Transformers提供了新颖且可利用的模型，这些模型具有从其庞大的在线语料库中收集的世界知识。一个有趣但简单的例子可能是学习风和波浪之间的单词关联，从而丰富了海滩场景，而不仅仅是颜色描述，否则可能会从原始像素中访问而没有文本注释。
2020-01-03 cs.CL cs.CV cs.LG
