"Let's not Quote out of Context": Unified Vision-Language Pretraining for Context Assisted Image Captioning
IIT Bombay（印度理工学院孟买分校）；Adobe Research（奥多比研究院）
本文提出基于 OFA 的统一视觉-语言模型，通过新闻图像描述、上下文视觉蕴含和关键词提取三类预训练任务利用上下文，在新闻图像描述基准上取得最高 8.34 CIDEr 的提升。
2023-06-01 cs.CL cs.CV
Nepali Video Captioning using CNN-RNN Architecture
Kathmandu University（加德满都大学）；Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室（ILPRL））
本研究针对尼泊尔语视频字幕生成任务，构建了补充尼泊尔语字幕的MSVD数据集，训练多种CNN-RNN架构，验证不同编码器与解码器组合的效果，最优模型取得BLEU-4得分17、METEOR得分46的结果，为该领域后续研究提供了基础资源。
2023-11-05 cs.CL cs.CV cs.LG
CLIPScore: A Reference-free Evaluation Metric for Image Captioning
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
图像描述传统上依赖于基于参考的自动评估，其中将机器字幕与人类书写的字幕进行比较。这与人类评估字幕质量的无参考方式形成对比。在本文中，我们报告了令人惊讶的实证发现，CLIP（Radford et al.，2021），一个跨模态模型预训练的400 M图像+字幕对从网络上，可以用于鲁棒的自动评估图像描述，而不需要参考。跨越几个语料库的实验表明，我们的新的无参考指标，CLIPScore，实现了最高的相关性与人类的判断，优于现有的基于参考的指标，如CIDER和SPICE。信息增益实验表明，CLIPScore，其紧密关注的图像-文本兼容性，是补充现有的基于参考的指标，强调文本-文本的相似性。因此，我们还提出了一个参考增强版本，RefCLIPScore，它实现了更高的相关性。除了文字描述任务之外，几个案例研究揭示了CLIPScore表现良好的领域（剪贴画图像，替代文本评级），但与基于参考的指标相比，它也相对较弱，例如，新闻标题需要更丰富的上下文知识。
2022-03-23 cs.CL cs.CV
Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）
上下文推理对于理解未修剪的长视频中的事件至关重要。在这项工作中，我们系统地探讨了不同的字幕模型与各种背景下的密集字幕事件的视频任务，其目的是在未经修剪的视频中生成不同的事件的字幕。我们提出了五种类型的上下文以及两类事件字幕模型，并从准确性和多样性方面评估其对事件字幕的贡献。建议的字幕模型插入到我们的管道系统的密集视频描述的挑战。整个系统在视频任务中的密集字幕事件上达到了最先进的性能，在挑战测试集上的METEOR得分为9.91。
2019-07-11 cs.CL cs.CV cs.LG
Chittron: An Automatic Bangla Image Captioning System
University of Liberal Arts Bangladesh（孟加拉国自由艺术大学）；North South University（北南大学）
图像字幕自动生成的目的是自动地用自然语言对图像进行准确的描述。然而，孟加拉语，世界上第五大最广泛使用的语言，在这一领域的研究和发展方面相当滞后。此外，虽然有许多已建立的数据集与英语图像注释相关，但孟加拉语还没有这样的资源。因此，本文概述了“Chittron”，孟加拉语的自动图像描述系统的发展。此外，为了解决数据集的可用性问题，已经收集了16 000幅孟加拉国背景图像，并以孟加拉语进行了人工注释。然后，该数据集用于训练一个模型，该模型将预训练的VGG 16图像嵌入模型与堆叠的LSTM层集成在一起。当输入是图像时，该模型被训练来预测字幕，一次一个词。结果表明，该模型已经成功地能够学习一个工作的语言模型，并在许多情况下相当准确地生成图像的字幕。结果主要是定性评价。然而，还报告了BLEU评分。预计在更大和更多样化的数据集上可以获得更好的结果。
2018-09-02 cs.CL cs.CV
Transform and Tell: Entity-Aware News Image Captioning
Australian National University（澳大利亚国立大学）
我们提出了一个端到端的模型，生成标题嵌入在新闻文章中的图像。新闻图像面临两个关键挑战：它们依赖于现实世界的知识，特别是关于命名实体的知识;它们通常具有语言丰富的标题，其中包括不常见的单词。我们通过多模态、多头注意力机制，将字幕中的单词与图像中的人脸和物体相关联，来解决第一个挑战。我们用最先进的Transformer语言模型来解决第二个挑战，该模型使用字节对编码来生成标题作为单词部分的序列。在GoodNews数据集上，我们的模型在CIDER评分（13至54）方面优于之前的最新技术水平4倍。这种性能提升来自于语言模型、单词表示、图像嵌入、人脸嵌入、对象嵌入以及神经网络设计改进的独特组合。我们还介绍了NYTimes 800 k数据集，它比GoodNews大70%，具有更高的文章质量，并包括文章中图像的位置作为额外的上下文线索。
2020-06-13 cs.CL cs.CV
Redemption Score: A Multi-Modal Evaluation Framework for Image Captioning via Distributional, Perceptual, and Linguistic Signal Triangulation
University of Southern Mississippi（密苏里州南方大学）
提出救赎分数（RS）框架，通过三角验证分布、感知与语言三种信号，无需任务训练即可在Flickr8k等基准上实现与人类判断高度相关的图像描述评估。
2026-09-18 cs.CL cs.CV
Multimodal Arabic Captioning with Interpretable Visual Concept Integration
Ulm University（乌尔姆大学）；Alexandria University（亚历山大大学）
本研究提出可解释的阿拉伯语图像描述框架VLCAP，结合多语言CLIP编码器检索视觉概念与视觉语言模型生成描述，验证了不同编码器-解码器组合的效果，可生成文化适配、准确的阿拉伯语描述。
2025-09-29 cs.CL cs.CV cs.LG
CONCAP: Seeing Beyond English with Concepts Retrieval-Augmented Captioning
Department of Natural Language Processing, MBZUAI（自然语言处理部门，MBZUAI）；INESC-ID, Instituto Superior Técnico, University of Lisbon（INESC-ID，理工学院，里斯本大学）
针对多语言图像描述中训练数据不足及翻译检索描述存在偏差的问题，提出CONCAP模型，通过融合图像特定概念与检索描述，在XM3600上以更低数据需求提升低、中资源语言表现。
2025-07-27 cs.CL
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
当前最先进的图像描述方法采用基于区域的特征，因为它们提供了描述图像内容所必需的对象级信息;它们通常由诸如Faster R-CNN之类的对象检测器提取。然而，它们有几个问题，如缺乏上下文信息，不准确检测的风险，以及高计算成本。前两个可以通过额外使用基于网格的特征来解决。然而，如何提取和融合这两种类型的功能是未知的。本文提出了一种仅基于Transformer的神经架构，称为GRIT（Grid- and Region-based图像描述Transformer），它有效地利用了这两个视觉特征来生成更好的字幕。GRIT用基于DETR的检测器取代了以前方法中使用的基于CNN的检测器，使其计算速度更快。此外，它的单片设计仅由Transformers组成，可以实现模型的端到端训练。这种创新的设计和双重视觉功能的整合带来了显着的性能改善。在多个图像描述基准上的实验结果表明，GRIT在推理精度和速度上都优于以往的方法。
2022-07-20 cs.AI cs.CL cs.CV
PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所，巴黎高等师范学院，法国国家科学研究中心，巴黎文理研究大学）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（捷克信息学、机器人与控制论研究所，布拉格捷克理工大学）
针对视觉-语言模型在图像描述中缺乏像素级接地的问题，提出全景接地描述任务，构建PanoCaps基准并设计PANORAMA模型，通过从短语条件掩码提议中选择实现高质量接地，达到最优性能。
2026-09-17 cs.CL cs.CV
Towards Retrieval-Augmented Architectures for Image Captioning
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Leonardo S.p.A.（莱昂纳多公司）；IIT-CNR（意大利国家研究委员会信息研究所）
本研究提出利用外部kNN记忆的检索增强图像字幕模型，通过视觉相似性检索和kNN增强语言模型提升生成质量，并在COCO和nocaps数据集上验证了其有效性。
2024-05-21 cs.AI cs.CL cs.CV
See It All: Contextualized Late Aggregation for 3D Dense Captioning
Seoul National University（首尔大学）；Diquest；LG AI Research（LG人工智能研究院）
针对3D密集描述中单个查询需同时关注物体区域与上下文的目标冲突问题，提出采用晚期聚合范式的SIA方法，通过双查询解码与新型聚合器生成上下文感知描述，在主流数据集上实现显著性能提升。
2024-08-14 cs.CL cs.CV
Show, Interpret and Tell: Entity-aware Contextualised Image Captioning in Wikipedia
Computer Vision Center（计算机视觉中心）
人类利用先验知识来描述图像，并且能够使他们的解释适应特定的上下文信息，甚至在上下文信息和图像不匹配时发明合理的解释。在这项工作中，我们提出了新的任务，标题维基百科的图像整合上下文知识。具体来说，我们生成的模型可以联合推理维基百科文章、维基媒体图片及其相关描述，以生成上下文化的标题。特别是，类似的维基媒体图像可以用于说明不同的文章，并且生成的标题需要适应特定的上下文，因此允许我们探索模型的限制，以根据不同的上下文信息调整标题。在这个领域中，一个特别具有挑战性的任务是处理字典外的单词和命名实体。为了解决这个问题，我们提出了一个预训练目标，掩码命名实体建模（MNEM），并表明，这个借口任务产生的改进相比，基线模型。此外，我们验证了在维基百科中使用MNEM目标预训练的模型可以很好地推广到新闻字幕数据集。此外，我们根据字幕任务的难度定义了两个不同的测试分割。我们提供的作用和每种模式的重要性的见解，并强调我们的模型的局限性。代码，模型和数据分割在接受后公开提供。
2022-09-21 cs.CV
Enhancing Cross-Modal Contextual Congruence for Crowdfunding Success using Knowledge-infused Learning
Georgia State University（佐治亚州立大学）；Adobe MDSR；Wright State University（怀特州立大学）；California Polytechnic State University（加州州立大学帕克校区）
本研究引入知识图谱的外部常识知识，结合紧凑型视觉语言模型增强多模态数据表征，以提升众筹活动成功预测性能，验证了跨模态上下文一致性对众筹成功的重要性。
2024-11-17 cs.AI cs.CL cs.CV
CapEnrich: Enriching Caption Semantics for Web Images via Cross-modal Pre-trained Knowledge
Renmin University of China（中国人民大学）
为Web上的大量未标记图像自动生成文本描述可以极大地有益于现实的Web应用，例如多模式检索和推荐。然而，现有的模型遭受的问题，产生“过度通用”的描述，如他们的倾向，以产生重复的句子与不同的图像的共同概念。这些通用的描述无法为不断变化的Web图像提供足够的文本语义。受视觉语言预训练（VLP）模型最近成功的启发，该模型在预训练期间学习不同的图像-文本概念对齐，我们探索利用其跨模态预训练知识来自动丰富图像描述的文本语义。由于不需要额外的人类注释，我们提出了一个即插即用的框架，即CapEnrich，以补充更多的语义细节的通用图像描述。具体来说，我们首先提出了一种自动数据构建策略来获得所需的训练句子，然后在此基础上采用提示策略，即可学习和模板提示，以激励VLP模型生成更多的文本细节。对于可学习的模板，我们固定整个VLP模型，只调整提示向量，这导致两个优点：1）VLP模型的预训练知识可以尽可能多地保留以描述不同的视觉概念; 2）仅需要轻量级的可训练参数，因此对低数据资源友好。大量的实验表明，我们的方法显着提高了Web图像生成的句子的连续性和多样性。该代码可在https://github.com/yaolinli/CapEnrich上获得。
2023-03-19 cs.CV cs.MM
Controllable Contextualized Image Captioning: Directing the Visual Narrative through User-Defined Highlights
The University of Sydney（悉尼大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出可控情境化图像描述（Ctrl-CIC），通过用户定义高亮引导描述生成，采用P-Ctrl和R-Ctrl两种方法，并设计GPT-4V评估器，实验证明其高效可控，为自适应图像描述开辟新方向。
2024-07-16 cs.AI cs.CV
Contextual Modeling for 3D Dense Captioning on Point Clouds
National Space Science Center, Chinese Academy of Sciences（中国科学院国家空间科学中心）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）；Meituan（美团）
3D密集字幕作为一种新兴的视觉语言任务，其目的是从一组点云中识别和定位每个对象，并生成描述每个定位对象的独特的自然语言语句。然而，现有的方法主要集中在挖掘对象间的关系，而忽略了点云内部的上下文信息，特别是非对象细节和背景环境，从而导致描述质量不高，如相对位置信息不准确。在本文中，我们第一次尝试利用点云聚类功能作为上下文信息，以提供点云的非对象细节和背景环境，并将它们纳入到3D密集字幕任务。我们提出了两个独立的模块，即全球上下文建模（GCM）和本地上下文建模（LCM），在一个由粗到精的方式来执行点云的上下文建模。具体地说，GCM模块利用全局上下文信息捕捉所有对象之间的对象关系，以获得整个点云的更完整的场景信息。LCM模块利用目标对象的邻近对象和局部上下文信息的影响来丰富对象表示。通过这种全局和局部上下文建模策略，我们提出的模型可以有效地表征对象表示和上下文信息，从而生成全面和详细的描述所定位的对象。在ScanRefer和Nr3D数据集上的大量实验表明，该方法在3D密集字幕任务上创下了新的记录，并验证了我们提出的点云上下文建模的有效性。
2022-10-08 cs.CV
Bi-directional Contextual Attention for 3D Dense Captioning
Seoul National University（首尔大学）；LG AI Research（LG AI研究院）；Diquest
针对3D密集描述任务中上下文信息局限与定位-描述目标矛盾问题，提出带双向上下文注意力的Transformer流水线BiCA，通过并行的实例与上下文查询实现双向感知，在两个主流数据集上性能显著优于现有方法。
2024-08-13 cs.CV
Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts
Nanyang Technological University（南洋理工大学）；Tongji University（同济大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出一种多模态幽默生成任务，通过文化意识标题生成模型在不同文化背景下生成幽默标题，改进了文化背景下的图像相关性、语境适配性和幽默质量。
2026-04-20 cs.CL cs.CV
Mining Contextualized Visual Associations from Images for Creativity Understanding
Columbia University（哥伦比亚大学）
本文提出可扩展至未标注图像的情境化视觉关联挖掘方法，据此为 MSCOCO 构建170万条分层抽象的创意描述，并提升创意领域零样本图文检索性能。
2025-07-25 cs.CL cs.CV
Contextual Emotion Estimation from Image Captions
Simon Fraser University（西蒙弗雷泽大学）
本文提出用图像描述加LLM推理的方法进行上下文情感估计，设计了面部、身体、交互和环境的自然语言描述符，并在EMOTIC子集上验证了GPT-3.5的情感预测能力，展示了该方法的可行性。
2023-09-22 cs.AI cs.CV
ANNA: Abstractive Text-to-Image Synthesis with Filtered News Captions
The Pennsylvania State University（宾夕法尼亚州立大学）
本文构建抽象新闻字幕数据集 ANNA，并在标准训练与迁移学习设置下评测文本到图像模型，发现现有方法难以稳定理解内容与上下文关系。
2024-07-01 cs.CL cs.CV
Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval
University of Science - VNUHCM（越南胡志明市大学）；Nanyang Technological University（南洋理工大学）
本文提出一种多模态检索方法，通过整合外部文本知识生成更丰富的上下文图像描述，提升视觉-文本理解能力。
2026-02-01 cs.AI cs.CV
Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation
West Virginia University（西弗吉尼亚大学）
本文提出CGFR框架，利用人脸检验员的文本描述辅助COTS人脸识别，并通过CFAM与TFRM实现多粒度跨模态交互和对齐，在Multi-Modal CelebA-HQ上显著提升ArcFace性能。
2023-08-13 cs.CV
Context and Attribute Grounded Dense Captioning
University of Science and Technology of China（中国科学技术大学）；College of Software, Beihang University（北京航空航天大学软件学院）；SenseTime Research（商汤科技研究院）；The Chinese Academy of Sciences（中国科学院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；The Chinese University of Hong Kong（香港中文大学）；Key Laboratory of Electromagnetic Space Information（电磁空间信息重点实验室）
密集字幕旨在同时定位语义区域并使用自然语言中的短语或句子描述这些感兴趣区域（ROI）。以前的研究已经取得了显着的进展，但他们往往容易受到光圈问题，一个ROI内的功能生成的字幕缺乏上下文的连贯性与其周围的背景下，在输入图像。在这项工作中，我们研究的上下文推理的基础上，从邻近的内容到目标ROI的多尺度消息传播。为此，我们设计了一个新的端到端的上下文和属性接地密集字幕框架，包括1）上下文视觉挖掘模块和2）多层次属性接地描述生成模块。知道字幕经常与语言属性（如谁，什么和在哪里）共同出现，我们还将从分层语言属性的辅助监督，以增强学习字幕的独特性。在Visual Genome数据集上进行的大量实验和消融研究表明，与最先进的方法相比，所提出的模型具有优越性。
2019-04-02 cs.CV
Deep Learning for Video Classification and Captioning
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
在互联网带宽和存储空间的巨大增长的加速下，视频数据爆炸式地产生、发布和传播，成为当今大数据不可或缺的组成部分。在本文中，我们重点回顾了旨在通过深度学习刺激视频理解的两项研究：视频分类和视频描述。虽然视频分类集中于基于视频片段的语义内容（如人类动作或复杂事件）自动标记视频片段，但视频描述尝试生成完整且自然的句子，从而丰富视频分类中的单个标签，以捕获视频中最具信息量的动态。此外，我们还提供了流行的基准和比赛的审查，这对于评估这个充满活力的领域的技术进步至关重要。
2018-02-22 cs.CV cs.MM
Generating image captions with external encyclopedic knowledge
Utrecht University（乌得勒支大学）
准确地报告图像中描绘了什么对象在很大程度上是自动字幕生成中解决的问题。在实现真正人性化字幕的道路上，下一个巨大的挑战是能够将图像的背景和相关的现实世界知识结合起来。我们通过创建一个端到端的字幕生成系统来解决这一挑战，该系统广泛使用特定于图像的字幕数据。我们的方法包括一种新的方式，使用图像位置来识别相关的开放域的事实在外部知识库，其随后的集成到字幕管道在编码和解码阶段。我们的系统在一个新的数据集上进行了训练和测试，该数据集具有自然产生的知识丰富的字幕，并在多个基线上实现了显着的改进。我们的经验表明，我们的方法是有效的生成上下文的字幕与pedic知识，这是事实上准确和相关的图像。
2022-10-10 cs.CL cs.CV
Exploring Overall Contextual Information for Image Captioning in Human-Like Cognitive Style
Dalian University of Technology（大连理工大学）；Mila（米拉）；McGill University（麦吉尔大学）
图像描述是一个研究热点，结合卷积神经网络（CNN）和长短期记忆（LSTM）的编码器-解码器模型取得了很好的效果。尽管取得了重大进展，但这些模型生成的句子与人类认知方式不同。现有的模型往往从第一个词到最后生成一个完整的句子，而没有考虑后面的词对整个句子生成的影响。在本文中，我们探讨了一种类似人类的认知风格的利用，即，建立对待描述图像和待构造句子的整体认知，以增强计算机图像理解。本文首先提出了一种具有双向LSTM（MaBi-LSTM）的互助网络结构，用于获取整体上下文信息。在训练过程中，前向和后向LSTM通过以互补的方式同时构建整个句子，将后续和之前的单词编码到各自的隐藏状态。在字幕过程中，LSTM隐式地利用其隐藏状态中包含的后续语义信息。事实上，MaBi-LSTM可以在向前和向后的方向上生成两个句子。为了弥合跨领域模型之间的差距并生成更高质量的句子，我们进一步开发了跨模态注意力机制，通过融合两个句子的显著部分以及图像的显著区域来修饰这两个句子。在Microsoft COCO数据集上的实验结果表明，该模型提高了编解码器模型的性能，达到了最先进的效果。
2019-10-15 cs.CV
Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation
National Institute of Technology（印度国家技术学院）
图像描述或图像描述的自动生成是计算机视觉中的核心问题之一，并且使用深度学习技术已经取得了相当大的进展。我们建议使用Inception-ResNet卷积神经网络作为编码器来从图像中提取特征，基于层次上下文的词嵌入用于单词表示，深度堆叠长短期记忆网络作为解码器，此外还使用图像数据增强来避免过拟合。对于数据增强，除了图像上的透视变换外，我们还使用水平和垂直翻转。我们评估我们提出的方法与两个图像描述框架-编码器-解码器和软注意。广泛使用的指标的评估表明，我们的方法导致模型性能的显着改善。
2021-02-22 cs.AI cs.CV cs.LG
Beam-Guided Knowledge Replay for Knowledge-Rich Image Captioning using Vision-Language Model
KFUPM（科威特理工学院）
提出KRCapVLM框架，通过束搜索解码、注意力模块和训练调度器，提升视觉语言模型生成知识丰富图像描述的质量和泛化能力。
2025-05-29 cs.CV
Good News, Everyone! Context driven entity-aware captioning for news images
Computer Vision Center, UAB, Spain（西班牙加泰罗尼亚理工大学计算机视觉中心）
当前的图像描述系统仅在描述性水平上执行，基本上列举场景中的对象及其关系。相反，人类通过整合世界的几个先验知识来源来解释图像。在这项工作中，我们的目标是采取一个步骤更接近生产字幕，提供一个合理的解释的场景，通过整合这样的上下文信息到字幕管道。为此，我们专注于用于说明新闻文章的图像的标题。我们提出了一种新的字幕方法，能够利用上下文信息与图像相关联的新闻文章的文本提供。我们的模型能够有选择地从视觉线索引导的文章中提取信息，并动态地将输出字典扩展到出现在上下文源中的词汇表外的命名实体。此外，我们介绍了“好新闻”，最大的新闻图像描述数据集在文献中，并展示了国家的最先进的结果。
2019-04-02 cs.CV
Image Captioning in news report scenario
University of California San Diego（加州大学圣迭戈分校）；University of North Texas（北德克萨斯大学）；Northern Arizona University（北亚利桑那大学）；Tunghai University（东海大学）
本文针对新闻报道场景提出面向名人照片的图像描述生成方法，弥补现有工作偏重场景与动作理解的不足，以增强自动化新闻内容生成并丰富新闻叙事。
2024-04-02 cs.AI cs.CV
Enriching Phrases with Coupled Pixel and Object Contexts for Panoptic Narrative Grounding
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Meituan（美团）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
针对全景叙事定位任务中现有方法上下文聚合存在噪声、语义错位的问题，提出融合像素与物体上下文的PPO-TD结构及POCL损失，在基准上取得大幅领先的SOTA性能。
2024-03-10 cs.CV
VisChronos: Revolutionizing Image Captioning Through Real-Life Events
University of Science, VNU-HCM（越南胡志明市国家大学）；Vietnam National University（越南国家大学）
提出VisChronos框架，利用大语言模型和密集描述模型从单张图像识别并描述真实事件，构建EventCap数据集，提升描述生成的上下文相关性和事件聚焦能力。
2026-06-24 cs.CV
Who's Waldo? Linking People Across Text and Images
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们提出了一个以人为中心的视觉基础的任务和基准数据集，标题中命名的人和图像中描绘的人之间的联系问题。与之前主要基于对象的视觉基础工作相比，我们的新任务掩盖了标题中的人名，以鼓励在这种图像-标题对上训练的方法专注于上下文线索（例如多个人之间的丰富交互），而不是学习名字和外观之间的关联。为了方便这项任务，我们引入了一个新的数据集，谁的沃尔多，自动挖掘维基共享资源上的图像标题数据。我们提出了一种基于transformer的方法，在这项任务上优于几个强大的基线，并将我们的数据发布给研究社区，以促进考虑视觉和语言的上下文模型的工作。
2021-08-17 cs.CL cs.CV cs.LG
Diverse Image Captioning with Context-Object Split Latent Spaces
Dept. of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系）；TU Darmstadt（达姆施塔特工业大学）
不同的图像描述模型旨在学习跨域数据集（如图像和文本）固有的一对多映射。目前用于此任务的方法是基于生成潜在变量模型，例如具有结构化潜在空间的VAE。然而，以前的工作所捕获的多模态的量仅限于成对的训练数据--底层生成过程的真正多样性没有被完全捕获。为了解决这一限制，我们利用数据集中的上下文描述来解释不同视觉场景中的相似上下文。为此，我们引入了一种新型的潜在空间因子分解（称为上下文对象分割），以对数据集中图像和文本的上下文描述的多样性进行建模。我们的框架不仅使不同的字幕，通过基于上下文的伪监督，但扩展到图像与新的对象和没有配对的字幕在训练数据。我们在标准COCO数据集和由具有新对象的图像组成的COCO数据集上评估了我们的COS-CVAE方法，显示出在准确性和多样性方面的显着增益。
2020-11-02 cs.CV cs.LG
Multi-LLM Collaborative Caption Generation in Scientific Documents
Teamreboott Inc.（Teamreboott公司）；Pennsylvania State University（宾夕法尼亚州立大学）；Adobe Research（奥多比研究院）
针对科学图表标题生成中信息利用不足及 arXiv 标题数据质量低的问题，提出 MLBCAP 多 LLM 协作框架，通过质量评估、候选生成与判断精修获得优于人工的标题。
2025-01-05 cs.CL cs.CV
Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning
University of Science, VNU-HCM（越南国立大学胡志明市分校理学院）；Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
提出分层多模态文章检索增强的图像描述框架，通过结构感知检索和上下文精炼，结合VLM和LLM生成富含上下文细节的描述，在EVENTA 2025挑战赛中获得第5名。
2026-06-18 cs.CV
Contextual Explainable Video Representation: Human Perception-based Understanding
University of Arkansas（阿肯色大学）；FPT Software（FPT软件公司）
视频理解是一个不断发展的领域，也是一个深入研究的主题，它包括许多有趣的任务来理解空间和时间信息，例如，动作检测、动作识别、视频描述、视频检索。视频理解中最具挑战性的问题之一是处理特征提取，即由于无约束视频的长而复杂的时间结构，从给定的未修剪视频中提取上下文视觉表示。与现有的方法不同，这些方法将预训练的骨干网络作为黑盒来提取视觉表示，我们的方法旨在提取具有可解释机制的最上下文信息。正如我们所观察到的，人类通常通过三个主要因素之间的相互作用来感知视频，即，参与者、相关对象和周围环境。因此，设计一个上下文可解释的视频表示提取，可以捕获这些因素中的每一个，并对它们之间的关系建模是非常重要的。在本文中，我们讨论的方法，将人类的感知过程建模演员，对象和环境。我们选择视频段落字幕和时间动作检测来说明基于人类感知的上下文表示在视频理解中的有效性。源代码可在https://github.com/UARK-AICV/Video_Representation上公开获取。
2022-12-17 cs.CV
To Find Waldo You Need Contextual Cues: Debiasing Who's Waldo
Arizona State University（亚利桑那州立大学）
我们为Cui等人（2021）在Who's Waldo数据集中首次提出的以人为中心的视觉基础（PCVG）任务提供了一个去偏数据集。给定图像和标题，PCVG需要将标题中提到的人名与指向图像中人物的限界框配对。我们发现，为这项任务编译的原始Who's Waldo数据集包含大量有偏见的样本，这些样本可以通过探试法简单地解决;例如，在许多情况下，句子中的第一个名字对应于最大的限界框，或者句子中的名字序列对应于图像中从左到右的顺序。当然，在这些有偏差的数据上训练的模型会导致对基准测试性能的高估。为了确保模型因正确的原因而正确，我们设计了自动化工具来过滤和消除原始数据集的偏见，排除所有上下文不充分的例子，例如没有动词或标题中有一长串连词的例子。我们的实验表明，我们的新的子采样数据集包含更少的偏见，大大降低了启发式性能和启发式和监督方法之间的差距扩大。我们还证明了在我们的去偏训练集上训练的相同基准模型优于在我们的去偏测试集上训练的原始有偏（和更大）训练集。我们认为，我们的去偏数据集提供了PCVG任务一个更实际的基准可靠的基准和未来的改进。
2022-03-30 cs.CL cs.CV cs.LG
CapOnImage: Context-driven Dense-Captioning on Image
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）
现有的图像描述系统专用于生成图像的叙事字幕，其在呈现中与图像空间分离。但是，文字也可以作为图像上的装饰，突出重点，增加图像的吸引力。在这项工作中，我们引入了一个新的任务，称为图像上的字幕（CapOnImage），其目的是根据上下文信息在图像的不同位置生成密集的字幕。为了充分利用周围的视觉上下文来为每个位置生成最合适的字幕，我们提出了一个多模态预训练模型，该模型具有多层次的预训练任务，从容易到困难逐步学习文本和图像位置之间的对应关系。由于该模型可能会为附近的位置生成冗余的字幕，我们进一步增强了与相邻位置作为上下文的位置嵌入。对于这个新任务，我们还引入了一个名为CapOnImage2M的大规模基准测试，其中包含210万个产品图像，每个图像平均具有4.8个空间本地化标题。与其他图像描述模型变体相比，我们的模型在字幕准确性和多样性方面都取得了最好的结果。我们将公开代码和数据集，以方便未来的研究。
2022-04-27 cs.CV
Dense-Captioning Events in Videos
Stanford University（斯坦福大学）
大多数自然视频包含许多事件。例如，在一个“一个人在弹钢琴”的视频中，该视频还可能包含“另一个人在跳舞”或“一群人在鼓掌”。我们介绍了密集字幕事件的任务，这涉及到检测和描述视频中的事件。我们提出了一个新的模型，能够识别所有事件在一个单一的视频通过，同时描述检测到的事件与自然语言。我们的模型引入了一个现有提案模块的变体，该模块旨在捕获跨越几分钟的短事件和长事件。为了捕获视频中事件之间的依赖关系，我们的模型引入了一个新的字幕模块，该模块使用来自过去和未来事件的上下文信息来共同描述所有事件。我们还介绍了ActivityNet Captions，这是密集字幕事件的大规模基准。ActivityNet Captions包含20k个视频，总计849个视频小时，100k个描述，每个描述都有其独特的开始和结束时间。最后，我们报告我们的模型的密集字幕事件，视频检索和定位的性能。
2017-05-02 cs.CV
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
图像描述最近得到了很多关注，这要归功于深度字幕架构所取得的令人印象深刻的成就，深度字幕架构结合了卷积神经网络来提取图像表示，并结合了递归神经网络来生成相应的字幕。与此同时，一个重要的研究工作一直致力于显着性预测模型的发展，它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构，研究仍然在努力将这两种技术结合起来。在这项工作中，我们提出了一个图像描述的方法，其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题，通过利用由显着性预测模型上的图像的部分是显着的，哪些是上下文的条件。我们表明，通过对大规模数据集进行广泛的定量和定性实验，我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Detecting and Understanding Hateful Contents in Memes Through Captioning and Visual Question-Answering
The University of Sydney, School of Computer Science（悉尼大学计算机科学学院）；University of Technology Sydney, School of Computer Science（新南威尔士大学技术学院）；University of Technology Sydney, TD School（新南威尔士大学TD学院）；Australian Catholic University, Peter Faber Business School（澳大利亚天主教大学彼得·法伯商学院）
提出一种整合OCR、字幕生成、子标签分类、RAG和VQA的多模态框架，用于检测模因中的仇恨内容，在Facebook数据集上超越现有模型。
2025-04-23 cs.AI cs.CV
CIAN: Multi-Stage Framework for Event-Enriched Image Captioning via Retrieval-Augmented Generation
University of Science, Ho Chi Minh City（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）
提出多阶段框架CIAN，通过检索相关文章并利用LoRA微调Qwen模型生成叙事，结合N-Gram精炼，在OpenEvents-V1上提升CIDEr从0.030到0.094，实现事件丰富的图像描述。
2026-06-17 cs.CV
Streamlined Dense Video Captioning
POSTECH（浦项科技大学）；Seoul National University（首尔大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Wormpex AI Research（Wormpex人工智能研究院）；Amazon Go
密集的视频描述是一项极具挑战性的任务，因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案，然后在提案的子集上加字幕来处理这个问题。因此，生成的句子往往是冗余的或不一致的，因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战，我们提出了一种新的密集视频描述框架，该框架明确地对视频中事件的时间依赖性进行建模，并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的：1）集成事件序列生成网络以自适应地选择事件提议序列，以及2）将事件提议序列馈送到我们的顺序视频描述网络，该网络通过强化学习进行训练，在事件和情节级别上具有两级奖励，以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
ParaCNN: Visual Paragraph Generation via Adversarial Twin Contextual CNNs
Queen’s University Belfast（贝尔法斯特女王大学）
图像描述生成在图像检索、自动导航、残疾人辅助等实际应用中起着重要的作用。图像描述生成的成熟任务是图像描述，其通常生成简短的字幕语句，因此忽略了许多细粒度的属性，例如，微妙物体的信息及其关系。本文研究了视觉段落生成技术，它可以用一个包含丰富细节的长段落来描述图像。以往的研究往往通过一个层次化的递归神经网络（RNN）模型来生成段落，该模型具有复杂的记忆、遗忘和耦合机制。相反，我们提出了一种新的纯CNN模型，Para CNN，使用分层CNN架构与一个段落内的句子之间的上下文信息来生成视觉段落。ParaCNN可以生成任意长度的段落，这在许多现实世界的应用中更适用。此外，为了使ParaCNN能够全面地对段落进行建模，我们还提出了一种对抗性的双网训练方案。在训练过程中，我们通过对抗训练迫使前向网络的隐藏特征接近后向网络。在测试过程中，我们只使用前向网络来生成一个段落，前向网络已经包含了后向网络的知识。我们在Stanford Visual Paragraph数据集上进行了广泛的实验，并实现了最先进的性能。
2020-04-21 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.（日立制作所）
自动描述视频，或称视频描述，在多媒体领域得到了广泛的研究。本文提出了一种新的任务，传感器增强自我中心的视频描述，一个新构建的数据集，它称为MMAC字幕，和新提出的任务，有效地利用多模态数据的视频和运动传感器，或惯性测量单元（IMU）的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述，但自我中心视觉具有更大的潜力，可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外，我们利用可穿戴传感器数据作为辅助信息，以减轻自我中心视觉的固有问题：运动模糊，自遮挡和相机范围外的活动。我们提出了一种方法，有效地利用传感器数据与视频数据的基础上的注意力机制，动态地确定模态，需要更多的关注，考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较，发现使用传感器数据作为自我中心视频数据的补充信息是有益的，并且我们提出的方法优于强基线，证明了所提出的方法的有效性。
2021-09-07 cs.CV
ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校计算机科学与工程系）
研究针对视频字幕质量提升问题，提出突出感知的迭代事后校正框架。通过轻量级评分机制排序对象，经提示驱动细化循环多轮注入相关对象。在多数据集验证，相比基线提升完整性、减少幻觉，提供了轻量级且模型无关的视频字幕优化途径。
2026-07-24 cs.CV
Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning
本文提出STaRC框架，通过显著性检测模块监督帧级显著性，以提升密集视频描述中时间分割的准确性，实现更精确的检索和上下文相关的描述生成。
2026-03-13 cs.CV
GLaVE-Cap: Global-Local Aligned Video Captioning with Vision Expert Integration
Harbin Institute of Technology（哈尔滨理工大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对视频描述局部到全局范式细节不足且上下文不一致的问题，提出全局-局部对齐框架GLaVE-Cap，通过TrackFusion和CaptionBridge模块结合视觉专家生成连贯细粒度描述，并构建了GLaVE-Bench基准与GLaVE-1.2M数据集，在四个基准上达到SOTA。
2025-09-14 cs.CV
Women also Snowboard: Overcoming Bias in Captioning Models (Extended Abstract)
UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
已知大多数机器学习方法捕获和利用训练数据的偏差。虽然有些偏见对学习有益，但其他偏见是有害的。具体地，图像描述模型倾向于夸大存在于训练数据中的偏差。由于过度依赖于学习的先验和图像上下文，这可能导致在期望或需要无偏字幕的领域中出现不正确的字幕。我们调查生成的性别特定的字幕词（例如，男人，女人）的基础上的人的外观或图像上下文。我们引入了一个新的模型，确保平等的性别概率时，性别证据被遮挡的场景和自信的预测时，性别证据存在。由此产生的模型被迫看一个人，而不是使用上下文线索来做出性别特定的预测。组成我们模型的损失，外观混淆损失和置信损失是通用的，可以添加到任何描述模型中，以减轻描述数据集中不必要的偏差的影响。我们提出的模型在与人描述图像并提及其性别时的错误率低于先前的工作，并且更接近包含女性的句子与包含男性的句子的地面真值比率。
2018-07-02 cs.CV
iPerceive: Applying Common-Sense Reasoning to Multi-Modal Dense Video Captioning and Video Question Answering
Stanford University（斯坦福大学）；University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）
视觉理解中的大多数现有技术仅仅依赖于分析“什么”（例如，事件识别）和“在哪里”（例如，事件定位），这在某些情况下不能描述事件之间的正确上下文关系或导致不正确的潜在视觉注意。将我们定义为人类和与机器根本不同的部分原因是我们本能地在任何关联背后寻找因果关系，例如事件Y是事件X的直接结果。为此，我们提出iPerceive，一个框架，能够理解的“为什么”之间的事件在视频中建立一个常识性的知识库，使用上下文线索来推断视频中的对象之间的因果关系。我们证明了我们的技术使用密集的视频描述（DVC）和视频问答（VideoQA）任务的有效性。此外，虽然DVC和VideoQA中的大多数先前工作仅依赖于视觉信息，但其他形式（例如音频和语音）对于人类观察者对环境的感知至关重要。我们将DVC和VideoQA任务表述为利用多模态的机器翻译问题。通过分别在ActivityNet字幕和TVQA数据集上评估iPerceive DVC和iPerceive VideoQA的性能，我们表明我们的方法进一步发展了最先进的技术。代码和示例可在：ipeceive.amanchadha.com上获得。
2020-11-16 cs.AI cs.CV cs.LG
