PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所，巴黎高等师范学院，法国国家科学研究中心，巴黎文理研究大学）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（捷克信息学、机器人与控制论研究所，布拉格捷克理工大学）
针对视觉-语言模型在图像描述中缺乏像素级接地的问题，提出全景接地描述任务，构建PanoCaps基准并设计PANORAMA模型，通过从短语条件掩码提议中选择实现高质量接地，达到最优性能。
2026-09-17 cs.CL cs.CV
Context and Attribute Grounded Dense Captioning
University of Science and Technology of China（中国科学技术大学）；College of Software, Beihang University（北京航空航天大学软件学院）；SenseTime Research（商汤科技研究院）；The Chinese Academy of Sciences（中国科学院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；The Chinese University of Hong Kong（香港中文大学）；Key Laboratory of Electromagnetic Space Information（电磁空间信息重点实验室）
密集字幕旨在同时定位语义区域并使用自然语言中的短语或句子描述这些感兴趣区域（ROI）。以前的研究已经取得了显着的进展，但他们往往容易受到光圈问题，一个ROI内的功能生成的字幕缺乏上下文的连贯性与其周围的背景下，在输入图像。在这项工作中，我们研究的上下文推理的基础上，从邻近的内容到目标ROI的多尺度消息传播。为此，我们设计了一个新的端到端的上下文和属性接地密集字幕框架，包括1）上下文视觉挖掘模块和2）多层次属性接地描述生成模块。知道字幕经常与语言属性（如谁，什么和在哪里）共同出现，我们还将从分层语言属性的辅助监督，以增强学习字幕的独特性。在Visual Genome数据集上进行的大量实验和消融研究表明，与最先进的方法相比，所提出的模型具有优越性。
2019-04-02 cs.CV
Neural Baby Talk
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们介绍了一种新的框架图像描述，可以产生明确接地的实体，对象检测器在图像中找到的自然语言。我们的方法调和了经典的槽填充方法（通常更好地基于图像）与现代神经字幕方法（通常更自然，更准确）。我们的方法首先生成一个句子“模板”与插槽位置明确绑定到特定的图像区域。然后，这些槽由对象检测器在区域中识别的视觉概念填充。整个架构（句子模板生成和对象检测器填充）是端到端可区分的。我们验证了我们提出的模型在不同的图像描述任务的有效性。在标准的图像描述和新颖的对象字幕，我们的模型达到了最先进的COCO和Flickr 30 k数据集。我们还表明，我们的模型具有独特的优势时，场景组成的训练和测试分布-因此相关的字幕语言先验-是不同的。代码已在https://github.com/jiasenlu/NeuralBabyTalk上提供
2018-03-27 cs.CL cs.CV
Learning Visually Grounded Sentence Representations
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
我们引入了各种模型，在有监督的图像描述语料库上训练，以预测给定标题的图像特征，以执行句子表示接地。我们训练一个接地的句子编码器，实现了良好的性能COCO字幕和图像检索，随后表明，这种编码器可以成功地转移到各种NLP任务，与纯文本模型的性能提高。最后，我们分析了接地的贡献，并表明该系统学习的词嵌入优于非接地的。
2018-06-04 cs.CL cs.CV
Neighborhood Contrastive Transformer for Change Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
变化字幕是用自然语言描述一对相似图像之间的语义变化。它比一般的图像描述更具挑战性，因为它需要捕获细粒度的变化信息，同时不受无关视点变化的影响，并解决变化描述中的语法歧义。本文提出了一种邻域对比变换器Transformer，以提高模型对不同场景下各种变化的感知能力和对复杂句法结构的认知能力。具体地说，我们首先设计了一个邻近特征聚合，将邻近上下文集成到每个特征中，这有助于在显著参照物的指导下快速定位不显著的变化。然后，我们设计了一个共同特征提取方法，在邻域水平上对两幅图像进行比较，从每幅图像中提取共同的属性，从而学习它们之间有效的对比信息。最后，我们引入单词之间的显式依赖来校准Transformer解码器，这有助于在训练期间更好地理解复杂的语法结构。大量的实验结果表明，所提出的方法实现了国家的最先进的性能在三个公共数据集与不同的变化场景。该代码可在https://github.com/tuyunbin/NCT上获得。
2023-03-06 cs.CL cs.CV cs.MM
Focus! Relevant and Sufficient Context Selection for News Image Captioning
University of California, Davis（加州大学戴维斯分校）；University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
新闻图像描述需要通过利用新闻文章中的附加上下文来描述图像。以前的工作只是粗略地利用文章来提取必要的上下文，这使得模型识别相关事件和命名实体变得具有挑战性。在我们的论文中，我们首先证明，通过结合更细粒度的上下文，捕获关键的命名实体（通过Oracle获得）和全局上下文，总结新闻，我们可以显着提高模型的能力，以生成准确的新闻标题。这就引出了一个问题，如何从图像中自动提取这些关键实体？我们建议使用预先训练的视觉和语言检索模型CLIP本地化的新闻文章中的视觉接地的实体，然后通过一个开放的关系抽取模型捕获非视觉实体。我们的实验表明，通过简单地从文章中选择一个更好的上下文，我们可以显着提高现有模型的性能，并在多个基准测试中实现新的最先进的性能。
2022-12-01 cs.CL cs.CV
Learning to Generate Grounded Visual Captions without Localization Supervision
Georgia Tech（佐治亚理工学院）；NAVER LABS Europe（NAVER LABS 欧洲）；Facebook
当自动生成图像或视频的句子描述时，通常仍然不清楚所生成的字幕的基础如何，即模型是否使用正确的图像区域来输出特定的单词，或者模型是否基于数据集和/或语言模型中的先验而产生幻觉。将图像区域与字幕模型中的单词相关联的最常见的方式是通过对用作输入以预测下一个单词的区域的注意力机制。因此，模型必须学会在不知道它应该定位的单词的情况下预测注意力权重。这在没有基础监督的情况下难以进行训练，因为递归模型可以传播过去的信息，并且没有明确的信号来迫使字幕模型适当地使各个解码的单词基础。在这项工作中，我们通过一种新的循环训练方案帮助模型实现这一目标，该方案迫使模型在句子解码器生成图像后定位图像中的每个单词，然后从定位的图像区域重建句子以匹配地面实况。我们提出的框架只需要学习一个额外的全连接层（定位器），一个可以在测试时删除的层。我们表明，我们的模型显着提高接地精度，而不依赖接地监督或引入额外的计算过程中的推理，图像和视频描述任务。代码可在https://github.com/chihyaoma/cyclical-visual-captioning上获得。
2020-07-17 cs.CL cs.CV cs.LG
HL Dataset: Visually-grounded Description of Scenes, Actions and Rationales
University of Malta（马耳他大学）；Universiteit Utrecht（乌得勒支大学）
本文提出HL Dataset，扩展COCO图像并标注场景、动作和理由三类高层次描述，同时提供置信度分数和合成叙事描述，并给出高层次图像描述任务的基线结果。
2023-09-25 cs.CL cs.CV
StyleBabel: Artistic Style Tagging and Captioning
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）；University of Northumbria（诺森比亚大学）；University of Edinburgh（爱丁堡大学）
我们提出了StyleBabel，一个独特的开放获取数据集的自然语言标题和自由形式的标签，描述了超过135 K的数字艺术作品的艺术风格，通过一种新颖的参与式方法从专业艺术和设计学校的专家那里收集。StyleBabel是通过一种迭代法收集的，其灵感来自“扎根理论”：一种定性方法，在共同进化一种用于细粒度艺术风格属性描述的共享语言的同时实现注释。我们展示了StyleBabel的几个下游任务，适应最近的ALADIN架构，用于细粒度的风格相似性，以训练跨模态嵌入：1）自由形式的标签生成; 2）艺术风格的自然语言描述; 3）风格的细粒度文本搜索。要做到这一点，我们扩展ALADIN与视觉Transformer（ViT）和跨模态表示学习的最新进展，实现了最先进的精度在细粒度的风格检索。
2022-03-11 cs.CL cs.CV
From Image Captioning to Visual Storytelling
TUDelft（代尔夫特理工大学）
本研究将视觉叙事视为图像描述的超集，先通过视觉到语言模型生成图像描述，再以语言到语言方法转化为连贯叙事，缩短训练时间且易复用，还提出ideality指标模拟与基准模型的差距及类人性。
2025-07-31 cs.CL cs.CV
Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment
Chung-Ang University（中央大学）
本研究针对医学图像描述生成的临床可信性问题，提出分离训练与推理对齐的框架，结合多编码器、辅助学习及MedPAIR-SCST方法，通过选择与强化学习对齐提升临床一致性，在数据受限场景下改善医学图像描述的可信度。
2026-08-21 cs.CL cs.CV
Prophet Attention: Predicting Attention with Future Attention for Image Captioning
Peking University（北京大学）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
本文提出先知注意力模块，利用未来信息计算理想注意力权重以正则化解码中的焦点偏移问题，可嵌入现有图像描述模型，并在Flickr30k Entities和MSCOCO上取得最优性能。
2023-04-11 cs.CL cs.CV
Spatio-Temporal Graph for Video Captioning with Knowledge Distillation
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
视频描述是一项具有挑战性的任务，需要对视觉场景有深入的理解。最先进的方法使用场景级或对象级信息生成字幕，但不显式地对对象交互进行建模。因此，他们往往无法做出直观的预测，并且对虚假的相关性很敏感。在本文中，我们提出了一种新的时空图模型的视频描述，利用对象在空间和时间的相互作用。我们的模型建立可解释的链接，并能够提供明确的视觉基础。为了避免由于对象数量的变化而导致的性能不稳定，本文进一步提出了一种对象感知的知识蒸馏机制，利用局部对象信息对全局场景特征进行规则化。我们证明了我们的方法的有效性，通过广泛的实验在两个基准，显示我们的方法产生竞争力的性能与可解释的预测。
2020-03-31 cs.CV
Comprehending and Ordering Semantics for Image Captioning
JD Explore Academy（京东探索研究院）
理解图像中丰富的语义并将其按语言顺序排列是构成图像描述的视觉基础和语言连贯描述的必要条件。现代技术通常利用预先训练的对象检测器/分类器来挖掘图像中的语义，同时使语义的固有语言顺序未得到充分利用。在本文中，我们提出了一个新的配方的变压器式的结构，即理解和排序语义网络（COS-Net），新颖地统一到一个单一的架构，丰富的语义理解和可学习的语义排序过程。在技术上，我们首先利用一个跨模态检索模型来搜索每幅图像的相关句子，并将搜索到的句子中的所有单词作为主要的语义线索。其次，设计了一种新的语义理解器，过滤掉主要语义线索中不相关的语义词，同时基于图像视觉推理缺失的相关语义词。之后，我们将所有筛选和丰富的语义词输入到语义排名器中，该排名器学习按照人类的语言顺序分配所有语义词。这种有序语义词的序列进一步与图像的视觉标记集成以触发句子生成。经验证据表明，COS-Net明显超过了COCO的最新方法，并在Karpathy测试分裂中获得了迄今为止最好的CIDER分数141.1%。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}获得。
2022-06-14 cs.AI cs.CL cs.CV
Grounded Video Caption Generation
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克理工大学捷克信息学、机器人学与控制论研究所）；Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL大学）
本文提出了grounded video caption generation新任务，构建了GROC测试集和HowToGround训练集，并开发了VideoGround模型，通过统一视频字幕生成与目标定位，在时间一致的边界框基础上实现了该任务的最新技术水平。
2024-11-12 cs.CV
Distinctive Image Captioning: Leveraging Ground Truth Captions in CLIP Guided Reinforcement Learning
IRISA（IRISA研究所）；IMATAG（IMATAG机构）；CNRS（法国国家科学研究中心）
本文提出在CLIP引导的强化学习图像描述训练中利用真实标注描述，通过MLP判别器正则化、加权教师强制损失和对比奖励基线三种方式，在MS-COCO上生成更独特且流畅的图像描述。
2024-02-21 cs.CL cs.CV
CIC-BART-SSA: Controllable Image Captioning with Structured Semantic Augmentation
Rutgers University（罗格斯大学）；Samsung AI Centre - Toronto（三星人工智能中心（多伦多））；Solventum（索尔文腾公司）
提出CIC-BART-SSA模型，利用AMR结构化语义增强扩充数据集，生成多样且可控的图像描述，在多样性和文本质量上优于现有方法，并有效应对高度聚焦场景。
2024-07-17 cs.AI cs.CL cs.CV
Learning Visually-Grounded Semantics from Contrastive Adversarial Samples
Megvii Inc.（旷视科技）
我们研究的问题接地分布表示的文本的视觉域，即视觉语义嵌入（简称VSE）。从对VSE嵌入的有见地的对抗攻击开始，我们展示了当前框架和图像-文本数据集的局限性（例如，MS-COCO）。现实世界语义可能构成的数量与并行数据规模之间的巨大差距，在很大程度上限制了模型建立文本语义与视觉概念之间的联系。我们通过用文本对比对抗样本增强MS-COCO图像描述数据集来缓解这个问题。这些样本是使用语言规则和WordNet知识库合成的。构造过程是语法和语义感知的。这些样本强制模型将学习到的嵌入嵌入到图像中的具体概念中。除了防御已知类型的对抗攻击之外，这种简单但强大的技术还在各种下游任务的基线上带来了显著的改进。我们在https://github.com/ExplorerFreda/VSE-C上发布代码。
2018-06-27 cs.CL cs.CV
Aligning Visual Regions and Textual Concepts for Semantic-Grounded Image Representations
Peking University（北京大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；JD AI Research（京东人工智能研究院）
在视觉和语言基础问题中，图像的细粒度表示被认为是至关重要的。目前的大多数系统都将视觉特征和文本概念作为图像的草图。然而，显然推断的表示通常是不可取的，因为它们是由单独的组成部分，其中的关系是难以捉摸的。在这项工作中，我们的目标是表示一组综合的视觉区域和相应的文本概念的图像，反映一定的语义。为此，我们建立了相互迭代注意（MIA）模块，它集成了相关的视觉特征和文本概念，分别对齐这两种方式。我们评估了两个代表性的视觉和语言基础任务，即，图像描述和可视问答。在这两个任务中，基于语义的图像表示在所有指标下都能持续提高基线模型的性能。结果表明，我们的方法是有效的，以及推广到广泛的模型，图像相关的应用。(The代码可在https：//github.com/fenglinliu98/MIA获得）
2019-11-04 cs.CL cs.CV
iParaphrasing: Extracting Visually Grounded Paraphrases via an Image
Institute for Datability Science, Osaka University（大阪大学数据能力科学研究所）；CyberAgent, Inc.（CyberAgent公司）
释义是用其他词语重述课文的意思。人们已经研究了释义以增强许多自然语言处理任务的性能。在本文中，我们提出了一个新的任务iParaphrasing提取视觉接地释义（VGP），这是不同的短语表达描述同一个视觉概念的图像。这些提取的VGP具有改善语言和图像多模态任务的潜力，例如视觉问答和图像描述。如何对VGP之间的相似性进行建模是iParaphrasing的关键。我们采用各种现有的方法，以及提出了一种新的神经网络为基础的方法与图像的注意，并报告的结果，第一次尝试对iParaphrasing。
2018-06-12 cs.AI cs.CL cs.CV
VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）；Chinese Academy of Sciences（中国科学院）；Kuaishou Technology（快手科技）
提出VCap，一种证人-裁判奖励机制，通过超几何分布级别的精度验证视觉信号中参考字幕与策略生成字幕之间的事实一致性，实现弱到强泛化，在多个图像和视频字幕基准上超越SOTA模型。
2026-05-27 cs.AI cs.CL cs.CV
Dense Motion Captioning
University of Trento（特伦托大学）；LIGM, Ecole des Ponts, IP Paris, Univ Gustave Eiffel, CNRS（LIGM，巴黎国立理工学院，IP巴黎， Gustave Eiffel 大学，CNRS）
本文提出密集运动描述生成任务，构建首个大规模复杂运动数据集CompMo，并设计结合大语言模型与运动适配器的DEMO模型，显著提升了3D动作时间定位与描述生成性能。
2025-11-07 cs.CV
Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation
NASK National Research Institute（NASK国家研究院）
针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。
2026-08-11 cs.CL cs.CV
Context-aware Difference Distilling for Multi-change Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；Lishui Institute of Hangzhou Dianzi University（杭州电子科技大学丽水研究院）；University of Science and Technology of China（中国科学技术大学）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出上下文感知差异蒸馏网络CARD，通过解耦公共与差异上下文特征并蒸馏局部差异，实现对图像对中所有变化的全面建模，在多变化图像描述任务上取得领先性能。
2024-06-07 cs.CV
Large-scale representation learning from visually grounded untranscribed speech
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
能够将图像与语音字幕相关联的系统是实现视觉化语言学习的重要一步。我们描述了一种可扩展的方法来自动生成不同的音频图像描述数据集。这支持预训练深度网络来编码音频和图像，我们通过一个双编码器来学习对齐来自两种模态的潜在表示。我们表明，这种模型的掩蔽利润softmax损失优于标准的三重损失。我们在Flickr 8 k音频字幕语料库上对这些模型进行了微调，并获得了最先进的结果-将前10名的召回率从29.6%提高到49.5%。我们还获得了人类对检索输出的评级，以更好地评估偶然匹配的图像-标题对的影响，这些图像-标题对在数据中不相关，发现自动评估大大低估了检索结果的质量。
2019-09-19 cs.CL cs.CV cs.SD
Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing
University of Technology, Sydney（悉尼大学）
提出Custom ZeroCLIP框架，利用检索增强的视觉-语言模型，在零样本设置下为印度尼西亚传统服装生成描述，在8个未见省份上取得优于基线的性能。
2026-06-12 cs.CV
Human-like Controllable Image Captioning with Verb-specific Semantic Roles
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯AI实验室）；Columbia University（哥伦比亚大学）；Tencent Data Platform（腾讯数据平台）
可控图像描述（CIC）--根据指定的控制信号生成图像描述--在过去几年中受到了前所未有的关注。为了模仿人类控制字幕生成的能力，目前的CIC研究只关注与客观属性有关的控制信号，例如感兴趣的内容或描述模式。然而，我们认为，几乎所有现有的客观控制信号都忽略了理想控制信号的两个不可或缺的特征：1）事件兼容性：单个句子中所指的所有视觉内容都应该与所描述的活动兼容。2)样品适用：控制信号应适用于特定的图像样品。为此，我们提出了一个新的控制信号CIC：动词特定的语义角色（VSR）。VSR由一个动词和一些语义角色组成，它表示一个目标活动和参与该活动的实体的角色。给定一个指定的VSR，我们首先训练一个接地的语义角色标注（GSRL）模型，以识别和接地每个角色的所有实体。然后，我们提出了一个语义结构规划器（SSP）学习人类一样的描述性语义结构。最后，我们使用角色转换字幕模型来产生字幕。大量的实验和消融表明，我们的框架可以实现更好的可控性比几个强大的基线上两个具有挑战性的CIC基准。此外，我们可以生成多层次的多样化的字幕很容易。该代码可从以下网址获取：https://github.com/mad-red/VSR-guided-CIC。
2021-03-22 cs.AI cs.CL cs.CV
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性，而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此，我们开发了一种名为“vokenization”的技术，通过将语言标记映射到其相关图像（我们称之为“vokens”），将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的，然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练，我们的视觉监督语言模型在多个纯语言任务（如GLUE，SQuAD和SWAG）上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Towards Generating Stylized Image Captions via Adversarial Training
Macquarie University（麦考瑞大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
虽然大多数图像描述旨在生成图像的客观描述，但是最近几年已经看到了关于生成具有特定风格（例如，包含积极或消极情绪）。然而，由于风格组件通常是训练的最后一部分，因此当前模型通常以牺牲准确的内容描述为代价来关注风格。此外，在文体方面缺乏可变性。为了解决这些问题，我们提出了一个图像描述模型，称为ATTEND-GAN，它有两个核心组件：第一，基于注意力的字幕生成器，将图像的不同部分与字幕的不同部分强烈相关;第二，对抗性训练机制，以帮助字幕生成器向生成的字幕添加不同的风格组件。由于这些组件，ATTEND-GAN可以生成相关的标题以及更人性化的风格模式变化。我们的系统优于最先进的系统以及我们的基线模型的集合。生成的字幕的语言分析表明，使用ATTEND-GAN生成的字幕有更广泛的风格形容词和形容词-名词对。
2019-08-08 cs.CL cs.CV
GRILL: Grounded Vision-language Pre-training via Aligning Text and Image Regions
University of Southern California（南加利福尼亚大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
本文提出GRILL模型，通过对象-文本对齐学习对象定位，使视觉-语言模型能在零样本或少样本设置下泛化到视觉问答、图像描述和定位等多种任务，并超越现有少样本方法。
2023-05-24 cs.CL
Caption Generation for Dongba Paintings via Prompt Learning and Semantic Fusion
Sichuan Agricultural University（四川农业大学）
本文提出PVGF-DPC框架，结合内容提示模块和新颖的视觉语义生成融合损失，解决东巴绘画自动描述问题，生成符合文化特色的描述。
2026-03-24 cs.CV
ViCaS: A Dataset for Combining Holistic and Pixel-level Video Understanding using Captions with Grounded Segmentation
ByteDance Inc.（字节跳动公司）
本文提出ViCaS数据集及基准，通过提供带有详细字幕和像素级定位分割掩码的视频，统一了视频整体理解与像素级分割任务，并提出能有效同时处理这两项任务的模型架构。
2025-04-03 cs.CV
DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention
Peking University（北京大学）；Tencent（腾讯）
视觉和语言（V-L）任务要求系统理解视觉内容和自然语言，从而学习视觉和语言的细粒度联合表示（也称为“视觉和语言”）。V-L表示）是至关重要的。最近，各种预训练的V-L模型被提出来学习V-L表示，并在许多任务中取得了改进的结果。然而，主流模型处理视觉和语言输入具有相同的一组注意力矩阵。结果，生成的V-L表示纠缠在一个共同的潜在空间。为了解决这个问题，我们提出了DiMBERT（Disentangled Multimodal-Attention BERT的缩写），这是一个新的框架，它将视觉和语言的注意力空间分开，从而可以明确地解开多模态的表示。为了增强视觉和语言之间的关联，在解开空间，我们引入了视觉概念，以文本格式表示视觉信息的DiMBERT。通过这种方式，视觉概念有助于弥合这两种模式之间的差距。我们在两个任务上对大量的图像-句子对预训练DiMBERT：双向语言建模和序列到序列语言建模。预训练后，DiMBERT将进一步针对下游任务进行微调。实验表明，DiMBERT设置新的国家的最先进的性能在三个任务（超过四个数据集），包括生成任务（图像描述和视觉讲故事）和分类任务（参考表达式）。提出的DiM（Disentangled Multimodal-Attention的缩写）模块可以很容易地集成到现有的预训练V-L模型中，以提高它们的性能，在代表性任务上提高高达5%。最后，我们进行了系统的分析，并…
2022-10-28 cs.CL cs.CV
GeoMeld: Toward Semantically Grounded Foundation Models for Remote Sensing
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Space Applications Centre, ISRO（印度空间研究组织空间应用中心）；University of Trento（特伦托大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出GeoMeld数据集，通过语义引导的监督方法，结合多模态对齐，提升遥感领域基模模型的性能和鲁棒性。
2026-04-12 cs.AI cs.CV
Grounded Objects and Interactions for Video Captioning
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories America（NEC美国实验室）；Georgia Tech Research Institute（佐治亚理工研究院）
我们解决的问题，视频描述接地语言生成的对象在视频中的相互作用。现有的工作主要集中在整体场景理解，往往有限或没有强调对象的相互作用，以解决视频理解的问题。在本文中，我们提出了SINet-Caption，它可以学习生成基于任意对象组之间的高阶交互的字幕，以实现细粒度的视频理解。我们讨论了这种方法的挑战和好处。我们使用我们的模型，基于这种方法的SINet-Caption，进一步展示了ActivityNet Captions数据集的最新结果。
2017-11-16 cs.CV
JL1-CC&QA: Extending the JL1-CD Benchmark with Change Captioning and Question Answering
Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科学与技术国家研究中心）；Chang Guang Satellite Technology Co., Ltd. (CGSTL)（长光卫星技术股份有限公司）；College of Communications Engineering, Army Engineering University of PLA（中国人民解放军陆军工程大学通信工程学院）
提出JL1-CC&QA多任务基准，通过变化描述和问答扩展JL1-CD，利用吉林一号卫星图像和三级标注流程，推动遥感变化理解。
2026-07-01 cs.AI cs.CV
Spatio-Temporal Attention Models for Grounded Video Captioning
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
由于动态真实场景中复杂的交互作用，自动视频描述具有挑战性。一个全面的系统最终将定位和跟踪视频中存在的对象、动作和交互，并生成依赖于时间定位的描述，以便为视觉概念奠定基础。然而，大多数现有的自动视频描述系统从原始视频数据映射到高级文本描述，绕过了定位和识别，从而丢弃了用于内容定位和概括的潜在有价值的信息。在这项工作中，我们提出了一种自动视频描述模型，该模型通过基于长短期记忆的深度神经网络结构将时空注意力和图像分类结合起来。由此产生的系统被证明在标准的YouTube字幕基准产生最先进的结果，同时还提供本地化的视觉概念（主题，动词，对象）的优势，没有接地监督，在空间和时间。
2016-10-18 cs.CV
Learning Human-Human Interactions in Images from Weak Textual Supervision
Tel Aviv University（特拉维夫大学）
本文提出利用大型语言模型生成合成字幕并通过知识蒸馏获得伪标签，从单张静态图像中以自由文本形式学习开放的人与人交互，在多个忠实度指标上超越现有图像字幕与情境识别模型。
2023-09-18 cs.CL cs.CV cs.LG
URECA: Unique Region Caption Anything
Korea University（高丽大学）；Yonsei University（延世大学）；KAIST AI（韩国科学技术院人工智能）
本文提出URECA数据集与同名模型，通过分阶段数据整理流程和动态掩码建模、高分辨率掩码编码器，解决多粒度区域描述的唯一性问题，并在多个基准上取得最优性能。
2025-04-07 cs.AI cs.CV
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Large-scale Pre-training for Grounded Video Caption Generation
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（捷克信息技术、机器人与自动化研究所（捷克技术大学））；Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所、法国高等师范学校、法国国家科学研究中心、巴黎-萨克勒大学）
提出大规模预训练方法，构建HowToGround1M数据集和GROVE模型，实现视频字幕生成与对象接地，在多个数据集上达到最先进性能。
2025-09-09 cs.CV
Spot-the-shift: Evaluating Grounded Image Difference Captioning of Long-term Changes
University of Trento（特伦托大学）；Sorbonne Université（索邦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出SPOT-THE-SHIFT基准和评估协议，用于衡量多模态大模型在真实驾驶场景中检测和描述长期结构变化的能力，并开发合成数据流水线提升模型性能。
2026-09-10 cs.CV
Top-Down Framework for Weakly-supervised Grounded Image Captioning
School of Electrical and Electronic Engineering, Nanyang Technology University（南洋理工大学电气与电子工程学院）；Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电气与电子工程系）
针对两阶段WSGIC依赖独立候选框、忽视物体关系的问题，提出单阶段自上而下框架，通过RGM、VLAMs和关系语义模块实现描述生成与定位，并在两个数据集上达到SOTA定位性能。
2024-03-02 cs.CV
Many Dialects, Many Languages, One Cultural Lens: Evaluating Multilingual VLMs for Bengali Culture Understanding Across Historically Linked Languages and Regional Dialects
United International University（国际联合大学）；BRAC University（布拉塔克大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
提出 BanglaVerse 基准，通过手工标注图像和扩展至多种语言及方言，评估多语言视觉语言模型在孟加拉文化理解中的表现，发现标准孟加拉语评估高估模型能力，方言变化导致性能下降，文化知识缺失是主要瓶颈。
2026-08-28 cs.CL cs.CV
RefCaptioner: Multi-Reference Image-Grounded Video Captioning
本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。
2026-07-31 cs.CV
UniTAB: Unifying Text and Box Outputs for Grounded Vision-Language Modeling
Microsoft Cloud and AI（微软云与人工智能部门）
我们提出了统一文本和框输出接地视觉语言（VL）建模的UniTAB。接地VL任务（如接地字幕）需要模型生成文本描述并将预测的单词与对象区域对齐。为了实现这一点，模型必须一起生成所需的文本和框输出，同时指示单词和框之间的对齐。与现有的使用多个单独模块进行不同输出的解决方案相比，UniTAB用共享的标记序列表示文本和框输出，并引入了一个特殊的<obj>标记来自然地指示序列中的单词框对齐。因此，UniTAB可以提供一个更全面和可解释的图像描述，通过自由接地生成的单词对象区域。在接地字幕方面，UniTAB提供了一个简单的解决方案，只有一个输出头，并且在接地和字幕评估方面都明显优于现有技术。在具有不同期望输出格式的一般VL任务上（即，文本、框或它们的组合），具有单个网络的UniTAB实现了比任务特定的最新技术水平更好或相当的性能。实验涵盖7个VL基准，包括接地字幕、视觉接地、图像描述和视觉问答。此外，UniTAB的统一多任务网络和任务无关的输出序列设计使模型参数有效，并可推广到新的任务。
2022-07-27 cs.CV
GSRFormer: Grounded Situation Recognition Transformer with Alternate Semantic Attention Refinement
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
接地情况识别（GSR）的目的是生成结构化的语义摘要的图像“类人”的事件理解。具体地说，GSR任务不仅检测显著活动动词（如购买），而且预测所有相应的语义角色（如代理和商品）。受目标检测和图像描述任务的启发，现有方法通常采用两阶段框架：1）检测活动动词，然后2）基于检测到的动词预测语义角色。显然，这种不合逻辑的框架构成了语义理解的巨大障碍。首先，仅预先检测没有语义角色的动词不可避免地无法区分许多相似的日常活动（例如，提供和给予，购买和销售）。其次，以封闭的自回归方式预测语义角色很难利用动词和角色之间的语义关系。为此，在本文中，我们提出了一个新的两阶段框架，重点是利用这种双向关系的动词和角色。在第一阶段，而不是预先检测动词，我们推迟检测步骤，并假设一个伪标签，其中每个相应的语义角色的中间表示是从图像中学习。在第二阶段，我们利用Transformer层来挖掘动词和语义角色之间的潜在语义关系。在一组支持图像的帮助下，设计了一种替代学习方案来同时优化结果：使用与图像对应的名词更新动词，并使用支持图像中的动词更新名词。在具有挑战性的SWiG基准测试上进行的大量实验结果表明，我们改造后的框架在各种指标下的性能优于其他最先进的方法。
2022-11-28 cs.AI cs.CL cs.CV
Diverse Image Captioning with Grounded Style
TU Darmstadt（达姆施塔特工业大学）
如在先前工作中提出的风格化图像描述旨在生成反映场景组成的事实描述之外的特性（诸如情感）的标题。这样的现有工作依赖于给定的情感标识符，其用于在字幕中表达某种全局风格，例如正面或负面，然而没有考虑视觉场景的风格内容。为了解决这个问题，我们首先分析了当前风格化字幕数据集的局限性，并提出了基于COCO属性的增强，以获得不同的风格化字幕COCO注释。此外，我们编码的风格化信息的潜在空间中的变分自编码器，具体地说，我们利用提取的图像属性，明确地结构其顺序的潜在空间根据不同的本地化风格特征。我们在Senticap和COCO数据集上的实验表明，我们的方法能够生成准确的标题，并且具有基于图像的风格多样性。
2022-05-03 cs.CV cs.LG
A Survey of Video Datasets for Grounded Event Understanding
Johns Hopkins University（约翰斯·霍普金斯大学）
本文调研105个需要事件理解能力的视频数据集，梳理事件抽取任务定义与资源局限，并就数据集策划和任务构建提出建议。
2024-06-14 cs.AI cs.CV
MSC: A Marine Wildlife Video Dataset with Grounded Segmentation and Clip-Level Captioning
The Hong Kong University of Science and Technology（香港科学与技术大学）；Ho Chi Minh University of Science（胡志明市科学大学）；Deakin University（德肯大学）
针对现有视频字幕数据集难以适配海洋环境的问题，研究提出两阶段面向海洋物体的视频字幕流水线，构建含视频、文本、分割掩码的MSC基准数据集，验证视频分割可丰富字幕语义，助力海洋视频理解与生成。
2025-09-01 cs.AI cs.CV cs.MM
Distributed Attention for Grounded Image Captioning
The University of Hong Kong（香港大学）；Youtu Lab, Tencent（腾讯优图实验室）
本文研究了弱监督接地图像描述字幕问题。也就是说，给定一幅图像，目标是自动生成一个描述图像上下文的句子，其中每个名词词都与图像中的相应区域相关。这项任务是具有挑战性的，由于缺乏明确的细粒度区域词对齐作为监督。以前的弱监督方法主要探索各种正则化方案来提高注意力的准确性。但是，他们的表现离完全监督的人还有很大的距离。一个被忽视的主要问题是，生成视觉接地词的注意力可能只集中在最具区别性的部分，而不能覆盖整个对象。为此，我们提出了一个简单而有效的方法来缓解这个问题，在我们的论文中被称为部分接地问题。具体来说，我们设计了一个分布式的注意力机制，以强制网络聚合来自多个空间上不同的区域的信息，同时产生的话具有一致的语义。因此，聚焦区域提议的联合应该形成完全包围感兴趣对象的视觉区域。大量的实验表明，我们所提出的方法相比，国家的最先进的优越性。
2021-08-22 cs.CV cs.MM
Appear2Meaning: A Cross-Cultural Benchmark for Structured Cultural Metadata Inference from Images
University of Manchester（曼彻斯特大学）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；Getty Conservation Institute（盖蒂保护研究所）
本文提出一个跨文化的结构化文化元数据图像推理基准，评估VLMs在文化元数据推断中的表现，发现模型在不同文化和元数据类型上存在显著性能差异。
2026-04-08 cs.CL cs.CV cs.MM
GPT-4V(ision) is a Generalist Web Agent, if Grounded
The Ohio State University（俄亥俄州立大学）
本文提出SEEACT，利用GPT-4V作为通用网页智能体，通过视觉与HTML结合实现接地，在MIND2WEB基准上显著优于文本模型，但接地仍是主要挑战。
2024-03-12 cs.AI cs.CL cs.CV
Relational Graph Learning for Grounded Video Description Generation
Zhejiang University（浙江大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
接地视频描述（GVD）鼓励字幕模型关注适当的视频区域（例如，对象）并生成描述。这样的设置可以帮助解释字幕模型的决定，并防止模型在其描述中出现幻觉。然而，这样的设计主要集中在目标词生成，因此可能会忽略细粒度的信息，并遭受丢失的视觉概念。此外，关系词（例如，“向左或向右跳跃”）是通常的时空推断结果，即，这些词不能建立在特定的空间区域上。为了解决上述局限性，我们设计了一个新的关系图学习框架GVD，其中语言细化的场景图表示设计来探索细粒度的视觉概念。此外，细化图可以被视为关系归纳知识，以帮助字幕模型选择它需要生成正确的单词的相关信息。通过自动度量和人工评价验证了该模型的有效性，结果表明，该方法能够生成更细粒度、更准确的描述，在一定程度上解决了对象幻觉问题。
2021-12-02 cs.AI cs.CL cs.CV
