Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Nanyang Technological University(南洋理工大学)
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词,因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中,我们提出了Word 2 Pix:一个基于编码器-解码器Transformer架构的一级视觉接地网络,它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入,对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式,每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO,RefCOCO+和RefCOCOg数据集上进行了实验,所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明,Word 2 Pix超越了两阶段视觉基础模型,同时保持了一阶段范式的优点,即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
Grounding Answers for Visual Questions Asked by Visually Impaired People
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
视觉问答是回答关于图像的问题的任务。我们介绍了VizWiz-VQA-Grounding数据集,这是第一个在视觉上为视觉障碍人士提出的视觉问题提供答案的数据集。我们分析了我们的数据集,并将其与五个VQA接地数据集进行了比较,以证明是什么使它相似和不同。然后,我们评估的SOTA VQA和VQA接地模型,并证明,目前的SOTA算法往往无法识别正确的视觉证据的答案位于。当视觉证据占据图像的一小部分时,这些模型经常会遇到困难,例如图像质量更高,以及需要文本识别技能的视觉问题。数据集、评估服务器和排行榜都可以在以下链接中找到:https://vizwiz.org/tasks-and-datasets/answer-grounding-for-vqa/。
2022-04-08 cs.CL cs.CV
A Visual Attention Grounding Neural Model for Multimodal Machine Translation
University of California, Davis(加州大学戴维斯分校)
我们介绍了一种新的多模态机器翻译模型,利用并行的视觉和文本信息。我们的模型共同优化了共享视觉语言嵌入和翻译器的学习。该模型利用了视觉注意力基础机制,将视觉语义与相应的文本语义联系起来。我们的方法在Multi30K和Ambient COCO数据集上获得了具有竞争力的最先进结果。我们还收集了一个新的多语言多模态产品描述数据集,以模拟真实世界的国际在线购物场景。在这个数据集上,我们的视觉注意力基础模型比其他方法表现得更好。
2018-08-28 cs.CL
ScanReason: Empowering 3D Visual Grounding with Reasoning Capabilities
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室)
针对3D视觉定位依赖显式文本的问题,提出3D推理定位任务及基准ScanReason,并设计ReGround3D方法,结合MLLM推理与3D定位模块及链式定位机制,有效提升性能。
2024-07-17 cs.AI cs.CL cs.CV
Towards Visual Text Grounding of Multimodal Large Language Model
Adobe Research(Adobe研究院);University of Maryland(马里兰大学);University at Buffalo(布法罗大学)
针对多模态大语言模型在文档等文本丰富图像上视觉文本定位能力不足的问题,提出TRIG任务及数据集,并基于指令微调和高效嵌入方法提升其定位与空间推理能力。
2025-09-23 cs.AI cs.CL cs.CV
Visual Grounding of Inter-lingual Word-Embeddings
University of Tübingen(图宾根大学)
语言的视觉基础旨在通过图像和视频等多种视觉知识来源丰富语言的文本表示。虽然视觉背景是一个研究热点,但语际视觉背景的研究还没有引起足够的重视。本研究考察了词嵌入的语际视觉背景。我们提出了一种视觉和语言两个空间之间的隐式对齐技术,其中语际文本信息相互作用,以丰富预先训练的文本词嵌入。在实验中,我们集中在三种语言,即英语,阿拉伯语和德语。我们获得了这些语言的视觉接地矢量表示,并研究了一种或多种语言的视觉接地是否提高了嵌入词相似性和分类基准的性能。我们的实验表明,语际知识提高了性能的接地嵌入在类似的语言,如德语和英语。然而,德语或英语与阿拉伯语的语言间接地导致单词相似性基准的性能略有下降。另一方面,我们观察到一个相反的趋势分类基准,阿拉伯语有最大的改善英语。在讨论部分,列出了这些调查结果的几个原因。我们希望我们的实验能为语际视觉背景的进一步研究提供一个基础。
2022-11-21 cs.CL
Not (yet) the whole story: Evaluating Visual Storytelling Requires More than Measuring Coherence, Grounding, and Repetition
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本文提出从视觉锚定、连贯性和重复性衡量故事类人性的评估方法,发现LLaVA仅略优于小50倍的TAPM,且人工评估显示好故事还需更多维度。
2024-10-25 cs.AI cs.CL cs.CV
Deconfounded Visual Grounding
Nanyang Technological University(南洋理工大学);Damo Academy, Alibaba Group(阿里巴巴达摩院);Singapore Management University(新加坡管理大学)
我们专注于语言和位置之间的混淆偏见的视觉接地管道,在那里我们发现,偏见是主要的视觉推理瓶颈。例如,基础过程通常是没有视觉推理的琐碎语言-位置关联,例如,将包含绵羊的任何语言查询接地到接近中心的区域,因为关于绵羊的大多数查询在图像中心具有地面实况位置。首先,我们框架的视觉基础管道成一个因果关系图,它显示了图像,查询,目标位置和潜在的混淆之间的因果关系。通过因果图,我们知道如何打破基础瓶颈:去基础的视觉基础。其次,为了解决混淆因素通常未被观察到的挑战,我们提出了一种混淆因素不可知的方法,称为:引用表达式Deconfounder(RED),以消除混淆偏见。第三,我们将RED实现为一个简单的语言注意力,它可以应用于任何接地方法。在流行的基准测试中,RED显著改善了各种最先进的接地方法。代码将很快在https://github.com/JianqiangH/Deconfounded_VG上提供。
2021-12-31 cs.CL cs.CV
Countering Language Drift via Visual Grounding
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
紧急多智能体通信协议与自然语言有很大的不同,不容易被人类解释。我们发现,最初预先训练产生自然语言的代理也可能会经历有害的语言漂移:当在基于目标的任务中使用非语言奖励时,例如一些标量成功度量,通信协议可能很容易从根本上偏离自然语言。我们将翻译转换为多智能体通信游戏,并检查辅助训练约束在减轻语言漂移方面的有效性。我们表明,句法(语言模型可能性)和语义(视觉接地)的约束相结合,给出了最佳的通信性能,允许预先训练的代理保留英语语法,同时学习准确地传达预期的含义。
2019-09-10 cs.CL cs.LG
Efficient Object-Level Visual Context Modeling for Multimodal Machine Translation: Masking Irrelevant Objects Helps Grounding
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
视觉上下文为多模态机器翻译(MMT)提供了基础信息。然而,以往的MMT模型和视觉特征的探索研究表明,视觉信息在MMT中的探索较少,因为它往往是多余的文本信息。在本文中,我们提出了一个对象级的视觉上下文建模框架(OVC),有效地捕捉和探索多模态机器翻译的视觉信息。与检测到的对象,建议OVC鼓励MMT地面翻译所需的视觉对象,通过掩盖不相关的对象在视觉模态。我们配备了一个额外的对象掩蔽损失,以实现这一目标。根据被掩蔽对象与源文本的相似度来估计对象掩蔽损失,以鼓励对与源文本无关的对象进行掩蔽。此外,为了生成视觉一致的目标词,我们进一步提出了一个视觉加权的翻译损失OVC。在MMT数据集上的实验表明,所提出的OVC模型的性能优于最先进的MMT模型,分析表明,屏蔽无关对象有助于MMT的接地。
2020-12-18 cs.AI cs.CL cs.CV
LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent
University of Michigan(密歇根大学);New York University(纽约大学)
LLM-Grounder利用大语言模型分解复杂查询并结合视觉定位工具,实现零样本开放词汇3D视觉定位,在ScanRefer上取得领先精度。
2023-09-21 cs.AI cs.CL cs.CV
Naturally Supervised 3D Visual Grounding with Language-Regularized Concept Learners
Stanford University(斯坦福大学)
本文提出语言正则化概念学习器LARC,利用从大语言模型蒸馏的语言约束正则化神经符号学习,在仅用3D场景和问答对的自然监督设置下提升3D视觉定位与推理性能。
2024-04-30 cs.AI cs.CL cs.CV
The Role of Entropy in Visual Grounding: Analysis and Optimization
Fudan University(复旦大学);Hikvision Research Institute(海康威视研究院)
本文提出ECVGPO算法,通过熵控制优化视觉定位任务,提升探索与利用的平衡,实现多基准的性能提升。
2025-12-07 cs.AI cs.CL cs.CV
The Curious Case of Visual Grounding: Different Effects for Speech- and Text-based Language Encoders
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本文研究视觉接地对语音和文本语言编码器内部表示的影响,发现其能提升口语与书面语表示对齐但主要增强词身份编码,且未能改善语音表示的语义可辨别性,为丰富语音模型的视觉语义方法提供启示。
2025-09-19 cs.CL
Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents
The Ohio State University(俄亥俄州立大学);Orby AI(Orby人工智能)
针对现有GUI智能体依赖文本表示存在噪声、开销高的问题,研究提出类人视觉感知方案,构建大规模数据集训练UGround通用视觉定位模型,实验证明其性能显著优于现有模型及最优智能体,验证了纯视觉GUI智能体的可行性。
2025-06-17 cs.AI cs.CL cs.CV
Visual Grounding in Video for Unsupervised Word Translation
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
地球上有成千上万种活跃的语言,但只有一个视觉世界。在这个视觉世界中扎根有可能弥合所有这些语言之间的差距。我们的目标是使用视觉基础来改善语言之间的无监督词映射。其核心思想是通过学习母语讲述的非配对教学视频中的嵌入,在两种语言之间建立一个共同的视觉表示。鉴于这种共享嵌入,我们证明:(i)我们可以映射语言之间的单词,特别是“视觉”单词;(ii)共享嵌入为现有的无监督基于文本的单词翻译技术提供了一个很好的初始化,形成了我们提出的混合视觉-文本映射算法MUVE的基础;和(iii)我们的方法通过解决基于文本的方法的缺点实现了卓越的性能-它更健壮,处理具有较少共性的数据集,并且适用于低资源语言。我们应用这些方法将单词从英语翻译成法语,韩语和日语-所有这些都没有任何平行语料库,只是通过观看许多人说话的视频。
2020-03-26 cs.CL cs.CV cs.LG
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS(加州大学伯克利分校电子工程与计算机科学系);Sony Corp.(索尼公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而,诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和,以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的,由于其高维度,我们建议利用多模态紧凑双线性池(MCB),有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答,我们提出了一个架构,它使用MCB两次,一次用于预测注意空间特征,并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
LLM-Optic: Unveiling the Capabilities of Large Language Models for Universal Visual Grounding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
LLM-Optic利用大型语言模型作为文本和视觉定位器,增强现有视觉定位模型对复杂查询的理解,无需训练即可实现零样本通用视觉定位。
2024-05-28 cs.AI cs.CL cs.CV
Pseudo-Q: Generating Pseudo Language Queries for Visual Grounding
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院);University of Washington(华盛顿大学)
视觉基础,即,根据自然语言查询定位图像中的对象是视觉语言理解中的重要课题。此任务的最有效方法是基于深度学习,这通常需要昂贵的手动标记的图像查询或补丁查询对。为了消除对人类注释的严重依赖,我们提出了一种新的方法,名为伪Q,自动生成伪语言查询监督训练。我们的方法利用一个现成的对象检测器来识别视觉对象从未标记的图像,然后这些对象的语言查询是在一个无监督的方式与伪查询生成模块。然后,我们设计了一个任务相关的查询提示模块,专门为视觉接地任务定制生成的伪语言查询。此外,为了充分捕捉图像和语言查询之间的上下文关系,我们开发了一个视觉-语言模型,配备了多层次的跨模态注意力机制。大量的实验结果表明,我们的方法有两个显着的好处:(1)它可以显着降低人工注释成本,例如,RefCOCO上的31%,而不会降低原始模型在完全监督设置下的性能,并且(2)没有铃铛和哨子,与我们实验的所有五个数据集上的最先进的弱监督视觉接地方法相比,它实现了卓越或相当的性能。代码可在https://github.com/LeapLabTHU/Pseudo-Q上获得。
2022-03-22 cs.AI cs.CL cs.CV
ViGiL3D: A Linguistically Diverse Dataset for 3D Visual Grounding
Simon Fraser University(西蒙弗雷泽大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所)
本文提出ViGiL3D,一个语言多样性的三维视觉定位诊断数据集,并引入语言学分析框架,评估现有开放词汇方法在分布外提示上的不足,以推动实际应用。
2025-07-07 cs.AI cs.CL cs.CV
Like a bilingual baby: The advantage of visually grounding a bilingual language model
The Pennsylvania State University(宾夕法尼亚州立大学);University of South Florida(南佛罗里达大学);Carleton University(卡尔顿大学)
研究旨在探讨视觉基础对双语语言模型的影响,通过在英西双语图像及字幕上训练LSTM模型,发现视觉基础能提升模型对语义相似性的理解及降低困惑度,为视觉基础语言模型优势提供证据,指出需更多自然语言数据。
2026-07-28 cs.CL
Visual Grounding Strategies for Text-Only Natural Language Processing
KU Leuven(鲁汶大学)
视觉基础是一条通往更强大和更准确的自然语言处理(NLP)模型的有前途的道路。BERT的许多多模态扩展(例如,VideoBERT、LXMERT、VL-BERT)允许文本和图像的联合建模,从而在多模态任务(如视觉问答)上产生最先进的结果。在这里,我们将多模态建模用于纯文本任务(语言建模和分类),期望多模态预训练提供可以提高文本处理准确性的基础。我们在这方面提出了可能的战略。被称为{ \it transmitted grounding}的第一种类型的策略包括使用占位符来替换图像输入,将多模态模型应用于纯文本任务。第二个,我们称之为{ \it关联接地},利用图像检索在预训练和纯文本下游任务期间将文本与相关图像进行匹配。我们对这两种策略进行了进一步的区分,然后根据它们对语言建模和常识相关下游任务的影响进行了比较,显示了对纯文本基线的改进。
2021-03-25 cs.CL
Multi-View Transformer for 3D Visual Grounding
The Chinese University of Hong Kong(香港中文大学)
3D视觉基础任务旨在将自然语言描述基础到3D场景中的目标对象,其通常以3D点云表示。以前的作品研究了特定视角下的视觉基础。通过这种方式学习的视觉-语言对应一旦视图改变就很容易失败。在本文中,我们提出了一个多视图Transformer(MVT)的三维可视化接地。我们将三维场景投影到多视图空间,在多视图空间中,三维场景在不同视图下的位置信息被同时建模并聚合在一起。多视图空间使网络能够学习用于3D视觉基础的更鲁棒的多模态表示,并消除对特定视图的依赖。大量的实验表明,我们的方法显着优于所有国家的最先进的方法。具体来说,在Nr 3D和Sr 3D数据集上,我们的方法比最好的竞争对手的性能高出11.2%和7.1%,甚至比最近的工作高出5.9%和6.6%。我们的代码可在https://github.com/sega-hsj/MVT-3DVG上获得。
2022-04-05 cs.CL cs.CV
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI(微信人工智能);Tencent Inc(腾讯公司)
视觉对话是一项具有挑战性的任务,因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指,而忽略了在视觉内容中显式地定位对象的重要性,这些对象与文本内容中的实体相关联。因此,本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器,称为MITVG,它由两个关键部分组成:视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下,这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上,将多轮对话历史与视觉场景相结合,按照对话的先后顺序逐步进行编码,生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性,其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
Don't Learn, Ground: A Case for Natural Language Inference with Visual Grounding
Utrecht University(乌特勒支大学)
本文提出了一种基于视觉依托的零样本自然语言推理方法,通过生成视觉表示并比较与假设的相似度,实现高精度推理,展示了对文本偏见的鲁棒性。
2025-11-21 cs.CL
Extending Phrase Grounding with Pronouns in Visual Dialogues
Tianjin University(天津大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
传统的短语定位方法是将字幕中的名词短语定位到相应的图像区域,近年来取得了很大的成功。显然,对于跨模态视觉语言理解来说,单一的名词短语基础是不够的。在这里,我们通过考虑代词来扩展任务。首先,我们构建了一个包含名词短语和代词的短语接地数据集来图像区域。基于数据集,我们测试了短语接地的性能,通过使用最先进的文献模型,这条线。然后,我们增强了基线接地模型与共指信息,这应该有助于我们的任务潜在的,建模的共指结构与图卷积网络。有趣的是,在我们的数据集上进行的实验表明,代词比名词短语更容易接地,其中可能的原因可能是这些代词的歧义要少得多。此外,我们最终的模型与共指信息可以显着提高接地性能的名词短语和代词。
2022-10-23 cs.CL cs.CV
The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
The University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学)
本文提出CompART,通过分解标题为以对象为中心的短语并构建复合短语,提升多对象定位能力,验证了其在多种视觉语言模型上的有效性。
2026-05-07 cs.CL cs.CV cs.LG
KARL: Knowledge-Aware Reasoning and Reinforcement Learning for Knowledge-Intensive Visual Grounding
University of Macau(澳门大学);Shandong University(山东大学);Northwestern Polytechnical University(西北工业大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出KARL框架,通过知识引导的推理数据和强化学习方法,提升模型在知识密集型视觉定位任务中的表现,实现跨领域泛化能力的提升。
2026-04-02 cs.AI cs.CL cs.CV
FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
National University of Singapore(新加坡国立大学);University of Oxford(牛津大学)
FocusUI通过位置保持的视觉标记选择实现高效UI接地,有效减少冗余标记并保持位置连续性,提升推理效率和性能。
2026-01-07 cs.AI cs.CL cs.CV
MNER-QG: An End-to-End MRC framework for Multimodal Named Entity Recognition with Query Grounding
Beijing Institute of Technology(北京理工大学);JD AI Research(京东人工智能研究院);Australian National University(澳大利亚国立大学)
多模态命名实体识别(MNER)是信息抽取中的一个关键步骤,它的目的是在给定的图片-图像对中检测实体跨度并将其分类为相应的实体类型。现有的方法要么(1)从注意力机制获得具有粗粒度视觉线索的命名实体,要么(2)首先使用工具包检测细粒度视觉区域,然后识别命名实体。然而,它们遭受实体类型和视觉区域之间的不正确对齐或错误传播的两阶段方式,最终将无关的视觉信息导入文本。在本文中,我们提出了一种新的端到端的框架名为MNER-QG,可以同时执行基于MRC的多模态命名实体识别和查询接地。具体来说,在查询的帮助下,MNER-QG可以提供实体类型和视觉区域的先验知识,并进一步增强文本和图像的表示。为了执行查询接地任务,我们提供了手动注释和弱监督,这些注释和弱监督是通过使用迁移学习训练高度灵活的视觉接地模型获得的。我们在两个公共MNER数据集Twitter 2015和Twitter 2017上进行了广泛的实验。实验结果表明,MNER-QG优于当前最先进的模型在MNER任务,也提高了查询接地性能。
2022-11-27 cs.AI cs.CL cs.CV
Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding
The University of Osaka(大阪大学);RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良科学技术研究所)
该研究针对对话歧义识别问题,提出候选集视觉定位(CSVG)任务及CandVG基准,发现视觉-语言模型的视觉定位能力与CSVG性能无必然关联,且可通过专用指令部分缓解模型预测完整候选集的困难。
2026-10-15 cs.AI cs.CL cs.CV
Seeing the advantage: visually grounding word embeddings to better capture human semantic knowledge
Radboud University(拉德堡德大学)
分布式语义模型捕获单词级的意义,这在许多自然语言处理任务中是有用的,甚至已经被证明可以捕获单词意义的认知方面。这些模型中的大多数都是纯粹基于文本的,尽管人类的感官体验要丰富得多。在本文中,我们创建视觉接地词嵌入相结合的英文文本和图像,并将它们与流行的基于文本的方法进行比较,看看视觉信息是否允许我们的模型更好地捕捉认知方面的词义。我们的分析表明,视觉接地嵌入相似性更大的预测人类的反应时间在一个大的启动实验比纯粹的基于文本的嵌入。视觉接地嵌入也与人类单词相似性评级相关。重要的是,在这两个实验中,我们表明,接地嵌入占解释方差的一个独特的部分,即使我们包括基于文本的嵌入在巨大的语料库上训练。这表明视觉基础允许我们的模型捕获无法使用文本作为唯一信息源提取的信息。
2022-02-21 cs.CL cs.CV cs.LG
Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding
ETH Zurich(苏黎世联邦理工学院);Huawei Technologies(华为技术有限公司);PSI(保罗·谢勒研究所);KU Leuven(鲁汶大学);INSAIT
针对密集三维视觉定位,提出ConcreteNet网络,通过四种创新模块提升重复实例的定位性能,在ScanRefer基准上排名第一。
2024-07-16 cs.CL cs.CV
Scaling Diverse Language Generation for 3D Visual Grounding
Simon Fraser University(西蒙菲莎大学)
提出ViGiL3D++方法,通过场景图约束采样与LLM语言生成结合,生成多样化视觉定位查询,提升3DVG模型泛化能力并揭示VLM局限性。
2026-06-23 cs.CL cs.CV
Improving Visually Grounded Sentence Representations with Self-Attention
Seoul National University(首尔大学)
仅在语言上训练的句子表示模型可能会受到接地问题的影响。最近的工作表明,通过联合训练它们与相关的图像特征,在提高句子表示的质量方面取得了可喜的成果。然而,由于体系结构的设计,输入句子和图像特征之间的联系较远,因此接地能力有限。为了进一步缩小这一差距,我们提出将自我注意力机制应用于句子编码器,以加深接地效应。我们在迁移任务上的研究结果表明,自我关注的编码器更适合视觉基础,因为它们利用具有强烈视觉关联的特定单词。
2017-12-02 cs.CL
VividMed: Vision Language Model with Versatile Visual Grounding for Medicine
Tsinghua University(清华大学)
本文提出医学视觉语言模型 VividMed,通过三阶段训练与自动数据合成支持 2D/3D 多模态语义分割、实例框定位,并提升 VQA 和报告生成性能。
2025-02-18 cs.CL cs.CV
Are You Looking? Grounding to Multiple Modalities in Vision-and-Language Navigation
University of California, Berkeley(加州大学伯克利分校);Boston University(波士顿大学)
视觉和语言导航(VLN)需要基础指令,如“右转,停在门口”,在视觉环境中的路线。实际的基础可以通过多种形式将语言与环境联系起来,例如,“在门口停下来”可能会成为视觉对象,而“右转”可能只依赖于路线的几何结构。我们调查的自然语言经验的理由下两个最近的国家的最先进的VLN模型。令人惊讶的是,我们发现视觉特征实际上可能会伤害这些模型:仅使用路线结构的模型,消融视觉特征,在基准Room-to-Room数据集上看不见的新环境中优于其视觉对应物。为了更好地使用所有可用的模态,我们建议将接地过程分解为一组可以访问不同模态(包括目标检测)的专家模型,并在预测时将其集成,从而提高VLN任务中最先进模型的性能。
2019-06-10 cs.CL
Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding
University of California, Berkeley(加州大学伯克利分校)
通过将视觉-语言模型蒸馏损失分解为语言先验和视觉定位两个正交分量,提出视觉梯度引导(VGS)方法动态调整更新方向以优先优化视觉子空间,从而提升小模型在复杂多模态任务中的定位能力。
2026-05-30 cs.CL cs.CV
Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction
National University of Singapore(新加坡国立大学)
本文介绍了INGRESS,一个机器人系统,遵循人类自然语言的指令,以挑选和放置日常物品。这里的核心问题是指称表达的基础:从输入图像和语言表达中推断对象及其关系。INGRESS允许不受约束的对象类别和不受约束的语言表达式。此外,它提出问题,以消除歧义的指涉表达式交互式。为了实现这些,我们采取接地的方法,通过代,并提出了一个两阶段的神经网络模型接地。第一阶段使用神经网络来生成对象的视觉描述,将它们与输入语言表达进行比较,并识别一组候选对象。第二阶段使用另一个神经网络来检查候选对象之间的所有成对关系,并推断出最可能引用的对象。相同的神经网络用于消除歧义的基础和问题生成。实验表明,INGRESS在RefCOCO数据集和人类机器人实验中的表现优于最先进的方法。
2018-06-11 cs.CL cs.CV cs.RO
Audio-visual training for improved grounding in video-text LLMs
PhroneticAI(弗罗内蒂克人工智能公司)
本研究提出一种显式处理音视频输入的模型架构,利用视频指令微调数据训练,证明音频训练能提升响应基础对齐能力,并发布人工标注的音频感知问答基准数据集。
2024-07-21 cs.CL cs.CV cs.MM
Weakly-Supervised 3D Visual Grounding based on Visual Language Alignment
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Meituan Inc.(美团公司);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
针对现有3D视觉定位需大量边界框标注的问题,提出弱监督方法3D-VLA,利用VLMs的语义对齐能力及2D-3D对应关系构建文本-3D对应,在两个数据集上取得与全监督方法相当甚至更优的结果。
2025-08-26 cs.CL cs.CV
Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding
East China University of Science and Technology(华东理工大学);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学)
提出LazyMCoT动态框架,通过自适应路由评估不确定性,对简单查询跳过处理,对困难样本利用协作定位模块进行两阶段精炼,在提升推理精度的同时降低平均推理延迟。
2026-06-16 cs.CL cs.CV
Detecting Clinical Hallucinations in LVLMs via Counterfactual Visual Grounding Uncertainty
School of Intelligent Science and Technology, Nanjing University(南京大学智能科学与技术学院);National Institute of Healthcare Data Science at Nanjing University(南京大学医疗数据科学国家研究院);School of Biomedical Engineering, Nanjing University(南京大学生物医学工程学院)
提出一种基于反事实视觉基础不确定性的框架,通过提取实体并对比正反事实定位结果计算不确定性分数,无需修改模型即可检测LVLM在临床图像中的幻觉。
2026-06-26 cs.CL cs.CV
Cosine meets Softmax: A tough-to-beat baseline for visual grounding
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
在本文中,我们提出了一个简单的自动驾驶视觉基础基线,它优于最先进的方法,同时保留最少的设计选择。我们的框架最大限度地减少了交叉熵损失的余弦距离之间的多个图像ROI功能与文本嵌入(代表给定的句子/短语)。我们使用预先训练的网络来获得初始嵌入,并在文本嵌入的基础上学习转换层。我们在Talk 2Car数据集上进行了实验,达到了68.7%的AP 50准确率,比之前的最新技术水平提高了8.6%。我们的调查表明,重新考虑更多的方法,采用复杂的注意力机制或多阶段推理或复杂的度量学习损失函数显示承诺,在更简单的替代品。
2020-09-13 cs.CL cs.CV
Domain-Specific Lexical Grounding in Noisy Visual-Textual Documents
Cornell University(康奈尔大学);Allen Institute for AI(艾伦人工智能研究所)
图像可以让我们深入了解单词的上下文含义,但目前的图像-文本基础方法需要详细的注释。这样的细粒度注释在大多数领域特定的上下文中是罕见的、昂贵的并且不可用的。相比之下,未标记的多图像,多句子的文件是丰富的。词汇基础可以从这些文件中学习,即使它们有显着的词汇和视觉重叠?房地产上市的案例研究数据集的工作,我们证明了区分高度相关的接地术语,如“厨房”和“卧室”的挑战,并引入指标来评估这个文件的相似性。我们提出了一个简单的无监督聚类的方法,提高精度和召回超过目标检测和图像标记基线时,对标记的子集的数据集进行评估。所提出的方法对于单词的局部上下文含义特别有效,例如将“granite”与房地产数据集中的台面以及维基百科数据集中的岩石景观相关联。
2020-10-30 cs.CL cs.CV
Find Someone Who: Visual Commonsense Understanding in Human-Centric Grounding
Columbia University(哥伦比亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
从包含多个人的视觉场景中,人类能够区分每个人,给出关于之前发生的事情,他们的精神/身体状态或意图等的上下文描述。例如,如果要求识别图像中“需要治疗的人”,我们首先需要知道他们通常有受伤或痛苦的表情,然后找到相应的视觉线索,最后才能将人接地气。我们提出了一个新的常识任务,以人为中心的常识接地,测试模型的能力,地面个人的上下文描述之前发生了什么,他们的精神/身体状态或意图。我们进一步创建了一个基准,HumanCog,一个数据集,其中有13万个接地常识描述注释在67 k个图像上,涵盖了各种类型的常识和视觉场景。我们建立了一个上下文对象感知的方法作为一个强大的基线,它优于以前的预训练和非预训练模型。进一步的分析表明,丰富的视觉常识和多模态常识的强大整合是必不可少的,这对未来的工作有启发意义。数据和代码将在https://github.com/Hxyou/HumanCog上提供。
2022-12-14 cs.CL cs.CV
Improving Referring Expression Grounding with Cross-modal Attention-guided Erasing
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
指称表达定位的目的是定位图像中具有指称表达的特定对象或人,其中的关键挑战是理解和对齐来自视觉和文本域的各种类型的信息,例如视觉属性,位置以及与周围区域的交互。虽然注意力机制已成功地应用于跨通道对齐,以前的注意力模型只关注两种通道的最主要的特征,而忽略了图像和指称表达之间可能存在多个全面的文本-视觉对应的事实。为了解决这个问题,我们设计了一种新的跨模态注意力引导擦除方法,在该方法中,我们丢弃来自文本或视觉域的最主要信息,以在线生成困难的训练样本,并驱动模型发现互补的文本-视觉对应关系。大量的实验证明了我们提出的方法的有效性,在三个引用表达式接地数据集上实现了最先进的性能。
2019-04-02 cs.CL cs.CV