The Mechanistic Emergence of Symbol Grounding in Language Models
University of Science and Technology of China(中国科学技术大学)
通过机械因果分析,发现符号接地在语言模型的中层计算中通过注意力头聚合环境信息实现,并在多模态对话和多种架构中复现。
2026-06-03 cs.CL cs.CV
Scaling Diverse Language Generation for 3D Visual Grounding
Simon Fraser University(西蒙菲莎大学)
提出ViGiL3D++方法,通过场景图约束采样与LLM语言生成结合,生成多样化视觉定位查询,提升3DVG模型泛化能力并揭示VLM局限性。
2026-06-23 cs.CL cs.CV
Deconfounded Visual Grounding
Nanyang Technological University(南洋理工大学);Damo Academy, Alibaba Group(阿里巴巴达摩院);Singapore Management University(新加坡管理大学)
我们专注于语言和位置之间的混淆偏见的视觉接地管道,在那里我们发现,偏见是主要的视觉推理瓶颈。例如,基础过程通常是没有视觉推理的琐碎语言-位置关联,例如,将包含绵羊的任何语言查询接地到接近中心的区域,因为关于绵羊的大多数查询在图像中心具有地面实况位置。首先,我们框架的视觉基础管道成一个因果关系图,它显示了图像,查询,目标位置和潜在的混淆之间的因果关系。通过因果图,我们知道如何打破基础瓶颈:去基础的视觉基础。其次,为了解决混淆因素通常未被观察到的挑战,我们提出了一种混淆因素不可知的方法,称为:引用表达式Deconfounder(RED),以消除混淆偏见。第三,我们将RED实现为一个简单的语言注意力,它可以应用于任何接地方法。在流行的基准测试中,RED显著改善了各种最先进的接地方法。代码将很快在https://github.com/JianqiangH/Deconfounded_VG上提供。
2021-12-31 cs.CL cs.CV
Parameter-Efficient Fine-Tuning Medical Multimodal Large Language Models for Medical Visual Grounding
针对医学MLLMs训练成本高、数据需求大及视觉定位任务输出格式适配难的问题,提出参数高效微调模型PFMVG,在公开医学视觉定位基准上表现优于GPT-4v。
2024-10-31 cs.AI cs.CV
LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent
University of Michigan(密歇根大学);New York University(纽约大学)
LLM-Grounder利用大语言模型分解复杂查询并结合视觉定位工具,实现零样本开放词汇3D视觉定位,在ScanRefer上取得领先精度。
2023-09-21 cs.AI cs.CL cs.CV
LINGO-Space: Language-Conditioned Incremental Grounding for Space
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对复合空间指称表达式的定位与歧义问题,本文提出 LINGO-Space,利用可配置极坐标概率分布进行增量空间 grounding,并在桌面操作、模拟操作及真实四足导航任务中验证其有效性。
2024-02-02 cs.AI cs.CL cs.CV
Towards Understanding Visual Grounding in Visual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Heriot-Watt University(赫瑞-沃德大学)
本综述回顾了现代通用视觉语言模型(VLMs)中视觉定位的研究,系统梳理了其核心组件、实际应用基准、与多模态思维链及推理的相互关系,并分析了当前挑战与未来方向。
2025-09-15 cs.AI cs.CV
Meanings and Measurements: Multi-Agent Probabilistic Grounding for Vision-Language Navigation
Arizona State University(亚利桑那州立大学);Haverford College(哈弗福德学院)
本文提出MAPG框架,通过分解语言查询并利用VLM进行语义 grounding,解决复杂度量-语义语言查询的难题,同时引入MAPG-Bench评估指标,展示在现实机器人中的应用效果。
2026-03-19 cs.AI cs.CL cs.CV
Evaluation and Enhancement of Semantic Grounding in Large Vision-Language Models
Mineral
本文针对大型视觉-语言模型语义接地能力不足的问题,构建大规模细粒度评估数据集并系统评估七种主流模型,进而提出基于多模态指令微调的数据中心增强方法,有效减少错误接地现象。
2024-01-13 cs.CL cs.CV
Naturally Supervised 3D Visual Grounding with Language-Regularized Concept Learners
Stanford University(斯坦福大学)
本文提出语言正则化概念学习器LARC,利用从大语言模型蒸馏的语言约束正则化神经符号学习,在仅用3D场景和问答对的自然监督设置下提升3D视觉定位与推理性能。
2024-04-30 cs.AI cs.CL cs.CV
Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding
University of California, Berkeley(加州大学伯克利分校)
通过将视觉-语言模型蒸馏损失分解为语言先验和视觉定位两个正交分量,提出视觉梯度引导(VGS)方法动态调整更新方向以优先优化视觉子空间,从而提升小模型在复杂多模态任务中的定位能力。
2026-05-30 cs.CL cs.CV
Your Large Vision-Language Model Only Needs A Few Attention Heads For Visual Grounding
Yonsei University(延世大学)
本文发现冻结的大型视觉-语言模型中仅少数注意力头即可实现视觉定位,并提出一种仅用三个定位头的免训练框架,取得与需微调方法相当的定位性能。
2025-03-08 cs.AI cs.CV
Towards Visual Text Grounding of Multimodal Large Language Model
Adobe Research(Adobe研究院);University of Maryland(马里兰大学);University at Buffalo(布法罗大学)
针对多模态大语言模型在文档等文本丰富图像上视觉文本定位能力不足的问题,提出TRIG任务及数据集,并基于指令微调和高效嵌入方法提升其定位与空间推理能力。
2025-09-23 cs.AI cs.CL cs.CV
Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
Groma通过局部视觉标记化机制,将图像分解为区域标记并整合到指令与响应中,实现区域描述和视觉定位,在基准测试中优于依赖外部模块的MLLM。
2024-04-19 cs.AI cs.CL cs.CV
GeM-VG: Towards Generalized Multi-image Visual Grounding with Multimodal Large Language Models
GeM-VG通过引入MG-Data-240K数据集和混合强化微调策略,提升多图像视觉 grounding 和通用多图像理解能力。
2026-01-08 cs.AI cs.CV
Differentiable Parsing and Visual Grounding of Natural Language Instructions for Object Placement
National University of Singapore(新加坡国立大学)
我们提出了一种新的方法,PARSING和可视化Grounding(ParaGon),接地自然语言在对象放置任务。自然语言通常描述具有组合性和模糊性的对象和空间关系,这是有效的语言基础的两个主要障碍。对于组合性,ParaGon将语言指令解析为以对象为中心的图形表示,以单独地接地对象。对于模糊性,ParaGon使用一种新的基于粒子的图神经网络来推理具有不确定性的对象放置。从本质上讲,ParaGon将解析算法集成到概率,数据驱动的学习框架中。它是完全可区分的,并从数据中进行端到端的训练,以应对复杂,模糊的语言输入。
2023-03-13 cs.CV cs.LG cs.RO
Kosmos-2: Grounding Multimodal Large Language Models to the World
Microsoft Research(微软研究院)
本文提出 Kosmos-2 多模态大语言模型,通过 Markdown 链接形式和 GrIT 数据实现文本与视觉对象的锚定,并在多类 grounding、指代及语言任务上验证其能力。
2023-07-13 cs.CL cs.CV
Learning to Compose and Reason with Language Tree Structures for Visual Grounding
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
自然语言在图像中的定位,如“树左边的黑狗”的定位,是人工智能的核心问题之一,因为它需要理解细粒度和组合的语言空间。然而,现有的解决方案依赖于整体语言特征和视觉特征之间的关联,而忽略了语言中隐含的组合推理的本质。在本文中,我们提出了一个自然语言接地模型,可以自动组成一个二叉树结构的语言分析,然后执行可视化推理沿树自下而上的方式。我们称我们的模型为RVG-TREE:递归接地树,它的灵感来自于直觉,即任何语言表达式都可以递归地分解为两个组成部分,并且接地置信度得分可以通过计算子树返回的接地得分来递归累积。RVG-TREE可以通过使用Straight-Through Gumbel-Softmax估计器进行端到端的训练,该估计器允许来自连续得分函数的梯度通过离散树结构。在几个基准测试上的实验表明,我们的模型达到了最先进的性能与更多的可解释的推理。
2019-06-05 cs.CV
ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);AWS AI(AWS人工智能)
ViGoR通过细粒度奖励建模提升大视觉语言模型的视觉 grounding 能力,采用更经济的人类评估和自动化方法,有效提高视觉推理准确性。
2025-12-22 cs.AI cs.CV
LanguageRefer: Spatial-Language Model for 3D Visual Grounding
University of Washington(华盛顿大学)
为了让机器人在不久的将来能够理解人类的指令并执行有意义的任务,开发能够理解参考语言的学习模型以识别真实世界3D场景中的常见对象非常重要。在本文中,我们介绍了一个空间语言模型的三维视觉接地问题。具体来说,给定具有潜在对象候选者的3D边界框的点云形式的重建3D场景,以及涉及场景中目标对象的语言话语,我们的模型成功地从一组潜在候选者中识别出目标对象。具体来说,QuestionageRefer使用基于transformer的架构,将边界框的空间嵌入与DistilBert的微调语言嵌入相结合,以预测目标对象。我们证明了它在ReferIt 3D提出的语言数据集上具有竞争力。此外,我们分析其空间推理任务的性能解耦感知噪声,视图相关的话语的准确性,和潜在的机器人应用的观点注释。
2021-11-04 cs.CL cs.CV cs.RO
Joint Visual Grounding and Tracking with Natural Language Specification
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
自然语言描述跟踪的目的是在基于自然语言描述的序列中定位所提及的目标。现有的算法通过视觉基础和跟踪两个步骤来解决这个问题,并相应地部署分离的基础模型和跟踪模型来分别实现这两个步骤。这种分离的框架忽略了视觉基础和跟踪之间的联系,即自然语言描述为定位两个步骤的目标提供全局语义线索。此外,分离的框架很难进行端到端的训练。为了处理这些问题,我们提出了一个联合视觉接地和跟踪框架,重新制定接地和跟踪作为一个统一的任务:本地化的基础上给定的视觉语言参考所指的目标。具体来说,我们提出了一个多源关系建模模块,有效地建立视觉语言引用和测试图像之间的关系。此外,我们还设计了一个时态建模模块,在全局语义信息的指导下为模型提供时态线索,有效地提高了模型对目标外观变化的适应性。在TNL 2K、LaSOT、OTB99和RefCOCOg上的大量实验结果表明,我们的方法在跟踪和接地方面都优于最先进的算法。代码可在https://github.com/lizhou-cs/JointNLT上获得。
2023-03-21 cs.CV
VividMed: Vision Language Model with Versatile Visual Grounding for Medicine
Tsinghua University(清华大学)
本文提出医学视觉语言模型 VividMed,通过三阶段训练与自动数据合成支持 2D/3D 多模态语义分割、实例框定位,并提升 VQA 和报告生成性能。
2025-02-18 cs.CL cs.CV
Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions
Inria(法国国家信息与自动化研究所)
通过对比开放权重视觉语言模型与传统OCR基线在低资源古希腊批判版本上的表现,发现VLM即使错误也能生成流畅文本,表明其依赖语言先验,并引入扰动和标记级定位度量分析视觉证据。
2026-09-09 cs.AI cs.CL cs.CV
Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction
National University of Singapore(新加坡国立大学)
本文介绍了INGRESS,一个机器人系统,遵循人类自然语言的指令,以挑选和放置日常物品。这里的核心问题是指称表达的基础:从输入图像和语言表达中推断对象及其关系。INGRESS允许不受约束的对象类别和不受约束的语言表达式。此外,它提出问题,以消除歧义的指涉表达式交互式。为了实现这些,我们采取接地的方法,通过代,并提出了一个两阶段的神经网络模型接地。第一阶段使用神经网络来生成对象的视觉描述,将它们与输入语言表达进行比较,并识别一组候选对象。第二阶段使用另一个神经网络来检查候选对象之间的所有成对关系,并推断出最可能引用的对象。相同的神经网络用于消除歧义的基础和问题生成。实验表明,INGRESS在RefCOCO数据集和人类机器人实验中的表现优于最先进的方法。
2018-06-11 cs.CL cs.CV cs.RO
Hierarchical Contextual Grounding LVLM: Enhancing Fine-Grained Visual-Language Understanding with Robust Grounding
Zhongkai University of Agriculture and Engineering(仲恺农业工程大学);EDP University of Puerto Rico: San Sebastian(波多黎各圣塞巴斯蒂安EDP大学)
针对现有LVLM在复杂场景中鲁棒性不足、易幻觉及推理错误的问题,提出模仿人类粗到细认知的HCG-LVLM分层架构,通过全局-局部双层接地增强细粒度视觉语言理解,实验证明其优于现有模型。
2025-08-23 cs.CV
EGM: Efficient Visual Grounding Language Models
NVIDIA(英伟达);MIT(麻省理工学院);University of Oxford(牛津大学);Tsinghua University(清华大学)
本文提出EGM,通过生成大量中等质量token来提升小模型的视觉语义能力,实验证明其在效率和性能上优于大模型。
2026-04-03 cs.CV
Adversarial Robustness for Visual Grounding of Multimodal Large Language Models
Tsinghua University(清华大学);Tencent Security Platform(腾讯安全平台);Peng Cheng Laboratory(鹏城实验室)
该研究针对多模态大语言模型视觉定位的对抗鲁棒性空白,以指代表达理解为任务提出三种对抗攻击范式,实验验证其攻击有效性,为新型攻击设计和鲁棒性提升提供了新视角与强基线。
2024-05-16 cs.CV
ReVisionLLM: Recursive Vision-Language Model for Temporal Grounding in Hour-Long Videos
LMU Munich(慕尼黑大学);MCML(慕尼黑计算与机器学习中心);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Oxford(牛津大学)
本文提出递归视觉-语言模型ReVisionLLM,通过由粗到细的递归定位策略和分层训练方法,首次实现小时级长视频中的时间定位,并在多个数据集上显著超越现有方法。
2024-11-22 cs.CL cs.CV
Point-It-Out: Benchmarking Embodied Reasoning for Vision Language Models in Multi-Stage Visual Grounding
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达)
提出Point-It-Out三阶段视觉定位基准,系统评估十余个VLM的具身推理能力,发现强通用模型在精确定位和轨迹规划上存在短板。
2025-09-30 cs.AI cs.CV
OCID-Ref: A 3D Robotic Dataset with Embodied Language for Clutter Scene Grounding
National Taiwan University(国立台湾大学)
为了有效地将机器人应用于工作环境并帮助人类,必须开发和评估视觉接地(VG)如何影响机器在遮挡物体上的性能。然而,目前的VG作品局限于办公室和仓库等工作环境,由于空间利用问题,物体通常被遮挡。在我们的工作中,我们提出了一种新的OCID-Ref数据集,其特征在于引用被遮挡对象的引用表达的引用表达分割任务。OCID-Ref包含来自2,300个场景的305,694个引用表达式,提供RGB图像和点云输入。为了解决具有挑战性的遮挡问题,我们认为利用2D和3D信号来解决具有挑战性的遮挡问题至关重要。我们的实验结果证明了聚合2D和3D信号的有效性,但对于现代视觉接地系统来说,涉及遮挡对象仍然具有挑战性。OCID-Ref可在https://github.com/lluma/OCID-Ref上公开获取
2021-04-14 cs.CL cs.CV
Weakly-Supervised 3D Visual Grounding based on Visual Language Alignment
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Meituan Inc.(美团公司);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
针对现有3D视觉定位需大量边界框标注的问题,提出弱监督方法3D-VLA,利用VLMs的语义对齐能力及2D-3D对应关系构建文本-3D对应,在两个数据集上取得与全监督方法相当甚至更优的结果。
2025-08-26 cs.CL cs.CV
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
Compositional Temporal Visual Grounding of Natural Language Event Descriptions
University of Michigan(密歇根大学);Princeton University(普林斯顿大学)
时间基础需要在自然语言事件描述和它们的视觉解释之间建立对应。组合建模成为核心:我们首先将原子描述“吃苹果的女孩”,“击球手击球”接地到短视频片段,然后建立片段之间的时间关系。这种组合结构使模型能够通过识别它们的原子子事件来识别在训练期间未看到的更广泛的事件。显式时间建模考虑了可以用语言表达的各种各样的时间关系:例如,在“女孩吃完苹果后从桌子上站起来”的描述中,事件的视觉顺序是颠倒的,首先是“吃苹果”,然后是“从桌子站起来”。“我们利用这些观察来开发一个统一的深度架构CTG-Net,以执行自然语言事件描述到视频的时间基础。我们证明了我们的系统在DiDeMo,Tempo-TL和Tempo-HL时间接地数据集上的性能优于现有的最先进的方法。
2019-12-04 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT(麻省理工学院);IBM Research(IBM研究院);JD AI Research(京东人工智能研究院);UC Davis(加州大学戴维斯分校)
视觉语言基础在现代神经图像描述系统中被广泛研究,其通常采用由两个主要组件组成的编码器-解码器框架:用于图像特征提取的卷积神经网络(CNN)和用于语言字幕生成的递归神经网络(RNN)。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性,我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法,检查神经图像描述系统是否会被误导,输出一些随机选择的标题或关键字。我们广泛的实验表明,我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例,并且对抗性示例可以高度转移到其他图像描述系统。因此,我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Grounded 3D-Aware Spatial Vision-Language Modeling
UCSD(加州大学圣迭戈分校);MIT(麻省理工学院);NVIDIA(英伟达)
提出GR3D模型,通过显式2D定位、隐式2D定位和单目3D定位三种互补定位能力,在单一框架内实现空间链式推理,并在定位与非定位空间基准上取得一致提升。
2026-05-28 cs.CV
Visual Grounding in Video for Unsupervised Word Translation
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
地球上有成千上万种活跃的语言,但只有一个视觉世界。在这个视觉世界中扎根有可能弥合所有这些语言之间的差距。我们的目标是使用视觉基础来改善语言之间的无监督词映射。其核心思想是通过学习母语讲述的非配对教学视频中的嵌入,在两种语言之间建立一个共同的视觉表示。鉴于这种共享嵌入,我们证明:(i)我们可以映射语言之间的单词,特别是“视觉”单词;(ii)共享嵌入为现有的无监督基于文本的单词翻译技术提供了一个很好的初始化,形成了我们提出的混合视觉-文本映射算法MUVE的基础;和(iii)我们的方法通过解决基于文本的方法的缺点实现了卓越的性能-它更健壮,处理具有较少共性的数据集,并且适用于低资源语言。我们应用这些方法将单词从英语翻译成法语,韩语和日语-所有这些都没有任何平行语料库,只是通过观看许多人说话的视频。
2020-03-26 cs.CL cs.CV cs.LG
Language-to-Space Programming for Training-Free 3D Visual Grounding
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对免训练3D视觉定位中成本高或准确率低的问题,提出LaSP,利用LLM生成、评估并优化空间关系分析代码,在Nr3D上达到52.9%准确率并显著降低时间与token成本。
2025-08-28 cs.CV
Contextual Observer Grounding: Evaluating Situated Spatial Reasoning in Vision-Language Models
The University of Tokyo(东京大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出情境观察者锚定概念,构建POVBench基准,评估视觉-语言模型在具身任务中从情境线索推断说话者视角并定位目标的能力,发现明确分解空间推理可提升定位性能。
2026-09-09 cs.CL cs.CV cs.LG
Weakly Supervised Grounding for VQA in Vision-Language Transformers
University of Central Florida(中佛罗里达大学);Goethe University Frankfurt(法兰克福歌德大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
用于视觉语言表示学习的Transformers已经引起了人们的极大兴趣,并且在视觉问答(VQA)和接地方面表现出了巨大的性能。但是,大多数在这些任务中表现良好的系统仍然依赖于在训练期间预先训练的对象检测器,这限制了它们对这些检测器可用的对象类别的适用性。为了缓解这一限制,下面的文章集中在Transformers的视觉问答的背景下,弱监督接地的问题。该方法通过在视觉编码器中对每个视觉标记进行分组来利用胶囊,并使用来自语言自我注意层的激活作为文本引导的选择模块,以在将这些胶囊转发到下一层之前对其进行屏蔽。我们评估我们的方法上具有挑战性的GQA以及VQA接地VQA-HAT数据集。我们的实验表明:虽然从标准Transformer结构中去除被掩蔽对象的信息导致性能的显著下降,但是与本领域中的其它方法相比,膜盒的集成显著地提高了这种系统的接地能力,并且提供了新的最新技术水平的结果。
2022-07-05 cs.CV
Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions
Zhejiang University(浙江大学);Alibaba Cloud(阿里云)
本文提出三维物体可供性定位新任务,构建AGPIL数据集,并设计语言引导的多模态网络LMAffordance3D,融合2D/3D空间与语义特征,在多种视角条件下实现有效定位。
2025-04-07 cs.AI cs.CV cs.RO
LLM-RG: Referential Grounding in Outdoor Scenarios using Large Language Models
Birla Institute of Technology and Science Pilani, K.K Birla Goa Campus(比拉理工学院和科学学院,K.K Birla Goa校区);Carnegie Mellon University, Robotics Institute(卡内基梅隆大学,机器人研究所)
本文提出 LLM-RG 混合框架,结合 VLM 的视觉属性提取与 LLM 的符号思维链推理,在 Talk2Car 上零样本提升户外驾驶场景指称定位,3D 空间线索可进一步增强效果。
2025-10-21 cs.AI cs.CV cs.RO
Ges3ViG: Incorporating Pointing Gestures into Language-Based 3D Visual Grounding for Embodied Reference Understanding
Stony Brook University(石溪大学);BITS Pilani(pilani bits大学);Singapore-MIT Alliance for Research and Technology Centre(新加坡-麻省理工研究与技术联盟中心);IHPC, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局信息技术研究院);APPCAIR;Massachusetts Institute of Technology(麻省理工学院);Singapore Management University(新加坡管理大学)
针对3D具身参考理解(3D-ERU)研究有限的问题,提出数据增强框架Imputer构建ImputeRefer基准数据集,并提出模型Ges3ViG,其准确率较其他3D-ERU模型提升约30%,较纯语言模型提升约9%。
2025-04-13 cs.AI cs.CV cs.MM
TempoGround: State-Aware Streaming Visual Grounding with Vision-Language Models
EngineAI
TempoGround是基于VLM的框架,通过状态感知跨帧对应与SGR强化解决流可视化定位的身份漂移等问题,在多基准上显著提升了2D、3D定位指标。
2026-09-03 cs.CV
Learning Visual Grounding from Generative Vision and Language Model
Brown University(布朗大学);Google DeepMind(谷歌DeepMind);Google Cloud(谷歌云)
本研究利用生成式视觉语言模型通过提示生成目标级描述,结合属性与空间关系建模,构建大规模视觉定位数据集,并在RefCOCO基准上零样本迁移取得显著优于现有方法的性能。
2024-07-18 cs.CV
Q-GroundCAM: Quantifying Grounding in Vision Language Models via GradCAM
George Mason University(乔治梅森大学)
本文提出 Q-GroundCAM 指标套件,利用 GradCAM 激活量化评估 CLIP、BLIP 和 ALBEF 等预训练视觉语言模型的零样本定位能力,揭示模型规模、数据集大小与性能之间的权衡关系。
2024-04-29 cs.CL cs.CV cs.LG
Robust Grounding with MLLMs Against Occlusion and Small Objects via Language-Guided Semantic Cues
Integrated Vision Language Lab.(集成视觉语言实验室)
本文提出通过语言引导的语义线索提升MLLM在拥挤场景中的接地能力,通过语义线索提取器和文本嵌入引导优化对象语义,实验表明能有效提高接地精度。
2026-04-29 cs.CV eess.IV
Visual Grounding Safety in Vision-Language Models
University of California, Riverside(加州大学河滨分校);Apple(苹果公司)
该研究系统分析了视觉语言模型在视觉定位输出中的安全对齐问题,发现模型对定位请求的拒绝率显著低于文本回答,并提出一种结合拒绝与能力数据的微调方法,有效提升定位拒绝率并保持能力。
2026-10-06 cs.AI cs.CR cs.CV
Utilizing Every Image Object for Semi-supervised Phrase Grounding
University of Southern California(南加州大学)
短语接地模型定位的对象在图像中给定的指称表达。训练期间可用的带注释的语言查询是有限的,这也限制了模型在训练期间可以看到的语言组合的变化。在本文中,我们研究的情况下,应用对象没有标记的查询训练半监督短语接地。我们建议使用学习的位置和主题嵌入预测器(LSEP)生成相应的语言嵌入对象缺乏注释的查询在训练集中。在检测器的帮助下,我们还应用LSEP在没有任何注释的图像上训练接地模型。我们基于MAttNet在三个公共数据集上评估了我们的方法:RefCOCO,RefCOCO+和RefCOCOg。我们表明,我们的预测器允许接地系统从没有标记的查询对象中学习,并将检测结果的准确率提高了34.9%。
2020-11-05 cs.CV
Grounding Complex Navigational Instructions Using Scene Graphs
Carnegie Mellon University(卡内基梅隆大学)
训练强化学习代理执行自然语言指令受到可用监督的限制,即知道指令何时执行。我们适应CLEVR视觉问答数据集生成复杂的自然语言导航指令和伴随的场景图,产生一个环境不可知的监督数据集。为了演示使用此数据集,我们将场景映射到VizDoom环境,并使用\citet{gatedattention}中的架构来训练代理执行这些更复杂的语言指令。
2021-06-03 cs.CL cs.CV cs.LG
R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding
KAIST(韩国科学技术院);AWS AI Labs(亚马逊人工智能实验室)
R-VLM通过放大区域提议和IoU感知目标函数,提升GUI元素定位精度,在多个基准上实现13%的定位精度提升和3.2-9.7%的导航任务精度改进。
2025-07-08 cs.CV
Joint Visual Grounding with Language Scene Graphs
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);Hefei University of Technology(合肥工业大学);Singapore Management University(新加坡管理大学)
视觉基础是一项任务,以地面在图像中的参考表达,例如,定位“白色卡车在黄色卡车前面”。为了从根本上解决这个任务,模型应该首先找出上下文对象(例如,“黄色”卡车),然后利用它们通过使用属性和关系(例如,“白色”,“黄色”,“在前面”)。然而,由于缺乏对上下文对象及其关系的注释,现有方法将上述联合接地过程退化为表达和区域之间的整体关联,从而遭受不令人满意的性能和有限的可解释性。在本文中,我们减轻了遗漏的注释问题,并使联合推理,利用语言场景图,其中包括标记的所指对象和未标记的上下文(其他对象,属性和关系)。具体地说,语言场景图是一种图形表示,其中节点是具有属性的对象,边是关系。我们构造了一个因素图的基础上,然后执行边缘化的图形,这样我们就可以地面上相应的图像区域的指示和上下文,以实现联合视觉接地(JVG)。实验结果表明,所提出的方法是有效的且可解释的,例如,在三个基准上,它优于最先进的方法,同时为指称表达式中提到的所有对象提供了完整的基础。
2020-04-10 cs.CV
Can Large Vision-Language Models Correct Semantic Grounding Errors By Themselves?
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达);University of Ottawa(渥太华大学)
本研究探索大型视觉-语言模型通过二元反馈机制自我纠正语义接地错误,无需额外数据或微调,迭代框架在无噪声反馈下提升超15个准确率点,自动验证下提升达5个点。
2025-05-26 cs.CV
Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation for Grounding-Based Vision and Language Models
Amazon Prime Video(亚马逊Prime Video)
针对基于定位的视觉语言模型训练数据规模受限、图文配对增强难度大的问题,提出结合文本条件增强与像素级掩码的语义保持型增强方法,在多个数据集上取得SOTA性能。
2023-11-05 cs.CV
ArtLang: Structured Language-to-Kinematics Grounding for Articulated 3D Actuation
University of California San Diego(加利福尼亚大学圣迭戈分校);University of North Texas(北得克萨斯大学)
研究针对铰接物体控制的语义匿名问题,提出ArtLang框架,通过语义-运动学铰接图等技术实现开放词汇语言控制,经多类实验验证了可靠的语言绑定与连续铰接控制能力。
2026-08-18 cs.CV