Adversarial Robustness for Visual Grounding of Multimodal Large Language Models
Tsinghua University（清华大学）；Tencent Security Platform（腾讯安全平台）；Peng Cheng Laboratory（鹏城实验室）
该研究针对多模态大语言模型视觉定位的对抗鲁棒性空白，以指代表达理解为任务提出三种对抗攻击范式，实验验证其攻击有效性，为新型攻击设计和鲁棒性提升提供了新视角与强基线。
2024-05-16 cs.CV
Learning Cross-modal Context Graph for Visual Grounding
ShanghaiTech University（上海科技大学）；Queen’s University（女王大学）
视觉背景是许多视觉语言任务中普遍存在的组成部分，但由于背景实体的视觉和语言特征差异大，语境效应强以及由此产生的语义歧义，视觉背景仍然具有挑战性。以前的工作通常集中在学习表示的个别短语与有限的上下文信息。为了解决它们的局限性，本文提出了一种语言引导的图形表示来捕获接地实体及其关系的全局上下文，并为多短语视觉接地任务开发了一种跨模态图匹配策略。特别是，我们引入了一个模块化的图神经网络来计算上下文感知表示的短语和对象的建议，分别通过消息传播，其次是基于图的匹配模块生成全局一致的本地化接地短语。我们在两阶段策略中联合训练整个图神经网络，并在Flickr 30K Entities基准上对其进行评估。大量的实验表明，我们的方法优于现有技术的一个相当大的保证金，证明了我们的接地框架的功效。代码可在“https://github.com/youngfly11/LCMCG-PyTorch“上获得。
2019-11-23 cs.CV
Improving Visual Grounding in Remote Sensing via Cluster-Guided Refinement and Model Ensemble Voting
Indian Institute of Technology Bombay（印度理工学院班加罗尔）
提出两种视觉定位流程（SGR和CGR），结合遥感专用模型RemoteSAM和通用分割模型SAM3，并通过多模型集成投票提升定位精度。
2026-05-30 cs.CV
VQA Therapy: Exploring Answer Differences by Visually Grounding Answers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
该研究针对视觉问答中答案存在差异的问题，推出首个提供答案视觉grounding的数据集VQAAnswerTherapy，提出两个相关新任务并基准测试现有算法，为理解答案差异成因提供数据与任务支撑。
2023-08-24 cs.CV
LLaVA-Grounding: Grounded Visual Chat with Large Multimodal Models
HKUST（香港科技大学）；SCUT（华南理工大学）；Microsoft Research（微软研究院）；IDEA（IDEA研究院）；UW-Madison（威斯康星大学麦迪逊分校）；Tsinghua（清华大学）；CUHK（香港中文大学）
本文提出LLaVA-Grounding，通过创建接地视觉聊天数据集和Grounding-Bench基准，并连接分割模型与语言模型，使大型多模态模型同时具备接地与聊天能力，在多个基准上取得领先或竞争性表现。
2023-12-05 cs.CV
Joint Visual Grounding and Tracking with Natural Language Specification
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
自然语言描述跟踪的目的是在基于自然语言描述的序列中定位所提及的目标。现有的算法通过视觉基础和跟踪两个步骤来解决这个问题，并相应地部署分离的基础模型和跟踪模型来分别实现这两个步骤。这种分离的框架忽略了视觉基础和跟踪之间的联系，即自然语言描述为定位两个步骤的目标提供全局语义线索。此外，分离的框架很难进行端到端的训练。为了处理这些问题，我们提出了一个联合视觉接地和跟踪框架，重新制定接地和跟踪作为一个统一的任务：本地化的基础上给定的视觉语言参考所指的目标。具体来说，我们提出了一个多源关系建模模块，有效地建立视觉语言引用和测试图像之间的关系。此外，我们还设计了一个时态建模模块，在全局语义信息的指导下为模型提供时态线索，有效地提高了模型对目标外观变化的适应性。在TNL 2K、LaSOT、OTB99和RefCOCOg上的大量实验结果表明，我们的方法在跟踪和接地方面都优于最先进的算法。代码可在https://github.com/lizhou-cs/JointNLT上获得。
2023-03-21 cs.CV
Visual Relation Grounding in Videos
National University of Singapore（新加坡国立大学）；Chinese Academy of Sciences（中国科学院）
在本文中，我们探索了一个新的任务命名为视频中的视觉关系接地（vRGV）。该任务旨在时空定位视频中以主谓宾形式存在的给定关系，以便为其他高级视频语言任务（例如，视频语言基础和视频问答）。该任务中的挑战包括但不限于：（1）主体和对象都需要被时空定位以建立查询关系;（2）视频中视觉关系的时间动态性质难以捕获;以及（3）应该在没有空间和时间上的任何直接监督的情况下实现建立。为了解决这些问题，我们通过关系关注和重构，在构建的层次时空区域图上协同优化两个区域序列，并进一步提出了一种通过视觉实体之间的空间注意力转移来传递消息的机制。实验结果表明，我们的模型不仅可以显着优于基线方法，但也产生视觉上有意义的事实，以支持视觉接地。(Code可以在https：//github.com/doc-doc/vRGV上找到）。
2020-07-21 cs.CV
EGM: Efficient Visual Grounding Language Models
NVIDIA（英伟达）；MIT（麻省理工学院）；University of Oxford（牛津大学）；Tsinghua University（清华大学）
本文提出EGM，通过生成大量中等质量token来提升小模型的视觉语义能力，实验证明其在效率和性能上优于大模型。
2026-04-03 cs.CV
Visual Intention Grounding for Egocentric Assistants
National University of Singapore（新加坡国立大学）；Google DeepMind（谷歌DeepMind）
本文提出首个第一人称视觉意图定位数据集EgoIntention，及推理至定位（RoG）指令微调方法，解决多模态模型在第一人称视角下的意图定位问题，实现了统一的视觉定位能力。
2026-08-07 cs.CV
Toward Visual Grounding: A Survey
Pengcheng Laboratory（鹏城实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本综述梳理视觉定位的发展与背景，总结近年进展与新挑战，定义规范研究设置，介绍相关数据集与应用，提出未来方向，是该领域最全面的综述，适合不同阶段研究者。
2026-08-05 cs.CV
Learning to Assemble Neural Module Tree Networks for Visual Grounding
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
视觉接地，接地任务（即，局部化）图像中的自然语言，本质上需要复合视觉推理。然而，现有的方法将语言的复合性质过度简化为单一的句子嵌入或主谓宾三元组的粗糙组合。在本文中，我们建议地面自然语言在一个直观的，可解释的，和复合的方式，因为它应该是。特别是，我们开发了一种新的模块化网络称为神经模块树网络（NMTree），规则化的视觉接地沿依存句法分析树的句子，其中每个节点是一个神经模块，根据其语言特征计算视觉注意力，接地分数是在自下而上的方向积累的需要。NMTree将视觉基础与复合推理分开，允许前者只关注原始和易于概括的模式。为了减少解析错误的影响，我们训练模块和他们的组装端到端使用Gumbel-Softmax近似及其直通梯度估计，占模块组装的离散性质。总体而言，拟议的NMTree在几个基准上始终优于最先进的技术。定性结果显示解释接地分数计算非常详细。
2019-10-21 cs.CV
D3Net: A Unified Speaker-Listener Architecture for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
最近关于3D中密集字幕和视觉基础的研究取得了令人印象深刻的结果。尽管这两个领域都有发展，但可用的3D视觉语言数据量有限，导致3D视觉基础和3D密集字幕方法的过拟合问题。此外，如何区分描述复杂的三维环境中的对象还没有得到充分的研究。为了解决这些挑战，我们提出了D3 Net，这是一种端到端的神经说话者-听者架构，可以检测，描述和区分。我们的D3 Net以自我批判的方式将密集的字幕和视觉基础统一在3D中。D3 Net的这种自我批判特性还在对象标题生成过程中引入了可辨别性，并支持对具有部分注释描述的ScanNet数据进行半监督训练。我们的方法在ScanRefer数据集上的两项任务中均优于SOTA方法，大大超过了SOTA 3D密集字幕方法。
2022-07-22 cs.CV
Learning Visual Grounding from Generative Vision and Language Model
Brown University（布朗大学）；Google DeepMind（谷歌DeepMind）；Google Cloud（谷歌云）
本研究利用生成式视觉语言模型通过提示生成目标级描述，结合属性与空间关系建模，构建大规模视觉定位数据集，并在RefCOCO基准上零样本迁移取得显著优于现有方法的性能。
2024-07-18 cs.CV
SeqTR: A Simple yet Universal Network for Visual Grounding
Tencent Youtu Lab（腾讯优图实验室）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Jiangxi Academy of Sciences（江西省科学院）
在本文中，我们提出了一个简单而通用的网络，称为SeqTR的视觉接地任务，例如，短语定位、指称表达理解（REC）和切分（RES）。视觉基础的规范范式通常需要大量的网络架构和损失函数设计方面的专业知识，这使得它们很难在任务中推广。为了简化和统一的建模，我们投视觉接地作为一个点预测问题的图像和文本输入的条件下，无论是限界框或二进制掩码表示为一个序列的离散坐标令牌。在这种范式下，视觉基础任务在我们的SeqTR网络中是统一的，没有特定于任务的分支或头部，例如，RES的卷积掩码解码器，大大降低了多任务建模的复杂性。此外，SeqTR还通过简单的交叉熵损失为所有任务共享相同的优化目标，进一步降低了部署手工制作的损失函数的复杂性。在五个基准数据集上的实验表明，所提出的SeqTR优于（或与）现有的最先进的技术，证明了一种简单而通用的视觉接地方法确实是可行的。源代码可在https://github.com/sean-zhuh/SeqTR上获得。
2022-07-24 cs.CV
SAT: 2D Semantics Assisted Training for 3D Visual Grounding
University of Rochester（罗切斯特大学）；The Chinese University of Hong Kong（香港中文大学）
3D视觉基础旨在将关于3D场景的自然语言描述（通常以3D点云的形式表示）基础到目标对象区域。与2D图像相比，点云是稀疏的、有噪声的，并且包含有限的语义信息。这些固有的限制使得3D视觉接地问题更具挑战性。在这项研究中，我们提出了二维语义辅助训练（SAT），利用二维图像语义在训练阶段，以减轻点云语言联合表示学习，并协助三维视觉接地。其主要思想是学习丰富，干净的2D对象表示和3D场景中相应的对象或提到的实体之间的辅助对齐。SAT采用2D对象语义，即，对象标签、图像特征和2D几何特征，作为训练中的额外输入，但在推理期间不需要这样的输入。通过在训练中有效地利用2D语义，我们的方法将Nr3D数据集的准确率从37.7%提高到49.2%，显著超过了具有相同网络架构和推理输入的非SAT基线。我们的方法在多个3D视觉基础数据集上大幅优于现有技术，即，Nr3D的绝对准确度为+10.4%，Sr3D为+9.9%，ScanRef为+5.6%。
2021-09-22 cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich（慕尼黑工业大学）；Meta AI；Simon Fraser University（西蒙菲莎大学）
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而，尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来，但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中，我们提出了UniT 3D，一个简单而有效的完全统一的基于变压器的架构，共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案，可以在两个任务中学习强大的多模态表示。通过通用架构设计，UniT 3D允许将预训练范围扩展到更多不同的训练源，例如来自2D先验知识的合成数据，以利于3D视觉语言任务。大量的实验和分析表明，UniT 3D获得了显着的收益，为3D密集字幕和视觉接地。
2022-12-01 cs.CV
Decoupled Spatial Temporal Graphs for Generic Visual Grounding
University of Technology Sydney（悉尼科技大学）；Nankai University（南开大学）
由于视觉背景的多样性和复杂性，视觉背景一直是视觉语言理解中的一个难题。目前的实践主要集中在静态图像或修剪良好的视频剪辑中执行视觉基础。另一方面，这项工作研究了一个更一般的设置，通用的视觉基础，旨在挖掘所有满足给定表达式的对象，这在现实世界的场景中更具挑战性，但实用。重要的是，着陆结果预计将在空间和时间上准确定位目标。然而，在外观和运动特征之间进行权衡是很棘手的。在真实场景中，模型往往无法区分具有相似属性的干扰项。基于这些考虑，我们提出了一个简单而有效的方法，命名为DSTG，它致力于1）分解的空间和时间表示，以收集全面的线索，精确接地; 2）提高区分干扰和时间一致性与对比学习路由策略。我们进一步阐述了一个新的视频数据集，GVG，它包括具有挑战性的案件与远程视频。在Charades-STA、ActivityNet-Caption和GVG数据集上的实验表明，DSTG算法优于现有算法。将提供代码和数据集。
2021-03-18 cs.CV
TempoGround: State-Aware Streaming Visual Grounding with Vision-Language Models
EngineAI
TempoGround是基于VLM的框架，通过状态感知跨帧对应与SGR强化解决流可视化定位的身份漂移等问题，在多基准上显著提升了2D、3D定位指标。
2026-09-03 cs.CV
GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；Shanghai Jiao Tong University（上海交通大学）；Chongqing University（重庆大学）
GeoViS通过地理奖励机制，实现了遥感影像中的细粒度视觉定位，通过逐步搜索和推理提升小目标检测精度与跨领域泛化能力。
2025-12-02 cs.CV
Fine-Grained Spatial and Verbal Losses for 3D Visual Grounding
ETH Zurich（苏黎世联邦理工学院）；INSAIT；Huawei Technologies（华为技术有限公司）；KU Leuven（鲁汶大学）
针对3D视觉定位中现有损失函数忽视空间与词级结构的问题，本文提出视觉偏移损失和语言跨度损失，并设计AsphaltNet架构，在ReferIt3D基准上取得竞争性结果。
2024-11-05 cs.CV
Connecting the Dots: Training-Free Visual Grounding via Agentic Reasoning
GroundingAgent通过代理推理实现无需微调的视觉接地，达到65.1%的零样本准确率，并在选择阶段实现90%的准确率，展示了LLM推理能力的重要性。
2025-11-26 cs.CV
Where to Look Matters: Learning Influential Views for VLM-based 3D Visual Grounding
National Tsing Hua University（国立清华大学）；Woven by Toyota, Inc.（丰田编织公司）；National Taiwan University（国立台湾大学）
针对现有零样本3D视觉 grounding 方法优先考虑视角可见性而非相关性的问题，提出IVSGround框架，训练轻量型视角选择器，经实验在ScanRefer、NR3D上提升了 grounding 准确率。
2026-09-07 cs.CV
DRISHTIKON: Visual Grounding at Multiple Granularities in Documents
提出多粒度多区块视觉定位框架DRISHTIKON，结合多语言OCR与大语言模型实现区块至点级别的答案定位，并构建MGVG基准，实验证明其在精确率和召回率上达到最优。
2025-07-16 cs.CV
Target-Aware Spatio-Temporal Reasoning via Answering Questions in Dynamics Audio-Visual Scenarios
Beijing University of Posts and Telecommunications（北京邮电大学）
针对AVQA中时空推理分离、目标利用不足的问题，提出由TSG与JTG组成的目标感知联合定位网络，并通过CSL增强音视频同步，实验证明其优于现有方法。
2023-12-08 cs.CV
Data-Efficient 3D Visual Grounding via Order-Aware Referring
National Taiwan University（台湾大学）；NVIDIA（英伟达）
本文提出Vigor框架，利用大语言模型生成指代顺序，通过堆叠指代模块逐步定位3D目标，无需锚定物体监督，并在低资源场景下显著提升定位准确率。
2025-02-23 cs.CV
Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；The Chinese University of Hong Kong（香港中文大学）
视觉基础是定位由自然语言表达指示的目标的任务。现有的方法将通用的目标检测框架扩展到这个问题。它们将视觉基础建立在预先生成的提案或锚点的特征上，并将这些特征与文本嵌入融合，以定位文本提到的目标。然而，从这些预定义的位置建模视觉特征可能无法充分利用文本查询中的视觉上下文和属性信息，这限制了它们的性能。在本文中，我们提出了一个基于transformer的框架，通过建立文本条件的歧视性特征和执行多阶段的跨模态推理准确的视觉接地。具体来说，我们开发了一个视觉语言验证模块，将视觉特征集中在与文本描述相关的区域，同时抑制不相关的区域。一个语言引导的特征编码器也被设计来聚合目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模态解码器，以迭代地推测图像和文本之间的相关性，以实现准确的目标定位。在五个广泛使用的数据集上进行的大量实验验证了我们提出的组件的有效性，并展示了最先进的性能。我们的代码在https://github.com/yangli18/VLTVG上公开。
2022-06-08 cs.CV
Rethinking Diversified and Discriminative Proposal Generation for Visual Grounding
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Sydney（悉尼大学）
视觉基础旨在定位文本查询短语所指的图像中的对象。已经提出了各种视觉接地方法，并且可以将问题模块化为一个通用框架：提案生成，多模态特征表示和提案排名。在这三个模块中，大多数现有的方法侧重于后两个模块，而提案生成的重要性通常被忽视。在本文中，我们重新思考的问题是什么属性使一个好的建议生成器。我们在生成提案时同时引入了多样性和歧视性，并在此基础上提出了多样性和歧视性提案网络模型（DDPN）。基于DDPN产生的建议，我们提出了一个高性能的基线模型的视觉接地，并评估它在四个基准数据集。实验结果表明，我们的模型在所有测试数据集上都有显著的改进（例如，与现有技术相比，ReferItGame和Flickr30k实体分别提高了18.8\%和8.2\%）
2018-05-09 cs.CV
From Gaze to Meaning: A Training-Free AI Agent for Unified Grounding and Explanation
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）；Surrey Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）
本文提出一种无需训练的Gaze Target Agent，利用预训练视觉-语言模型和视觉引导提示，实现目光目标预测、注意力定位与物体识别，在GazeFollow和GazeHOI基准上达到最先进性能。
2026-09-09 cs.CV
PostAlign: Multimodal Grounding as a Corrective Lens for MLLMs
University of Oxford（牛津大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出MMGrounded-PostAlign框架，通过多模态接地和负拒绝机制增强MLLMs视觉理解并抑制幻觉，在多个基准上取得显著改进。
2025-06-22 cs.CV
Multi-label Instance-level Generalised Visual Grounding in Agriculture
College of Science and Engineering（科学与工程学院）；James Cook University（詹姆斯库克大学）；Centre for AI and Data Science Innovation（人工智能与数据科学创新中心）
本文提出 Weed-VG 框架，通过多标签层次相关性评分和插值驱动回归，提升农业实例级视觉 grounding 能力，并提供精准农业中的 VG 方法基准。
2026-03-05 cs.CV
Look Around and Refer: 2D Synthetic Semantics Knowledge Distillation for 3D Visual Grounding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
3D视觉接地任务已被探索与理解参考语言的视觉和语言流，以确定目标物体在3D场景中。然而，大多数现有的方法致力于使用现成的点云编码器来捕获3D视觉线索的视觉流。我们在本文中解决的主要问题是“我们是否可以通过从点云合成的2D线索来巩固3D视觉流，并有效地利用它们进行训练和测试？".主要思想是通过合并丰富的2D对象表示来辅助3D编码器，而不需要额外的2D输入。为此，我们利用从3D点云合成生成的2D线索，并根据经验显示它们的能力，以提高学习的视觉表示的质量。我们通过对Nr3D，Sr3D和ScanRefer数据集的综合实验验证了我们的方法，并与现有方法相比显示出一致的性能增益。我们提出的模块，被称为环顾四周和参考（LAR），显着优于国家的最先进的三维视觉接地技术的三个基准，即，Nr3D、Sr3D和ScanRefer。该代码可在https://eslambakr.github.io/LAR.github.io/上获得。
2022-11-25 cs.CV
Uncovering the Full Potential of Visual Grounding Methods in VQA
University of Bremen（不来梅大学）
本研究指出VQA中VG方法评估因假设视觉信息可用性而存在缺陷，证明在纠正评估条件后这些方法能更加有效。
2024-02-15 cs.CV
Language-to-Space Programming for Training-Free 3D Visual Grounding
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对免训练3D视觉定位中成本高或准确率低的问题，提出LaSP，利用LLM生成、评估并优化空间关系分析代码，在Nr3D上达到52.9%准确率并显著降低时间与token成本。
2025-08-28 cs.CV
Visual Grounding with Transformers
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
在本文中，我们提出了一种基于Transformer的方法来实现可视化接地。与以前的proposal-and-rank框架严重依赖于预训练的对象检测器或无proposal-free框架通过融合文本嵌入来升级现成的一级检测器不同，我们的方法构建在Transformer编码器-解码器之上，并且独立于任何预训练的检测器或词嵌入模型。我们的方法被称为VGTR -- Visual Grounding with Transformers，旨在在文本描述的指导下学习具有语义区分性的视觉特征，而不会损害它们的定位能力。这种信息流使我们的VGTR具有很强的能力，在捕获视觉和语言模态的上下文级别的语义，使我们能够聚集准确的视觉线索暗示的描述，以定位感兴趣的对象实例。实验表明，我们的方法优于国家的最先进的无命题的方法在五个基准相当大的利润，同时保持快速的推理速度。
2022-03-14 cs.CV
SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing
本文提出SATGround方法，通过结构化定位机制提升卫星图像视觉语义理解，结合语言和空间信息增强定位精度，在多个遥感基准测试中取得显著提升，包括比先前方法提升33.2%的视觉语义定位性能。
2026-03-12 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT（麻省理工学院）；IBM Research（IBM研究院）；JD AI Research（京东人工智能研究院）；UC Davis（加州大学戴维斯分校）
视觉语言基础在现代神经图像描述系统中被广泛研究，其通常采用由两个主要组件组成的编码器-解码器框架：用于图像特征提取的卷积神经网络（CNN）和用于语言字幕生成的递归神经网络（RNN）。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性，我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法，检查神经图像描述系统是否会被误导，输出一些随机选择的标题或关键字。我们广泛的实验表明，我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例，并且对抗性示例可以高度转移到其他图像描述系统。因此，我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Hierarchical Contextual Grounding LVLM: Enhancing Fine-Grained Visual-Language Understanding with Robust Grounding
Zhongkai University of Agriculture and Engineering（仲恺农业工程大学）；EDP University of Puerto Rico: San Sebastian（波多黎各圣塞巴斯蒂安EDP大学）
针对现有LVLM在复杂场景中鲁棒性不足、易幻觉及推理错误的问题，提出模仿人类粗到细认知的HCG-LVLM分层架构，通过全局-局部双层接地增强细粒度视觉语言理解，实验证明其优于现有模型。
2025-08-23 cs.CV
Compositional Temporal Visual Grounding of Natural Language Event Descriptions
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）
时间基础需要在自然语言事件描述和它们的视觉解释之间建立对应。组合建模成为核心：我们首先将原子描述“吃苹果的女孩”，“击球手击球”接地到短视频片段，然后建立片段之间的时间关系。这种组合结构使模型能够通过识别它们的原子子事件来识别在训练期间未看到的更广泛的事件。显式时间建模考虑了可以用语言表达的各种各样的时间关系：例如，在“女孩吃完苹果后从桌子上站起来”的描述中，事件的视觉顺序是颠倒的，首先是“吃苹果”，然后是“从桌子站起来”。“我们利用这些观察来开发一个统一的深度架构CTG-Net，以执行自然语言事件描述到视频的时间基础。我们证明了我们的系统在DiDeMo，Tempo-TL和Tempo-HL时间接地数据集上的性能优于现有的最先进的方法。
2019-12-04 cs.CV
CRAFT: A Neuro-Symbolic Framework for Visual Functional Affordance Grounding
Auburn University（亚伯拉罕大学）
CRAFT是一个神经符号框架，融合ConceptNet、语言模型与CLIP，通过基于能量的迭代推理实现可解释的视觉功能可供性定位，在无标签多物体场景中同时提升准确率与可解释性。
2025-07-19 cs.CV
In Defense of Lazy Visual Grounding for Open-Vocabulary Semantic Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
针对开放词汇语义分割，本文提出无需训练的两阶段 lazy visual grounding，先用迭代 Normalized cuts 发现对象掩码，再迟交互分配文本，并在五个公开数据集上验证其精确定位能力。
2024-08-09 cs.CV
Referring Transformer: A One-step Approach to Multi-task Visual Grounding
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
作为视觉推理的重要一步，视觉基础（例如，短语本地化、指称表达理解/分割）已经被广泛探索。由于两阶段设置，先前的指称表达理解（REC）或分割（RES）的方法或者受到有限性能的影响，或者需要设计复杂的特定于任务的一阶段体系结构。在本文中，我们提出了一个简单的一阶段多任务框架的视觉接地任务。具体来说，我们利用一个Transformer架构，其中两个模态融合在一个视觉语言编码器。在解码器中，模型学习生成上下文化的语言查询，然后将其解码并用于直接回归限界框并为相应的参考区域生成分割掩码。有了这个简单但高度情境化的模型，我们在REC和RES任务上都大大优于最先进的方法。我们还表明，一个简单的预训练时间表（在外部数据集上）进一步提高了性能。大量的实验和消融表明，我们的模型受益于上下文信息和多任务训练。
2021-07-14 cs.CV
Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
Waseda University（早稻田大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Dalian University of Technology（大连理工大学）
该研究针对遥感视觉问答中答案与证据一致性评估的缺失问题，提出AESP协议并构建G-RSVQA基准，实验发现7个模型在三类问题中均存在证据支持失败的情况。
2026-10-12 cs.CV
HiVG: Hierarchical Multimodal Fine-grained Modulation for Visual Grounding
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Pengcheng Laboratory（鹏城实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
HiVG提出多层自适应跨模态桥和层级多模态低秩适应范式，通过层级细粒度调制解决多模态预训练与视觉定位之间的任务差距，在五个数据集上验证了有效性。
2024-09-05 cs.CV
Learning to Compose and Reason with Language Tree Structures for Visual Grounding
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
自然语言在图像中的定位，如“树左边的黑狗”的定位，是人工智能的核心问题之一，因为它需要理解细粒度和组合的语言空间。然而，现有的解决方案依赖于整体语言特征和视觉特征之间的关联，而忽略了语言中隐含的组合推理的本质。在本文中，我们提出了一个自然语言接地模型，可以自动组成一个二叉树结构的语言分析，然后执行可视化推理沿树自下而上的方式。我们称我们的模型为RVG-TREE：递归接地树，它的灵感来自于直觉，即任何语言表达式都可以递归地分解为两个组成部分，并且接地置信度得分可以通过计算子树返回的接地得分来递归累积。RVG-TREE可以通过使用Straight-Through Gumbel-Softmax估计器进行端到端的训练，该估计器允许来自连续得分函数的梯度通过离散树结构。在几个基准测试上的实验表明，我们的模型达到了最先进的性能与更多的可解释的推理。
2019-06-05 cs.CV
OG: Equip vision occupancy with instance segmentation and visual grounding
Zhejiang University（浙江大学）
针对占据预测缺少实例区分且无法进行视觉定位的问题，本文提出 OG，利用亲和场聚类和 2D-3D 实例关联，结合 grounded-SAM 实现体素级实例分割与视觉定位。
2023-07-12 cs.CV
Cycle-Consistency Learning for Captioning and Grounding
Huawei Inc.（华为公司）；University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
提出CyCo循环一致性学习框架，桥接视觉定位与图像描述，实现半弱监督训练并提升全监督性能，生成可描述任意区域的通用描述模型。
2023-12-23 cs.CV
SiRi: A Simple Selective Retraining Mechanism for Transformer-based Visual Grounding
Beijing Jiaotong University（北京交通大学）；Princeton University（普林斯顿大学）；JD Explore Academy（京东探索研究院）；Sun Yat-sen University（中山大学）
在本文中，我们研究了如何使用现代视觉语言转换器实现更好的视觉基础，并提出了一种简单而强大的选择性再训练（SiRi）机制来完成这一具有挑战性的任务。特别是，SiRi传达了视觉背景研究的一个重要原则，即，更好的初始化视觉语言编码器将帮助模型收敛到更好的局部最小值，从而提高性能。具体来说，随着训练的进行，我们不断更新编码器的参数，同时定期重新初始化其余参数，以迫使模型基于增强的编码器进行更好的优化。SiRi可以在三个流行的基准上显着优于以前的方法。具体来说，我们的方法在RefCOCO + testA上达到了83.04%的Top1准确率，比最先进的方法（从头开始训练）高出10.21%以上。此外，我们发现，SiRi表现出惊人的优越性，即使有限的训练数据。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务，以验证其有效性。
2022-07-27 cs.CV
An Efficient and Effective Transformer Decoder-Based Framework for Multi-Task Visual Grounding
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出EEVG框架，用Transformer解码器实现线性成本的语言-视觉融合，并通过无参数背景token消除和轻量掩码头高效完成多任务视觉定位。
2024-08-02 cs.CV
InstanceRefer: Cooperative Holistic Understanding for Visual Grounding on Point Clouds through Instance Multi-level Contextual Referring
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Southern University of Science and Technology（南方科技大学）
与基于二维图像的视觉定位相比，基于自然语言引导的点云三维目标定位更具挑战性。在本文中，我们提出了一个新的模型，命名为InstanceRefer，通过地面匹配策略，以实现优越的三维视觉接地。在实践中，我们的模型首先使用简单的语言分类模型从语言描述中预测目标类别。然后，基于类别，我们的模型从点云的全景分割中筛选出少量的候选实例（通常小于20个）。因此，考虑到实例级候选比冗余3D对象提议更合理，非平凡3D视觉基础任务已被有效地重新制定为简化的实例匹配问题。随后，对于每个候选者，我们执行多级上下文推理，即，分别涉及实例属性感知、实例间关系感知和实例间背景全局定位感知。最后，最相关的候选人被选中，并通过排名的置信度得分，这是由合作的整体视觉语言特征匹配。实验证实，我们的方法优于以前的国家的最先进的ScanRefer在线基准和Nr 3D/Sr 3D数据集。
2021-07-29 cs.CV
GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；LLM-Core Xiaomi（小米LLM-Core）；The University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出GroundingME基准，通过四个维度评估MLLMs的视觉 grounding 能力，揭示其在区分相似物体、理解空间关系、处理遮挡和拒绝无解查询方面的不足，发现最佳模型仅达到45.1%的准确率。
2026-03-23 cs.CV
GroundVLP: Harnessing Zero-shot Visual Grounding from Vision-Language Pre-training and Open-Vocabulary Object Detection
Zhejiang University（浙江大学）；Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
GroundVLP提出一种零样本视觉定位方法，通过融合GradCAM热力图与开放词汇检测器目标提议，在RefCOCO等数据集上显著超越现有零样本方法，性能提升约28%。
2023-12-22 cs.CV
Improving One-stage Visual Grounding by Recursive Sub-query Construction
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）
我们通过解决目前对长时间和复杂查询的限制来改进一阶段视觉接地。现有的一阶段方法将整个语言查询编码为单个句子嵌入向量，例如，从BERT中获取嵌入或从LSTM中获取隐藏状态。这种单一的向量表示容易忽略查询中的详细描述。为了解决这一查询建模的不足，我们提出了一个递归的子查询构造框架，该框架在图像和查询之间进行多轮推理，并逐步减少引用歧义。我们展示了我们的新一阶段方法在ReferItGame，RefCOCO，RefCOCO+和RefCOCOg上分别获得了5.0%，4.5%，7.5%，12.8%的绝对改进。特别是，在更长和更复杂的查询上的卓越性能验证了我们的查询建模的有效性。
2020-08-03 cs.CV
GeoGround: A Unified Large Vision-Language Model for Remote Sensing Visual Grounding
Nanyang Technological University（南洋理工大学）；University of Reading（阅读大学）；Shanghai Jiao Tong University（上海交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Research（商汤科技研究院）
本文提出GeoGround框架，通过Text-Mask技术及提示辅助、几何引导学习，使大型视觉-语言模型统一支持HBB、OBB和掩码三类遥感视觉定位任务，并在多个基准上取得与专用方法相当的性能。
2025-05-10 cs.CV
High-Resolution Visual Reasoning via Multi-Turn Grounding-Based Reinforcement Learning
Fudan University（复旦大学）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
本文提出MGPO框架，通过多轮对话机制使LMMs在无需额外标注的情况下提升视觉定位能力，实验表明其在MME-Realworld和V*Bench任务中表现优异。
2026-04-20 cs.CV
