ChartAB: A Benchmark for Chart Grounding & Dense Alignment
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出 ChartAB 基准,通过提取表格数据、定位可视化元素等任务及两阶段推理工作流程,全面评估视觉语言模型在图表定位与跨图表对齐比较方面的能力,揭示了现有模型的细粒度差异与待改进技能。
2025-11-03 cs.CV
Align2Ground: Weakly Supervised Phrase Grounding Guided by Image-Caption Alignment
Georgia Institute of Technology(佐治亚理工学院);SRI International(SRI国际);Facebook AI Research(Facebook人工智能研究院)
我们解决了接地的问题,自由形式的文本短语,通过使用弱监督图像标题对。我们提出了一种新的端到端的模型,使用标题到图像检索作为“下游”的任务,以指导短语本地化的过程。我们的方法,作为第一步,推断感兴趣的区域(ROI)和标题中的短语之间的潜在对应关系,并使用这些匹配的ROI创建一个有区别的图像表示。在随后的步骤中,该(学习的)表示与标题对齐。我们的主要贡献在于建立这种“标题条件”的图像编码,它紧密耦合的任务,并允许弱监督,以有效地指导视觉接地。我们提供了广泛的实证和定性分析,以调查我们提出的模型的不同组成部分,并将其与竞争基线进行比较。对于短语本地化,我们报告了VisualGenome数据集上比现有技术水平提高了4.9%(绝对值)。我们还报告了COCO和Flickr 30 k数据集上下游标题到图像检索任务的最新结果。
2019-10-15 cs.CV
3DWG: 3D Weakly Supervised Visual Grounding via Category and Instance-Level Alignment
School of CS, Peking University(计算机科学系,北京大学);AI2Robotic;Wangxuan Institute of Computer Technology, Peking University(王轩计算机技术研究所,北京大学)
本文提出3DWG方法,通过类别级和实例级对齐分支分别利用预训练检测器类别知识与语言空间关系描述,解决三维弱监督视觉定位中的类别歧义和实例干扰问题,在Nr3D、Sr3D和ScanRef上取得最优性能。
2025-05-03 cs.CV
Language-Guided Diffusion Model for Visual Grounding
University of Toronto(多伦多大学)
提出语言引导扩散框架LG-DVG,通过迭代去噪噪声框实现视觉定位,在五个数据集上验证了生成式方法的优越性能。
2025-02-25 cs.CV cs.MM
Learning Point-Language Hierarchical Alignment for 3D Visual Grounding
Shandong University(山东大学);Meituan(美团)
该研究提出层级对齐模型HAM,通过带上下文调制的点-语言对齐机制和空间多粒度建模实现多粒度视觉语言表征对齐,在3D视觉定位任务上取得SOTA并获ECCV 2022 ScanRefer挑战赛冠军。
2023-06-09 cs.CV
Cross-modal Causal Relation Alignment for Video Question Grounding
Sun Yat-sen University(中山大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Nanyang Technological University(南洋理工大学)
本文提出跨模态因果关联对齐框架CRA,通过高斯平滑定位、跨模态对齐和显式因果干预消除虚假相关性,提升视频问题定位的因果一致性与鲁棒性。
2025-03-05 cs.CL cs.CV cs.LG
Knowledge to Sight: Reasoning over Visual Attributes via Knowledge Decomposition for Abnormality Grounding
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Imperial College London(伦敦帝国学院);University of Trento(特伦托大学);Helmholtz AI and Helmholtz Munich(海德堡人工智能与海德堡慕尼黑);King’s College London(伦敦国王学院)
针对医学图像异常定位中通用VLM的不足,提出K2Sight框架,通过将临床概念分解为视觉属性并编码为指令提示,实现数据高效训练,仅用1.5%数据训练的紧凑模型性能媲美7B+模型。
2025-08-06 cs.CV
Weakly-Supervised 3D Visual Grounding based on Visual Language Alignment
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Meituan Inc.(美团公司);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
针对现有3D视觉定位需大量边界框标注的问题,提出弱监督方法3D-VLA,利用VLMs的语义对齐能力及2D-3D对应关系构建文本-3D对应,在两个数据集上取得与全监督方法相当甚至更优的结果。
2025-08-26 cs.CL cs.CV
Joint Visual Grounding with Language Scene Graphs
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);Hefei University of Technology(合肥工业大学);Singapore Management University(新加坡管理大学)
视觉基础是一项任务,以地面在图像中的参考表达,例如,定位“白色卡车在黄色卡车前面”。为了从根本上解决这个任务,模型应该首先找出上下文对象(例如,“黄色”卡车),然后利用它们通过使用属性和关系(例如,“白色”,“黄色”,“在前面”)。然而,由于缺乏对上下文对象及其关系的注释,现有方法将上述联合接地过程退化为表达和区域之间的整体关联,从而遭受不令人满意的性能和有限的可解释性。在本文中,我们减轻了遗漏的注释问题,并使联合推理,利用语言场景图,其中包括标记的所指对象和未标记的上下文(其他对象,属性和关系)。具体地说,语言场景图是一种图形表示,其中节点是具有属性的对象,边是关系。我们构造了一个因素图的基础上,然后执行边缘化的图形,这样我们就可以地面上相应的图像区域的指示和上下文,以实现联合视觉接地(JVG)。实验结果表明,所提出的方法是有效的且可解释的,例如,在三个基准上,它优于最先进的方法,同时为指称表达式中提到的所有对象提供了完整的基础。
2020-04-10 cs.CV
Unleashing the Potential of Multimodal LLMs for Zero-Shot Spatio-Temporal Video Grounding
本文提出基于多模态大语言模型的零样本时空视频定位框架,通过分解时空高亮和时间增强组装策略提升推理能力,在三个STVG基准上超越现有最优方法。
2025-09-18 cs.CV
Prototype-Aware Multimodal Alignment for Open-Vocabulary Visual Grounding
College of Electronics and Information, Hangzhou Dianzi University(电子信息学院,杭州电子大学)
提出原型感知多模态学习框架PAML,通过ALBEF对齐、视觉判别编码器和原型发现继承机制,解决开放词汇视觉定位中的模态对齐、特征融合和原型利用问题,在五个基准上达到最先进性能。
2025-09-08 cs.CV
Scaling Representation Diversity: Modulated Attention and Reconstructive Regularization for Visual Grounding
针对指代表达理解模型跨数据集泛化能力有限的问题,提出含mACH与JEPA辅助流的架构及Objects365-Caption数据,实现了强泛化与具竞争力的REC性能。
2026-08-14 cs.CV
StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles
INESC-ID(INESC-ID研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院)
StoryMovie通过结合电影剧本和字幕,提升视觉叙事模型的语义对齐能力,使对话归属更准确。
2026-02-25 cs.AI cs.CV
Uncovering Grounding IDs: How External Cues Shape Multi-Modal Binding
本文提出地面ID概念,揭示外部线索通过增强多模态绑定的注意力机制,提升跨模态定位精度并减少幻觉。
2026-10-16 cs.AI cs.CV
Why Do VLMs Fail at Remote Physiological Measurement? Rethinking with Physiological Grounding and Numerical Alignment
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Sichuan University(四川大学);Nanyang Technological University(南洋理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
该研究针对VLMs在远程生理测量(RPM)中的失效问题,提出VITAL框架及结构化数值对齐方法,在多rPPG数据集上提升跨域估计性能,同时保留VLMs通用视觉理解能力。
2026-10-13 cs.CV
Learning Visual Grounding from Generative Vision and Language Model
Brown University(布朗大学);Google DeepMind(谷歌DeepMind);Google Cloud(谷歌云)
本研究利用生成式视觉语言模型通过提示生成目标级描述,结合属性与空间关系建模,构建大规模视觉定位数据集,并在RefCOCO基准上零样本迁移取得显著优于现有方法的性能。
2024-07-18 cs.CV
Context-Infused Visual Grounding for Art
University of Amsterdam(阿姆斯特丹大学)
本文提出CIGAr方法,通过在训练中利用艺术品描述作为上下文实现面向艺术的视觉定位,并构建新数据集Ukiyo-eVG,在两个艺术品数据集上取得目标检测新SOTA。
2024-10-16 cs.CV
ProVG: Progressive Visual Grounding via Language Decoupling for Remote Sensing Imagery
Xidian University(西安电子科技大学)
ProVG通过解耦语言表达为全局上下文、空间关系和对象属性,提出一种改进遥感图像定位精度的新框架,采用渐进式跨模态调节器和跨尺度融合模块,实现更精确的视觉语言对齐。
2026-04-02 cs.CV
YUBI-STAG: Contact and Semantic-Rich Alignment for VLAs via Automated Video-Language Grounding
提出YUBI-STAG框架,自动丰富操作演示的交互语义,并通过蒸馏的YUBI-VLM实现高效视频标注,后训练VLA策略以增强细粒度语言指令遵循和接触感知能力。
2026-10-08 cs.CV cs.RO
YORO -- Lightweight End to End Visual Grounding
UC San Diego(加州大学圣地亚哥分校);AWS AI Labs(AWS人工智能实验室)
我们提出了YORO -一个多模态Transformer编码器的视觉接地(VG)任务的唯一架构。该任务涉及在图像中定位经由自然语言引用的对象。与文献中使用多阶段方法以牺牲速度换取准确性的最近趋势不同,YORO通过采用单阶段设计,在没有CNN骨干的情况下,寻求在速度和准确性之间更好的权衡。YORO使用自然语言查询、图像补丁和可学习的检测令牌,并使用单个Transformer编码器预测所引用对象的坐标。为了帮助文本和视觉对象之间的对齐,提出了一种新的补丁文本对齐损失。在5个不同的数据集上进行了广泛的实验,并对建筑设计选择进行了消融。YORO被证明支持实时推理,并在这一类(单阶段方法)的大利润率优于所有的方法。它也是速度最快的VG模型,并在文献中实现了最佳的速度/精度权衡。
2022-11-15 cs.CV
PlaceSeek: Human-Centered Geospatial Retrieval of Urban Outdoor Places via Semantic Grounding and Affective Alignment
University of British Columbia(不列颠哥伦比亚大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);San Diego State University(圣地亚哥州立大学)
该研究针对现有地理空间检索难以满足情感/活动类需求的问题,提出 PlaceSeek 框架,通过语义 grounding 与情感对齐实现城市户外地点检索,在米兰数据集上的表现优于多种基线方法。
2026-08-26 cs.AI cs.CV cs.IR
RefCrowd: Grounding the Target in Crowd with Referring Expressions
University of Electronic Science and Technology of China(电子科技大学)
人群理解因其重要的现实意义而引起了视觉领域的广泛关注。遗憾的是,在多模态领域中没有努力探索连接自然语言和计算机视觉的人群理解。指称表达理解就是这样一种典型的多模态任务。目前的REF研究更侧重于在一般情况下从多个不同的类别接地的目标对象。它很难应用于复杂的现实世界人群理解。为了填补这一空白,我们提出了一个新的具有挑战性的数据集,称为RefCrowd,它致力于在人群中寻找目标人。它不仅要求充分挖掘自然语言信息,还要求仔细关注目标与一群外貌相似的人之间的细微差别,实现从语言到视觉的细粒度映射。此外,我们提出了一个细粒度的多模态属性对比网络(FMAC)来处理人群理解中的REF。它首先将复杂的视觉和语言特征分解为属性感知的多模态特征,然后捕获具有区分性但鲁棒性的细粒度属性特征,以有效区分相似人之间的这些细微差异。该方法在我们的RefCrowd数据集和现有REF数据集上的性能优于现有的最先进的(SoTA)方法。此外,我们还实现了一个端到端的REF工具箱,为多模态领域的深入研究奠定了基础。我们的数据集和代码可以在以下网址获得:\url{https://qiuheqian.github.io/datasets/refcrowd/}。
2022-06-16 cs.CV
From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation
Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);Ruyi Dynamics(如意动力);Fudan University(复旦大学);Swiss Federal Institute of Technology Lausanne (EPFL)(瑞士洛桑联邦理工学院)
研究视觉语言导航中当前评估协议局限,提出‘最后3米定位差距’及指标,构建REALM模块和REVERIE - AIM数据集,可减少过早终止,提升定位精度和视觉定位成功率。
2026-07-07 cs.CV cs.RO
REVEALER: Reinforcement-Guided Visual Reasoning for Element-Level Text-Image Alignment Evaluation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
REVEALER通过强化引导的视觉推理实现元素级文本-图像对齐评估,提升模型对齐判断的可解释性和效率。
2026-02-22 cs.CV
VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Carnegie Mellon University(卡内基梅隆大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学)
VideoGLaMM通过双视觉编码器和时空解码器实现视频像素级定位,在三个任务上均超越现有方法。
2025-03-25 cs.CV
MAGNet: Multi-Region Attention-Assisted Grounding of Natural Language Queries at Phrase Level
Syracuse University(雪城大学)
接地自由形式的文本查询需要理解这些文本短语及其与视觉线索的关系,以可靠地推理所描述的位置。空间注意力网络可以学习这种关系,并将目光集中在图像中的显著对象上。因此,我们建议利用空间注意力网络的图像级视觉-文本融合保留本地(词)和全球(短语)的信息,以完善区域建议与网络区域建议网络(RPN)和检测单个或多个区域的短语查询。我们只关注短语查询-地面真值对(引用表达式)对于独立于数据集的约束(即,附加属性、上下文等)的模型。对于这样的引用表达式数据集ReferIt游戏,我们的多区域注意力辅助接地网络(MAGNet)比现有的没有来自Flickr 30 k实体中的图像标题和属性信息的上下文,与最先进的技术相比,我们仍然获得了具有竞争力的结果。
2020-06-06 cs.CL cs.CV cs.LG
Co-Grounding Networks with Semantic Attention for Referring Expression Comprehension in Videos
Columbia University(哥伦比亚大学)
在本文中,我们解决的问题是指表达理解视频,这是具有挑战性的,由于复杂的表达和场景动态。不像以前的方法在多个阶段解决问题(即,跟踪,基于建议的匹配),我们从一个新的角度,\textbf{co-grounding},一个优雅的一个阶段的框架来解决这个问题。我们通过语义注意学习提高单帧接地的准确性,并提高跨帧接地的一致性与共接地特征学习。语义注意学习显式地解析不同属性中的指称线索,以减少复杂表达式中的歧义。共接地特征学习通过整合时间相关性来提高视觉特征表示,以减少场景动态引起的模糊性。实验结果表明,我们的框架上的视频接地数据集VID和LiOTB在跨帧生成准确和稳定的结果的优越性。我们的模型也适用于引用图像中的表达理解,RefCOCO数据集上的性能改进说明了这一点。我们的项目可以在https://sijiesong.github.io/co-grounding上找到。
2021-03-23 cs.CV
MultiModal Code-Switching: Interleaving Visual Objects into Language for Explicit Object-Level Alignment
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对现有多模态大语言模型的图像级对齐存在指称歧义的问题,提出多模态代码切换(MMCS)范式,构建含77.3万样本的数据集,仅用5万样本即可匹配或超越60万图像-文本对训练的模型,提升了视觉基础与感知能力。
2026-08-12 cs.CL cs.CV cs.LG
MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models
Purdue University(普渡大学)
提出MAGIC方法,利用预训练VLM中的多模态增益、桥接相关性和技能神经元签名三种内在信号,通过无训练、前向传播的核心集选择,构建紧凑且行为保真的子集用于多模态指令微调,在20%预算下达到甚至超越全微调性能。
2026-05-25 cs.CL cs.CV
SwimVG: Step-wise Multimodal Fusion and Adaption for Visual Grounding
Hefei University of Technology(合肥工业大学);National University of Defense Technology(国防科技大学);Nanjing University of Science and Technology(南京理工大学)
针对视觉定位中跨模态融合不足和计算成本高的问题,提出SwimVG框架,通过逐步多模态提示和跨模态交互适配器实现参数高效的多模态融合,在四个基准上取得显著效果。
2025-02-28 cs.CV
Multi-modal Attribute Prompting for Vision-Language Models
School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);Sangfor Technologies Inc.(深信服科技股份有限公司)
针对预训练视觉-语言模型少样本场景下忽略多模态属性、细粒度感知与泛化受限的问题,提出协同文本、视觉属性提示及属性级对齐的MAP方法,首次实现CLIP少样本适配的跨模态属性级对齐,在11个数据集上性能优于现有最优方法。
2024-07-11 cs.CV
Visual Grounding from Event Cameras
NUS(新加坡国立大学);HKUST(GZ)(香港科技大学(广州));NTU(南洋理工大学);HKUST(香港科技大学);I 2 R, A*STAR(新加坡科技研究局);IPAL, CNRS(法国国家科学研究中心IPAL);CerCo, CNRS(法国国家科学研究中心CerCo)
本文提出Talk2Event,首个基于事件相机数据的大规模语言驱动目标定位基准,包含5,567个场景和超3万条带结构化属性的指代表达式,支持动态场景中的可解释组合定位。
2025-09-11 cs.CV cs.RO
Advancing Fine-Grained Visual Understanding with Multi-Scale Alignment in Multi-Modal Models
ByteDance Inc(字节跳动公司);Fudan University(复旦大学);University of Science and Technology of China(中国科学技术大学)
针对多模态大语言模型细粒度知识对齐不足的问题,提出多尺度对齐方法整合文本、坐标与图像,构建超30万条数据合成流水线,并推出约3B参数的TinyGroundingGPT模型,在定位及复杂视觉任务中表现优异。
2024-11-14 cs.CV
Decoupled Spatial Temporal Graphs for Generic Visual Grounding
University of Technology Sydney(悉尼科技大学);Nankai University(南开大学)
由于视觉背景的多样性和复杂性,视觉背景一直是视觉语言理解中的一个难题。目前的实践主要集中在静态图像或修剪良好的视频剪辑中执行视觉基础。另一方面,这项工作研究了一个更一般的设置,通用的视觉基础,旨在挖掘所有满足给定表达式的对象,这在现实世界的场景中更具挑战性,但实用。重要的是,着陆结果预计将在空间和时间上准确定位目标。然而,在外观和运动特征之间进行权衡是很棘手的。在真实场景中,模型往往无法区分具有相似属性的干扰项。基于这些考虑,我们提出了一个简单而有效的方法,命名为DSTG,它致力于1)分解的空间和时间表示,以收集全面的线索,精确接地; 2)提高区分干扰和时间一致性与对比学习路由策略。我们进一步阐述了一个新的视频数据集,GVG,它包括具有挑战性的案件与远程视频。在Charades-STA、ActivityNet-Caption和GVG数据集上的实验表明,DSTG算法优于现有算法。将提供代码和数据集。
2021-03-18 cs.CV
Modularized Textual Grounding for Counterfactual Resilience
Arizona State University(亚利桑那州立大学);University of California, Irvine(加州大学欧文分校)
计算机视觉应用通常需要一个文本基础模块,该模块具有精确性、可解释性和对反事实输入/查询的弹性。为了实现高的接地精度,目前的文本接地方法严重依赖于大规模的训练数据与手动注释在像素级。这样的注释获取起来很昂贵,因此严重缩小了模型的实际应用范围。此外,这些方法中的大多数牺牲了可解释性,可概括性,并且它们忽视了对反事实输入的弹性的重要性。为了解决这些问题,我们提出了一个视觉基础系统,它是1)端到端可训练的弱监督的方式,只有图像级的注释,和2)反事实弹性由于模块化设计。具体地说,我们将文本描述分解为三个层次:实体,语义属性,颜色信息,并逐步进行组合接地。我们通过一系列的实验来验证我们的模型,并证明了它比最先进的方法的改进。特别是,我们的模型的性能不仅超过了其他弱/无监督的方法,甚至接近强监督的方法,而且对于决策也是可解释的,并且在面对反事实类时比其他所有方法表现得更好。
2019-07-01 cs.CV
Single-Stream Multi-Level Alignment for Vision-Language Pretraining
Northeastern University(东北大学);NEC Labs America(NEC美国实验室);UC San Diego(加州大学圣地亚哥分校)
从具有对比度损失的纯图像和文本进行的自监督视觉语言预训练是有效的,但由于双流架构仅在全局级别上对齐图像和文本表示,因此忽略了细粒度对齐。早期的有监督的非对比方法能够进行更细粒度的对齐,但需要不可扩展的密集注释。我们提出了一个单一的流架构,对齐图像和语言在多个层面:全球,细粒度的补丁令牌,概念/语义,使用两个新的任务:对称跨模态重建(XMM)和伪标记的关键词预测(PSL)。在XMM中,我们屏蔽来自一种模态的输入标记,并使用跨模态信息来重建被屏蔽的标记,从而改善两种模态之间的细粒度对齐。在PSL中,我们使用注意力来选择标题中的关键字,使用动量编码器来推荐标题中缺少但在图像中表示的其他重要关键字,然后训练视觉编码器来预测这些关键字的存在,帮助它学习语义概念,这些概念对于将文本标记基础到图像区域至关重要。我们在图像-文本检索、接地、视觉问答/推理方面展示了具有竞争力的性能和改进的数据效率,而不是更大的模型和在更多数据上训练的模型。代码和模型可在www.example.com上获得。
2022-07-27 cs.CV
LidaRefer: Context-aware Outdoor 3D Visual Grounding for Autonomous Driving
School of Computer Science and Engineering(计算机科学与工程学院)
针对户外3D视觉定位面临的背景干扰大、上下文标注缺失问题,提出上下文感知框架LidaRefer及DiSCo监督策略与伪标注方法,在Talk2Car-3D数据集上实现最优性能。
2025-07-31 cs.CV
SAT: 2D Semantics Assisted Training for 3D Visual Grounding
University of Rochester(罗切斯特大学);The Chinese University of Hong Kong(香港中文大学)
3D视觉基础旨在将关于3D场景的自然语言描述(通常以3D点云的形式表示)基础到目标对象区域。与2D图像相比,点云是稀疏的、有噪声的,并且包含有限的语义信息。这些固有的限制使得3D视觉接地问题更具挑战性。在这项研究中,我们提出了二维语义辅助训练(SAT),利用二维图像语义在训练阶段,以减轻点云语言联合表示学习,并协助三维视觉接地。其主要思想是学习丰富,干净的2D对象表示和3D场景中相应的对象或提到的实体之间的辅助对齐。SAT采用2D对象语义,即,对象标签、图像特征和2D几何特征,作为训练中的额外输入,但在推理期间不需要这样的输入。通过在训练中有效地利用2D语义,我们的方法将Nr3D数据集的准确率从37.7%提高到49.2%,显著超过了具有相同网络架构和推理输入的非SAT基线。我们的方法在多个3D视觉基础数据集上大幅优于现有技术,即,Nr3D的绝对准确度为+10.4%,Sr3D为+9.9%,ScanRef为+5.6%。
2021-09-22 cs.CV
LLM-RG: Referential Grounding in Outdoor Scenarios using Large Language Models
Birla Institute of Technology and Science Pilani, K.K Birla Goa Campus(比拉理工学院和科学学院,K.K Birla Goa校区);Carnegie Mellon University, Robotics Institute(卡内基梅隆大学,机器人研究所)
本文提出 LLM-RG 混合框架,结合 VLM 的视觉属性提取与 LLM 的符号思维链推理,在 Talk2Car 上零样本提升户外驾驶场景指称定位,3D 空间线索可进一步增强效果。
2025-10-21 cs.AI cs.CV cs.RO
From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP
Chalmers University of Technology(查尔姆斯理工大学)
提出CRISP诊断范式,通过一致性评估解耦感知与推理,揭示闭源模型存在度量估计不准确和未利用隐式结构表示的问题,开源模型则受限于多跳组合推理能力。
2026-06-26 cs.AI cs.CV
DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework
School of Computer Science, Wuhan University(武汉大学计算机学院);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab);Tsinghua University(清华大学)
本文提出DEGround框架,通过统一的框架实现检测与定位的物体级共享,引入两个任务特定模块提升细粒度指令定位性能,实验表明在多个基准上表现最佳,尤其在EmbodiedScan数据集上精度提升显著。
2026-04-28 cs.CV
DRISHTIKON: Visual Grounding at Multiple Granularities in Documents
提出多粒度多区块视觉定位框架DRISHTIKON,结合多语言OCR与大语言模型实现区块至点级别的答案定位,并构建MGVG基准,实验证明其在精确率和召回率上达到最优。
2025-07-16 cs.CV
PostAlign: Multimodal Grounding as a Corrective Lens for MLLMs
University of Oxford(牛津大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出MMGrounded-PostAlign框架,通过多模态接地和负拒绝机制增强MLLMs视觉理解并抑制幻觉,在多个基准上取得显著改进。
2025-06-22 cs.CV
Talk2Event: Grounded Understanding of Dynamic Scenes from Event Cameras
NUS(新加坡国立大学);HKUST(GZ)(香港科技大学(广州));NTU(南洋理工大学);HKUST(香港科技大学);I 2 R, A*STAR(I2R, A*STAR);IPAL, CNRS IRL 2955, Singapore(IPAL, CNRS IRL 2955, 新加坡);CerCo, CNRS UMR 5549, Université Toulouse III(CerCo, CNRS UMR 5549, 法国图卢兹第三大学)
该研究提出首个基于事件相机的语言驱动目标基础大规模基准Talk2Event,并提供属性感知框架EventRefer,通过事件属性专家混合动态融合多属性表示,在多种模态设置下取得持续性能提升。
2025-11-04 cs.CV cs.RO
Improving Referring Expression Grounding with Cross-modal Attention-guided Erasing
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
指称表达定位的目的是定位图像中具有指称表达的特定对象或人,其中的关键挑战是理解和对齐来自视觉和文本域的各种类型的信息,例如视觉属性,位置以及与周围区域的交互。虽然注意力机制已成功地应用于跨通道对齐,以前的注意力模型只关注两种通道的最主要的特征,而忽略了图像和指称表达之间可能存在多个全面的文本-视觉对应的事实。为了解决这个问题,我们设计了一种新的跨模态注意力引导擦除方法,在该方法中,我们丢弃来自文本或视觉域的最主要信息,以在线生成困难的训练样本,并驱动模型发现互补的文本-视觉对应关系。大量的实验证明了我们提出的方法的有效性,在三个引用表达式接地数据集上实现了最先进的性能。
2019-04-02 cs.CL cs.CV
See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学);China Telecom(中国电信)
提出视觉证据预对齐(VEPA)方法,在预训练与后训练之间引入充分性驱动的GRPO优化,以增强多模态大模型对细粒度视觉证据的利用,显著提升视觉密集型任务性能。
2026-06-17 cs.AI cs.CV
ChartREG++: Towards Benchmarking and Improving Chart Referring Expression Grounding under Diverse referring clues and Multi-Target Referring
Research Center for Social Computing and Interactive Robotics(社会计算与交互机器人研究中心)
针对现有图表指代表达式定位基准的局限,提出支持多种定位形式、多目标指代、多样化线索和图表类型的基准,并利用代码驱动合成流水线生成像素级实例掩码,训练实例分割模型集成到多模态定位框架,显著提升性能。
2026-06-09 cs.CL cs.CV
When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models
该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态,发现安全对齐未抑制感知接地,抑制拒绝相关表征可恢复接地回答,揭示了其一种新的失败模式。
2026-08-20 cs.CL cs.CV
Latent Visual Cache for Video Reasoning
Tencent Youtu Lab(腾讯优图实验室);Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
研究视频推理中视觉锚定衰减问题,提出潜在视频缓存Latent-VC插入解码器,通过监督对比缓存对齐等训练,在多视频基准测试中表现优于基线,能保留视觉证据提升推理。
2026-07-07 cs.CL cs.CV
GROOViST: A Metric for Grounding Objects in Visual Storytelling
University of Amsterdam(阿姆斯特丹大学);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出视觉叙事评估度量 GROOViST,通过建模跨模态依赖、时间错位和人类直觉来更准确地衡量故事对图像实体的锚定程度,并支持模块化分析。
2023-10-26 cs.AI cs.CL cs.CV
Learning Language Structures through Grounding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田技术研究所)
本论文研究通过视觉、程序执行和其他语言等接地信号学习语言结构,提出视觉接地语法归纳、执行感知语义解析和跨语言结构投影等方法,显著提升解析、组合泛化及零样本跨语言性能。
2024-10-21 cs.AI cs.CL cs.CV
VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings
Walmart Global Tech(沃尔玛全球技术)
本文提出 VL-CLIP 框架,利用视觉定位获取细粒度商品图像特征,并借助 LLM 智能体丰富和消歧文本嵌入,从而提升大规模电商多模态检索与推荐效果。
2025-07-22 cs.AI cs.CV cs.IR
HierCAD: Hierarchical Text-to-CAD Design via Structure Alignment and Parameter Grounding
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对文本到CAD设计中结构一致性和参数确定问题,提出HierCAD框架,通过分解CAD构造树进行渐进推理,并引入SAPG学习策略,在CAD序列生成和模型评估上优于现有方法。
2026-07-14 cs.CV
Fine-grained Semantic Alignment Network for Weakly Supervised Temporal Language Grounding
University of Science and Technology of China(中国科学技术大学)
时间语言基础(TLG)旨在基于自然语言描述在未经修剪的视频中定位视频片段。为了减轻时间边界标签手动注释的昂贵成本,我们致力于弱监督设置,其中仅提供视频级描述用于训练。现有的大多数弱监督方法通过基于MIL的框架生成候选片段集并学习跨模态对齐。然而,视频的时间结构以及句子中复杂的语义在学习过程中丢失。在这项工作中,我们提出了一种新的候选人自由的框架:细粒度语义对齐网络(FSAN),弱监督TLG。FSAN不是将句子和候选时刻作为一个整体来看待,而是通过迭代的跨模态交互模块来学习逐个片段的跨模态语义对齐,生成细粒度的跨模态语义对齐图,并直接在图的顶部执行接地。在两个广泛使用的基准测试:ActivityNet-Captions和DiDeMo上进行了大量的实验,其中我们的FSAN达到了最先进的性能。
2022-10-21 cs.CV