Towards Visual Text Grounding of Multimodal Large Language Model
Adobe Research(Adobe研究院);University of Maryland(马里兰大学);University at Buffalo(布法罗大学)
针对多模态大语言模型在文档等文本丰富图像上视觉文本定位能力不足的问题,提出TRIG任务及数据集,并基于指令微调和高效嵌入方法提升其定位与空间推理能力。
2025-09-23 cs.AI cs.CL cs.CV
GroundingSuite: Measuring Complex Multi-Granular Pixel Grounding
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息学院);vivo AI Lab(vivo人工智能实验室)
本文提出GroundingSuite,包含基于VLM智能体的自动标注框架、956万条指代表达式的大规模训练集及3800张图像的评估基准,显著提升了像素定位性能并实现比GLaMM快4.5倍的标注效率。
2025-07-15 cs.CV
SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing
本文提出SATGround方法,通过结构化定位机制提升卫星图像视觉语义理解,结合语言和空间信息增强定位精度,在多个遥感基准测试中取得显著提升,包括比先前方法提升33.2%的视觉语义定位性能。
2026-03-12 cs.CV
LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding
The Hong Kong Polytechnic University(香港理工大学);Princeton University(普林斯顿大学);Nanjing University(南京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出并行框解码(PBD)方法,将边界框和点作为原子单元单步解码,结合大规模数据集LocateAnything-Data,实现高效统一的目标定位与检测,在保持高精度同时显著提升解码吞吐量。
2026-05-27 cs.AI cs.CV cs.LG
Cross3DVG: Cross-Dataset 3D Visual Grounding on Different RGB-D Scans
ATR;Kyoto University(京都大学);RIKEN AIP(理化学研究所AIP)
提出跨数据集3D视觉定位任务及RIORefer数据集,发现跨数据集性能下降,融合多视图CLIP特征可缓解,为稳健3D定位提供基准。
2024-02-07 cs.CV
INTRA: Interaction Relationship-aware Weakly Supervised Affordance Grounding
Seoul National University(首尔大学)
本文提出 INTRA,仅用外中心图像通过对比学习和视觉-语言模型嵌入实现文本条件化弱监督可供性定位,在多个数据集上优于已有方法并具备良好泛化能力。
2024-09-10 cs.CV
R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding
KAIST(韩国科学技术院);AWS AI Labs(亚马逊人工智能实验室)
R-VLM通过放大区域提议和IoU感知目标函数,提升GUI元素定位精度,在多个基准上实现13%的定位精度提升和3.2-9.7%的导航任务精度改进。
2025-07-08 cs.CV
G^3: Geolocation via Guidebook Grounding
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
我们展示了语言如何改善地理定位:预测图像拍摄位置的任务。在这里,我们研究人类书面指南中的明确知识,这些指南描述了人类用于地理定位的显着和分类区分的视觉特征。我们提出的任务,地理定位通过指南接地,使用一个数据集的街景图像从一组不同的位置和相关的文本指南GeoGuessr,一个流行的互动地理定位游戏。我们的方法预测一个国家的每一个图像参加了自动提取的指南中的线索。使用国家级伪标签监督注意力可以获得最佳性能。我们的方法大大优于最先进的仅图像地理定位方法,Top-1准确度提高了5%以上。我们的数据集和代码可以在https://github.com/g-luo/geolocation_via_guidebook_grounding上找到。
2022-11-28 cs.CL cs.CV
Grounding Text-to-Image Diffusion Models for Controlled High-Quality Image Generation
Turkish-German University(土耳其-德国大学);Yıldız Technical University(耶尔德兹理工大学)
针对文本到图像生成中对象精确控制的问题,提出ObjectDiffusion模型,通过修改ControlNet架构集成GLIGEN锚定方法,以语义和空间信息为条件,实现目标对象在特定位置的精确渲染,在COCO数据集上指标优于现有SOTA模型。
2025-02-10 cs.AI cs.CV
VIMI: Grounding Video Generation through Multi-modal Instruction
Snap Inc(Snap公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学)
针对现有文本到视频扩散模型因缺乏大规模多模态提示视频数据导致视觉基础不足的问题,研究构建多模态提示数据集,提出两阶段训练的VIMI框架,实现多模态理解下的高质量视频生成,在UCF101基准上达SOTA。
2024-07-08 cs.AI cs.CL cs.CV
GroundingGPT:Language Enhanced Multi-modal Grounding Model
ByteDance Inc(字节跳动公司);Fudan University(复旦大学)
针对现有多模态大模型忽视跨模态局部信息、细粒度理解能力不足的问题,提出语言增强的多模态定位模型GroundingGPT,通过构建多模态多粒度数据集训练,实现精准的图像区域与视频时刻定位,提升多任务适用性。
2024-03-05 cs.CL cs.CV
The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
The University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学)
本文提出CompART,通过分解标题为以对象为中心的短语并构建复合短语,提升多对象定位能力,验证了其在多种视觉语言模型上的有效性。
2026-05-07 cs.CL cs.CV cs.LG
CYBORGS: Contrastively Bootstrapping Object Representations by Grounding in Segmentation
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
最近对比学习中的许多方法都致力于缩小像ImageNet这样的标志性图像预训练和像COCO这样的复杂场景预训练之间的差距。这种差距的存在很大程度上是因为常用的随机裁剪增强在不同对象的拥挤场景图像中获得语义不一致的内容。以前的作品使用预处理管道来定位显着的对象,以改善裁剪,但端到端的解决方案仍然是难以捉摸的。在这项工作中,我们提出了一个框架,通过联合学习表示和分割来实现这一目标。我们利用分割掩模来训练具有掩模相关对比度损失的模型,并使用部分训练的模型来引导更好的掩模。通过在这两个组件之间进行迭代,我们在分割信息中进行对比更新,同时在整个预训练过程中改进分割。实验表明,我们的表示鲁棒地转移到下游的分类,检测和分割任务。
2022-08-16 cs.AI cs.CV cs.LG
Mixture-of-Thought-Tokens: Unifying Perception and Reasoning for Free-form Multimodal Grounding
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(星辰通用人工智能实验室,中国电信人工智能技术(北京)有限公司);University of Science and Technology Beijing(北京科技大学);Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Jiao Tong University(上海交通大学)
研究旨在统一多模态基础定位中的感知与推理。提出思想令牌混合(Motto)方法,通过空间接地思想令牌化及上下文自适应令牌链实现,构建PR-Bench基准,实验证明该方法在自由形式接地任务中达领先性能。
2026-07-28 cs.CV
AugRefer: Advancing 3D Visual Grounding via Cross-Modal Augmentation and Spatial Relation-based Referring
University of Science and Technology of China(中国科学技术大学);Singapore University of Technology and Design(新加坡科技设计大学);Hefei University of Technology(合肥工业大学)
针对3D视觉定位训练文本-3D对不足、空间关系利用不充分的问题,提出AugRefer方法,通过跨模态增强扩充训练数据,并设计语言-空间自适应解码器,经多基准实验验证有效提升了3D视觉定位性能。
2025-01-16 cs.CV
Vision-Language Grounding as Bidirectional Concept Correspondence
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);FAIR at Meta(Meta FAIR实验室)
本研究将视觉-语言 Grounding 建模为双向概念对应,提出 ConCor-1 模型统一相关任务,在长文本数据集和零样本 LVIS 上对应 F1 分别提升 48%、29%,性能优于基线。
2026-08-11 cs.AI cs.CL cs.CV
CVA: Context-aware Video-text Alignment for Video Temporal Grounding
Daegu Gyeongbuk Institute of Science and Technology (DGIST), Republic of Korea(韩国大邱庆北科学技术院(DGIST))
本文提出CVA框架,通过查询感知上下文多样化、上下文不变边界判别损失和上下文增强Transformer编码器,提升视频时间定位的鲁棒性和准确性,显著提高Recall@1分数。
2026-03-26 cs.AI cs.CV cs.LG
Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud
Xidian University(西安电子科技大学);Hunan University(湖南大学);The University of Western Australia(西澳大学)
3D对象接地旨在基于自由形式的语言描述在原始点云场景中定位最相关的目标对象。由于点云的不规则性和稀疏性,理解复杂多样的描述并将其直接提升为点云是一个新的具有挑战性的课题。3D对象接地主要有三个挑战:在复杂多样的描述中找到主要焦点;理解点云场景;定位目标对象。在本文中,我们将解决所有三个挑战。首先,我们提出了一个语言场景图模块来捕捉丰富的结构和长距离短语相关性。其次,我们引入了一个多层次的三维建议关系图模块来提取对象与对象、对象与场景的共现关系,增强了初始建议的视觉特征。最后,我们开发了一个描述引导的三维可视化图形模块,通过节点匹配策略对短语和建议的全局上下文进行编码。在具有挑战性的基准数据集(ScanRefer和Nr 3D)上进行的大量实验表明,我们的算法优于现有的最先进的算法。我们的代码可以在https://github.com/PNXD/FFL-3DOG上找到。
2021-03-30 cs.CV
ZonUI-3B: A Lightweight Vision-Language Model for Cross-Resolution GUI Grounding
DeepCAT Lab, National Yang Ming Chiao Tung University(深猫实验室,国家阳明交通大学)
ZonUI-3B是一个可在单张RTX 4090上训练的轻量级视觉语言模型,通过24K跨平台多分辨率数据集和两阶段微调策略,在ScreenSpot等GUI定位基准上以84.9%和86.4%的准确率超越4B以下模型。
2025-07-18 cs.AI cs.CV
TextHawk2: A Large Vision-Language Model Excels in Bilingual OCR and Grounding with 16x Fewer Tokens
Huawei Technologies Co., Ltd.(华为技术有限公司)
针对现有大型视觉语言模型难以同时兼顾OCR与定位性能、细粒度感知令牌消耗高的问题,提出TextHawk2双语模型,通过令牌压缩、视觉编码器强化和数据多样性优化,以16倍更少的图像令牌实现多任务前沿性能,超越同规模闭源模型。
2024-10-07 cs.AI cs.CV
RoboGround: Robotic Manipulation with Grounded Vision-Language Priors
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出RoboGround系统,利用落地掩码作为中间表示结合大规模视觉-语言模型先验,指导机器人操作策略网络,并构建自动化数据生成流程,显著提升了策略的泛化能力。
2025-04-30 cs.CV cs.RO
Learning Affordance Grounding from Exocentric Images
JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);The University of Sydney(悉尼大学)
示能表示接地,接地任务(即,局部化)动作可能性区域,由于交互式示能表示的多样性,其面临与对象部分建立显式链接的挑战。人类有能力将各种离心互动转化为不变的自我中心启示,以对抗互动多样性的影响。为了赋予智能体这种能力,本文提出了一个任务的启示接地从离心的观点,即,给定偏心的人-对象交互和自我中心的对象图像,学习对象的示能性知识,并且仅使用示能性标签作为监督将其转移到自我中心的图像。为此,我们设计了一个跨视图的知识转移框架,提取具体功能的启示,从离心的相互作用,并通过保持启示的相关性,提高感知的启示区域。具体来说,一个示能不变性挖掘模块被设计为提取特定的线索,通过最小化类内的差异起源于交互习惯的离心图像。此外,示能性相关保持策略被提出来感知和定位示能性,通过对齐两个视图之间的预测结果的相关矩阵。特别地,通过从36个示能表示类别中收集和标记超过20 K的图像来构建名为AGD 20 K的示能表示基础数据集。实验结果表明,我们的方法优于代表模型的客观指标和视觉质量。代码:github.com/lhc1224/Cross-View-AG.
2022-03-18 cs.CV
GeM-VG: Towards Generalized Multi-image Visual Grounding with Multimodal Large Language Models
GeM-VG通过引入MG-Data-240K数据集和混合强化微调策略,提升多图像视觉 grounding 和通用多图像理解能力。
2026-01-08 cs.AI cs.CV
Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding
East China University of Science and Technology(华东理工大学);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学)
提出LazyMCoT动态框架,通过自适应路由评估不确定性,对简单查询跳过处理,对困难样本利用协作定位模块进行两阶段精炼,在提升推理精度的同时降低平均推理延迟。
2026-06-16 cs.CL cs.CV
Med-GLIP: Advancing Medical Language-Image Pre-training with Large-scale Grounded Dataset
Zhejiang University(浙江大学);Guangdong Institute of Intelligence Science(广东智能科学研究院)
本文构建了含530万区域级标注、覆盖七种模态的医学定位数据集 Med-GLIP-5M,并提出模态感知框架 Med-GLIP,通过隐式层级语义学习在多个定位基准上超越现有方法,并显著提升医学 VQA 和报告生成等下游任务性能。
2025-11-05 cs.AI cs.CV
ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation
KAIST(韩国科学技术院)
ORIGEN提出首个零样本3D方向定位方法,通过奖励引导采样和朗之万动力学,在文本到图像生成中实现对多对象3D方向的控制,性能优于现有方法。
2025-10-27 cs.CV cs.LG
DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning
University of California, Merced(加州大学梅尔德分校);The University of Queensland(昆士兰大学);vivo Mobile Communication Co., Ltd(vivo移动通信有限公司)
针对GUI定位中视觉元素杂、语言模糊等问题,提出无需训练的DiMo-GUI框架,通过模态分离推理和动态分层区域聚焦优化定位效果,在标准基准上优于基线推理管线。
2025-09-05 cs.AI cs.CV cs.HC
SAGE: Sink-Aware Guided Emphasis for Visual Grounding in Vision-Language Decoders
Chung-Ang University(中央大学)
SAGE是一种轻量级干预方法,通过引导视觉-语言解码器注意力远离提示不变汇聚点,提升视觉定位性能、减少幻觉,在多类VLM基准中取得一致增益。
2026-10-09 cs.CL cs.CV
ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning
Fudan University(复旦大学);Microsoft(微软公司)
针对现有视频理解框架缺乏有效帧选择训练信号、标注成本高的问题,提出ViaRL框架,用基于规则的强化学习结合迭代放大策略训练帧选择器,在多个基准上实现更优时序定位性能与泛化性。
2025-05-21 cs.AI cs.CV
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
针对现有时间定位模型组合泛化能力不足的问题,本文提出新任务与数据集划分,并采用变分跨图推理及自适应结构化语义学习,实现视频与语言层次化语义图的细粒度对应,显著提升组合泛化性能。
2023-01-22 cs.CV
UniVTG: Towards Unified Video-Language Temporal Grounding
Meta AI;Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学)
本文提出 UniVTG 统一框架,通过统一标签表述、可扩展伪监督和灵活定位模型,支持多类视频时序定位任务并实现大规模预训练与零样本定位。
2023-08-18 cs.CV
Disentangled Motif-aware Graph Learning for Phrase Grounding
Zhejiang University(浙江大学);City Cloud Technology (China) Co., Ltd(城市云技术(中国)有限公司)
在本文中,我们提出了一个新的图学习框架,短语接地的图像。从顺序图模型发展到稠密图模型,现有的工作捕获粗粒度的上下文,但不能区分短语和图像区域之间的上下文的多样性。相比之下,我们特别注意不同的图案隐含在场景图的上下文中,并设计了解纠缠图网络,将图案感知的上下文信息集成到表示中。此外,我们还在特征和结构层面上采取干预策略,以巩固和概括表征。最后,跨模态注意网络被用来融合模态内特征,其中每个短语可以被计算与区域的相似度以选择最佳接地。我们通过一系列消融研究验证了解纠缠和介入图网络(DIGN)的效率,我们的模型在Flickr30K实体和ReferIt游戏基准测试中达到了最先进的性能。
2021-04-13 cs.CL cs.CV
Grounding World Simulation Models in a Real-World Metropolis
KAIST AI(韩国科学技术院人工智能研究中心);NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(成均馆大学人工智能研究所)
本文提出Seoul World Model,通过检索增强的条件生成真实城市场景,解决时间错位和轨迹多样性问题,生成高保真、时序一致的长时景视频。
2026-03-16 cs.CV
How Do Medical MLLMs Fail? A Study on Visual Grounding in Medical Images
本文研究了医学 MLLMs 在视觉关联上的不足,通过设计 VGMED 数据集和 VGRefine 方法,验证了其在医学图像任务中的性能瓶颈。
2026-03-15 cs.AI cs.CV
MAD: A Scalable Dataset for Language Grounding in Videos from Movie Audio Descriptions
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Adobe Research(奥多比研究院)
最近对视频语言研究的兴趣越来越大,推动了大规模数据集的发展,这些数据集支持数据密集型机器学习技术。相比之下,在评估这些数据集对视频语言基础任务的适用性方面所做的努力有限。最近的工作已经开始发现这些数据集的重大局限性,这表明最先进的技术通常过拟合隐藏的数据集偏差。在这项工作中,我们提出了MAD(电影音频描述),一个新的基准,从现有的视频数据集与文本注释增强的范式出发,并专注于爬行和对齐主流电影的可用音频描述。MAD包含超过384,000个自然语言句子,这些句子基于超过1,200小时的视频,并显着减少了目前诊断的视频语言基础数据集的偏见。MAD的收集策略实现了一种新颖且更具挑战性的视频语言基础版本,其中短时间的时刻(通常为几秒钟长)必须准确地在长达三个小时的各种长格式视频中扎根。我们已经在https://github.com/Soldelli/MAD上发布了MAD的数据和基线代码。
2022-03-28 cs.AI cs.CV
Find Someone Who: Visual Commonsense Understanding in Human-Centric Grounding
Columbia University(哥伦比亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
从包含多个人的视觉场景中,人类能够区分每个人,给出关于之前发生的事情,他们的精神/身体状态或意图等的上下文描述。例如,如果要求识别图像中“需要治疗的人”,我们首先需要知道他们通常有受伤或痛苦的表情,然后找到相应的视觉线索,最后才能将人接地气。我们提出了一个新的常识任务,以人为中心的常识接地,测试模型的能力,地面个人的上下文描述之前发生了什么,他们的精神/身体状态或意图。我们进一步创建了一个基准,HumanCog,一个数据集,其中有13万个接地常识描述注释在67 k个图像上,涵盖了各种类型的常识和视觉场景。我们建立了一个上下文对象感知的方法作为一个强大的基线,它优于以前的预训练和非预训练模型。进一步的分析表明,丰富的视觉常识和多模态常识的强大整合是必不可少的,这对未来的工作有启发意义。数据和代码将在https://github.com/Hxyou/HumanCog上提供。
2022-12-14 cs.CL cs.CV
ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);The Chinese University of Hong Kong(香港中文大学)
ViewRefer提出多视图3D视觉定位框架,利用GPT扩展文本描述并结合跨视图注意力与可学习多视图原型,在三个基准上显著超越现有方法。
2023-12-05 cs.AI cs.CL cs.CV
MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding
THUNLP-MT
MUSEG通过引入时间感知多段定位,提升多模态大语言模型对视频时间信息的理解能力,通过定制化强化学习训练方案实现更全面的时间推理。
2026-04-18 cs.CL cs.CV
Grounding and Explaining Visual Evidence for AI-Generated Image Detection in Human-Centric Scenes
针对以人为中心场景AI生成图像检测的证据定位与解释局限,提出HAVE数据集及PAVE框架,实现真伪预测、证据定位与解释生成,实验表现优异。
2026-09-01 cs.CV
Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding
Arizona State University(亚利桑那州立大学);AWS Agentic AI
本文探讨了离散扩散视觉-语言模型在GUI定位中的应用,通过混合掩码策略提升定位精度,并在多个数据集上验证了其有效性。
2026-03-27 cs.AI cs.CV
DRISHTIKON: Visual Grounding at Multiple Granularities in Documents
提出多粒度多区块视觉定位框架DRISHTIKON,结合多语言OCR与大语言模型实现区块至点级别的答案定位,并构建MGVG基准,实验证明其在精确率和召回率上达到最优。
2025-07-16 cs.CV
Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions
Inria(法国国家信息与自动化研究所)
通过对比开放权重视觉语言模型与传统OCR基线在低资源古希腊批判版本上的表现,发现VLM即使错误也能生成流畅文本,表明其依赖语言先验,并引入扰动和标记级定位度量分析视觉证据。
2026-09-09 cs.AI cs.CL cs.CV
ScreenParse: Moving Beyond Sparse Grounding with Complete Screen Parsing Supervision
IBM Research Zurich, Zurich, Switzerland(IBM苏黎世研究实验室,瑞士苏黎世);ETH Zurich, Computer Vision(苏黎世联邦理工学院,计算机视觉);ETH AI Center, Switzerland(苏黎世联邦理工学院人工智能中心,瑞士);ETH Zurich, Photogrammetry(苏黎世联邦理工学院,摄影测量学);Microsoft, Switzerland(微软公司,瑞士)
ScreenParse通过大规模完整屏幕解析标注,训练出性能优异的ScreenVLM模型,显著提升了密集解析能力和迁移表现。
2026-05-01 cs.CV
CLIP-VG: Self-paced Curriculum Adapting of CLIP for Visual Grounding
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Peng Cheng Laboratory (PCL)(鹏城实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出CLIP-VG方法,通过自步课程自适应策略利用伪语言标签迁移CLIP到视觉定位任务,在无监督和弱监督场景下显著超越现有方法。
2024-11-19 cs.CV
Object-Aware Multi-Branch Relation Networks for Spatio-Temporal Video Grounding
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Huawei Cloud & AI(华为云与人工智能)
时空视频接地的目的是根据给定的句子检索查询对象的时空管道。目前,大多数现有的接地方法仅限于对齐良好的段句子对。在本文中,我们探索时空视频接地不对齐的数据和多形式的句子。这个具有挑战性的任务需要捕捉关键的对象关系,以确定查询的目标。然而,现有的方法不能区分显着的对象,并保持在无效的关系建模之间的不必要的对象。因此,我们提出了一种新的对象感知的多分支关系网络的对象感知关系发现。具体地说,我们首先设计了多个分支来开发对象感知区域建模,其中每个分支专注于句子中提到的关键对象。然后,我们提出了多分支关系推理捕捉关键对象之间的关系的主要分支和辅助分支。此外,我们应用多样性损失,使每个分支只关注其对应的对象,并促进多分支学习。大量的实验表明了该方法的有效性。
2020-08-22 cs.CV cs.MM
Segmentation before Answering: Pixel Grounding for MLLM Visual Reasoning
本文针对多模态大语言模型视觉推理,提出SegAnswer方法,将放大单元从边界框转为像素级分割掩码,能精准定位感兴趣区域,过滤冗余信息,与视觉令牌构建方式更契合,经多基准测试验证了其在像素定位及分割任务上的性能。
2026-07-08 cs.AI cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University(上海交通大学SAI实验室);ByteDance Seed(字节跳动种子)
本文提出UniTime模型,利用生成多模态大语言模型实现通用视频时间定位,有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models
KAIST(韩国科学技术院)
提出LiteLVLM,一种无需训练、文本引导的令牌剪枝策略,通过反转CLIP视觉-文本相似度排序,保留指代区域令牌并恢复上下文令牌,实现高效像素定位推理,在多种令牌预算下性能提升超5%,保持90%原始性能同时加速22%并减少2.3倍内存。
2026-06-01 cs.AI cs.CV
Synthetic Object Compositions for Scalable and Accurate Learning in Detection, Segmentation, and Grounding
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(人工智能研究院)
合成对象组合(SOC)通过新的以对象为中心的组合策略,实现了准确且可扩展的数据合成流程,提升了检测、分割和接地任务的性能,尤其在低数据和封闭词汇场景中表现突出。
2026-01-26 cs.AI cs.CV
From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation
Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);Ruyi Dynamics(如意动力);Fudan University(复旦大学);Swiss Federal Institute of Technology Lausanne (EPFL)(瑞士洛桑联邦理工学院)
研究视觉语言导航中当前评估协议局限,提出‘最后3米定位差距’及指标,构建REALM模块和REVERIE - AIM数据集,可减少过早终止,提升定位精度和视觉定位成功率。
2026-07-07 cs.CV cs.RO
STORM: End-to-End Referring Multi-Object Tracking in Videos
Amazon(亚马逊)
STORM通过统一框架联合执行目标定位与跟踪,提升数据效率并构建新数据集,实现多目标跟踪的先进性能。
2026-04-12 cs.AI cs.CV
When Thinking Drifts: Evidential Grounding for Robust Video Reasoning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);UC Berkeley(伯克利大学);Bespoke Labs(Bespoke实验室)
针对视频推理中思维链导致的视觉思维漂移问题,提出视觉证据奖励(VER)强化学习框架,在10个基准上达到顶尖性能,实现基于视觉证据的稳健推理。
2025-10-07 cs.AI cs.CV
Latent Expression Generation for Referring Image Segmentation and Grounding
GIST(韩国科学技术院);Seoul National University(首尔国立大学);POSTECH
本文提出一种视觉定位框架,通过从单一文本生成多个融合互补视觉细节的潜在表达,并引入主体分配器、视觉概念注入器及正间隔对比学习,在RIS、REC和GRES任务上取得领先性能。
2025-08-18 cs.AI cs.CV
Seeing is Believing: Rich-Context Hallucination Detection for MLLMs via Backward Visual Grounding
针对多模态大语言模型(MLLMs)的幻觉问题,提出无参考检测框架VBackChecker,通过像素级定位大语言模型验证响应与视觉输入的一致性,设计R-Instruct数据生成 pipeline 并构建R²-HalBench基准,在相关任务上实现最先进性能。
2025-11-15 cs.CL cs.CV