InSituMeasure: Probing Situated Measurement Grounding in Industrial Scenes with Multimodal Large Language Models
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本研究提出InSituMeasure数据集评估工业场景中情境测量接地,发现24个SOTA多模态大语言模型在该任务上表现不佳,存在通用能力与可靠情境测量的差距,故障源于文本捷径、过度自信响应及真实工业噪声。
2026-09-04 cs.AI
TAVR-VLM: Risk-Conditioned Causal Grounding for Hallucination-Resistant Report Generation
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Shanghai Jiao Tong University(上海交通大学);University of Liverpool(利物浦大学);Kunming University of Science and Technology(昆明理工大学)
提出TAVR-VLM框架,通过风险条件因果注意力(R-CGA)建立“风险→区域→词”的结构化基础路径,在TAVR规划中减少诊断幻觉,实现新最优性能。
2026-06-26 cs.AI
Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long Videos
Tsinghua University(清华大学)
提出Grounding-Prompter方法,通过多模态信息提示大语言模型,并采用边界感知提示策略(含多尺度去噪思维链、有效性原则和一次性上下文学习),解决长视频中时间句子定位的复杂上下文与多模态挑战,实现最先进性能。
2023-12-28 cs.AI cs.CV
Emergent Visual Grounding in Large Multimodal Models Without Grounding Supervision
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文发现无需定位监督,大型多模态模型可涌现视觉定位能力,提出注意-分割方法和DIFFLMM模型,在多个基准上取得有竞争力性能,并在接地对话生成上超越强监督模型GLaMM。
2025-10-16 cs.AI cs.CV cs.LG
Grounding the Ungrounded: A Spectral-Graph Framework for Quantifying Hallucinations in Multimodal LLMs
Morgan Stanley(摩根士丹利);Indian Statistical Institute (Kolkata)(印度统计研究所(加尔各答))
本文提出了一种基于谱-图框架的多模态大语言模型幻觉量化方法,通过谱分解和RKHS本征模式,提供可解释的语义失真度量。
2025-12-10 cs.AI cs.LG
Temporal Grounding of Activities using Multimodal Large Language Models
Stanford University(斯坦福大学)
本文提出结合图像与文本LLM的两阶段时序活动定位方法,并通过指令微调提升小型多模态LLM,在Charades-STA上优于现有视频LLM。
2024-05-30 cs.AI cs.CV
TrackTeller: Temporal Multimodal 3D Grounding for Behavior-Dependent Object References
Zhejiang University(浙江大学);Fudan University(复旦大学);Huawei Technologies Ltd.(华为技术有限公司)
TrackTeller通过融合LiDAR图像、语言条件解码和时间推理,提升动态3D场景中基于语言的物体定位与跟踪性能。
2025-12-25 cs.AI cs.CV
COMPASS: Grounding Composition-Intent Guidance in Unified Multimodal Models
University of Edinburgh(爱丁堡大学);State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)(多模态人工智能系统国家重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Ant Group(蚂蚁集团)
提出统一框架COMPASS,通过共享专家令牌τ_c实现构图感知与生成的双向锚定,结合MoE骨干和Comp-11数据集,显著提升细粒度构图理解与可控生成能力。
2026-09-01 cs.AI
DeAR: Decentralized Agentic Reasoning via Capability Grounding and Collaborative Thought Navigation
针对现有智能体推理系统的路由瓶颈与静态角色分配问题,提出DeAR框架,通过三种机制实现去中心化协作,在9类基准测试中性能优于基线方法,提升了知识密集型推理任务的准确性。
2026-08-19 cs.AI
Trifuse: Enhancing Attention-Based GUI Grounding via Multimodal Fusion
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);Intelligent Game and Decision Lab, Academy of Military Sciences(智能游戏与决策实验室,军事科学院)
Trifuse通过多模态融合提升GUI定位性能,整合注意力、OCR文本和图标描述语义,无需任务微调即可实现高效定位。
2026-02-06 cs.AI cs.CV
GeM-VG: Towards Generalized Multi-image Visual Grounding with Multimodal Large Language Models
GeM-VG通过引入MG-Data-240K数据集和混合强化微调策略,提升多图像视觉 grounding 和通用多图像理解能力。
2026-01-08 cs.AI cs.CV
ClinLens: Towards Long-Horizon LLM Agents for Longitudinal Multimodal Clinical Data Science
Shandong University(山东大学)
该研究推出CLINLENS基准,包含200项基于5种MIMIC资源的临床可执行任务,实验显示现有编码智能体与生物医学系统在正确临床分析上存在显著差距。
2026-09-29 cs.AI
Using Game Play to Investigate Multimodal and Conversational Grounding in Large Multimodal Models
University of Potsdam(波茨坦大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
针对多模态模型评估方法滞后于模型发展的问题,本文将目标导向型游戏自我博弈的评估范式引入多模态领域,设计游戏测试视觉表征与对话对齐能力,发现闭源大模型表现优于开源模型,且深度字幕能力是关键影响因素,该基准仍具研究价值。
2024-12-11 cs.AI cs.CL
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
本文提出DiG框架,通过学习相似图像对的差异识别提升多模态大语言模型的细粒度感知能力,实验表明其在多个视觉感知基准上表现优异。
2026-03-17 cs.AI cs.CV
Ablation Study of Multimodal Perception, Language Grounding, and Control for Human-Robot Interaction in an Object Detection and Grasping Task
Dalian University of Technology(大连理工大学)
本文通过消融研究探讨多模态感知、语言接地和控制模块对端到端性能的影响,评估最佳组合以优化执行时间和成功率。
2026-05-01 cs.AI cs.RO
Efficient Object-Level Visual Context Modeling for Multimodal Machine Translation: Masking Irrelevant Objects Helps Grounding
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
视觉上下文为多模态机器翻译(MMT)提供了基础信息。然而,以往的MMT模型和视觉特征的探索研究表明,视觉信息在MMT中的探索较少,因为它往往是多余的文本信息。在本文中,我们提出了一个对象级的视觉上下文建模框架(OVC),有效地捕捉和探索多模态机器翻译的视觉信息。与检测到的对象,建议OVC鼓励MMT地面翻译所需的视觉对象,通过掩盖不相关的对象在视觉模态。我们配备了一个额外的对象掩蔽损失,以实现这一目标。根据被掩蔽对象与源文本的相似度来估计对象掩蔽损失,以鼓励对与源文本无关的对象进行掩蔽。此外,为了生成视觉一致的目标词,我们进一步提出了一个视觉加权的翻译损失OVC。在MMT数据集上的实验表明,所提出的OVC模型的性能优于最先进的MMT模型,分析表明,屏蔽无关对象有助于MMT的接地。
2020-12-18 cs.AI cs.CL cs.CV
Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification
Tsinghua University(清华大学)
提出一种从帧级到秒级跟踪的流水线,结合跨秒平滑、链式思维轨迹合成和强化学习优化,在长视频中实现高效且准确的时空定位。
2026-06-27 cs.AI cs.CV
Giving Commands to a Self-driving Car: A Multimodal Reasoner for Visual Grounding
KU Leuven(鲁汶大学)
我们提出了一个新的空间记忆模块和空间推理视觉接地(VG)任务。这个任务的目标是根据给定的文本查询在图像中找到某个对象。我们的工作重点是将区域建议网络(RPN)的区域集成到一个新的多步推理模型中,我们将其命名为多模态空间区域推理机(MSRR)。引入的模型使用来自RPN的对象区域作为2D空间记忆的初始化,然后根据查询实现对每个区域进行评分的多步推理过程,因此我们称之为多模态推理机。我们在具有挑战性的数据集上评估了这个新模型,我们的实验表明,与当前最先进的模型相比,我们的模型在图像的对象区域和查询的单词上联合推理,大大提高了准确性。
2021-05-26 cs.AI cs.CL cs.CV
VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);Allen Institute for AI(艾伦人工智能研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出多模态网页理解与定位基准VisualWebBench,包含7类任务和1.5K个真实网页实例,系统评估14个开源MLLMs及主流闭源模型,揭示了当前模型在文本丰富环境定位和低分辨率输入上的不足。
2024-04-09 cs.AI cs.CL
Beyond Artificial Misalignment: Detecting and Grounding Semantic-Coordinated Multimodal Manipulations
Hefei University of Technology(合肥工业大学);University of Trento(特伦托大学)
针对现有基准因人工错位难以反映真实多模态篡改的问题,构建首个语义对齐多模态篡改数据集SAMM,并提出RamDG框架,利用外部知识检索辅助定位与检测,准确率超SOTA 2.06%。
2025-09-16 cs.AI cs.CV
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
V-Zen: Efficient GUI Understanding and Precise Grounding With A Novel Multimodal LLM
SuperAGI Research(SuperAGI研究机构)
V-Zen是一种新型多模态大语言模型,通过双分辨率图像编码器实现高效GUI理解与精准定位,结合GUIDE数据集微调,提升下一步动作预测,为自主计算系统奠定基础。
2024-07-21 cs.AI cs.CV
A New Dataset and Benchmark for Grounding Multimodal Misinformation
National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University(多媒体软件国家工程研究中心,计算机科学学院,武汉大学);School of Computing, National University of Singapore(计算学院,新加坡国立大学);School of Computer Science, Peking University(计算机科学学院,北京大学);State Key Laboratory for Multimedia Information Processing, Peking University(多媒体信息处理国家重点实验室,北京大学)
针对在线虚假信息视频,提出多模态虚假信息定位任务及首个真实数据集GroundLie360,并设计VLM基线FakeMark,实现跨模态检测与定位,推动可解释检测。
2025-09-08 cs.AI cs.MM cs.SI
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
The Hong Kong Polytechnic Univ(香港理工大学);Nanjing Univ(南京大学);NVIDIA(NVIDIA公司);Harvard Univ(哈佛大学)
VideoITG通过设计VidThinker流水线,自动生成指令条件化描述,检索相关视频片段并选择关键帧,提升多模态视频理解任务的性能。
2026-03-17 cs.AI cs.CV
MNER-QG: An End-to-End MRC framework for Multimodal Named Entity Recognition with Query Grounding
Beijing Institute of Technology(北京理工大学);JD AI Research(京东人工智能研究院);Australian National University(澳大利亚国立大学)
多模态命名实体识别(MNER)是信息抽取中的一个关键步骤,它的目的是在给定的图片-图像对中检测实体跨度并将其分类为相应的实体类型。现有的方法要么(1)从注意力机制获得具有粗粒度视觉线索的命名实体,要么(2)首先使用工具包检测细粒度视觉区域,然后识别命名实体。然而,它们遭受实体类型和视觉区域之间的不正确对齐或错误传播的两阶段方式,最终将无关的视觉信息导入文本。在本文中,我们提出了一种新的端到端的框架名为MNER-QG,可以同时执行基于MRC的多模态命名实体识别和查询接地。具体来说,在查询的帮助下,MNER-QG可以提供实体类型和视觉区域的先验知识,并进一步增强文本和图像的表示。为了执行查询接地任务,我们提供了手动注释和弱监督,这些注释和弱监督是通过使用迁移学习训练高度灵活的视觉接地模型获得的。我们在两个公共MNER数据集Twitter 2015和Twitter 2017上进行了广泛的实验。实验结果表明,MNER-QG优于当前最先进的模型在MNER任务,也提高了查询接地性能。
2022-11-27 cs.AI cs.CL cs.CV
Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models
Beijing Jiaotong University(北京交通大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
针对现有多模态大语言模型在复杂多图像场景中定位精度不足的问题,提出首个自由形式多图像定位模型Migician,构建MGrounding-630k数据集和MIG-Bench基准,实验性能显著优于现有模型。
2025-02-18 cs.AI cs.CL cs.CV
Avenir-Web: Human-Experience-Imitating Multimodal Web Agents with Mixture of Grounding Experts
University College London(伦敦大学学院);The University of Edinburgh(爱丁堡大学);Princeton University(普林斯顿大学)
Avenir-Web通过融合接地专家与经验模仿规划,实现了在复杂网络界面中可靠执行长周期任务的开源网络代理新纪录。
2026-02-02 cs.AI cs.CL
When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning
该研究针对多模态大语言模型在视觉化任务语义场景下的准确率下降问题,提出提示词-区域定位方法,有效提升了基准测试准确率且无需OCR或区域元数据。
2026-08-06 cs.AI cs.CV
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS(加州大学伯克利分校电子工程与计算机科学系);Sony Corp.(索尼公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而,诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和,以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的,由于其高维度,我们建议利用多模态紧凑双线性池(MCB),有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答,我们提出了一个架构,它使用MCB两次,一次用于预测注意空间特征,并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
VTPerception-R1: Enhancing Multimodal Reasoning via Explicit Visual and Textual Perceptual Grounding
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Shenzhen University(深圳大学);University of Science and Technology of China(中国科学技术大学)
针对 MLLM 推理缺乏感知证据支撑的问题,本文提出两阶段框架 VTPerception-R1,通过感知增强微调及含视觉、文本与一致性奖励的强化学习,提升多模态推理的准确性与鲁棒性。
2025-09-29 cs.AI cs.CV
Towards Visual Text Grounding of Multimodal Large Language Model
Adobe Research(Adobe研究院);University of Maryland(马里兰大学);University at Buffalo(布法罗大学)
针对多模态大语言模型在文档等文本丰富图像上视觉文本定位能力不足的问题,提出TRIG任务及数据集,并基于指令微调和高效嵌入方法提升其定位与空间推理能力。
2025-09-23 cs.AI cs.CL cs.CV
ExpVG: Investigating the Design Space of Visual Grounding in Multimodal Large Language Model
University of Illinois Chicago(伊利诺伊大学香槟分校);Sony AI(索尼人工智能)
针对多模态大语言模型(MLLMs)视觉定位(VG)任务中设计选择缺乏系统验证的问题,本文以LLaVA-1.5为基础,全面研究影响VG性能的设计选择,优化模型并在RefCOCO系列数据集上取得显著提升。
2025-08-19 cs.AI cs.CL cs.CV
Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
Groma通过局部视觉标记化机制,将图像分解为区域标记并整合到指令与响应中,实现区域描述和视觉定位,在基准测试中优于依赖外部模块的MLLM。
2024-04-19 cs.AI cs.CL cs.CV
Citrus-V: Advancing Medical Foundation Models with Unified Medical Image Grounding for Clinical Reasoning
JDH Algo(京东健康算法)
Citrus-V是一种多模态医学基础模型,整合检测、分割和思维链推理,实现像素级病灶定位与临床诊断推理,在多个基准上超越现有开源模型。
2025-09-24 cs.AI cs.CL cs.CV
Affective Multimodal Agents with Proactive Knowledge Grounding for Emotionally Aligned Marketing Dialogue
Hunan Police Academy, Department of Criminal Investigation(湖南警察学院犯罪侦查系);Business College, California State University(加州州立大学长滩分校商学院);Northwestern University(西北大学);AI Agent Lab, Vokram Group(Vokram集团AI代理实验室);Beijing University of Technology(北京理工大学);Zheng Zhou University of Light Industry(郑州轻工业大学)
AffectMind通过主动知识 grounding 和情绪-意图对齐模型,提升营销对话中的情感一致性与说服效果。
2025-12-20 cs.AI cs.CL cs.LG
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
提出LEGO-OPD,通过因子化组合语言与定位专家教师,在贝叶斯框架下独立控制视觉监督强度,实现多模态蒸馏中视觉定位与语言推理的平衡,实验验证优于现有基线。
2026-10-02 cs.AI cs.CL cs.CV
GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding
University at Buffalo(布法罗大学);Adobe Research(Adobe研究院)
GUI-AIMA通过多模态注意力对齐与上下文锚点,实现高效的GUI定位,无需坐标生成,提升数据效率和性能。
2026-07-01 cs.AI cs.CL cs.CV
VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings
Walmart Global Tech(沃尔玛全球技术)
本文提出 VL-CLIP 框架,利用视觉定位获取细粒度商品图像特征,并借助 LLM 智能体丰富和消歧文本嵌入,从而提升大规模电商多模态检索与推荐效果。
2025-07-22 cs.AI cs.CV cs.IR
GLaMM: Pixel Grounding Large Multimodal Model
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Aalto University(阿尔托大学);Carnegie Mellon University(卡内基梅隆大学);University of California - Merced(加州大学默塞德分校);Linköping University(林雪平大学);Google Research(谷歌研究院)
GLaMM是首个能生成自然语言响应并与分割掩码无缝交织的大型多模态模型,支持多粒度交互,并引入GCG任务和GranD数据集,在多项下游任务中表现优异。
2024-06-02 cs.AI cs.CV
No Labels, No Problem: Training Visual Reasoners with Multimodal Verifiers
California Institute of Technology(加州理工学院)
本文提出无需标注的视觉推理训练框架,结合AI驱动的验证器提升推理与定位能力,超越现有开源和专有模型。
2025-12-09 cs.AI cs.CV
CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院);Zhongguancun Academy(中关村科学城创新中心);Shanghai Innovation Institute(上海创新研究院)
研究多模态上下文学习问题,引入CLBench-V基准,围绕上下文基础、新信息应用和新知识学习三个维度组织任务,结合公共基准与新数据集,经自动化程序构建,测试六个模型,分析相关因素,揭示多模态上下文学习远未饱和及各模型表现情况。
2026-07-29 cs.AI cs.CL cs.CV
AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation
Hasso Plattner Institute(霍普夫纳研究所);MBZUAI(穆萨大学人工智能研究所)
提出AnatomiX,一种两阶段解剖学感知多模态大语言模型,通过先识别解剖结构再执行下游任务,在解剖定位、短语定位、定位诊断和定位描述任务上相比现有方法提升超过25%。
2026-05-23 cs.AI cs.CV cs.LG
Think Before You Drive: World Model-Inspired Multimodal Grounding for Autonomous Vehicles
University of Macau(澳门大学);UESTC(电子科技大学);Purdue University(普渡大学);McGill University(麦吉尔大学);Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出ThinkDeeper框架,通过预测未来空间状态提升自动驾驶车辆的自然语言指令理解能力,结合超图引导解码器融合多模态输入,提出DrivePilot数据集并在多个基准测试中表现优异。
2026-05-08 cs.AI cs.CV
Towards Understanding Visual Grounding in Visual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Heriot-Watt University(赫瑞-沃德大学)
本综述回顾了现代通用视觉语言模型(VLMs)中视觉定位的研究,系统梳理了其核心组件、实际应用基准、与多模态思维链及推理的相互关系,并分析了当前挑战与未来方向。
2025-09-15 cs.AI cs.CV
Does Vision-and-Language Pretraining Improve Lexical Grounding?
Brown University(布朗大学)
仅从文本中衍生的语言表征因缺乏基础而受到批评,即,将词语与它们在现实世界中的意义联系起来。视觉和语言(VL)模型,共同训练的文本和图像或视频数据,已被提供作为对这些批评的回应。然而,尽管VL预训练在多模态任务(如视觉问答)上取得了成功,但尚不清楚内部语言表征本身与纯文本对应物的比较情况。本文比较了通过VL与纯文本预训练两个最近的VL模型使用一套分析(聚类,探测,和一个常识性的问答任务的性能)在一个纯语言设置的语义表示。我们发现,多模态模型未能显着优于纯文本的变体,这表明,未来的工作是必要的,如果要追求多模态预训练作为一种手段,提高NLP的一般。
2021-09-21 cs.AI cs.CL cs.CV
SafePLUG: Empowering Multimodal LLMs with Pixel-Level Insight and Temporal Grounding for Traffic Accident Understanding
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学);Google(谷歌)
本文提出SafePLUG框架,通过像素级理解和时间锚定提升多模态大语言模型在交通事故分析中的能力,引入新数据集并实现区域问答、像素分割、时间事件定位等任务的高性能表现。
2025-10-30 cs.AI cs.CV
GPT-4 Enhanced Multimodal Grounding for Autonomous Driving: Leveraging Cross-Modal Attention with Large Language Models
Univ City(大学城市)
本文提出了一种结合GPT-4的大语言模型的多模态接地框架,用于提升自动驾驶中的视觉理解和指令执行能力。
2023-12-06 cs.AI cs.CV
Localizing Moments in Long Video Via Multimodal Guidance
Dartmouth(达特茅斯学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Northeastern University(东北大学);Adobe Research(奥多比研究院)
本文提出一种多模态引导框架,通过修剪不可描述窗口提升长视频中自然语言定位性能,在MAD和Ego4D上分别超越最先进模型4.1%和4.52%。
2023-10-15 cs.AI cs.CV cs.LG
Grounding Language Models to Images for Multimodal Inputs and Outputs
Carnegie Mellon University(卡内基梅隆大学)
本研究提出一种高效的纯文本预训练语言模型视觉接地方法,通过冻结模型仅微调输入输出线性层实现跨模态交互,可处理交错图文输入并生成带检索图像的文本,在多模态任务上取得优异零样本性能,适用于各类现成语言模型。
2023-06-13 cs.AI cs.CL cs.CV
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University(复旦大学)
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题,提出弱监督高斯对比定位框架,利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入,显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
EAGLE: Enhanced Visual Grounding Minimizes Hallucinations in Instructional Multimodal Models
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Sailplane AI;Pontificia Universidad Católica de Chile(智利天主教大学)
本文提出 EAGLE,通过重构对比预训练任务增强视觉编码器的定位与语言对齐,在不依赖 LLM 或融合模块、无需额外指令训练的情况下显著降低多模态模型幻觉。
2025-01-06 cs.AI cs.CV
Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding
Arizona State University(亚利桑那州立大学);AWS Agentic AI
本文探讨了离散扩散视觉-语言模型在GUI定位中的应用,通过混合掩码策略提升定位精度,并在多个数据集上验证了其有效性。
2026-03-27 cs.AI cs.CV
Time-Series Retrieval for Grounding Multimodal Language Models in Remaining Useful Life Prediction
University of Luxembourg(卢森堡大学)
本文提出时间序列检索关联的多模态大语言模型框架,在C-MAPSS基准FD001分区实验显示,该方法可提升RUL预测的误差与稳定性,且效果随模型容量变化。
2026-08-25 cs.AI cs.CL cs.LG
Which One Are You Referring To? Multimodal Object Identification in Situated Dialogue
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
多模态对话系统的需求在各个领域都在上升,强调了从会话和情景语境中解释多模态输入的重要性。我们探索了三种方法来解决这个问题,并在最大的对话数据集SIMMC 2.1上进行了评估。我们最好的方法,场景对话对齐,与SIMMC 2.1基线相比,性能提高了约20%的F1分数。我们提供的分析和讨论,我们的方法的局限性和未来工作的潜在方向。我们的代码可在https://github.com/holylovenia/multimodal-object-identification上公开获取。
2023-03-15 cs.AI cs.CL cs.CV