Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
Northeastern University(东北大学)
本文提出共情式接地概念,并构建融合语音和面部表情的多模态大语言模型,使对话智能体在交流中同时传达命题与情感理解,实验证明其能显著提升用户对共情、理解、情商和信任的感知。
2024-07-01 cs.CL cs.HC cs.RO
MNER-QG: An End-to-End MRC framework for Multimodal Named Entity Recognition with Query Grounding
Beijing Institute of Technology(北京理工大学);JD AI Research(京东人工智能研究院);Australian National University(澳大利亚国立大学)
多模态命名实体识别(MNER)是信息抽取中的一个关键步骤,它的目的是在给定的图片-图像对中检测实体跨度并将其分类为相应的实体类型。现有的方法要么(1)从注意力机制获得具有粗粒度视觉线索的命名实体,要么(2)首先使用工具包检测细粒度视觉区域,然后识别命名实体。然而,它们遭受实体类型和视觉区域之间的不正确对齐或错误传播的两阶段方式,最终将无关的视觉信息导入文本。在本文中,我们提出了一种新的端到端的框架名为MNER-QG,可以同时执行基于MRC的多模态命名实体识别和查询接地。具体来说,在查询的帮助下,MNER-QG可以提供实体类型和视觉区域的先验知识,并进一步增强文本和图像的表示。为了执行查询接地任务,我们提供了手动注释和弱监督,这些注释和弱监督是通过使用迁移学习训练高度灵活的视觉接地模型获得的。我们在两个公共MNER数据集Twitter 2015和Twitter 2017上进行了广泛的实验。实验结果表明,MNER-QG优于当前最先进的模型在MNER任务,也提高了查询接地性能。
2022-11-27 cs.AI cs.CL cs.CV
Visual Grounding Strategies for Text-Only Natural Language Processing
KU Leuven(鲁汶大学)
视觉基础是一条通往更强大和更准确的自然语言处理(NLP)模型的有前途的道路。BERT的许多多模态扩展(例如,VideoBERT、LXMERT、VL-BERT)允许文本和图像的联合建模,从而在多模态任务(如视觉问答)上产生最先进的结果。在这里,我们将多模态建模用于纯文本任务(语言建模和分类),期望多模态预训练提供可以提高文本处理准确性的基础。我们在这方面提出了可能的战略。被称为{ \it transmitted grounding}的第一种类型的策略包括使用占位符来替换图像输入,将多模态模型应用于纯文本任务。第二个,我们称之为{ \it关联接地},利用图像检索在预训练和纯文本下游任务期间将文本与相关图像进行匹配。我们对这两种策略进行了进一步的区分,然后根据它们对语言建模和常识相关下游任务的影响进行了比较,显示了对纯文本基线的改进。
2021-03-25 cs.CL
Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models
Beijing Jiaotong University(北京交通大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
针对现有多模态大语言模型在复杂多图像场景中定位精度不足的问题,提出首个自由形式多图像定位模型Migician,构建MGrounding-630k数据集和MIG-Bench基准,实验性能显著优于现有模型。
2025-02-18 cs.AI cs.CL cs.CV
Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments
Michigan State University(密歇根州立大学)
针对多模态环境下智能模型组合泛化难的问题,提出Syntax-Guided Transformers方法,利用文本解析得到的注意力掩码结合Transformer编码器权重共享,提升了多模态接地与参数高效建模的性能。
2023-11-07 cs.CL cs.RO
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS(加州大学伯克利分校电子工程与计算机科学系);Sony Corp.(索尼公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而,诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和,以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的,由于其高维度,我们建议利用多模态紧凑双线性池(MCB),有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答,我们提出了一个架构,它使用MCB两次,一次用于预测注意空间特征,并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
GRASP: A novel benchmark for evaluating language GRounding And Situated Physics understanding in multimodal language models
Osnabrück University(奥斯纳布吕克大学);University of Amsterdam(阿姆斯特丹大学)
本文提出GRASP基准,通过Unity模拟的两层任务评估多模态大语言模型的语言基础与直觉物理理解能力,发现现有模型在物理理解上表现接近或低于随机水平,远逊于人类,凸显了该基准对追踪模型进展的重要性。
2024-06-06 cs.CL
MUG: Interactive Multimodal Grounding on User Interfaces
Google Research(谷歌研究院)
我们提出了MUG,一种新的交互式任务,多模式接地,用户和代理在界面屏幕上协作工作。以前的作品在一个回合中建模了多模式UI基础:用户给出命令,代理响应命令。然而,在现实场景中,当目标动作固有地难以用自然语言表达时,用户命令可能是模糊的。MUG允许多轮交互,这样在看到代理响应时,用户可以为代理提供进一步的命令以改进甚至纠正其操作。这种交互对于提高现实世界用例中的基础性能至关重要。为了研究这个问题,我们创建了一个新的数据集,该数据集由77,820个移动界面上的人类用户-代理交互序列组成,其中20%涉及多轮交互。为了建立我们的基准,我们实验了一系列的建模变量和评估策略,包括离线和在线评估-在线策略包括人工评估和自动模拟器。我们的实验表明,允许迭代交互显着提高了18%的绝对任务完成在整个测试数据集和31%的挑战子集。我们的结果奠定了基础,进一步调查的问题。
2022-09-29 cs.CL
Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data
Scale AI
本文提出将多模态幻觉检测建模为序列标注任务,并通过生成损坏的定位数据进行预训练,以提升模型微调时的样本效率和幻觉定位能力。
2024-08-30 cs.CL cs.CV
ReGround: Grounding Reviewer Comments in Multimodal Evidence
TU Darmstadt(达姆施塔特工业大学);Monash University(莫纳什大学)
针对多模态长文档中审稿人评论难以锚定到证据的问题,提出ReGround数据集,将锚定视为检索任务,发现全文检索效果差、证据类型推断是瓶颈,多模态证据提供互补信号。
2026-09-11 cs.CL cs.IR
Citrus-V: Advancing Medical Foundation Models with Unified Medical Image Grounding for Clinical Reasoning
JDH Algo(京东健康算法)
Citrus-V是一种多模态医学基础模型,整合检测、分割和思维链推理,实现像素级病灶定位与临床诊断推理,在多个基准上超越现有开源模型。
2025-09-24 cs.AI cs.CL cs.CV
Affective Multimodal Agents with Proactive Knowledge Grounding for Emotionally Aligned Marketing Dialogue
Hunan Police Academy, Department of Criminal Investigation(湖南警察学院犯罪侦查系);Business College, California State University(加州州立大学长滩分校商学院);Northwestern University(西北大学);AI Agent Lab, Vokram Group(Vokram集团AI代理实验室);Beijing University of Technology(北京理工大学);Zheng Zhou University of Light Industry(郑州轻工业大学)
AffectMind通过主动知识 grounding 和情绪-意图对齐模型,提升营销对话中的情感一致性与说服效果。
2025-12-20 cs.AI cs.CL cs.LG
Kosmos-2: Grounding Multimodal Large Language Models to the World
Microsoft Research(微软研究院)
本文提出 Kosmos-2 多模态大语言模型,通过 Markdown 链接形式和 GrIT 数据实现文本与视觉对象的锚定,并在多类 grounding、指代及语言任务上验证其能力。
2023-07-13 cs.CL cs.CV
Towards Visual Text Grounding of Multimodal Large Language Model
Adobe Research(Adobe研究院);University of Maryland(马里兰大学);University at Buffalo(布法罗大学)
针对多模态大语言模型在文档等文本丰富图像上视觉文本定位能力不足的问题,提出TRIG任务及数据集,并基于指令微调和高效嵌入方法提升其定位与空间推理能力。
2025-09-23 cs.AI cs.CL cs.CV
ExpVG: Investigating the Design Space of Visual Grounding in Multimodal Large Language Model
University of Illinois Chicago(伊利诺伊大学香槟分校);Sony AI(索尼人工智能)
针对多模态大语言模型(MLLMs)视觉定位(VG)任务中设计选择缺乏系统验证的问题,本文以LLaVA-1.5为基础,全面研究影响VG性能的设计选择,优化模型并在RefCOCO系列数据集上取得显著提升。
2025-08-19 cs.AI cs.CL cs.CV
Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
Groma通过局部视觉标记化机制,将图像分解为区域标记并整合到指令与响应中,实现区域描述和视觉定位,在基准测试中优于依赖外部模块的MLLM。
2024-04-19 cs.AI cs.CL cs.CV
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI(微信人工智能);Tencent Inc(腾讯公司)
视觉对话是一项具有挑战性的任务,因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指,而忽略了在视觉内容中显式地定位对象的重要性,这些对象与文本内容中的实体相关联。因此,本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器,称为MITVG,它由两个关键部分组成:视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下,这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上,将多轮对话历史与视觉场景相结合,按照对话的先后顺序逐步进行编码,生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性,其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
Fine-Grained Grounding for Multimodal Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
多模态自动语音识别系统通过将语音建立在视觉环境中来整合来自图像的信息以提高语音识别质量。虽然视觉信号已经被证明对于恢复在音频中被掩蔽的实体是有用的,但这些模型应该能够恢复更广泛的单词类型。现有的系统依赖于代表整个图像的全局视觉特征,但是定位图像的相关区域将使恢复更大的单词集成为可能,例如形容词和动词。在本文中,我们提出了一个模型,使用更细粒度的视觉信息,从图像的不同部分,使用自动对象的建议。在Flickr8K音频字幕语料库上的实验中,我们发现我们的模型比使用全局视觉特征的方法有所改进,这些建议使模型能够恢复实体和其他相关的词,如形容词,并且改进是由于模型能够本地化正确的建议。
2020-10-05 cs.CL
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
提出LEGO-OPD,通过因子化组合语言与定位专家教师,在贝叶斯框架下独立控制视觉监督强度,实现多模态蒸馏中视觉定位与语言推理的平衡,实验验证优于现有基线。
2026-10-02 cs.AI cs.CL cs.CV
How to Understand "Support"? An Implicit-enhanced Causal Inference Approach for Weakly-supervised Phrase Grounding
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对弱监督短语定位中被忽视的隐式短语-区域关系,本文提出结合干预与反事实的IECI因果推断方法,并构建隐式增强数据集,验证其显著优于现有基线及多模态大语言模型。
2024-03-04 cs.AI cs.CL
Does Vision-and-Language Pretraining Improve Lexical Grounding?
Brown University(布朗大学)
仅从文本中衍生的语言表征因缺乏基础而受到批评,即,将词语与它们在现实世界中的意义联系起来。视觉和语言(VL)模型,共同训练的文本和图像或视频数据,已被提供作为对这些批评的回应。然而,尽管VL预训练在多模态任务(如视觉问答)上取得了成功,但尚不清楚内部语言表征本身与纯文本对应物的比较情况。本文比较了通过VL与纯文本预训练两个最近的VL模型使用一套分析(聚类,探测,和一个常识性的问答任务的性能)在一个纯语言设置的语义表示。我们发现,多模态模型未能显着优于纯文本的变体,这表明,未来的工作是必要的,如果要追求多模态预训练作为一种手段,提高NLP的一般。
2021-09-21 cs.AI cs.CL cs.CV
GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding
University at Buffalo(布法罗大学);Adobe Research(Adobe研究院)
GUI-AIMA通过多模态注意力对齐与上下文锚点,实现高效的GUI定位,无需坐标生成,提升数据效率和性能。
2026-07-01 cs.AI cs.CL cs.CV
CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院);Zhongguancun Academy(中关村科学城创新中心);Shanghai Innovation Institute(上海创新研究院)
研究多模态上下文学习问题,引入CLBench-V基准,围绕上下文基础、新信息应用和新知识学习三个维度组织任务,结合公共基准与新数据集,经自动化程序构建,测试六个模型,分析相关因素,揭示多模态上下文学习远未饱和及各模型表现情况。
2026-07-29 cs.AI cs.CL cs.CV
Efficient Temporal Extrapolation of Multimodal Large Language Models with Temporal Grounding Bridge
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
本文提出时间定位桥(TGB)框架,通过多跨度时间定位算法、多模态长度外推训练和免标注引导桥接,显著提升多模态大语言模型的长视频时间理解能力,并在七个视频基准上验证了其可扩展性和有效性。
2024-10-03 cs.CL cs.CV
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University(复旦大学)
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题,提出弱监督高斯对比定位框架,利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入,显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
Look and Tell: A Dataset for Multimodal Grounding Across Egocentric and Exocentric Views
KTH Royal Institute of Technology(皇家理工学院)
本研究推出多模态数据集Look and Tell,通过智能眼镜与固定摄像头采集25名参与者厨房指称交际的多模态同步数据,结合3D重建构建跨视角空间表征评估基准,助力具身智能体的情境对话能力研发。
2025-10-28 cs.CL cs.CV cs.RO
WinClick: GUI Grounding with Multimodal Large Language Models
Microsoft(微软公司);Columbia University(哥伦比亚大学)
本文提出Windows平台视觉GUI智能体WinClick,通过截图检测可操作区域,结合GUI定位预训练和基于LLM的数据对齐方法解决GUI定位问题,并发布首个Windows GUI定位基准WinSpot,实验表明其显著优于现有基线。
2025-01-27 cs.CL cs.HC
Time-Series Retrieval for Grounding Multimodal Language Models in Remaining Useful Life Prediction
University of Luxembourg(卢森堡大学)
本文提出时间序列检索关联的多模态大语言模型框架,在C-MAPSS基准FD001分区实验显示,该方法可提升RUL预测的误差与稳定性,且效果随模型容量变化。
2026-08-25 cs.AI cs.CL cs.LG
Plug-and-Play Grounding of Reasoning in Multimodal Large Language Models
Peking University(北京大学);DeepGlint(深兰科技)
针对 MLLM 难辨高分辨率图像细节的问题,提出即插即用框架 P2G,借助外部专家智能体将推理锚定到关键视觉与文字元素,并构建 P2GB 基准,验证 7B 模型可达到接近 GPT-4V 的性能。
2024-06-18 cs.CL cs.CV
Grounding Language Models to Images for Multimodal Inputs and Outputs
Carnegie Mellon University(卡内基梅隆大学)
本研究提出一种高效的纯文本预训练语言模型视觉接地方法,通过冻结模型仅微调输入输出线性层实现跨模态交互,可处理交错图文输入并生成带检索图像的文本,在多模态任务上取得优异零样本性能,适用于各类现成语言模型。
2023-06-13 cs.AI cs.CL cs.CV
DocEdit-v2: Document Structure Editing Via Multimodal LLM Grounding
Adobe Research(奥多比研究院);MBZUAI(Mohamed bin Zayed 人工智能大学);University of Maryland College Park(马里兰大学帕克分校)
DocEdit-v2提出基于多模态大语言模型的端到端文档结构编辑框架,通过Doc2Command定位编辑区域并生成命令,结合命令重述与GPT-4V/Gemini执行编辑,在多项任务上显著超越基线。
2024-10-21 cs.CL
Multimodal Fact-Level Attribution for Verifiable Reasoning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出MuRGAt基准,用于评估多模态事实归因能力,要求模型在复杂推理中生成明确推理和精确引用,揭示强模型在正确推理下仍易产生幻觉,且增加推理深度或结构化归因会降低准确性。
2026-05-07 cs.AI cs.CL cs.CV
Grounding Multilingual Multimodal LLMs With Cultural Knowledge
Carnegie Mellon University(卡内基梅隆大学)
本文提出以数据为中心的方法,利用Wikidata知识图谱构建了覆盖42国39种语言的2200万文化VQA对数据集CulturalGround,并训练开源模型CulturalPangea,在保持通用能力的同时显著提升了多模态LLM的文化理解能力。
2025-08-12 cs.CL cs.LG
VIMI: Grounding Video Generation through Multi-modal Instruction
Snap Inc(Snap公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学)
针对现有文本到视频扩散模型因缺乏大规模多模态提示视频数据导致视觉基础不足的问题,研究构建多模态提示数据集,提出两阶段训练的VIMI框架,实现多模态理解下的高质量视频生成,在UCF101基准上达SOTA。
2024-07-08 cs.AI cs.CL cs.CV
MM-Conv: A Multimodal Dataset and Benchmark for Context-Aware Grounding in 3D Dialogue
KTH Royal Institute of Technology(皇家理工学院)
本文提出了一种多模态数据集和基准,用于在动态3D环境中实现上下文感知的指代解析,通过引入包含6.7小时第一人称VR交互的同步语音、动作、注视和3D场景几何数据的基准,以及一个两阶段的指代解析流水线,改进了对话中的指代解析性能。
2026-05-20 cs.CL cs.CV
How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出线性探针框架,通过三类提示变化分析 LLaVA 与 Qwen2-VL 各层功能,揭示其视觉定位、语义推理和答案解码的稳定阶段结构。
2025-08-27 cs.AI cs.CL cs.CV
Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs
University of Science and Technology of China(中国科学技术大学);Xiaomi Corporation(小米公司);State Key Laboratory of Communication Content Cognition, People’s Daily Online(人民日报社传播内容认知国家重点实验室)
研究针对多模态大语言模型的不真实问题,提出基于上下文的偏好优化框架Groc-PO,构建相关数据集,通过多阶段偏好样本捕捉基础上下文,加强上下文相关推理,减轻跨阶段错误传播,提升模型性能。
2026-07-16 cs.AI cs.CL cs.CV
By My Eyes: Grounding Multimodal Large Language Models with Sensor Data via Visual Prompting
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出By My Eyes视觉提示方法,通过自动生成传感器数据可视化并结合多模态大语言模型,在九个感知任务上实现平均准确率提升10%、token成本降低15.8倍。
2024-09-29 cs.AI cs.CL cs.CV
Grounding Partially-Defined Events in Multimodal Data
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
针对视觉数据难以建模部分可观测事件的问题,该研究提出部分定义事件的多模态建模方法与三阶段跨度抽取任务,构建了含多模态数据的基准MultiVENT-G,验证了LLM驱动方法的潜力与事件理解的挑战。
2024-10-07 cs.CL cs.CV
MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models
Purdue University(普渡大学)
提出MAGIC方法,利用预训练VLM中的多模态增益、桥接相关性和技能神经元签名三种内在信号,通过无训练、前向传播的核心集选择,构建紧凑且行为保真的子集用于多模态指令微调,在20%预算下达到甚至超越全微调性能。
2026-05-25 cs.CL cs.CV
Multimodal Grounding for Sequence-to-Sequence Speech Recognition
Le Mans University(勒芒大学);Carnegie Mellon University(卡内基梅隆大学)
人类能够通过使用多种感觉模态来处理语音。例如,对话发生的环境通常提供语义和/或声学上下文,帮助我们解决歧义或回忆命名实体。受此启发,已经有许多研究将视觉信息集成到语音识别流水线中的工作。具体来说,在我们以前的工作中,我们提出了一个多步骤的视觉自适应训练方法,提高了基于音频的自动语音识别(ASR)系统的准确性。然而,这种方法不是端到端的,因为它需要用适应层微调整个模型。在本文中,我们提出了新的端到端的多模态ASR系统,并将其与自适应方法进行比较,通过使用一系列从最先进的卷积神经网络获得的视觉表示。我们表明,自适应训练是有效的S2 S模型,导致1.4%的字出错率的绝对改善。至于端到端系统,尽管它们的性能优于基线,但改进略低于自适应训练,在单一最佳模型中绝对WER降低了0.8。使用集成解码,端到端模型达到15%的WER,这是所有系统中的最低分数。
2019-02-19 cs.CL
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University(上海交通大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加州大学伯克利分校)
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难,我们开发了一个多模态对齐框架(MAF),以利用更广泛可用的标题图像数据集,然后可以用作弱监督的形式。我们首先提出的算法,利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标,我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明,与现有的弱监督方法相比,该方法有显着的改进。在视觉感知语言表示的帮助下,我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究,以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Multi-level Multimodal Common Semantic Space for Image-Phrase Grounding
Columbia University(哥伦比亚大学)
我们通过学习文本和视觉模态共享的多层次公共语义空间来解决短语接地问题。我们利用深度卷积神经网络的多个层次的特征映射,以及从基于字符的语言模型中提取的上下文化单词和句子嵌入。以下专用的非线性映射的视觉特征在每个级别,单词和句子嵌入,我们获得多个实例,我们共同的语义空间中,任何目标文本和视觉内容之间的比较进行余弦相似性。我们通过一个多层次的多模态注意力机制来引导模型,该机制在每个层次上输出被关注的视觉特征。选择最佳水平与文本内容进行比较,以最大化地面真相的图像-句子对的相关性得分。在三个公开可用的数据集上进行的实验显示,在短语本地化方面,与最先进的方法相比,性能有了显著的提高(相对提高20%-60%),并在这些数据集上创造了新的性能记录。我们提供了详细的消融研究,以显示我们方法中每个元素的贡献,并在GitHub上发布我们的代码。
2019-05-29 cs.CL cs.CV cs.LG
Chain-of-Ground: Improving GUI Grounding via Iterative Reasoning and Reference Feedback
University College London(伦敦大学学院);Chico Future AI Lab(芝加哥未来人工智能实验室);The University of Hong Kong(香港大学);Princeton University(普林斯顿大学)
Chain-of-Ground通过迭代推理和参考反馈提升GUI定位,实现68.4的准确率,并在现实世界界面中表现优异。
2025-12-01 cs.AI cs.CL cs.CV
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology(奈良科学技術研究所);Guardian Robot Project(守護機器人計劃);RIKEN(理化学研究所);Kyoto University(京都大學);Institute of Science Tokyo(東京科學研究院)
本文提出一个统一文本和多模态指代消解的框架,通过将提及嵌入映射到对象嵌入并基于相似性进行选择,实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能,减少视觉基础对话中的歧义。
2025-06-01 cs.CL
PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs
Northeastern University, China(东北大学);CIS, LMU Munich, Germany(慕尼黑大学计算机学院);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心)
PlaM通过无需训练的高原引导模型融合方法,提升多模态大语言模型的视觉语义表现。
2026-01-12 cs.CL
SceneAlign: Aligning Multimodal Reasoning to Scene Graphs in Complex Visual Scenes
University of California, San Diego(加州大学圣地亚哥分校);University of Toronto(多伦多大学);University of New South Wales(新南威尔士大学)
SceneAlign通过利用场景图进行结构干预,提升多模态推理在复杂视觉场景中的准确性和忠实性。
2026-01-09 cs.CL cs.CV cs.LG
Exploring Multimodal Perception in Large Language Models Through Perceptual Strength Ratings
Korea University(高丽大学);Seoul National University(首尔大学)
本研究通过感知强度评分评估 21 个大语言模型,发现更大、多模态和更新的模型更接近人类感觉-语言关联,但处理机制仍与人类具身认知存在本质差异。
2025-11-07 cs.CL
Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs
IIT Kanpur(印度理工学院坎普尔分校);IIT Bombay(印度理工学院孟买分校);Adobe Research(奥多比研究院)
针对 LMM 幻觉问题,本文提出 ContextualLens,利用中间层上下文 token 嵌入实现免训练的鲁棒幻觉检测与精确定位。
2025-02-19 cs.CL
The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages
University of Science and Technology of China(中国科学技术大学)
研究发现基础LLM与下游变体间存在上下文真相分数的强继承性,提出TruthProbe软门控策略放大真相头以提升上下文真实性并减少多模态幻觉。
2026-08-12 cs.AI cs.CL cs.LG
MEG-RAG: Quantifying Multi-modal Evidence Grounding for Evidence Selection in RAG
Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(巴黎- Rocquencourt 国家信息与自动化研究所);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室);Zhejiang University(浙江大学);Peking University(北京大学);University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学);CSIRO’s Data61(CSIRO 数据61)
本文提出 MEG-RAG 框架,通过语义感知的多模态证据 grounding 方法提升 RAG 中的证据选择准确性与多模态一致性。
2026-04-30 cs.CL cs.IR cs.IT
Kestrel: 3D Multimodal LLM for Part-Aware Grounded Description
King Abdullah University of Science and Technology(卡斯特大学)
本文提出Kestrel,一种部件感知三维多模态大语言模型,结合多级点特征传播与查询细化,解决部件级接地描述任务,并构建3DCoMPaT-GrIn数据集,实验证明其有效连接语言理解与三维分割,助力机器人应用。
2025-08-04 cs.CL cs.CV
TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs
Nanjing University(南京大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Shanghai AI Lab(上海人工智能实验室)
本文提出TimeLens,通过数据质量和算法设计两个维度系统研究多模态大语言模型的视频时间接地能力,构建高质量数据集并提出有效训练方法,实现开源模型在视频时间接地任务上的领先性能。
2026-03-26 cs.AI cs.CL cs.CV