GIST: Multimodal Knowledge Extraction and Spatial Grounding via Intelligent Semantic Topology
University of Colorado Boulder（科罗拉多大学博尔德分校）
GIST通过智能语义拓扑提取多模态知识，构建语义标注的导航拓扑，实现复杂环境中的空间定位与人类-AI交互任务。
2026-04-16 cs.AI cs.CV cs.HC
MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs
Seoul National University（首尔国立大学）；Sony Group Corporation（索尼集团）；Sony AI（索尼人工智能）
提出MusTBENCH基准和MusT四阶段优化方法，评估并提升音乐大语言模型在音频中的时间定位能力。
2026-11-05 cs.AI cs.CL cs.SD
UltraG-Bench: A Multi-task Benchmark for assessing Large Vision-Language Models on Pixel-level Evidence Grounding in Ultrasound
Dalian University of Technology（大连理工大学）；RMIT University（皇家墨尔本理工大学）
针对超声图像理解中缺乏像素级证据定位的问题，提出多任务基准UltraG-Bench及结合VLM与UltraSAM3的UltraG-Agent，显著提升语义预测与像素级定位能力。
2026-09-28 cs.AI cs.CV
Towards Understanding Visual Grounding in Visual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Heriot-Watt University（赫瑞-沃德大学）
本综述回顾了现代通用视觉语言模型（VLMs）中视觉定位的研究，系统梳理了其核心组件、实际应用基准、与多模态思维链及推理的相互关系，并分析了当前挑战与未来方向。
2025-09-15 cs.AI cs.CV
MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding
THUNLP-MT
MUSEG通过引入时间感知多段定位，提升多模态大语言模型对视频时间信息的理解能力，通过定制化强化学习训练方案实现更全面的时间推理。
2026-04-18 cs.CL cs.CV
Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding
Tsinghua University（清华大学）
Video-TwG通过课程强化框架和接地范式提升长视频理解，采用双阶段策略和TwG-GRPO算法优化推理与接地质量。
2026-02-21 cs.AI cs.CV
Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations
Virginia Tech（弗吉尼亚理工学院）
本文研究了AI生成的安全解释中语义对齐的问题，通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距，发现即使解释在词汇上显得合理，其语义解释可能削弱检测器的意图风险评估。
2026-06-03 cs.CL cs.CR cs.LG
SemLoc: Structured Grounding of Free-Form LLM Reasoning for Fault Localization
UC Riverside（加州大学河滨分校）；Cisco Research（思科研究院）；Independent Researcher（独立研究员）
SemLoc通过结构化语义绑定将自由形式LLM推理转化为封闭中间表示，结合语义违反光谱提升故障定位精度，实现7.6%的代码检查效率提升。
2026-10-28 cs.AI cs.SE
Does Visual Grounding Enhance the Understanding of Embodied Knowledge in Large Language Models?
Beijing Normal University（北京师范大学）；Tencent AI Lab（腾讯AI实验室）
本文构建涵盖多感官与内感受的具身知识理解基准，测试30个模型后发现VLMs并未优于纯文本模型，凸显更有效整合具身知识的必要性。
2025-10-19 cs.CL
Grounding Complex Natural Language Commands for Temporal Tasks in Unseen Environments
Brown University（布朗大学）；Princeton University（普林斯顿大学）
针对未见环境中时间导航命令接地问题，提出Lang2LTL系统，利用大型语言模型将命令转为LTL规范，在21个城市环境及物理机器人上验证了先进泛化能力。
2023-10-17 cs.AI cs.CL cs.FL
Towards Unified Surgical Scene Understanding:Bridging Reasoning and Grounding via MLLMs
Southern University of Science and Technology（南方科技大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；Northwestern University（西北大学）；University of Alberta（阿尔伯塔大学）；Yale University（耶鲁大学）；Nanfang Hospital（南华医院）；Shenzhen University of Advanced Technology（深圳大学先进技术研究院）
本文提出SurgMLLM框架，通过统一推理与视觉 grounding 实现手术场景理解，提升三元组识别和分割精度，实验表明其在三元组识别指标AP_IVT上提升显著。
2026-05-13 cs.AI cs.CV
When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning
该研究针对多模态大语言模型在视觉化任务语义场景下的准确率下降问题，提出提示词-区域定位方法，有效提升了基准测试准确率且无需OCR或区域元数据。
2026-08-06 cs.AI cs.CV
GroundingGPT:Language Enhanced Multi-modal Grounding Model
ByteDance Inc（字节跳动公司）；Fudan University（复旦大学）
针对现有多模态大模型忽视跨模态局部信息、细粒度理解能力不足的问题，提出语言增强的多模态定位模型GroundingGPT，通过构建多模态多粒度数据集训练，实现精准的图像区域与视频时刻定位，提升多任务适用性。
2024-03-05 cs.CL cs.CV
Token-Based Affordance Grounding with Large Vision-Language Models
University of Mississippi（密西西比大学）；National University of Singapore（新加坡国立大学）；NVIDIA（英伟达）
研究旨在解决现有视觉语言模型在行动定位上的问题，提出TokAG零样本可供性基础框架，利用令牌级语义空间信号定位相关区域，引入空间感知令牌选择机制，在多基准测试中优于先前方法。
2026-07-07 cs.AI cs.CV cs.RO
SAGA: Schema-Aware Grounding for Agentic Text-to-SPARQL Generation
研究复杂知识库问答中语义解析范式，针对现有智能体类型盲基础问题，提出无训练框架SAGA，通过模式约束基础操作，维护类型状态，过滤候选属性，以紧凑格式呈现图模式，在多基准设置上取得优异成绩。
2026-07-17 cs.AI cs.IR cs.LG
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
The Hong Kong Polytechnic Univ（香港理工大学）；Nanjing Univ（南京大学）；NVIDIA（NVIDIA公司）；Harvard Univ（哈佛大学）
VideoITG通过设计VidThinker流水线，自动生成指令条件化描述，检索相关视频片段并选择关键帧，提升多模态视频理解任务的性能。
2026-03-17 cs.AI cs.CV
DOGR: Towards Versatile Visual Document Grounding and Referring
Xi’an Jiaotong University（西安交通大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；City University of Hongkong（香港城市大学）；Institute of Automation, CAS（中国科学院自动化研究所）；Harvard University（哈佛大学）；vivo Mobile Communication Co.（vivo移动通信公司）
针对视觉文档理解中定位与指代能力不足的问题，提出DOGR-Engine生成细粒度数据，构建DOGR-Bench基准，并开发DOGR模型，实现精确文本定位与指代，推动细粒度文档理解。
2025-08-06 cs.AI cs.CV
PlaceSeek: Human-Centered Geospatial Retrieval of Urban Outdoor Places via Semantic Grounding and Affective Alignment
University of British Columbia（不列颠哥伦比亚大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；San Diego State University（圣地亚哥州立大学）
该研究针对现有地理空间检索难以满足情感/活动类需求的问题，提出 PlaceSeek 框架，通过语义 grounding 与情感对齐实现城市户外地点检索，在米兰数据集上的表现优于多种基线方法。
2026-08-26 cs.AI cs.CV cs.IR
Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
Northeastern University（东北大学）
本文提出共情式接地概念，并构建融合语音和面部表情的多模态大语言模型，使对话智能体在交流中同时传达命题与情感理解，实验证明其能显著提升用户对共情、理解、情商和信任的感知。
2024-07-01 cs.CL cs.HC cs.RO
Towards Understanding Language through Perception in Situated Human-Robot Interaction: From Word Grounding to Grammar Induction
Ritsumeikan University（立命馆大学）
机器人在不同的任务中与人类用户广泛合作，这些任务需要高水平的认知功能，使它们能够发现周围的环境。我们在这篇短文中强调的一个困难的挑战是推断语言的潜在语法结构，其中包括基础词性（例如，动词、名词、形容词和介词），并对短语进行组合范畴语法（CCG）归纳。这为基础短语铺平了道路，以便使机器人能够在交互过程中适当地理解人类指令。
2020-03-13 cs.AI cs.CL
Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis
BITS Pilani, K. K. Birla Goa Campus（贝拉理工学院（BITS Pilani）K.K.比拉拉果阿校区）
表征相似性分析是认知神经科学的一种方法，它有助于比较来自两个不同数据源的表征。在本文中，我们提出使用表征相似性分析来探测代码的语言模型的语义基础。我们通过使用IBM CodeNet数据集的数据来探测CodeBERT模型的语义基础表示。通过我们的实验，我们表明，目前的预训练方法不会在代码的语言模型中引入语义基础，而是专注于优化基于形式的模式。我们还表明，即使是少量的微调语义相关的任务增加了语义基础CodeBERT显着。我们对CodeBERT模型的输入模态的消融表明，使用双峰输入（代码和自然语言）而不是单峰输入（仅代码）在语义微调期间提供了更好的语义基础和样本效率。最后，我们对代码中语义扰动的实验表明，CodeBERT能够鲁棒地区分语义正确和不正确的代码。
2022-07-15 cs.CL cs.IR cs.PL
A Game Interface to Study Semantic Grounding in Text-Based Models
ATILF CNRS, Université de Lorraine（洛林大学CNRS ATILF）；Utrecht University（乌得勒支大学）
语言模型能单独从文本分布中学习基础表示吗？这个问题在自然语言处理中既重要又经常出现;作者们普遍认为，接地需要的不仅仅是文本分布。我们建议通过实验来验证这一说法：如果任何两个单词具有不同的含义，但不能单独从分布中区分出来，那么基于文本的模型就无法实现接地。为此，我们提出了早期的工作，在五种语言中的单词对的分布相似性的人类判断的在线游戏的收集。我们进一步报告了我们的数据汇集活动的早期结果。
2021-08-17 cs.CL
Towards Computationally Verifiable Semantic Grounding for Language Models
Google Research（谷歌研究院）
本文提出了一种方法，语义接地的语言模型（LM），概念化的LM作为一个条件模型生成文本给定所需的语义消息形式化为一组实体关系三元组。它通过将LM的输出馈送到语义解析器来将LM嵌入到自动编码器中，语义解析器的输出与输入消息处于相同的表示域中。与使用贪婪搜索生成文本的基线相比，我们展示了两种提高所生成文本的流畅性和语义准确性的技术：第一种技术对语义解析器从中选择的多个候选文本序列进行采样。第二个训练语言模型，同时保持语义解析器冻结，以提高自动编码器的语义准确性。我们进行了实验的英文WebNLG 3.0数据集，使用BLEU来衡量生成的文本和标准的解析指标来衡量语义准确性的流畅性。我们表明，我们提出的方法显着改善贪婪的搜索基线。人的评价证实了自动评价实验的结果。
2022-11-16 cs.CL
Grounding the Semantics of Part-of-Day Nouns Worldwide using Twitter
Universidade da Coruña（拉科鲁尼亚大学）；FASTPARSE Lab, LyS Group（FASTPARSE实验室，LyS研究组）
一天中的部分名词，如“晚上”，以及他们的特定时间的问候语（“晚安”），在不同的语言和文化中各不相同。我们展示了Twitter为研究这些术语的语义及其在国家之间的变异性提供的可能性。我们挖掘了一个全球性的样本，多语言的tweets与时间的问候，并研究他们的频率如何变化与当地时间。研究结果提供了深入了解这些时间表达的语义和文化和社会学因素影响他们的使用。
2018-05-23 cs.CL
An Annotated Corpus of Reference Resolution for Interpreting Common Grounding
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
共同基础是创造、修复和更新相互理解的过程，这是自然语言对话的一个基本方面。然而，解释共同基础的过程是一项具有挑战性的任务，特别是在连续和部分可观察的背景下，复杂的模糊性，不确定性，部分理解和误解。当我们处理仍然具有有限的自然语言理解和生成能力的对话系统时，解释变得更加具有挑战性。为了解决这个问题，我们认为参考决议的共同基础的中心子任务，并提出了一个新的资源来研究其中间过程。基于一个简单而通用的注释模式，我们从现有语料库中收集了5,191个对话中的40,172个指称表达，以及对指称解释的多个判断。我们表明，我们的注释是高度可靠的，通过合理的分歧的自然程度捕捉到共同基础的复杂性，并允许更详细和定量的分析共同基础的战略。最后，我们展示了我们的注释的优势，解释，分析和改善基线对话系统的共同基础。
2019-11-18 cs.AI cs.CL
Video Object Grounding using Semantic Roles in Language Description
University of Southern California（南加州大学）；Facebook Inc.（Facebook公司）
我们探讨的任务视频对象接地（VOG），地面对象在视频中提到的自然语言的描述。以往的方法采用基于图像背景的算法来处理VOG，未能探索对象关系信息，并且泛化能力有限。在这里，我们研究对象关系在VOG中的作用，并提出了一个新的框架VOGNet编码多模态对象关系，通过自我注意与相对位置编码。为了评估VOGNet，我们提出了新的对比采样方法来生成更具挑战性的接地输入样本，并基于现有的标题和接地数据集构建了一个名为ActivityNet-SRL（ASRL）的新数据集。ASRL上的实验验证了在VOG中编码对象关系的必要性，我们的VOGNet明显优于竞争基线。
2020-03-24 cs.CL cs.CV
Evaluation and Enhancement of Semantic Grounding in Large Vision-Language Models
Mineral
本文针对大型视觉-语言模型语义接地能力不足的问题，构建大规模细粒度评估数据集并系统评估七种主流模型，进而提出基于多模态指令微调的数据中心增强方法，有效减少错误接地现象。
2024-01-13 cs.CL cs.CV
Grounding Spatio-Semantic Referring Expressions for Human-Robot Interaction
National University of Singapore（新加坡国立大学）
人类语言是人类与机器人进行交互的最自然的接口之一。本文提出了一种机器人系统，检索日常对象与无约束的自然语言的描述。该系统的一个核心问题是语义和空间基础，即从图像和自然语言表达中推断对象及其空间关系。我们引入了一个两阶段的神经网络接地管道，映射自然语言引用表达式直接在图像中的对象。第一阶段使用指称表达中的视觉描述来生成相关对象的候选集合。第二阶段检查候选词之间的所有成对关系，并根据指称表达式中的空间描述来预测最可能的指称对象。我们的系统的一个关键特征是，通过利用带有文本描述的大型图像数据集，它允许不受限制的对象类型和自然语言引用表达式。初步结果表明，我们的系统在标准基准数据集上的性能优于接近最先进的对象理解系统。我们还提出了一个机器人系统，遵循语音命令，挑选和放置以前看不见的对象。
2017-07-18 cs.AI cs.CL cs.RO
Semantic-Drive: Democratizing Long-Tail Data Curation via Open-Vocabulary Grounding and Neuro-Symbolic VLM Consensus
Independent Researcher（独立研究者）
Semantic-Drive通过开放词汇锚定和神经符号视觉语言共识，提升自动驾驶中长尾数据整理的效率与隐私保护。
2025-12-16 cs.AI cs.CL cs.CV
The Curious Case of Visual Grounding: Different Effects for Speech- and Text-based Language Encoders
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文研究视觉接地对语音和文本语言编码器内部表示的影响，发现其能提升口语与书面语表示对齐但主要增强词身份编码，且未能改善语音表示的语义可辨别性，为丰富语音模型的视觉语义方法提供启示。
2025-09-19 cs.CL
Language in a (Search) Box: Grounding Language Learning in Real-World Human-Machine Interaction
Bocconi University（博科尼大学）；Coveo Labs（Coveo实验室）
我们通过真实世界的数据调查接地语言学习，通过用户和搜索引擎之间发生的自然交互来建模教师-学习者动态;特别是，我们探索了合成环境之外无监督密集表示的语义泛化的出现。仅从用户数据学习基础域、表示函数和合成函数。我们展示了如何产生的语义名词短语表现出成分属性，同时完全可学习，没有任何明确的标签。我们基准我们的接地语义组合性和zero-shot推理任务，我们表明，它提供了更好的结果和更好的推广比SOTA非接地模型，如word 2 vec和BERT。
2021-04-18 cs.CL
A Visual Attention Grounding Neural Model for Multimodal Machine Translation
University of California, Davis（加州大学戴维斯分校）
我们介绍了一种新的多模态机器翻译模型，利用并行的视觉和文本信息。我们的模型共同优化了共享视觉语言嵌入和翻译器的学习。该模型利用了视觉注意力基础机制，将视觉语义与相应的文本语义联系起来。我们的方法在Multi30K和Ambient COCO数据集上获得了具有竞争力的最先进结果。我们还收集了一个新的多语言多模态产品描述数据集，以模拟真实世界的国际在线购物场景。在这个数据集上，我们的视觉注意力基础模型比其他方法表现得更好。
2018-08-28 cs.CL
On the Importance of Karaka Framework in Multi-modal Grounding
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
计算Paninian语法模型有助于将自然语言表达式解码为一系列修饰符-修饰关系，因此与通常的Stanford依赖关系相比，有助于识别更接近语言（上下文）语义的依赖关系。然而，这种CPG依赖方案的重要性尚未在多模态视觉和语言应用的背景下进行研究。在IIIT海得拉巴，我们计划进行一项新的研究，以探索CPG框架在视觉语言导航任务设置中的潜在优势和劣势，这是一种流行且具有挑战性的多模态接地任务。
2022-04-09 cs.AI cs.CL
Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning
University of Michigan（密歇根大学）；University of California San Francisco（加利福尼亚大学旧金山分校）
在自然语言处理中，大多数模型试图仅仅从文本中学习语义表示。学习的表示编码的分布语义，但未能连接到任何有关物理世界的知识。相比之下，人类通过感知和行动中的基础概念来学习语言，大脑为认知编码基础语义。受这一概念和最近在视觉语言学习方面的工作的启发，我们设计了一个双流模型，用于在视觉中进行语言学习。该模型包括基于VGG的视觉流和基于Bert的语言流。这两个流合并成一个联合代表空间。通过跨模态对比学习，模型首先学习将视觉和语言表示与MS COCO数据集对齐。该模型进一步学习通过跨模态注意模块检索具有语言查询的视觉对象，并通过具有Visual Genome数据集的双线性运算符推断检索到的对象之间的视觉关系。在训练之后，该模型的语言流是能够将概念嵌入在视觉上接地的语义空间中的独立语言模型。这个语义空间表现出人类直觉和神经生物学知识可以解释的主要维度。在这个语义空间中的词嵌入是人类定义的语义特征规范的预测，并被分离成感知上独特的集群。此外，基于视觉的语言模型还使得能够实现基于视觉知识的组合语言理解和具有基于图像、文本或其组合的查询的多模态图像搜索。
2021-11-13 cs.CL cs.LG
Bootstrapping Semantic Layer from Execution for Text-to-SQL
Seoul National University（首尔国立大学）
提出GATE方法，通过执行反馈引导缺失的语义层，将执行结果作为可复用记忆，提升文本到SQL的准确性。
2026-06-04 cs.CL
Medical Question Understanding and Answering with Knowledge Grounding and Semantic Self-Supervision
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
当前的医疗问答系统难以处理由患者提交的长的、详细的和非正式措辞的问题，称为消费者健康问题（CHQ）。为了解决这个问题，我们介绍了一个医疗问题的理解和回答系统的知识基础和语义自我监督。我们的系统是一个管道，首先总结了一个很长的，医疗，用户写的问题，使用监督总结损失。然后，我们的系统执行两步检索以返回答案。该系统首先将总结的用户问题与来自可信医学知识库的FAQ进行匹配，然后从相应的答案文档中检索固定数量的相关句子。在没有问题匹配或答案相关性标签的情况下，我们设计了3个新颖的，自我监督和语义引导的损失。我们评估我们的模型对两个强大的检索为基础的问答基线。评估人员提出自己的问题，并根据相关性对我们的基线和自己的系统检索到的答案进行评分。他们发现，我们的系统检索更多相关的答案，同时实现速度快20倍。我们的自我监督损失也有助于总结器在ROUGE和人类评估指标中获得更高的分数。我们发布代码以鼓励进一步的研究。
2022-09-30 cs.CL
Meanings and Measurements: Multi-Agent Probabilistic Grounding for Vision-Language Navigation
Arizona State University（亚利桑那州立大学）；Haverford College（哈弗福德学院）
本文提出MAPG框架，通过分解语言查询并利用VLM进行语义 grounding，解决复杂度量-语义语言查询的难题，同时引入MAPG-Bench评估指标，展示在现实机器人中的应用效果。
2026-03-19 cs.AI cs.CL cs.CV
Weakly-Supervised Temporal Article Grounding
Columbia University（哥伦比亚大学）；Virginia Tech（弗吉尼亚理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
给定一个长的未修剪的视频和自然语言查询，视频接地（VG）的目的是在时间上本地化的语义对齐的视频片段。几乎所有现有的VG工作都有两个简单但不切实际的假设：1）所有的查询语句都可以在相应的视频中扎根。2)同一视频的所有查询语句总是处于相同的语义尺度。不幸的是，这两个假设使得今天的VG模型在实践中无法工作。例如，在现实世界的多模态资产（例如，新闻文章）中，文章中的大多数句子都不能以其附属视频为基础，并且它们通常具有丰富的层次关系（即，在不同的语义尺度上）。为此，我们提出了一个新的具有挑战性的接地任务：弱监督的时间文章接地（WSAG）。具体来说，给定一篇文章和一个相关的视频，WSAG的目标是将所有“接地”的句子本地化到视频中，这些句子可能处于不同的语义尺度。因此，我们收集了第一个WSAG数据集来促进这项任务：YouwikiHow，它借用了wikiHow文章和丰富的YouTube视频中固有的多尺度描述。此外，我们提出了一种简单但有效的WSAG方法DualMIL，该方法由两级MIL损失和单/跨句子约束损失组成。这些训练目标是为这些宽松的假设而精心设计的。广泛的消融已经验证了DualMIL的有效性。
2023-02-24 cs.AI cs.CL cs.CV
GRASP: A novel benchmark for evaluating language GRounding And Situated Physics understanding in multimodal language models
Osnabrück University（奥斯纳布吕克大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出GRASP基准，通过Unity模拟的两层任务评估多模态大语言模型的语言基础与直觉物理理解能力，发现现有模型在物理理解上表现接近或低于随机水平，远逊于人类，凸显了该基准对追踪模型进展的重要性。
2024-06-06 cs.CL
Semantic query-by-example speech search using visual grounding
Stellenbosch University（斯泰伦博斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
最近的一些研究已经开始研究如何通过在训练时利用伴随的图像来训练语音系统。任务的示例包括关键字预测和模式内和跨模式检索。在这里，我们考虑这样的模型可以用于查询的例子（QBE）搜索，检索相关的一个给定的口头查询的话语的任务。我们特别感兴趣的语义QBE，其中的任务不仅是检索话语包含确切的查询实例，但也话语的意义是相关的查询。我们遵循分段QBE方法，其中可变持续时间的语音段（查询，搜索话语）被映射到固定维度的嵌入向量。我们表明，使用嵌入函数训练视觉接地语音数据的QBE系统优于一个纯粹的声学QBE系统的准确和语义检索性能。
2019-04-15 cs.CL cs.SD eess.AS
Towards Addressing the Misalignment of Object Proposal Evaluation for Vision-Language Tasks via Semantic Grounding
Arizona State University（亚利桑那州立大学）
针对视觉-语言任务中对象提议评估与下游性能错位的问题，提出基于语义接地选择重要标注子集进行评估的方法，显著提升与图像描述指标及人工标注的对齐度。
2023-09-01 cs.CL cs.CV
A Multi-level Alignment Training Scheme for Video-and-Language Grounding
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
要解决视频和语言的基础任务，关键是让网络理解这两种模式之间的联系。对于一对视频和语言描述，它们之间的语义关系通过编码相似度来反映。一个好的多模态编码器应该能够很好地捕捉两个输入的语义，并将它们编码在共享特征空间中，其中嵌入距离被适当地转换为它们的语义相似度。在这项工作中，我们专注于视频和语言之间的这种语义联系，并开发了一种多级对齐训练方案来直接塑造编码过程。基于从高层上下文到细粒度语义的信息相似度，设计了全局和片段级的视频-语言对齐对。对比性损失用于对比正负比对对之间的编码相似性，并确保网络以这样一种方式进行训练，即相似信息在共享特征空间中紧密编码，而不同语义的信息保持分离。我们的多层次对齐训练可以应用于各种视频和语言基础任务。再加上特定于任务的训练损失，我们的框架在多个视频QA和检索数据集上实现了与以前最先进的性能相当的性能。
2023-02-27 cs.CL cs.CV cs.LG
Multi-level Multimodal Common Semantic Space for Image-Phrase Grounding
Columbia University（哥伦比亚大学）
我们通过学习文本和视觉模态共享的多层次公共语义空间来解决短语接地问题。我们利用深度卷积神经网络的多个层次的特征映射，以及从基于字符的语言模型中提取的上下文化单词和句子嵌入。以下专用的非线性映射的视觉特征在每个级别，单词和句子嵌入，我们获得多个实例，我们共同的语义空间中，任何目标文本和视觉内容之间的比较进行余弦相似性。我们通过一个多层次的多模态注意力机制来引导模型，该机制在每个层次上输出被关注的视觉特征。选择最佳水平与文本内容进行比较，以最大化地面真相的图像-句子对的相关性得分。在三个公开可用的数据集上进行的实验显示，在短语本地化方面，与最先进的方法相比，性能有了显著的提高（相对提高20%-60%），并在这些数据集上创造了新的性能记录。我们提供了详细的消融研究，以显示我们方法中每个元素的贡献，并在GitHub上发布我们的代码。
2019-05-29 cs.CL cs.CV cs.LG
Seeing the advantage: visually grounding word embeddings to better capture human semantic knowledge
Radboud University（拉德堡德大学）
分布式语义模型捕获单词级的意义，这在许多自然语言处理任务中是有用的，甚至已经被证明可以捕获单词意义的认知方面。这些模型中的大多数都是纯粹基于文本的，尽管人类的感官体验要丰富得多。在本文中，我们创建视觉接地词嵌入相结合的英文文本和图像，并将它们与流行的基于文本的方法进行比较，看看视觉信息是否允许我们的模型更好地捕捉认知方面的词义。我们的分析表明，视觉接地嵌入相似性更大的预测人类的反应时间在一个大的启动实验比纯粹的基于文本的嵌入。视觉接地嵌入也与人类单词相似性评级相关。重要的是，在这两个实验中，我们表明，接地嵌入占解释方差的一个独特的部分，即使我们包括基于文本的嵌入在巨大的语料库上训练。这表明视觉基础允许我们的模型捕获无法使用文本作为唯一信息源提取的信息。
2022-02-21 cs.CL cs.CV cs.LG
Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
针对弱监督视觉-文本定位缺少区域-短语标注的问题，提出融合未训练粗对齐模块与训练优化模块的 SPRM，并在 Flickr30k Entities 和 ReferIt 上取得最优性能。
2023-09-26 cs.AI cs.CL cs.CV
Numerically Grounded Language Models for Semantic Error Correction
University College London（伦敦大学学院）
语义错误检测和纠正是诸如事实检查、语音到文本或语法错误纠正等应用的重要任务。目前的方法通常集中在相对较浅的语义，不考虑数字量。我们的方法使用基于文本中数字的语言模型。对于递归神经语言模型架构，这种基础很容易实现，其可以进一步以不完整的背景知识基础为条件。我们对临床报告的评估表明，与未接地的方法相比，数字接地可使困惑度提高33%，语义错误纠正的F1提高5分。以知识为基础的条件会产生进一步的改进。
2016-08-14 cs.CL cs.NE
Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation
University of Bremen（不来梅大学）；The DesignSpace Group（设计空间小组）；MANIT（迈普尔国家理工学院）
我们提出了动态视觉空间意象的具身基础和基于自然语言的分析总结的一般理论和相应的陈述模型。声明模型--ecompassing空间语言抽象，图像模式，和时空特征为基础的语言生成器-是模块化的约束逻辑编程（CLP）内实现。所实现的模型是这样的，即理论的原语，例如，与空间和运动有关的图像模式可用作具有适于推理和查询的“深层语义”的第一类对象。我们展示了广泛的动机，如电影，设计，地理，智能环境的分析自然语言为基础的外部化的运动图像的选择的例子模型是中央从人类互动的观点，基于证据的定性分析，和意义。保留字：运动图像，视觉语义和体现，视觉空间认知和计算，认知视觉，叙事的计算模型，陈述性空间推理
2015-08-13 cs.AI cs.CL cs.CV
VLG-Net: Video-Language Graph Matching Network for Video Grounding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
视频中的接地语言查询旨在识别与语言查询语义相关的时间间隔（或时刻）。解决这一具有挑战性的任务需要理解视频和查询的语义内容，并对其多模态交互进行细粒度推理。我们的关键思想是将这个挑战转化为算法图匹配问题。在图神经网络最新进展的推动下，我们建议利用图卷积网络来建模视频和文本信息以及它们的语义对齐。为了实现跨模态的信息的相互交换，我们设计了一种新的视频语言图匹配网络（VLG-Net）来匹配视频和查询图。核心成分包括分别建立在视频片段和查询令牌之上的表示图，并用于建模模态内关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后，通过融合时刻的丰富片段特征，使用掩蔽时刻注意力池来创建候选时刻。我们在三个广泛使用的数据集上展示了优于最先进的接地方法的性能，这些数据集用于语言查询视频中时刻的时间定位：ActivityNet-Captions，TACoS和DiDeMo。
2021-08-16 cs.CL cs.CV
MEG-RAG: Quantifying Multi-modal Evidence Grounding for Evidence Selection in RAG
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎- Rocquencourt 国家信息与自动化研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）；Zhejiang University（浙江大学）；Peking University（北京大学）；University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；CSIRO’s Data61（CSIRO 数据61）
本文提出 MEG-RAG 框架，通过语义感知的多模态证据 grounding 方法提升 RAG 中的证据选择准确性与多模态一致性。
2026-04-30 cs.CL cs.IR cs.IT
OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）；Colorado School of Mines（科罗拉多矿业学院）；Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
该研究推出OmniCompass这一全模态视频定位与理解综合基准，含两个赛道、三类任务，经50个MLLMs评估发现开源模型在视听理解等方面仍落后于闭源模型。
2026-10-14 cs.CL cs.CV cs.MM
Find Someone Who: Visual Commonsense Understanding in Human-Centric Grounding
Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
从包含多个人的视觉场景中，人类能够区分每个人，给出关于之前发生的事情，他们的精神/身体状态或意图等的上下文描述。例如，如果要求识别图像中“需要治疗的人”，我们首先需要知道他们通常有受伤或痛苦的表情，然后找到相应的视觉线索，最后才能将人接地气。我们提出了一个新的常识任务，以人为中心的常识接地，测试模型的能力，地面个人的上下文描述之前发生了什么，他们的精神/身体状态或意图。我们进一步创建了一个基准，HumanCog，一个数据集，其中有13万个接地常识描述注释在67 k个图像上，涵盖了各种类型的常识和视觉场景。我们建立了一个上下文对象感知的方法作为一个强大的基线，它优于以前的预训练和非预训练模型。进一步的分析表明，丰富的视觉常识和多模态常识的强大整合是必不可少的，这对未来的工作有启发意义。数据和代码将在https://github.com/Hxyou/HumanCog上提供。
2022-12-14 cs.CL cs.CV
Self-Supervised Representation Learning for Speech Using Visual Grounding and Masked Language Modeling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们描述了我们提交的ZeroSpeech 2021挑战和SUPERB基准。我们的提交是基于最近提出的FaST-VGS模型，这是一个基于transformer的模型，可以学习将原始语音波形与语义相关的图像相关联，而无需使用任何语音的transmittance。此外，我们还介绍了该模型的一种新的扩展，FaST-VGS+，它是在多任务方式中学习的，除了视觉基础目标外，还具有掩蔽语言建模目标。在ZeroSpeech 2021上，我们展示了我们的模型在ABX任务上的表现具有竞争力，在句法和语义任务上的表现优于所有其他并发提交，并且在词汇任务上几乎与最佳系统相匹配。在SUPERB基准测试中，我们表明我们的模型也实现了强大的性能，在某些情况下甚至优于流行的wav2vec2.0模型。
2022-03-02 cs.CL cs.CV cs.LG
