Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院)
该研究提出无回归框架,通过解耦指令理解与布局感知定位,在ScreenSpot-Pro和Mind2Web数据集上显著提升GUI定位的准确率、成功率及元素选择率,抑制了坐标幻觉。
2026-11-16 cs.AI
Softened Symbol Grounding for Neuro-symbolic Systems
Nanjing University(南京大学);Birkbeck, University of London(伦敦大学伯克贝克学院)
本文提出软化符号接地框架,通过 Boltzmann 分布建模、结合 projection 与 SMT solvers 的 MCMC 采样及退火机制,统一神经训练与符号推理,并在三类任务上突破现有方法边界。
2024-03-01 cs.AI cs.LG
Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix
Stony Brook University(纽约州立大学石溪分校);Westlake University(西湖大学)
研究以语言目标为条件的紧凑世界模型中空间关系建立问题,发现指令泄漏陷阱,提出将目标排除在动力学外并监督读取路径的修复方法,适用于相关世界模型,提升关系基础的准确性。
2026-07-09 cs.AI
Modular Framework for Visuomotor Language Grounding
University of California Irvine(加州大学尔湾分校)
自然语言指令遵循任务是基础语言和机器人研究的一个有价值的测试平台。然而,用于这些任务的数据汇集是昂贵的,并且端到端方法遭受数据效率低下。我们建议将语言,表演和视觉任务结构化为可以独立训练的独立模块。使用语言、动作和视觉(LAV)框架消除了动作和视觉模块对指令遵循数据集的依赖,使它们更有效地进行训练。我们还提出了一个初步评估LAV的视觉和交互式指令遵循的ALFRED任务。
2021-09-05 cs.AI
Grounding Natural Language Instructions: Can Large Language Models Capture Spatial Information?
University of Manchester(曼彻斯特大学);Blue Prism AI Labs(蓝棱镜人工智能实验室);ByteDance AI Lab(字节跳动人工智能实验室);Idiap Research Institute(Idiap研究所)
为智能过程自动化设计的模型需要能够使用户界面元素接地。这个界面元素基础的任务集中在将自然语言中的指令链接到它们的目标对象上。尽管BERT和类似的预训练语言模型在几个NLP任务中表现出色,但它们的使用尚未在UI基础领域得到广泛探索。本工作集中于测试和探测三种不同的基于变压器的模型的接地能力:BERT,RobERTa和LayoutLM。我们的主要重点是这些模型的空间推理能力,因为它们在这个领域的重要性。我们观察到,LayoutLM有一个很有前途的优势,在这一领域的应用程序,即使它是为不同的原始目的(代表扫描的文档):学习的空间功能似乎是可转移到UI接地设置,特别是因为他们表现出的能力,区分目标方向之间的自然语言指令。
2021-09-17 cs.AI cs.CL
Semantic Skill Grounding for Embodied Instruction-Following in Cross-Domain Environments
Sungkyunkwan University(成均馆大学);LG AI Research(LG AI研究院);University of Illinois Chicago(芝加哥大学伊利诺伊分校)
针对跨域具身指令跟随中预训练技能落地难题,提出SemGro框架,利用语义技能层次结构,通过迭代分解将技能落地至可执行层级,在VirtualHome基准300个场景中验证了有效性。
2024-08-21 cs.AI
Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization
Sapienza University of Rome(萨皮恩扎大学罗马分校);Sony AI(索尼人工智能)
本文提出在子符号强化学习环境中通过联合训练多任务策略和符号接地器,实现LTL任务的零样本泛化。
2026-08-18 cs.AI cs.LG
Aria-UI: Visual Grounding for GUI Instructions
本文提出Aria-UI,一种纯视觉的大型多模态模型,用于GUI指令定位,通过可扩展数据管道和上下文感知推理,在离线和在线基准上取得最先进结果。
2025-07-08 cs.AI cs.HC
AdaZoom-GUI: Adaptive Zoom-based GUI Grounding with Instruction Refinement
Lenovo Research(联想研究院);Tsinghua University(清华大学)
本文提出AdaZoom-GUI框架,通过指令细化模块和条件缩放策略提升GUI定位精度与指令理解,构建高质量数据集并采用GRPO训练模型,实现在高分辨率GUI理解中的最佳性能。
2026-03-18 cs.AI cs.CV
Soft Symbol Grounding for Prototypical Concepts
Centro de Investigación en Computación, Instituto Politécnico Nacional(国家理工学院计算研究中心);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
Soft-PNet通过Metropolis游走和原型分布实现无损失工程的软符号接地,在稀缺监督下匹配或超越现有原型网络,并降低训练时间。
2026-09-14 cs.AI
Script-to-Slide Grounding: Grounding Script Sentences to Slide Objects for Automatic Instructional Video Generation
Nagoya Institute of Technology(名古屋技术大学)
本文提出Script-to-Slide Grounding任务,利用大语言模型实现脚本与幻灯片对象的自动接地,实验显示F1分数达0.924,为自动化幻灯片视频编辑奠定基础。
2026-03-14 cs.AI cs.CV
UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning
Renmin University of China(中国人民大学);Tongyi Lab, Alibaba Group(阿里云实验室)
针对GUI接地中指令质量与多样性被忽视的问题,提出指令即推理范式及SFT+RL两阶段训练框架,构建UI-Ins模型,在五个基准上达到最先进性能,并展现智能体潜力。
2025-10-23 cs.AI cs.CV
Neural-Symbolic Integration for Interactive Learning and Conceptual Grounding
City, University of London(伦敦大学城市学院)
我们提出了神经-符号积分的抽象概念解释和互动学习。神经符号积分和解释允许用户和领域专家了解大型神经模型的数据驱动决策过程。使用符号逻辑语言查询模型。然后,与用户的交互使用可以被提取到模型架构中的基于逻辑的约束来确认或拒绝神经模型的修订。该方法使用逻辑张量网络框架和概念激活向量来说明,并应用于卷积神经网络。
2022-01-17 cs.AI cs.LG
Generate in the Chart, Not on the Boundary: Function-Symbol Grounding for Hard Constraints in LTN-GANs
The University of Edinburgh(爱丁堡大学)
本研究针对LTN-GAN的硬约束问题,提出将公理以函数符号而非谓词 grounding 的方法,对比约束层发现其能保留余量分布,通过分辨率比R诊断 grounding 的学习能力,可生成真实有效样本。
2026-08-25 cs.AI
WorldAfford: Affordance Grounding based on Natural Language Instructions
University of Science and Technology of China(中国科学技术大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
本研究首次提出基于自然语言指令的可供性grounding新任务,构建了LLMaFF数据集,提出WorldAfford框架结合思维链提示、SAM与CLIP实现多物体可供性定位,在两个数据集上达SOTA,还可提供不匹配时的替代方案。
2024-05-21 cs.AI cs.CV
A Unified Formal Theory on the Logical Limits of Symbol Grounding
Zhangchi Liu(独立研究者)
本文提出符号接地问题的统一理论,通过形式证明展示其逻辑界限,指出外部动态过程与具身交互的必要性。
2025-12-10 cs.AI cs.LO
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University(康奈尔大学)
我们研究的问题,学习机器人的政策,遵循自然语言的指令,可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据,使用范例来识别对象,并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示,编码对象的位置和它们的指示使用,并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施,以下政策,从而使它能够在测试时,通过简单地添加样本以前看不见的对象的原因。我们评估的任务,学习映射原始的观察和指示,以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术,即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding
Nankai University(南开大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
DRS-GUI通过动态区域搜索框架提升GUI定位性能,利用轻量级UI感知器和MCTS动作规划器,实现高效区域探索与筛选,提升多模态大语言模型的定位能力。
2026-05-15 cs.AI
Coverage Before Control: Route-Instruction Grounding and Steering for Controllable Retrosynthesis
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai AI Lab(上海人工智能实验室)
针对逆合成中遵循化学家偏好的需求,提出RIGS两阶段框架,通过语言投影器学习指令偏好并引导冻结生成模型,实验证明扩大训练支持可提升替代方案覆盖且能按指令控制生成。
2026-10-01 cs.AI cs.LG
Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning for Robotics
Hamburg University of Technology(汉堡工业大学);University of Hamburg(汉堡大学)
本文重点研究了机器人强化学习与稀疏奖励的自然语言目标表示。一个开放的问题是样本效率低下,这源于自然语言的组合性,以及语言在感官数据和动作中的基础。我们通过三个贡献来解决这些问题。我们首先提出了一种机制,利用专家反馈后见之明指令重放。其次,我们提出了一个seq2seq模型来生成语言后见之明指令。最后,我们提出了一类新的语言为重点的学习任务。我们表明,后见之明的指示,提高学习性能,正如预期的那样。此外,我们还提供了一个意想不到的结果:我们表明,我们的代理的学习性能可以提高三分之一,如果在某种意义上说,代理学习与自己交谈,在自我监督的方式。我们通过学习生成语言指令来实现这一点,这些语言指令本来适合作为最初无意行为的自然语言目标。我们的研究结果表明,性能增益与任务的复杂性增加。
2022-09-08 cs.AI cs.CL cs.LG
Assessing SATNet's Ability to Solve the Symbol Grounding Problem
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Sony AI(索尼人工智能)
本文针对SATNet被认为能结合模式识别与逻辑推理的结论,通过实验证明其在无中间标签时视觉数独任务准确率为0%,指出其存在符号接地问题,并提出MNIST基准测试及失败原因与改进方向。
2023-12-13 cs.AI cs.LG
Gated-Attention Architectures for Task-Oriented Language Grounding
Carnegie Mellon University(卡内基梅隆大学)
为了执行由自然语言指令指定的任务,自主智能体需要提取语义上有意义的语言表示,并将其映射到环境中的视觉元素和动作。这个问题被称为任务导向的语言基础。我们提出了一种端到端的可训练神经架构,用于在3D环境中进行面向任务的语言基础,该架构不假设先前的语言或感知知识,只需要来自环境的原始像素和自然语言指令作为输入。该模型使用门控注意力机制结合图像和文本表示,并使用标准强化和模仿学习方法学习执行自然语言指令的策略。我们展示了所提出的模型的有效性看不见的指令以及看不见的地图,定量和定性。我们还介绍了一个新的环境的基础上的3D游戏引擎,以模拟面向任务的语言接地在一组丰富的指令和环境状态的挑战。
2018-01-09 cs.AI cs.CL cs.LG
Which symbol grounding problem should we try to solve?
Anatolia College/ACT(安纳托利亚学院/安纳托利亚学院与美国大学塞萨洛尼基分校);University of Oxford(牛津大学)
本文针对符号奠基问题,反驳了Floridi与Taddeo提出的“零语义承诺”条件及对应方案,结合Luc Steels的竞争性观点,重新界定问题本质,提出唯一有意义的奠基问题是在人工计算智能体中解释与复现意义的行为能力与功能。
2025-06-16 cs.AI cs.CL
BioProAgent: Neuro-Symbolic Grounding for Constrained Scientific Planning
School of AI for Science, Peking University(科学人工智能学院,北京大学);School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);School of Computer Science, Peking University(计算机科学学院,北京大学)
BioProAgent通过神经符号框架将概率规划锚定在确定性有限状态机中,解决复杂设备模式中的上下文瓶颈,提升物理执行的可靠性。
2026-05-16 cs.AI cs.MA
Grounding vs. Compositionality: On the Non-Complementarity of Reasoning in Neuro-Symbolic Systems
Place-Beyond-Bytes
研究指出神经符号系统中组成性推理并非符号 grounding 的副产品,通过 iLTN 实验证明仅依赖 grounding 无法实现泛化,联合训练 grounding 与推理可提升零样本准确性。
2026-04-29 cs.AI cs.CV cs.LG
Towards Stable Symbol Grounding with Zero-Suppressed State AutoEncoder
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
虽然经典规划一直是人工智能的一个活跃分支,但其适用性仅限于人类精确建模的任务。完全自动化的高级代理应该能够在没有监督的情况下找到未知环境的符号表示,否则它会表现出知识获取瓶颈。与此同时,Latplan(Asai and Fukunaga 2018)通过称为状态自动编码器(SAE)的神经网络部分解决了瓶颈。SAE通过无监督学习获得基于图像的谜题域的命题表示,生成状态空间并执行经典规划。在本文中,我们确定的问题,随机行为的SAE产生的命题作为一个新的子问题的符号接地问题,符号稳定性问题。非正式地说,符号是稳定的,当它们的引用(例如命题值)不改变对小扰动的观察,和不稳定的符号是有害的符号推理。我们分析了在Latplan的问题,正式和经验,并提出了“零抑制SAE”,一个增强,稳定的命题使用封闭世界假设的想法作为前NN优化。我们发现,它发现更稳定的命题和更紧凑的表示,从而提高了Latplan的成功率。它对各种超参数具有鲁棒性,并且简化了调优工作,并且还提供了权重修剪功能作为副作用。
2019-03-27 cs.AI cs.LG
NS3D: Neuro-Symbolic Grounding of 3D Objects and Relations
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
在3D场景中建立对象属性和关系是广泛的人工智能任务的先决条件,例如视觉基础对话和具体操作。然而,3D域的可变性引发了两个基本挑战:1)标记的费用和2)3D接地语言的复杂性。因此,模型的基本要求是数据高效,推广到不同的数据分布和具有不可见语义形式的任务,以及基础复杂语言语义(例如,视点锚定和多对象参考)。为了应对这些挑战,我们提出了NS3D,一个用于3D接地的神经符号框架。NS3D通过利用大型语言到代码模型将语言转换为具有层次结构的程序。程序中的不同功能模块用神经网络实现。值得注意的是,NS3D通过引入有效地推理高元关系(即,两个以上对象之间的关系),关键在于消除复杂3D场景中对象的歧义。模块化和组合架构使NS3D能够在ReferIt3D视图依赖任务(3D引用表达式理解基准)上实现最先进的结果。重要的是,NS3D在数据效率和泛化设置方面表现出显着改进的性能,并展示了zero-shot向看不见的3D问答任务的转移。
2023-03-23 cs.AI cs.CV
Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions
Zhejiang University(浙江大学);Alibaba Cloud(阿里云)
本文提出三维物体可供性定位新任务,构建AGPIL数据集,并设计语言引导的多模态网络LMAffordance3D,融合2D/3D空间与语义特征,在多种视角条件下实现有效定位。
2025-04-07 cs.AI cs.CV cs.RO
GUI-Perturbed: Domain Randomization Reveals Systematic Brittleness in GUI Grounding Models
Fig 2 Manifold Research(图2曼尼福德研究)
GUI接地模型在标准基准上准确率超过85%,但在需要空间推理而非直接元素命名时下降27-56个百分点。GUI-Perturbed框架通过独立变化视觉场景和指令来评估接地鲁棒性,发现关系指令导致所有模型准确性崩溃,70%浏览器缩放显著降级,且增强数据训练反而降低性能。
2026-07-02 cs.AI cs.LG
IKEA Manuals at Work: 4D Grounding of Assembly Instructions on Internet Videos
Stanford University(斯坦福大学);J.P. Morgan AI Research(摩根大通AI研究院)
本文提出IKEA Video Manuals数据集,提供家具零件3D模型、说明书、互联网装配视频及跨模态时空对齐标注,并验证其在装配计划生成等五个应用中的基线表现,揭示了视频装配指令4D grounding面临的遮挡等挑战。
2024-11-18 cs.AI cs.CV cs.LG
VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding
Tsinghua University(清华大学);Columbia University(哥伦比亚大学);Harbin Engineering University(哈尔滨工程大学)
针对视频时间定位中智能体框架手动优化困难的问题,提出VideoEvolve框架,通过完形填空式表示和分支引导演化自动改进框架,实验证明其有效提升多个基准上的定位性能。
2026-10-02 cs.AI cs.CV
EAGLE: Enhanced Visual Grounding Minimizes Hallucinations in Instructional Multimodal Models
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Sailplane AI;Pontificia Universidad Católica de Chile(智利天主教大学)
本文提出 EAGLE,通过重构对比预训练任务增强视觉编码器的定位与语言对齐,在不依赖 LLM 或融合模块、无需额外指令训练的情况下显著降低多模态模型幻觉。
2025-01-06 cs.AI cs.CV
An Algorithmic Information-Theoretic Perspective on the Symbol Grounding Problem
Zhangchi Liu(刘志强)
本文从算法信息论视角统一符号接地问题,证明意义接地受信息论极限约束,并指出意义是系统不断克服自身极限的开放过程。
2025-10-02 cs.AI cs.IT math.IT
Evaluating Large Language Models on the Frame and Symbol Grounding Problems: A Zero-shot Benchmark
Independent Researcher(独立研究者)
本文构建面向框架问题与符号接地问题的零样本哲学基准,测试13个闭源及开源LLM,发现部分闭源模型能稳定给出高质量回答。
2025-06-09 cs.AI cs.CL
Extensible Grounding of Speech for Robot Instruction
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
口语是一个方便的界面,用于指挥移动机器人。然而,要做到这一点,一些基本术语必须以感知和运动技能为基础。我们详细介绍了我们的机器人ELI上使用的语言处理,并解释了这种接地是如何执行的,它如何与用户手势交互,以及它如何处理回指等现象。然而,更重要的是,有一些概念是机器人无法预先编程的,例如家庭中各种物体的名称或它可能被要求执行的特定任务的性质。在这些情况下,至关重要的是要有一种方法来扩大基础,基本上是“通过被告知来学习”。我们描述了这是如何成功地实现学习新的名词和动词在桌面设置。创建这种语言学习内核可能是机器人需要的最后一个明确的编程-核心机制最终可以用于传授大量的知识,就像孩子从父母和老师那里学习一样。
2018-07-31 cs.AI cs.CL cs.RO
Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning
Stanford University(斯坦福大学);Nvidia(英伟达)
我们解决一次性模仿学习,其目标是执行一个以前看不见的任务的基础上一个单一的演示。虽然在这个方向上已经取得了令人兴奋的进展,但大多数方法仍然需要几百个任务进行元训练,这限制了方法的可扩展性。我们的主要贡献是制定一杆模仿学习作为一个象征性的规划问题,随着符号接地问题。该公式将策略执行从任务间泛化中解脱出来,从而提高了数据效率。关键的技术挑战是符号基础在有限的训练数据下容易出错,并导致随后的符号规划失败。我们解决这个挑战,提出了一个连续放松的离散符号规划,直接计划的概率输出的符号接地模型。我们对规划器的连续放松仍然可以利用概率符号基础中包含的信息,并且在不使用大的训练数据的情况下,显著地改善了一次性模仿学习任务的基线规划器。
2019-11-05 cs.AI cs.LG cs.RO
SILG: The Multi-environment Symbolic Interactive Language Grounding Benchmark
University of Washington(华盛顿大学);Facebook AI Research(Facebook 人工智能研究院);Princeton University(普林斯顿大学)
现有的语言基础研究通常研究单一的环境。我们如何构建适用于多个环境的统一模型?我们提出了多环境符号交互式语言基础基准(SILG),它统一了一个共同的界面下的不同接地语言学习环境的集合。SILG由网格世界环境组成,需要泛化到新的动态,实体和部分观察到的世界(RTFM,Messenger,NetHack),以及视觉世界的符号对应物,需要解释复杂场景的丰富自然语言(ALFWorld,Touchdown)。总之,这些环境在丰富的观察空间、行动空间、语言规范和计划复杂性方面提供了不同的基础挑战。此外,我们还提出了在这些环境中用于RL的第一个共享模型架构,并评估了最近的进展,如以自我为中心的局部卷积,经常性的状态跟踪,以实体为中心的注意力,以及使用SILG的预训练LM。我们的共享架构实现了与特定环境架构相当的性能。此外,我们发现,许多最新的建模进展并没有导致显着的收益环境以外,他们的设计。这凸显了对多环境基准的需求。最后,最好的模型在SILG上的表现明显低于人类,这表明未来的工作有足够的空间。我们希望SILG能够使社区快速识别新的语言基础方法,这些方法可以推广到各种环境及其相关挑战。
2022-01-24 cs.AI cs.CL cs.LG
How the symbol grounding of living organisms can be realized in artificial agents
University of Groningen(格罗宁根大学)
具有人工智能的系统通常依赖于符号操作,至少部分地和隐含地依赖于符号操作。然而,对符号的解释--它们代表什么以及它们是关于什么的--最终留给了人类,作为系统的设计者和用户。符号如何能够独立于外部解释而获得系统本身的意义,这是一个尚未解决的问题。符号的一些基础可以通过实施例来获得,也就是说,通过将符号(或子符号变量)因果地连接到物理环境,例如在具有传感器和效应器的机器人中。然而,这种因果关系本身并不产生符号对人类所具有的那种表征和相关性。在这里,我提出了一个理论,解释了人类和其他生物体如何获得了具有符号和子符号变量的能力,这些符号和子符号变量代表,指的是其他东西。该理论表明,指称可以是对物理对象的指称,也可以是对抽象对象的指称,甚至可以是对不存在的对象的指称。随后,我抽象的理论的主要组成部分,从他们的生物背景,并讨论如何以及在什么条件下的理论可以在人工代理。该理论的一个主要组成部分是与自我复制(可能是无限的)相关的强非线性。后者在人工系统中可能是不可接受的。目前尚不清楚,除了那些内在地服务于自我繁殖的目标之外,其他目标是否可以具有约性,以及这些目标是否可以稳定。
2015-03-17 cs.AI cs.NE cs.RO
Techniques for Symbol Grounding with SATNet
McGill University(麦吉尔大学);NVIDIA(英伟达);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
许多专家认为,人工智能的未来受到该领域将符号逻辑推理集成到深度学习架构中的能力的限制。最近提出的可微MAXSAT求解器SATNet在与传统神经网络集成并解决视觉推理问题的能力上是一个突破。例如,它可以纯粹从图像示例中学习数独规则。尽管SATNet取得了成功,但它被证明屈服于神经符号系统中的一个关键挑战,即符号基础问题:在没有明确监督的情况下,无法将视觉输入映射到符号变量(“标签泄漏”)。在这项工作中,我们提出了一个自我监督的预训练管道,使SATNet能够克服这一限制,从而扩大了SATNet架构可以解决的问题的类别,包括根本没有中间标签的数据集。我们证明,我们的方法允许SATNet达到完全的准确性,即使有一个更难的问题设置,防止任何标签泄漏。我们还引入了一种校对方法,进一步提高了SATNet架构的性能,击败了Visual Sudoku上的最先进技术。
2021-06-16 cs.AI cs.LG stat.ML
CRAFT-E: An Interpretable and Editable Neuro-Symbolic Framework for Affordance-Grounded Active Object Retrieval
CRAFT-E通过结合神经符号方法和具身感知,提供了一种可解释且可定制的框架,用于辅助机器人系统中基于赋能力量的物体选择。
2026-10-27 cs.AI cs.RO
Generating by Understanding: Neural Visual Generation with Logical Symbol Groundings
State Key Laboratory of CAD&CG(CAD与CG国家重点实验室);National Key Laboratory for Novel Software Technology(新型软件技术国家实验室);Department of Computer and Information Science(计算机与信息科学系)
本文提出AbdGen方法,通过向量量化符号接地与逻辑溯因,使神经视觉生成模型可被逻辑推理系统控制,并支持少样本学习和从数据中归纳生成规则。
2025-06-05 cs.AI cs.CV cs.GR
Learning from Implicit Information in Natural Language Instructions for Robotic Manipulations
Koç University(科奇大学);KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学);Osnabrück University(奥斯纳布吕克大学)
人机交互通常以人类向机器人发出指令的形式发生。为了让机器人成功地遵循指令,人类和机器人之间应该共享世界和物体的共同表示,以便指令可以接地。实现这种表征可以通过学习来完成,其中世界表征和语言基础都是同时学习的。然而,在机器人技术中,由于数据的成本和稀缺性,这可能是一项艰巨的任务。在本文中,我们通过分别学习机器人的世界表示和语言基础来解决这个问题。虽然这种方法可以解决获取足够数据的挑战,但它可能会导致两个学习组件之间的不一致。因此,我们进一步提出贝叶斯学习,以解决这种不一致的自然语言接地和机器人的世界表示,利用空间关系的信息,这是隐含在人类给出的指令。此外,我们证明了我们的方法的可行性,涉及在物理世界中的机器人手臂的情况下。
2019-04-30 cs.AI cs.RO
Risk-Aware Semantic Grounding for Trustworthy LLM-Based Robot Planning
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息学研究所)
本文提出风险感知语义锚定框架,通过多维风险估计建模不确定性,使LLM机器人规划器能决定执行、澄清或拒绝指令,并在TRUST-NAV基准上显著提升模糊检测与冲突拒绝能力。
2026-09-30 cs.AI cs.RO
Instruction-Augmented Long-Horizon Planning: Embedding Grounding Mechanisms in Embodied Mobile Manipulation
The Hong Kong Polytechnic University(香港理工大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工大学宁波数字孪生研究院);Great Bay University(大湾区大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出IALP系统,将LLM抽象推理与接地机制结合,把用户指令增强为PDDL问题,在真实长时程移动操作任务中实现超过80%的平均成功率。
2025-03-11 cs.AI cs.RO
Symbol Grounding in Neuro-Symbolic AI: A Gentle Introduction to Reasoning Shortcuts
University of Trento(特伦托大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Sapienza University of Rome(罗马大学);University of Edinburgh(爱丁堡大学);Huawei Labs(华为实验室)
本文探讨神经符号AI中推理快捷方式的问题,分析其成因与影响,并提供解决方法与策略,以提升模型的可靠性和可信度。
2026-08-07 cs.AI cs.LG
Improving the Robustness to Variations of Objects and Instructions with a Neuro-Symbolic Approach for Interactive Instruction Following
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);Kyoto University(京都大学)
一个交互式的指令遵循任务已被提出作为一个基准,学习映射自然语言指令和第一人称视觉的动作序列,在3D环境中的对象进行交互。我们发现,现有的用于此任务的端到端神经模型往往无法与具有不可见属性的对象进行交互,并且无法遵循各种指令。我们假设这个问题是由神经特征提取对视觉和语言输入的微小变化的高敏感性引起的。为了缓解这个问题,我们提出了一种神经符号的方法,利用高层次的符号特征,这是强大的原始输入的小变化,作为中间表示。我们验证了我们的模型的有效性与ALFRED基准的子任务评估。我们的实验表明,在看不见的环境中,我们的方法在ToggleObject、PickupObject和SliceObject子任务的成功率上分别比端到端神经模型高出9、46和74个点。
2022-11-15 cs.AI cs.CL cs.HC
MIND: Instruction-Conditioned Incremental Grounding for Robots
Indiana University Bloomington(印第安纳大学布卢明顿分校);Incheon National University(仁川国立大学)
本研究提出MIND框架,通过指令条件依赖维护机器人的目标房间决策,减少语义评估次数,在ProcTHOR、AI2-THOR及Unitree G1实验中均能保留全部或匹配重计算的决策。
2026-10-15 cs.AI cs.RO
Visual Grounding for Object-Level Generalization in Reinforcement Learning
School of Computer Science, Peking University(北京大学计算机学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文利用VLM视觉定位生成目标对象置信度图,并通过内在奖励和任务表示两条路径将其知识迁移到RL,实现对未见对象与指令的零样本对象级泛化。
2024-08-04 cs.AI cs.CV
A Multi-Modal Neuro-Symbolic Approach for Spatial Reasoning-Based Visual Grounding in Robotics
Faculty of Information Technology, Monash University(信息技术学院,墨尔本大学);Department of Electrical Engineering, Sharif University of Technology(电气工程系,谢赫大学)
针对VLMs在细粒度空间推理上的不足,提出整合全景图像与3D点云的神经符号框架,结合神经感知与符号推理显式建模空间逻辑关系,在JRDB-Reasoning数据集上展现卓越性能且保持轻量化设计。
2025-10-30 cs.AI cs.CV cs.RO
PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了PIGLeT:一个通过交互学习物理常识知识的模型,然后使用这些知识来建立语言。我们将PIGLeT分解为一个物理动力学模型和一个单独的语言模型。我们的动力学模型不仅学习了物体是什么,还学习了它们的作用:玻璃杯在投掷时会破碎,而塑料杯则不会。然后,我们使用它作为我们的语言模型的接口,给我们一个统一的语言形式和基础意义的模型。PIGLeT可以阅读一个句子,通过神经模拟接下来可能发生的事情,然后通过文字符号表示或自然语言传达结果。实验结果表明,我们的模型可以有效地学习世界动态,以及如何传达它们。对于给定的英语句子,它能够在80%以上的情况下正确预测“接下来会发生什么”,比100倍大的文本到文本方法的性能高出10%以上。同样,它的物理相互作用的自然语言总结也被人类判断为比LM替代品更准确。我们提出了全面的分析,显示未来的工作空间。
2022-01-30 cs.AI cs.CL
MoDA: Modulation Adapter for Fine-Grained Visual Grounding in Instructional MLLMs
University of California, Berkeley(加州大学伯克利分校)
提出MoDA调制适配器,通过指令引导的通道级乘法调制增强细粒度视觉定位,在12个基准上对三种MLLM架构取得一致提升,计算开销极小。
2026-06-05 cs.AI cs.CV cs.LG
MOAT: Evaluating LMMs for Capability Integration and Instruction Grounding
Tsinghua University(清华大学)
MOAT通过1005个复杂现实视觉问题评估LMMs在能力整合和指令接地方面的表现,发现最佳模型仅达44%准确率,揭示了LMMs在复杂任务中的不足。
2025-12-12 cs.AI cs.CL cs.CV
ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos
East China Normal University(华东师范大学);Fudan University(复旦大学)
本文提出ToG-Bench,首个面向任务的时空视频接地基准,通过任务导向的接地、显式-隐式双接地和一对一多接地特性,评估多对象和显式-隐式对象接地性能,揭示任务导向时空视频接地的挑战与性能差距。
2026-04-04 cs.AI cs.CV
Composing Pick-and-Place Tasks By Grounding Language
University of Freiburg(弗赖堡大学);Toyota Research Institute(丰田研究院)
通过自然语言控制机器人执行任务是人机交互中最具挑战性的课题之一。在这项工作中,我们提出了一个机器人系统,遵循不受约束的语言指令来拾取和放置任意对象,并通过对话有效地解决歧义。我们的方法推断对象和它们之间的关系,从输入图像和语言表达,并可以放置对象按照由用户表示的空间关系。与以前的方法不同,我们不仅考虑了从语言中挑选日常物品的基础,还考虑了放置这些物品的基础。具体来说,通过接地对象和它们的空间关系,我们允许指定复杂的放置指令,例如“将其放置在中间的红碗后面”。我们使用真实世界的PR 2机器人获得的结果证明了我们的方法在理解拾取和放置语言指令和顺序组合它们来解决桌面操作任务方面的有效性。视频可在http://speechrobot.cs.uni-freiburg.de上获得
2021-02-16 cs.AI cs.CV cs.LG