Symbol, Conversational, and Societal Grounding with a Toy Robot
Boise State University（博伊西州立大学）
有意义的互动的基础是在象征，对话和社会层面。我们目前正在进行的工作与Anki的Cozmo玩具机器人作为一个研究平台，我们利用最近的词作为分类模型的词汇语义在交互式参考解析任务的语言接地。
2017-09-29 cs.CL
Solving Dialogue Grounding Embodied Task in a Simulated Environment using Further Masked Language Modeling
Leuphana University of Lüneburg（吕讷堡大学）
本研究利用进一步掩码语言建模，在Minecraft模拟环境中解决对话基础具身任务，通过增强多模态理解与对话理解，显著提升了任务表现。
2023-06-21 cs.CL cs.HC
Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation
University of Bremen（不来梅大学）；The DesignSpace Group（设计空间小组）；MANIT（迈普尔国家理工学院）
我们提出了动态视觉空间意象的具身基础和基于自然语言的分析总结的一般理论和相应的陈述模型。声明模型--ecompassing空间语言抽象，图像模式，和时空特征为基础的语言生成器-是模块化的约束逻辑编程（CLP）内实现。所实现的模型是这样的，即理论的原语，例如，与空间和运动有关的图像模式可用作具有适于推理和查询的“深层语义”的第一类对象。我们展示了广泛的动机，如电影，设计，地理，智能环境的分析自然语言为基础的外部化的运动图像的选择的例子模型是中央从人类互动的观点，基于证据的定性分析，和意义。保留字：运动图像，视觉语义和体现，视觉空间认知和计算，认知视觉，叙事的计算模型，陈述性空间推理
2015-08-13 cs.AI cs.CL cs.CV
Crossmodal Language Grounding in an Embodied Neurocognitive Model
Universität Hamburg（汉堡大学）；The University of Tokyo（东京大学）；Tsinghua University（清华大学）
人类婴儿在很小的时候就能很容易地习得自然语言。他们的语言学习似乎与学习其他认知功能以及与环境和照顾者的玩耍互动同时发生。从神经科学的角度来看，自然语言是具身的，基于大多数（如果不是全部的话）感觉和感觉运动模态，并通过跨模态整合获得。然而，描述大脑中的潜在机制是困难的，解释语言在跨模态感知和行动中的基础仍然具有挑战性。在本文中，我们提出了一个神经认知模型的语言接地，反映了生物启发的机制，如时间尺度的内隐适应，以及端到端的多模态抽象。它解决了发展机器人的互动，并使用更大规模的知识为基础的数据扩展其学习能力。在我们的场景中，我们利用人形机器人NICO获得EMIL数据汇集，其中认知机器人与儿童游乐场环境中的对象进行交互，同时接收来自护理人员的语言标签。模型分析表明，跨模态综合表征是足够的，仅从感官输入，通过与环境中的对象的相互作用来获取语言。这些表示自组织分层，并通过组合和分解嵌入时间和空间信息。该模型还可以为进一步的基于感知的认知表征的跨模态整合提供基础。
2020-10-16 cs.CL cs.LG cs.NE
Grounding Large Language Models In Embodied Environment With Imperfect World Models
University of California San Diego（加利福尼亚大学圣迭戈分校）
提出GLIMO方法，利用代理世界模型和基于LLM智能体的数据生成器自动合成具身环境指令数据，显著提升开源LLM在物理推理和机器人任务上的性能，使其媲美GPT-4等更大模型。
2024-11-11 cs.CL cs.LG cs.RO
A Roadmap for Embodied and Social Grounding in LLMs
Istituto Italiano di Tecnologia（意大利技术研究院）
本文针对LLM与机器人融合中语言意义理解不足的问题，提出以主动身体、时间结构化体验和社会技能为核心的具身与社会接地路线图。
2024-09-25 cs.AI cs.CL cs.HC
Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration
Tsinghua University（清华大学）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI)（人工智能研究所）；China Telecom（中国电信）；Zhejiang University（浙江大学）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）
针对具身多智能体协作中 LLM 规划依赖物理验证、查询低效的问题，提出 ReAd 框架，通过学习序列优势函数引导规划器优化动作，提升成功率并减少交互与查询。
2025-09-29 cs.AI cs.CL cs.LG
Towards Understanding Language through Perception in Situated Human-Robot Interaction: From Word Grounding to Grammar Induction
Ritsumeikan University（立命馆大学）
机器人在不同的任务中与人类用户广泛合作，这些任务需要高水平的认知功能，使它们能够发现周围的环境。我们在这篇短文中强调的一个困难的挑战是推断语言的潜在语法结构，其中包括基础词性（例如，动词、名词、形容词和介词），并对短语进行组合范畴语法（CCG）归纳。这为基础短语铺平了道路，以便使机器人能够在交互过程中适当地理解人类指令。
2020-03-13 cs.AI cs.CL
When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI
该研究探讨ASR错误对语音控制具身AI安全性的影响，发现其会导致有害指令被执行，部分错误会削弱模型弃权行为，自动修正并非总能降低风险，揭示了ASR错误带来的显著安全风险。
2026-08-31 cs.AI cs.CL cs.RO
Embodied Multimodal Multitask Learning
Facebook AI Research（Facebook人工智能研究）；Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
最近的努力训练视觉导航代理的语言使用深度强化学习已经成功地在不同的多模态任务，如语义目标导航和体现问答的学习策略。在本文中，我们提出了一个多任务模型，能够共同学习这些多模态任务，并转移知识的话，他们的接地在视觉对象的任务。该模型使用了一种新的双注意单元来解开文本表示中的单词知识和视觉表示中的视觉概念，并将它们相互对齐。这种分离的任务不变的表示对齐有助于跨两个任务的基础和知识转移。我们表明，所提出的模型优于一系列的基线在模拟的3D环境中的任务。我们还表明，这种解纠缠的表示，使我们的模型模块化，可解释的，并允许转移到指令包含新的单词，利用对象检测器。
2019-02-04 cs.AI cs.CL cs.LG
Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction
National University of Singapore（新加坡国立大学）
本文介绍了INGRESS，一个机器人系统，遵循人类自然语言的指令，以挑选和放置日常物品。这里的核心问题是指称表达的基础：从输入图像和语言表达中推断对象及其关系。INGRESS允许不受约束的对象类别和不受约束的语言表达式。此外，它提出问题，以消除歧义的指涉表达式交互式。为了实现这些，我们采取接地的方法，通过代，并提出了一个两阶段的神经网络模型接地。第一阶段使用神经网络来生成对象的视觉描述，将它们与输入语言表达进行比较，并识别一组候选对象。第二阶段使用另一个神经网络来检查候选对象之间的所有成对关系，并推断出最可能引用的对象。相同的神经网络用于消除歧义的基础和问题生成。实验表明，INGRESS在RefCOCO数据集和人类机器人实验中的表现优于最先进的方法。
2018-06-11 cs.CL cs.CV cs.RO
Embodied Question Answering
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一个新的人工智能任务--智能问答（Question Questioning，简称QQA）--智能体在3D环境中的随机位置产生，并被问到一个问题（“汽车是什么颜色的？").为了回答，智能体必须首先智能地导航以探索环境，通过第一人称（自我中心）视觉收集信息，然后回答问题（“橙色”）。这项具有挑战性的任务需要一系列人工智能技能-主动感知，语言理解，目标驱动导航，常识推理以及将语言融入行动。在这项工作中，我们开发的环境，端到端训练的强化学习代理，并评估协议的质量保证。
2017-12-01 cs.AI cs.CL cs.CV
Contextual Observer Grounding: Evaluating Situated Spatial Reasoning in Vision-Language Models
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出情境观察者锚定概念，构建POVBench基准，评估视觉-语言模型在具身任务中从情境线索推断说话者视角并定位目标的能力，发现明确分解空间推理可提升定位性能。
2026-09-09 cs.CL cs.CV cs.LG
Extensible Grounding of Speech for Robot Instruction
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
口语是一个方便的界面，用于指挥移动机器人。然而，要做到这一点，一些基本术语必须以感知和运动技能为基础。我们详细介绍了我们的机器人ELI上使用的语言处理，并解释了这种接地是如何执行的，它如何与用户手势交互，以及它如何处理回指等现象。然而，更重要的是，有一些概念是机器人无法预先编程的，例如家庭中各种物体的名称或它可能被要求执行的特定任务的性质。在这些情况下，至关重要的是要有一种方法来扩大基础，基本上是“通过被告知来学习”。我们描述了这是如何成功地实现学习新的名词和动词在桌面设置。创建这种语言学习内核可能是机器人需要的最后一个明确的编程-核心机制最终可以用于传授大量的知识，就像孩子从父母和老师那里学习一样。
2018-07-31 cs.AI cs.CL cs.RO
Grounding Spatio-Temporal Language with Transformers
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；Microsoft Research（微软研究院）；ENSTA ParisTech（巴黎高等先进技术学院）
语言是与外部世界的接口。为了让具身的代理人使用它，语言必须建立在其他感觉运动模式的基础上。虽然有大量文献研究机器如何学习基础语言，但如何学习时空语言概念的主题在很大程度上仍然是未知的。为了在这个方向上取得进展，我们在这里介绍了一种新的时空语言接地任务，其目标是学习的意义时空描述的行为痕迹的体现代理。这是通过训练一个真值函数来实现的，该函数预测描述是否与给定的观察历史相匹配。这些描述涉及过去式和现在式中的时间扩展谓词以及对场景中对象的时空引用。为了研究架构偏见在这项任务中的作用，我们训练了几个模型，包括多模态Transformer架构;后者在空间和时间上实现了单词和对象之间的不同注意力计算。我们在两类泛化上测试模型：1）泛化到随机保持的句子; 2）泛化到语法原语。我们观察到，在我们的Transformers的注意力计算中保持对象身份有助于在总体上实现良好的泛化性能，并且在单个令牌中总结对象轨迹对性能的影响很小。然后，我们将讨论如何打开新的视角，语言引导的自主体现代理。我们还在开源许可证下发布我们的代码以及预训练的模型和数据集，以鼓励更广泛的社区在未来建立和扩展我们的工作。
2021-10-11 cs.AI cs.CL cs.LG
Natural Language for Human-Robot Collaboration: Problems Beyond Language Grounding
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
为了使机器人能够指导人类进行协作，我们确定了语言处理的几个方面，这些方面在这种情况下并不常见。这些包括位置，规划和生成。我们建议对每项任务进行评估，为简单的方法提供基线，并通过讨论学习语言合作的挑战和机遇来结束。
2021-10-09 cs.AI cs.CL cs.RO
LLM as A Robotic Brain: Unifying Egocentric Memory and Control
该研究提出LLM-Brain框架，以大语言模型作为机器人大脑，通过自然语言闭环多轮对话统一实现自我中心记忆与控制，在主动探索和具身问答两项下游任务中验证了有效性。
2023-06-12 cs.AI cs.CL cs.RO
Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review
本文系统综述了基础模型在移动服务机器人中的应用，探讨了其在具身AI中的整合、核心挑战及未来研究方向。
2026-01-28 cs.AI cs.CL cs.CV
Unsupervised Online Grounding of Natural Language during Human-Robot Interactions
Artificial Intelligence Lab（人工智能实验室）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
允许人类通过自然语言与机器人交流需要单词和感知之间的联系。创建这些连接的过程被称为符号接地，并且已经研究了近三十年。虽然已经进行了许多研究，但考虑同义词的基础的并不多，所采用的算法要么只离线工作，要么以监督的方式工作。在本文中，提出了一种基于跨情境学习的接地框架，允许接地的单词和短语，通过相应的感知没有人的监督和在线，即它不需要任何明确的训练阶段，而是更新所获得的映射为每个新遇到的情况。通过一个人类导师和机器人之间的交互实验，并与现有的无监督接地框架进行比较，该框架进行了评估。结果表明，所提出的框架是能够地面的话，通过其相应的感知在线和无监督的方式，同时优于基线框架。
2020-07-05 cs.AI cs.CL cs.LG
Enhancing Surgical Robots with Embodied Intelligence for Autonomous Ultrasound Scanning
Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对当前超声机器人无法理解人类指令、难以自主扫描的问题，本文提出融合LLM与领域知识的超声具身智能系统，通过知识库与动态扫描策略提升扫描效率和质量，推动无创诊断发展。
2024-05-01 cs.AI cs.CL cs.HC
Word2vec to behavior: morphology facilitates the grounding of language in machines
University of Vermont（佛蒙特大学）
使机器能够对自然语言命令做出适当的反应，可以大大增加它们可以服务的人群。最近，神经网络训练的词嵌入的进步已经赋予了非实体文本处理算法以能力，并表明它们可以对实体机器具有类似的效用。在这里，我们介绍了一种方法，通过训练机器人采取类似的语义相似的word2vec编码命令。我们表明，这使他们能够采取适当的行动，训练后，以前闻所未闻的命令。最后，我们表明，诱导这样的对齐之间的运动和语言的相似性，可以促进或阻碍机器人的机械结构。这指向了未来的大规模方法，这些方法可以找到并利用动作、语言和机器人结构之间的关系。
2019-08-03 cs.CL cs.LG cs.RO
3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination
University of Michigan（密歇根大学）；New York University（纽约大学）
本研究推出百万级3D-LLM数据集3D-GRAND及幻觉评估基准3D-POPE，验证了指令微调可提升模型接地能力、减少幻觉，证实数据集规模的缩放效应与模拟到真实迁移的可行性，为具身AI研究提供支撑。
2025-03-20 cs.AI cs.CL cs.CV
OmniEVA: Embodied Versatile Planner via Task-Adaptive 3D-Grounded and Embodiment-aware Reasoning
Huawei Noah’s Ark Lab（华为诺亚实验室）
OmniEVA通过任务自适应3D grounding和具身aware推理，解决具身系统中几何适应性和具身约束的限制，实现先进的具身推理和任务规划。
2026-01-28 cs.AI cs.CL cs.CV
