SG-WAM: Text-Grounded and Spatial-aware Semantic Guidance for World-Action Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Ola Dimensions（奥拉维度公司）
针对现有世界-动作模型（WAM）存在的视频与指令语义不对齐问题，提出基于视觉-语言模型（VLM）的SG-WAM语义引导方法，通过注入文本接地且空间感知的语义前瞻，提升了WAM的指令遵循与操纵精度，经仿真和真实实验验证有效。
2026-08-11 cs.CV cs.RO
STAGE: Diagnosing Semantic Transfer at Grounded Execution in Embodied Agents
NYU Shanghai（上海纽约大学）
本文研究具身智能体中指令语义与动作执行之间的迁移鸿沟，提出SAT-Bench基准和VISA接口，证明语义可恢复但动作表达弱，VISA能大幅降低无效指令的盲目执行。
2026-09-15 cs.CL cs.RO
G$^{2}$TR: Generalized Grounded Temporal Reasoning for Robot Instruction Following by Combining Large Pre-trained Models
Indian Institute of Technology Delhi（印度德里理工学院）
本文提出G$^{2}$TR方法，通过结合大型预训练模型将时序推理分解为视频区间估计、空间推理和语义跟踪，解决了机器人指令遵循中多跳引用和定位空间庞大的挑战，在复杂场景下达到70.10%的平均准确率。
2024-10-10 cs.RO
Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Anyverse Dynamics（Anyverse Dynamics公司）
针对视觉-语言-动作模型因指令释义导致性能骤降的架构问题，提出GSR方法，在LIBERO-Para基准提升成功率44.6%，推出ParaVLA模型，规避低效数据扩展，实现鲁棒指令泛化。
2026-08-04 cs.RO
Commonsense-Grounded Path Planning from Abstract Instructions
CyberAgent Inc.（CyberAgent公司）；Nagoya University（名古屋大学）
CoRS利用大语言模型和视觉语言模型，将抽象指令转化为遵循常识的路径，通过常识排序发现未言明的考量并规划绕行，实验验证其优于现有LLM规划器。
2026-09-22 cs.AI cs.RO
Atomic-WAM: Execution-Grounded Atomic-Motion Reasoning for World Action Models
ACE Robotics（ACE机器人公司）；Zhejiang University（浙江大学）；University of Hong Kong（香港大学）；Jiangnan University（江南大学）
Atomic-WAM是连接任务推理与动作生成的“先理解再执行”框架，通过EG-GRPO后训练视觉语言推理器，在RoboLab现实到仿真评估中，默认指令下任务成功率达39.6%，模糊指令下达31.6%。
2026-10-15 cs.RO
Does Continual Imitation Learning Remain Grounded? A Language-Perturbed Benchmark for Robotic Task Retention
Purdue University（普渡大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
该研究提出一种语言扰动基准，用于评估持续模仿学习中机器人策略的语言根基，发现强持续学习性能并不总能保证语言引导的可靠性。
2026-10-02 cs.RO
OGAM: Connecting Systematic Testing to Runtime Assurance through Object-Grounded Attention Monitoring for VLA Policies
Carl von Ossietzky University of Oldenburg（卡尔·冯·奥西茨基大学奥尔登堡分校）；Huadian Electric Power Research Institute（华电电力科学研究院）；Chalmers University of Technology（查尔姆斯理工大学）
OGAM通过测试揭示的注意力分歧，在运行时监控VLA策略，早期阻止失败，无需失败标签训练，在四种策略中阻止87-100%失败情节。
2026-10-06 cs.AI cs.LG cs.RO
Multi-Modal Grounded Planning and Efficient Replanning For Learning Embodied Agents with A Few Examples
ASRI（先进技术研究院）；IPAI（人工智能研究院）
针对LLM规划器忽略环境状态导致规划不当的问题，提出FLARE方法，结合语言指令与环境感知改进任务规划，并利用视觉线索纠正指令错误，在少样本下优于现有方法。
2024-12-23 cs.AI cs.RO
V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos
Technische Universität Wien (TU Wien)（维也纳工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
V2-STRep通过VLM生成结构化任务表示，将生成视频中的运动转化为可复用机器人技能，实现零样本跨场景迁移，并在六个真实任务中提升执行成功率。
2026-10-23 cs.RO
Think Proprioceptively: State-Grounded Visual Token Selection for VLA Policies
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东区技术研究所）；Great Bay University（大湾大学）；Northeast Forestry University（东北林业大学）；National University of Singapore（新加坡国立大学）
研究VLA模型中本体感知应用问题，提出ThinkProprio方法，将本体感知离散化为视觉语言模型（VLM）词汇令牌，与指令共同作用在VLM计算前选视觉补丁，贡献是提升性能、降低延迟。
2026-07-07 cs.CV cs.RO
Event-Driven Proactive Assistive Manipulation with Grounded Vision-Language Planning
The University of Osaka（大阪大学）；Nanyang Technological University（南洋理工大学）；The University of Tokyo（东京大学）
本文提出基于事件驱动的主动辅助操作方法，通过跟踪交互进度并分析状态转换，推断任务目标并生成辅助动作序列，提升人机协作效率。
2026-03-25 cs.RO
OntoPlan: An Ontology-Grounded Scene Representation and Agentic Framework for Scalable Robot Task Planning
Yonsei University（延世大学）
OntoPlan提出基于本体论的场景表示与智能体框架，通过共享符号词汇对齐对象和关系，选择性检索信息并生成可执行计划，在150个任务中实现0.89成功率，令牌成本降低5.6倍。
2026-10-07 cs.RO
Conditional Driving from Natural Language Instructions
University of Washington（华盛顿大学）；NVIDIA（英伟达）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Allen Institute for AI（艾伦人工智能研究所）
自动驾驶汽车的广泛采用不仅取决于它们的安全性，而且在很大程度上取决于它们与人类用户互动的能力。就像人类驾驶员一样，自动驾驶汽车将被期望能够理解并安全地遵循自然语言方向，这些方向会根据用户的偏好或在存在模糊性的情况下突然改变预先计划的路线，特别是在地图覆盖较差或过时的位置。为此，我们提出了一个语言为基础的驱动代理实现层次化的政策，使用经常性的层和门控注意。分层方法使我们能够根据描述长时间范围的高级语言指令和自动驾驶汽车实时控制所需的低级、复杂、连续的状态/动作空间进行推理。我们通过从人类驾驶员和导航员那里收集的真实语言数据，用有条件的模仿学习来训练我们的策略。通过CARLA框架内的定量和交互式实验，我们表明，我们的模型可以成功地解释语言指令，并安全地遵循它们，即使在推广到以前看不见的环境。代码和视频可在https://sites.google.com/view/language-grounded-driving上获得。
2019-10-16 cs.AI cs.CV cs.RO
HEART: Coordination of Heterogeneous Expert Agents for Physically Grounded Robotic Task Planning
Sogang University（西江大学）
提出异构多LLM框架HEART，将指令分解为原子推理任务分配给角色专家，通过约束驱动规划合成，提升机器人任务规划的物理可行性和效率。
2026-06-25 cs.RO
Gondola: Grounded Vision Language Planning for Robotic Manipulation
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
针对机器人操作泛化性不足的问题，提出基于LLM的多视图具身视觉语言规划模型Gondola，搭配三类自建训练数据集，在GemBench的四个泛化层级上均超越现有最优方法。
2026-09-30 cs.AI cs.CV cs.RO
Grounded Vision-Language Navigation for UAVs with Open-Vocabulary Goal Understanding
School of Mechanical and Aerospace Engineering, Nanyang Technological University（机械与航空航天工程学院，南洋理工大学）
针对视觉语言导航的分布外泛化差、依赖离散动作空间问题，提出面向无人机的VLFly框架，仅靠单目视觉实现连续速度控制，无需微调即在仿真和真实场景中展现出更强的开放词汇导航能力。
2025-06-12 cs.AI cs.RO
ProGAL-VLA: Grounded Alignment through Prospective Reasoning in Vision-Language-Action Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
ProGAL-VLA 通过构建 3D 实体中心图、使用慢速规划器生成符号子目标，并通过 Grounding Alignment Contrastive 损失对齐实体，提升机器人在扰动下的鲁棒性，减少语言忽略并提高实体检索性能。
2026-04-10 cs.CL cs.CV cs.RO
LLM-Grounded Dynamic Task Planning with Hierarchical Temporal Logic for Human-Aware Multi-Robot Handover
The Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人社会研究院）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong-Shenzhen（香港中文大学（深圳））；Tsinghua Shenzhen International Graduate School（清华大学深圳国际 Graduate School）
本文提出基于分层时序逻辑的神经符号框架，实现动态任务规划以提升多机器人协作的效率和鲁棒性。
2026-07-30 cs.CV cs.RO
RiverVLN: Phase-Grounded Temporal Vision--Language Navigation for Unmanned Surface Vehicles
针对无人水面艇在连续河流运动中的长时程视觉-语言导航，提出RiverVLN基准和PGT-NAV框架，通过相位接地将指令转为可验证语义序列，显著降低漂移并实现0.79平均成功率。
2026-09-22 cs.AI cs.RO
Inferring Compact Representations for Efficient Natural Language Understanding of Robot Instructions
University of Rochester（罗切斯特大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
机器人能够解释自然语言的速度和准确性是实现有效人机交互的基础。大量的注意力已经放在开发提高语言理解效率的模型和近似推理算法上。然而，现有的方法仍然试图推理的环境是平坦的，不必要的详细，这限制了可伸缩性的表示。一个开放的问题，然后开发的方法，能够产生最紧凑的环境模型，足以准确和有效的自然语言理解。我们提出了一个模型，利用环境相关的信息编码内的指令，以确定必要的观察和感知分类器的子集，感知一个简洁的，特定的环境表示。该框架使用三个概率图形模型从语料库的注释指令来推断突出的场景语义，感知分类器和接地符号。两个机器人在不同环境中运行的实验结果表明，通过利用内容和结构的指令，我们的方法学习紧凑的环境表示，显着提高自然语言符号接地的效率。
2019-03-21 cs.AI cs.CL cs.LG
MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
MIGU通过融合几何与语义不确定性，实现多模态指令接地，提升操作规划性能，在真实基准上优于基线。
2026-09-22 cs.RO
If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Collins Aerospace（柯林斯航空航天公司）
针对视觉-语言导航智能体的条件分支诊断需求，提出基于场景图的基准CondVLN及轻量级神经符号分支选择模型，可暴露智能体的逻辑决策失败并提升性能2倍。
2026-08-19 cs.CV cs.RO
A New Path: Scaling Vision-and-Language Navigation with Synthetic Instructions and Imitation Learning
Google Research（谷歌研究院）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Apple（苹果公司）
本文提出利用合成导航指令和GAN生成新视角图像构建大规模VLN数据集，并通过模仿学习训练Transformer智能体，在RxR上显著超越现有RL方法。
2023-04-17 cs.CL cs.CV cs.LG
Map2Route: Benchmarking Compositional Language-Grounded Route Planning over Semantic Maps
Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
本文提出Map2Route基准和Grounding2Route方法，用于组合式语言引导的语义地图路线规划，通过代码基础与验证修复提升性能，但距人类水平仍有差距。
2026-09-17 cs.RO
Learning from Implicit Information in Natural Language Instructions for Robotic Manipulations
Koç University（科奇大学）；KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）；Osnabrück University（奥斯纳布吕克大学）
人机交互通常以人类向机器人发出指令的形式发生。为了让机器人成功地遵循指令，人类和机器人之间应该共享世界和物体的共同表示，以便指令可以接地。实现这种表征可以通过学习来完成，其中世界表征和语言基础都是同时学习的。然而，在机器人技术中，由于数据的成本和稀缺性，这可能是一项艰巨的任务。在本文中，我们通过分别学习机器人的世界表示和语言基础来解决这个问题。虽然这种方法可以解决获取足够数据的挑战，但它可能会导致两个学习组件之间的不一致。因此，我们进一步提出贝叶斯学习，以解决这种不一致的自然语言接地和机器人的世界表示，利用空间关系的信息，这是隐含在人类给出的指令。此外，我们证明了我们的方法的可行性，涉及在物理世界中的机器人手臂的情况下。
2019-04-30 cs.AI cs.RO
Spatially Grounded Long-Horizon Task Planning in the Wild
Korea University（韩国大学）；Microsoft Research（微软研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种基于空间的规划任务，引入了GroundedPlanBench基准，评估机器人在真实环境中的长时域动作规划能力，并通过V2GP框架提升空间接地规划性能。
2026-03-13 cs.AI cs.RO
Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation
Northeastern University（东北大学）；NVIDIA（英伟达）
研究机器人操作中组合泛化问题，通过引入诊断框架量化指令因素偏差，提出偏差感知数据收集策略，能定位预训练策略捷径问题，实现更高效可泛化的策略学习。
2026-07-24 cs.CV cs.RO
FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·扎耶德人工智能大学）；Technical University of Munich（慕尼黑技术大学）；National University of Singapore（新加坡国立大学）；Westlake University（西湖大学）
FlowHOI通过语义引导的流匹配框架生成双手-物体交互序列，提升机器人操作的准确性和效率。
2026-10-27 cs.AI cs.CV cs.RO
Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models
University of California, Merced（加州大学默塞德分校）
本研究利用视觉-语言-动作模型，通过指令条件规划提升自动驾驶的鲁棒性和轨迹对齐性能。
2026-02-04 cs.AI cs.CV cs.LG
