TONAV: Task-Oriented Navigation and Action-Velocity Chunk Learning for Articulated Object Quadrupedal Mobile Manipulation
School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学机器人视觉感知与控制技术国家工程研究中心）；College of Semiconductors (College of Integrated Circuits), Hunan University（湖南大学半导体学院（集成电路学院））
该研究针对四足移动操作中导航与操作的耦合问题，提出TONAV框架，结合任务导向导航与动作-速度块学习，通过遥操作、视觉语言推理及速度监督实现更优的操作性能。
2026-09-07 cs.CV cs.RO
RoboAfford++: A Generative AI-Enhanced Dataset for Multimodal Affordance Learning in Robotic Manipulation and Navigation
Xiaomi EV（小米电动车）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
针对现有视觉语言模型难以推断物理交互可执行位置的问题，本文构建生成式AI增强的多模态可供性数据集RoboAfford++及配套评估基准，实验证明该数据集可有效提升模型的可供性推理能力。
2025-11-16 cs.RO
N2M: Bridging Navigation and Manipulation by Learning Pose Preference from Rollout
Seoul National University（首尔国立大学）
针对移动操作中基座定位问题，提出N2M方法，通过学习操作策略对局部场景的偏好来优化基座位置，采用新颖视角增强策略实现数据高效学习，实验表明优于现有方法。
2026-06-23 cs.RO
UniLM-Nav: A Unified Framework for Zero-Shot Last-Mile Navigation
Tsinghua University（清华大学）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司人工智能研究院）；Harbin Institute of Technology（哈尔滨工业大学）；Peking University（北京大学）
研究移动操作中最后一英里导航问题，提出UniLM-Nav统一框架，通过多模态大语言模型后端分解任务为视图选择、功能接地和姿态推理，在OVMM基准上优于现有方法，还验证了在实际机器人上的适用性。
2026-07-14 cs.RO
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research（伯克利人工智能研究所）
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习，但实际上，现实世界中的强化学习具有挑战性，并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统，用于在没有人为干预的情况下，以自主的方式一起学习导航和操作，从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习，无需任何环境仪器，无需人为干预，也无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航，操纵政策的不确定性驱动器的导航控制器的探索，和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务，机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后，ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
UniWAM Technical Report: Unified Mobile Manipulation via Mixed-Stream World-Action Modeling and Manipulation Anchor Pose Supervision
Physical Superintelligence Lab, Fysics AI（Fysics AI 物理超级智能实验室）；College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）
UniWAM通过混合流世界-动作模型和操作锚点姿态监督，实现统一的移动操作，利用大规模自动构建的MAP-Data，在导航和操作任务上显著超越基线。
2026-10-01 cs.CV cs.RO
RMMBench: A Comprehensive Benchmark for Robotic Mobile Manipulation
Shandong University（山东大学）；Meituan Group（美团集团）
针对现有基准缺乏全面评估方法的问题，提出RMMBench基准，集成高低层具身任务，含70个典型场景，揭示VLMs在移动操作中的空间定位挑战，强调增强空间感知的必要性。
2026-10-26 cs.RO
MoMa-Kitchen: A 100K+ Benchmark for Affordance-Grounded Last-Mile Navigation in Mobile Manipulation
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Northwestern Polytechnical University（西北工业大学）；TeleAI, China Telecom Corp Ltd（中国电信 TeleAI 公司）
本文提出含10万余样本的 MoMa-Kitchen 基准，利用可供性标签训练移动操作器的最终导航定位，并给出轻量级 NavAff 基线。
2025-03-14 cs.AI cs.CV cs.RO
Mobile Manipulation Leveraging Multiple Views
Columbia University（哥伦比亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）；Robotics at Google（谷歌机器人部门）
虽然导航和操作都是具有挑战性的主题，但许多任务都需要同时导航和操作的能力。为此，我们提出了一个移动操作系统，利用新的导航和形状完成方法来操纵一个移动机器人的对象。我们的系统利用操纵目标的初始估计中的不确定性来计算预测的下一个最佳视图。在不需要定位的情况下，机器人然后使用在下一个最佳视图位置处的预测全景视图来导航到期望的位置，捕获对象的第二视图，创建比单独的单个图像更准确地预测对象的形状的新模型，并且使用该模型进行抓取规划。我们表明，该系统是非常有效的移动操作任务，通过模拟实验，使用真实世界的数据，以及烧蚀我们的系统的每个组成部分。
2022-03-07 cs.RO
N$^2$M$^2$: Learning Navigation for Arbitrary Mobile Manipulation Motions in Unseen and Dynamic Environments
University of Freiburg（弗赖堡大学）
本文提出 N$^2$M$^2$ 方法，通过将移动操作任务分解为末端执行器运动生成器与移动底盘强化学习智能体，使机器人在未知动态环境中实现长视野任务并即时避障。
2023-06-29 cs.AI cs.RO
Object-Centric Mobile Manipulation through SAM2-Guided Perception and Imitation Learning
Learning Machines Group, Graduate School of Informatics, Kyoto University（京都大学信息学研究生院学习机器组）；Dept. of Brain Robot Interface, Computational Neuroscience Labs, ATR（脑机器人接口部门，计算神经科学实验室，ATR）
针对移动操作中导航与操作解耦导致的性能下降问题，提出基于SAM2的以对象为中心的模仿学习方法，将操作方向信息融入模型，实现不同方向下的任务一致理解，显著提升了系统的泛化能力与鲁棒性。
2025-07-15 cs.RO
MuSTMM: Learning Sound-Triggered Mobile Manipulation across Multiple Scenes
University of Macau（澳门大学）；Enacta-AI；Hefei University of Technology（合肥工业大学）
本文提出MuSTMM数据集，针对现有STMM评估未充分探索未见场景的问题，添加空间记忆的导航策略使成功率提升2.60%，为相关研究提供测试平台。
2026-10-16 cs.RO
Multi-skill Mobile Manipulation for Object Rearrangement
UC San Diego（加州大学圣地亚哥分校）；Meta AI Research（Meta人工智能研究院）；UC Berkeley（加州大学伯克利分校）
我们研究了一种模块化的方法来解决对象重排的长视野移动操作任务，它将一个完整的任务分解成一系列的子任务。为了解决整个任务，以前的工作链多个固定的操作技能与点目标导航技能，这是单独学习的子任务。虽然比单一的端到端RL策略更有效，但该框架在技能链中存在复合错误，例如，导航到固定操纵技能不能到达其目标进行操纵的不良位置。为此，我们建议，操作技能应包括流动性，具有灵活性，从多个位置与目标对象进行交互，同时导航技能可以有多个端点，导致成功的操作。我们通过实施移动操作技能，而不是固定的和训练的导航技能训练区域目标，而不是点目标，这些想法可操作。我们评估了我们的多技能移动操作方法M3在3个具有挑战性的长期移动操作任务的家庭助理基准（HAB），并显示出优越的性能相比，基线。
2022-09-06 cs.LG cs.RO
UniTeam: Open Vocabulary Mobile Manipulation Challenge
Bielefeld University（比勒费尔德大学）；IIIT-A（印度阿拉哈巴德信息技术学院）；ABV-IIIT-M（ABV印度管理信息技术学院）
针对HomeRobot开放词汇移动操作挑战赛的需求，研究者提出改进的UniTeam智能体，通过优化感知、导航、抓取、放置模块提升基线性能，推动具身AI跨领域研究。
2023-12-14 cs.AI cs.RO
Predictive Reachability for Embodiment Selection in Mobile Manipulation Behaviors
Graduate School of Engineering Science, Osaka University（大阪大学工程科学研究生院）
针对移动操作中底盘与机械臂的具身选择问题，提出基于世界模型和分层策略的预测可达性方法，仅凭图像观测即可预测机械臂轨迹并决策，提升样本效率、性能与选择合理性。
2024-10-28 cs.RO
HERMES: Human-to-Robot Embodied Learning from Multi-Source Motion Data for Mobile Dexterous Manipulation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海启智研究院）；Peking University（北京大学）
针对多源人手运动向机器人行为转化难、策略泛化性不足等问题，提出HERMES框架，通过统一强化学习、深度图像端到端sim2real迁移及增强PnP定位的导航模型，实现移动双臂灵巧操作，在多样真实场景中表现出良好泛化性。
2025-08-31 cs.RO
UniPlan: Vision-Language Task Planning for Mobile Manipulation with Unified PDDL Formulation
UniPlan通过统一PDDL形式实现视觉-语言任务规划，提升大规模室内移动操作的规划效率和效果。
2026-02-09 cs.RO
Mobile Manipulation Platform for Autonomous Indoor Inspections in Low-Clearance Areas
Stevens Institute of Technology（史蒂文斯理工学院）
针对移动操作平台稳定性与工作空间的矛盾，提出结合Clearpath Jackal无人车与Kinova Gen3机械臂的方案，通过软硬件修改构建了适用于低净空室内巡检的高性能稳定平台并验证了其有效性。
2023-09-19 cs.RO
MoCaP: Mobile Code-as-Policies for Zero-Shot Mobile Manipulation from Passive Human Videos
New York University（纽约大学）；Fudan University（复旦大学）；NYU Shanghai（上海纽约大学）
MoCaP是将被动人类视频转化为端到端移动操作策略指导的智能框架，在真实移动操作机器人的两项室内移动操作任务中各达80%成功率，优于现有方法，还提升了物体导航和可达基座位姿寻找的成功率
2026-10-16 cs.RO
ASENA: Self-evolving Agents for Embodied Navigation
NVIDIA（英伟达）；University of California, San Diego（加州大学圣迭戈分校）
提出ASENA具身导航系统，将编程智能体与机器人结合，通过自进化工作区提升导航性能，在R2R和RxR基准上达到最先进水平，并支持真实世界任务。
2026-10-14 cs.RO
Learning Generalizable Feature Fields for Mobile Manipulation
UC San Diego（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；MIT（麻省理工学院）
针对移动操作中物体与场景统一表示的问题，提出可实时运行的场景级可泛化神经特征场GeFF，通过新视角合成预训练与CLIP特征蒸馏实现导航与操作统一，在四足机器人上验证其优于基线的性能。
2024-11-26 cs.CV cs.LG cs.RO
Cutting the Cord: System Architecture for Low-Cost, GPU-Accelerated Bimanual Mobile Manipulation
本文提出基于开源XLeRobot的双臂移动机械臂，成本低于1300美元，采用优化机械设计、Tri-Bus电源拓扑和NVIDIA Jetson Orin Nano实现自主操作，提供低成本的机器人研究与教育平台。
2026-03-21 cs.RO
Look Before You Move: Agent-Interface-Aligned Supervision for Open-World Mobile Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究提出Agent-Interface Data Alignment（AIDA）数据收集流程，训练出的AIDA-OWMM智能体在开放世界移动操作任务中表现优异，还可迁移至真实机器人及导航任务，验证了方法的有效性。
2026-10-14 cs.RO
M-EMBER: Tackling Long-Horizon Mobile Manipulation via Factorized Domain Transfer
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出M-EMBER方法，通过将长时程移动操作分解为基本视觉技能并强化学习后组合，在机器人上以53%成功率完成cleaning_kitchen任务。
2023-05-23 cs.RO
Probabilistic Human Intent Prediction for Mobile Manipulation: An Evaluation with Human-Inspired Constraints
United Kingdom National Nuclear Laboratory Ltd.（英国国家核实验室有限公司）
提出概率框架GUIDER，通过双阶段信念估计人类导航与操作意图，结合显著性与几何可行性测试，在Isaac Sim实验中显著提升了移动操作任务中的意图推断稳定性与速度。
2025-07-14 cs.CV cs.HC cs.RO
Customize Harmonic Potential Fields via Hybrid Optimization over Homotopic Paths
College of Engineering, Peking University（北京大学工程学院）
提出一种混合优化方法，通过微分同胚变换和投影梯度下降自动寻找并优化复杂森林世界中调和势场的同伦路径，实现导航势场拓扑性质的定制，同时保证安全性与收敛性。
2025-07-14 cs.RO
Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
Praxis通过从一次性自我中心视频中提炼物理交互先验，结合闭环姿态校准和在线感知，实现移动人形全身操作的空间、视觉及跨物体泛化，并抵抗外部干扰。
2026-09-28 cs.RO
Manipulate-to-Navigate: Reinforcement Learning with Visual Affordances and Manipulability Priors
Aalto University（阿alto大学）
本文针对动态环境中可移动障碍物阻挡路径的“操纵以导航”问题，提出结合可操纵性先验与可供性地图的强化学习方法，并在仿真和真实Spot机器人上验证了其有效性。
2025-08-18 cs.RO cs.SY eess.SY
Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation
University of Freiburg（弗莱堡大学）
针对非结构化环境中机器人需结合操作与导航完成多目标搜索的问题，提出分层强化学习方法HIMOS，通过语义地图和高层动作空间组合多类技能，实现零样本环境迁移且鲁棒性优异。
2023-10-19 cs.AI cs.LG cs.RO
HoMMI: Learning Whole-Body Mobile Manipulation from Human Demonstrations
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
本文提出HoMMI框架，通过人类示范直接学习全身移动操作，结合眼动感知增强数据收集能力，解决人机体感知差距问题，实现长周期移动操作任务。
2026-05-14 cs.RO
ANCHOR: A Physically Grounded Closed-Loop Framework for Robust Home-Service Mobile Manipulation
Beijing Institute of Technology（北京理工大学）
ANCHOR通过物理 grounding 和结构化故障处理，提升家庭服务机器人在动态环境中的任务成功率和扰动恢复能力。
2026-09-18 cs.RO
ESCAPE: Episodic Spatial Memory and Adaptive Execution Policy for Long-Horizon Mobile Manipulation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；LiAuto Inc.（LiAuto公司）
本文提出ESCAPE框架，通过融合感知-地面-执行流程，解决长周期移动操作中的鲁棒性、空间一致性及执行灵活性问题，在ALFRED基准测试中取得优异成绩。
2026-04-15 cs.CV cs.RO
Affordance-Based Hierarchical Reinforcement Learning for Quadruped Pedipulation
Embry-Riddle Aeronautical University（埃姆布里-瑞德航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）
提出三级层级强化学习框架，利用姿态和交互点可负担性引导导航与操控策略，在仿真和真实环境中实现自主物体操控。
2026-06-05 cs.RO
Symbolic State Space Optimization for Long Horizon Mobile Manipulation Planning
The State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
针对长时程移动操作中任务级状态空间构建困难的问题，提出S3O方法计算抽象位置及其2D几何锚定以生成任务-运动规划，在仿真和真实机器人实验中均优于现有TAMP基准。
2023-07-21 cs.RO
Harmonic Mobile Manipulation
UC San Diego（加州大学圣迭戈分校）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
针对导航与操作分离难以完成开门等协调任务的问题，提出端到端方法 HarmonicMM，联合优化两类能力，并通过仿真、真实公寓部署和新基准验证其泛化与实用潜力。
2024-12-05 cs.AI cs.CV cs.LG
Tube RRT*: Efficient Homotopic Path Planning for Swarm Robotics Passing-Through Large-Scale Obstacle Environments
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
针对大规模障碍环境下群体机器人缺乏高效同伦路径规划方法的问题，本文提出改进自RRT算法的Tube RRT*方法，兼顾间隙体积与路径长度以缓解拥堵，经仿真实验验证了有效性。
2024-10-31 cs.RO cs.SY eess.SY
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University（斯坦福大学）；Nvidia（英伟达公司）；Robotics at Google（谷歌机器人部门）
许多强化学习（RL）方法使用联合控制信号（位置、速度、扭矩）作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平，以运动生成器（运动规划器和轨迹执行器的组合）的子目标的形式。我们认为，通过提升动作空间和利用基于采样的运动规划器，我们可以有效地使用RL来解决复杂的，长时间的任务，这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架，它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法，我们将ReLMoGen应用于两种类型的任务：1）交互式导航任务，需要与环境交互才能到达目的地的导航问题，以及2）移动操作任务，需要移动机器人底座的操作任务。这些问题是具有挑战性的，因为它们通常是长期的，难以在培训期间探索，并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中，ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性，这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
Efficient Obstacle Rearrangement for Object Manipulation Tasks in Cluttered Environments
Korea Institute of Science and Technology（韩国科学技术研究院）；Hanyang University（汉阳大学）
我们提出了一种算法，产生一个计划，重新定位障碍物，以抓住一个目标在混乱的机器人机械手没有碰撞。我们考虑的配置中的对象是密集的人口在一个约束和密闭的空间。因此，不存在无碰撞路径的机械手没有重新定位的障碍物。由于规划对象重排的问题已被证明是NP难的，因此难以有效地执行可能频繁发生在服务域（例如，从架子或冰箱中取出目标）。我们提出的规划器采用了碰撞避免计划，已被广泛应用于移动机器人导航。规划者实时的确定要快速移除的障碍物。它还可以处理配置中的动态变化（例如，物体姿态的变化）。我们的方法被证明是完整的，并运行在多项式时间。在一个现实的模拟环境中的实验结果表明，我们的方法提高了31%的执行时间相比，其他竞争对手。
2019-02-19 cs.RO
Residual Reactive Navigation: Combining Classical and Learned Navigation Strategies For Deployment in Unknown Environments
Queensland University of Technology（昆士兰科技大学）
在这项工作中，我们专注于提高学习导航策略的效率和泛化，从训练环境转移到以前看不见的。我们提出了一个扩展的残留强化学习框架，从机器人操作文献，并使其适应移动机器人可以操作的广阔和非结构化的环境。该概念基于学习剩余控制效果，以添加到典型的次优经典控制器中，以缩小性能差距，同时在训练期间指导探索过程，以提高数据效率。我们利用这种紧密耦合，并提出了一种新的部署策略，切换剩余反应导航（sRRN），这将产生有效的轨迹，同时概率切换到一个经典的控制器的情况下，高政策的不确定性。我们的方法实现了端到端替代方案的性能提高，并可以作为一个完整的导航堆栈的一部分，在现实世界中的杂乱的室内导航任务。该项目的代码和培训环境在https://sites.google.com/view/srrn/home上公开提供。
2020-03-11 cs.LG cs.RO
Cracking Mobile Manipulation: From Failure Diagnosis to Agentic Robot System
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；University of Technology Sydney（悉尼科技大学）；University of Liverpool（利物浦大学）
该研究针对VLA模型在长程移动操作中性能骤降的问题，通过故障诊断确定三类瓶颈，开发故障引导的智能体干预方法，在RoboCasa365等数据集及真实机器人任务中显著提升了移动操作成功率。
2026-10-15 cs.RO
Language-Grounded Dynamic Scene Graphs for Interactive Object Search with Mobile Manipulation
Toyota Motor Europe (TME)（丰田汽车欧洲公司）；Department of Computer Science, University of Freiburg（弗莱堡大学计算机科学系）
提出MoMa-LLM方法，将语言模型与动态更新的开放词汇场景图结合，实现零样本的移动抓取交互式目标搜索，显著提升搜索效率。
2024-07-31 cs.RO
SPIN: Simultaneous Perception, Interaction and Navigation
Carnegie Mellon University（卡内基梅隆大学）
针对移动操作中模块化拼接导致的误差累积、决策延迟等问题，提出SPIN反应式框架，通过主动视觉实现“为看而动、为动而看”的全身协调，仅靠自视角视觉即可在杂乱场景中完成导航与交互，无需建图。
2024-05-13 cs.AI cs.CV cs.LG
Visual-tactile manipulation to collect household waste in outdoor
Instituto Universitario de Investigación Informática, Universidad de Alicante（阿利坎特大学大学信息学研究学院）；Universidad de Alicante（阿利坎特大学）；Universidad Miguel Hernández（米格尔·埃尔南德斯大学）
本研究提出一种集成光学触觉传感器、RGBD相机与LiDAR的户外机器人垃圾收集感知系统，通过视觉与触觉模块实现垃圾定位、识别及稳定抓取，性能优异且运行高效。
2024-07-15 cs.RO
Learning Mobile Manipulation
COLUMBIA UNIVERSITY（哥伦比亚大学）
尽管经过几十年的研究，为移动机器人提供操纵物体的能力仍然是一个具有挑战性的问题。该问题是可接近的约束环境中，有足够的先验知识的环境布局和可操纵的对象。挑战在于构建超越特定情境实例的系统，并在新的条件下优雅地运行。在过去，研究人员使用启发式和简单的基于规则的策略来完成任务，如场景分割或推理遮挡。这些启发式策略在受限的环境中有效，机器人专家可以对要交互的对象的几何形状、杂乱程度、相机位置、照明和无数其他相关变量进行简化假设。本论文的工作将展示如何建立一个系统的机器人移动操作，是强大的这些变量的变化。大数据、深度学习和模拟领域的最新同步进展将使这种鲁棒性成为可能。模拟器创建逼真的感觉数据的能力使得能够为各种抓取和基于导航的任务生成大量标记的训练数据语料库。现在可以构建在现实世界中工作的系统，这些系统完全使用深度学习来训练合成数据。在合成数据上进行训练和测试的能力允许快速迭代开发适用于许多环境的新感知、规划和抓取执行算法。
2022-06-07 cs.RO
Spatial Action Maps for Mobile Manipulation
Princeton University（普林斯顿大学）；Google（谷歌）；Columbia University（哥伦比亚大学）
用于学习机器人导航的典型端到端公式涉及预测一小组转向命令动作（例如，向前走、向左转、向右转等）从当前状态的图像（例如，SLAM重建的鸟瞰图）。相反，我们表明，它可以是有利的学习与密集的动作表示定义在同一个域的状态。在这项工作中，我们提出了“空间动作地图”，其中一组可能的动作由像素地图（与当前状态的输入图像对齐）表示，其中每个像素表示相应场景位置处的本地导航端点。使用ConvNets从状态图像中推断空间动作图，从而将动作预测在空间上锚定在场景中的局部视觉特征上，从而通过强化学习显著更快地学习移动操作任务的复杂行为。在我们的实验中，我们的任务是将物体推到目标位置的机器人，并发现使用空间动作地图学习的策略比传统的替代方案具有更好的性能。
2020-06-04 cs.AI cs.CV cs.LG
VER: Scaling On-Policy RL Leads to the Emergence of Navigation in Embodied Rearrangement
Georgia Institute of Technology（佐治亚理工学院）；Meta AI；Google Atlanta（谷歌亚特兰大）
我们提出了可变体验推出（VER），这是一种在异构环境（不同的环境需要非常不同的时间来生成推出）中有效地扩展批量策略强化学习的技术，用于驻留在许多机器上的许多GPU。VER结合了同步和异步策略RL方法（分别为SyncOnRL和AsyncOnRL）的优点，并模糊了它们之间的界限。VER从策略经验中学习（如SyncOnRL），并且没有同步点（如AsyncOnRL）。VER在逼真的3D仿真环境中的广泛的具身导航和移动操作任务中导致显著和一致的加速。具体而言，对于Habitat 1.0中的PointGoal导航和ObjectGoal导航，VER比DD-PPO（当前最先进的分布式SyncOnRL）快60 - 100%（1.6 - 2倍加速），具有类似的样本效率。对于移动操作任务（打开冰箱/橱柜，拾取/放置物体），Habitat 2.0 VER在1个GPU上比DD-PPO快150%（2.5倍加速），在8个GPU上比DD-PPO快170%（2.7倍加速）。与SampleFactory（目前最先进的AsyncOnRL）相比，VER在1个GPU上的速度与其相当，在8个GPU上的速度快70%（1.7倍加速），具有更好的样本效率。我们利用这些加速来训练连锁技能，以完成家庭助理基准（HAB）中的GeometricGoal重排任务。我们发现，在表面上不需要导航的技能中，导航出现了令人惊讶的现象。具体来说，拾取…
2022-10-11 cs.AI cs.CV cs.LG
Heterogeneous Multi-Expert Reinforcement Learning for Long-Horizon Multi-Goal Tasks in Autonomous Forklifts
State Key Laboratory of Engines, Tianjin University（天津大学内燃机状态重点实验室）
HMER通过异质多专家强化学习框架，有效解决自主叉车在长周期多目标任务中的导航与操作冲突问题，提升任务成功率和操作效率。
2026-01-12 cs.AI cs.RO
The Role of Embodiment in Intuitive Whole-Body Teleoperation for Mobile Manipulation
Computer Science Department, TU Darmstadt（图恩-达姆施塔特大学计算机科学系）；University of São Paulo（圣保罗大学）；Centre for Cognitive Science, TU Darmstadt（图恩-达姆施塔特大学认知科学中心）；Systems AI for Robot Learning, German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）机器人学习系统AI）
该研究对比移动操作遥操作中耦合/解耦具身控制范式与VR/屏幕反馈机制，发现VR会增加任务耗时与负荷，耦合控制采集的数据更利于模仿学习，为高质量移动操作数据大规模采集提供参考。
2025-09-03 cs.HC cs.LG cs.RO
Manipulation Feasible Navigation Among Movable Obstacles with Discrete Contact Pushing
Southeast University（东南大学）
提出面向移动机械臂的分层可移动障碍物导航框架，高层规划重定位并借助LLM处理依赖，底层通过离散接触推挤执行，实验验证了绕行、重定位及依赖场景下的可行导航操作。
2026-09-22 cs.RO
VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
受益于语言的灵活性和组合性，人类自然会使用语言来命令具体的代理执行复杂的任务，如导航和对象操作。在这项工作中，我们的目标是填补最后一英里的空白体现代理-对象操纵遵循人类的指导，例如，“把红色杯子移到盒子旁边，同时保持它直立。为此，我们引入了一个自动操作求解器（AMSolver）系统，并在此基础上构建了一个视觉和语言操作基准（VLMbench），其中包含分类机器人操作任务的各种语言指令。具体来说，模块化的基于规则的任务模板创建自动生成机器人演示与语言指令，包括不同的对象形状和外观，动作类型和运动约束。我们还开发了一个基于关键点的模型6D-CLIPort来处理多视图观察和语言输入，并输出6个自由度（DoF）动作的序列。我们希望新的模拟器和基准将促进未来的研究语言引导的机器人操作。
2022-08-17 cs.CL cs.CV cs.RO
HANDO: Hierarchical Autonomous Navigation and Dexterous Omni-loco-manipulation
Shanghai Huawei Technologies Co., Ltd.（上海华为技术有限公司）
提出HANDO两层框架，结合目标条件化自主探索策略与统一全身移动操作策略，使配备机械臂的有腿机器人在非结构化环境中实现以人为中心的导航与精确交互操作。
2025-10-10 cs.RO
D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Nanjing University of Science and Technology（南京理工大学）
D3D-VLP通过动态3D链式思维和协同学习策略，实现具身接地与导航的高效统一，提升多任务导航性能。
2025-12-14 cs.CV cs.RO
Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Google Deepmind（谷歌DeepMind）
本文提出统一的目标条件策略，将导航与操作视为同一目标到达任务，验证跨异构具身协同训练可提升操作鲁棒性并实现新型移动操作机器人零样本控制。
2024-02-29 cs.RO
Go Fetch: Mobile Manipulation in Unstructured Environments
School of Information Technologies, University of Sydney（悉尼大学信息技术学院）；ETH Zürich（苏黎世联邦理工学院）
随着人类在医疗和家庭领域面临越来越大的新挑战，服务行业的自动化在提高效率、质量和运营安全方面具有巨大的潜力。移动机器人可以提供具有高度移动性和灵活性的解决方案，但是这些复杂的系统需要将大量异构组件仔细集成到一个一致的框架中。这项工作提出了一个移动操作系统，结合感知，定位，导航，运动规划和掌握技能到一个共同的工作流程，在非结构化的室内环境中获取和携带应用程序。实验证明，在办公室环境中找到一个常用的对象，抓住它，并将其交付到所需的落客位置的任务上的各个模块的紧密集成。随附的视频可在https://youtu.be/e89_Xg1sLnY上获得。
2020-04-02 cs.CV cs.RO
