Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
MoTo: A Zero-shot Plug-in Interaction-aware Navigation for General Mobile Manipulation
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Beijing Key Laboratory of Embodied Intelligence Systems(北京市具身智能系统重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Nanyang Technological University(南洋理工大学)
针对传统移动操作泛化性差的问题,提出即插即用模块MoTo,结合交互关键点框架与轨迹优化,实现零样本移动操作,在OVMM基准和真实场景中成功率均优于现有方法。
2025-09-01 cs.RO
EgoWild2Dex: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience
The University of Hong Kong(香港大学);Kinetix AI
EgoWild2Dex利用真实世界以自我为中心的人类数据,通过GeoFormer对齐视点和动作,实现双臂灵巧操作,在真实机器人上达到96.7%成功率,并发布538.9小时数据集。
2026-09-22 cs.RO
Human-Multirobot Collaborative Mobile Manipulation: the Omnid Mocobots
Northwestern University(西北大学)
Omnid人机协作移动机械手是一个实验平台,用于测试自主和人机协作多机器人移动操作的控制架构。一个Omnid由一个mecpudd-wheel全向移动基地和一个系列弹性三角型并联机械手,它是一个特定的实现更广泛的一类移动协作机器人(“mocobots”)适合安全的人类共同操纵微妙的,灵活的,和铰接的有效载荷。mocobots的主要特点包括被动顺应性,为安全的人和有效载荷,和高保真度的末端执行器力控制独立的潜在的不精确的运动的移动基地。我们描述了一般的考虑因素的团队的mocobots的设计;的Omnids的设计,根据这些考虑因素;机械手和移动基地控制器,以实现有用的多机器人协作行为;和初步的实验,在人类多机器人协作移动操作的大型,笨重的有效载荷。在这些实验中,人类和Omnids之间的唯一通信是通过有效载荷进行的机械通信。
2022-11-29 cs.RO
HoMMI: Learning Whole-Body Mobile Manipulation from Human Demonstrations
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
本文提出HoMMI框架,通过人类示范直接学习全身移动操作,结合眼动感知增强数据收集能力,解决人机体感知差距问题,实现长周期移动操作任务。
2026-05-14 cs.RO
Mobile Manipulation Leveraging Multiple Views
Columbia University(哥伦比亚大学);U.S. Army Research Laboratory(美国陆军研究实验室);Robotics at Google(谷歌机器人部门)
虽然导航和操作都是具有挑战性的主题,但许多任务都需要同时导航和操作的能力。为此,我们提出了一个移动操作系统,利用新的导航和形状完成方法来操纵一个移动机器人的对象。我们的系统利用操纵目标的初始估计中的不确定性来计算预测的下一个最佳视图。在不需要定位的情况下,机器人然后使用在下一个最佳视图位置处的预测全景视图来导航到期望的位置,捕获对象的第二视图,创建比单独的单个图像更准确地预测对象的形状的新模型,并且使用该模型进行抓取规划。我们表明,该系统是非常有效的移动操作任务,通过模拟实验,使用真实世界的数据,以及烧蚀我们的系统的每个组成部分。
2022-03-07 cs.RO
An Architecture for Reactive Mobile Manipulation On-The-Move
Queensland University of Technology(昆士兰科技大学);LYRO Robotics(LYRO机器人公司)
我们提出了一个通用的反应式移动操作的架构,而机器人的基地是在运动中的下一个目标,在一个高层次的任务。通过在移动中执行任务,与操作过程中底座暂停的方法相比,总体周期时间缩短。机械手的反应式控制能够以不可预测的运动抓取物体,同时与开环的基于随机性的规划方法相比,提高了对感知误差、环境干扰和不准确的机器人控制的鲁棒性。我们提出了一个示例实现的架构,并调查了一系列的拾取和放置任务的静态和动态对象的性能,并比较基线方法的性能。我们的方法在现实世界中的成功率超过99%,在使用物理机器人系统的120次尝试中只有一次失败。该结构在其他移动机械手平台上进行了仿真验证。与现有的移动操作架构相比,我们的方法将任务时间减少了48%,同时还提高了可靠性,可预测性和可预测性。有关补充材料,请参见https://benburgesslimerick.github.io/ManipulationOnTheMove。
2022-12-14 cs.RO
MobileManiBench: Simplifying Model Verification for Mobile Manipulation
Microsoft Research Asia(微软亚洲研究院);University of Sydney(悉尼大学);Tsinghua University(清华大学)
提出仿真优先框架MobileManiBench,基于NVIDIA Isaac Sim和强化学习自动生成多样化移动操作轨迹,包含300K条轨迹,用于验证VLA模型在真实部署前的性能。
2026-06-29 cs.RO
Language-Conditioned Open-Vocabulary Mobile Manipulation with Pretrained Models
Harbin Institute of Technology(哈尔滨工业大学)
本文提出融合 LLM 与 VLM 的语言条件框架 LOVMM,使机器人依据自然语言指令完成家庭环境中的开放词汇移动操作,并在仿真和桌面任务中展现出优异的零样本泛化与成功率。
2025-07-23 cs.RO
Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation
Beihang University(北京航空航天大学);Shandong University(山东大学);Johns Hopkins University(约翰斯·霍普金斯大学);Delta Intelligence(delta智能公司)
针对移动操作VLA策略的局部视野与全身演示数据收集难题,开发全身遥操作系统与PanoVLA全景感知VLA策略,基于5.5小时多模态数据集,在四项真实任务中平均阶段完成率91.3%、端到端成功率73.4%,性能优于局部视角基线。
2026-08-04 cs.RO
Cracking Mobile Manipulation: From Failure Diagnosis to Agentic Robot System
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室);Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学);University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
该研究针对VLA模型在长程移动操作中性能骤降的问题,通过故障诊断确定三类瓶颈,开发故障引导的智能体干预方法,在RoboCasa365等数据集及真实机器人任务中显著提升了移动操作成功率。
2026-10-15 cs.RO
Enabling Failure Recovery for On-The-Move Mobile Manipulation
Queensland University of Technology(昆士兰科技大学);LYRO Robotics(LYRO机器人公司)
提出一种反应式基座控制方法,使移动机械臂在移动中从操纵故障中恢复,兼顾可靠性与性能。
2023-05-15 cs.RO
Mobile Manipulation Instruction Generation from Multiple Images with Automatic Metric Enhancement
Keio University(庆应义塾大学)
针对单图像模型无法生成双图像移动操作指令的问题,提出处理目标物体与容器图像的模型,并引入结合学习与n-gram评估指标作奖励的训练方法,在自动指标上超越基线,物理实验证明其数据增强能提升现有模型性能。
2025-01-28 cs.RO
EMMa: End-Effector Stability-Oriented Mobile Manipulation for Tracked Rescue Robots
本文提出了一种面向履带救援机器人的移动操作框架,通过协调路径优化模型和紧凑成本/约束表示,提高末端操作的稳定性和任务成功率。
2026-04-09 cs.RO
Stereo Multistage Spatial Attention for Real-Time Mobile Manipulation Under Visual Scale Variation and Disturbances
Department of Intermedia Art and Science, Waseda University(媒体艺术与科学系,早稻田大学);SB Intuitions Corp.(SB Intuitions公司);Research and Development Group, Hitachi, Ltd.(日立株式会社研发部);National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院)
本文提出一种基于立体多阶段空间注意力的深度预测学习方法,用于实时移动操作,通过层次递归架构整合空间注意力点与机器人状态,提升在视觉尺度变化和干扰下的鲁棒性和任务成功率。
2026-05-01 cs.RO
MoCaP: Mobile Code-as-Policies for Zero-Shot Mobile Manipulation from Passive Human Videos
New York University(纽约大学);Fudan University(复旦大学);NYU Shanghai(上海纽约大学)
MoCaP是将被动人类视频转化为端到端移动操作策略指导的智能框架,在真实移动操作机器人的两项室内移动操作任务中各达80%成功率,优于现有方法,还提升了物体导航和可达基座位姿寻找的成功率
2026-10-16 cs.RO
MAkEable: Memory-centered and Affordance-based Task Execution Framework for Transferable Mobile Manipulation Skills
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出MAkEable框架,通过将基于可供性的任务描述集成到ARMAR类人机器人以记忆为中心的认知架构中,实现了跨任务、环境和机器人的单臂及双臂移动操作技能迁移学习。
2024-03-21 cs.RO
Anticipating Human Behavior for Safe Navigation and Efficient Collaborative Manipulation with Mobile Service Robots
University of Bonn(波恩大学)
本文利用智能边缘传感器网络预测人类行为,提出轨迹投影和意图预测方法,实现移动服务机器人的安全导航与高效协作操作。
2025-09-15 cs.RO
Towards Mobile Multi-Task Manipulation in a Confined and Integrated Environment with Irregular Objects
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
FetchIt!2019年5月在IEEE机器人与自动化国际会议(ICRA)上举行的移动操作挑战赛提供了一个具有复杂和集成任务集、不规则物体、受限空间和加工的环境,为移动操作领域带来了新的挑战。在这里,我们描述了我们的努力,以解决这些挑战,展示了一套机械零件的组装在球童。除了实现细节,我们广泛地研究了这个任务集的问题,我们讨论了我们的软件架构,希望为其他研究人员提供一个基地。为了评估性能和一致性,我们进行了20次完整运行,然后检查了失败案例和可能的解决方案。最后,我们确定未来的研究方向,以解决开放的挑战。
2020-03-03 cs.RO
Mobile Manipulation Platform for Autonomous Indoor Inspections in Low-Clearance Areas
Stevens Institute of Technology(史蒂文斯理工学院)
针对移动操作平台稳定性与工作空间的矛盾,提出结合Clearpath Jackal无人车与Kinova Gen3机械臂的方案,通过软硬件修改构建了适用于低净空室内巡检的高性能稳定平台并验证了其有效性。
2023-09-19 cs.RO
Surface Disinfection using Ultraviolet Lightwith a Mobile Manipulation Robot
Oregon State University(俄勒冈州立大学)
机器人越来越多地用于对抗埃博拉、MERS和SARS-COV-2等高传染性疾病。许多正在使用的机器人使用安装在移动基座上的紫外线灯来消灭病原体。然而,这些灯通常安装在固定的配置中,并且不能对水平表面提供足够的净化,这可能是交叉污染的主要来源。在本文中,我们描述的设计,实施和测试的紫外线杀菌照射(UVGI)系统上实现的移动操作机器人。人类监督员指定一个表面进行消毒,机器人自主规划和执行末端执行器轨迹,以消毒表面所需的确定性,然后显示结果的人类监督员进行验证。我们还提供了一些背景信息UVGI和描述我们如何构建和验证的数学模型的紫外线(UV)辐射传播和积累。最后,我们描述了我们的实现在一个取移动操作平台,并讨论如何在一个真正的机器人上实现的实用性影响我们的模型。
2021-04-21 cs.RO
InCoM: Intent-Driven Perception and Structured Coordination for Mobile Manipulation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);AnyverseDynamics
InCoM通过意图驱动的感知和结构化协调框架,解决移动操作中基座与机械臂动作耦合及感知注意力分配问题,提升任务成功率。
2026-07-14 cs.RO
DynaMOMA: Instantaneous Prediction of Grasp Poses for Mobile Manipulation of Dynamic Objects
National University of Defense Technology(国防科技大学);CFCS, Peking University(北京大学前沿计算研究中心);Defense Innovation Institute, Academy of Military Sciences(军事科学院国防科技创新研究院);Wuhan University(武汉大学);Institute of AI for Industries, Chinese Academy of Sciences(中国科学院产业人工智能研究院)
提出DynaMOMA框架,结合基于锚点的扩散模型预测瞬时抓取轨迹与全身控制策略,实现动态物体移动操作,在仿真和真实实验中表现优异。
2026-06-25 cs.RO
Cutting the Cord: System Architecture for Low-Cost, GPU-Accelerated Bimanual Mobile Manipulation
本文提出基于开源XLeRobot的双臂移动机械臂,成本低于1300美元,采用优化机械设计、Tri-Bus电源拓扑和NVIDIA Jetson Orin Nano实现自主操作,提供低成本的机器人研究与教育平台。
2026-03-21 cs.RO
Dynamic Planning for Sequential Whole-body Mobile Manipulation
针对现有移动操作动态规划方法的局限性,研究提出融合在线任务规划、VKC全身运动规划与反应式MPC的一体化框架,经仿真与真实实验验证可在含人为干扰的动态场景下高效完成序列移动操作任务。
2024-06-21 cs.RO
Reactive Base Control for On-The-Move Mobile Manipulation in Dynamic Environments
Queensland University of Technology(昆士兰科技大学);CSIRO Data61(联邦科学与工业研究组织Data61)
本文提出一种反应式基座控制方法,使移动机器人在动态障碍环境中边移动边执行操作任务,并在真实任务中比现有方法总任务时间缩短48%。
2023-09-17 cs.RO
Morphologically Equivariant Flow Matching for Bimanual Mobile Manipulation
PEARL Lab, Dept. of Computer Science, TU Darmstadt, Germany(德累斯顿技术大学计算机科学系PEARL实验室);Istituto Italiano di Tecnologia(意大利技术研究院);Robotics Institute Germany(德国机器人研究所)
本文提出利用形态对称性作为诱导偏倚,通过流匹配政策提升双臂移动操作的样本效率和零样本泛化能力。
2026-05-12 cs.RO
Coupled Active Perception and Manipulation Planning for a Mobile Manipulator in Precision Agriculture Applications
Texas A&M University(德克萨斯农工大学);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对精准农业中移动机械臂需先近距感知再操作的CAPM问题,提出考虑可达性约束并最小化预期能耗的关键状态/任务规划方法,仿真与实物实验表明其较两阶段解耦方法更节能且任务成功率达100%。
2023-09-28 cs.RO
A Model Predictive Approach for Online Mobile Manipulation of Nonholonomic Objects using Learned Dynamics
University of Utah(犹他大学)
设计用于与物体进行物理交互的特定类型的辅助机器人可以在医疗机构中发挥重要作用,以协助移动和预防跌倒。自主移动操作是在现实生活中安全使用机器人之前的一个障碍。在这篇文章中,我们介绍了一个移动操作框架的基础上模型预测控制使用学习动态模型的对象。我们专注于操纵有腿物体的具体问题,例如在医疗环境和个人住宅(例如步行者,桌子,椅子)中常见的物体。我们描述了一种概率方法自主学习的近似动力学模型,这些对象。在这种方法中,我们使用一个小的数据集学习动态参数,该数据集由机器人和物体之间的相互作用的力和运动数据组成。此外,我们占多个操作策略制定的操作规划作为一个混合整数凸优化。所提出的框架考虑了混合控制系统,包括i)选择哪条腿抓住,和ii)控制连续施加的操纵力。我们正式我们的算法的基础上模型预测控制,以补偿建模误差,并找到一个最佳的路径来操纵对象从一个配置到另一个。我们展示了几个对象与各种车轮配置的结果。仿真和物理实验表明,所获得的动力学模型足够准确,可以进行安全、无碰撞的操作。当结合所提出的操作规划算法,机器人成功地将物体移动到所需的姿态,同时避免碰撞。
2020-11-11 cs.RO
Task Planning for Mobile Manipulation in Retail Stores using Foundation Models with Iterative Re-planning
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务公司TCS研究院)
研究零售场景补货问题,利用大语言模型和视觉语言模型,结合定制移动操作平台、用户驱动提示及反馈迭代重新规划方法纠错,在模拟环境验证端到端系统,为零售自动化提供了新的任务规划方案。
2026-07-14 cs.RO
Learning Kinematic Feasibility for Mobile Manipulation through Deep Reinforcement Learning
University of Freiburg(弗莱堡大学)
移动操作任务仍然是在服务和工业场景中广泛采用自主机器人的关键挑战之一。虽然规划方法擅长生成可行的全身机器人轨迹,但它们与动态环境以及任务和环境给出的约束相结合。另一方面,在行动空间中的动态运动模型的斗争与生成运动学上可行的移动操作动作的轨迹。我们提出了一种深度强化学习方法来学习可行的动态运动的移动基地,而末端执行器遵循由任意系统生成的任务空间中的轨迹,以完成手头的任务。这种模块化的制定有几个好处:它使我们能够很容易地将广泛的末端执行器运动到移动应用程序,它允许我们使用的末端执行器轨迹的运动学可行性作为一个密集的奖励信号,其模块化的制定允许它概括为看不见的末端执行器运动在测试时。我们展示了我们的方法在多个移动机器人平台上具有不同的运动能力和不同类型的轮式平台在广泛的模拟和现实世界的实验能力。
2021-06-18 cs.RO
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Toyota Research Institute(丰田研究所)
针对机器人操作中音频数据来源受限的问题,提出ManiWAV音视频采集设备与对应策略接口,从真实场景人类演示学习操作策略,可完成多类接触任务并泛化到新环境。
2024-11-04 cs.AI cs.CV cs.RO
Combined Task and Action Learning from Human Demonstrations for Mobile Manipulation Applications
University of Freiburg(弗莱堡大学)
示教学习是向机器人传递知识的一种很有前途的范例。然而,直接从人类教师学习移动操作任务是一个复杂的问题,因为它需要学习模型的总体任务目标和基本的行动。此外,从少量的演示中学习通常会导致教师意图的模糊性,这使得致力于将任务推广到新环境的一个模型具有挑战性。在本文中,我们提出了一种方法来学习灵活的移动操作动作模型和任务目标表示教师演示。我们的动作模型使机器人能够考虑每个动作的不同可能结果,并生成实现这些结果的可行轨迹。因此,我们利用基于蒙特卡罗树搜索的概率框架来计算在新设置中模仿教师意图的可行动作序列,而不需要教师指定明确的目标状态。我们证明了我们的方法在现实世界中进行的复杂任务的有效性。
2019-08-25 cs.RO
KinScene: Model-Based Mobile Manipulation of Articulated Scenes
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
KinScene提出一种全栈方法,通过自主探索构建室内场景级关节模型,使移动机械臂能够推理多部件运动并规划顺序交互,从而在真实环境中完成长时程关节型物体操作任务。
2024-09-28 cs.RO
RLMM-Flow: A Flow-based Mobile Manipulation Framework with Latent-Space Reinforcement Learning
该研究提出RLMM-Flow框架,结合流策略预训练与隐空间强化学习,在移动操作基准上提升任务成功率等指标,同时保留流的快速推理能力。
2026-07-30 cs.RO
EHC-MM: Embodied Holistic Control for Mobile Manipulation
Beijing Samsung Telecom R&D Center(北京三星通信技术研发中心);National Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);PKU-WUHAN Institute for Artificial Intelligence(北京大学-武汉人工智能研究院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出 EHC-MM 方法,将 DMCG 原则建模为 QP 问题并用 sig(w) 动态平衡移动与操作,结合 MPBS 实现底盘、臂和相机协调控制,显著提升移动操作成功率与效率。
2025-03-12 cs.RO
Reactive Informative Planning for Mobile Manipulation Tasks under Sensing and Environmental Uncertainty
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
在本文中,我们解决移动操作规划问题的存在感测和环境的不确定性。特别是,我们认为移动传感机械手在未知的几何形状和不确定的可移动物体的环境中工作,同时负责完成任务,需要抓住和释放对象的逻辑方式。现有的算法要么不能很好地扩展,要么忽略了传感和/或环境的不确定性。为了面对这些挑战,我们提出了一种混合控制架构,其中符号控制器生成高级操纵命令(例如,抓取物体),信息规划器设计路径以主动地减少感兴趣物体的不确定性,并且连续反应控制器跟踪包括信息路径的稀疏航路点,同时避免先验未知障碍物。整体架构可以在线处理环境和传感不确定性,因为机器人探索其工作空间。使用数值模拟,我们表明,所提出的架构可以处理任务的复杂性增加,同时响应意想不到的不利配置。
2022-05-12 cs.RO
Predictive Reachability for Embodiment Selection in Mobile Manipulation Behaviors
Graduate School of Engineering Science, Osaka University(大阪大学工程科学研究生院)
针对移动操作中底盘与机械臂的具身选择问题,提出基于世界模型和分层策略的预测可达性方法,仅凭图像观测即可预测机械臂轨迹并决策,提升样本效率、性能与选择合理性。
2024-10-28 cs.RO
CSubBT: A Self-Adjusting Execution Framework for Mobile Manipulation System
Hunan University(湖南大学)
针对移动机器人因感知与实际差异导致规划动作失败的问题,提出基于行为树的自适应执行框架CSubBT,通过分解动作、约束采样处理异常,提升操作鲁棒性。
2025-02-28 cs.RO
Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper
Columbia University(哥伦比亚大学)
针对现有手持抓手缺乏触觉传感的问题,提出集成触觉传感器的便携式抓手以同步采集多模态数据,并设计跨模态表示学习框架,实现了细粒度操作任务中更高效的策略学习及干扰下性能提升。
2025-11-12 cs.AI cs.LG cs.RO
NimbRo Rescue: Solving Disaster-Response Tasks through Mobile Manipulation Robot Momaro
University of Bonn(波恩大学)
迫切需要在人类无法进入的危险环境中解决复杂任务的机器人,例如用于搜索和救援应用。我们描述了我们的移动操作机器人Momaro,我们成功地参加了DARPA机器人挑战赛。它采用了独特的运动设计,四条腿的末端是可转向的轮子,这使得它既可以全方位行驶,也可以跨越障碍物或攀爬。此外,我们提出了先进的通信和遥操作方法,其中包括沉浸式3D可视化,以及操作员头部和手臂运动的6D跟踪。该系统在DARPA机器人挑战赛,DLR SpaceBot杯资格赛和实验室实验中进行了评估。我们还讨论了从比赛中吸取的教训。
2018-10-15 cs.RO
A Holistic Approach to Reactive Mobile Manipulation
QUT Centre for Robotics(昆士兰科技大学机器人中心)
我们提出了一个可分配任务的反应式移动操作系统的设计和实现。与相关工作相反,我们将手臂和基座的自由度视为一个整体结构,这大大提高了所产生的运动的速度和流动性。这种方法的核心是一个强大的和反应式的运动控制器,它可以实现所需的末端执行器的姿态,同时避免关节位置和速度限制,并确保移动机械手在整个轨迹的机动性。这可以支持基于传感器的行为,例如闭环视觉抓取。由于在我们的方法中不涉及规划,机器人永远不会静止地思考下一步该做什么。我们展示了我们的整体运动控制器的多功能性,通过实施一个拾取和放置系统,使用行为树,并证明了这项任务的9度的自由移动机械手。此外,我们提供了一个开源的实现我们的运动控制器的非完整和全向移动机械手可在jhavl.github.io/holistic。
2022-02-02 cs.RO
DSPv2: Improved Dense Policy for Effective and Generalizable Whole-body Mobile Manipulation
The University of Hong Kong(香港大学);Astribot;Xidian University(西安电子科技大学);Tsinghua University(清华大学)
DSPv2通过融合3D空间与多视角2D语义特征,并扩展密集策略范式,实现了全身移动操作的有效学习与泛化,性能显著优于现有方法。
2025-09-26 cs.RO
Mobile Manipulation with Active Inference for Long-Horizon Rearrangement Tasks
VERSES AI Research Lab(VERSES AI研究实验室)
针对主动推理难以用于复杂长程机器人任务的问题,提出分层主动推理架构,结合高层技能选择与全身控制,在 Habitat Benchmark 三项任务上优于现有基线。
2025-07-23 cs.RO
Generating Continuous Motion and Force Plans in Real-Time for Legged Mobile Manipulation
University of Michigan(密歇根大学);ETH Zürich(苏黎世联邦理工学院)
操纵器可以被添加到足式机器人上,允许它们与环境交互并改变环境。腿移动操作规划者必须考虑如何接触力产生这些机械手影响系统。当前的规划策略要么在规划期间将这些力视为不可变的,要么在实时的【形】操作时无法优化这些接触力。本文提出了面向稳定性和任务的滚动时域运动和操纵自主规划器(STORMMAP),它能够为机器人的运动和操纵力轨迹生成连续的计划,以确保平台的动态可行性和稳定性,并激励完成用户指定的操纵和运动任务。STORMMAP使用非线性优化问题来计算这些计划,并且能够通过假设接触位置由用户或外部算法先验给定来实时的【形】运行。一个四足动物的各种模拟实验与机械手安装到它的躯干证明了STORMMAP的多功能性。与现有的最先进的方法相比,本文中描述的方法在10毫秒内生成连续的计划,比以前的策略快一个数量级。
2021-04-23 cs.RO
VBM-NET: Visual Base Pose Learning for Mobile Manipulation using Equivariant TransporterNet and GNNs
KTH Royal Institute of Technology(皇家理工学院)
针对移动操作中基座位姿规划依赖精确状态信息的问题,提出结合等变TransporterNet与GNN的VBM-NET,基于俯视投影通过强化学习选最优基座位姿,效率优于经典方法且实现仿真到现实的迁移。
2025-10-05 cs.RO
Symbolic State Space Optimization for Long Horizon Mobile Manipulation Planning
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
针对长时程移动操作中任务级状态空间构建困难的问题,提出S3O方法计算抽象位置及其2D几何锚定以生成任务-运动规划,在仿真和真实机器人实验中均优于现有TAMP基准。
2023-07-21 cs.RO
SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation
UC San Diego(加州大学圣地亚哥分校);Agency for Defense Development(国防发展局);SceniX Inc.(SceniX公司);University of Michigan(密歇根大学)
提出SERF地图,将环境与机器人身体表示为共享潜空间中的神经点,并在线更新,作为VLA模型的状态输入,提升长时域移动操作中的推理能力,在BEHAVIOR-1K上优于纯图像基线。
2026-10-14 cs.RO
Technical Report: Reactive Planning for Mobile Manipulation Tasks in Unexplored Semantic Environments
University of Pennsylvania(宾夕法尼亚大学)
复杂的操作任务,如多个对象的重排规划,是组合困难的问题。现有的算法要么不能很好地扩展,要么假设了大量关于环境的先验知识,很少有算法能提供任何严格的保证。在本文中,我们提出了一种新的混合控制架构,实现这样的任务与移动机械手。在离散方面,我们丰富了时间逻辑规范与移动操作原语,如移动到一个点,并把握或移动对象。此类规范被转换为自动机表示,它将任务的物理基础编排到移动性或操纵控制器。从离散到连续无功控制器的接地是在线的,并且可以对发现未知障碍物做出响应,或者决定将阻止任务完成的可移动物体推开。尽管问题的复杂性,我们证明,在特定的条件下,我们的架构享有可证明的完整性的离散侧,可证明的终止连续侧,并避免了环境中的所有障碍。模拟说明了我们的架构,可以处理复杂性增加的任务,同时也响应未知的障碍或意外的不利配置的效率。
2021-03-24 cs.RO
KRVF: A Source-Aware Semantic Voxel World Representation for Edge Mobile Manipulation
The University of Manchester(曼彻斯特大学)
提出KRVF,一种源感知语义体素表示,用于边缘移动操作,通过任务导向体素编码占用、语义、时间新鲜度和证据源,实现深度故障感知推理和映射-感知闭环。
2026-06-26 cs.RO
DockAnywhere: Data-Efficient Visuomotor Policy Learning for Mobile Manipulation via Novel Demonstration Generation
Nanyang Technological University, Singapore(新加坡南洋理工大学);Beijing University of Posts and Telecommunications, Beijing, China(北京邮电大学)
本文提出DockAnywhere方法,通过解耦基座运动与不变的 manipulation 技能,提升移动操作在不同 docking 点下的视角泛化能力,实验表明其显著提高了策略成功率和泛化能力。
2026-04-16 cs.RO
Harmonious Sampling for Mobile Manipulation Planning
KAIST(韩国科学技术院)
移动操作规划通常采用解耦的方法,即分别在基座和机械手上进行规划。虽然这种方法速度很快,但它可能会生成次优路径。另一个方向是在高维位形空间中联合调整基座和机械手的耦合方法。这种耦合方法解决了解耦方法的次最优性和不完整性,但由于其过多的计算开销而没有被广泛使用。鉴于这种权衡的空间,我们提出了一个简单的,但有效的移动操作采样方法,和谐采样,主要是在困难的地区,我们需要同时操纵基地和机械手执行耦合的方法。我们的方法通过一个低维的基空间,利用可达性地图的目标末端执行器的姿态和广义沃罗诺伊图检测到的狭窄通道识别这样的困难区域。对于其余的简单区域,我们主要在具有预定义的联合配置的基本配置上执行采样,从而加速规划过程。我们比较我们的方法与解耦和耦合的方法在六个不同的问题,不同的难度。我们的方法在实验上显示了有意义的改进,在解耦方法的基础上,找到初始解决方案的时间(最多快5.6倍)和最终解决方案的成本(最多低17%),特别是在空间狭窄的困难场景中。我们还展示了这些好处与一个真正的,移动胡博机器人。
2019-09-27 cs.RO
Rapid Adaptation of Particle Dynamics for Generalized Deformable Object Mobile Manipulation
Stanford University(斯坦福大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出RAPiD方法,通过学习视觉-运动策略和动态嵌入推理,实现变形物体移动操作的高成功率。
2026-03-18 cs.RO
Seeing the Bigger Picture: 3D Latent Mapping for Mobile Manipulation Policy Learning
本文提出SBP方法,通过3D潜在映射提升移动操作策略的学习性能,实现更强的空间和时间推理能力。
2026-08-18 cs.RO