Learning Visual Quadrupedal Loco-Manipulation from Demonstrations
Shanghai Qi Zhi Institute(上海期智研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
本文提出一种结合RL低层控制器与BC高层规划器的视觉四足腿部移动操作框架,通过轨迹参数化协同两层策略,使四足机器人无需额外机械臂即可完成提篮、关门和按钮等真实任务。
2024-08-02 cs.LG cs.RO
REFINE-DP: Diffusion Policy Fine-tuning for Humanoid Loco-manipulation via Reinforcement Learning
The Institute for Robotics and Intelligent Machines(机器人与智能机械研究所)
本文提出REFINE-DP框架,通过联合优化扩散政策高层规划器和基于强化学习的低层动态-操作控制器,提升人形机器人在复杂环境中的任务成功率与执行稳定性。
2026-07-31 cs.AI cs.LG cs.RO
Learning Whole-Body Loco-Manipulation for Omni-Directional Task Space Pose Tracking with a Wheeled-Quadrupedal-Manipulator
School of System Design and Intelligent Manufacturing (SDIM), Southern University of Science and Technology, Shenzhen, China(系统设计与智能制造学院,南方科技大学,深圳,中国);Zhejiang University-University of Illinois Urbana-Champaign Institute (ZJUI), Haining, China(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院,海宁,中国);LimX Dynamics, Shenzhen, China(LimX Dynamics,深圳,中国)
本文研究轮式四足机械臂的全身运动操控问题,通过强化学习结合新颖的奖励融合模块(RFM)与师生训练范式,实现了6D末端执行器位姿的精确跟踪,位置误差小于5厘米,旋转误差小于0.1弧度。
2025-08-13 cs.LG cs.RO
Mobile-TeleVision: Predictive Motion Priors for Humanoid Whole-Body Control
UC San Diego(加利福尼亚大学圣迭戈分校);MIT(麻省理工学院)
本文提出将上肢操作与下肢运动解耦,用 CVAE 训练预测性运动先验(PMP)表示上肢运动,并以此条件训练强化学习运动策略,从而在精确操作上显著优于全身 RL 控制,实现人形机器人远程操控下的行走与多样化操作。
2025-03-09 cs.AI cs.LG cs.RO
FLAM: Foundation Model-Based Body Stabilization for Humanoid Locomotion and Manipulation
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Peng Cheng Laboratory(鹏城实验室)
本文提出FLAM,一种基于基础模型的人形机器人运动与操作稳定控制方法,通过结合稳定奖励函数与基础策略,在人形机器人基准上超越最先进RL方法,提升稳定性和整体性能。
2025-03-28 cs.LG cs.RO
Optimisation of Body-ground Contact for Augmenting Whole-Body Loco-manipulation of Quadruped Robots
University of Edinburgh(爱丁堡大学)
足式机器人具有很大的潜力来执行本地操作任务,但它是具有挑战性的,以保持平衡的机器人,而它与环境的互动。在本文中,我们研究了使用额外的接触点,最大限度地提高鲁棒性的本地操作运动。具体而言,身体-地面接触的研究,以提高四足机器人的鲁棒性和操作能力。我们建议为机器人配备尖头:刚性连接到身体的小腿,以确保身体与地面的接触发生在可控的点接触。这些尖头对鲁棒性的影响通过计算最小不可拒绝力(SUF)来量化,SUF是与可行扳手多边形相关的鲁棒性度量。我们应用SUF评估系统的鲁棒性,并提出了一个有效的近似SUF,可以计算在近实时的速度。我们设计了一个基于分层二次规划的全身控制器,当尖头与地面接触时,控制稳定的相互作用。这种使用尖头的新概念和由此产生的控制框架都在硬件上实现,以验证增强的鲁棒性和新启用的本地操作任务的有效性,例如障碍物清除和大型物体的操作。
2020-02-24 cs.RO
Design, Control, and Motion Strategy for DELTA: Transformable Multilink Multirotor for Air-Ground Hybrid Locomotion and Manipulation
本文提出一种新型多连杆多旋翼机器人DELTA,通过在每个连杆上安装推进器并利用关节驱动,实现了地面滚动、空中飞行及多种环境下的操作能力,并设计了基于非线性优化的实时控制方法和考虑接触约束的运动策略。
2026-05-24 cs.RO
CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出CoorDex学习框架,通过将高维身体和灵巧手控制转化为协调的潜在残差控制,实现类人机器人在运动中执行灵巧操作,如不停顿抓取瓶子、移动中开冰箱门等。
2026-06-23 cs.AI cs.LG cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG;University of Warwick(华威大学)
通过强化学习(RL)掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明,使用稀疏奖励,即只有在任务成功完成时才奖励代理,可以产生更好的策略。然而,在这种情况下,状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习,利用了高质量的人类演示来完成任务,但这些演示可能是昂贵的,耗时的,甚至不可能获得。在本文中,我们提出了一种新颖而有效的方法,不需要人类的示范。我们观察到,从被操纵对象的角度来看,每个机器人操纵任务都可以被视为涉及运动任务,即对象可以学习如何自行达到目标状态。为了利用这一想法,我们引入了一个框架,通过该框架,最初使用现实的物理模拟器获得对象运动策略。然后,该策略用于生成辅助奖励,称为模拟运动演示奖励(SLDR),使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加,并可以实现更高的成功率和更快的学习率相比,替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
Workhorse: Learning Robust Whole-Body Humanoid Loco-Manipulation from Human Data
University of California, Berkeley(加州大学伯克利分校)
Workhorse从人类演示学习全身移动操作,通过视觉规划器预测五连杆目标并强化学习跟踪,在真实和模拟人形机器人上实现鲁棒的箱子分类等任务。
2026-10-12 cs.LG cs.RO
Towards Miniature Humanoid Tele-Loco-Manipulation Using Virtual Reality and Reinforcement Learning
University of Louisville(路易斯维尔大学)
研究针对微型仿人机器人缺乏类似全尺寸机器人控制堆栈的问题,利用虚拟现实和强化学习开发了控制堆栈,经实验验证能实现一定速度行走及远程定位操作,展现了微型仿人机器人远程定位操作的潜力。
2026-07-23 cs.HC cs.LG cs.RO
Granular Loco-Manipulation: Repositioning Rocks Through Strategic Sand Avalanche
University of Southern California(美国南加州大学)
针对足式机器人在沙坡上高效重定位障碍物的难题,提出DiffusiveGRAIN方法,通过扩散环境预测器和机器人状态预测器实现运动与操控集成规划,超65%试验成功移石,提升复杂地形移动能力。
2025-05-19 cs.RO
HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation
UC Berkeley(加州大学伯克利分校);Yonsei University(延世大学)
针对仿人机器人研究受硬件限制的问题,提出仿真基准HumanoidBench,包含多种全身操作与运动任务,验证了分层学习方法的优势,为算法研究提供平台。
2024-06-18 cs.AI cs.LG cs.RO
Grounding Language Models in Autonomous Loco-manipulation Tasks
Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出结合强化学习、全身优化与大语言模型的框架,通过运动库和分层任务图实现人形机器人从自由文本指令到长程移动操作任务的自主规划与执行。
2024-09-02 cs.AI cs.LG cs.RO
Learning Multi-Agent Loco-Manipulation for Long-Horizon Quadrupedal Pushing
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出三级分层多智能体强化学习框架,实现多四足机器人长时程障碍感知推搡,成功率提升36.0%,时间减少24.5%,并在真实Go1机器人上验证。
2025-03-29 cs.AI cs.LG cs.MA
MASkillBlender: Decentralized Whole-Body Coordination for Multi-Humanoid Loco-Manipulation via Skill Blending
Nanyang Technological University(南洋理工大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
提出MASkillBlender,一种通用多智能体强化学习框架,通过共享去中心化高层策略混合预训练技能,仅用任务级奖励实现多人类形机器人去中心化全身协调,并引入排列数据增强提升效率,仿真验证有效。
2026-10-02 cs.LG cs.MA cs.RO
TeLeMan: Teleoperation for Legged Robot Loco-Manipulation using Wearable IMU-based Motion Capture
University of Leeds(利兹大学);University College London(伦敦大学学院)
人命无价当需要完成危险或危及生命的任务时,机器人平台可能是替代人类操作员的理想选择。我们在这项工作中所关注的这样一项任务就是爆炸物的处置。机器人远程呈现有可能提供安全解决方案,因为移动机器人在多种环境中运行时显示出强大的能力。然而,与人类操作相比,在这个阶段,自主性可能具有挑战性和风险。远程操作可能是机器人完全自主和人类存在之间的妥协。在本文中,我们提出了一个相对便宜的解决方案,用于远程呈现和机器人远程操作,以协助爆炸物处理,使用腿式机械手(即,嵌入有操纵器和RGB-D传感器的有腿四足机器人)。针对四足机器人全身控制的非平凡问题,提出了一种新的系统集成方法。我们的系统是基于一个可穿戴的基于IMU的运动捕捉系统,用于遥操作和VR头显的视觉临场感。我们实验验证我们的方法在现实世界中,为本地操作任务,需要全身机器人控制和视觉临场感。
2022-09-21 cs.RO
HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation
Istituto Italiano di Tecnologia(意大利技术研究院);Universita di Genova(热那亚大学)
针对人形机器人移动操作任务通用性不足的问题,提出HYPERmotion框架,结合强化学习、全身优化与大语言模型构建层次化规划系统,实现非结构化场景下从文本指令到混合运动的自主执行。
2024-06-20 cs.AI cs.LG cs.RO
Deep Whole-Body Control: Learning a Unified Policy for Manipulation and Locomotion
Carnegie Mellon University(卡内基梅隆大学)
附加臂可以显著地增加足式机器人对几种移动操作任务的适用性,这些任务对于轮式或履带式机器人是不可能的。这种腿式机械手的标准分层控制流水线是将控制器解耦成操纵和运动的控制器。然而,这是无效的。它需要巨大的工程来支持手臂和腿之间的协调,并且错误可以在模块之间传播,从而导致不平滑的不自然运动。这也是生物学上不可信的,因为有证据表明四肢之间有很强的运动协同作用。在这项工作中,我们提出了学习一个统一的政策,全身控制的腿式机械手使用强化学习。我们提出了正则化在线自适应来弥合高自由度控制的Sim2Real差距,以及利用动作空间中的因果依赖性来克服全身系统训练过程中的局部最小值的优势混合。我们还提出了一个简单的设计,低成本的腿式机械手,并发现我们的统一政策可以在几个任务设置展示动态和敏捷的行为。视频在https://maniploco.github.io
2022-10-18 cs.AI cs.CV cs.LG
WildLMa: Long Horizon Loco-Manipulation in the Wild
UC San Diego(加州大学圣地亚哥分校);MIT(麻省理工学院)
WildLMa 面向四足机器人在真实环境中的长时程移动操作,结合 VR 遥操作底层控制、可泛化视觉运动技能库和 LLM 技能规划接口,以少量演示实现跨物体泛化并验证了清理、关节操作等实际任务。
2025-03-08 cs.CV cs.LG cs.RO
OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction
Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人实验室);MIT(麻省理工学院);UC Berkeley(伯克利大学);Stanford University(斯坦福大学);CMU(卡内基梅隆大学)
提出OmniRetarget引擎,通过交互网格显式建模并保持智能体、地形和物体间的空间与接触关系,将人类运动重定向为机器人运动,生成高质量轨迹以训练强化学习策略,实现长时间跑酷和操控技能。
2026-06-17 cs.AI cs.LG cs.RO
Arm-Constrained Curriculum Learning for Loco-Manipulation of the Wheel-Legged Robot
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
本文提出手臂约束课程学习架构,结合手臂约束强化学习与奖励感知课程学习,使轮腿机器人在运动中掌握动态抓取技能。
2024-03-28 cs.RO
Integrating Learning-Based Manipulation and Physics-Based Locomotion for Whole-Body Badminton Robot Control
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);DeepCode Robotics(DeepCode机器人公司);Department of Sports, Shanghai Jiao Tong University(上海交通大学体育学院)
本文提出用于敏捷羽毛球机器人的混合控制系统Hamlet,通过基于模型的底盘移动与物理信息的“IL+RL”机械臂策略训练框架,降低训练复杂度并保障稳定性,实现对发球机94.5%和人类90.7%的击球成功率。
2025-04-27 cs.AI cs.LG cs.RO
GeCCo -- a Generalist Contact-Conditioned Policy for Loco-Manipulation Skills on Legged Robots
Dynamic Robot Systems Group, Oxford Robotics Institute, University of Oxford(牛津大学机器人研究所动态机器人系统组);Sony AI(索尼人工智能);Dyson Institute of Engineering and Technology(戴森工程与技术研究所)
提出一种通用接触条件策略(GeCCo),通过深度强化学习训练低层控制器,可跟踪任意接触点,无需重新训练即可适应多种移动操作任务,提高扩展性和效率。
2026-09-22 cs.RO
Plant Robots: Harnessing Growth Actuation of Plants for Locomotion and Object Manipulation
The University of Electro-Communications(电气通信大学)
本文提出利用植物生长过程中的位移和力作为驱动,基于萝卜芽表征设计制造了旋转机器人和夹持器,实现了地面移动与物体操作,验证了植物机器人行为设计与预测的可行性。
2024-09-26 cs.RO
WiXus: A Wheeled-Legged Robot with Wire-Driven Environmental Utilizing to Integrate Mobility and Manipulation
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学和技术研究生院,东京大学)
本文提出了一种新型轮腿机器人WiXus,通过利用外部环境的线驱动机制,使机器人能够实现平面移动和三维移动,并将腿部重新用于物体操作和工具使用。
2026-05-20 cs.RO
Optimizing Grasping in Legged Robots: A Deep Learning Approach to Loco-Manipulation
College of Mechanical Engineering, Federal University of Uberlândia(联邦大学伯南迪亚学院机械工程学院);Department of Mechanical Engineering, University of São Paulo(圣保罗大学机械工程系)
本文提出一种深度学习方法,通过模拟训练提升四足机器人抓取精度和适应性,实现自主导航与精准抓取。
2025-10-11 cs.AI cs.CV cs.LG
DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation
Peking University(北京大学);BeingBeyond
提出 DemoHLM 框架,通过分层结构集成全身控制器与高级操作策略,仅需仿真中的单次演示即可在真实人形机器人上实现可泛化且鲁棒的移动操作。
2025-10-13 cs.LG cs.RO
A Mobile Quad-Arm Robot ARMS: Wheeled-Legged Tripedal Locomotion and Quad-Arm Loco-Manipulation
Hiroshima University(广岛大学)
提出移动四臂机器人ARMS,统一轮腿三足运动与四臂移动操作,通过七项实验验证其关节控制、运动及抓取能力。
2023-11-14 cs.RO
A Thesis on Loco-Manipulation with Non-impulsive Contact-Implicit Planning in a Slithering Robot
Electrical and Computer Engineering(电气与计算机工程学院)
针对蛇形机器人通过运动实现物体操作的问题,本文为 COBRA 提出基于非脉冲式隐式接触路径规划的优化框架,并通过高保真仿真和实验验证其有效性。
2024-05-09 cs.RO
Contact Optimization for Non-Prehensile Loco-Manipulation via Hierarchical Model Predictive Control
University of Southern California(南加州大学)
最近的研究集中在四足机器人的运动或移动操作使用的机器人手臂。足式机器人可以操纵较重和较大的物体使用非弹性操作原语,如平面推动,驱动对象到所需的位置。在本文中,我们提出了一种新的分层模型预测控制(MPC)的接触优化的操作任务。使用两个级联的MPC,我们分裂的本地操作问题分为两部分:第一,以优化机器人和物体之间的接触力和接触位置,第二,通过机器人运动调节所需的相互作用力。我们的方法是成功地验证了在仿真和硬件实验。虽然基线运动MPC未能遵循所需的轨迹的对象,我们提出的方法可以有效地控制对象的位置和方向,以最小的跟踪误差。这种能力也使我们能够执行避障的机器人和对象在本地操作任务。
2022-10-07 cs.RO
Vision-Guided Loco-Manipulation with a Snake Robot
Northeastern University(东北大学);California Institute of Technology(加州理工学院);CSIRO Robotics, DATA61(联邦科学与工业研究组织机器人部 DATA61)
针对蛇形机器人移动操作需求,研究团队为COBRA机器人开发集成了基于YOLOv8检测与立体深度估计的视觉引导流水线,提出自主检测控制框架,验证了开环下实时检测与操作的可行性。
2025-03-24 cs.RO
Humanoid Loco-manipulation Planning based on Graph Search and Reachability Maps
CNRS-AIST JRL (Joint Robotics Laboratory)(CNRS-AIST联合机器人实验室);IRL(机器人研究所);National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院)
提出一种基于图搜索和可达性地图的人形机器人移动操作规划方法,将脚步与抓取的交替排序构建为图搜索问题,并通过重新定位和切换可达性地图快速评估转移模型,实现自主物体运输与操作。
2025-05-29 cs.RO
ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning
Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人实验室);USC(南加州大学);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学)
ResMimic提出两阶段残差学习框架,利用通用运动跟踪策略生成基础运动,再通过残差策略细化以支持人形全身移动操作,在仿真和真实机器人上显著提升任务成功率、训练效率和鲁棒性。
2025-10-08 cs.LG cs.RO
Partial Motion Imitation for Learning Cart Pushing with Legged Manipulators
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种部分模仿学习方法,通过将运动风格从运动任务转移到推车运动中,实现稳定的运动与精确操作的结合,实验显示其在IsaacLab和MuJoCo中的有效性。
2026-03-27 cs.RO
HANDO: Hierarchical Autonomous Navigation and Dexterous Omni-loco-manipulation
Shanghai Huawei Technologies Co., Ltd.(上海华为技术有限公司)
提出HANDO两层框架,结合目标条件化自主探索策略与统一全身移动操作策略,使配备机械臂的有腿机器人在非结构化环境中实现以人为中心的导航与精确交互操作。
2025-10-10 cs.RO
Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出数据高效框架TRILL,通过VR界面收集人类演示,结合全身控制与高层动作抽象,解决高自由度仿人机器人移动操作技能的深度模仿学习难题,并在仿真和真实机器人上验证了其有效性。
2023-11-19 cs.RO
Hierarchical Optimization-based Control for Whole-body Loco-manipulation of Heavy Objects
University of Southern California(南加州大学)
本文提出一种基于分层优化的腿式机器人全身移动操作框架,通过在线规划操作力与轨迹、位姿优化及线性MPC控制,实现重物搬运与门操作,验证了全身优化的必要性。
2024-03-19 cs.RO
Non-impulsive Contact-Implicit Motion Planning for Morpho-functional Loco-manipulation
Northeastern University(东北大学);California Institute of Technology(加州理工学院)
本研究针对蛇形机器人COBRA的运动操作需求,提出基于非脉冲隐式接触路径规划的优化方法,给出数学框架并通过定形侧向滚动的高保真仿真验证了物体操作能力。
2024-04-12 cs.RO cs.SY eess.SY
Loco-Manipulation with Nonimpulsive Contact-Implicit Planning in a Slithering Robot
Northeastern University(东北大学);California Institute of Technology(加州理工学院)
本研究针对蛇形机器人的运动-操作一体化需求,提出基于非脉冲隐式接触路径规划的优化方法,构建数学框架并通过仿真与实验验证了该方法的有效性。
2024-04-12 cs.RO cs.SY eess.SY
WholeBodyVLA: Towards Unified Latent VLA for Whole-Body Loco-Manipulation Control
Fudan University(复旦大学);OpenDriveLab & MMLab at The University of Hong Kong(香港大学开放驾驶实验室及多模态实验室);AgiBot(AgiBot公司);SII(SII研究所)
WholeBodyVLA通过统一的潜变量学习框架和专门设计的强化学习策略,实现了大空间人形运动-操控的精准控制与高效泛化。
2025-12-15 cs.AI cs.CV cs.RO
TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation
Purdue University(普渡大学);University of Florida(佛罗里达大学)
研究动态移动操纵中触觉传感在全身控制的作用,提出 TAC-LOCO 框架,编码触觉观测与本体感觉统一控制肢体,经奖励设计使策略能应对多种情况,部署后实现降力及低掉落率。
2026-07-17 cs.RO
HiLMa-Res: A General Hierarchical Framework via Residual RL for Combining Quadrupedal Locomotion and Manipulation
University of California, Berkeley(加州大学伯克利分校);Simon Fraser University(西蒙弗雷泽大学)
本研究提出通用分层框架HiLMa-Res,通过残差强化学习结合四足机器人的运动与操作控制,开发可适配多任务的操作空间运动控制器,在多类真实运动-操作任务中性能优于现有方法。
2024-07-09 cs.RO
Combining Learning-based Locomotion Policy with Model-based Manipulation for Legged Mobile Manipulators
ETH Zürich(苏黎世联邦理工学院)
深度强化学习为足式机器人在具有挑战性的地形上产生鲁棒的运动策略。迄今为止,很少有研究利用基于模型的方法将这些运动技能与机械手的精确控制相结合。在这里,我们将外部动力学计划纳入基于学习的移动操作策略。我们训练的基础政策,应用随机扳手序列的机器人基地在模拟和噪音扳手序列预测的政策意见。然后,策略学习抵消部分已知的未来扰动。随机扳手序列被替换为通过来自模型预测控制的动力学计划生成的扳手预测,以实现部署。我们显示zero-shot适应在训练过程中看不见的机械手。在硬件上,我们证明了稳定的足式机器人的运动与预测的外部扳手。
2022-01-11 cs.RO
Task and Motion Planning for Humanoid Loco-manipulation
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM), Germany(慕尼黑机器人与机器智能研究所(MIRMI)、慕尼黑技术大学(TUM))
本文提出了一种基于优化的任务与运动规划框架,通过共享接触模式实现人形机器人移动与操作的统一规划。
2025-08-16 cs.RO
Hierarchical Adaptive Motion Planning with Nonlinear Model Predictive Control for Safety-Critical Collaborative Loco-Manipulation
提出一种基于非线性模型预测控制和控制障碍函数的四足机器人团队分层协同移动操作控制系统,实现复杂动态环境下的安全自适应规划与操作,并通过仿真和硬件实验验证。
2024-11-16 cs.RO
RoboDuet: Learning a Cooperative Policy for Whole-body Legged Loco-Manipulation
Tsinghua University(清华大学);University of San Diego(圣地亚哥大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Jianghuai Advance Technology Center(江淮先进技术中心)
针对四足机械臂机器人全身移动操作需协调所有自由度的难题,提出双协作策略框架RoboDuet,实现大范围6D位姿跟踪与跨相似机器人零样本迁移,较基线成功率提升23%并开源相关资源。
2025-02-08 cs.RO
HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation
HiWET通过分层强化学习框架实现世界框架下的精确末端跟踪,结合运动学流形先验提升人形机器人长周期运动与操作的稳定性与精度。
2026-02-06 cs.RO
Humanoid-DART: Humanoid Loco-Manipulation using Diffusion-guided Augmentation through Relabeling and Tracking
Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与智能机构(MIRMI));Technical University of Munich (TUM)(慕尼黑技术大学(TUM))
提出一种自监督框架,从稀疏演示中引导并逐步扩展行为库,结合扩散轨迹生成与强化学习,实现目标条件策略学习,减少专家监督。
2026-06-26 cs.RO
Hierarchical Adaptive Loco-manipulation Control for Quadruped Robots
University of Southern California(南加州大学)
足式机器人在不平坦地形的导航中显示出显著的优势。然而,在四足机器人上实现有效的运动和操纵任务仍然具有挑战性。此外,对象和地形参数通常是未知的机器人在这些问题。因此,本文提出了一种分层自适应控制框架,使足式机器人执行本地操作任务,而无需任何给定的假设对象的质量,摩擦系数,或地形的坡度。在我们的方法中,我们首先提出了一个自适应操纵控制来调节接触力,以操纵未知地形上的未知物体。然后,我们介绍了一个统一的模型预测控制(MPC)的本地操作,考虑到我们的机器人动力学的操纵力。因此,建议MPC框架可以有效地调节机器人和物体之间的相互作用力,同时保持机器人的平衡。我们所提出的方法的实验验证成功地进行了Unitree A1机器人,允许它操纵一个未知的时变负载$7$ $kg$($60\%$的机器人的重量)。此外,我们的框架能够快速适应未知的斜率(高达$20^\circ$)或具有不同摩擦系数的不同表面。
2023-03-11 cs.RO
LocoMan: Advancing Versatile Quadrupedal Dexterity with Lightweight Loco-Manipulators
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Google Deepmind(谷歌DeepMind)
本文提出LocoMan,通过在四足机器人前小腿加装轻量化3自由度操作器并扩展全身控制器,实现受限空间中的灵巧运动-操作。
2024-10-18 cs.RO
Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
Purdue University(普渡大学);Istituto Italiano di Tecnologia(意大利技术研究院);Columbia University(哥伦比亚大学)
本文提出一种具有层次结构的触觉感知运动-操作策略学习框架,通过真实世界示范训练触觉条件的视觉-触觉高层策略,并结合大规模模拟强化学习学习能追踪多样指令轨迹和触觉交互的全身控制策略,提升接触丰富场景下的协调运动与操作性能。
2026-07-14 cs.RO
X2-N: A Transformable Wheel-legged Humanoid Robot with Dual-mode Locomotion and Manipulation
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(香港理工大学电子与计算机工程系);X-lab Department, Agibot Innovation Company(阿吉博创新公司X实验室)
X2-N是一种具备双模运动与操作的高自由度可变形机器人,通过关节重构实现人形与轮腿形态的无缝转换,采用强化学习框架实现混合运动、转换与操作的统一控制。
2026-09-07 cs.RO
Multi-contact MPC for Dynamic Loco-manipulation on Humanoid Robots
University of Southern California(南加州大学)
提出了一种基于多接触模型预测控制(MPC)框架的人形机器人多接触动态轨迹操作控制方法。拟议的框架包括一个多接触动力学模型,能够捕获本地操作中的各种接触模式,例如手与物体接触和脚与地面接触。我们提出的动力学模型表示的对象动态作为一个外力作用在系统上,这简化了模型,使其可行的MPC问题的解决。在数值验证中,我们的多接触MPC框架只需要每个任务的接触时间和所需的状态,让MPC的知识的变化接触模式的预测视野中的本地操作。所提出的框架可以控制人形机器人完成多任务的动态本地操作应用,如有效地拿起和放下物体,同时转向和行走。
2023-03-21 cs.RO cs.SY eess.SY