Bipedalism for Quadrupedal Robots: Versatile Loco-Manipulation through Risk-Adaptive Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL))
针对四足机器人移动操作中腿臂冲突问题,提出风险自适应分布式强化学习框架,使其以后腿双足行走并解放前腿,仿真与 Unitree Go2 实验验证了性能、多功能性和鲁棒性。
2025-07-27 cs.LG cs.RO
Taxonomy and Modular Tool System for Versatile and Effective Non-Prehensile Manipulations
本文提出了一种模块化工具系统,用于增强机器人在非握力操作中的多功能性和有效性,适用于航空航天和家庭场景。
2025-12-11 cs.RO
SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending
University of Southern California(南加州大学);Stanford University(斯坦福大学);Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校)
针对人形机器人移动操作方法需逐任务调优、通用性不足的问题,提出分层强化学习框架SkillBlender,通过预训练并动态融合任务无关基础技能实现多功能操作,同时推出仿真基准SkillBench,实验表明其性能优于基线且行为更可靠。
2025-06-11 cs.LG cs.RO
ARDOP: A Versatile Humanoid Robotic Research Platform
BMS College of Engineering(BMS工程学院)
本文介绍了一种名为ARDOP的人形机器人的研制。该项目的目标是提供一种模块化、开源且廉价的人形机器人,使研究人员能够回答与机器人操纵和感知相关的各种问题。ARDOP主要包括两个功能单元,即感知和操纵系统,在这里,我们讨论了这些系统的概念和设计方法,并继续提出他们的性能仿真和各种定制设计的实验结果。
2021-08-18 cs.RO
LocoMan: Advancing Versatile Quadrupedal Dexterity with Lightweight Loco-Manipulators
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Google Deepmind(谷歌DeepMind)
本文提出LocoMan,通过在四足机器人前小腿加装轻量化3自由度操作器并扩展全身控制器,实现受限空间中的灵巧运动-操作。
2024-10-18 cs.RO
Learning Versatile Humanoid Manipulation with Touch Dreaming
Carnegie Mellon University(卡内基梅隆大学);UT Arlington(UT阿灵顿);Bosch Center for AI(博世人工智能中心)
本文提出HTD模型,结合触觉、视觉和本体感觉,通过触觉梦想增强学习实现高灵活性的人形操作,实验证明在五个真实任务中成功率提升显著。
2026-08-18 cs.RO
Versatile Multilinked Aerial Robot with Tilting Propellers: Design, Modeling, Control and State Estimation for Autonomous Flight and Manipulation
The University of Tokyo(东京大学)
多连杆空中机器人是空中机器人领域的一个前沿课题,它具有良好的变形能力,对操纵和操纵都有好处。然而,由于可控性的弱点和自主飞行状态估计的缺乏,在户外物理世界的性能尚未得到评估。因此,我们采用倾斜螺旋桨,以提高可控性。本论文针对此一问题,提出了相关的设计、建模与控制方法,以实现稳定的悬停与变形。此外,状态估计,其中涉及传感器之间的时间同步和多链接运动学也提出了这项工作,使完全自主飞行在室外环境中。各种自主室外实验,包括快速机动拦截目标,物体抓取交付,和毯子操作消防进行评估的可行性和通用性的建议机器人平台。据我们所知,这是第一个研究的多连杆空中机器人实现完全自主飞行和操作任务在室外环境。我们亦在2020年穆罕默德·本·扎耶德国际机器人竞赛的所有挑战中应用我们的平台,并在国际上获得挑战一第三名和挑战三第六名,展示了可靠的实地飞行性能。
2020-08-12 cs.RO
TeleMoMa: A Modular and Versatile Teleoperation System for Mobile Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);Sony AI(索尼人工智能)
TeleMoma是一种通用模块化移动操作遥操作接口,支持多种人类接口组合,降低演示收集门槛,并通过仿真和真实实验验证其通用性与数据质量。
2024-03-21 cs.AI cs.LG cs.RO
Versatile Multi-Contact Planning and Control for Legged Loco-Manipulation
ETH Zurich(苏黎世联邦理工学院)
提出基于TAMP的最少引导双层规划框架,联合优化四足移动操作器的整体轨迹与多接触调度,并通过两层跟踪控制器实现真实任务。
2023-08-17 cs.RO
Versatile and Generalizable Manipulation via Goal-Conditioned Reinforcement Learning with Grounded Object Detection
Digital Technologies, National Research Council of Canada(加拿大国家研究理事会数字技术部门);University of Alberta(阿尔伯塔大学);Amii Edmonton, Canada(埃德蒙顿阿米人工智能研究所)
本研究提出将预训练目标检测模型集成到 Goal-Conditioned Reinforcement Learning 中,通过基于掩码的目标条件提供与目标无关的线索,使机器人具备通用且可泛化的到达和抓取能力,在模拟任务中对分布内外目标均保持约90%的成功率并加速收敛。
2025-07-14 cs.RO
Opt2Skill: Imitating Dynamically-feasible Whole-Body Trajectories for Versatile Humanoid Loco-Manipulation
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology(机器人与智能机构研究所,佐治亚理工学院)
针对人形机器人移动操作的动力学与接触挑战,提出结合轨迹优化与RL的Opt2Skill流水线,生成可行参考轨迹并训练策略跟踪,性能优于基线且已实现现实迁移。
2025-10-01 cs.RO
RT-Affordance: Affordances are Versatile Intermediate Representations for Robot Manipulation
Google DeepMind(谷歌DeepMind);The University of Austin at Texas(德克萨斯大学奥斯汀分校)
RT-Affordance提出以可供性为中间表示,分层生成可供性计划并条件化策略,利用互联网数据和领域内图像,在多样新任务上性能提升超50%。
2024-11-05 cs.AI cs.CL cs.CV
OPEN TEACH: A Versatile Teleoperation System for Robotic Manipulation
New York University(纽约大学);Meta
针对现有机器人遥操作数据采集平台专有、昂贵且适配性差的问题,研究团队提出基于Meta Quest 3的开源通用遥操作系统OPEN TEACH,支持多类机器人实时控制,操作性能更优且采集数据可用于策略学习。
2024-03-12 cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa(比萨大学);Institute of Information Science and Technologies (ISTI), National Research Council (CNR)(国家研究委员会信息科学与技术研究所)
本文提出持续策略蒸馏框架,通过策略蒸馏与样本回放缓解灾难性遗忘,训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
G.O.G: A Versatile Gripper-On-Gripper Design for Bimanual Cloth Manipulation with a Single Robotic Arm
Imperial College London(伦敦帝国理工学院)
本文提出 G.O.G. 夹爪上夹爪末端执行器,通过可变摩擦双模式手指与最大500 mm跨度设计,使单机械臂能够完成多种双手布料操作任务。
2024-01-19 cs.RO
HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots
NVIDIA(英伟达);CMU(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);UC San Diego(加州大学圣迭戈分校)
提出HOVER,一个多模式策略蒸馏框架,通过全身运动学运动模仿作为通用抽象,将多种人形机器人控制模式整合为统一策略,实现无缝切换并提升效率与灵活性。
2025-03-06 cs.RO
MAkEable: Memory-centered and Affordance-based Task Execution Framework for Transferable Mobile Manipulation Skills
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出MAkEable框架,通过将基于可供性的任务描述集成到ARMAR类人机器人以记忆为中心的认知架构中,实现了跨任务、环境和机器人的单臂及双臂移动操作技能迁移学习。
2024-03-21 cs.RO
Self-assembling Modular Aerial Robot for Versatile Aerial Tasks
Department of Mechanical Engineering, The University of Tokyo(东京大学机械工程系);Department of Mechano Informatics, The University of Tokyo(东京大学机械信息学系)
本文提出了一种自组装模块化空中机器人LEGION,通过飞行中自组装实现协同操作,结合灵活 maneuverability 和可重构性,实现了从被动观察者到主动参与者转变,拓展了空中物理交互的范围。
2026-05-19 cs.RO
Multimodal Diffusion Transformer: Learning Versatile Behavior from Multimodal Goals
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出多模态扩散Transformer(MDT)框架,通过潜在目标条件状态表示和自监督辅助目标,仅用少量语言标注即可从多模态目标学习长程操作,在CALVIN和LIBERO基准上取得SOTA性能。
2024-07-08 cs.RO
Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives
University of Oxford(牛津大学)
视觉控制(VMC)是一种有效的手段,实现基本的操作任务,如推或拾取和放置从原始图像。根据期望的目标状态调节VMC是实现通用技能原语的一种有前途的方法。然而,常见的调节方案要么依赖于特定于任务的微调-例如使用单次模仿学习(IL)-要么依赖于使用场景动态的前向模型的采样方法,即模型预测控制(MPC),使得可部署性和规划范围受到严重限制。在本文中,我们提出了一个空调方案,避免这些陷阱,通过学习控制器和它的空调端到端的方式。我们的模型预测复杂的动作序列直接基于机器人运动的动态图像表示和到给定目标观测的距离。与相关工作相比,这使我们的方法能够有效地执行复杂的操作任务,从原始图像观察,而无需预定义的控制原语或测试时间演示。我们报告了在任务成功率方面的显著改进,超过了具有代表性的MPC和IL基线。我们还展示了我们的模型在具有挑战性的、看不见的任务中的泛化能力,这些任务具有视觉噪声、混乱的场景和看不见的物体几何形状。
2021-09-24 cs.CV cs.LG cs.RO
Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments
University of Oxford(牛津大学)
机器人技能获取的数据效率对于在各种小批量装配环境中操作机器人至关重要。为了在这样的环境中工作,机器人必须具有强大的避障能力和多功能的目标调节能力,这些能力只需要几个简单的演示就可以获得。然而,现有的方法达不到这些要求。深度强化学习(RL)使机器人能够学习复杂的操作任务,但由于样本效率低下和安全问题,通常限于现实世界中的小任务空间。运动规划(MP)可以在有障碍的环境中生成无碰撞路径,但不能解决复杂的操纵任务,并且需要通常由用户或对象特定的姿态估计器指定的目标状态。在这项工作中,我们提出了一个系统,有效的技能获取,利用对象为中心的生成模型(OCGM)的通用目标识别,以指定一个目标MP结合RL解决复杂的操作任务在障碍环境。具体来说,OCGM实现了一次性目标物体识别和新场景中的重新识别,允许MP引导机器人到达目标物体,同时避开障碍物。这与技能转换网络相结合,该网络弥合了MP的终端状态与样本高效RL策略的可行起始状态之间的差距。实验表明,我们的基于OCGM的一次性目标识别提供了竞争力的准确性,其他基线方法,我们的模块化框架优于竞争力的基线,包括国家的最先进的RL算法,由一个显着的利润率复杂的操作任务在障碍环境。
2023-03-06 cs.LG cs.RO
Grounding Generated Video Plans in Simulation Towards Versatile Dexterous Controllers
University of California, Berkeley(加州大学伯克利分校);Sharpa Robotics;The University of Hong Kong(香港大学)
提出将生成视频与仿真落地结合的方法,通过HOI重建生成多样化参考,训练多对象跟踪器,在仿真中成功率提升超25个百分点,实现真实世界多样化灵巧操作。
2026-09-15 cs.RO
Fluidically Innervated Lattices Make Versatile and Durable Tactile Sensors
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于流体神经支配的3D打印弹性体晶格软体指尖触觉传感器,通过检测气道压力变化实现感知,结合神经网络预测接触位置与力,并验证了其在环境探索与高冲击下的耐用性。
2025-09-17 cs.LG cs.RO cs.SY
Humanoid Loco-manipulation Planning based on Graph Search and Reachability Maps
CNRS-AIST JRL (Joint Robotics Laboratory)(CNRS-AIST联合机器人实验室);IRL(机器人研究所);National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院)
提出一种基于图搜索和可达性地图的人形机器人移动操作规划方法,将脚步与抓取的交替排序构建为图搜索问题,并通过重新定位和切换可达性地图快速评估转移模型,实现自主物体运输与操作。
2025-05-29 cs.RO
M3imic: Learning a Versatile Whole-Body Controller for Multimodal Motion Mimicking
School of Automation, Southeast University(东南大学自动化学院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动性学院);Department of Robotics, Mohamed Bin Zayed University of Artificial Intelligence(马尔代夫比兹亚德大学人工智能学院机器人系)
提出M3imic框架,通过模态特定编码器将异构运动参考模态(机器人关节角度、人体姿态轨迹、末端执行器位姿)映射到共享潜在空间,并利用大规模强化学习训练单一策略,实现无需模态特定重训练的sim-to-real迁移。
2026-06-03 cs.RO
Multi-Tool Robotics Enables In-Situ Sample Manipulation for Time-Resolved Synchrotron Measurements
Center for Functional Nanomaterials(功能纳米材料中心);Brookhaven National Laboratory(布鲁克海文国家实验室);Princeton University(普林斯顿大学);Stony Brook University(石溪大学);National Synchrotron Light Source II(国家同步辐射光源二期)
该研究开发了一种X射线散射光束线的模块化多工具机器人平台,突破辐射安全限制实现原位样品操纵,为同步辐射自动化实验奠定基础,还揭示了钙钛矿薄膜的瞬态原位动力学。
2026-08-21 cond-mat.mtrl-sci cs.RO
ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
提出将机器人操作任务形式化为接触合成的基础模型,通过输入物体和机器人的点云及物理属性等,输出接触点和接触力,在多维度物体的仿真和真实实验中达到约90%成功率。
2024-09-25 cs.AI cs.RO
Movement Primitive Diffusion: Learning Gentle Robotic Manipulation of Deformable Objects
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出运动基元扩散(MPD)方法,将扩散模仿学习与概率动态运动基元结合,在机器人辅助手术中实现数据高效且高质量的可变形物体轻柔操作,并在多项任务中超越现有方法。
2024-06-10 cs.AI cs.LG cs.RO
End-to-End Affordance Learning for Robotic Manipulation
Peking University(北京大学);BIGAI(北京通用人工智能研究院)
在交互环境中学习操纵三维物体一直是强化学习(RL)中的一个具有挑战性的问题。特别是,很难训练一个策略,可以推广到具有不同语义类别,不同形状几何形状和通用功能的对象。近年来,视觉示能表示技术在为以对象为中心的信息先验提供有效的可操作语义方面显示出了巨大的前景。因此,一个有效的政策可以通过知道如何在把手上施加力量来训练打开一扇门。然而,为了学习启示,它通常需要人类定义的动作原语,这限制了适用任务的范围。在这项研究中,我们利用视觉启示,通过使用RL训练过程中产生的联系信息来预测感兴趣的联系地图。这样的接触预测过程然后导致可以概括不同类型的操纵任务的端到端示能表示学习框架。令人惊讶的是,即使在多阶段和多代理人的情况下,这种框架的有效性。我们测试了我们的方法对八种类型的操作任务。结果表明,我们的方法优于基线算法,包括基于视觉的启示方法和RL方法,在成功率上有很大的优势。演示可以在https://sites.google.com/view/rlafford/上找到。
2022-09-26 cs.AI cs.RO
A Unified and General Humanoid Whole-Body Controller for Versatile Locomotion
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
针对现有研究限制人形机器人运动学能力的问题,本文提出统一通用的全身控制器HugWBC,通过通用命令空间与先进训练技术实现多步态自定义及运动-操作结合,实验验证其高精度与鲁棒性,为首个该类控制器。
2025-04-12 cs.AI cs.RO
Visual Manipulation with Legs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UC San Diego(加利福尼亚大学圣迭戈分校);Carnegie Mellon University(卡内基梅隆大学)
提出一种融合RL视觉操作策略与MPC阻抗控制的四足机器人系统,使其能用腿进行非抓取式物体操作,并在仿真和真实世界中验证更多样的操作能力。
2024-10-24 cs.RO
DexGrip: Multi-modal Soft Gripper with Dexterous Grasping and In-hand Manipulation Capacity
CSIRO(联邦科学与工业研究组织);University of Queensland(昆士兰大学)
针对软体机器人抓手操作能力不足的问题,提出DexGrip多模态软体抓手,通过3自由度主动吸掌和3个主动旋转抓取面实现全主轴360度操作,实验证明其能灵巧操作多种复杂物体。
2024-11-26 cs.RO
SyDeBO: Symbolic-Decision-Embedded Bilevel Optimization for Long-Horizon Manipulation in Dynamic Environments
Laboratory for Intelligent Decision and Autonomous Robots, George W. Woodruff School of Mechanical Engineering, Georgia Institute of Technology(佐治亚理工学院乔治·W·伍德拉夫机械工程学院智能决策与自主机器人实验室);Georgia Tech Research Institute(佐治亚理工学院研究学院(Georgia Tech Research Institute))
本研究提出一种任务与运动规划(TAMP)方法,并将符号决策嵌入到一个二层优化中。这种TAMP方法利用离散结构的顺序操纵的长期和灵活的任务,在动态变化的环境。在符号规划层次,我们提出了一个可扩展的决策方法,为长期的操作任务,使用规划域定义语言(PDDL)与因果图分解。在运动规划层面,我们设计了一个轨迹优化(TO)的方法的基础上交替方向乘法(ADMM),适合于解决有约束的,大规模的非线性优化的分布式方式。有别于传统的几何运动规划,我们的方法产生高度动态的操作运动,将完整的机器人和对象的动态。此外,代替一个层次规划的方法,我们解决了一个整体集成的双层优化问题,涉及成本从低层次的TO和高层次的搜索。仿真和实验结果表明,动态操纵的长期目标分类任务的混乱和移动的传送带上。
2020-10-23 cs.RO
Loop closure grasping: Topological transformations enable strong, gentle, and versatile grasps
Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系);Department of Mechanical Engineering, Stanford University(斯坦福大学机械工程系)
环闭合抓取通过拓扑变换实现强、柔、多功能的抓取,适用于复杂物体和环境。
2025-05-19 cs.RO
Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations
University of Washington(华盛顿大学);OpenAI;University of California Berkeley(加州大学伯克利分校);Istituto Italiano di Tecnologia(意大利理工学院)
灵巧的多指手是非常通用的,并提供了一种通用的方式来执行以人为中心的环境中的许多任务。然而,有效地控制它们仍然具有挑战性,因为它们的高维度和大量的潜在接触。深度强化学习(DRL)提供了一种模型不可知的方法来控制复杂的动力系统,但尚未被证明可以扩展到高维灵巧操作。此外,由于样本效率低下,在物理系统上部署DRL仍然具有挑战性。因此,迄今为止,DRL在机器人领域的成功仅限于简单的机械手和任务。在这项工作中,我们表明,无模型DRL可以有效地扩展到复杂的操作任务与高维24自由度的手,并解决他们从头开始在模拟实验。此外,通过使用少量的人类演示,可以显着降低样本的复杂性,这使得学习的样本大小相当于几个小时的机器人经验。使用示威导致政策表现出非常自然的运动,而且令人惊讶的是,也更加强大。
2018-06-26 cs.AI cs.LG cs.RO
Part-Guided 3D RL for Sim2Real Articulated Object Manipulation
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心(BNRist));Shanghai AI Laboratory(上海人工智能实验室);University of California San Diego(加利福尼亚大学圣迭戈分校);Tsinghua University(清华大学)
本文提出一种无需演示的部件引导3D RL框架,结合2D分割与帧一致不确定性感知采样策略学习紧凑3D表示,有效提升了铰接物体操作策略的训练效率及真实机器人部署稳定性,并在仿真和真实环境中展现出对未见实例的强泛化能力。
2024-04-26 cs.AI cs.CV cs.RO
Learning Force Control for Legged Manipulation
EPFL(洛桑联邦理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
该研究提出一种无需力传感的强化学习直接力控制方法,在带臂四足机器人平台实现了柔顺全身操作,支持直观遥操作,是首个学习型全身力控制在足式操作器的部署。
2024-05-20 cs.AI cs.LG cs.RO
Ferrofluidic Manipulator: Automatic Manipulation of Non-magnetic Microparticles at Air-Ferrofluid Interface
Aalto University(阿尔托大学)
小尺度物质的操纵是微纳米机器人的一个基本课题。已经开发了许多磁性机器人系统用于在周围环境、液体以及空气-液体界面上操纵微粒。这些系统通过感应磁转矩或磁力来移动固有磁性或磁性标记的物体。然而,自然界中发现的大多数材料都是非磁性的。在这里,我们报告了一个磁流体机械手的自动二维操纵的非磁性物体浮在上面的磁流体。操纵系统采用8厘米尺度的磁致伸缩器,它可以通过使空气-铁磁流体界面变形来移动非磁性粒子。使用线性规划,我们可以控制非磁性颗粒的运动,其预定义的轨迹为直线、正方形和圆形,精度分别为25.1+/-19.5 um、34.4+/-28.4 um和33.4+/-26.6 um。磁流体机械手是通用的材料和形状的对象下操作。我们已经成功地操纵了由聚乙烯、聚苯乙烯、硅芯片、罂粟籽和芝麻籽制成的粒子。这项工作显示了一个很有前途的场地操纵的生活和非生活的物质在空气-液体界面。
2021-05-18 cond-mat.soft cs.RO
DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation
Peking University(北京大学);BeingBeyond
提出 DemoHLM 框架,通过分层结构集成全身控制器与高级操作策略,仅需仿真中的单次演示即可在真实人形机器人上实现可泛化且鲁棒的移动操作。
2025-10-13 cs.LG cs.RO
Co-active Learning to Adapt Humanoid Movement for Manipulation
University of Maryland(马里兰大学)
本文提出协同学习框架,通过人机交互适应机器人末端执行器的运动以应对不同约束环境,实验验证了方法的有效性。
2016-09-12 cs.LG cs.RO cs.SY
Flying Hydraulically Amplified Electrostatic Gripper System for Aerial Object Manipulation
ETH Zurich(苏黎世联邦理工学院)
本文提出一种仿生液压放大静电夹持器,安装在四旋翼上,实现空中软体物体操作,首次验证静电驱动在空中操作的可行性。
2024-07-17 cs.RO
Complementarity-Free Multi-Contact Modeling and Optimization for Dexterous Manipulation
Arizona State University(亚利桑那州立大学)
本文提出一种无互补性的轻量级多接触模型,用于灵巧操作,通过闭式时间步进和可微性实现高效规划与控制,在多种任务中达到96.5%成功率和高精度。
2025-04-22 cs.RO
Variable-Friction In-Hand Manipulation for Arbitrary Objects via Diffusion-Based Imitation Learning
Imperial College London(帝国理工学院);Princeton University(普林斯顿大学)
本文提出一种基于扩散策略与仿真-真实协同训练的端到端模仿学习方法,解决了变摩擦手对任意物体操作需硬编码定制策略的问题,在最少数据与工程投入下实现高精度任意目标姿态操作。
2025-03-04 cs.RO
Grasping with Chopsticks: Combating Covariate Shift in Model-free Imitation Learning for Fine Manipulation
University of Washington(华盛顿大学)
数十亿人使用筷子,这是一种简单而多功能的工具,用于精细操作日常物品。筷子的小,弯曲和光滑的尖端对拾取小物体构成了挑战,使其成为一个适当的复杂测试案例。本文利用人的示范,开发一个自主的筷子装备机器人机械手。由于缺乏精确的模型进行精细操作,我们探索无模型模仿学习,传统上遭受协变量偏移现象,导致泛化能力差。我们提出了两种方法来减少协变量偏移,这两种方法都不需要访问交互式专家或模型,不像以前的方法。首先,我们通过应用不变算子来增加抓取关键步骤的数据支持,从而减轻单步预测误差。其次,我们通过添加有界噪声并结合参数和非参数方法来生成合成校正标签,以防止错误累积。我们展示了我们的方法,我们建立了一个真正的筷子装备的机器人,并观察代理的成功率从37.3%增加到80%,这是人类专家的性能82.6%。
2020-11-13 cs.LG cs.RO
A Reinforcement Learning Approach to Non-prehensile Manipulation through Sliding
Istituto Italiano di Tecnologia(意大利技术研究院);Politecnico di Milano(米兰理工大学)
本研究提出基于DDPG的强化学习框架,通过控制机械臂加速度在表面上滑动物体,并利用在线摩擦力估计反馈增强策略,实现跨距离和不同摩擦表面的非抓取操作,且具备零样本仿真到现实迁移能力。
2025-02-24 cs.RO
kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了可推广的,感知到行动的机器人操作精确,接触丰富的任务。特别是,我们贡献了一个框架,自动处理一类对象的闭环机器人操作,尽管潜在的看不见的对象实例和显着的类别内的形状,大小和外观的变化。先前的方法通常在实时6-DOF姿态估计器之上构建反馈回路。然而,从一个固定的几何模板表示一个对象的参数化变换不捕捉大的类别内形状变化。因此,我们采用kPAM中提出的基于关键点的对象表示来进行类别级拾取和放置,并将其扩展到具有接触丰富任务的闭环操作策略。我们首先用局部方向信息来增强关键点。使用定向关键点,我们提出了一种新的对象为中心的动作表示在调节这些定向关键点的线/角速度或力/扭矩。这种配方是令人惊讶的通用-我们证明,它可以完成接触丰富的操作任务,需要精度和灵活性的一类对象具有不同的形状,大小和外观,如钉孔插入钉和孔具有显着的形状变化和紧密的间隙。与建议的对象和动作表示,我们的框架也是不可知的机器人把握姿势和初始对象配置,使其灵活的集成和部署。
2021-02-11 cs.RO
RBO Hand 3 -- A Platform for Soft Dexterous Manipulation
Technische Universität Berlin(柏林工业大学)
我们提出了RBO手3,一个高度能力和多功能的拟人软手基于气动驱动。RBO Hand 3旨在实现灵巧的操作,促进对人类灵巧性的见解的转移,并作为广泛的现实世界实验的强大研究平台。它通过将许多程度的致动与固有顺应性相结合、复制人手的相关功能以及通过将坚固的部件组合在模块化设计中来实现这些设计目标。RBO Hand 3拥有16个独立的驱动自由度,实现了灵巧的对置拇指、双腔手指、驱动手掌以及展开手指的能力。在这项工作中,我们得出的设计目标,是基于实验与手的前辈,对人类的把握观察,并对灵巧的原则的见解。我们详细解释了RBO手3的设计功能如何实现这些目标,并通过展示其在Kapandji测试中获得最高分数的能力来评估手,以实现全面GRASP分类的所有33种抓握类型,复制常见的人类抓握策略,并执行灵巧的手操作。
2022-01-26 cs.RO
A simple and versatile topology optimization formulation for flexure synthesis
Delft University of Technology(代尔夫特理工大学)
高科技设备的精确操作和测量主要依赖于柔性件。通过弹性变形,挠曲件在其自由度的有限运动范围内提供极端位置可重复性,同时在约束度中约束运动。拓扑优化被证明是短行程柔性件设计的一种有前景的工具,它提供了最大的设计自由度,并允许特定应用的要求。最先进的拓扑优化配方的挠曲综合受到的挑战,如易用性,通用性,实现的复杂性,和计算成本,离开一个普遍接受的配方缺席。本研究提出了一种新的拓扑优化配方的合成短行程弯曲唯一的应变能措施的基础上,在规定的位移情况。由此产生的自伴优化问题非常类似于经典的遵守最小化,并继承了类似的实现简单性,计算效率和收敛性能。数值算例表明,在弯曲类型的多功能性和可扩展性的额外的设计要求。所提供的源代码鼓励在学术界和工业界探索和应用该公式。
2021-11-08 cs.CE cs.RO
HERMES: Human-to-Robot Embodied Learning from Multi-Source Motion Data for Mobile Dexterous Manipulation
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海启智研究院);Peking University(北京大学)
针对多源人手运动向机器人行为转化难、策略泛化性不足等问题,提出HERMES框架,通过统一强化学习、深度图像端到端sim2real迁移及增强PnP定位的导航模型,实现移动双臂灵巧操作,在多样真实场景中表现出良好泛化性。
2025-08-31 cs.RO
The Cartesian Hand: In-Hand Manipulation with All-Linear Fingers
Duke University(杜克大学)
提出笛卡尔手,一种7自由度末端执行器,通过独立抓取和相对运动的线性组合实现掌内操作,在35个物体上验证了多种操作任务,并开源软硬件设计。
2026-09-23 cs.RO
VLP: Vision-Language Preference Learning for Embodied Manipulation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院);King’s College London(伦敦国王学院)
针对强化学习奖励工程及人类偏好标签收集的问题,本文提出VLP视觉-语言偏好学习框架,通过构建无标注偏好数据集训练模型提供偏好反馈,在模拟具身任务中实现准确偏好与泛化性,大幅优于基线。
2025-02-17 cs.LG cs.RO
Optimistic Reinforcement Learning-Based Skill Insertions for Task and Motion Planning
Brubotics;Vrije Universiteit Brussel(布鲁塞尔自由大学);imec;Artificial Intelligence (AI) Lab, Vrije Universiteit Brussel(人工智能(AI)实验室,布鲁塞尔自由大学)
本文提出将强化学习技能嵌入任务与运动规划流程,通过数据驱动逻辑组件和计划细化子程序,扩展TAMP至概率技能领域并提升规划效率。
2025-10-15 cs.RO
DLO-Lab: Benchmarking Deformable Linear Object Manipulations with Differentiable Physics
DLO-Lab(DLO实验室)
针对机器人操作绳索、电缆等可变形线性物体(DLO)的挑战,提出一个可微模拟器,支持多种材料属性,并构建基准任务套件,结合专用DLO智能体,评估策略学习算法并验证仿真到现实的迁移。
2026-06-02 cs.RO
Deformable Object Manipulation With Constraints Using Path Set Planning and Tracking
The Chinese University of Hong Kong(香港中文大学);Multi-Scale Medical Robotics Center(多尺度医学机器人中心)
本文提出了一种基于路径集规划与跟踪的系统框架,用于解决带约束的可变形物体操作问题,通过动态约束优化和高效算法实现,并在多种实验设置中验证了方法的有效性。
2024-02-18 cs.RO