InsertAnything: Generalizable Contact-Rich Precision Insertion from Simulation to Reality
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);PaXini AI Technology (Beijing) Co., Ltd.(北京他山科技有限公司)
提出一种完全在仿真中训练的强化学习框架,结合目标位姿和指尖力反馈,实现无需真实演示即可直接部署的高精度插入策略,在ManipulationNet基准上首次获得满分,并在跨任务中达到95%成功率。
2026-09-22 cs.RO
Cutaneous Feedback Interface for Teleoperated In-Hand Manipulation
Nagoya University(名古屋大学)
手内旋转是一种重要的操作技能,它利用机器人抓手的外在灵活性来执行重新定位任务,以补偿环境的不确定性和不精确的运动执行。虽然许多研究人员一直试图使用数学建模或基于学习的方法来解决枢转问题,但这些问题仍然是开放的挑战。另一方面,人类以惊人的精度和速度进行手操作。因此,通过灵巧的遥操作充分利用人类的这种内在技能,可以提供解决方案。灵巧的遥操作是成功的,接口,增强和补充触觉反馈是非常必要的。在本文中,我们提出了一个皮肤反馈接口,补充人体感觉信息时,执行灵巧的技能。该接口是基于五杆连杆机构设计的,并提供了两个接触点的食指和拇指皮肤反馈。通过将界面与市售触觉设备集成,系统可以显示诸如抓握力、剪切力、摩擦力和被抓握物体的姿态等信息。数值模拟器Isaac Sim内的被动枢转任务进行评估建议的皮肤反馈接口的效果。
2023-03-06 cs.RO
X-MOBILITY: End-To-End Generalizable Navigation via World Modeling
NVIDIA;UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校)
本文提出端到端导航模型 X-Mobility,通过潜在状态自回归世界建模、多头解码器及世界模型与动作策略解耦,提升分布外泛化、零样本 Sim2Real 与跨具身迁移能力。
2025-07-22 cs.RO
Generalizable Skill Learning for Construction Robots with Crowdsourced Natural Language Instructions, Composable Skills Standardization, and Large Language Model
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
针对建筑机器人技能泛化性差、重编程成本高的问题,提出结合众包自然语言指令、技能标准化与LLM的可泛化学习架构,经工业机械臂石膏板安装实验验证,可低工作量实现高质量多任务重编程。
2025-09-02 cs.RO
Learning Generalizable Robot Skills from Demonstrations in Cluttered Environments
Institute for Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology(佐治亚理工学院机器人与智能机器研究所(IRIM))
示教学习(LfD)是一种流行的方法,可以赋予机器人技能,而不必手动编程。通常,LfD依赖于人类在无干扰环境中的演示。这可以防止演示受到不相关对象的影响,这些对象的影响可能会混淆人的真实意图或所需技能的约束。然而,假设机器人的环境总是可以被重构以在捕捉人类演示时消除混乱是不现实的。为了解决这个问题,我们开发了一个重要性加权批量和增量技能学习方法,建立在最近的推理为基础的技术技能表示和再现。我们的方法减少了不必要的环境对学习技能的影响,同时仍然捕捉了突出的人类行为。我们提供了我们的方法的批量和增量版本,并验证我们的算法上的7自由度JACO2机械手达到和放置技能。
2018-08-04 cs.RO
Learning Generalizable Locomotion Skills with Hierarchical Reinforcement Learning
Facebook(脸书);Facebook AI Research(脸书人工智能研究院);University of California, Berkeley(加州大学伯克利分校)
在硬件上学习服从任意目标仍然是强化学习的一个具有挑战性的问题。在本文中,我们提出了一个分层的学习框架,提高样本效率和泛化的运动技能在现实世界的机器人。我们的方法分为两个子问题:学习不同的原语技能,并使用基于模型的规划序列这些技能的目标为导向的运动的问题。我们参数化我们的原语循环运动,提高样本的学习效率的18自由度机器人。然后,我们学习粗糙的原始周期的动态模型,并使用它们在一个模型预测控制框架。这使我们能够在硬件上从头开始大约两个小时的训练后,学会步行到12米远的任意目标。Daisy hexapod硬件和仿真的结果表明,我们的方法在达到遥远的目标,在不同的环境和感官噪声的有效性。
2019-09-26 cs.RO
Skill-Aware Diffusion for Generalizable Robotic Manipulation
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
SADiff通过整合技能层面信息提升机器人操作的泛化能力,引入IsaacSkill数据集进行评估与迁移。
2026-10-14 cs.RO
RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation
本研究提出RoboReact框架,通过生成自我中心视频并结合视觉语言引导的闭环控制,实现人形机器人全身操控技能的通用获取,可在多样场景中稳健执行。
2026-08-06 cs.RO
OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control
OmniXtreme通过分离通用运动技能学习与现实物理技能细化,突破高动态人形控制中保真度与可扩展性的长期权衡。
2026-02-27 cs.RO
Learning Generalizable Language-Conditioned Cloth Manipulation from Long Demonstrations
Center for Artificial Intelligence and Robotics, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院人工智能与机器人中心);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对多步布料操作难以泛化到未见任务的问题,提出一种基于分解策略的新流程,利用LLM从长演示中学习并组合基本技能,在已见和未见任务上均优于基线方法。
2025-03-06 cs.RO
Robust Pivoting: Exploiting Frictional Stability Using Bilevel Optimization
University of California, Los Angeles(加州大学洛杉矶分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
泛化操作要求机器人能够与新的物体和环境进行交互。这一要求使得操作极具挑战性,因为机器人必须推理复杂的摩擦相互作用,并具有物体物理特性的不确定性。本文研究了存在不确定性时旋转操作的鲁棒优化控制问题。我们提出的见解,如何利用摩擦,以补偿在操纵过程中的物理性质的估计的不准确性。特别是,我们推导出旋转操作期间摩擦提供的稳定裕度的解析表达式。然后,该裕度被用于双层轨迹优化算法中,以设计使该稳定裕度最大化的控制器,从而提供针对对象的物理特性的不确定性的鲁棒性。我们证明了我们提出的方法使用6自由度操纵器操纵几个不同的对象。
2022-03-22 cs.AI cs.RO cs.SY
PRISM: Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Delta Intelligence(三角洲智能公司);PKU-Wuhan Institute for Artificial Intelligence(北京大学武汉人工智能研究院);Hubei Humanoid Robot Innovation Center Co., Ltd.(湖北人形机器人创新中心有限公司);China Academy of Information and Communications Technology(中国信息通信研究院)
本文介绍PRISM——一个面向高接触工业操作的大规模多模态数据集,涵盖25余项操作任务,包含5000余条共45小时的遥操作演示,为高精度工业场景的多模态感知与控制提供真实基准。
2026-08-19 cs.RO
SkillMimic: Learning Basketball Interaction Skills from Demonstrations
Hong Kong University of Science and Technology(香港科技大学);Unitree Robotics(宇树机器人);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Tsinghua University(清华大学);International Digital Economy Academy(国际数字经济学院);Tencent(腾讯);Carnegie Mellon University(卡内基梅隆大学)
SkillMimic提出统一数据驱动框架,用单一HOI模仿奖励替代手工技能奖励,从演示中学习多样化篮球交互技能,并支持技能组合以完成长时域任务。
2025-03-28 cs.CV cs.GR cs.LG
From Simple to Complex Skills: The Case of In-Hand Object Reorientation
UC Berkeley(加州大学伯克利分校);FAIR at Meta(Meta FAIR研究院);TU Dresden(德累斯顿工业大学);Centre for Tactile Internet with Human-in-the-Loop(人在回路触觉互联网中心)
针对灵巧操作的 sim-to-real 迁移成本问题,提出基于已有旋转技能的分层策略与可泛化物体位姿估计器,实现复杂手中物体重新定向并增强真实迁移鲁棒性。
2025-01-09 cs.AI cs.LG cs.RO
Lifelong Robot Library Learning: Bootstrapping Composable and Generalizable Skills for Embodied Control with Language Models
University of Groningen(格罗宁根大学)
针对现有LLM机器人方法技能库固定、任务范围受限的问题,本研究提出基于LLM的终身学习智能体LRLL,通过软记忆、自引导探索等四项创新持续扩展可组合可泛化的技能库,在仿真环境中性能优于现有方法且技能可迁移到现实。
2024-07-15 cs.RO
Discovering Generalizable Skills via Automated Generation of Diverse Tasks
Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校);Nvidia(英伟达)
利用一组有用的技能可以大大提高智能代理的学习效率和泛化能力。然而,机器人技能的设计在现实世界的应用中往往是棘手的,因为它需要大量的努力和专业知识。在这项工作中,我们介绍了技能学习在多样化的环境(SLIDE),一种方法来发现通过自动生成的一组不同的任务的可推广的技能。与之前在无监督发现技能方面的工作相反,我们的方法将每个技能与可训练任务生成器生成的独特任务配对。为了鼓励可推广的技能出现,我们的方法训练每个技能专门用于配对任务,并最大限度地提高生成任务的多样性。在生成的任务中定义的机器人行为的一个任务集,联合训练估计的多样性目标的证据下界。然后,可以将学习到的技能组合在分层强化学习算法中,以解决看不见的目标任务。我们证明,该方法可以有效地学习各种机器人的技能,在两个桌面操作域。我们的研究结果表明,与现有的强化学习和技能学习方法相比,学习到的技能可以有效地提高机器人在各种看不见的目标任务中的性能。
2021-06-26 cs.AI cs.LG cs.RO
DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Bengbu University(Bengbu大学);UCSI University(UCSI大学)
本文提出DexSim2Real框架,结合基础模型引导的域随机化、触觉视觉交叉注意力策略和渐进技能课程,提升灵巧操作的仿真到现实迁移性能,实验表明其在现实世界中的成功率达到78.2%。
2026-05-03 cs.LG cs.RO
Collision-Free Humanoid Traversal in Cluttered Indoor Scenes
Tsinghua University(清华大学);Tongji University(同济大学);Galbot;Shanghai Qi Zhi Institute(上海启智研究院);South China University of Technology(华南理工大学);Peking University(北京大学);Zhejiang University(浙江大学)
提出HumanoidPF势场方法,通过混合场景生成实现人形机器人在杂乱室内场景中的无碰撞移动,有效提升强化学习的训练效果。
2026-01-23 cs.RO
Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation
Key Laboratory of AI Safety of CAS(中国科学院人工智能安全重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
Uni-Skill通过自演化技能库提升机器人操作的通用性与适应性,实现高效技能检索与少样本推理。
2026-03-03 cs.LG cs.RO
Generalizable Hierarchical Skill Learning via Object-Centric Representation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出GSL框架,通过对象中心技能连接高层VLM与低层策略,分解演示为可迁移技能原语,显著提升机器人操作的泛化与样本效率,仿真和真实实验中均以极少数据超越基线。
2025-10-24 cs.AI cs.RO
OmniContact: Chaining Meta-Skills via Contact Flow for Generalizable Humanoid Loco-Manipulation
Noitom Robotics(诺亦腾机器人);The Hong Kong University of Science and Technology(香港科技大学);Wuhan University(武汉大学);The University of Hong Kong(香港大学)
提出以接触流为核心的分层框架,通过低层策略学习统一技能库、高层模块合成未来接触流序列,实现人形机器人长时程任务的鲁棒执行与自主恢复,在搬运箱子和推叠箱子任务上分别达到98.7%和76.5%的成功率。
2026-06-26 cs.RO
Robust Pivoting Manipulation using Contact Implicit Bilevel Optimization
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究院(MERL))
本文针对枢转操作中的物理参数不确定性,提出利用摩擦稳定性裕度并结合接触隐式双层优化框架来规划鲁棒轨迹,并通过6自由度机械臂实验和MPC控制器验证了方法的有效性。
2024-07-04 cs.AI cs.RO cs.SY
Group-Invariant Unsupervised Skill Discovery: Symmetry-aware Skill Representations for Generalizable Behavior
School of Mechanical Engineering, Yonsei University(延世大学机械工程学院);Department of Artificial Intelligence, Yonsei University(延世大学人工智能系);Department of Mechanical Engineering, University of California, Berkeley(加州大学伯克利分校机械工程系)
本文提出群不变性技能发现框架,通过引入群结构和对称感知机制,提升技能在群变换下的泛化能力,实验表明其在运动基准测试中表现更优。
2026-01-20 cs.LG cs.RO
Let's Handle It: Generalizable Manipulation of Articulated Objects
Massachusetts Institute of Technology(麻省理工学院)
在这个项目中,我们提出了一个框架,用于构建从原始输入点云和分割掩模映射到关节速度的可推广的操纵控制器策略。我们采用了传统的机器人方法,使用点云处理,末端执行器轨迹计算,逆运动学,闭环位置控制器和行为树。我们展示了我们对常见家用物品的四种操作技能的框架,这些物品包括SAPIEN ManiSkill操作挑战。
2022-02-23 cs.RO
$M^2$-VLA: Boosting Vision-Language Models for Generalizable Manipulation via Layer Mixture and Meta-Skills
Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院,清华大学,深圳,中国);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国);College of Intelligent Robotics and Advanced Manufacturing, Fudan University, Shanghai, China(智能机器人与先进制造学院,复旦大学,上海,中国);Synapath
本文提出$M^2$-VLA,通过层混合和元技能模块提升视觉语言模型在机器人操控中的泛化能力,实验验证了其在模拟和现实环境中的有效性。
2026-07-07 cs.RO
RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation
RGMP通过结合几何-语义推理与递归高斯适应,实现了高效的人形机器人多模态操作控制。
2025-12-24 cs.RO
Spatially Generalizable Mobile Manipulation via Adaptive Experience Selection and Dynamic Imagination
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Xiangjiang Laboratory(湘江实验室);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院)
本文提出基于自适应经验选择和动态想象的移动操作方法,提升技能学习效率和空间泛化能力。
2026-01-21 cs.RO
Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy
Guangxi University(广西大学);University of Science and Technology of China(中国科学技术大学)
针对具身智能中软体操作技能泛化难的问题,提出含引导自注意力模块、两阶段微调的GP2E行为克隆策略,在ManiSkill2挑战赛软体赛道夺冠,提升了模型泛化能力。
2024-10-08 cs.AI cs.RO
ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills
Tsinghua University(清华大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
可概括的操作技能,可以用来处理长期和复杂的日常琐事,是人工智能的基石之一。然而,现有的基准,主要是由一套可模拟的环境,是不够的,以推动尖端的研究工作,因为他们缺乏对象级的拓扑和几何变化,不是基于完全动态仿真,或缺乏本地支持多种类型的操作任务。为此,我们提出了下一代SAPIEN ManiSkill基准ManiSkill 2,以解决研究人员在使用可推广操作技能基准时经常遇到的关键痛点。ManiSkill 2包含20个操作任务系列,拥有2000多个对象模型和4 M多个演示框架,涵盖固定/移动基座、单臂/双臂和刚体/软体操作任务,并通过全动态引擎模拟2D/3D输入数据。它定义了一个统一的接口和评估协议,以支持广泛的算法(例如,经典的感知-计划-行动,RL,IL),视觉观测(点云,RGBD),和控制器(例如,操作类型和参数化)。此外,它还支持快速视觉输入学习算法,因此基于CNN的策略可以在常规工作站上使用1个GPU和16个进程以约2000 FPS的速度收集样本。它实现了一个渲染服务器基础设施,允许在所有环境中共享渲染资源,从而显著减少内存使用。我们开源了我们的基准测试(模拟器,环境和基线)的所有代码,并向跨学科研究人员开放在线挑战。
2023-02-09 cs.AI cs.RO
Auto-conditioned Recurrent Mixture Density Networks for Learning Generalizable Robot Skills
University of Southern California(南加利福尼亚大学)
辅助人类的个人机器人必须执行复杂的操作任务,这些任务通常难以在传统的运动规划管道中指定,其中必须满足多个目标并考虑高层上下文。示教学习(LfD)提供了一种很有前途的方法来学习这些复杂的操作技能,即使从非技术用户。然而,它是具有挑战性的,现有的LfD方法,有效地学习技能,可以推广到任务规范,不包括示范。在本文中,我们介绍了一个状态转换模型(STM),通过模仿专家行为的运动产生关节空间轨迹。给出了一些演示,我们在真实的机器人实验中表明,学习的STM可以快速概括到看不见的任务,并合成比专家轨迹具有更长时间范围的运动。与传统的运动规划器相比,我们的方法使机器人能够从高级指令完成复杂的行为,而无需费力的手工设计规划目标,同时能够适应技能执行过程中不断变化的目标。结合轨迹优化器,我们的STM可以构建一个高质量的轨迹骨架,可以进一步提高平滑度和精度。结合一个学习的逆动力学模型,我们还提出了STM被用作一个高层次的计划的结果。我们实验的视频可以在https://youtu.be/85DX9Ojq-90上获得
2019-03-20 cs.LG cs.RO
VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
VLBiMan通过任务感知分解从单个示例中提取可重用技能,实现双臂机器人操作的通用化,减少演示需求并增强跨平台适应性。
2026-05-01 cs.RO
FastMimic: Model-based Motion Imitation for Agile, Diverse and Generalizable Quadrupedal Locomotion
Georgia Institute of Technology(佐治亚理工学院);Meta AI
在人类环境中运行的机器人需要各种技能,如慢速和快速行走,转弯,侧步等等。然而,构建可以表现出如此大范围行为的机器人控制器是一个具有挑战性的问题,需要对每个任务进行繁琐的调查。我们提出了一个统一的基于模型的控制算法,用于模仿不同的动物步态,而无需昂贵的模拟训练或现实世界的微调。我们的方法包括立场和摆动腿控制器使用质心动力学模型与在线自适应技术增强。我们也发展了一个全身轨迹优化程序来修正参考动物运动的运动学不可行性。我们证明了我们的通用数据驱动的基于模型的控制器可以无缝地模仿各种运动技能,包括小跑,起搏,转弯和侧步。它还显示了更好的跟踪能力,在模拟和现实世界对几个基线,包括另一个基于模型的模仿控制器和基于学习的运动模仿技术。
2022-02-25 cs.RO
DreamPolicy: A Unified World-model Policy for Scalable Humanoid Locomotion
ShanghaiTech University(上海科技大学);InstAdapt
DreamPolicy通过整合离线数据与扩散式世界模型,实现单一策略掌握已知和未知地形。其地形感知世界模型能生成物理合理的未来轨迹,作为动态目标指导策略,避免手动奖励工程。实验表明,DreamPolicy在未知和复合地形上性能优于基线38%。
2026-05-12 cs.LG cs.RO
Decoupling Skill Learning from Robotic Control for Generalizable Object Manipulation
University of Oxford(牛津大学);Hong Kong Polytechnic University(香港理工大学)
最近通过强化学习(RL)或模仿学习(IL)进行的机器人操纵工作已经显示出解决一系列任务的潜力,打开抽屉或橱柜。然而,这些技术推广到看不见的对象很差。我们推测,这是由于联合控制的高维动作空间。在本文中,我们采取了另一种方法,将学习“做什么”的任务与“如何做”的任务分开,即,全身控制。我们提出的强化学习问题之一,确定一个无实体的虚拟机械手与关节对象交互的技能动态。对机器人的运动学控制进行了优化,以实现机器人的高维关节运动,达到工作空间内的目标。它这样做是通过求解二次规划(QP)模型与机器人奇异性和运动学约束。我们的实验上操纵复杂的铰接对象表明,所提出的方法是更普遍的看不见的对象与大类内的变化,优于以前的方法。评估结果表明,我们的方法产生更符合机器人运动,并优于纯RL和IL基线的任务成功率。更多信息和视频可访问https://kl-research.github.io/decoupskill
2023-03-09 cs.CV cs.LG cs.RO
SpawnNet: Learning Generalizable Visuomotor Skills from Pre-trained Networks
UC Berkeley(加州大学伯克利分校)
针对预训练视觉骨干在策略学习中的泛化瓶颈,提出双流架构 SpawnNet,通过融合多层预训练表征学习鲁棒策略,在模仿学习中显著提升了类别泛化能力。
2023-10-22 cs.CV cs.RO
ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations
University of California San Diego(加利福尼亚大学圣迭戈分校)
从3D视觉输入的对象操作对构建可推广的感知和策略模型提出了许多挑战。然而,现有基准中的3D资产大多缺乏与现实世界中的类内拓扑和几何复杂性相一致的3D形状的多样性。在这里,我们提出了SAPIEN操纵技能基准(ManiSkill),以基准在全物理模拟器中的不同对象的操纵技能。ManiSkill中的3D资源包括大型类内拓扑和几何变化。任务经过精心选择,以涵盖不同类型的操纵挑战。3D视觉的最新进展也使我们相信,我们应该定制基准,以便挑战邀请从事3D深度学习的研究人员。为此,我们模拟了一个移动的全景相机,返回以自我为中心的点云或RGB-D图像。此外,我们希望ManiSkill能够为对操作研究感兴趣的广泛研究人员提供服务。除了支持从交互中学习策略外,我们还支持从演示中学习(LfD)方法,提供大量高质量的演示(约36,000个成功的轨迹,约150万个点云/RGB-D帧)。我们使用3D深度学习和LfD算法提供基线。我们的基准测试(模拟器,环境,SDK和基线)的所有代码都是开源的,跨学科研究人员面临的挑战将基于基准测试。
2021-11-04 cs.AI cs.CV cs.LG
Query-Centric Diffusion Policy for Generalizable Robotic Assembly
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学)
针对机器人装配中高层规划与低层控制不匹配的问题,提出以查询为中心的扩散策略QDP,利用物体、接触点和技能查询引导低层策略,在FurnitureBench上显著提升技能精度与长时程成功率。
2025-09-23 cs.LG cs.RO
Tactile-Driven Non-Prehensile Object Manipulation via Extrinsic Contact Mode Control
University of Michigan(密歇根大学)
本文提出一种利用高分辨率触觉传感器和接触模式可微性,通过梯度优化实现非抓取操作(如滑动、枢转)的算法,并验证了多种控制器变体在复杂技能上的有效性。
2024-05-28 cs.RO
FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning
University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出功能性操作基准FMB,通过程序化生成的3D打印物体和多样化长时程任务,为研究机器人抓取、重定位与装配技能的学习、组合及泛化提供可复现的真实世界评测平台,并配套模仿学习策略基线。
2024-09-03 cs.RO
PhyPlan: Generalizable and Rapid Physical Task Planning with Physics Informed Skill Networks for Robot Manipulators
IIT Delhi(印度理工学院德里分校)
本文提出PhyPlan框架,结合物理先验神经网络与改进的蒙特卡洛树搜索,使机器人能快速、高效地推理并执行动态物理任务,在降低遗憾值和提升数据效率上优于现有方法。
2024-04-22 cs.AI cs.LG cs.RO
Learning Generalizable Tool-use Skills through Trajectory Generation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
针对智能体使用新工具操控可变形物体的问题,提出以工具点云序列生成并对齐工具使用轨迹的单一模型,仅用单工具演示即可跨工具泛化,并在仿真和真实世界中验证其优异性能。
2024-09-06 cs.AI cs.RO
Task Editing for Generalizable 3D Visuomotor Policy Learning
Sun Yat-sen University(中山大学);Imperial College London(帝国理工学院);Nanyang Technological University(南洋理工大学);South China University of Technology(华南理工大学)
提出Task-Edit框架,通过将任务分解为场景、技能和对象组件并灵活重组,生成多样化轨迹,提升3D视觉运动策略在长程操作任务中的泛化能力。
2026-06-05 cs.RO
Integrating LMM Planners and 3D Skill Policies for Generalizable Manipulation
UC San Diego(加州大学圣迭戈分校)
提出 LMM-3DP 框架,通过联合注意力机制在 3D transformer 中无缝集成 LMM 高层规划与语义感知 3D 特征场低层控制,在真实厨房环境中显著提升了长周期任务的成功率与规划准确率。
2025-01-30 cs.AI cs.RO
Learning Generalizable 3D Manipulation With 10 Demonstrations
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所 机器人学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
提出一种仅需10次演示即可学习3D操作技能的框架,通过SGP和SGD模块及空间等变训练策略,在物体姿态和相机视角变化下成功率提升60%。
2024-11-15 cs.CV cs.RO
Interactive incremental learning of generalizable skills with local trajectory modulation
German Aerospace Center (DLR)(德国航空航天中心);School of Computation, Information and Technology (CIT), Technical University of Munich (TUM)(慕尼黑工业大学计算、信息与技术学院)
提出基于KMP的交互式模仿学习框架,结合局部和全局轨迹调制,利用人类纠正反馈和经由点机制增量提升模型精度、添加新物体并扩展技能区域。
2025-02-21 cs.AI cs.LG cs.RO
Dexonomy: Synthesizing All Dexterous Grasp Types in a Grasp Taxonomy
Peking University(北京大学);Galbot;Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对灵巧抓取数据集获取难、现有合成方法类型覆盖有限的问题,提出两阶段抓取合成流水线,构建覆盖GRASP分类体系31种抓取类型的大规模数据集,并训练出类型条件生成模型,真实场景抓取成功率达82.3%。
2025-09-03 cs.CV cs.RO
NOD-TAMP: Generalizable Long-Horizon Planning with Neural Object Descriptors
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Corporation(英伟达公司)
针对长时序操作任务泛化难问题,提出结合神经对象描述符(NOD)与任务运动规划(TAMP)的NOD-TAMP框架,从少量演示提取轨迹并适配组合,在基准和真实任务中表现更优。
2024-10-05 cs.AI cs.RO
Planning in Learned Latent Action Spaces for Generalizable Legged Locomotion
FAIR;Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
分层学习已经成功地在步行机器人上以样本有效的方式学习可推广的运动技能。然而,用于在层次结构的两个层之间进行通信的低维“潜在”动作通常是用户设计的。在这项工作中,我们提出了一个完全学习的分层框架,这是能够共同学习的低级别控制器和高级别的潜在动作空间。一旦这个潜在的空间是学习,我们计划在连续的潜在行动在模型预测控制的方式,使用学习的高级动态模型。这个框架推广到多个机器人,我们目前的结果菊花六足模拟,A1四足模拟,菊花机器人硬件。我们比较了一系列从文献中学习的分层方法,并表明我们的框架在多个任务和两个模拟上优于基线。除了学习方法,我们还比较了逆运动学(IK)作用于所需的机器人运动,并表明我们完全学习的框架在A1和Daisy模拟的不利设置中优于IK。在硬件上,我们展示了Daisy hexapod在非结构化的户外环境中实现多个运动任务,只有2000个硬件样本,加强了我们方法的鲁棒性和样本效率。
2021-03-18 cs.RO
DSPv2: Improved Dense Policy for Effective and Generalizable Whole-body Mobile Manipulation
The University of Hong Kong(香港大学);Astribot;Xidian University(西安电子科技大学);Tsinghua University(清华大学)
DSPv2通过融合3D空间与多视角2D语义特征,并扩展密集策略范式,实现了全身移动操作的有效学习与泛化,性能显著优于现有方法。
2025-09-26 cs.RO
Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
Praxis通过从一次性自我中心视频中提炼物理交互先验,结合闭环姿态校准和在线感知,实现移动人形全身操作的空间、视觉及跨物体泛化,并抵抗外部干扰。
2026-09-28 cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University(北京大学)
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展,但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中,我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题,其中我们假设没有手工制作的密集奖励,而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题,我们确定了几个关键问题,可以失败的以前的模仿学习算法,并阻碍了推广到看不见的实例。然后,我们提出了几个一般的,但关键的技术,包括生成对抗性自我模仿学习从示范,渐进增长的学习,和实例平衡专家缓冲区,准确地指出和解决这些问题,可以受益于类别级操作策略学习,无论任务。我们在ManiSkill基准上的实验表明,所有任务都有显着的改进,我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
Generalizable Humanoid Manipulation with 3D Diffusion Policies
Stanford University(斯坦福大学);Simon Fraser University(西蒙 Fraser大学);UPenn(宾夕法尼亚大学);UIUC(伊利诺伊大学香槟分校);CMU(卡内基梅隆大学)
本研究构建了集成遥操作、25自由度人形平台与改进3D扩散策略的系统,仅用单场景数据即可实现多样环境下的自主操作。
2025-09-09 cs.CV cs.LG cs.RO
FoundationGrasp: Generalizable Task-Oriented Grasping with Foundation Models
Southern University of Science and Technology(南方科技大学);Georgia Institute of Technology(佐治亚理工学院)
针对现有任务导向抓取方法闭集先验导致泛化性不足的问题,提出基于基础模型的FoundationGrasp框架,利用开放式知识提升泛化能力,在自建数据集和真实7自由度机械臂实验中均验证了其优越性。
2024-10-08 cs.RO
Developing Combined Manipulation and Locomotion Skills with Interaction Representation and Skill Composition
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出方法使人形机器人基于发育原理学习抓取、起身等策略,通过手-物交互得分组合策略,实现抓取未见过物体零样本成功率93%、持物起身成功率96%-100%。
2026-08-04 cs.RO