Learning New Tasks via Reusable Skills: Skill-Compositional Experts for Embodied Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shandong University(山东大学);Shenzhen Loop Area Institute(深圳河套学院)
提出技能组合专家(SCE)框架,通过组合技能基础(CSG)分解演示为可复用技能,并利用双执行-转换专家(DETE)实现新任务学习,有效缓解具身持续学习中的灾难性遗忘。
2026-09-29 cs.CV cs.RO
SkillPlug: Unsupervised Skill Mining for Few-Shot Adaptation in Robotic Manipulation
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
针对机器人操作中学习可转移视觉运动模仿策略的挑战,提出SkillPlug框架,通过技能调节模块挖掘共享可转移技能库,经自监督学习形成任务共享先验,微调轻量级组件实现少样本适应,提升多任务和少样本适应性能。
2026-07-10 cs.RO
RoboHarn-Evo: Evolving Hierarchical Physical Knowledge for Self-Improving Robotic Manipulation
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Key Laboratory of Data Engineering and Knowledge Engineering, Beijing, China(数据工程与知识工程重点实验室);XYZ Embodied AI(XYZ具身智能公司);Engineering Research Center of Database and Business Intelligence, Beijing, China(数据库与商务智能工程研究中心);Beijing Academy of Artificial Intelligence (BAAI)(北京智源人工智能研究院)
提出RoboHarn-Evo双循环框架,通过演化分层物理知识(任务知识与动作知识)利用物理反馈自改进机器人操作,在RMBench上平均成功率提升达24.2个百分点,并实现零样本迁移。
2026-10-01 cs.RO
Pick Planning Strategies for Large-Scale Package Manipulation
Amazon Robotics(亚马逊机器人公司);Allen School of Computer Science & Engineering, University of Washington(华盛顿大学艾伦计算机科学与工程学院);School of Arts and Sciences, Rutgers University(罗格斯大学文理学院)
针对仓储包裹操作需求,研究展示了亚马逊Robin机群的大规模包裹抓取方案,介绍了启发式方法及基于生产数据训练的抓取成功率预测器,实现了学习型抓取质量评估方法的首次大规模生产部署。
2023-10-08 cs.AI cs.LG cs.RO
Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation
ShanghaiTech University(上海科技大学)
提出AtomSkill框架,通过语义对比对齐和关键姿态想象,从演示中学习可重用原子技能,实现多任务机器人操作,优于现有方法。
2026-07-03 cs.RO
Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University(首尔国立大学)
当前机器人强化学习(RL)由于固有的特定于任务的训练范式,在推广到新的下游任务时经常遇到困难。为了缓解这一问题,无监督强化学习(unsupervised RL)是一种以任务不可知的方式对智能体进行预训练的框架,而无需获得特定于任务的奖励,它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处,我们提出了一种无监督的方法,用于可转移的操作技能发现,将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为,机器人操作学习的关键方面,没有访问的环境奖励,但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验,我们表明,我们的方法实现了最多样化的互动行为,并显着提高样本效率在下游任务,包括扩展到多对象,多任务问题。
2022-04-29 cs.LG cs.RO
Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
我们通过技能发现来解决现实世界中的长视野机器人操作任务。我们提出了一个自自底向上的【形】的方法来学习一个库的可重复使用的技能,从未分割的演示,并使用这些技能来合成延长机器人的行为。我们的方法首先通过凝聚聚类从每个演示构建一个分层的任务结构。从多任务演示的任务结构中,我们识别技能的基础上的循环模式和训练目标条件的感觉运动策略与分层模仿学习。最后,我们训练一个Meta控制器来组合这些技能,以解决长期的操作任务。整个模型可以在30分钟内收集的一小组人类演示上进行训练,而无需进一步的注释,使其能够在现实世界中部署。我们系统地评估了我们的方法在模拟环境中,并在一个真正的机器人。我们的方法在多阶段操作任务中表现出优于最先进的模仿学习方法的性能。此外,与从单个任务中发现的技能相比,从多任务演示中发现的技能将平均任务成功率提高了$8\%$。
2022-01-22 cs.LG cs.RO
LUCID: Latent-Skill Unified Control via Imagined Dynamics for Long-Horizon Humanoid Loco-Manipulation
该研究针对人形机器人长程移动操作的复杂序列任务,提出分层基于模型的强化学习框架LUCID,经模拟多物体重排实验验证,其任务成功率优于现有基线方法。
2026-08-11 cs.LG cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
VLBiMan++: Expanding the Generalization Boundary of Vision-Language Anchored One-Shot Bimanual Manipulation
Shenzhen University(深圳大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));DexForce;Imperial College London(伦敦帝国理工学院)
VLBiMan++基于单次人类演示,通过任务分解和视觉-语言几何适应,沿任务、物体、场景、本体和部署五维度扩展双臂操作泛化,实验验证其强适应性和成功率。
2026-09-15 cs.RO
ACE: Agentic Control for Embodied Manipulation via Zero-shot Workflow Reasoning
Department of Computer Science, Tsinghua University(清华大学计算机科学系);National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Wuxi Dexteroushands Robotic Technology Co.(无锡灵犀机器人技术有限公司)
研究开放式桌面操作,提出ACE零样本工作流推理框架,结合智能体工作流推理与视觉基础接口、可重复使用的拾取和放置原语等技能,经掩码介导视觉动作接口连接语义推理与物理控制,能在线适应多种情况,在复杂任务中表现出色。
2026-10-02 cs.LG cs.RO
Self-Supervised Damage-Avoiding Manipulation Strategy Optimization via Mental Simulation
Jacobs University Bremen(不来梅雅各布大学)
日常机器人面临着在物流或零售等应用中处理自主产品处理的挑战,可能会在操作过程中对物品造成损坏。传统上,大多数方法都试图最大限度地减少与货物的物理交互。然而,本文提出了考虑到任何意外的物体运动,并学习损伤最小化的操作策略,在自我监督的方式。所提出的方法包括一个基于仿真的规划方法,最佳的操作顺序可能造成的损害。使用机器学习将计划的操纵序列推广到相同应用场景中的新的、看不见的场景。这种学习的操纵策略在系统的无负载时间期间在自我监督的仿真在环优化周期中不断改进,通常称为心理模拟。并行地,所生成的操纵策略可以以随时的方式接近实时的部署。工业集装箱卸载的情况下,零售货架补货的情况下,该方法是有效的。
2019-08-13 cs.AI cs.RO
Contact-Implicit Stein Projected ADMM for Discovery of Diverse Contact-Rich Manipulation Strategies
Yale University(耶鲁大学);University of Sydney(悉尼大学)
本文提出一种结合Stein变分推断的共识ADMM变体,通过施加斥力于分离变量,实现接触丰富操作策略的多样化发现,在推动、抓取和多机器人交接任务中验证了其有效性和简洁性。
2026-09-24 cs.RO
The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations
University of Freiburg(弗赖堡大学)
本文提出将末端执行器速度分解为方向与大小并用黎曼GMM建模,结合技能分割对齐和视觉任务参数自动检测,使机器人仅凭五次RGB-D演示即可学习长时程操作任务,在RLBench上达到最先进性能且样本效率提升20倍。
2024-10-23 cs.LG cs.RO
Effective Tuning Strategies for Generalist Robot Manipulation Policies
University of Adelaide(阿德莱德大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO));Shanghai Jiao Tong University(上海交通大学);TikTok
本文实证研究 GMPs 在低数据新场景中的微调设计,系统比较动作空间、策略头、监督信号和可训练参数,给出实用指南并建立新基线。
2024-10-02 cs.LG cs.RO
The Hand-object Kinematic Model for Bimanual Manipulation
Polytechnic University of Catalonia(加泰罗尼亚理工大学)
本文提出一种基于平面运动几何特征的手-物体运动学模型,通过手指构型选择与关节值求解,为双手操作生成优化策略,并在仿真中验证了对未知物体旋转和直线运动的完成能力。
2024-01-12 cs.RO cs.SY eess.SY
Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Corporation(英伟达公司)
提出Human2Any框架,从人类视频学习可重用的物体中心交互先验,结合机器人端可行性推理与运动规划,实现无需目标任务真实机器人数据的跨实体、场景和任务迁移。
2026-06-27 cs.AI cs.RO
Efficient Sensorimotor Learning for Open-world Robot Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本论文面向开放世界机器人操作,提出以规律性为核心的高效感知运动学习方法,通过物体中心先验、空间理解和可复用技能识别,使机器人从少量示范或视频中快速学习并泛化多任务操作技能。
2025-05-07 cs.AI cs.RO
Exploring CausalWorld: Enhancing robotic manipulation via knowledge transfer and curriculum learning
University of Southern California(南加州大学)
本研究针对三指机械臂操作任务,在soft actor-critic架构中采用微调和课程学习两种知识迁移策略,通过对比多种迁移变体与课程设计参数,分析了它们在上下文感知与不感知场景下的效果,为基于学习的工程应用提供了指导。
2024-03-25 cs.AI cs.LG cs.RO
Practical Insights on Grasp Strategies for Mobile Manipulation in the Wild
Toyota Research Institute(丰田研究院)
本文通过SHOPPER移动操作机器人在真实杂货店中的部署实验,提出并分析了通用抓取策略的设计方法及数百次抓取尝试中的关键失败模式,为机器人社区提供了实用见解和待解决的关键挑战。
2026-05-28 cs.RO cs.SY eess.SY
DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);Amazon Transportation Services(亚马逊运输服务公司);University College London(伦敦大学学院)
DexSkills提出一种基于触觉数据的监督学习框架,将长时程灵巧操作任务分解为可复用原始技能并实现机器人一次性自主执行。
2024-05-06 cs.RO
Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation
Rutgers, the State University of New Jersey(罗格斯,新泽西州立大学)
这项工作提出了一个机器人管道,用于拾取和约束放置的对象没有几何形状先验。与最近为类似任务开发的努力相比,假设每个对象都是新的,所提出的系统识别以前操作的对象,并进行在线模型重建和重用。在一个终身的操作过程中,系统不断学习它与之交互的对象的特征,并更新它们的重建模型。每当先前操作的对象的实例重新出现时,系统的目标是首先识别它,然后在给定当前观察的情况下注册其先前重建的模型。这一步骤大大降低了物体形状的不确定性,使系统甚至可以推理出目前无法观察到的物体部分。这也导致更好的操纵效率,因为它减少了在操纵期间对目标对象的主动感知的需要。为了得到可重用的重构模型,所提出的流水线采用:i)用于对象表示的TSDF,以及ii)用于部分对象模型的姿态估计和跟踪的标准粒子滤波算法的变体。此外,一个有效的方法来构建和维护一个数据集的操纵对象。进行一系列真实世界的操纵实验。他们展示了未来的操作任务如何通过重用先前操作对象的重建模型变得更加有效和高效,这些模型是在先前的操作过程中生成的,而不是每次都将对象视为新对象。
2022-05-23 cs.RO
Abstracting Robot Manipulation Skills via Mixture-of-Experts Diffusion Policies
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Smart Systems Institute, NUS(NUS智能系统研究所);Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);Beijing Zhongguancun Academy(北京中关村学院)
本文提出了一种基于扩散的混合专家策略,通过学习紧凑的技能基础和粘性路由机制,实现高效多任务机器人操作。
2026-01-29 cs.RO
FlatLab: A Unified Methodology Framework and Simulation-Based Benchmark for Robotic Manipulation of Flat Objects
Jilin University(吉林大学);Peking University(北京大学);Chinese Academy of Sciences(中国科学院);University of Birmingham(伯明翰大学)
该研究针对扁平物体机器人操作泛化能力有限的问题,提出含策略生成器与执行模块的统一框架,并构建FlatLab仿真基准,方法泛化效果优于现有基线。
2026-08-17 cs.RO
AeroManip-VLA: Scalable Vision-Language-Action Learning for Aerial Manipulation with RL-Generated Demonstrations
National University of Singapore(新加坡国立大学);Beijing Institute of Technology(北京理工大学)
提出AeroManip-VLA,一个基于GPU加速仿真和强化学习自动生成演示的空中操纵VLA基准,支持数据生成、轨迹分析与策略评估。
2026-09-30 cs.AI cs.RO
Encore: Few-Shot Agentic Discovery of Manipulation Strategies
本文提出ENCORE,一种少样本智能体方法,通过将演示提炼为多视角关键帧等证据包,让编码智能体编写策略程序,在LIBERO-PRO和真实双臂机器人上显著优于基线。
2026-09-30 cs.AI cs.CV cs.LG
Toward the use of proxies for efficient learning manipulation and locomotion strategies on soft robots
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL(里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工学院、CRIStAL联合研究单位)
本文针对软体机器人运动规划建模维度高、学习优化成本大的问题,提出一种基于简化代理模型的低成本策略学习方法,并将策略迁移到完整模型,在操作与运动任务上验证了其有效性。
2023-10-25 cs.RO
Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations
本研究提出HERO自改进层级具身智能体,通过整合启发式推理等技术,实现机器人从零人类演示自主演进操作能力,减少数据收集人工干预并提升多样化任务操作稳健性。
2026-07-30 cs.RO
ForeDiffusion: Foresight-Conditioned Diffusion Policy via Future View Construction for Robot Manipulation
ForeDiffusion通过引入未来视图表示,改进机器人操作中的扩散策略,实现更稳定的性能和更高的成功率。
2026-01-19 cs.AI cs.RO
DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation
Tongji University(同济大学)
提出DeMaVLA模型,采用VLM骨干与动作专家结合流匹配生成连续动作,通过剪枝Transformer层提升效率,并利用大规模真实世界数据和人类反馈数据聚合训练,实现可变形物体折叠操作的多类别泛化。
2026-06-17 cs.AI cs.RO
XSkill: Cross Embodiment Skill Discovery
Columbia University(哥伦比亚大学);J.P. Morgan AI Research(摩根大通人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出 XSkill 框架,通过从人类与机器人视频中发现跨本体技能原型,并结合条件扩散策略实现技能迁移与组合,使机器人能根据人类提示视频完成未见操作任务。
2023-09-28 cs.AI cs.LG cs.RO
Learning Diffusion Policy from Primitive Skills for Robot Manipulation
Dong Xu(东旭教授)
本文提出SDP,一种基于技能的扩散策略,通过整合可解释的技能学习与条件动作规划,提升机器人操作中技能一致性与性能。
2026-01-05 cs.RO
MASkillBlender: Decentralized Whole-Body Coordination for Multi-Humanoid Loco-Manipulation via Skill Blending
Nanyang Technological University(南洋理工大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
提出MASkillBlender,一种通用多智能体强化学习框架,通过共享去中心化高层策略混合预训练技能,仅用任务级奖励实现多人类形机器人去中心化全身协调,并引入排列数据增强提升效率,仿真验证有效。
2026-10-02 cs.LG cs.MA cs.RO
Towards Robotic Feeding: Role of Haptics in Fork-based Food Manipulation
Paul G. Allen School of Computer Science and Engineering, University of Washington(保罗·G·艾伦计算机科学与工程学院,华盛顿大学)
自主喂养是具有挑战性的,因为它需要操纵具有各种顺应性、大小和形状的食物。为了了解人类在喂食过程中如何操纵食物,并探索如何使他们的策略适应机器人,我们收集了丰富的人类轨迹数据集,要求他们拿起食物并将其喂给人体模型。从所收集的触觉和运动信号的分析,我们表明,人类适应他们的控制策略,以适应被收购的食品的合规性和形状。我们提出了一个分类的操纵策略喂养,以突出这些政策。作为第一步,以产生合规性依赖的政策,我们提出了一套分类器的合规性为基础的食品分类从触觉和运动信号。我们比较这些人的操作策略与固定位置控制策略,通过机器人。我们对人类和机器人政策的成功和失败案例的分析进一步强调了使政策适应食品合规性的重要性。
2019-02-24 cs.RO
The Multi-fingered Kinematic Model for Dual-arm Manipulation
Polytechnic University of Catalonia(加泰罗尼亚理工大学)
本文提出一种基于手指构型反馈的强化学习框架,通过同时与交错两种策略优化双臂操作中的抓取质量,在物体轮廓和质心未知的情况下提升成功率和手指运动精度。
2024-01-14 cs.RO cs.SY eess.SY
RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation
E-surfing Digital Life Technology Co., Ltd., China Telecom(中国电信翼数字生活科技有限公司)
RoboCousin是一个基于仿真的数据生成平台,将用户观察转化为资产、场景和专家轨迹,生成超过一百万条双臂操作轨迹,提升仿真到现实的迁移能力。
2026-10-14 cs.AI cs.RO
Bimanual Motor Strategies and Handedness Role During Human-Exoskeleton Haptic Interaction
University of Heidelberg(海德堡大学);University of Genoa(热那亚大学);University Niccolò Cusano(尼可洛·库萨诺大学)
双手物体操纵涉及由与环境的交互产生的多个视觉-触觉感觉反馈,其由中枢神经系统管理并因此转化为运动命令。尽管触觉学和机器人技术取得了现代化的进步,但在双手耦合任务中发生的运动策略仍然是一个科学争论。目前的技术可能有潜力在多关节运动期间提供涉及整个上肢的真实场景,但尚未充分发挥其潜力。本研究探讨了如何通过使用两个阻抗控制外骨骼编程来模拟双手耦合操纵虚拟对象时,手动态交互。我们招募了26名参与者(2组:右手和左手),要求他们用双手抓住机器人工作空间中的模拟物体,并将它们放置在特定位置。虚拟物体被渲染为不同的动态特性和纹理,影响操作策略来完成任务。结果表明,手的作用与运动方向,触觉特征和利手偏好有关。结果表明,触觉反馈影响双手策略取决于运动方向。然而,左撇子表现出更好的控制力施加在两只手之间,可能是由于环境压力的右手操作。
2022-11-22 cs.RO
FRAMES: Failure Recovery And Monitoring of Embodied Skills for Humanoid Loco-Manipulation
Duke University(杜克大学)
FRAMES提出一个针对Unitree G1仿人机器人的失败感知监督框架,通过视觉语言模型监控技能执行并触发恢复,在MuJoCo中达到94%的监控准确率。
2026-09-22 cs.AI cs.RO
ManiPhysicsBench: Physics-Based Assessment of Object Preservation in VLA Manipulation
KAIST(韩国科学技术院)
本文提出ManiPhysicsBench,基于物理模拟评估VLA模型在操作中能否保持物体,发现公开模型安全成功率低,重训练后有所提升但泛化受限。
2026-10-05 cs.RO
Novel Magnetic Actuation Strategies for Precise Ferrofluid Marble Manipulation in Magnetic Digital Microfluidics: Position Control and Applications
Sharif University of Technology(谢里夫理工大学)
针对磁数字微流控中铁磁流体弹珠(FM)难以精确控制的问题,提出基于亥姆霍兹线圈与永磁体的新型磁驱动方法,推导位置控制方程、提出三种磁力调节策略,经多装置对比实验验证,实现多种FM精确操控应用。
2024-12-03 cs.RO cs.SY eess.SY
SkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied Manipulation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系);Nanyang Technological University(南洋理工大学);Beijing Normal University(北京师范大学)
SkillMemo是一种专家引导的技能记忆框架,通过分解轨迹为技能基元并结合动态记忆库,提升了DP和VLA模型的组合泛化能力,在基准测试中达到最优性能。
2026-08-07 cs.AI cs.RO
A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation
Toyota Research Institute, Cambridge MA(丰田研究院);Tsinghua University, Beijing, China(清华大学)
本文研究了机器人操作中协同训练不同数据模态和策略对行为模型性能的影响,发现视觉语言和跨身体数据显著提升泛化能力,而离散动作令牌无明显优势。
2026-02-01 cs.RO
From Solo to Ensemble: A Hierarchical Framework for Composable Multi-Agent Human-Object Interaction
ShanghaiTech University(上海科技大学)
该研究针对多智能体人-物体交互的复用性难题,提出分层框架将单智能体策略转为可复用面向物体的运动技能,实现跨交互类型、物体几何及团队规模的可组合策略学习。
2026-10-09 cs.RO
SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation
Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)
提出SAKI框架,从人类视频学习可复用物体中心技能,通过跨示范组装与全身运动学模仿,实现长时程移动操作,真实机器人实验验证技能复用与组合能力。
2026-09-30 cs.RO
Building Explicit World Model for Zero-Shot Open-World Object Manipulation
本文提出基于显式世界模型的框架,通过构建物理基础的数字孪生实现零样本泛化,无需任务特定示范即可完成开放集操控任务。
2026-03-14 cs.RO
Loco-Manipulation Planning for Legged Robots: Offline and Online Strategies
Istituto Italiano di Tecnologia (IIT)(意大利理工学院);Università di Genova(热那亚大学);Sapienza Università di Roma(罗马第一大学);PAL Robotics(PAL机器人公司)
在现实环境中部署机器人需要能够规划和优化飞行中的本地操作轨迹,以避免与动态环境的意外交互。这个扩展的抽象提供了一个流水线离线规划配置空间的全局轨迹的基础上的随机化策略,并在线本地细化它取决于动态环境和机器人状态的任何变化。离线规划器直接在接触空间中进行规划,并且另外寻求符合采样接触状态的全身可行配置。由一组离散的触点和配置构成的规划轨迹可以被视为一个图形,并且可以在执行全局轨迹期间在线细化。在线细化进行了利用视觉信息的图形优化规划。它在当地对全球初始计划采取行动,以考虑环境中可能发生的变化。虽然离线规划器是一项已完成的工作,并在人形COMAN+上进行了测试,但在线本地规划器仍是一项正在进行的工作,已在CENTAURO机器人的简化模型上进行了测试,以避免动态和静态障碍物干扰轮式运动任务。COMAN+和CENTAURO机器人均由意大利理工学院(IIT)设计。
2022-05-20 cs.RO
Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
New York University(纽约大学)
优化灵巧操作的行为一直是机器人技术中的一个长期挑战,从基于模型的控制到无模型强化学习的各种方法先前已经在文献中进行了探索。也许学习复杂操作策略的最强大的技术之一是模仿学习。然而,收集和示教学习示范灵巧操作是相当具有挑战性的。多指控制涉及的复杂、高维动作空间通常导致基于学习的方法的低样本效率。在这项工作中,我们提出了“灵巧模仿容易”(DIME)一个新的模仿学习框架灵巧操作。DIME只需要一个RGB摄像头来观察人类操作员并远程操作我们的机器人手。一旦示范收集,DIME采用标准的模仿学习方法,训练灵巧的操作政策。在模拟和真实的机器人基准测试中,我们证明了DIME可用于解决复杂的手操作任务,如“翻转”,“旋转”和“旋转”对象与快板手。我们的框架以及预先收集的演示可在https://nyu-robot-learning.github.io/dime上公开获取。
2022-03-24 cs.AI cs.CV cs.LG
Surface-Based Manipulation with Modular Foldable Robots
Swiss Federal Institute of Technology Lausanne (EPFL)(瑞士联邦理工学院洛桑分校)
本文提出了一种基于模块化可折叠机器人的表面操控方法,通过调整表面位置和方向实现物体的稳定操控,适用于各种形状和刚度的物体。
2026-01-12 cs.RO cs.SY eess.SY
Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室)
针对VLA模型适配低效与灾难性遗忘问题,提出记忆中心框架Optimus-R,通过内联记忆接口、查询-技能记忆库及桥接-适配机制实现数据高效技能学习,实验验证其有效性。
2026-10-01 cs.CV cs.RO
DeCo: Task Decomposition and Skill Composition for Zero-Shot Generalization in Long-Horizon 3D Manipulation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Huawei Noah’s Ark Lab (AI Lab), China(华为诺亚实验室(AI实验室))
DeCo通过任务分解与技能组合提升长周期3D操作任务的零样本泛化能力,显著提高多个模型在新任务上的成功率。
2026-02-15 cs.RO
Robotic Ultra-Long-Horizon Manipulation Skills via Human-guided Lifelong Code Generation
Beijing Academy of Artificial Intelligence (BAAI)(北京智源人工智能研究院)
提出人机协同终身代码生成框架,将人类修正编码为可复用技能,结合外部记忆与提示机制,在长时程操作任务中实现0.93成功率与42%效率提升。
2026-10-08 cs.RO
VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
VLBiMan通过任务感知分解从单个示例中提取可重用技能,实现双臂机器人操作的通用化,减少演示需求并增强跨平台适应性。
2026-05-01 cs.RO
Bi-KVIL: Keypoints-based Visual Imitation Learning of Bimanual Manipulation Tasks
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人类工程与机器人研究所)
本文提出Bi-KVIL方法,通过提取混合主从关系、双臂协调策略和亚符号任务表示,实现了从少量人类演示视频中学习细粒度双臂操作任务,并能有效泛化到新场景中的同类物体。
2024-03-22 cs.RO
Dexterous Robotic Manipulation using Deep Reinforcement Learning and Knowledge Transfer for Complex Sparse Reward-based Tasks
University College Dublin(都柏林大学学院);Dublin City University(都柏林城市大学);Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);Harvard University(哈佛大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);KTH Stockholm(斯德哥尔摩皇家理工学院)
本文描述了一种深度强化学习(DRL)方法,该方法赢得了2021年真实机器人挑战赛(RRC)的第一阶段,然后将该方法扩展到更困难的操作任务。RRC包括使用TriFinger机器人沿着指定的位置轨迹操纵立方体,但不要求立方体具有任何特定的方向。我们使用了一个相对简单的奖励函数,基于目标的稀疏奖励和距离奖励的组合,结合后见之明经验重放(HER)来指导DRL代理(深度确定性策略梯度(DDPG))的学习。我们的方法允许我们的代理人在模拟中获得灵巧的机器人操作策略。然后,这些策略被应用于真实的机器人,并在RRC的最终评估阶段优于所有其他竞赛提交的作品,包括使用更传统的机器人控制技术的作品。在这里,我们扩展这种方法,通过修改RRC的第1阶段的任务,要求机器人保持立方体在一个特定的方向,而立方体沿着所需的位置轨迹移动。由于增加了问题的复杂性,还需要定向立方体使得代理无法通过盲目探索来学习任务。为了规避这个问题,我们使用了一种新的知识转移(KT)技术,该技术允许代理在原始任务(对立方体方向不可知)中学习到的策略转移到这个任务(方向很重要)。KT允许智能体在模拟器中学习和执行扩展任务,这将评估期间的平均位置偏差从0.134 m改善到0.02 m,平均方向偏差从142°改善到76°。这个KT概念表现出良好的泛化性能,可以应用于任何演员-评论家学习算法。
2023-01-27 cs.LG cs.RO