Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles
Tsinghua University(清华大学);Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);Tongji University(同济大学)
本文提出Maestro框架,通过强化学习协调多模态任务,利用分层模型-技能集合提升多模态任务性能,实现高效且通用的协调策略。
2026-05-21 cs.CL cs.LG
EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data
University of Southern California(南加州大学);KAIST(韩国科学技术院);CMU(卡内基梅隆大学);Amazon Web Services(亚马逊网络服务)
EXTRACT利用预训练视觉语言模型从离线数据中提取语义技能,无需人工监督,使机器人通过选择技能和调整参数快速学习新任务,在稀疏奖励图像操作环境中显著提升样本效率和性能。
2024-09-19 cs.AI cs.LG cs.RO
Efficient Bimanual Manipulation Using Learned Task Schemas
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Facebook Artificial Intelligence Research(脸书人工智能研究院)
我们解决的问题,有效地组成的技能,以解决稀疏奖励的任务在现实世界中。给定一组参数化技能(例如在某个位置施加力或进行顶部抓取),我们的目标是学习调用这些技能的策略来有效地解决这些任务。我们的见解是,对于许多任务,学习过程可以分解为学习一个状态独立的任务模式(一系列的技能执行)和一个政策,选择参数化的技能,在一个状态依赖的方式。对于这样的任务,我们表明,明确建模模式的状态独立性可以产生显着的改善样本效率的无模型强化学习算法。此外,这些模式可以通过简单地重新学习调用技能的参数化来转移到解决相关任务。我们发现,这样做可以非常有效地学习解决现实世界机器人系统上的稀疏奖励任务。我们验证了我们的方法实验一套机器人双手操作任务,无论是在模拟和真实的硬件。请访问http://tinyurl.com/chitnis-schema观看视频。
2020-02-27 cs.CV cs.LG cs.RO
Model Learning for Look-ahead Exploration in Continuous Control
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种探索方法,结合前瞻性搜索的基本学习技能和他们的动态,并使用它的强化学习(RL)的操作政策。我们的技能是使用现有的多目标RL公式在更简单的环境中孤立地学习多目标策略,类似于期权或宏动作。粗略的技能动态,即,学习由(完整的)技能执行引起的状态转换,并在前瞻搜索期间向前展开。策略搜索在探索期间受益于时间抽象,尽管其本身在低级别原始动作上操作,因此所产生的策略不会遭受由粗糙技能链引起的次优性和可扩展性。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。
2018-11-20 cs.AI cs.LG cs.RO
Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives
Carnegie Mellon University(卡内基梅隆大学)
尽管强化学习(RL)在构建通用机器人系统方面具有潜力,但由于在纯粹连续的动作空间中探索的困难,训练RL代理来解决机器人任务仍然具有挑战性。解决这个问题是一个活跃的研究领域,主要集中在通过更好的优化或更有效的探索来改进RL方法。另一个需要考虑改进的重要组件是RL算法与机器人的接口。在这项工作中,我们手动指定一个库的机器人动作原语(RAPS),参数化的参数,学习的RL策略。这些参数化原语具有表达性,易于实现,能够进行有效的探索,并且可以在机器人,任务和环境之间传输。我们进行了彻底的实证研究,在三个不同的领域与图像输入和稀疏的终端奖励具有挑战性的任务。我们发现,我们对动作界面的简单改变大大提高了学习效率和任务性能,无论底层RL算法如何,都显著优于从离线专家数据中学习技能的先前方法。https://mihdalal.github.io/raps/上的代码和视频
2021-10-28 cs.AI cs.CV cs.LG
Dexterous Legged Locomotion in Confined 3D Spaces with Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);George Mason University(乔治梅森大学);Sony AI(索尼人工智能)
针对受限三维空间中腿式机器人导航难题,提出结合经典规划器与强化学习策略的分层运动控制器,在仿真中性能优于现有方法,且成功实现真机部署。
2024-03-06 cs.LG cs.RO
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对深度强化学习易受环境扰动影响的问题,提出轨迹熵强化学习方法,通过最小化动作轨迹熵引入简洁性归纳偏置,并联合优化策略与预测模型,在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
A Geometric Perspective on Visual Imitation Learning
University of Alberta(阿尔伯塔大学)
我们考虑的问题,视觉模仿学习没有人的监督(如动觉教学或遥操作),也没有访问交互式强化学习(RL)的培训环境。我们提出了一个几何的角度来得出这个问题的解决方案。具体而言,我们提出了VGS-IL(视觉几何技能模仿学习),一个端到端的几何参数化的任务概念推理方法,推断全局一致的几何特征关联规则从人类演示视频帧。我们发现,而不是从图像像素学习动作,学习几何参数化的任务概念提供了一个可解释的和不变的表示在各种环境设置下的演示者模仿者。此外,这样的任务概念表示提供了与基于几何视觉的控制器(例如,视觉伺服)的直接链接,从而允许将高级任务概念高效映射到低级机器人动作。
2020-03-05 cs.LG cs.RO
Learning Deep Parameterized Skills from Demonstration for Re-targetable Visuomotor Control
Brown University(布朗大学);Mitsubishi Electric Research Labs(三菱电机研究实验室)
机器人需要学习的技能不仅可以概括类似的问题,而且还可以针对特定的目标。以前的方法要么为每个不同的目标训练新技能,要么在存在多个目标的情况下不从视觉数据推断特定目标。我们引入了一个端到端的方法,代表目标参数化的神经网络政策的有针对性的可视化技能。通过对具有相关目标参数的可用目标的信息子集进行训练,我们能够学习可以zero-shot推广到以前看不见的目标的策略。我们在按钮网格的代表性2D模拟以及两个不同物理手臂上的按钮按下和钉插入任务中评估了我们的方法。我们证明,我们的模型在33%的可能目标上训练,能够概括到场景中超过90%的目标,用于仿真和机器人实验。我们还成功地学习了从目标像素坐标到机器人策略的映射,以完成指定的目标。
2021-02-28 cs.LG cs.RO
Learning Physically Realizable Skills for Online Packing of General 3D Shapes
National University of Defense Technology(国防科技大学);Nanjing University(南京大学);Lightspeed Studio, Tencent America(腾讯美国光速工作室)
针对不规则三维物体在线且需物理可实现放置的装箱难题,提出带理论可证候选动作生成、异步RL加速与仿真数据流程的强化学习方法,在所有真实形状数据集上较最优基线提升至少12.8%。
2023-06-02 cs.LG cs.RO
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)(德国航空航天中心(DLR),机器人与机电一体化研究所(RMC));Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
提出CLASP架构,结合任务参数化核化运动基元(TP-KMP)与预训练视觉语言模型(VLM),通过自然语言命令实现技能选择、组合和主动学习,无需微调,在7自由度机械臂上达到73.3%-100%成功率。
2026-06-06 cs.AI cs.CL cs.HC
Practice Makes Perfect: Planning to Learn Skill Parameter Policies
The AI Institute(人工智能学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northeastern University(东北大学)
针对机器人长周期任务决策问题,提出一种基于胜任力评估与胜任力感知规划的主动练习选择方法,可自主高效学习技能参数策略,在仿真与真实移动操作任务中均验证有效。
2024-05-18 cs.LG cs.RO
Customizable Combination of Parameter-Efficient Modules for Multi-Task Learning
AntGroup(蚂蚁集团)
提出 Customized Polytropon C-Poly,通过低秩参数化结合可定制的任务共有与任务特定技能并联合学习分配矩阵,提升多任务学习的跨任务泛化与样本效率。
2023-12-06 cs.AI cs.LG
Scaling simulation-to-real transfer by learning composable robot skills
University of Southern California(南加利福尼亚大学);Google Brain(谷歌大脑)
我们提出了一种新的解决方案,模拟到真实的传输,这是建立在机器人技能分解的最新进展的问题。我们不是专注于最小化模拟与现实之间的差距,而是学习一组不同的策略,这些策略以一种易于重用的方式进行参数化。这种低层次技能的多样性和参数化使我们能够找到一种可转移的策略,能够使用不同技能的组合和变化来解决更复杂的高层次任务。特别是,我们首先使用模拟来共同学习一组低级别技能的策略,以及可用于组成它们的“技能嵌入”参数化。稍后,我们学习通过这种技能嵌入参数化来启动低级策略的高级策略。高级策略编码了如何以及何时一起重用低级技能以实现特定的高级任务。重要的是,我们的方法学习控制关节空间中的真实机器人,以在机器人上很少或没有时间的情况下实现这些高级任务,尽管低级策略可能无法完全从模拟转移到真实,并且低级技能没有在高级任务的任何示例上进行训练。我们说明了我们的方法使用信息模拟实验的原则。然后,我们验证了它的实用性,真正的机器人问题的学习,转让,并组成自由空间和接触运动技能的索耶机器人只使用关节空间控制。我们实验了几种技术组成预先学习的技能,并发现我们的方法允许我们使用基于学习的方法和有效的基于搜索的规划,以实现高层次的任务,只使用预先学习的技能。
2018-11-13 cs.AI cs.LG cs.RO
Robot Program Parameter Inference via Differentiable Shadow Program Inversion
Institute for Artificial Intelligence (IAI), University of Bremen(不来梅大学人工智能研究所(IAI));ArtiMinds Robotics(ArtiMinds机器人公司)
机器人的操作任务可以通过结合单个机器人的技能来有效地解决,这些技能必须针对具体的物理环境和手头的任务进行参数化。这对人类程序员来说既耗时又困难,特别是对于强制控制技能。为此,我们提出了影子程序反演(SPI),一种新的方法来推断最佳的技能参数直接从数据。SPI利用无监督学习来训练辅助可微程序表示(“影子程序”),并通过基于梯度的模型反演来实现参数推断。我们的方法可以使用高效的一阶优化器来推断最初不可微技能的最佳参数,包括目前在生产中使用的许多技能变体。SPI zero-shot可跨任务目标进行推广,这意味着影子程序不需要重新训练来推断不同任务变量的参数。我们在工业和家庭场景中对三种不同的机器人和技能框架进行了评估。代码和示例可在https://innolab.artiminds.com/icra2021上获得。
2022-07-14 cs.AI cs.LG cs.RO
Flow-based Domain Randomization for Learning and Sequencing Robotic Skills
Autodesk Research(奥多比研究)
本文提出基于归一化流的熵正则化域随机化方法,自动学习更灵活的环境采样分布,提升策略鲁棒性,并将其用于多步操作规划中的分布外检测。
2025-05-05 cs.AI cs.LG cs.RO
Information Maximizing Curriculum: A Curriculum-Based Approach for Imitating Diverse Skills
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出信息最大化课程方法,通过为数据点分配权重并结合专家混合策略与最大熵目标,缓解模仿学习中的模式平均问题,实现多样化技能学习,在复杂模拟控制任务上优于现有方法。
2023-10-31 cs.LG