Exploring CausalWorld: Enhancing robotic manipulation via knowledge transfer and curriculum learning
University of Southern California（南加州大学）
本研究针对三指机械臂操作任务，在soft actor-critic架构中采用微调和课程学习两种知识迁移策略，通过对比多种迁移变体与课程设计参数，分析了它们在上下文感知与不感知场景下的效果，为基于学习的工程应用提供了指导。
2024-03-25 cs.AI cs.LG cs.RO
MaMiC: Macro and Micro Curriculum for Robotic Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Center for Data Science and AI (RBCDSAI)（罗伯特·博世数据科学与人工智能中心（RBCDSAI））
与随机学习相比，人类和动物的塑形已被证明是学习复杂任务的强大工具。这使得问题不那么复杂，并使人们能够首先解决手头较容易的子任务。为这种引导式学习生成课程涉及使代理首先服从较容易的目标，然后逐渐增加其难度。本文采取了类似的方向，并提出了一个双课程计划，解决机器人操作任务的稀疏奖励，称为MaMiC。它包括一个宏课程计划，它将任务分成多个子任务，然后是一个微课程计划，使代理能够在这些发现的子任务之间学习。我们将展示如何结合宏观和微观课程策略，帮助克服机器人操作任务中考虑的主要探索性限制，而不必设计任何复杂的奖励。我们还说明了个别课程的意义，以及如何根据任务独立使用。这样一个双课程计划的性能进行了分析的获取环境。
2019-05-17 cs.AI cs.LG cs.RO
Accelerating Robot Learning of Contact-Rich Manipulations: A Curriculum Learning Study
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
强化学习（RL）范式已经成为机器人任务自动化的重要工具。尽管RL取得了进步，但由于需要昂贵的大量机器人与环境交互，因此它仍然没有在工业中广泛采用。课程学习是为了加快学习而提出的。然而，大多数研究工作仅在模拟环境中进行评估，从视频游戏到机器人玩具任务。本文提出了一种基于课程学习和领域随机化相结合的方法来加速机器人对接触丰富操作任务的学习。我们使用位置控制机器人处理复杂的工业装配任务，例如插入任务。我们比较了DR的不同课程设计和采样方法。基于这项研究，我们提出了一种方法，该方法显着优于以前的工作，仅使用DR（不使用CL），训练时间（样本）不到五分之一。结果还表明，即使只在模拟玩具任务中训练，我们的方法也可以学习可以转移到现实世界机器人的策略。学习的政策实现了高达86%的成功率在现实世界中复杂的工业插入任务（公差为$\pm 0.01~mm$）没有看到在培训期间。
2022-04-28 cs.AI cs.LG cs.RO
Goal-Conditioned Reinforcement Learning with Imagined Subgoals
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
目标条件强化学习赋予智能体多种技能，但它往往难以解决需要更多时间扩展推理的任务。在这项工作中，我们建议将想象的子目标纳入策略学习，以促进复杂任务的学习。想象的子目标由单独的高级策略预测，该策略与策略及其批评者同时训练。此高级策略使用价值函数作为可达性度量来预测目标中途的中间状态。我们不要求政策明确地达到这些子目标。相反，我们使用它们来定义先验策略，并将此先验策略纳入KL约束的策略迭代方案中，以加速和正则化学习。在策略学习期间使用想象的子目标，但在测试期间不使用，在测试期间我们只应用学习的策略。我们评估了我们的方法对复杂的机器人导航和操作任务，并表明它优于现有的方法，由一个大的利润。
2021-07-01 cs.LG cs.RO
Multi-Phase Multi-Objective Dexterous Manipulation with Adaptive Hierarchical Curriculum
Colorado School of Mines（科罗拉多矿业学院）；GAC R&D Center Silicon Valley（广汽研发中心硅谷分部）
针对灵巧操作中多目标优先级随阶段变化导致深度强化学习困难的问题，提出自适应分层奖励机制（AHRM），动态确定目标优先级并更新奖励分层，在JACO机械臂实验中显著提升了任务性能与学习效率。
2022-07-29 cs.AI cs.RO
Learning to Transfer In-Hand Manipulations Using a Greedy Shape Curriculum
Georgia Institute of Technology（佐治亚理工学院）；Meta Reality Lab（Meta现实实验室）；Meta AI Research（Meta人工智能研究院）
由于复杂的接触动力学，非重复的手指步态，以及需要间接控制未驱动的对象，在手的对象操作是具有挑战性的模拟。进一步使成功的操作技能适应具有不同形状和物理特性的新对象是类似的挑战性问题。在这项工作中，我们表明，自然和强大的简单对象的手在动态模拟的操作，可以从一个高质量的运动捕捉的例子，通过深度强化学习与精心设计的模仿学习问题。我们将我们的方法应用于不同物体形状和运动的单手和双手灵巧操作。然后，我们展示了进一步适应的例子运动到一个更复杂的形状，通过课程学习的中间形状变形之间的源和目标对象。虽然一个天真的课程的渐进变形往往不足，我们提出了一个简单的贪婪课程搜索算法，可以成功地适用于一系列的对象，如茶壶，兔子，瓶子，训练，大象。
2023-03-14 cs.CV cs.GR cs.RO
ACDC: Adaptive Curriculum Planning with Dynamic Contrastive Control for Goal-Conditioned Reinforcement Learning in Robotic Manipulation
本文提出ACDC方法，结合自适应课程规划与动态对比控制，提升机器人操控任务中的样本效率和任务成功率。
2026-08-04 cs.RO
Imagined Value Gradients: Model-Based Policy Optimization with Transferable Latent Dynamics Models
DeepMind（深度思考）；University of Washington（华盛顿大学）
人类是快速学习许多复杂任务的大师，依赖于对其环境动态的近似理解。同样，我们希望我们的学习代理能够快速适应新任务。在本文中，我们探讨了如何基于模型的强化学习（RL）可以促进转移到新的任务。我们开发了一种算法，该算法学习预期未来观察，奖励和价值的行动条件预测模型，可以通过沿着想象的轨迹跟踪估计值的梯度来导出策略。我们展示了如何强大的策略优化，可以实现机器人操作任务，甚至与近似模型，直接从视觉和本体感受。我们评估了我们的方法在迁移学习场景中的有效性，在具有不同奖励结构和视觉干扰的任务上重新使用以前学习的模型，并显示出与强大的离线策略基线相比，学习速度有了显着的提高。有关结果的视频，请访问https://sites.google.com/view/ivg-corl19
2019-10-09 cs.AI cs.CV cs.LG
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；University of California Berkeley（加州大学伯克利分校）
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的，因为数据要求非常高。许多实际任务需要操纵多个对象，并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案，但不幸的是，在许多情况下都不起作用。我们假设，最先进的算法无法有效地利用任务课程源于缺乏归纳偏见，从简单到复杂的任务转移知识。我们表明，基于图的关系架构克服了这一限制，并使学习复杂的任务时，提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始，我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励，但我们的方法的数据效率要高出几个数量级，并且优于现有的利用人类演示的最先进方法。此外，学习到的策略表现出零射击（zero-shot）概括，无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置，例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation
本研究提出RoboReact框架，通过生成自我中心视频并结合视觉语言引导的闭环控制，实现人形机器人全身操控技能的通用获取，可在多样场景中稳健执行。
2026-08-06 cs.RO
Commit While Futures Agree: Consequence-Aware Adaptive Action Chunking for Robot Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；ANU Intelligent（澳大利亚国立大学智能）；Victoria University of Wellington（惠灵顿维多利亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；Southern University of Science and Technology（南方科技大学）
提出结果感知自适应动作分块（CA$^3$C），基于未来一致性决定提交或重规划，无需修改基础策略，显著降低机器人操作失败率。
2026-10-07 cs.RO
Outcome-directed Reinforcement Learning by Uncertainty & Temporal Distance-Aware Curriculum Goal Generation
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）；Artificial Intelligence Institute of Seoul National University（首尔国立大学人工智能研究所）
当前的强化学习（RL）在解决一个具有挑战性的探索问题时经常会遇到困难，因为在这个问题上很少能观察到期望的结果或高回报。尽管课程强化学习（一种通过提出一系列替代任务来解决复杂任务的框架）显示出合理的结果，但由于缺乏在没有任何先验领域知识的情况下获得校准指导以达到所需结果状态的机制，大多数以前的作品仍然难以提出课程。为了缓解这一问题，我们提出了一个不确定性和时间距离感知的课程目标生成方法的结果导向RL通过解决一个二分匹配问题。与以往的课程强化学习方法相比，该方法不仅可以提供精确校准的课程目标引导，而且具有更好的样本效率和几何不可知的课程目标建议能力。我们证明了我们的算法在各种具有挑战性的导航任务和机器人操作任务中以定量和定性的方式显着优于这些先前的方法。
2023-02-20 cs.AI cs.LG cs.RO
Curriculum-based Sensing Reduction in Simulation to Real-World Transfer for In-hand Manipulation
Oklahoma State University（俄克拉荷马州立大学）；GAC R&D Center Silicon Valley（广汽硅谷研发中心）；Colorado School of Mines（科罗拉多矿业学院）
针对Sim2Real中一步特征缩减导致的物理搭建困难或训练低效问题，提出基于课程的感知缩减方法，利用深度随机生成器逐步替换难以提取的特征，在Allegro机器人手上实现了更快的训练速度、更高的任务性能及更好的现实适应能力。
2023-09-13 cs.RO
C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
目标条件强化学习（RL）可以解决包括导航和操作在内的广泛领域的任务，但学习达到遥远的目标仍然是该领域的核心挑战。如果没有任何离线数据、专家演示和奖励塑造，学习如何达到这样的目标尤其困难。在本文中，我们提出了一个算法来解决遥远的目标达成任务，使用搜索在训练时自动生成一个课程的中间状态。我们的算法，分类器规划（C-规划），框架的学习目标条件的政策期望最大化：E-步骤对应于规划一个最佳序列的路点使用图搜索，而M-步骤的目的是学习一个目标条件的政策，以达到这些路点。与将目标条件强化学习与图搜索相结合的现有方法不同，我们的方法仅在训练期间执行搜索，而不是测试，从而显着降低了部署学习策略的计算成本。从经验上讲，我们证明了我们的方法是更有效的样本比以前的方法。此外，它能够解决非常长的视野操纵和导航任务，任务，以前的目标条件的方法和基于图搜索的方法无法解决。
2021-10-22 cs.AI cs.LG
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego（加州大学圣地亚哥分校）；HKUST（香港科技大学）
我们提出了一个模拟到真实的灵巧操作框架，可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化：（i）使用想象的手部点云作为增强输入;（ii）设计新颖的基于接触的奖励。我们经验性地评估我们的方法，使用快板手抓住新的对象在模拟和现实世界中。据我们所知，这是第一个基于策略学习的框架，可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University（康奈尔大学）
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题，提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程，在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
QuasiSim: Parameterized Quasi-Physical Simulators for Dexterous Manipulations Transfer
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出参数化准物理模拟器与物理课程，通过平衡保真度和可优化性，成功实现灵巧手高保真模拟中复杂操作的迁移，成功率提升11%以上。
2024-07-21 cs.CV cs.GR cs.RO
Region Growing Curriculum Generation for Reinforcement Learning
University of Southern California（南加州大学）；Nvidia（英伟达）
学习能够在环境中的任何两个状态之间移动代理的策略对于许多涉及导航和操纵的机器人问题非常重要。由于这些任务中奖励的稀疏性，在这些场景中应用强化学习可能具有挑战性。解决这个问题的常见方法包括奖励工程与辅助奖励，需要特定领域的知识或改变目标。在这项工作中，我们介绍了一种基于区域增长的方法，允许在任何一对初始和目标状态的环境中学习。我们的算法首先学习如何在附近的状态之间移动，然后随着代理性能的提高而增加开始目标转换的难度。这种方法创建了一个有效的课程，用于学习从任何初始状态达到任何目标的客观行为。此外，我们描述了一种方法，以自适应地调整扩展的增长区域，允许自动调整的关键勘探超参数的环境与不同的要求。我们评估我们的方法上的一组模拟的导航和操作任务，在那里我们证明，我们的算法可以有效地学习策略的存在稀疏的奖励。
2018-07-04 cs.AI
Density-based Curriculum for Multi-goal Reinforcement Learning with Sparse Rewards
Xi’an Jiaotong University（西安交通大学）
多目标强化学习旨在使智能体有能力完成多目标任务，这对于学习可扩展的机器人操作技能具有重要意义。然而，在多目标强化学习中，奖励工程总是需要付出艰苦的努力。此外，它会引入不可避免的偏见，导致最终政策的次优。稀疏奖励提供了一种简单而有效的方法来克服这些限制。但是，这也损害了勘探效率，甚至阻碍了政策的趋同。在本文中，我们提出了一个基于密度的课程学习方法，有效的探索与稀疏的奖励和更好的推广所需的目标分布。直观地说，我们的方法鼓励机器人沿着方向逐渐扩大其能力的边界，以尽可能多和尽可能快地覆盖整个所需的目标空间。为了进一步提高数据效率和通用性，我们在训练过程中在允许的区域内增加目标和转换。最后，我们评估我们的方法对各种各样的基准操作任务，是具有挑战性的现有方法。实证结果表明，我们的方法在数据效率和成功率方面都优于最先进的基线。
2021-09-24 cs.RO
Adaptive Curriculum Generation from Demonstrations for Sim-to-Real Visuomotor Control
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
我们提出了自适应课程生成演示（ACGD）的强化学习在稀疏奖励的存在。ACGD不是设计成形的奖励函数，而是通过控制从演示轨迹中采样的位置以及使用哪组模拟参数来自适应地为学习者设置适当的任务难度。我们表明，在模拟中训练基于视觉的控制策略，同时通过ACGD逐渐增加任务的难度，提高了向现实世界的策略转移。领域随机化的程度也随着任务难度的增加而逐渐增加。我们展示了两个现实世界的操作任务：拾取和堆装和块堆叠的zero-shot转移。显示结果的视频可以在https://lmb.informatik.uni-freiburg.de/projects/curriculum/上找到
2020-07-08 cs.CV cs.LG cs.RO
Trajectory First: A Curriculum for Discovering Diverse Policies
TU Berlin（柏林技术大学）；Robotics Institute（机器人研究所）
本文提出一种两阶段课程，通过轨迹先验生成多样化高奖励行为，再蒸馏为反应式策略，提升任务性能与行为多样性。
2026-08-14 cs.LG cs.RO
Curriculum goal masking for continuous deep reinforcement learning
Department of Informatics Universit\"at Hamburg Germany
深度强化学习最近已经获得了对策略或价值函数独立于目标的问题的关注。有证据表明，目标抽样对学习绩效有很强的影响，但缺乏一般的机制，专注于优化目标抽样过程。在这项工作中，我们提出了一个简单而通用的目标掩蔽方法，也使我们能够估计目标的难度水平，从而实现深度RL的课程学习方法。我们的研究结果表明，专注于中等难度的目标是适当的深度确定性策略梯度（DDPG）的方法，而“瞄准星星，达到月球的战略”，硬目标的采样比简单的目标，导致最好的学习性能的情况下，DDPG结合后见之明的经验重放（HER）。我们证明，该方法显着优于标准的目标采样不同的机器人对象操作问题。
2019-02-13 cs.LG stat.ML
Towards Disturbance-Free Visual Mobile Manipulation
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Allen Institute for AI（艾伦人工智能研究所）
深度强化学习已经在仿真中的大量机器人任务上显示出有希望的结果，包括视觉导航和操纵。以前的工作一般旨在建立体现代理，尽快解决他们分配的任务，而在很大程度上忽略了在交互过程中与对象碰撞所造成的问题。这种缺乏优先级的情况是可以理解的：破坏虚拟对象没有固有的成本。因此，“训练有素”的智能体在实现其主要目标之前经常与物体发生碰撞，这种行为在现实世界中将是灾难性的。在本文中，我们研究的问题，训练代理完成任务的视觉移动操作在ManipulaTHOR环境中，同时避免不必要的碰撞（干扰）与对象。我们将干扰避免公式化为奖励函数中的惩罚项，但发现直接使用这种惩罚性奖励进行训练通常会导致代理无法逃脱糟糕的局部最优解。相反，我们提出了一个两阶段的训练课程，代理人首先允许自由探索和建立基本的能力，而不惩罚，之后引入干扰惩罚，以完善代理人的行为。测试场景的结果表明，我们的课程不仅避免了这些糟糕的局部最优值，而且与我们最先进的基线相比，在没有干扰的情况下，成功率绝对提高了10%。此外，我们的课程比安全的RL算法（将碰撞避免作为约束）的性能要高得多。最后，我们提出了一种新的干扰预测辅助任务，加速学习。
2022-10-21 cs.CV cs.RO
Learning Multi-Objective Curricula for Robotic Policy Learning
McGill University（麦吉尔大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；IBM Research（IBM研究院）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Beijing Academy of AI（北京人工智能研究院）
为了提高深度强化学习（DRL）的样本效率和最终性能，已经提出了各种自动课程学习（ACL）方法。它们旨在控制DRL代理如何收集数据，这是受到人类如何逐渐适应其学习过程以适应其能力的启发。例如，ACL可用于子目标生成、奖励塑造、环境生成或初始状态生成。然而，先前的工作只考虑课程学习以下的上述预定义的范例之一。目前还不清楚这些范例中哪些是互补的，以及如何从与环境的相互作用中学习它们的组合。因此，在本文中，我们提出了一个统一的自动课程学习框架，以创建多目标，但连贯的课程，是由一组参数课程模块生成。每个课程模块被实例化为一个神经网络，并负责生成特定的课程。为了在统一的参数空间中协调这些潜在冲突的模块，我们提出了一个多任务超网学习框架，该框架使用单个超网来参数化所有这些课程模块。除了现有的手工设计的课程范例，我们进一步设计了一个灵活的记忆机制来学习一个抽象的课程，否则可能很难手动设计。我们评估我们的方法上的一系列机器人操作任务，并证明其优越性比其他国家的最先进的ACL方法的样本效率和最终性能。
2022-10-20 cs.AI cs.LG cs.RO
DemoStart: Demonstration-led auto-curriculum applied to sim-to-real with multi-fingered robots
Google DeepMind（谷歌DeepMind）
本研究提出DemoStart自动课程强化学习方法，仅靠仿真中少量演示和稀疏奖励即可让多指机械臂学习复杂操作，结合域随机化实现零样本仿真到现实迁移，性能优于真机演示学习策略且所需演示少100倍。
2024-09-12 cs.LG cs.RO
Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）
课程强化学习（CRL）旨在创建一系列任务，从简单的任务开始，逐渐向困难的任务学习。在这项工作中，我们专注于框架CRL作为源（辅助）和目标任务分布之间的插值的想法。虽然现有的研究已经表明了这一想法的巨大潜力，但仍然不清楚如何正式量化和生成任务分布之间的移动。受半监督学习中逐步领域自适应的启发，我们通过将CRL中潜在的大任务分布转移分解为较小的转移来创建自然课程。我们提出梯度，它制定CRL作为一个最佳的运输问题与量身定制的任务之间的距离度量。具体来说，我们生成一系列任务分布作为测地线插值（即，Wasserstein重心）之间的源和目标分布。与许多现有的方法不同，我们的算法考虑了任务相关的上下文距离度量，并且能够处理连续和离散上下文设置中的非参数分布。此外，我们从理论上表明，梯度，在一定条件下，在课程的后续阶段之间的顺利转移。我们在运动和操作任务中进行了广泛的实验，并表明我们提出的GRADIENT在学习效率和渐近性能方面比基线实现了更高的性能。
2022-10-18 cs.AI cs.LG
EV-WM: Event-Verified World Models for Long-Horizon Robotic Manipulation
AI Lab, Country Garden Services Group（碧桂园服务集团AI实验室）；Fudan University（复旦大学）；Omni AI
提出EA-WM框架，通过事件预测和验证增强预训练特征世界模型，实现长时域操作中任务进展信号的可靠评估与规划。
2026-06-16 cs.AI cs.RO
Deep Reinforcement Learning for Complex Manipulation Tasks with Sparse Feedback
Ben-Gurion University of the Negev（本-古里安大学）
从稀疏反馈中学习最优策略是强化学习中的一个已知挑战。后见之明经验重演（HER）是一种多目标强化学习算法，用于解决此类任务。该算法将每一次失败都视为在事件中实现的替代（虚拟）目标的成功，然后从该虚拟目标推广到真实目标。HER有已知的缺陷，并且仅限于相对简单的任务。在本论文中，我们提出了三个算法的基础上，现有的HER算法，提高其性能。首先，我们优先考虑虚拟目标，代理将从中学习更多有价值的信息。我们把这个属性称为虚拟目标的\textit{instructiveness}，并通过一个启发式度量来定义它，该度量表示代理将能够从虚拟目标概括到实际目标的程度。其次，我们设计了一个过滤过程，可以检测和删除可能在整个学习过程中引起偏差的误导性样本。最后，我们使用一种结合HER的课程学习形式来实现复杂的顺序任务的学习，我们称之为\textit{Curriculum HER}。为了测试我们的算法，我们构建了三个具有稀疏奖励函数的具有挑战性的操作环境。每个环境都有三个复杂级别。我们的实证结果表明，巨大的改善，在最终的成功率和样本效率相比，原来的HER算法。
2020-01-12 cs.LG stat.ML
VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation
College of Control Science and Engineering, Zhejiang University, Hangzhou, 310027, China（浙江大学控制科学与工程学院）
VTAO-BiManip通过结合视觉-触觉-动作预训练与物体理解，提升双臂灵巧操作的课程强化学习效果，实现超过现有方法20%的成功率。
2025-12-25 cs.CV cs.RO
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University（首尔大学）
提出一种无需任务特定知识的自主强化学习算法，通过自监督训练的成功判别器生成自适应课程，使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
Reverse Curriculum Generation for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Oxford Robotics Institute（牛津机器人研究所）；OpenAI；ICSI（国际计算机科学研究所）
许多相关的任务需要一个代理达到一定的状态，或操纵对象到所需的配置。例如，我们可能想要一个机器人将齿轮对准并组装到轴上，或者将钥匙插入并转动锁中。这些面向目标的任务对强化学习提出了相当大的挑战，因为它们的自然奖励函数是稀疏的，并且需要大量的探索才能达到目标并接收一些学习信号。过去的方法解决这些问题，利用专家示范或手动设计一个特定于任务的奖励塑造功能，以指导学习代理。相反，我们提出了一种方法来学习这些任务，而不需要任何先验知识，而不是获得一个单一的状态，在其中实现的任务。机器人被反向训练，逐渐学习从一组越来越远离目标的开始状态到达目标。我们的方法自动生成一个课程的开始状态，适应代理的性能，导致有效的培训目标为导向的任务。我们展示了我们的方法对困难的模拟导航和细粒度的操作问题，无法解决的最先进的强化学习方法。
2018-07-23 cs.AI cs.LG cs.NE
Fully Spiking Actor-Critic Neural Network for Robotic Manipulation
School of Astronautics（航天学院）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出基于全脉冲神经网络的混合课程强化学习框架，结合PPO算法、动态奖励调整与能耗建模，用于9自由度机械臂抓取任务，在Isaac Gym中验证了其优于传统ANN的能效与性能。
2025-08-16 cs.RO
SOLD: Slot Object-Centric Latent Dynamics Models for Relational Manipulation Learning from Pixels
University of Bonn（波恩大学）
本文提出 SOLD 算法，通过无监督学习像素输入中的对象中心潜在动力学模型，提升基于模型的强化学习在关系推理与操作任务上的可解释性和性能，并优于 DreamerV3 和 TD-MPC2。
2025-02-07 cs.AI cs.LG cs.RO
Learning Robotic Manipulation through Visual Planning and Acting
UC Berkeley（加州大学伯克利分校）；Technion（以色列理工学院）
规划机器人操作需要对机器人可能影响物体的变化进行推理。当这样的相互作用可以分析建模，如在刚性对象的域，有效的规划算法存在。然而，在家庭和工业领域，感兴趣的对象可以是软的或可变形的，并且难以分析地建模。对于这种情况，我们认为数据驱动的建模方法更合适。近年来，深度生成模型的进展产生了学习从数据中“想象”合理图像的方法。在最近的因果InfoGAN生成模型的基础上，在这项工作中，我们学习直接从机器人与对象的自监督交互的原始图像数据中想象目标导向的对象操作。在学习之后，给定系统的目标观察，我们的模型可以生成一个想象的计划-一系列图像，将对象转换为期望的目标。为了执行该计划，我们将其用作参考轨迹，以使用视觉伺服控制器进行跟踪，我们还从数据中学习逆动力学模型。在一个模拟的操作任务，我们表明，分离的问题，视觉规划和视觉跟踪控制是更有效的样本和更可解释的替代数据驱动的方法。我们进一步展示了我们在3种环境中学习想象和执行的方法，其中最后一种是PR 2机器人上的可变形绳索操作。
2019-05-11 cs.CV cs.LG cs.RO
A Simple Approach to Continual Learning by Transferring Skill Parameters
University of Southern California（南加州大学）；Amazon（亚马逊）
为了在现实世界中成为有效的通用机器，机器人不仅需要使其现有的操作技能适应新的环境，还需要在飞行中获得全新的技能。持续学习的一个伟大前景是赋予机器人这种能力，通过使用他们积累的知识和经验，从以前的技能。我们重新审视这个问题，通过考虑机器人仅限于以学习技能策略的形式存储知识和经验的设置。我们表明，存储技能的政策，仔细的预训练，并适当地选择何时转移这些技能的政策是足够的机器人操作的背景下，建立一个持续的学习者。我们分析了在具有挑战性的元世界模拟基准测试中需要哪些条件来转移技能。使用这种分析，我们引入了一个成对的度量相关的技能，使我们能够预测任务之间的技能转移的有效性，并使用它来减少课程选择的持续学习的问题。给定适当的课程，我们将展示如何不断地获得机器人操作技能而不会忘记，并使用比从头开始训练它们所需的样本少得多的样本。
2021-10-19 cs.LG cs.RO
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University（卡迪夫大学）
这项工作重新实现了OpenAI Gym多目标机器人操作环境，最初基于商业Mujoco引擎，到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能，我们证明了我们成功地重新实现了原始环境。此外，我们为用户提供新的API，通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤，多目标，长视野和稀疏奖励的机器人操作任务，旨在启发新的目标条件强化学习算法，这样的挑战。我们使用一个简单的，基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning
针对分层强化学习中低层策略更新导致子目标失效的问题，本文提出课程驱动框架 CRISP，通过基元知情解析、逆强化学习正则化和统一训练循环提升训练稳定性与样本效率，在多个机器人任务上成功率提升超过40%。
2025-08-17 cs.LG
Curriculum Learning with Hindsight Experience Replay for Sequential Object Manipulation Tasks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
从头开始学习复杂的任务是具有挑战性的，对于人类和人工智能来说往往是不可能的。可以使用课程，它将复杂任务（目标任务）分解为一系列源任务（课程）。每个源任务都是下一个源任务的简化版本，其复杂性不断增加。然后，通过在每个源任务上进行训练，同时使用来自课程的先前源任务的知识，逐渐进行学习。在这项研究中，我们提出了一个新的算法，结合课程学习与后见之明经验重放（HER），学习顺序对象操作任务的多个目标和稀疏反馈。该算法利用了许多对象操作任务中固有的递归结构，并在原始模拟中实现了整个学习过程，而无需针对每个源任务进行调整。我们已经在三个具有挑战性的投掷任务上测试了我们的算法，与vanilla-HER相比，我们的算法有了很大的改进。
2020-08-21 cs.AI cs.LG cs.NE
TEACH: Temporal Variance-Driven Curriculum for Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）
TEACH提出基于时间方差的课程学习方法，通过动态优先选择高不确定性目标，提升多目标强化学习的样本效率和策略学习效率。
2025-12-28 cs.LG
DexMachina: Functional Retargeting for Bimanual Dexterous Manipulation
Stanford University（斯坦福大学）；NVIDIA（英伟达）
针对包含铰接物体的长时程双手灵巧操作任务，提出基于课程学习的DexMachina算法，利用强度衰减的虚拟控制器引导策略接管控制，并发布仿真基准，显著超越基线方法且支持硬件设计比较。
2025-05-30 cs.AI cs.LG cs.RO
Asymmetric self-play for automatic goal discovery in robotic manipulation
OpenAI
我们训练一个单一的，目标条件的政策，可以解决许多机器人的操作任务，包括以前看不见的目标和对象的任务。我们依赖于非对称的自我游戏来进行目标发现，其中两个代理，Alice和Bob，进行游戏。爱丽丝被要求提出具有挑战性的目标，鲍勃的目标是解决这些问题。我们表明，这种方法可以发现高度多样化和复杂的目标，而无需任何人类先验知识。鲍勃可以只接受稀疏的奖励，因为爱丽丝和鲍勃之间的互动会产生一个自然的课程，鲍勃可以从爱丽丝的轨迹中学习，当爱丽丝被重新标记为目标条件演示时。最后，我们的方法可以扩展，从而产生一个单一的策略，可以推广到许多看不见的任务，如设置一个表，堆叠块，并解决简单的难题。学习策略的视频可在https://robotics-self-play.github.io上获得。
2021-01-13 cs.AI cs.CV cs.LG
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research（伯克利人工智能研究所）
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习，但实际上，现实世界中的强化学习具有挑战性，并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统，用于在没有人为干预的情况下，以自主的方式一起学习导航和操作，从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习，无需任何环境仪器，无需人为干预，也无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航，操纵政策的不确定性驱动器的导航控制器的探索，和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务，机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后，ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
RoboCoach: World Models as Active Coaches for Compositional Robot Skills
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；University of Nottingham（诺丁汉大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Shanghai Qizhi Institute（上海期智研究院）
本文提出ROBOCOACH，一个利用世界模型想象失败来指导演示获取和专家更新的教练框架，通过RIDI循环显著提升组合技能成功率，并在真实机器人上验证其有效性。
2026-10-01 cs.AI cs.RO
Automatic Curricula via Expert Demonstrations
Massachusetts Institute of Technology（麻省理工学院）；Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）
我们提出了自动课程通过专家演示（ACED），一个强化学习（RL）的方法，结合模仿学习和课程学习的想法，以解决具有挑战性的机器人操作任务与稀疏的奖励功能。课程学习通过引入一系列难度越来越大的辅助任务来解决复杂的RL任务，然而如何自动设计有效的、可推广的课程仍然是一个具有挑战性的研究问题。ACED从少量的专家演示轨迹中提取课程，将演示分为几个部分，并将训练片段初始化为从不同演示部分中采样的状态。通过将重置状态从演示的结束移动到开始，学习代理提高了其性能，ACED不仅学习了具有挑战性的操作任务，而且还发现了与演示不同的新解决方案。此外，ACED可以自然地与其他模仿学习方法相结合，以更有效的方式利用专家演示，我们表明，ACED与行为克隆的组合允许拾取和放置任务，学习与少至1示范和块堆叠任务，学习与20示范。
2022-02-06 cs.LG cs.RO
FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid
Department of Computer Science, University of Colorado Boulder（计算机科学系，科罗拉多大学博尔德分校）
FAME通过力自适应强化学习提升人形机器人在外部力作用下的平衡与操作稳定性，实验表明其在不同负载交互场景中表现优异。
2026-10-05 cs.RO
\textsc{Gen2Real}: Towards Demo-Free Dexterous Manipulation by Harnessing Generated Video
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；University of California, San Diego（加州大学圣地亚哥分校）
提出 \ extsc{Gen2Real} 框架，利用生成的视频替代人类演示，通过视频生成、物理感知轨迹优化和基于锚点的残差 PPO 策略学习机器人灵巧操作，在仿真抓取任务中实现 77.3\% 成功率并泛化至真实机器人。
2025-09-16 cs.RO
Robots that Collaborate: Sequential Asymmetric Imitation for Learning Coupled Robot Policies
Zeno AI；University of Sydney（悉尼大学）
提出序列非对称模仿（SAI），通过单操作员课程学习耦合多机器人行为，无需同步双操作员演示或显式通信，在真实双机器人操作任务中提升成功率与相位同步。
2026-09-01 cs.RO
DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Bengbu University（Bengbu大学）；UCSI University（UCSI大学）
本文提出DexSim2Real框架，结合基础模型引导的域随机化、触觉视觉交叉注意力策略和渐进技能课程，提升灵巧操作的仿真到现实迁移性能，实验表明其在现实世界中的成功率达到78.2%。
2026-05-03 cs.LG cs.RO
PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation
Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University, Beijing, 100084, China（计算机科学与技术系，人工智能研究院，清华-博世联合机器学习中心，THBI实验室，BNRist中心，清华大学，北京，100084，中国）；Peng Cheng Laboratory, 518108, China（鹏城实验室，518108，中国）
提出PACT框架，通过自演化后训练将预训练扩散策略投影到约束可行区域，无需演示数据或任务奖励，在降低31.0%安全违规的同时提升30.7%任务成功率。
2026-06-07 cs.AI cs.RO
EigenDEXplore: Structured Exploration for Dexterous Manipulation with Human Priors
Stanford University（斯坦福大学）
针对灵巧操作的高维探索难题，提出EigenDEXplore方法，利用人类运动先验沿特征向量添加相关扰动，在不改变动作空间的情况下提升探索效率，在多种任务和设置中优于现有基线。
2026-10-15 cs.AI cs.RO
Multimodal Spiking Neural Network for Space Robotic Manipulation
School of Astronautics, Harbin Institute of Technology（航天学院，哈尔滨工业大学）
本文提出一种用于空间站机械臂的基于脉冲神经网络的多模态控制框架，结合多源信息并采用双通道三阶段课程强化学习方案，在任务成功率和能效上优于基线方法，适用于星载资源受限的航空航天应用。
2025-08-10 cs.RO
Imagined Autocurricula
University College London AI Centre（伦敦大学学院人工智能中心）；University of Oxford（牛津大学）
本文提出 IMAC，通过世界模型生成想象环境并结合 UED 自动课程训练鲁棒智能体，仅用窄数据集即可在未见过的程序化环境中实现强迁移。
2025-09-28 cs.AI cs.LG
ReLAM: Learning Anticipation Model for Rewarding Visual Robotic Manipulation
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；School of Artificial Intelligence（人工智能学院）
针对真实视觉机器人操作中目标位置奖励不可得的问题，本文提出ReLAM框架，利用无动作视频学习关键点预期模型并生成结构化稠密奖励，在HRL中训练目标条件策略，显著提升长视野任务性能。
2025-09-26 cs.LG cs.RO
