Learning to Guide Multiple Heterogeneous Actors from a Single Human Demonstration via Automatic Curriculum Learning in StarCraft II
Army Research Laboratory（陆军研究实验室）；Columbia University（哥伦比亚大学）
传统上，通过直接行为克隆从人类示范中学习可以导致高性能的策略，因为该算法可以访问大量的高质量数据，这些数据涵盖了代理操作时最可能遇到的场景。然而，在现实世界的情况下，专家数据是有限的，它是期望的训练的代理，学习的行为策略一般足以处理的情况下，没有证明的人类专家。另一种选择是通过深度强化学习在没有监督的情况下学习这些策略，然而，这些算法需要大量的计算时间才能在高维状态和动作空间的复杂任务上表现良好，例如在星际争霸II中发现的那些。自动课程学习是一种最近的机制，包括设计用于通过根据代理的当前能力调整要解决的当前任务的难度来加速深度强化学习的技术。然而，对于足够复杂的任务，设计适当的课程可能具有挑战性，因此我们利用人类演示作为在训练期间指导代理探索的一种方式。在这项工作中，我们的目标是训练深度强化学习代理，可以命令多个异构演员的起始位置和任务的整体难度由一个自动生成的课程从一个单一的人类示范控制。我们的研究结果表明，通过自动课程学习训练的智能体可以超越最先进的深度强化学习基线，并在模拟的指挥和控制任务中与人类专家的表现相匹配。
2022-05-11 cs.LG cs.MA
C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
目标条件强化学习（RL）可以解决包括导航和操作在内的广泛领域的任务，但学习达到遥远的目标仍然是该领域的核心挑战。如果没有任何离线数据、专家演示和奖励塑造，学习如何达到这样的目标尤其困难。在本文中，我们提出了一个算法来解决遥远的目标达成任务，使用搜索在训练时自动生成一个课程的中间状态。我们的算法，分类器规划（C-规划），框架的学习目标条件的政策期望最大化：E-步骤对应于规划一个最佳序列的路点使用图搜索，而M-步骤的目的是学习一个目标条件的政策，以达到这些路点。与将目标条件强化学习与图搜索相结合的现有方法不同，我们的方法仅在训练期间执行搜索，而不是测试，从而显着降低了部署学习策略的计算成本。从经验上讲，我们证明了我们的方法是更有效的样本比以前的方法。此外，它能够解决非常长的视野操纵和导航任务，任务，以前的目标条件的方法和基于图搜索的方法无法解决。
2021-10-22 cs.AI cs.LG
Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics
University of Luebeck（吕贝克大学）；KION Group AG（凯傲集团股份公司）；Montanuniversität Leoben（莱奥本矿业大学）
我们提出了一种深度强化学习方法来解决仓库场景中的无地图导航问题。在我们的方法中，自动引导车辆配备了LiDAR和正面RGB传感器，并学习执行有针对性的导航任务。挑战在于用于学习的正样本的稀疏性、具有部分可观测性的多模态传感器感知、对精确转向机动的需求以及长训练周期。为了解决这些问题，我们提出NavACL-Q作为一种自动课程学习的方法，结合分布式版本的软演员-评论家算法。学习算法的性能在一个看不见的仓库环境中进行了详尽的评估，以验证学习策略的鲁棒性和通用性。NVIDIA Isaac Sim中的结果表明，经过训练的智能体的性能明显优于NVIDIA Isaac Sim提供的基于地图的导航管道，其智能体目标距离增加了3米，初始相对智能体目标旋转了45度。消融研究还表明，NavACL-Q极大地促进了学习过程，与随机开始的训练相比，性能增益约为40%，并且使用预训练的特征提取器明显提高了约60%的性能。
2022-03-16 cs.LG cs.RO
Towards Skilled Population Curriculum for Multi-Agent Reinforcement Learning
Nanyang Technological University（南洋理工大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；City University of Hong Kong（香港城市大学）
多智能体强化学习（MARL）的最新进展使智能体能够在复杂环境中协调其行为。然而，常见的MARL算法仍然遭受可扩展性和稀疏奖励问题。自动课程学习（ACL）是解决这些问题的一种有效途径。ACL涉及学生（课程学习者）在由教师（课程生成器）控制的难度增加的任务上的训练。尽管取得了成功，ACL的适用性是有限的（1）缺乏一个通用的学生框架来处理不同数量的代理跨任务和稀疏奖励问题，（2）教师的任务的非平稳性，由于不断变化的学生策略。作为ACL的补救措施，我们引入了一种新的自动课程学习框架，熟练人口课程（SPC），它适应课程学习多代理协调。具体来说，我们赋予学生群体不变的通信和层次技能集，使其能够从不同数量的代理的不同任务中学习合作和行为技能。此外，我们将教师建模为受学生政策限制的上下文强盗，使代理团队能够改变其大小，同时仍然保留先前获得的技能。我们还分析了这个多智能体自动课程教学问题的内在非平稳性，并提供了相应的遗憾界。实验结果表明，我们的方法提高了性能，可扩展性和样本效率在几个MARL环境。
2023-02-07 cs.AI cs.LG cs.MA
CQM: Curriculum Reinforcement Learning with a Quantized World Model
Seoul National University（首尔大学）；Automation and Systems Research Institute (ASRI)（自动化与系统研究所（ASRI））；Artificial Intelligence Institute of Seoul National University (AIIS)（首尔大学人工智能研究所（AIIS））
本文提出CQM方法，利用VQ-VAE和图自动构建语义目标空间，并生成不确定性与时序距离感知的课程目标，在仅给定原始目标示例的情况下提升课程强化学习的数据效率和性能。
2023-10-26 cs.AI cs.LG
Proximal Curriculum for Reinforcement Learning Agents
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文针对多任务强化学习中的自动课程设计问题，提出受最近发展区启发的 ProCuRL，并通过理论推导与深度 RL 实用变体验证其可加速训练。
2023-04-25 cs.LG
Automatic Curriculum Learning through Value Disagreement
UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）
不断解决新的、未解决的任务是学习不同行为的关键。通过强化学习（RL），我们在解决单一目标的任务方面取得了巨大的进步。然而，在多任务域中，智能体需要达到多个目标，训练目标的选择可以在很大程度上影响样本效率。当生物体学习时，通常有一个有组织的和有意义的学习顺序。受此启发，我们建议为代理需要解决的目标设置自动课程。我们的关键见解是，如果我们可以在智能体能够达到的目标集合的边界处对目标进行采样，那么与随机采样的目标相比，它将提供更强的学习信号。为了实现这一想法，我们引入了一个目标建议模块，优先考虑的目标，最大限度地提高认识的不确定性的Q函数的政策。这种简单的技术采样的目标对代理来说既不太难也不太容易解决，因此能够持续改进。我们在13个多目标机器人任务和5个导航任务中评估了我们的方法，并证明了与当前最先进的方法相比的性能增益。
2020-06-17 cs.AI cs.LG cs.RO
Efficient Mitigation of Bus Bunching through Setter-Based Curriculum Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出一种基于设置者模型的自动课程学习方法，动态生成动作空间、对手强度等，以高效缓解公交串车问题，提升强化学习训练效率与性能。
2024-05-23 cs.AI cs.LG
Robust Reinforcement Learning via Genetic Curriculum
Carnegie Mellon University（卡内基梅隆大学）
在安全关键系统中应用深度强化学习（RL）时，实现鲁棒性能至关重要。一些最先进的方法试图解决对抗性代理的问题，但这些代理通常需要专家监督来微调并防止对手对受训代理变得过于具有挑战性。虽然其他方法涉及在训练期间自动调整环境设置，但它们仅限于可以使用低维编码的简单环境。受这些方法的启发，我们提出了遗传课程，一种算法，自动识别的情况下，代理目前失败，并生成一个相关的课程，以帮助代理学习解决的情况下，获得更强大的行为。作为一个非参数优化器，我们的方法使用一个原始的，非固定的编码方案，减少了对专家监督的需要，并允许我们的算法，以适应不断变化的代理性能。我们的实证研究表明，与现有的最先进的算法相比，鲁棒性有所提高，提供的培训课程使代理失败的可能性降低2 - 8倍，而不会牺牲累积奖励。我们包括一项消融研究，并分享我们的算法优于先前方法的原因。
2022-02-17 cs.LG cs.RO
Trying AGAIN instead of Trying Longer: Prior Learning for Automatic Curriculum Learning
INRIA（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
深度RL（DRL）社区的一个主要挑战是训练能够在看不见的情况下进行概括的代理，这通常是通过在各种任务（或环境）上训练他们来实现的。培养多样性的一个强大方法是通过从多维分布中采样任务的参数来程序化地生成任务，特别是能够为每个训练片段提出不同的任务。在实践中，为了获得泛化所需的训练任务的高度多样性，必须使用复杂的过程生成系统。使用这种生成器，很难获得关于实际上可学习的任务子集的先验知识（许多生成的任务可能是不可学习的），它们的相对难度是什么，以及什么是最有效的任务分布排序。在这种情况下，一个典型的解决方案是依赖于某种形式的自动课程学习（ACL）来适应采样分布。当前方法的一个限制是它们需要探索任务空间以检测随着时间的推移的进度小生境，这导致时间损失。此外，我们假设在训练数据中的诱导噪声可能会损害脆性DRL学习器的性能。我们解决这个问题，提出了一个两阶段的ACL方法，其中1）教师算法首先学习训练DRL代理与高探索课程，然后2）从第一次运行中提取学习先验生成一个“专家课程”从头开始重新训练相同的代理。除了展示平均50%的改进，比目前的最先进的，这项工作的目标是给一个新的研究方向，面向完善ACL技术在多个学习者，我们称之为课堂教学的第一个例子。
2020-04-07 cs.AI cs.LG stat.ML
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Generating Automatic Curricula via Self-Supervised Active Domain Randomization
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Element AI（元素人工智能公司）；CIFAR AI Chair（加拿大高级研究院人工智能讲席）
目标导向的强化学习（RL）传统上认为智能体与环境交互，规定与完成某个目标成比例的真实价值奖励给智能体。目标导向的强化学习在样本效率方面有很大的提高，这是因为通过提出目标可以很容易地重用或生成新的经验。一种方法，自我游戏，允许代理通过交替设置和完成目标来与自己"玩"，创建一个学习课程，通过该课程，代理可以学习逐步完成更困难的目标。然而，自我游戏仅限于目标课程学习或在单一环境中逐步学习更难的目标。最近关于机器人代理的工作表明，在训练期间改变环境（例如域随机化）可以导致更鲁棒的传输。因此，我们扩展了自我发挥的框架，共同学习的目标和环境课程，导致学习最富有成效的域随机化策略与自我发挥的方法。我们的方法，自我监督主动域随机化（SS-ADR），生成一个耦合的目标任务课程，代理学习通过逐步更困难的任务和环境变化。通过鼓励代理尝试其当前能力之外的任务，SS-ADR构建了一个域随机化课程，可以在各种sim2real传输任务上实现最先进的结果。我们的研究结果表明，一个共同发展的环境难度的课程，在每个环境中设定的目标的难度提供了实际的好处，在目标导向的任务测试。
2020-10-26 cs.AI cs.LG cs.RO
Accelerate Multi-Agent Reinforcement Learning in Zero-Sum Games with Subgame Curriculum Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Luma AI；Carnegie Mellon University（卡内基梅隆大学）
针对零和博弈中多智能体强化学习计算成本高的问题，提出子博弈课程学习框架及SACL算法，通过自适应初始状态分布等技术加速NE学习，实验验证其策略更优、样本效率更高。
2023-12-16 cs.LG
Curriculum-based Asymmetric Multi-task Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Tencent Inc.（腾讯公司）；JD.com Inc.（京东集团）
我们介绍CAMRL，第一个基于非对称多任务学习（AMTL）算法，用于处理多个强化学习（RL）任务。为了减轻基于CAMRL的AMTL中定制一次性训练顺序的负面影响，CAMRL根据训练时间、总体性能和任务间性能差距的指标，在并行单任务RL和非对称多任务RL（MTRL）之间切换其训练模式。为了灵活地利用多源先验知识并减少AMTL中的负传递，我们定制了具有多个可微排序函数的复合损失，并通过交替优化和Frank-Wolfe算法来优化损失。基于不确定性的超参数自动调整也被应用于消除在优化过程中费力的超参数分析的需要。通过优化复合损失，CAMRL预测下一个训练任务，并不断重新访问传递矩阵和网络权重。我们已经在多任务RL中进行了广泛的基准测试，包括Gym-minigrid，Meta-world，Atari视频游戏，基于视觉的PyBullet任务和RLBench，以显示CAMRL相对于相应的单任务RL算法和最先进的MTRL算法的改进。代码可在以下网址获得：https://github.com/huanghanchi/CAMRL
2022-11-07 cs.LG
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Learning Curriculum Policies for Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习中的课程学习是一种训练方法，其旨在通过首先对一系列简单任务进行训练并将所获得的知识转移到目标任务来加速对困难目标任务的学习。自动选择一系列这样的任务（即课程）是一个开放的问题，一直是最近在这一领域的工作的主题。在本文中，我们建立在最近的课程设计方法，制定课程排序问题作为一个马尔可夫决策过程。我们扩展了这个模型来处理多个迁移学习算法，并首次表明，这个MDP的课程政策可以从经验中学习。我们探索各种表示，使这成为可能，并评估我们的方法，学习课程政策的多个代理在两个不同的领域。结果表明，我们的方法产生的课程，可以训练代理执行目标任务的速度或速度比现有的方法。
2018-12-01 cs.AI cs.LG stat.ML
Self-Paced Deep Reinforcement Learning
Intelligent Autonomous Systems, Technische Universität Darmstadt（达姆施塔特工业大学智能自主系统（Intelligent Autonomous Systems, Technische Universität Darmstadt））；Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系（Department of Electrical Engineering and Automation, Aalto University））
课程强化学习（CRL）通过在整个学习过程中将智能体暴露于一系列定制的任务来提高智能体的学习速度和稳定性。尽管取得了经验上的成功，但CRL中的一个悬而未决的问题是如何为给定的强化学习（RL）代理自动生成课程，避免手动设计。在本文中，我们提出了一个答案，通过解释课程生成的推理问题，在任务的分布逐步学习接近目标任务。这种方法导致自动课程生成，其速度由代理控制，具有坚实的理论动机，并且易于与深度RL算法集成。在所进行的实验中，使用所提出的算法生成的课程显着提高了几种环境和深度RL算法的学习性能，匹配或优于现有的最先进的CRL算法。
2020-10-23 cs.AI cs.LG stat.ML
DHRCL:Training Code LLMs with Dense Hierarchical Rewards and Curriculum Learning
该研究提出DHRCL框架，通过分层奖励与自动阶段课程学习训练代码大语言模型，经多模型规模实验验证其优势稳定，优于多种基线方法。
2026-08-05 cs.LG
Parallelized Reverse Curriculum Generation
National Taiwan University（台湾大学）
对于强化学习（RL），由于稀疏的奖励，智能体掌握需要特定一系列动作的任务是具有挑战性的。为了解决这个问题，反向课程生成（RCG）提供了一个反向扩展的方法，自动生成一个课程的代理学习。更具体地说，随着训练的进行，RCG将初始状态分布从目标的邻域调整到距离。然而，为每次迭代生成的初始状态分布可能是有偏的，从而使策略过拟合或减慢反向扩展速率。在为基于行动者-评论者（AC）的RL算法训练RCG时，AC对之间的紧密耦合可能导致这种较差的泛化和缓慢的收敛。因此，我们提出了一种并行化的方法，同时训练多个AC对，并定期交换他们的批评。实验表明，该方法可以提高RCG的性能和收敛性，它也可以应用到其他AC为基础的RL算法与适应的初始状态分布。
2021-08-04 cs.LG cs.RO
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory（海军研究实验室）；Brown University（布朗大学）；University of Maryland（马里兰大学）
针对强化学习中自动生成课程的难题，提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系，结合预期改进度加权任务的算法，在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
Multi-task curriculum learning in a complex, visual, hard-exploration domain: Minecraft
OpenAI（开放人工智能研究中心）
强化学习的一个重要挑战是训练能够解决各种任务的智能体。如果任务相互依赖（例如，在学习跑步之前需要学习走路），则课程学习可以通过专注于下一个最佳学习任务来加快学习速度。我们在一个复杂的视觉领域探索课程学习，这个领域有许多艰难的探索挑战：Minecraft。我们发现，学习进度（定义为一个任务的成功概率的变化）是一个可靠的衡量自动构建一个有效的课程的可学习性。我们引入了一个基于学习进度的课程，并测试了一个复杂的强化学习问题（称为“西蒙说”），其中代理被指示获得所需的目标项目。许多所需的技能相互依赖。实验证明：（1）用于获得新项目的剧集内探索奖励提高了性能，（2）在训练中动态地调整该奖励，使得其仅适用于代理不能可靠地获得的项目，还进一步提高了性能，（3）基于学习进度的课程优雅地遵循代理的学习曲线，（4）当基于学习进展的课程与动态探索奖金相结合时，它的学习效率和绩效远高于统一基线。这些结果表明，将集内和跨训练探索奖金与学习进度相结合，为自动课程生成创建了一种有前途的方法，这可能会大大提高我们训练更有能力的智能代理的能力。
2021-06-28 cs.LG stat.ML
Diverse and Adaptive Behavior Curriculum for Autonomous Driving: A Student-Teacher Framework with Multi-Agent RL
FZI Research Center for Information Technology（弗赖堡研究所信息科技研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出了一种学生-教师框架，通过自适应课程学习生成多样化交通行为，提升自动驾驶的鲁棒性和泛化能力。
2026-03-06 cs.LG cs.RO
Learning Multi-Objective Curricula for Robotic Policy Learning
McGill University（麦吉尔大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；IBM Research（IBM研究院）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Beijing Academy of AI（北京人工智能研究院）
为了提高深度强化学习（DRL）的样本效率和最终性能，已经提出了各种自动课程学习（ACL）方法。它们旨在控制DRL代理如何收集数据，这是受到人类如何逐渐适应其学习过程以适应其能力的启发。例如，ACL可用于子目标生成、奖励塑造、环境生成或初始状态生成。然而，先前的工作只考虑课程学习以下的上述预定义的范例之一。目前还不清楚这些范例中哪些是互补的，以及如何从与环境的相互作用中学习它们的组合。因此，在本文中，我们提出了一个统一的自动课程学习框架，以创建多目标，但连贯的课程，是由一组参数课程模块生成。每个课程模块被实例化为一个神经网络，并负责生成特定的课程。为了在统一的参数空间中协调这些潜在冲突的模块，我们提出了一个多任务超网学习框架，该框架使用单个超网来参数化所有这些课程模块。除了现有的手工设计的课程范例，我们进一步设计了一个灵活的记忆机制来学习一个抽象的课程，否则可能很难手动设计。我们评估我们的方法上的一系列机器人操作任务，并证明其优越性比其他国家的最先进的ACL方法的样本效率和最终性能。
2022-10-20 cs.AI cs.LG cs.RO
Automatic Curricula via Expert Demonstrations
Massachusetts Institute of Technology（麻省理工学院）；Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）
我们提出了自动课程通过专家演示（ACED），一个强化学习（RL）的方法，结合模仿学习和课程学习的想法，以解决具有挑战性的机器人操作任务与稀疏的奖励功能。课程学习通过引入一系列难度越来越大的辅助任务来解决复杂的RL任务，然而如何自动设计有效的、可推广的课程仍然是一个具有挑战性的研究问题。ACED从少量的专家演示轨迹中提取课程，将演示分为几个部分，并将训练片段初始化为从不同演示部分中采样的状态。通过将重置状态从演示的结束移动到开始，学习代理提高了其性能，ACED不仅学习了具有挑战性的操作任务，而且还发现了与演示不同的新解决方案。此外，ACED可以自然地与其他模仿学习方法相结合，以更有效的方式利用专家演示，我们表明，ACED与行为克隆的组合允许拾取和放置任务，学习与少至1示范和块堆叠任务，学习与20示范。
2022-02-06 cs.LG cs.RO
Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment
以人为本的AI考虑人类体验与AI性能。虽然大量的研究一直在帮助人工智能通过全自动或弱监督学习来实现超人的表现，但很少有人尝试人工智能如何在细粒度输入的情况下根据人类的偏好技能水平进行调整。在这项工作中，我们通过从人类决策过程中学习，将课程强化学习结果引导到一个既不太难也不太容易的首选性能水平。为了实现这一目标，我们开发了一个便携式，交互式平台，使用户能够通过操纵任务难度，观察性能，并提供课程反馈在线与代理进行交互。我们的系统是高度并行化的，使人类能够在没有服务器的情况下训练需要数百万样本的大规模强化学习应用程序。结果证明了涉及人在回路的强化学习交互式课程的有效性。这表明强化学习的性能可以成功地与人类期望的难度水平同步调整。我们相信这项研究将为实现流动和个性化适应困难打开新的大门。
2022-08-04 cs.AI cs.HC cs.LG
Task Phasing: Automated Curriculum Learning from Demonstrations
Texas A&M University（德克萨斯A&M大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼AI）
将强化学习（RL）应用于稀疏奖励域是众所周知的挑战，因为指导信号不足。解决这些领域的常见RL技术包括（1）示教学习和（2）课程学习。虽然对这两种方法进行了详细的研究，但很少将它们放在一起考虑。本文的目的是这样做，通过引入一个原则性的任务分阶段的方法，使用演示自动生成的课程序列。使用逆RL（次优）演示，我们定义了一个简单的初始任务。然后，我们的任务分阶段方法提供了一个框架，逐渐增加任务的复杂性，直到目标任务，同时在每次分阶段迭代中重新调整RL代理。考虑了两种分阶段的方法：（1）逐渐增加RL代理控制的时间步长的比例，以及（2）逐步取消指导信息奖励函数。我们提出的条件，保证这些方法的收敛到一个最优的政策。在3个稀疏奖励域上的实验结果表明，我们的任务分阶段方法在渐近性能方面优于最先进的方法。
2023-03-28 cs.AI cs.LG
Self-Evolving Curriculum for LLM Reasoning
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；KAIST（韩国科学技术院）；Microsoft Research（微软研究院）；ServiceNow AI Research（ServiceNow人工智能研究院）
针对大语言模型RL微调中现有课程方法效果不佳、成本高的问题，提出将课程选择建模为非平稳多臂老虎机的自进化课程方法，可同步学习课程策略，显著提升多领域推理能力与泛化性，实现技能均衡。
2025-10-30 cs.AI cs.LG
Learning Progress Driven Multi-Agent Curriculum
针对多智能体强化学习自动课程中回报方差高和信用分配难的问题，提出基于 TD-error 学习进度并在智能体数量分布上推进课程的方法，在三个稀疏奖励基准上优于现有基线。
2025-05-15 cs.AI cs.LG cs.MA
Tracking Control for a Spherical Pendulum via Curriculum Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI（德国人工智能研究中心）；Centre of Cognitive Science（认知科学中心）；Aalto University（阿尔托大学）
本文将自动课程构建算法与并行仿真RL结合，利用尊重非欧几里得结构的优化生成轨迹课程，为机械臂球面摆学习跟踪控制器，并在真实系统上达到最优控制基线性能。
2023-09-25 cs.LG cs.RO
Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们描述了一个简单的计划，允许代理学习其环境中的无监督的方式。我们的方案让同一个代理人的两个版本，Alice和Bob，相互对抗。爱丽丝提出一个任务让鲍勃完成，然后鲍勃试图完成这个任务。在这项工作中，我们将重点放在两种环境：（几乎）可逆的环境和环境，可以重置。爱丽丝将通过做一系列动作来“提出”任务，然后鲍勃必须分别撤销或重复它们。通过适当的奖励结构，Alice和Bob自动生成探索课程，从而实现对智能体的无监督训练。当Bob被部署在环境中的RL任务上时，这种无监督训练减少了学习所需的监督片段的数量，并且在某些情况下收敛到更高的奖励。
2018-04-27 cs.LG
Raising Student Completion Rates with Adaptive Curriculum and Contextual Bandits
Korbit Technologies Inc.（Korbit科技公司）；University of Bath（巴斯大学）
提出了一种自适应学习的智能教学系统，该系统采用基于基于模型的强化学习，以情境强盗的形式为学生分配学习活动。该模型根据数千名学生的轨迹进行训练，以最大限度地提高他们的练习完成率，并继续在线学习，自动调整自己以适应新的活动。一项针对学生的随机对照试验表明，与其他方法相比，我们的模型导致了更高的完成率和显着提高的学生参与度。我们的方法是全自动的，为学习体验个性化提供新的机会。
2022-07-28 cs.AI cs.CL cs.CY
Reward-Machine-Guided, Self-Paced Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出奖励机引导的自定进度强化学习算法，通过将任务结构先验同时融入策略值函数更新和课程生成，显著提升了长期规划任务中的学习可靠性、课程效率与稳定性。
2023-05-25 cs.LG
Automated curricula through setter-solver interactions
DeepMind（深度思维）；Stanford University（斯坦福大学）
强化学习算法使用策略和奖励之间的相关性来提高代理性能。但在动态或奖励稀疏的环境中，这些相关性往往太小，或者奖励事件太少，使学习变得可行。相反，人类的教育依赖于课程--将任务分解为更简单、静态的挑战和密集的奖励--以建立复杂的行为。虽然课程对人工代理也很有用，但手工制作它们很耗时。这促使研究人员探索自动课程生成。在这里，我们将探讨在丰富的动态环境中自动生成课程。使用设置-求解范例，我们考虑目标的有效性，目标的可行性和目标覆盖率，以构建有用的课程的重要性。我们展示了我们的方法在丰富但回报稀少的2D和3D环境中的成功，在这些环境中，代理的任务是实现从一组可能的目标中选择的单个目标，这些目标在不同的情节之间变化，并确定未来工作的挑战。最后，我们证明了一种新的技术，引导代理朝着一个理想的目标分布的价值。总而言之，这些结果代表了一个实质性的一步，应用自动任务课程学习复杂的，否则无法学习的目标，并据我们所知，是第一个展示自动课程生成的目标条件代理的环境中，可能的目标不同的情节。
2020-01-22 cs.AI cs.LG stat.ML
Mix&Match - Agent Curricula for Reinforcement Learning
DeepMind（深度思维）
我们介绍了混合与匹配（M&M）-一个培训框架，旨在促进快速有效的学习RL代理，特别是那些太慢或太具有挑战性的训练，否则。关键的创新是一个程序，使我们能够自动形成一个课程的代理。通过这样的课程，我们可以逐步训练更复杂的代理，有效地，从简单的代理发现的解决方案引导。与典型的课程学习方法不同，我们不会逐渐修改所提出的任务或环境，而是使用一个过程来逐渐改变政策在内部的表现方式。我们展示了我们的方法的广泛适用性，在三个不同的实验设置中表现出显着的性能增益：（1）我们训练代理能够控制700多个动作，在一个具有挑战性的3D第一人称任务;使用我们的方法，通过动作空间课程的进展，我们实现了更快的训练和更好的最终性能比一个获得使用传统方法。(2)我们进一步表明，M&M可以成功地用于通过定义代理内部状态的建筑变体课程的进展。(3)最后，我们说明了我们的方法的一个变体可以用来提高代理性能在多任务设置。
2018-06-05 cs.LG stat.ML
Curriculum Reinforcement Learning for Complex Reward Functions
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文针对多奖励项复杂奖励函数中难以平衡且易被利用的问题，提出一种两阶段奖励课程方法，先优化简单奖励再自动过渡到完整复杂奖励，并引入灵活replay buffer实现高效阶段迁移，在DeepMind control suite和移动机器人场景中显著提升了策略性能与约束满足能力。
2025-02-10 cs.LG cs.RO
Reinforcement Learning with Success Induced Task Prioritization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI；Federal Research Center “Computer Science and Control” of the Russian Academy of Sciences（俄罗斯科学院联邦研究中心“计算机科学与控制”）
许多具有挑战性的强化学习（RL）问题需要设计一个可以应用于训练有效策略的任务分布。这种任务分配可以由课程规定。课程是为了提高学习的效果和加速学习，我们介绍了成功诱导的任务优先级（SITP），自动课程学习的框架，其中的任务序列是根据每个任务的成功率创建的。在此设置中，每个任务都是通过算法创建的具有唯一配置的环境实例。该算法选择的任务，提供最快的学习代理的顺序。选择任何任务进行下一阶段学习的概率是通过评估其在先前阶段中的表现得分来确定的。实验在部分可观测网格环境下的多代理（POGEMA）和Procgen基准进行。我们证明，SITP匹配或超越其他课程设计方法的结果。我们的方法可以通过对任何标准RL框架进行少量修改来实现，并以最小的计算开销提供有用的优先级。
2022-12-30 cs.AI cs.LG
GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出GanitLLM模型及新的难度感知孟加拉数学语料库和基于课程的GRPO流程，提升低资源环境下孟加拉数学推理能力。
2026-04-19 cs.AI cs.CL cs.LG
Safe Reinforcement Learning via Curriculum Induction
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
在安全关键型应用中，自主智能体可能需要在错误代价非常高昂的环境中学习。在这样的设置中，代理不仅需要在学习之后而且在学习期间安全地行为。为了实现这一点，现有的安全强化学习方法使智能体依赖于先验知识，使其在探索过程中以高概率避免危险情况，但先验知识中固有的概率保证和平滑假设在许多感兴趣的场景中都是不可行的，例如自动驾驶。本文提出了一种受人类教学启发的替代方法，在该方法中，代理在自动教练的监督下学习，从而避免代理在学习过程中违反约束。在这个模型中，我们引入了监视器，既不需要知道如何做好代理正在学习的任务，也不需要知道环境是如何工作的。相反，它有一个重置控制器库，当代理开始危险行为时，它会激活该库，以防止它造成损害。至关重要的是，选择在何种情况下应用哪种重置控制器会影响代理学习的速度。基于观察代理的进展，教师本身学习用于选择重置控制器的策略，课程，以优化代理的最终策略奖励。我们的实验使用这个框架在两个环境中诱导课程的安全和有效的学习。
2021-01-21 cs.AI cs.LG cs.RO
Reverse Curriculum Generation for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Oxford Robotics Institute（牛津机器人研究所）；OpenAI；ICSI（国际计算机科学研究所）
许多相关的任务需要一个代理达到一定的状态，或操纵对象到所需的配置。例如，我们可能想要一个机器人将齿轮对准并组装到轴上，或者将钥匙插入并转动锁中。这些面向目标的任务对强化学习提出了相当大的挑战，因为它们的自然奖励函数是稀疏的，并且需要大量的探索才能达到目标并接收一些学习信号。过去的方法解决这些问题，利用专家示范或手动设计一个特定于任务的奖励塑造功能，以指导学习代理。相反，我们提出了一种方法来学习这些任务，而不需要任何先验知识，而不是获得一个单一的状态，在其中实现的任务。机器人被反向训练，逐渐学习从一组越来越远离目标的开始状态到达目标。我们的方法自动生成一个课程的开始状态，适应代理的性能，导致有效的培训目标为导向的任务。我们展示了我们的方法对困难的模拟导航和细粒度的操作问题，无法解决的最先进的强化学习方法。
2018-07-23 cs.AI cs.LG cs.NE
Bidirectional Voronoi-biased Exploration Curriculum for Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；NVIDIA（英伟达）
针对稀疏奖励长时程任务，提出双向Voronoi偏置探索课程（BVER），从目标与初始状态两端同时扩展，加速目标条件强化学习，实验显示显著优于单侧扩展方法。
2026-10-05 cs.LG cs.RO
Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
针对强化学习中多样化技能学习困难的问题，本文提出Di-SkilL方法，通过专家混合将技能建模为上下文运动基元，并利用基于能量的模型实现自动课程学习，从而在机器人仿真任务中学习多样化且高性能的技能。
2024-06-10 cs.LG cs.RO
Learning on the Job: Test-Time Curricula for Targeted Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本研究提出TTC-RL方法，通过智能体自动构建任务相关的测试时课程并结合强化学习继续训练模型，在数学与编程基准上显著提升了模型性能，拓展了测试时缩放范式的应用场景。
2025-10-06 cs.AI cs.LG
LXPER Index: a curriculum-specific text readability assessment model for EFL students in Korea
Research & Development Center（研发中心）；LXPER, Inc.（LXPER公司）；University of Pennsylvania（宾夕法尼亚大学）
自动可读性评估是自然语言处理在教育领域的重要应用之一。由于自动可读性评估允许快速选择合适的阅读材料，为读者在所有水平的熟练程度，它可以是特别有用的英语教育的英语作为外语（EFL）的学生在世界各地。大多数可读性评估模型是为英语母语读者开发的，并且对于非母语英语语言培训（ELT）课程中的文本准确性较低。本文介绍了LXPER指数，这是韩国英语课程中针对非英语母语读者的可读性评估模型。我们的实验表明，我们的新模型，训练与CoKEC-text（韩国英语教学课程的文本语料库），显着提高了自动可读性评估的准确性，在韩国英语教学课程的文本。
2020-08-01 cs.CL cs.LG
It Takes Four to Tango: Multiagent Selfplay for Automatic Curriculum Generation
UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
我们有兴趣训练通用的强化学习代理，可以解决各种各样的目标。有效地训练这样的代理需要自动生成目标课程。这是具有挑战性的，因为它需要（a）探索难度增加的目标，同时确保代理（b）以样本有效的方式暴露于不同的目标集合，并且（c）不会灾难性地忘记先前解决的目标。我们提出了课程自我发挥（CuSP），自动目标生成框架，旨在满足这些desiderata凭借一个多人游戏与四个代理。我们扩展了PAIRED中的非对称课程学习（Dennis等人，2020）到一个对称的游戏，仔细平衡两个政策外的学生学习者和两个遗憾最大化的教师之间的合作和竞争。CuSP还引入了熵目标覆盖率，并考虑了学生的非平稳性质，使我们能够自动诱导一个平衡渐进探索与反灾难性剥削的课程。我们证明，我们的方法成功地生成一个有效的课程的目标范围内的控制任务，优于其他方法在zero-shot测试时推广到新的分布外的目标。
2022-02-22 cs.AI cs.LG cs.MA
CurricuLLM: Automatic Task Curricula Design for Learning Complex Robot Skills using Large Language Models
University of California Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Apple（苹果公司）
针对强化学习中课程设计需领域知识和人工干预的问题，提出CurricuLLM，利用大型语言模型的规划与编程能力自动设计任务课程，在多机器人环境中实现复杂技能高效学习并通过仿真与实体验证。
2025-04-14 cs.LG cs.RO cs.SY
Teacher-Student Curriculum Learning
University of Tartu（塔尔图大学）；OpenAI；University of Amsterdam（阿姆斯特丹大学）
我们提出了教师-学生课程学习（TSCL），自动课程学习的框架，其中学生试图学习一个复杂的任务和教师自动选择子任务从一个给定的集合为学生训练上。我们描述了一个家庭的教师算法，依赖于直觉，学生应该实践更多的任务，它使最快的进展，即学习曲线的斜率最高的位置。此外，教师算法还通过选择学生表现越来越差的任务来解决遗忘问题。我们证明了TSCL在两个任务中匹配或超越了精心手工制作的课程的结果：使用LSTM添加十进制数和在Minecraft中导航。使用我们自动生成的课程能够解决Minecraft迷宫，当直接训练解决迷宫时根本无法解决，并且学习比子任务的均匀采样快一个数量级。
2017-11-29 cs.AI cs.LG
Curriculum reinforcement learning with measurable task representation learning
Harbin Institute of Technology（哈尔滨工业大学）；Fuzhou University（福州大学）；China Academy of Sciences（中国科学院）
提出一种基于可度量任务表征学习的自动课程生成方法，通过变分自编码器将任务空间映射到具有相似性度量的潜在空间，并据此生成逐步接近目标任务的课程，在复杂导航任务中优于现有插值和生成对抗网络方法。
2026-05-22 cs.AI cs.LG
Curriculum reinforcement learning for quantum architecture search under hardware errors
Leiden University（莱顿大学）；Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息研究所）；Silesian University of Technology（西里西亚工业大学）；Warsaw University of Technology（华沙工业大学）；Lorentz Institute（洛伦兹研究所）；LIACS, Leiden University（莱顿大学高级计算机科学研究所）
针对噪声环境下量子架构搜索的空白，提出基于课程的强化学习算法CRLQAS，通过3D编码、回合停止和SPSA优化器，在量子化学任务中优于现有算法。
2024-02-05 cs.AI cs.LG quant-ph
Intrinsically Motivated Goal Exploration Processes with Automatic Curriculum Learning
Inria Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南中心）
内在动机的自发探索是人类儿童自主发展学习的关键因素。它使技能库的发现，通过autotelic学习，即自我生成，自我选择，自我排序和自我实验的学习目标。我们提出了一种算法方法，称为内在动机的目标探索过程（IMGEP），使机器中的自主学习的类似属性。IMGEP架构依赖于几个原则：1）自我生成的目标，概括为参数化的适应度函数; 2）选择目标的基础上的内在回报; 3）探索与增量目标参数化的政策搜索和开发与一批学习算法; 4）系统重用的信息时获得的目标，以改善对其他目标。我们提出了一种特别有效的形式IMGEP，称为AMB，它使用基于人口的政策和以对象为中心的时空模块化。我们提供了这种架构的几个实现，并展示了他们的能力，自动生成一个学习课程在几个实验设置。这些实验之一包括一个真正的人形机器人探索多个空间的目标与数百个连续的维度和干扰。虽然没有特定的目标是提供给这些autotelic代理，这个课程允许发现不同的技能，作为学习更复杂的技能，例如嵌套的工具使用的垫脚石。
2022-05-05 cs.AI cs.LG
Automatic Goal Generation for Reinforcement Learning Agents
UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）；International Computer Science Institute (ICSI)（国际计算机科学研究所）
强化学习是一种训练智能体执行任务的强大技术。然而，使用强化学习训练的智能体只能实现通过其奖励函数指定的单个任务。这种方法不能很好地扩展到智能体需要执行各种任务的设置，例如导航到房间中的不同位置或将对象移动到不同位置。相反，我们提出了一种方法，允许代理自动发现它能够执行的任务范围。我们使用一个生成器网络来提出代理试图实现的任务，指定为目标状态。生成器网络使用对抗训练进行优化，以生成始终处于适当难度水平的任务。因此，我们的方法自动产生一个课程的任务代理学习。我们表明，通过使用这个框架，代理可以有效地和自动地学习执行广泛的任务，而不需要任何先验知识的环境。我们的方法还可以学习以稀疏的奖励完成任务，这在传统上构成了重大挑战。
2018-07-23 cs.AI cs.LG cs.RO
MAESTRO: Open-Ended Environment Design for Multi-Agent Reinforcement Learning
Meta AI；University College London（伦敦大学学院）；UC Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
自动生成越来越具有挑战性的任务的课程的开放式学习方法是一种有希望的途径，可以实现一般能力的强化学习代理。现有的方法适应课程独立于环境参数（在单代理设置）或合作伙伴的政策（在多代理设置）。然而，共同参与者的优势和劣势可能会因环境特征而有所不同。因此，它是至关重要的，以考虑环境和合作伙伴之间的依赖关系时，在多智能体领域塑造的课程。在这项工作中，我们使用这种洞察力，并将无监督环境设计（UED）扩展到多智能体环境。然后，我们介绍了多智能体环境设计策略开放式学习（MAESTRO），第一个多智能体UED方法为两个玩家零和设置。MAESTRO有效地产生对抗，联合课程的环境和合作伙伴，并达到最小最大遗憾保证在纳什均衡。我们的实验表明，MAESTRO优于一些强大的基线竞争性两人游戏，跨越离散和连续控制设置。
2023-03-06 cs.LG cs.MA
A Survey on Curriculum Learning
Tsinghua University（清华大学）
课程学习（CL）是一种训练策略，它将一个机器学习模型从较容易的数据训练到较难的数据，模仿人类课程中有意义的学习顺序。作为一个易于使用的插件，CL策略已在计算机视觉和自然语言处理等广泛的场景中证明了其在提高各种模型的泛化能力和收敛速度方面的能力。在这篇调查文章中，我们从动机，定义，理论和应用等各个方面全面回顾了CL。我们讨论了一般CL框架内的课程学习的工作，阐述了如何设计一个手动预定义的课程或自动课程。特别是，我们总结了现有的合作学习设计的基础上的难度测量器+培训的一般框架，并进一步分类的方法，自动合作学习分为四组，即，自定进度学习，迁移教师，RL教师和其他自动CL。我们还分析了原则，以选择不同的CL设计，可能有利于实际应用。最后，我们提出了我们对CL和其他机器学习概念之间关系的见解，包括迁移学习，元学习，持续学习和主动学习等，最后指出合作学习面临的挑战以及未来值得进一步研究的方向。
2021-03-25 cs.AI cs.LG
Adversarial Environment Generation for Learning to Navigate the Web
Google Research（谷歌研究院）
学习自主浏览网页是一项困难的连续决策任务。状态空间和动作空间在本质上是大的和组合的，并且网站是由多个页面组成的动态环境。训练Web导航代理的瓶颈之一是提供一个可学习的训练环境课程，可以覆盖各种各样的现实世界的网站。因此，我们建议使用对抗环境生成（AEG）来生成具有挑战性的网络环境，在其中训练强化学习（RL）代理。我们提供了一个新的基准测试环境，gMiniWoB，它使RL对手能够使用组合原语来学习生成任意复杂的网站。为了训练对手，我们提出了一种新的技术，最大限度地利用一对导航代理所获得的分数的差异后悔。我们的研究结果表明，我们的方法显着优于以前的方法极小极大遗憾AEG。遗憾的目标训练对手设计的环境，是“公正的权利的挑战”的导航代理课程，我们的研究结果表明，随着时间的推移，对手学会生成越来越复杂的网络导航任务。用我们的技术训练的导航员代理学习完成具有挑战性的，高维的网络导航任务，如表单填写，预订航班等。我们表明，用我们提出的灵活的b-PAIRED技术训练的导航员代理在一组具有挑战性的看不见的测试环境中显着优于竞争力的自动课程生成基线-包括最先进的RL网络导航方法，并且在某些任务上达到80%以上的成功率。
2021-03-02 cs.AI cs.LG cs.MA
Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning
Google Brain（谷歌大脑）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；UC Berkeley（加州大学伯克利分校）
深度强化学习算法可以学习复杂的行为技能，但这些方法的实际应用需要智能体收集大量的经验。在机器人等实际环境中，这涉及重复尝试一项任务，在每次尝试之间重置环境。然而，并非所有任务都是容易或自动可逆的。在实践中，这种学习过程需要大量的人为干预。在这项工作中，我们提出了一种安全有效的强化学习的自主方法，该方法同时学习转发和重置策略，重置策略为后续尝试重置环境。通过学习重置策略的价值函数，我们可以自动确定转发策略何时即将进入不可逆状态，从而提供不确定性感知的安全中止。我们的实验表明，正确使用重置策略可以大大减少学习任务所需的手动重置次数，可以减少导致不可逆状态的不安全动作的数量，并且可以自动诱导课程。
2017-11-18 cs.LG cs.RO
