Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University（卡内基梅隆大学）
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题，特别是在交叉路口没有交通控制的情况下。最近，深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中，我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致：1）强化学习代理的更快的训练过程，以及2）与没有课程训练的代理相比，更好的性能。我们的主要贡献是两方面的：1）提出了一个独特的课程，用于训练深度强化学习代理，和2）显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题，提出课程启发的自适应直接策略指导方法，通过时间增量调整PPO并采用最短处理时间教师策略引导探索，在OpenMines中实现10%性能提升和更快收敛，增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Backward Curriculum Reinforcement Learning
Purdue University（普渡大学）
提出反向课程强化学习，通过反转轨迹顺序提供强奖励信号，提升样本效率，仅需微小改动即可应用于现有算法。
2023-09-04 cs.AI cs.LG
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory（海军研究实验室）；Brown University（布朗大学）；University of Maryland（马里兰大学）
针对强化学习中自动生成课程的难题，提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系，结合预期改进度加权任务的算法，在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
Learning Curriculum Policies for Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习中的课程学习是一种训练方法，其旨在通过首先对一系列简单任务进行训练并将所获得的知识转移到目标任务来加速对困难目标任务的学习。自动选择一系列这样的任务（即课程）是一个开放的问题，一直是最近在这一领域的工作的主题。在本文中，我们建立在最近的课程设计方法，制定课程排序问题作为一个马尔可夫决策过程。我们扩展了这个模型来处理多个迁移学习算法，并首次表明，这个MDP的课程政策可以从经验中学习。我们探索各种表示，使这成为可能，并评估我们的方法，学习课程政策的多个代理在两个不同的领域。结果表明，我们的方法产生的课程，可以训练代理执行目标任务的速度或速度比现有的方法。
2018-12-01 cs.AI cs.LG stat.ML
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
Rosenheim University of Applied Sciences（罗森海姆应用科学大学）
本文研究基于图神经网络强化学习的课程学习在作业车间调度中的应用，通过逐步从小实例训练到大实例，显著降低训练时间并提升泛化性能，在30×30目标规模下平均最优性差距降低约8个百分点。
2026-09-24 cs.AI cs.LG
Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）
课程强化学习（CRL）旨在创建一系列任务，从简单的任务开始，逐渐向困难的任务学习。在这项工作中，我们专注于框架CRL作为源（辅助）和目标任务分布之间的插值的想法。虽然现有的研究已经表明了这一想法的巨大潜力，但仍然不清楚如何正式量化和生成任务分布之间的移动。受半监督学习中逐步领域自适应的启发，我们通过将CRL中潜在的大任务分布转移分解为较小的转移来创建自然课程。我们提出梯度，它制定CRL作为一个最佳的运输问题与量身定制的任务之间的距离度量。具体来说，我们生成一系列任务分布作为测地线插值（即，Wasserstein重心）之间的源和目标分布。与许多现有的方法不同，我们的算法考虑了任务相关的上下文距离度量，并且能够处理连续和离散上下文设置中的非参数分布。此外，我们从理论上表明，梯度，在一定条件下，在课程的后续阶段之间的顺利转移。我们在运动和操作任务中进行了广泛的实验，并表明我们提出的GRADIENT在学习效率和渐近性能方面比基线实现了更高的性能。
2022-10-18 cs.AI cs.LG
Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment
以人为本的AI考虑人类体验与AI性能。虽然大量的研究一直在帮助人工智能通过全自动或弱监督学习来实现超人的表现，但很少有人尝试人工智能如何在细粒度输入的情况下根据人类的偏好技能水平进行调整。在这项工作中，我们通过从人类决策过程中学习，将课程强化学习结果引导到一个既不太难也不太容易的首选性能水平。为了实现这一目标，我们开发了一个便携式，交互式平台，使用户能够通过操纵任务难度，观察性能，并提供课程反馈在线与代理进行交互。我们的系统是高度并行化的，使人类能够在没有服务器的情况下训练需要数百万样本的大规模强化学习应用程序。结果证明了涉及人在回路的强化学习交互式课程的有效性。这表明强化学习的性能可以成功地与人类期望的难度水平同步调整。我们相信这项研究将为实现流动和个性化适应困难打开新的大门。
2022-08-04 cs.AI cs.HC cs.LG
Outcome-directed Reinforcement Learning by Uncertainty & Temporal Distance-Aware Curriculum Goal Generation
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）；Artificial Intelligence Institute of Seoul National University（首尔国立大学人工智能研究所）
当前的强化学习（RL）在解决一个具有挑战性的探索问题时经常会遇到困难，因为在这个问题上很少能观察到期望的结果或高回报。尽管课程强化学习（一种通过提出一系列替代任务来解决复杂任务的框架）显示出合理的结果，但由于缺乏在没有任何先验领域知识的情况下获得校准指导以达到所需结果状态的机制，大多数以前的作品仍然难以提出课程。为了缓解这一问题，我们提出了一个不确定性和时间距离感知的课程目标生成方法的结果导向RL通过解决一个二分匹配问题。与以往的课程强化学习方法相比，该方法不仅可以提供精确校准的课程目标引导，而且具有更好的样本效率和几何不可知的课程目标建议能力。我们证明了我们的算法在各种具有挑战性的导航任务和机器人操作任务中以定量和定性的方式显着优于这些先前的方法。
2023-02-20 cs.AI cs.LG cs.RO
A Curriculum Learning Approach to Reinforcement Learning: Leveraging RAG for Multimodal Question Answering
Meituan（美团）
本文提出了一种结合课程学习与强化学习的方法，用于多模态问答任务，通过检索增强生成系统在挑战中取得优异成绩。
2026-01-14 cs.AI cs.LG
Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments
Faculty of Engineering and Applied Sciences, Cranfield University（工程与应用科学学院，克兰菲尔德大学）
提出一种课程引导的适应框架，通过渐进暴露于梯度对抗观测扰动并对齐时序差分误差分布，提升无人机在GNSS欺骗攻击下的鲁棒性和泛化能力。
2026-10-14 cs.AI cs.LG
Active Curriculum Refinement for Reinforcement Learning
The University of Chicago（芝加哥大学）
该研究针对强化学习中环境的有向无环课程图结构，提出主动课程学习框架PATH，通过采样多样化课程路径并重新分配训练资源，提升了模型的鲁棒性与泛化能力。
2026-08-28 cs.LG
Self Paced Gaussian Contextual Reinforcement Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）；North Carolina State University（北卡罗来纳州立大学）；Department of Statistics（统计系）
本文提出自适应高斯课程学习方法，通过闭式更新规则减少计算开销，提升高维情境空间下的样本效率和稳定性，实验表明其在连续和部分可观测领域表现优异。
2026-03-24 cs.AI cs.LG
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题，提出自适应课程强化学习框架AdaCuRL，通过动态难度匹配、历史回顾等机制，在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
Robust Deep Reinforcement Learning through Bootstrapped Opportunistic Curriculum
Washington University in St. Louis（圣路易斯华盛顿大学）
尽管深度强化学习取得了相当大的进展，但它已被证明非常容易受到状态观测的对抗性扰动。然而，最近试图提高强化学习的对抗鲁棒性的努力只能容忍非常小的扰动，并且随着扰动大小的增加而保持脆弱。我们提出了Bootstrapped强化对抗课程学习（BCL），一个新的灵活的对抗课程学习框架，强大的强化学习。我们的框架结合了两个想法：保守地引导每个课程阶段，从上一阶段的多次运行中获得最高质量的解决方案，并在课程中机会主义地向前跳。在我们的实验中，我们表明，建议的BCL框架，使学习的政策对抗性扰动的鲁棒性显着改善。最大的改进是Pong，我们的框架对高达25/255的扰动具有鲁棒性;相比之下，现有的最佳方法只能容忍高达5/255的对抗性噪声。我们的代码可在https://github.com/jlwu002/BCL上获取。
2023-01-10 cs.LG
Boosting Reinforcement Learning in 3D Visuospatial Tasks Through Human-Informed Curriculum Design
York University（约克大学）
本文通过人类指导的课程设计提升强化学习在复杂三维视觉空间任务中的性能。
2025-11-17 cs.AI cs.LG
Automatic Curriculum Learning with Gradient Reward Signals
University of California, Berkeley（加州大学伯克利分校）
本文提出利用梯度范数作为奖励信号，让教师模型动态调整课程，以加速深度强化学习并提升泛化能力，在多个环境中验证了有效性。
2023-12-21 cs.AI cs.LG
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Oxford（牛津大学）；University of Leeds（利兹大学）；Tufts University（塔夫茨大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Sony AI（索尼人工智能）
强化学习（RL）是一种流行的范式，用于解决智能体只有有限的环境反馈的顺序决策任务。尽管在过去的三十年中取得了许多进步，但许多领域的学习仍然需要与环境进行大量的交互，这在现实场景中可能非常昂贵。为了解决这个问题，迁移学习已经被应用于强化学习，使得在开始学习下一个更难的任务时可以利用在一个任务中获得的经验。最近，一些研究探索了如何将任务或数据样本本身排序到课程中，以学习一个可能很难从头开始学习的问题。在这篇文章中，我们提出了一个强化学习的课程学习（CL）框架，并使用它来调查和分类现有的CL方法的假设，能力和目标。最后，我们使用我们的框架，发现开放的问题，并建议未来的RL课程学习研究的方向。
2020-09-17 cs.AI cs.LG stat.ML
ROI-Constrained Bidding via Curriculum-Guided Bayesian Reinforcement Learning
ShanghaiTech University（上海科技大学）；Alibaba Group（阿里巴巴集团）
实时竞价是现代在线广告系统中的一种重要机制。广告主在考虑各种财务要求，特别是投资回报率（ROI）约束的情况下，采用竞价策略来优化其广告效果。在顺序竞价过程中，投资回报率的变化是非单调的，往往会导致约束满足和目标优化之间的拉锯效应。虽然一些现有的方法在静态或轻度变化的广告市场中显示出有希望的结果，但它们无法推广到具有ROI约束的高度动态的广告市场，因为它们无法自适应地平衡非平稳性和部分可观察性中的约束和目标。在这项工作中，我们专注于投资回报率约束招标在非平稳市场。基于部分可观测约束马尔可夫决策过程，我们的方法利用了一个指标增强的奖励函数，没有额外的权衡参数，并开发了一个课程引导贝叶斯强化学习（CBRL）框架，自适应地控制非平稳广告市场的约束目标权衡。在一个大规模工业数据集上进行的大量实验表明，CBRL在分布内和分布外数据机制中都具有良好的泛化能力，并且具有优越的学习效率和稳定性。
2022-07-16 cs.AI cs.LG
A Deep Reinforcement Learning Approach to Battery Management in Dairy Farming via Proximal Policy Optimization
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）；Atlantic Technological University（大西洋理工大学）
本文将深度强化学习算法PPO应用于奶牛场电池管理，利用真实数据优化可再生能源利用，结果显示其在减少电网购电方面较Q-learning提升1.62%。
2024-07-01 cs.AI cs.LG
Towards Skilled Population Curriculum for Multi-Agent Reinforcement Learning
Nanyang Technological University（南洋理工大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；City University of Hong Kong（香港城市大学）
多智能体强化学习（MARL）的最新进展使智能体能够在复杂环境中协调其行为。然而，常见的MARL算法仍然遭受可扩展性和稀疏奖励问题。自动课程学习（ACL）是解决这些问题的一种有效途径。ACL涉及学生（课程学习者）在由教师（课程生成器）控制的难度增加的任务上的训练。尽管取得了成功，ACL的适用性是有限的（1）缺乏一个通用的学生框架来处理不同数量的代理跨任务和稀疏奖励问题，（2）教师的任务的非平稳性，由于不断变化的学生策略。作为ACL的补救措施，我们引入了一种新的自动课程学习框架，熟练人口课程（SPC），它适应课程学习多代理协调。具体来说，我们赋予学生群体不变的通信和层次技能集，使其能够从不同数量的代理的不同任务中学习合作和行为技能。此外，我们将教师建模为受学生政策限制的上下文强盗，使代理团队能够改变其大小，同时仍然保留先前获得的技能。我们还分析了这个多智能体自动课程教学问题的内在非平稳性，并提供了相应的遗憾界。实验结果表明，我们的方法提高了性能，可扩展性和样本效率在几个MARL环境。
2023-02-07 cs.AI cs.LG cs.MA
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University（空军工程大学航空工程学院）
针对无人作战飞机自主空战机动决策问题，提出一种无需手工奖励函数的自动课程强化学习方法，按初始状态难度由易到难安排子任务，并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出RFCL方法，通过逐示范反向课程生成初始策略以克服稀疏奖励探索困难，再用前向课程扩展到完整初始状态分布，显著提升示范与样本效率，并解决此前无法完成的高精度控制任务。
2024-05-06 cs.AI cs.LG cs.RO
Curriculum-RLAIF: Curriculum Alignment with Reinforcement Learning from AI Feedback
Tsinghua University（清华大学）；Provable Responsible AI and Data Analytics Lab（可证明责任AI与数据 analytics 实验室）；King Abdullah University of Science and Technology（卡布斯王国科学与技术大学）；University of Hamburg（汉堡大学）；Tencent Inc.（腾讯公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出Curriculum-RLAIF框架，通过构建不同难度的偏好对，提升奖励模型的泛化能力，从而显著提高策略模型对齐性能，且无需额外推理成本。
2026-04-18 cs.AI
CuRLA: Curriculum Learning Based Deep Reinforcement Learning for Autonomous Driving
Birla Institute of Technology & Science, Pilani（毕拉理工与科学学院皮拉尼分校）
本文提出CuRLA，将PPO、VAE与双重课程学习结合，在CARLA中通过渐进难度和碰撞惩罚提升自动驾驶智能体的泛化性、安全性与多奖励平衡能力。
2025-01-09 cs.AI cs.LG cs.RO
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California（南加州大学）
该研究首次将同策略RL算法PPO适配到可微质量多样性框架，提出PPGA算法，在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升，推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法，依据智能体近期表现动态调节探索幅度，以改善强化学习中的探索-利用权衡，并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
提出边界感知课程强化学习方法，通过定位推理能力边界、针对性教师引导和强化学习巩固，在Qwen、Llama和DeepSeek上同时提升pass@1和pass@256，平均pass@256比基础模型提升9.8个百分点。
2026-06-23 cs.AI cs.LG
Automated curriculum generation for Policy Gradients from Demonstrations
Microsoft Research（微软研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
在本文中，我们提出了一种技术，提高了训练代理（使用RL）的过程中的指令遵循。我们开发了一个培训课程，使用名义上数量的专家演示，并以与人类学习执行复杂任务的方式之一相似的方式训练代理，即从目标开始并向后工作。我们在BabyAI平台上测试了我们的方法，与PPO（近端策略优化）基线相比，它的一些任务的样本效率有所提高。
2019-12-01 cs.AI cs.LG stat.ML
A Curriculum-Based Deep Reinforcement Learning Framework for the Electric Vehicle Routing Problem
Industrial and Systems Engineering, University of Miami（工业与系统工程，迈阿密大学）；Faculty of Engineering, Cyprus International University（工程学院，塞浦路斯国际大学）；Engineering Management and Systems Engineering, Missouri University of Science and Technology（工程管理与系统工程，密苏里科学与技术大学）
本文提出基于课程的学习深度强化学习框架，用于解决带有时间窗的电动汽车路径规划问题，通过分阶段训练提升稳定性与泛化能力。
2026-01-21 cs.AI cs.LG
StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
实时策略游戏是近年来游戏人工智能研究的一个重要领域。本文提出了一种强化学习和课程迁移学习的方法来控制星际微观管理中的多个单元。我们定义了一个有效的状态表示，它打破了游戏环境中的大状态空间所造成的复杂性。然后提出了一种参数共享的多智能体梯度下降Sarsa（λ）算法（PS-MAGDS）来对单元进行训练。我们的单位之间共享学习政策，以鼓励合作行为。我们使用一个神经网络作为函数逼近器来估计动作-价值函数，并提出一个奖励函数来帮助单位平衡他们的移动和攻击。此外，还使用了一种迁移学习方法将我们的模型扩展到更困难的场景，加快了训练过程，提高了学习性能。在小规模的场景中，我们的单位成功地学会了战斗，并以100%的胜率击败了内置的AI。在大规模场景下，课程迁移学习方法被用来逐步训练一组单元，并在目标场景下显示出优于一些基线方法的性能。通过强化学习和课程迁移学习，我们的单位能够在星际争霸微观管理场景中学习适当的策略。
2018-04-03 cs.AI cs.LG cs.MA
Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling
Hitachi, Ltd.（日立有限公司）
Meta-强化学习（meta-RL）获取在宽任务分布中对任务表现出良好性能的元策略。然而，传统的元RL通过随机采样任务来学习元策略，据报道，它对某些任务表现出元过拟合，特别是对于代理可以轻松获得高分的简单任务。为了减少元过拟合的影响，我们考虑了基于任务抽样的元RL。我们的方法是鲁棒Meta强化学习与引导任务采样（RMRL-GTS），这是一个有效的方法，限制基于分数和时代的任务采样。我们表明，为了实现强大的元RL，它不仅是必要的，以集中的样本得分低的任务，但也要限制和扩大任务区域的任务进行采样。
2022-03-31 cs.LG
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Evolutionarily-Curated Curriculum Learning for Deep Reinforcement Learning Agents
Imbellus（Imbellus（伊姆贝卢斯公司））
在本文中，我们提出了一个新的训练循环的深度强化学习代理与进化生成器。进化过程内容生成已经在之前的游戏地图和关卡的创建中使用。我们的系统集成了一个进化地图生成器来构建一个训练课程，该课程经过进化，可以在最先进的双重决斗深度Q网络架构中最大限度地减少损失，并具有优先级重放。我们提出了一个案例研究中，我们证明了我们的新方法的有效性与一个离散的，大的动作空间，我们称为攻击者和防守者的游戏。我们的研究结果表明，与在地图的无向采样上训练的网络相比，在地图的进化策划课程（定向采样）上训练既加快了训练，又提高了泛化能力。
2019-01-16 cs.AI
Investigating Value of Curriculum Reinforcement Learning in Autonomous Driving Under Diverse Road and Weather Conditions
Istanbul Technical University（伊斯坦布尔理工大学）；ITU Artificial Intelligence and Data Science Research Center（伊斯坦布尔理工大学人工智能与数据科学研究中心）；Bogazici University（博阿齐奇大学）
强化学习（RL）在自动驾驶任务中的应用很普遍。话虽如此，调整RL代理的性能并保证在各种不同驾驶场景中的泛化性能仍然是一个悬而未决的问题。特别是，在复杂的道路和天气条件下获得良好的性能需要详尽的调整和计算时间。课程强化学习，专注于解决简单的自动化任务，以便将知识转移到复杂的任务，正在吸引RL社区的关注。本文的主要贡献是对课程强化学习在自动驾驶应用中的价值进行了系统的研究。为此，我们在一个逼真的驾驶模拟器中设置了几个不同的驾驶场景，具有不同的道路复杂性和天气条件。接下来，我们训练和评估性能的RL代理不同序列的任务组合和课程。结果表明，课程RL可以在复杂的驾驶任务中产生显着的收益，无论是在驾驶性能和样本的复杂性。结果还表明，不同的课程可能会带来不同的好处，这暗示了未来的研究方向自动化课程培训。
2021-08-02 cs.AI
Reinforcement Learning with Success Induced Task Prioritization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI；Federal Research Center “Computer Science and Control” of the Russian Academy of Sciences（俄罗斯科学院联邦研究中心“计算机科学与控制”）
许多具有挑战性的强化学习（RL）问题需要设计一个可以应用于训练有效策略的任务分布。这种任务分配可以由课程规定。课程是为了提高学习的效果和加速学习，我们介绍了成功诱导的任务优先级（SITP），自动课程学习的框架，其中的任务序列是根据每个任务的成功率创建的。在此设置中，每个任务都是通过算法创建的具有唯一配置的环境实例。该算法选择的任务，提供最快的学习代理的顺序。选择任何任务进行下一阶段学习的概率是通过评估其在先前阶段中的表现得分来确定的。实验在部分可观测网格环境下的多代理（POGEMA）和Procgen基准进行。我们证明，SITP匹配或超越其他课程设计方法的结果。我们的方法可以通过对任何标准RL框架进行少量修改来实现，并以最小的计算开销提供有用的优先级。
2022-12-30 cs.AI cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Accelerating Reinforcement Learning for Reaching using Continuous Curriculum Learning
University of Groningen（格罗宁根大学）
强化学习由于具有顺序决策的特点，在机器人行为训练中显示出巨大的潜力。然而，所需的大量互动和信息丰富的训练数据是取得进展的主要障碍。在这项研究中，我们专注于加速强化学习（RL）训练和提高多目标达成任务的性能。具体来说，我们提出了一个精确的基于连续课程学习（PCCL）的方法，在训练过程中的要求是逐步调整，而不是固定的参数在一个静态的时间表。为此，我们探索各种持续的课程策略，控制培训过程。使用通用机器人5e在模拟和现实世界的多目标到达实验中测试这种方法。实验结果支持静态训练时间表是次优的假设，并且使用适当的衰减函数用于课程学习以更快的方式提供优异的结果。
2020-12-21 cs.AI cs.RO
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University（康奈尔大学）
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题，提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程，在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
Demonstration-free Autonomous Reinforcement Learning via Implicit and Bidirectional Curriculum
Seoul National University（首尔国立大学）；Artificial Intelligence Institute of Seoul National University (AIIS)（首尔国立大学人工智能研究所（AIIS））；Automation and Systems Research Institute (ASRI)（自动化与系统研究所（ASRI））
针对强化学习依赖回合重置、现有自主强化学习依赖先验数据且难应对稀疏交互的问题，提出基于隐式双向课程的无示范算法，通过条件激活辅助智能体与最优传输双向目标课程，性能超越含示范的现有方法。
2023-06-09 cs.AI cs.LG cs.RO
On the Benefit of Optimal Transport for Curriculum Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science at Technical University of Darmstadt（达姆施塔特工业大学认知科学中心）；Center for Artificial Intelligence and Data Science at University of Würzburg（维尔茨堡大学人工智能与数据科学中心）；Aalto University（阿尔托大学）
本文将课程强化学习中的课程生成建模为任务分布间的约束最优传输问题，通过插值任务分布自动生成由易到难的课程，并在多种任务基准上验证其优于现有方法。
2024-05-04 cs.LG
Curriculum Learning for Cooperation in Multi-Agent Reinforcement Learning
Mila（米拉研究所）；Laval University（拉瓦尔大学）；AI Redefined；University of Alberta（阿尔伯塔大学）
针对多智能体强化学习中协作训练的队友选择及课程设计问题，本文通过Overcooked游戏实验发现低技能预训练队友利于团队奖励但不利于智能体学习，且技能递减的队友课程表现更优。
2023-12-19 cs.AI cs.LG cs.MA
Self-Paced Deep Reinforcement Learning
Intelligent Autonomous Systems, Technische Universität Darmstadt（达姆施塔特工业大学智能自主系统（Intelligent Autonomous Systems, Technische Universität Darmstadt））；Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系（Department of Electrical Engineering and Automation, Aalto University））
课程强化学习（CRL）通过在整个学习过程中将智能体暴露于一系列定制的任务来提高智能体的学习速度和稳定性。尽管取得了经验上的成功，但CRL中的一个悬而未决的问题是如何为给定的强化学习（RL）代理自动生成课程，避免手动设计。在本文中，我们提出了一个答案，通过解释课程生成的推理问题，在任务的分布逐步学习接近目标任务。这种方法导致自动课程生成，其速度由代理控制，具有坚实的理论动机，并且易于与深度RL算法集成。在所进行的实验中，使用所提出的算法生成的课程显着提高了几种环境和深度RL算法的学习性能，匹配或优于现有的最先进的CRL算法。
2020-10-23 cs.AI cs.LG stat.ML
MaMiC: Macro and Micro Curriculum for Robotic Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Center for Data Science and AI (RBCDSAI)（罗伯特·博世数据科学与人工智能中心（RBCDSAI））
与随机学习相比，人类和动物的塑形已被证明是学习复杂任务的强大工具。这使得问题不那么复杂，并使人们能够首先解决手头较容易的子任务。为这种引导式学习生成课程涉及使代理首先服从较容易的目标，然后逐渐增加其难度。本文采取了类似的方向，并提出了一个双课程计划，解决机器人操作任务的稀疏奖励，称为MaMiC。它包括一个宏课程计划，它将任务分成多个子任务，然后是一个微课程计划，使代理能够在这些发现的子任务之间学习。我们将展示如何结合宏观和微观课程策略，帮助克服机器人操作任务中考虑的主要探索性限制，而不必设计任何复杂的奖励。我们还说明了个别课程的意义，以及如何根据任务独立使用。这样一个双课程计划的性能进行了分析的获取环境。
2019-05-17 cs.AI cs.LG cs.RO
An Optimization Framework for Task Sequencing in Curriculum Learning
University of Leeds（利兹大学）
强化学习中的课程学习用于通过向智能体呈现越来越复杂的任务来塑造探索。课程学习的思想在动物训练和教育学中得到了广泛的应用。在强化学习中，所有以前的任务排序方法都以减少达到给定性能水平的时间为目标来塑造探索。我们提出了新的使用课程学习，这产生于选择不同的目标函数。此外，我们定义了一个通用的任务排序优化框架，并评估流行的元启发式搜索方法在几个任务上的性能。我们表明，课程学习可以成功地用于：提高初始性能，在探索过程中采取较少的次优行动，并发现更好的政策。
2019-06-13 cs.AI cs.LG stat.ML
CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning
针对分层强化学习中低层策略更新导致子目标失效的问题，本文提出课程驱动框架 CRISP，通过基元知情解析、逆强化学习正则化和统一训练循环提升训练稳定性与样本效率，在多个机器人任务上成功率提升超过40%。
2025-08-17 cs.LG
Distributionally Robust Self Paced Curriculum Reinforcement Learning
University of Maryland College Park（马里兰大学学院公园分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
分布鲁棒自适应课程强化学习通过动态调整鲁棒性预算，平衡性能与鲁棒性，提升在分布偏移下的稳定性与表现。
2026-03-08 cs.LG
From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
LeapLab, Tsinghua University（清华大学 LeapLab）；Qiuzhen College, Tsinghua University（清华大学 旗正学院）
该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。
2026-05-21 cs.AI cs.CL cs.LG
CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning
针对LLM强化学习推理中反馈精度不足与问题难度漂移问题，提出CVPO方法，通过值方差自适应与动态课程学习优化，在数学任务上性能优于VAPO等基线。
2026-08-05 cs.AI cs.CL cs.LG
Learning on the Job: Test-Time Curricula for Targeted Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本研究提出TTC-RL方法，通过智能体自动构建任务相关的测试时课程并结合强化学习继续训练模型，在数学与编程基准上显著提升了模型性能，拓展了测试时缩放范式的应用场景。
2025-10-06 cs.AI cs.LG
Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出近端动作替换方法，解决离线强化学习中行为克隆导致的性能瓶颈问题，通过替换亚优动作提升Actor-Critic算法性能。
2026-05-14 cs.AI cs.LG
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California（南加州大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Cincinnati（辛辛那提大学）
本研究针对无视觉输入的三指仿真手抬球旋球任务，对比课程学习与触觉反馈对强化学习效果的影响，提出新型课程学习率调度器，发现课程选择的作用远大于触觉信息，且无触觉也可完成学习，结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
