Distributionally Robust Self Paced Curriculum Reinforcement Learning
University of Maryland College Park（马里兰大学学院公园分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
分布鲁棒自适应课程强化学习通过动态调整鲁棒性预算，平衡性能与鲁棒性，提升在分布偏移下的稳定性与表现。
2026-03-08 cs.LG
Maneuver Decision-Making For Autonomous Air Combat Through Curriculum Learning And Reinforcement Learning With Sparse Rewards
Aeronautics Engineering College, Air Force Engineering University（空军工程大学航空工程学院）
强化学习是解决决策问题的有效方法。研究基于强化学习的自主空战机动决策方法是一个有意义和价值的方向。然而，当使用强化学习来解决具有稀疏奖励的决策问题时，如空战机动决策，需要花费太多的训练时间，并且训练后的智能体的性能可能不令人满意。为了解决这些问题，提出了基于课程学习的方法。首先，设计了空战机动决策的三种课程：角度课程、远程课程和混合课程。将这些课程分别用于训练空战智能体，并与原无课程训练方法进行了比较。训练结果表明，角度课程可以提高训练的速度和稳定性，提高Agent的性能;距离课程可以提高Agent训练的速度和稳定性;混合课程会使Agent陷入局部最优，对训练有负面影响。仿真结果表明，经过训练，智能体能够处理目标来自不同方向的情况，机动决策结果符合导弹的特点。
2023-02-12 cs.AI cs.LG
PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
Alibaba Group（阿里巴巴集团）
该研究针对LLM多任务RL后训练的任务分配问题，提出PAC方法结合优势与奖励增益信号，经多场景验证可提升样本效率与最终性能。
2026-09-01 cs.LG
TEACH: Temporal Variance-Driven Curriculum for Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）
TEACH提出基于时间方差的课程学习方法，通过动态优先选择高不确定性目标，提升多目标强化学习的样本效率和策略学习效率。
2025-12-28 cs.LG
Accelerate Multi-Agent Reinforcement Learning in Zero-Sum Games with Subgame Curriculum Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Luma AI；Carnegie Mellon University（卡内基梅隆大学）
针对零和博弈中多智能体强化学习计算成本高的问题，提出子博弈课程学习框架及SACL算法，通过自适应初始状态分布等技术加速NE学习，实验验证其策略更优、样本效率更高。
2023-12-16 cs.LG
Teacher-student curriculum learning for reinforcement learning
University of Applied Sciences Northwestern Switzerland（西北瑞士应用科学大学）
强化学习（rl）是解决序列决策问题的一种流行范式。在过去的十年里，rl的进步在许多具有挑战性的领域取得了突破，如视频游戏、棋盘游戏、机器人和芯片设计。深度强化学习方法的样本效率低下是将rl应用于现实世界问题时的一个重大障碍。迁移学习已经应用于强化学习，使得在一个任务中获得的知识可以在训练新任务时应用。课程学习关注的是对任务或数据样本进行排序，使得知识可以在这些任务之间转移，以学习否则太难解决的目标任务。设计提高样本效率的课程是一个复杂的问题。在这篇论文中，我们提出了一个教师-学生的课程学习设置，我们同时训练教师，选择任务的学生，而学生学习如何解决所选择的任务。我们的方法是独立的人类领域的知识和手动课程设计。我们在两个强化学习基准上评估了我们的方法：网格世界和具有挑战性的谷歌足球环境。与tabula-rasa强化学习相比，我们的方法可以提高样本效率和学生的通用性。
2022-10-31 cs.AI cs.LG
State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University（卡内基梅隆大学）
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题，特别是在交叉路口没有交通控制的情况下。最近，深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中，我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致：1）强化学习代理的更快的训练过程，以及2）与没有课程训练的代理相比，更好的性能。我们的主要贡献是两方面的：1）提出了一个独特的课程，用于训练深度强化学习代理，和2）显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University（康奈尔大学）
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题，提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程，在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models
Google DeepMind（谷歌DeepMind）
CanvasAnneal通过课程式教师引导注入与逐步退火，缓解扩散语言模型强化学习的探索瓶颈，在数学推理和工具使用基准上优于标准方法并加速收敛。
2026-09-14 cs.LG
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Enhancing Offline Reinforcement Learning with Curriculum Learning-Based Trajectory Valuation
L3S Research Center（L3S研究中心）；Technical University of Berlin（柏林工业大学）；Delft University of Technology（代尔夫特理工大学）
针对混合数据集场景中源-目标域不匹配问题，提出过渡评分（TS）和基于课程学习的轨迹评估（CLTV）方法，通过识别优先高质量轨迹，增强离线RL策略的性能与可迁移性。
2025-04-13 cs.LG
Curriculum-Based Adversarial Heterogeneous Agent Reinforcement Learning for Autonomous Quad-Copter Landing in Maritime Settings
Maastricht University（马斯特里赫特大学）
针对海上四旋翼无人机回收难题，提出基于课程学习和对抗风智能体的HAPPO强化学习方法，在分布外海况下显著提升成功率并降低坠毁率。
2026-09-14 cs.LG
CQM: Curriculum Reinforcement Learning with a Quantized World Model
Seoul National University（首尔大学）；Automation and Systems Research Institute (ASRI)（自动化与系统研究所（ASRI））；Artificial Intelligence Institute of Seoul National University (AIIS)（首尔大学人工智能研究所（AIIS））
本文提出CQM方法，利用VQ-VAE和图自动构建语义目标空间，并生成不确定性与时序距离感知的课程目标，在仅给定原始目标示例的情况下提升课程强化学习的数据效率和性能。
2023-10-26 cs.AI cs.LG
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland（昆士兰大学）；Electrical Engineering and Computer Science（电气工程与计算机科学学院）
针对强化学习中目标自动创建的挑战，提出一种概率课程学习算法，通过为连续控制和导航任务中的智能体建议目标，系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Realistic Curriculum Reinforcement Learning for Autonomous and Sustainable Marine Vessel Navigation
本文提出基于现实课程强化学习的框架，结合数据驱动的海洋模拟和机器学习预测模块，以实现自主且可持续的船舶导航。
2026-01-15 cs.LG
Learning Curriculum Policies for Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习中的课程学习是一种训练方法，其旨在通过首先对一系列简单任务进行训练并将所获得的知识转移到目标任务来加速对困难目标任务的学习。自动选择一系列这样的任务（即课程）是一个开放的问题，一直是最近在这一领域的工作的主题。在本文中，我们建立在最近的课程设计方法，制定课程排序问题作为一个马尔可夫决策过程。我们扩展了这个模型来处理多个迁移学习算法，并首次表明，这个MDP的课程政策可以从经验中学习。我们探索各种表示，使这成为可能，并评估我们的方法，学习课程政策的多个代理在两个不同的领域。结果表明，我们的方法产生的课程，可以训练代理执行目标任务的速度或速度比现有的方法。
2018-12-01 cs.AI cs.LG stat.ML
Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment
以人为本的AI考虑人类体验与AI性能。虽然大量的研究一直在帮助人工智能通过全自动或弱监督学习来实现超人的表现，但很少有人尝试人工智能如何在细粒度输入的情况下根据人类的偏好技能水平进行调整。在这项工作中，我们通过从人类决策过程中学习，将课程强化学习结果引导到一个既不太难也不太容易的首选性能水平。为了实现这一目标，我们开发了一个便携式，交互式平台，使用户能够通过操纵任务难度，观察性能，并提供课程反馈在线与代理进行交互。我们的系统是高度并行化的，使人类能够在没有服务器的情况下训练需要数百万样本的大规模强化学习应用程序。结果证明了涉及人在回路的强化学习交互式课程的有效性。这表明强化学习的性能可以成功地与人类期望的难度水平同步调整。我们相信这项研究将为实现流动和个性化适应困难打开新的大门。
2022-08-04 cs.AI cs.HC cs.LG
Outcome-directed Reinforcement Learning by Uncertainty & Temporal Distance-Aware Curriculum Goal Generation
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）；Artificial Intelligence Institute of Seoul National University（首尔国立大学人工智能研究所）
当前的强化学习（RL）在解决一个具有挑战性的探索问题时经常会遇到困难，因为在这个问题上很少能观察到期望的结果或高回报。尽管课程强化学习（一种通过提出一系列替代任务来解决复杂任务的框架）显示出合理的结果，但由于缺乏在没有任何先验领域知识的情况下获得校准指导以达到所需结果状态的机制，大多数以前的作品仍然难以提出课程。为了缓解这一问题，我们提出了一个不确定性和时间距离感知的课程目标生成方法的结果导向RL通过解决一个二分匹配问题。与以往的课程强化学习方法相比，该方法不仅可以提供精确校准的课程目标引导，而且具有更好的样本效率和几何不可知的课程目标建议能力。我们证明了我们的算法在各种具有挑战性的导航任务和机器人操作任务中以定量和定性的方式显着优于这些先前的方法。
2023-02-20 cs.AI cs.LG cs.RO
Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1
Johns Hopkins University（约翰霍普金斯大学）
通过强化学习算法验证超级马里奥兄弟世界1-1的关卡设计具有教学结构，蒙特卡洛方法表现最佳，且规范顺序学习效率最高。
2026-06-28 cs.LG
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题，提出课程启发的自适应直接策略指导方法，通过时间增量调整PPO并采用最短处理时间教师策略引导探索，在OpenMines中实现10%性能提升和更快收敛，增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
Curriculum-Guided Reinforcement Learning for Synthesizing Gas-Efficient Financial Derivatives Contracts
Rensselaer Polytechnic Institute（拉特罗布理工学院）
提出课程引导的 PPO 强化学习框架，直接由 CDM 规范生成功能正确且 Gas 优化的 Solidity 合约，最高降低 35.59% 成本。
2025-09-28 cs.LG
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题，提出自适应课程强化学习框架AdaCuRL，通过动态难度匹配、历史回顾等机制，在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
VCRL: Variance-based Curriculum Reinforcement Learning for Large Language Models
Alibaba Cloud Computing（阿里云计算）
提出VCRL框架，利用rollout组奖励方差动态调整训练样本难度，实现课程强化学习，在数学推理任务上超越现有基线。
2025-09-24 cs.CL cs.LG
Curriculum-based Deep Reinforcement Learning for Quantum Control
University of New South Wales（新南威尔士大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）；Nanjing University（南京大学）
深度强化学习被认为是一种有效的技术，可以在没有控制环境先验知识的情况下为不同的复杂系统设计最优策略。为了实现对量子系统的快速精确控制，我们提出了一种新的深度强化学习方法，通过构建由一组由保真度阈值定义的中间任务组成的课程。课程中的任务可以使用经验知识静态确定，也可以随着学习过程自适应地生成。通过在两个连续的任务之间转移知识并根据任务的难度对任务进行排序，所提出的基于神经网络的深度强化学习（CDRL）方法使智能体能够在早期阶段专注于简单的任务，然后转向困难的任务，并最终接近最终任务。对封闭量子系统和开放量子系统的数值仿真表明，该方法不仅提高了量子系统的控制性能，而且为用较少的控制脉冲确定最优策略提供了一种有效的方法.
2021-01-02 cs.LG cs.SY eess.SY
Improved Reinforcement Learning with Curriculum
Queensland University of Technology（昆士兰科技大学）；Maastricht University（马斯特里赫特大学）
如果例子以结构化的方式呈现，人类倾向于更快地学习复杂的抽象概念。例如，当学习如何玩棋盘游戏时，通常学习的第一个概念之一是游戏如何结束，即导致终端状态（赢，输或平局）的动作。首先学习结束游戏的好处是，一旦理解了导致最终状态的行为，就有可能逐步学习远离最终状态的行为的后果-我们称之为结束游戏优先课程。目前，最先进的机器学习播放器，谷歌DeepMind的AlphaZero，并没有采用结构化的训练课程，而是一直从整个游戏中学习。通过采用游戏结束优先的训练课程来训练受AlphaZero启发的玩家，我们的经验表明，与不使用训练课程的玩家相比，人工玩家的学习速度可以在训练的早期阶段得到提高。
2019-06-10 cs.LG stat.ML
Backward Curriculum Reinforcement Learning
Purdue University（普渡大学）
提出反向课程强化学习，通过反转轨迹顺序提供强奖励信号，提升样本效率，仅需微小改动即可应用于现有算法。
2023-09-04 cs.AI cs.LG
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory（海军研究实验室）；Brown University（布朗大学）；University of Maryland（马里兰大学）
针对强化学习中自动生成课程的难题，提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系，结合预期改进度加权任务的算法，在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Oxford（牛津大学）；University of Leeds（利兹大学）；Tufts University（塔夫茨大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Sony AI（索尼人工智能）
强化学习（RL）是一种流行的范式，用于解决智能体只有有限的环境反馈的顺序决策任务。尽管在过去的三十年中取得了许多进步，但许多领域的学习仍然需要与环境进行大量的交互，这在现实场景中可能非常昂贵。为了解决这个问题，迁移学习已经被应用于强化学习，使得在开始学习下一个更难的任务时可以利用在一个任务中获得的经验。最近，一些研究探索了如何将任务或数据样本本身排序到课程中，以学习一个可能很难从头开始学习的问题。在这篇文章中，我们提出了一个强化学习的课程学习（CL）框架，并使用它来调查和分类现有的CL方法的假设，能力和目标。最后，我们使用我们的框架，发现开放的问题，并建议未来的RL课程学习研究的方向。
2020-09-17 cs.AI cs.LG stat.ML
Curriculum goal masking for continuous deep reinforcement learning
Department of Informatics Universit\"at Hamburg Germany
深度强化学习最近已经获得了对策略或价值函数独立于目标的问题的关注。有证据表明，目标抽样对学习绩效有很强的影响，但缺乏一般的机制，专注于优化目标抽样过程。在这项工作中，我们提出了一个简单而通用的目标掩蔽方法，也使我们能够估计目标的难度水平，从而实现深度RL的课程学习方法。我们的研究结果表明，专注于中等难度的目标是适当的深度确定性策略梯度（DDPG）的方法，而“瞄准星星，达到月球的战略”，硬目标的采样比简单的目标，导致最好的学习性能的情况下，DDPG结合后见之明的经验重放（HER）。我们证明，该方法显着优于标准的目标采样不同的机器人对象操作问题。
2019-02-13 cs.LG stat.ML
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University（首尔大学）
提出一种无需任务特定知识的自主强化学习算法，通过自监督训练的成功判别器生成自适应课程，使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
Proximal Curriculum with Task Correlations for Deep Reinforcement Learning
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出 ProCuRL-Target 课程设计方法，利用任务相关性在上下文多任务强化学习中平衡任务难度与目标分布推进，并通过理论分析和多领域实验验证其加速深度 RL 训练的有效性。
2024-05-03 cs.AI cs.LG
Towards Skilled Population Curriculum for Multi-Agent Reinforcement Learning
Nanyang Technological University（南洋理工大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；City University of Hong Kong（香港城市大学）
多智能体强化学习（MARL）的最新进展使智能体能够在复杂环境中协调其行为。然而，常见的MARL算法仍然遭受可扩展性和稀疏奖励问题。自动课程学习（ACL）是解决这些问题的一种有效途径。ACL涉及学生（课程学习者）在由教师（课程生成器）控制的难度增加的任务上的训练。尽管取得了成功，ACL的适用性是有限的（1）缺乏一个通用的学生框架来处理不同数量的代理跨任务和稀疏奖励问题，（2）教师的任务的非平稳性，由于不断变化的学生策略。作为ACL的补救措施，我们引入了一种新的自动课程学习框架，熟练人口课程（SPC），它适应课程学习多代理协调。具体来说，我们赋予学生群体不变的通信和层次技能集，使其能够从不同数量的代理的不同任务中学习合作和行为技能。此外，我们将教师建模为受学生政策限制的上下文强盗，使代理团队能够改变其大小，同时仍然保留先前获得的技能。我们还分析了这个多智能体自动课程教学问题的内在非平稳性，并提供了相应的遗憾界。实验结果表明，我们的方法提高了性能，可扩展性和样本效率在几个MARL环境。
2023-02-07 cs.AI cs.LG cs.MA
SGN-CIRL: Scene Graph-based Navigation with Curriculum, Imitation, and Reinforcement Learning
Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；Artificial Intelligence Research Institute (AIRI)（人工智能研究院）
本文提出SGN-CIRL框架，将可学习的开放词汇3D场景图与模仿学习和课程学习相结合，用于无地图强化学习机器人导航，实验表明其显著提升了困难导航任务的成功率。
2025-06-04 cs.LG cs.RO
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University（空军工程大学航空工程学院）
针对无人作战飞机自主空战机动决策问题，提出一种无需手工奖励函数的自动课程强化学习方法，按初始状态难度由易到难安排子任务，并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
Rosenheim University of Applied Sciences（罗森海姆应用科学大学）
本文研究基于图神经网络强化学习的课程学习在作业车间调度中的应用，通过逐步从小实例训练到大实例，显著降低训练时间并提升泛化性能，在30×30目标规模下平均最优性差距降低约8个百分点。
2026-09-24 cs.AI cs.LG
Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）
课程强化学习（CRL）旨在创建一系列任务，从简单的任务开始，逐渐向困难的任务学习。在这项工作中，我们专注于框架CRL作为源（辅助）和目标任务分布之间的插值的想法。虽然现有的研究已经表明了这一想法的巨大潜力，但仍然不清楚如何正式量化和生成任务分布之间的移动。受半监督学习中逐步领域自适应的启发，我们通过将CRL中潜在的大任务分布转移分解为较小的转移来创建自然课程。我们提出梯度，它制定CRL作为一个最佳的运输问题与量身定制的任务之间的距离度量。具体来说，我们生成一系列任务分布作为测地线插值（即，Wasserstein重心）之间的源和目标分布。与许多现有的方法不同，我们的算法考虑了任务相关的上下文距离度量，并且能够处理连续和离散上下文设置中的非参数分布。此外，我们从理论上表明，梯度，在一定条件下，在课程的后续阶段之间的顺利转移。我们在运动和操作任务中进行了广泛的实验，并表明我们提出的GRADIENT在学习效率和渐近性能方面比基线实现了更高的性能。
2022-10-18 cs.AI cs.LG
Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出RFCL方法，通过逐示范反向课程生成初始策略以克服稀疏奖励探索困难，再用前向课程扩展到完整初始状态分布，显著提升示范与样本效率，并解决此前无法完成的高精度控制任务。
2024-05-06 cs.AI cs.LG cs.RO
Robust Reinforcement Learning via Genetic Curriculum
Carnegie Mellon University（卡内基梅隆大学）
在安全关键系统中应用深度强化学习（RL）时，实现鲁棒性能至关重要。一些最先进的方法试图解决对抗性代理的问题，但这些代理通常需要专家监督来微调并防止对手对受训代理变得过于具有挑战性。虽然其他方法涉及在训练期间自动调整环境设置，但它们仅限于可以使用低维编码的简单环境。受这些方法的启发，我们提出了遗传课程，一种算法，自动识别的情况下，代理目前失败，并生成一个相关的课程，以帮助代理学习解决的情况下，获得更强大的行为。作为一个非参数优化器，我们的方法使用一个原始的，非固定的编码方案，减少了对专家监督的需要，并允许我们的算法，以适应不断变化的代理性能。我们的实证研究表明，与现有的最先进的算法相比，鲁棒性有所提高，提供的培训课程使代理失败的可能性降低2 - 8倍，而不会牺牲累积奖励。我们包括一项消融研究，并分享我们的算法优于先前方法的原因。
2022-02-17 cs.LG cs.RO
A Curriculum Learning Approach to Reinforcement Learning: Leveraging RAG for Multimodal Question Answering
Meituan（美团）
本文提出了一种结合课程学习与强化学习的方法，用于多模态问答任务，通过检索增强生成系统在挑战中取得优异成绩。
2026-01-14 cs.AI cs.LG
Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments
Faculty of Engineering and Applied Sciences, Cranfield University（工程与应用科学学院，克兰菲尔德大学）
提出一种课程引导的适应框架，通过渐进暴露于梯度对抗观测扰动并对齐时序差分误差分布，提升无人机在GNSS欺骗攻击下的鲁棒性和泛化能力。
2026-10-14 cs.AI cs.LG
Self Paced Gaussian Contextual Reinforcement Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）；North Carolina State University（北卡罗来纳州立大学）；Department of Statistics（统计系）
本文提出自适应高斯课程学习方法，通过闭式更新规则减少计算开销，提升高维情境空间下的样本效率和稳定性，实验表明其在连续和部分可观测领域表现优异。
2026-03-24 cs.AI cs.LG
Tracking Control for a Spherical Pendulum via Curriculum Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI（德国人工智能研究中心）；Centre of Cognitive Science（认知科学中心）；Aalto University（阿尔托大学）
本文将自动课程构建算法与并行仿真RL结合，利用尊重非欧几里得结构的优化生成轨迹课程，为机械臂球面摆学习跟踪控制器，并在真实系统上达到最优控制基线性能。
2023-09-25 cs.LG cs.RO
StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
实时策略游戏是近年来游戏人工智能研究的一个重要领域。本文提出了一种强化学习和课程迁移学习的方法来控制星际微观管理中的多个单元。我们定义了一个有效的状态表示，它打破了游戏环境中的大状态空间所造成的复杂性。然后提出了一种参数共享的多智能体梯度下降Sarsa（λ）算法（PS-MAGDS）来对单元进行训练。我们的单位之间共享学习政策，以鼓励合作行为。我们使用一个神经网络作为函数逼近器来估计动作-价值函数，并提出一个奖励函数来帮助单位平衡他们的移动和攻击。此外，还使用了一种迁移学习方法将我们的模型扩展到更困难的场景，加快了训练过程，提高了学习性能。在小规模的场景中，我们的单位成功地学会了战斗，并以100%的胜率击败了内置的AI。在大规模场景下，课程迁移学习方法被用来逐步训练一组单元，并在目标场景下显示出优于一些基线方法的性能。通过强化学习和课程迁移学习，我们的单位能够在星际争霸微观管理场景中学习适当的策略。
2018-04-03 cs.AI cs.LG cs.MA
Boosting Reinforcement Learning in 3D Visuospatial Tasks Through Human-Informed Curriculum Design
York University（约克大学）
本文通过人类指导的课程设计提升强化学习在复杂三维视觉空间任务中的性能。
2025-11-17 cs.AI cs.LG
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）已经取得了巨大的经验成功，但存在脆性和样本效率低下的问题。一个潜在的补救措施是使用以前培训的政策作为监督的来源。在这项工作中，我们将这些政策称为教师，并研究如何通过关注数据使用将他们的专业知识转移到新的学生政策中。我们提出了一个框架，强化学习的数据库（DCUR），它首先使用在线深度RL培训教师，并存储记录的环境交互历史。然后，学生通过运行离线RL或使用教师数据结合少量自我生成的数据来学习。DCUR的中心思想涉及定义一类数据课程，作为训练时间的函数，限制学生从完整教师数据的固定子集中采样。我们使用最先进的深度RL算法测试教师和学生在各种数据课程中的表现。结果表明，数据课程的选择会显著影响学生的学习，并且在早期训练阶段限制数据，同时随着时间的推移逐渐增加数据可用性是有益的。我们确定学生何时可以离线学习并匹配教师的表现，而无需依赖于专门的离线RL算法。此外，我们表明，收集一小部分在线数据提供了与数据课程的互补优势。补充材料可在https://tinyurl.com/teach-dcur上查阅。
2021-09-15 cs.LG cs.RO
MaMiC: Macro and Micro Curriculum for Robotic Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Center for Data Science and AI (RBCDSAI)（罗伯特·博世数据科学与人工智能中心（RBCDSAI））
与随机学习相比，人类和动物的塑形已被证明是学习复杂任务的强大工具。这使得问题不那么复杂，并使人们能够首先解决手头较容易的子任务。为这种引导式学习生成课程涉及使代理首先服从较容易的目标，然后逐渐增加其难度。本文采取了类似的方向，并提出了一个双课程计划，解决机器人操作任务的稀疏奖励，称为MaMiC。它包括一个宏课程计划，它将任务分成多个子任务，然后是一个微课程计划，使代理能够在这些发现的子任务之间学习。我们将展示如何结合宏观和微观课程策略，帮助克服机器人操作任务中考虑的主要探索性限制，而不必设计任何复杂的奖励。我们还说明了个别课程的意义，以及如何根据任务独立使用。这样一个双课程计划的性能进行了分析的获取环境。
2019-05-17 cs.AI cs.LG cs.RO
Reward-Machine-Guided, Self-Paced Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出奖励机引导的自定进度强化学习算法，通过将任务结构先验同时融入策略值函数更新和课程生成，显著提升了长期规划任务中的学习可靠性、课程效率与稳定性。
2023-05-25 cs.LG
Automatic Curriculum Learning with Gradient Reward Signals
University of California, Berkeley（加州大学伯克利分校）
本文提出利用梯度范数作为奖励信号，让教师模型动态调整课程，以加速深度强化学习并提升泛化能力，在多个环境中验证了有效性。
2023-12-21 cs.AI cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）
本文提出了一种两阶段奖励课程方法，通过分离任务目标与行为术语，提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
Self-Paced Absolute Learning Progress as a Regularized Approach to Curriculum Learning
Technical University of Darmstadt（达姆施塔特工业大学）
针对基于绝对学习进度（ALP）的课程强化学习存在重复已习得行为、浪费计算资源的问题，提出基于自步学习的正则化方法SPALP，在三种环境中性能与ALP相当且两种环境下收敛更快，为提升课程强化学习效率提供了新方案。
2023-06-09 cs.LG
