Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology（麻省理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）被认为是一种潜在的改进现实世界自治系统的框架，它吸引了多个不同领域的关注。然而，在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中，我们专注于这个问题，审查和评估的研究工作，从域不可知论和特定领域的社区。一方面，我们提供了一个全面的总结DRL的挑战，并总结了不同的建议，以减轻他们，这有助于确定领域不可知论研究的五个差距。另一方面，从特定领域的角度来看，我们讨论了不同的成功案例，并讨论了为什么其他模型可能无法部署。最后，我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
针对长视界任务中稀疏奖励导致学习缓慢的问题，本文提出无偏的密集奖励方法渐进式点匹配，在片段级奖励部分进展，理论及实验证明其指数级提升效率，并在困难数学推理任务上取得改进。
2026-09-09 cs.LG
Adapting to Reward Progressivity via Spectral Reinforcement Learning
RMIT University（皇家墨尔本理工大学）
在本文中，我们考虑了具有渐进奖励的强化学习任务;也就是说，奖励的大小往往会随着时间的推移而增加。我们假设这种属性对于基于值的深度强化学习代理来说可能是有问题的，特别是如果代理必须首先在任务的相对无回报区域取得成功，以便到达更多有回报的区域。为了解决这个问题，我们提出了Spectral DQN，它将奖励分解为频率，这样只有在发现大奖励时才会激活高频。这使得训练损失得到平衡，从而在小奖励区域和大奖励区域之间提供更均匀的权重。在两个具有极端奖励累进性的领域中，标准的基于价值的方法显着挣扎，Spectral DQN能够取得更大的进展。此外，当对一组六款标准的Atari游戏进行评估时，Spectral DQN仍然具有竞争力：虽然它在一款游戏中表现不佳，但它在三款游戏中轻松超越了基准。这些结果表明，该方法并不过拟合其目标问题，并表明频谱DQN可能具有超越解决奖励累进性的优势。
2021-04-29 cs.LG
Measuring Progress in Deep Reinforcement Learning Sample Efficiency
ETH Zurich（苏黎世联邦理工学院）；Institute of Science, Technology and Policy（科学、技术与政策研究所）
采样环境转换是深度强化学习（DRL）算法的关键输入。当前的DRL基准通常允许廉价且容易地生成大量样本，使得DRL中的感知进展不一定对应于改进的样本效率。由于模拟真实世界的过程通常是非常困难的，并且收集真实世界的经验是昂贵的，因此样本效率是DRL的经济相关应用的重要指标。我们调查的进展，样本效率的Atari游戏和连续控制任务，通过比较样本的数量，各种算法需要达到一个给定的性能水平，根据相应的出版物中的训练曲线。我们发现样本效率呈指数级增长，估计Atari的倍增时间约为10至18个月，基于状态的连续控制约为5至24个月，基于像素的连续控制约为4至9个月，具体取决于特定的任务和性能水平。
2021-02-09 cs.CY cs.LG
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
University of Georgia（佐治亚大学）
逆强化学习（IRL）是在给定代理的策略或观察到的行为的情况下推断代理的奖励函数的问题。类似于RL，IRL被认为既是一个问题，也是一类方法。通过分类调查IRL的当前文献，本文可作为机器学习及其他领域的研究人员和实践者的参考，以了解IRL的挑战并选择最适合手头问题的方法。该调查正式介绍了IRL问题及其核心挑战，如难以进行准确的推理及其可推广性，对先验知识的敏感性，以及解决方案复杂性与问题大小不成比例的增长。本文阐述了当前的方法如何缓解这些挑战。我们进一步讨论了传统的IRL方法的扩展处理：不准确和不完整的感知，不完整的模型，多个奖励函数和非线性奖励函数。本次调查的结论与研究领域的一些广泛的进展和目前开放的研究问题的讨论。
2020-11-18 cs.LG stat.ML
Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects
Shanghai Jiao Tong University（上海交通大学）
本文综述了基于模型的多智能体强化学习研究，系统分类现有算法并分析其优缺点，同时展望了该领域未来的发展方向。
2022-03-20 cs.AI cs.LG cs.MA
Reinforcement Learning based Disease Progression Model for Alzheimer's Disease
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Mayo Clinic（梅奥诊所）
我们通过将微分方程（DE）和强化学习（RL）与领域知识相结合来建模阿尔茨海默病（AD）的进展。DE提供了与AD相关的一些但不是全部因素之间的关系。我们假设缺失的关系必须满足关于大脑工作的一般标准，例如，最大化认知，同时最小化支持认知的成本。这允许我们通过使用RL来优化捕获上述标准的目标（奖励）函数来提取缺失的关系。我们使用由DE（作为模拟器）和经过训练的RL代理组成的模型，使用合成和真实数据的基线（0年）特征预测个性化的10年AD进展。该模型在预测10年认知轨迹方面与最先进的基于学习的模型相当或更好。我们的可解释模型证明，并提供了见解，“恢复/补偿”的过程，减轻AD的影响，即使这些过程没有明确编码的模型。我们的框架将DE与RL结合起来，用于模拟AD进展，并具有广泛的适用性，可用于了解其他神经系统疾病。
2021-11-02 cs.LG
Neural-Progressive Hedging: Enforcing Constraints in Reinforcement Learning with Stochastic Programming
Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）；Singapore Management University（新加坡管理大学）
我们提出了一个框架，称为神经渐进式对冲（NP），利用随机编程在执行强化学习（RL）政策的在线阶段。我们的目标是确保可行性方面的约束和基于风险的目标，如条件风险价值（CVaR）在政策的执行过程中，使用概率模型的状态转换，以指导政策调整。该框架特别适合于顺序资源分配问题，因为相对于典型的资源约束的可行性不能以可扩展的方式执行。NP框架提供了一种替代方案，在联机阶段增加了适度的开销。实验结果证明了NP框架在两个连续现实世界任务上的有效性：（i）具有流动性约束的财务规划投资组合优化问题，其特征在于非平稳状态分布;以及（ii）自行车共享系统中的动态重新定位问题，其体现了供需匹配问题。我们表明，NP框架产生的政策，比深度RL和其他基线方法，适应非平稳性，同时满足结构性约束，并容纳在由此产生的政策的风险措施。NP框架的其他好处是易于执行和更好地解释政策。
2022-02-27 cs.AI cs.LG
Benchmarking Deep Reinforcement Learning for Continuous Control
University of California, Berkeley（加州大学伯克利分校）；Ghent University（根特大学）；OpenAI
最近，研究人员已经取得了重大进展，将深度学习的进步与强化学习相结合，用于学习特征表示。一些值得注意的例子包括训练代理基于原始像素数据玩Atari游戏，并使用原始感官输入获得高级操作技能。然而，由于缺乏一个共同采用的基准，难以量化持续控制领域的进展。在这项工作中，我们提出了一个基准套件的连续控制任务，包括经典的任务，如车杆摆动，具有非常高的状态和动作维度的任务，如3D人形运动，任务与部分观察，任务与层次结构。我们报告了新的发现的基础上，一系列的实施强化学习算法的系统评估。基准和参考实现都在https://github.com/rllab/rllab上发布，以促进实验的可重复性，并鼓励其他研究人员采用。
2016-05-27 cs.AI cs.LG cs.RO
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
Deep progressive reinforcement learning-based flexible resource scheduling framework for IRS and UAV-assisted MEC system
School of Computer Science, Hunan University of Technology and Business（湖南工商大学计算机学院）；Xiangjiang Laboratory（湘江实验室）；Hunan Normal University（湖南师范大学）；College of Information Science and Engineering, Hunan Normal University（湖南师范大学信息科学与工程学院）
本文提出FRES框架，采用深度渐进强化学习联合优化无人机位置、IRS相移、任务卸载与资源分配，以最小化MEC系统能耗，并支持无人机数量动态变化下的实时最优调度。
2024-08-02 cs.AI cs.LG
Reincarnating Reinforcement Learning: Reusing Prior Computation to Accelerate Progress
Google Research（谷歌研究院）；MILA（蒙特利尔学习算法研究所）
无先验知识的白板学习是强化学习（RL）研究的主流工作流程。然而，RL系统，当应用于大规模的设置，很少操作白板。这种大规模的系统在其开发周期中经历了多次设计或算法更改，并使用临时方法来整合这些更改，而无需从头开始重新训练，这将是非常昂贵的。此外，深度强化学习的低效率通常会使无法获得工业规模资源的研究人员无法解决计算要求高的问题。为了解决这些问题，我们提出了再生RL作为一种替代工作流程或一类问题设置，其中先前的计算工作（例如，学习的策略）在RL代理的设计迭代之间或者从一个RL代理到另一个RL代理被重用或转移。作为实现从任何代理到任何其他代理的RL重生的一步，我们专注于将现有的次优策略有效地转移到独立的基于值的RL代理的特定设置。我们发现，现有的方法在这种情况下失败，并提出了一个简单的算法来解决其局限性。配备了这个算法，我们展示了再生RL的增益在Atari 2600游戏，一个具有挑战性的运动任务，和现实世界的同温层气球导航的问题。总的来说，这项工作为RL研究提供了一种替代方法，我们相信这可以显着提高现实世界的RL采用率，并有助于进一步民主化。在https://agarwl.github.io/reincarnating_rl上提供开源代码和经过培训的代理。
2022-10-04 cs.AI cs.LG stat.ML
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国）；Quancheng Laboratory（千晨实验室）
针对强化学习中标量奖励稀疏且缺乏信息的问题，提出MulFeRL框架，通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入，提升模型推理性能。
2026-05-30 cs.AI
Deep Reinforcement Learning that Matters
McGill University（麦吉尔大学）；Microsoft Maluuba（微软马鲁巴）
近年来，在使用深度强化学习（RL）解决各个领域的挑战性问题方面取得了重大进展。复制现有的工作和准确判断新方法提供的改进对于维持这一进展至关重要。不幸的是，再现最先进的深度RL方法的结果很少是直接的。特别是，标准基准环境中的非确定性，加上方法固有的方差，可能会使报告的结果难以解释。如果没有显著性指标和更严格的实验报告标准化，很难确定对现有技术的改进是否有意义。在本文中，我们调查的重现性，适当的实验技术和报告程序所带来的挑战。我们说明了报告的指标和结果的变化时，与常见的基线进行比较，并建议指导方针，使未来的结果在深度RL更可重复。我们的目标是促进讨论如何确保在该领域的持续进展，最大限度地减少浪费的努力源于结果是不可复制的，容易被误解。
2019-01-30 cs.LG stat.ML
ThinkDrive: Chain-of-Thought Guided Progressive Reinforcement Learning Fine-Tuning for Autonomous Driving
ThinkDrive通过结合显式推理与难度感知的自适应策略优化，提升了自动驾驶中的决策透明度和泛化能力，实验显示其在多个指标上优于现有方法。
2026-01-08 cs.AI
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire（新罕布什尔大学）
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案，以解决强化学习问题。Boosting结合了几个回归树，以提高其准确性，而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上，但在可解释的强化学习方面进展甚微。我们的实验结果表明，增强回归树计算的解决方案既可解释，又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning
Baidu Inc.（百度公司）；Peking University（北京大学）
研究基于组的强化学习，针对步级优势估计对组形成方式敏感的问题，提出ProGPO方法，通过精确前缀动作比较及结合语义扩展与逆方差融合估计势，在任务中改进了基线方法。
2026-07-07 cs.AI
VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；Hupan Lab（虎盘实验室）；Fudan University（复旦大学）
针对多模态推理任务中现有模型性能不稳定的问题，提出基于PCuRL框架的VL-Cogito模型，通过在线难度软加权和动态长度奖励机制提升推理能力，在多类主流多模态基准上性能持平或超越现有推理模型。
2025-07-31 cs.AI cs.CL cs.CV
Progress Constraints for Reinforcement Learning in Behavior Trees
Adaptive and Interpretable Learning Systems Lab, Department of Computer Science, Örebro University（奥雷布罗大学计算机科学系自适应与可解释学习系统实验室）；Robotics, Perception and Learning Lab, School of Electrical Engineering and Computer Science, Royal Institute of Technology（皇家理工学院电气工程与计算机科学学院机器人、感知与学习实验室）
本文提出进展约束机制，通过可行性估计器约束动作集，提升行为树与强化学习结合的性能、样本效率和约束满足度。
2026-02-11 cs.AI
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis
University of Oxford（牛津大学）
针对强化学习训练中安全约束与探索效率的平衡问题，提出基于贝叶斯推理更新环境转移概率模型、近似风险信念矩并推导风险置信界的安全探索架构，可与强化学习结合且经实验验证有效。
2023-12-18 cs.LG cs.LO cs.SY
Revised Progressive-Hedging-Algorithm Based Two-layer Solution Scheme for Bayesian Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
具有固有随机系统噪声和缺乏系统参数知识的随机控制构成了强化学习（RL）的核心和基本主题，特别是在在线学习要求更高的非情景情况下。这一挑战在贝叶斯强化学习中得到了显著的解决，最近已经开发了一些近似技术来找到次优策略。现有的方法主要集中在近似的价值函数，或涉及汤普森采样，我们提出了一种新的两层解决方案，本文直接近似的最优策略，通过结合基于时间分解的动态规划（DP）在下层和基于时间分解的修正渐进对冲算法（PHA）在上层，一类贝叶斯RL问题。该方法的主要特点是在两个不同的层次上将可约系统不确定性与不可约系统不确定性分开，从而分解和克服不确定性。我们证明了我们的解决方案框架，特别是通过线性二次高斯问题与未知的增益，虽然看似简单，一直是一个臭名昭著的主题超过半个世纪的双重控制。
2019-06-21 cs.LG cs.SY eess.SY
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
该研究针对带可验证奖励的强化学习，提出双时钟框架，解释了更大回滚批次学习慢但按计划失败的原因，推导了多步RLVR训练计划，实验验证了相关预测。
2026-10-14 cs.AI cs.LG
PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
Alibaba Group（阿里巴巴集团）
该研究针对LLM多任务RL后训练的任务分配问题，提出PAC方法结合优势与奖励增益信号，经多场景验证可提升样本效率与最终性能。
2026-09-01 cs.LG
ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
ProAS是面向多轮智能体强化学习的即插即用框架，通过ARG、MUI和APR解决无评判者算法的均匀信用分配困境，在Qwen2.5模型上提升了ALFWorld、WebShop任务性能并加快收敛
2026-10-27 cs.AI cs.LG
Progressive Generalization Augmentation with Deeply Coupled RND-PPO and Domain-Prioritized Noise Injection for Robust Crop Management Reinforcement Learning
Chongho Bridge Group Limited（中宏桥梁集团有限公司）
本文提出了一种渐进泛化增强方法，通过深度耦合RND-PPO和领域优先噪声注入，解决农业强化学习中早期学习效率与后期泛化能力的平衡、内在和外在奖励的简单加法结合以及统一噪声注入策略的问题，从而提高作物管理的鲁棒性。
2026-05-17 cs.AI cs.LG
REMEDI: REinforcement learning-driven adaptive MEtabolism modeling of primary sclerosing cholangitis DIsease progression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Missouri School of Medicine（密苏里大学医学院）；Mayo Clinic（梅奥诊所）
针对原发性硬化性胆管炎中胆汁酸代谢改变致肝损伤的问题，提出融合微分方程机理模型与强化学习的REMEDI框架，模拟机体适应过程，结果与已有发现一致且支持早期抑酸药的治疗潜力。
2023-10-02 cs.LG q-bio.QM
Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation
University of Bologna（博洛尼亚大学）
提出自定进度课程深度强化学习框架，结合软演员-评论家算法，动态生成渐进任务，在物理精确模拟器中训练自主摩托车赛车，优于标准SAC。
2026-06-08 cs.AI cs.RO
Combining Local Symmetry Exploitation and Reinforcement Learning for Optimised Probabilistic Inference -- A Work In Progress
本文针对图模型概率推断中最优消元顺序的组合优化难题，将张量网络收缩顺序的强化学习方法适配到图模型，并利用局部对称性对中间结果进行紧凑编码以改进代价函数，使智能体能探索更高效的收缩顺序。
2025-03-11 cs.AI
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；China Mobile Group Design Institute Co., Ltd（中国移动集团设计院有限公司）；Singapore Management University（新加坡管理大学）
本文提出STEP-HRL框架，通过仅基于单步转换而非完整交互历史实现步骤级学习，提升LLM代理在复杂任务中的性能和泛化能力，同时减少token使用。
2026-04-15 cs.AI cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Efficient Sampling-Based Maximum Entropy Inverse Reinforcement Learning with Application to Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）；Shanghai Jiaotong University（上海交通大学）
在过去的几十年里，我们目睹了自动驾驶领域的重大进展。基于优化和强化学习（RL）的先进技术在解决正向问题方面变得越来越强大：给定设计的奖励/成本函数，我们应该如何优化它们并获得安全有效地与环境交互的驾驶策略。这样的进展提出了另一个同样重要的问题：\emph{what should we optimize}？我们不需要手动指定奖励函数，而是希望我们能够从真实的交通数据中提取人类驾驶员试图优化的内容，并将其分配给自动驾驶汽车，以实现人类和智能代理之间更自然和透明的交互。为了解决这个问题，本文提出了一种有效的基于采样的最大熵逆强化学习（IRL）算法。与现有的IRL算法不同，该算法通过引入一个高效的连续域轨迹采样器，在考虑驾驶员轨迹不确定性的同时，直接在连续域中学习奖励函数.我们评估所提出的算法在真实的驾驶数据，包括非交互式和交互式的场景。实验结果表明，与其他IRL算法相比，该算法具有更高的预测精度、更快的收敛速度和更好的泛化能力。
2020-06-22 cs.AI cs.LG cs.RO
Recent Progress in Energy Management of Connected Hybrid Electric Vehicles Using Reinforcement Learning
University of Birmingham（伯明翰大学）；Tsinghua University（清华大学）；University of Surrey（萨里大学）
本文综述了强化学习在网联混合动力汽车能量管理中的应用，涵盖从单车到多车场景，重点探讨多智能体强化学习解决协同生态驾驶控制的挑战与进展。
2023-12-23 cs.LG cs.SY eess.SY
What Matters In On-Policy Reinforcement Learning? A Large-Scale Empirical Study
Google Research（谷歌研究院）
近年来，基于策略的强化学习（RL）已成功应用于许多不同的连续控制任务。虽然RL算法通常在概念上很简单，但其最先进的实现需要大量的低级和高级设计决策，这些决策会强烈影响最终代理的性能。这些选择通常不会在文献中广泛讨论，导致算法的公开描述与其实现之间存在差异。这使得很难归因于RL的进展，并减缓了整体进展[Engstrom'20]。作为填补这一空白的一步，我们在一个统一的政策RL框架中实施了超过50个这样的“选择”，使我们能够在大规模的实证研究中调查它们的影响。我们在五个不同复杂度的连续控制环境中训练了超过250'000名代理，并为RL代理的政策培训提供见解和实用建议。
2020-06-10 cs.LG stat.ML
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge（剑桥大学）
我们提出了一个新的基准测试环境，用于评估强化学习（RL）算法：PlayStation学习环境（PSXLE），一个经过修改的PlayStation模拟器，可以暴露一个简单的控制API，从而实现丰富的游戏状态表示。我们认为，PlayStation作为一个合适的进展代理评估，并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象，并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Dynamics-Adaptive Continual Reinforcement Learning via Progressive Contextualization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Research Institute of Tsinghua University in Shenzhen（清华大学深圳研究院）
本文提出DaCoRL框架，通过渐进上下文化将任务流聚类为上下文并结合可扩展多头网络与知识蒸馏，在动态环境中实现持续强化学习的快速自适应与抗遗忘，显著提升了稳定性、性能与泛化能力。
2023-05-23 cs.AI cs.LG
A Comprehensive Survey on Inverse Constrained Reinforcement Learning: Definitions, Progress and Challenges
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Vector Institute（向量研究所）
本文综述了逆向约束强化学习（ICRL）的定义、算法框架、应对各类环境挑战的方法及应用，并探讨了未决问题以促进理论与工业应用结合。
2025-02-01 cs.AI cs.LG
Reinforcement Learning and Life Cycle Assessment for a Circular Economy -- Towards Progressive Computer Science
IPE Berlin（柏林工业生态研究所）
本文探讨强化学习在循环经济生命周期评估中的应用潜力，以国际象棋AI的位棋盘、AlphaZero等技术进展为参照，提出渐进式计算机科学助力可持续发展转型的新思路。
2025-05-17 cs.AI cs.CY
Observe-R1: Unlocking Reasoning Abilities of MLLMs with Dynamic Progressive Reinforcement Learning
Zhejiang University（浙江大学）
针对强化学习适配多模态数据的挑战，提出Observe-R1框架，通过渐进学习范式、多模态格式约束、动态加权奖励机制提升MLLM推理能力，实验表现优于更大规模模型。
2025-05-18 cs.AI cs.CV cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
Optimizing the Neural Architecture of Reinforcement Learning Agents
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
强化学习（RL）在过去几年中取得了重大进展。其中最重要的一步是神经网络的广泛应用。然而，这些神经网络的架构通常是手动构建的。在这项工作中，我们研究了最近提出的神经架构搜索（NAS）方法优化RL代理的架构。我们进行了实验的Atari基准，并得出结论，现代NAS方法发现架构的RL代理优于手动选择的。
2021-04-28 cs.AI cs.LG
CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
快速城市化、分布式可再生能源、储能和电动汽车的日益整合为电网带来了新的挑战。在美国，建筑物约占总电力需求的70%，需求响应有可能将电力峰值减少约20%。释放这种潜力需要在分布式系统上运行的控制系统，理想情况下是数据驱动和无模型的。为此，强化学习（RL）算法在过去几年中获得了越来越多的关注。然而，需求响应强化学习的研究一直缺乏标准化的水平，推动了强化学习研究在计算机科学社区的巨大进步。为了解决这个问题，我们创建了CityLearn，这是一个OpenAI Gym环境，允许研究人员实现，共享，复制和比较他们的RL实现以进行需求响应。在这里，我们讨论了这种环境和CityLearn挑战赛，这是我们组织的一项RL竞赛，旨在推动该领域的进一步发展。
2020-12-18 cs.AI cs.LG
D4RL: Datasets for Deep Data-Driven Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
离线强化学习（RL）设置（也称为全批RL），其中从静态数据集学习策略，这是令人信服的，因为进步使RL方法能够利用以前收集的大型数据集，就像大型数据集的兴起如何推动监督学习的结果一样。然而，现有的在线RL基准不是针对离线设置而定制的，并且现有的离线RL基准仅限于由部分训练的代理生成的数据，使得离线RL的进展难以测量。在这项工作中，我们介绍了专门为离线设置设计的基准，由与离线RL的真实应用相关的数据集的关键属性指导。以数据集收集为重点，此类属性的示例包括：通过手工设计的控制器和人类演示者生成的数据集，代理在同一环境中执行不同任务的多任务数据集，以及使用混合策略收集的数据集。通过超越简单的基准任务和部分训练的RL代理收集的数据，我们揭示了现有算法的重要和未被重视的缺陷。为了促进研究，我们发布了我们的基准任务和数据集，对现有算法进行了全面评估，评估协议和开源示例。这是社区识别现有离线RL方法中的缺点的共同起点，也是在这一新兴领域取得进展的协作路线。
2021-02-06 cs.LG stat.ML
L2Explorer: A Lifelong Reinforcement Learning Assessment Environment
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
尽管强化学习在机器人、游戏和其他复杂领域取得了突破性的进展，但将强化学习应用于关键应用领域中经常出现的不断发展的开放世界问题仍然存在重大挑战。强化学习解决方案在接受训练的数据分布之外的新任务时往往泛化能力较差，这促使人们对持续学习算法产生了兴趣。在对持续学习算法进行研究的同时，还需要有挑战性的环境、精心设计的实验和评估研究进展的指标。我们通过引入一个框架来解决后一种需求，该框架使用终身学习资源管理器（L2Explorer）进行持续的学习开发和评估，这是一种新的，基于Unity的第一人称3D探索环境，可以不断重新配置以生成一系列任务和任务变体，这些任务和任务变体结构化为复杂和不断发展的评估课程。与具有随机组件的程序生成的世界相反，我们开发了一种系统的方法来定义课程，以应对受控的变化，并附带评估传输，性能恢复和数据效率的指标。总之，L2Explorer环境和评估方法提供了一个框架，用于开发开放世界环境中的未来评估方法，并严格评估终身学习的方法。
2022-03-14 cs.AI cs.LG
Progression Cognition Reinforcement Learning with Prioritized Experience for Multi-Vehicle Pursuit
Beijing University of Posts and Telecommunications（北京邮电大学）；King’s College London（伦敦国王学院）；University of Essex（埃塞克斯大学）；Beijing Big Data Center（北京大数据中心）
针对多车追捕中协作不足与动态目标分配问题，提出PEPCRL-MVP，通过优先经验和注意力驱动的渐进认知分组提升追捕效率与成功率。
2023-06-08 cs.AI
Sim-to-Real Robot Learning from Pixels with Progressive Nets
DeepMind（深度思维（DeepMind））；London, UK（英国伦敦）
应用端到端学习来解决机器人上复杂的、交互式的、像素驱动的控制任务是一个尚未解决的问题。深度强化学习算法太慢，无法在真实机器人上实现性能，但它们的潜力已在模拟环境中得到证明。我们建议使用渐进式网络来弥合现实差距，并将学习到的策略从模拟转移到现实世界。渐进式网络方法是一个通用框架，可以重用从低级视觉功能到高级策略的所有内容，以便转移到新任务，从而实现构建复杂技能的组合但简单的方法。我们提出了一个早期的演示这种方法与一些实验领域的机器人操作，专注于弥合现实的差距。与其他提出的方法不同，我们的真实世界的实验表明，成功的任务学习从原始的视觉输入上完全驱动的机器人机械手。此外，任务学习不是依赖于基于模型的轨迹优化，而是仅使用深度强化学习和稀疏奖励来完成。
2018-05-22 cs.LG cs.RO
Iterative Policy-Space Expansion in Reinforcement Learning
University of Bath（巴斯大学）
当人类和动物面对一系列问题时，他们更容易解决一个困难的问题，这些问题开始很简单，然后慢慢增加难度。我们在强化学习的背景下探索这个想法。而不是提供代理与外部提供的课程，逐步更困难的任务，代理解决了一个单一的任务，利用递减约束的政策空间。我们提出的算法首先学习将特征分类为积极和消极，然后逐渐学习更精细的策略。在俄罗斯方块的实验结果表明，优越的学习率，我们的方法相比，现有的算法。
2019-12-05 cs.AI cs.LG stat.ML
"Good Robot!": Efficient Reinforcement Learning for Multi-Step Visual Tasks with Sim to Real Transfer
The Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达）
当前的强化学习（RL）算法难以处理长时间任务，在长时间任务中，时间可能被浪费在探索死胡同上，任务进度可能很容易被逆转。我们开发了SPOT框架，该框架在行动安全区内进行探索，在不探索的情况下了解不安全的区域，并优先考虑那些逆转早期进展的经验，以显著的效率进行学习。SPOT框架成功地完成了各种任务的模拟试验，当堆叠4个立方体时，基线试验成功率从13%提高到100%，当创建4个立方体的行时，从13%提高到99%，当清理以对抗模式排列的玩具时，从84%提高到95%。每次试验的操作效率通常会提高30%或更多，而训练只需要1- 20 k个操作，具体取决于任务。此外，我们证明了直接仿真到现实迁移。我们能够以61%的效率在100%的试验中创建真实堆栈，并以59%的效率在100%的试验中创建真实行，方法是直接将模拟训练的模型加载到真实机器人上，而无需额外的真实世界微调。据我们所知，这是强化学习的第一个实例，它成功地将仿真到现实迁移应用于长期的多步骤任务，例如考虑到进度反转的块堆叠和行制作。代码可在https://github.com/jhu-lcsr/good_robot上获得。
2020-08-15 cs.AI cs.CV cs.LG
Progressive Agent Skill Generation via Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；LIGHTSPEED（光速公司）
该研究针对现有技能生成方法的缺陷，提出基于强化学习的Skill-α方法，将技能生成为序列编辑过程并引入回退奖励，在CL-Bench和tau2-bench上均显著提升了下游任务成功率。
2026-10-14 cs.CL cs.LG
Toward Cost-efficient Adaptive Clinical Trials in Knee Osteoarthritis with Reinforcement Learning
University of Oulu（奥卢大学）；Research Unit of Health Sciences and Technology（健康科学与技术研究单元）
本文提出一种基于强化学习的新型主动感知方法，对膝骨关节炎患者进行多部位动态监测，在最小化成本的同时最大化信息收集，实验表明其性能优于现有最先进模型，为下一代KOA试验奠定基础。
2025-04-08 cs.AI cs.LG
Unsupervised Visuomotor Control through Distributional Planning Networks
Stanford University（斯坦福大学）
虽然强化学习（RL）有可能使机器人自主地获得广泛的技能，但在实践中，RL通常需要手动地对奖励函数进行按任务设计，特别是在现实世界中，计算进度所需的环境方面无法直接访问。为了使机器人能够自主学习技能，我们转而考虑没有奖励的强化学习问题。我们的目标是学习一个无监督的嵌入空间，在这个空间下，机器人可以测量自己朝着目标前进的进度。我们的方法显式优化的度量空间下，达到特定状态的动作序列是最佳的，当目标是最终达到的状态。这使得能够学习有效的和以控制为中心的表示，从而产生更自主的强化学习算法。在三个模拟环境和两个真实操作问题上的实验表明，该方法可以从未标记的交互中学习有效的目标度量，并将学习到的目标度量用于自主强化学习.
2019-02-14 cs.CV cs.LG cs.RO
Mix&Match - Agent Curricula for Reinforcement Learning
DeepMind（深度思维）
我们介绍了混合与匹配（M&M）-一个培训框架，旨在促进快速有效的学习RL代理，特别是那些太慢或太具有挑战性的训练，否则。关键的创新是一个程序，使我们能够自动形成一个课程的代理。通过这样的课程，我们可以逐步训练更复杂的代理，有效地，从简单的代理发现的解决方案引导。与典型的课程学习方法不同，我们不会逐渐修改所提出的任务或环境，而是使用一个过程来逐渐改变政策在内部的表现方式。我们展示了我们的方法的广泛适用性，在三个不同的实验设置中表现出显着的性能增益：（1）我们训练代理能够控制700多个动作，在一个具有挑战性的3D第一人称任务;使用我们的方法，通过动作空间课程的进展，我们实现了更快的训练和更好的最终性能比一个获得使用传统方法。(2)我们进一步表明，M&M可以成功地用于通过定义代理内部状态的建筑变体课程的进展。(3)最后，我们说明了我们的方法的一个变体可以用来提高代理性能在多任务设置。
2018-06-05 cs.LG stat.ML
Understanding Reinforcement Learning Algorithms: The Progress from Basic Q-learning to Proximal Policy Optimization
University of Cadi Ayyad（卡迪·阿亚德大学）；Faculty of Sciences Semlalia（塞姆拉利亚理学院）；Laboratory of informatics systems engineering（信息系统工程实验室）
本文为初学者全面综述了强化学习的基本原理与算法，梳理了从早期 Q-learning 到 TD3、PPO 及 offline RL 等先进算法的历史进展、核心动机与局限性。
2023-03-31 cs.LG
Natural Environment Benchmarks for Reinforcement Learning
McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
虽然目前的基准强化学习（RL）任务对推动该领域的进展很有用，但在许多方面，它们是使用真实世界数据学习的糟糕替代品。通过在低复杂度的仿真环境中测试越来越复杂的强化学习算法，我们通常会得到脆弱的强化学习策略，这些策略在非常特定的领域之外的推广效果很差。为了解决这个问题，我们提出了三个新的基准RL域系列，这些域包含自然世界的一些复杂性，同时仍然支持快速和广泛的数据采集。所提出的域还允许通过公平的训练/测试分离的泛化的表征，并且容易比较和复制的结果。通过这项工作，我们挑战RL研究社区开发更强大的算法，以满足高标准的评估。
2018-11-14 cs.AI cs.LG stat.ML
