Active Measuring in Reinforcement Learning With Delayed Negative Effects
Harvard University（哈佛大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Michigan（密歇根大学）
本文提出主动可观测MDP框架，允许智能体权衡测量成本与延迟负面效应，通过基于信念状态的在线RL算法和序贯蒙特卡洛方法，在数字健康应用中提升样本效率和策略价值。
2025-10-16 cs.LG stat.ML
Adapting to Reward Progressivity via Spectral Reinforcement Learning
RMIT University（皇家墨尔本理工大学）
在本文中，我们考虑了具有渐进奖励的强化学习任务;也就是说，奖励的大小往往会随着时间的推移而增加。我们假设这种属性对于基于值的深度强化学习代理来说可能是有问题的，特别是如果代理必须首先在任务的相对无回报区域取得成功，以便到达更多有回报的区域。为了解决这个问题，我们提出了Spectral DQN，它将奖励分解为频率，这样只有在发现大奖励时才会激活高频。这使得训练损失得到平衡，从而在小奖励区域和大奖励区域之间提供更均匀的权重。在两个具有极端奖励累进性的领域中，标准的基于价值的方法显着挣扎，Spectral DQN能够取得更大的进展。此外，当对一组六款标准的Atari游戏进行评估时，Spectral DQN仍然具有竞争力：虽然它在一款游戏中表现不佳，但它在三款游戏中轻松超越了基准。这些结果表明，该方法并不过拟合其目标问题，并表明频谱DQN可能具有超越解决奖励累进性的优势。
2021-04-29 cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Wield: Systematic Reinforcement Learning With Progressive Randomization
University of Cambridge（剑桥大学）；Helmut-Schmidt-University Hamburg（汉堡赫尔穆特·施密特大学）
强化学习框架已经引入了抽象来大规模地实现和执行算法。他们假设标准化的模拟器接口，但不关心识别合适的任务表示。我们提出了Wield，这是第一个促进实际强化学习任务设计的系统。通过软件原语，Wield使从业者能够从状态和动作设计中解耦系统接口和特定于部署的配置。为了指导实验，Wield进一步引入了一种新的任务设计协议和分类方案，该方案以阶段性随机化为中心，以逐步评估模型的能力。
2019-09-15 cs.LG stat.ML
Measuring and Mitigating Interference in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出一种新的干扰测量方法，用于基于值的强化学习，并据此设计在线感知算法以缓解干扰，从而提升经典控制任务中的稳定性与性能。
2023-07-10 cs.AI cs.LG
Progressive extension of reinforcement learning action dimension for asymmetric assembly tasks
Tsinghua University（清华大学）
强化学习（RL）一直是构造复杂任务（如非对称装配任务）的控制策略的优选实施例。然而，强化学习的收敛速度严重制约了其实际应用。在本文中，收敛速度的第一个加速RL和顺应性控制相结合。然后提出了一种全新的渐进扩展行为维（PEAD）机制来优化强化学习算法的收敛性。在DDPG和PPO中验证了PEAD方法。实验结果表明，PEAD方法可以提高强化学习算法的数据效率和时间效率，并增加稳定的奖励，这为强化学习的应用提供了更大的潜力。
2021-04-06 cs.LG cs.SY eess.SY
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Reinforcement Learning based Disease Progression Model for Alzheimer's Disease
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Mayo Clinic（梅奥诊所）
我们通过将微分方程（DE）和强化学习（RL）与领域知识相结合来建模阿尔茨海默病（AD）的进展。DE提供了与AD相关的一些但不是全部因素之间的关系。我们假设缺失的关系必须满足关于大脑工作的一般标准，例如，最大化认知，同时最小化支持认知的成本。这允许我们通过使用RL来优化捕获上述标准的目标（奖励）函数来提取缺失的关系。我们使用由DE（作为模拟器）和经过训练的RL代理组成的模型，使用合成和真实数据的基线（0年）特征预测个性化的10年AD进展。该模型在预测10年认知轨迹方面与最先进的基于学习的模型相当或更好。我们的可解释模型证明，并提供了见解，“恢复/补偿”的过程，减轻AD的影响，即使这些过程没有明确编码的模型。我们的框架将DE与RL结合起来，用于模拟AD进展，并具有广泛的适用性，可用于了解其他神经系统疾病。
2021-11-02 cs.LG
Measuring the Reliability of Reinforcement Learning Algorithms
Google Research（谷歌研究院）；Berkeley EECS（加州大学伯克利分校电子工程与计算机科学系）
缺乏可靠性是强化学习（RL）算法的一个众所周知的问题。近年来，这一问题越来越受到关注，为改善这一问题所作的努力也大大增加。为了帮助RL研究人员和生产用户评估和改进可靠性，我们提出了一组定量测量可靠性不同方面的指标。在这项工作中，我们专注于在培训期间和学习之后（在固定策略上）的可变性和风险。我们将这些指标设计为通用的，我们还设计了补充的统计测试，以实现对这些指标的严格比较。在本文中，我们首先描述了所需的属性的指标和它们的设计，他们测量的可靠性方面，以及它们对不同场景的适用性。然后，我们描述了统计检验，并提出了报告结果的其他实用建议。这些指标和随附的统计工具已在https://github.com/google-research/rl-reliability-metrics上作为开源库提供。我们将我们的指标应用于一组常见的RL算法和环境，比较它们，并分析结果。
2020-02-12 cs.AI cs.LG stat.ML
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology（麻省理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）被认为是一种潜在的改进现实世界自治系统的框架，它吸引了多个不同领域的关注。然而，在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中，我们专注于这个问题，审查和评估的研究工作，从域不可知论和特定领域的社区。一方面，我们提供了一个全面的总结DRL的挑战，并总结了不同的建议，以减轻他们，这有助于确定领域不可知论研究的五个差距。另一方面，从特定领域的角度来看，我们讨论了不同的成功案例，并讨论了为什么其他模型可能无法部署。最后，我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
Alibaba Group（阿里巴巴集团）
该研究针对LLM多任务RL后训练的任务分配问题，提出PAC方法结合优势与奖励增益信号，经多场景验证可提升样本效率与最终性能。
2026-09-01 cs.LG
Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control
University of British Colubia（英属哥伦比亚大学）
深度强化学习已经证明了不断增加的连续控制问题的能力，包括可以在其环境中熟练和敏捷地移动的代理。在这种情况下，一个开放的问题是，制定良好的战略，整合或合并多个技能的政策，其中每一个单独的技能是一个特定的技能和相关的状态分布的专家。我们扩展策略蒸馏方法的连续动作设置，并利用这种技术来结合专家的政策，在不同类别的地形模拟双足运动的域中进行评估。我们还介绍了一种输入注入方法，用于增强现有的政策网络，以利用新的输入功能。最后，我们的方法使用迁移学习来帮助有效地获得新技能。这些方法的组合允许策略使用新技能进行增量增强。我们比较我们的渐进式学习和集成通过蒸馏（PLAID）方法对三个替代基线。
2018-02-13 cs.AI cs.LG cs.RO
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
University of Georgia（佐治亚大学）
逆强化学习（IRL）是在给定代理的策略或观察到的行为的情况下推断代理的奖励函数的问题。类似于RL，IRL被认为既是一个问题，也是一类方法。通过分类调查IRL的当前文献，本文可作为机器学习及其他领域的研究人员和实践者的参考，以了解IRL的挑战并选择最适合手头问题的方法。该调查正式介绍了IRL问题及其核心挑战，如难以进行准确的推理及其可推广性，对先验知识的敏感性，以及解决方案复杂性与问题大小不成比例的增长。本文阐述了当前的方法如何缓解这些挑战。我们进一步讨论了传统的IRL方法的扩展处理：不准确和不完整的感知，不完整的模型，多个奖励函数和非线性奖励函数。本次调查的结论与研究领域的一些广泛的进展和目前开放的研究问题的讨论。
2020-11-18 cs.LG stat.ML
Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects
Shanghai Jiao Tong University（上海交通大学）
本文综述了基于模型的多智能体强化学习研究，系统分类现有算法并分析其优缺点，同时展望了该领域未来的发展方向。
2022-03-20 cs.AI cs.LG cs.MA
Neural-Progressive Hedging: Enforcing Constraints in Reinforcement Learning with Stochastic Programming
Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）；Singapore Management University（新加坡管理大学）
我们提出了一个框架，称为神经渐进式对冲（NP），利用随机编程在执行强化学习（RL）政策的在线阶段。我们的目标是确保可行性方面的约束和基于风险的目标，如条件风险价值（CVaR）在政策的执行过程中，使用概率模型的状态转换，以指导政策调整。该框架特别适合于顺序资源分配问题，因为相对于典型的资源约束的可行性不能以可扩展的方式执行。NP框架提供了一种替代方案，在联机阶段增加了适度的开销。实验结果证明了NP框架在两个连续现实世界任务上的有效性：（i）具有流动性约束的财务规划投资组合优化问题，其特征在于非平稳状态分布;以及（ii）自行车共享系统中的动态重新定位问题，其体现了供需匹配问题。我们表明，NP框架产生的政策，比深度RL和其他基线方法，适应非平稳性，同时满足结构性约束，并容纳在由此产生的政策的风险措施。NP框架的其他好处是易于执行和更好地解释政策。
2022-02-27 cs.AI cs.LG
Revised Progressive-Hedging-Algorithm Based Two-layer Solution Scheme for Bayesian Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
具有固有随机系统噪声和缺乏系统参数知识的随机控制构成了强化学习（RL）的核心和基本主题，特别是在在线学习要求更高的非情景情况下。这一挑战在贝叶斯强化学习中得到了显著的解决，最近已经开发了一些近似技术来找到次优策略。现有的方法主要集中在近似的价值函数，或涉及汤普森采样，我们提出了一种新的两层解决方案，本文直接近似的最优策略，通过结合基于时间分解的动态规划（DP）在下层和基于时间分解的修正渐进对冲算法（PHA）在上层，一类贝叶斯RL问题。该方法的主要特点是在两个不同的层次上将可约系统不确定性与不可约系统不确定性分开，从而分解和克服不确定性。我们证明了我们的解决方案框架，特别是通过线性二次高斯问题与未知的增益，虽然看似简单，一直是一个臭名昭著的主题超过半个世纪的双重控制。
2019-06-21 cs.LG cs.SY eess.SY
REMEDI: REinforcement learning-driven adaptive MEtabolism modeling of primary sclerosing cholangitis DIsease progression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Missouri School of Medicine（密苏里大学医学院）；Mayo Clinic（梅奥诊所）
针对原发性硬化性胆管炎中胆汁酸代谢改变致肝损伤的问题，提出融合微分方程机理模型与强化学习的REMEDI框架，模拟机体适应过程，结果与已有发现一致且支持早期抑酸药的治疗潜力。
2023-10-02 cs.LG q-bio.QM
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis
University of Oxford（牛津大学）
针对强化学习训练中安全约束与探索效率的平衡问题，提出基于贝叶斯推理更新环境转移概率模型、近似风险信念矩并推导风险置信界的安全探索架构，可与强化学习结合且经实验验证有效。
2023-12-18 cs.LG cs.LO cs.SY
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Understanding Reinforcement Learning Algorithms: The Progress from Basic Q-learning to Proximal Policy Optimization
University of Cadi Ayyad（卡迪·阿亚德大学）；Faculty of Sciences Semlalia（塞姆拉利亚理学院）；Laboratory of informatics systems engineering（信息系统工程实验室）
本文为初学者全面综述了强化学习的基本原理与算法，梳理了从早期 Q-learning 到 TD3、PPO 及 offline RL 等先进算法的历史进展、核心动机与局限性。
2023-03-31 cs.LG
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
Deep progressive reinforcement learning-based flexible resource scheduling framework for IRS and UAV-assisted MEC system
School of Computer Science, Hunan University of Technology and Business（湖南工商大学计算机学院）；Xiangjiang Laboratory（湘江实验室）；Hunan Normal University（湖南师范大学）；College of Information Science and Engineering, Hunan Normal University（湖南师范大学信息科学与工程学院）
本文提出FRES框架，采用深度渐进强化学习联合优化无人机位置、IRS相移、任务卸载与资源分配，以最小化MEC系统能耗，并支持无人机数量动态变化下的实时最优调度。
2024-08-02 cs.AI cs.LG
Recent Progress in Energy Management of Connected Hybrid Electric Vehicles Using Reinforcement Learning
University of Birmingham（伯明翰大学）；Tsinghua University（清华大学）；University of Surrey（萨里大学）
本文综述了强化学习在网联混合动力汽车能量管理中的应用，涵盖从单车到多车场景，重点探讨多智能体强化学习解决协同生态驾驶控制的挑战与进展。
2023-12-23 cs.LG cs.SY eess.SY
Deep Reinforcement Learning that Matters
McGill University（麦吉尔大学）；Microsoft Maluuba（微软马鲁巴）
近年来，在使用深度强化学习（RL）解决各个领域的挑战性问题方面取得了重大进展。复制现有的工作和准确判断新方法提供的改进对于维持这一进展至关重要。不幸的是，再现最先进的深度RL方法的结果很少是直接的。特别是，标准基准环境中的非确定性，加上方法固有的方差，可能会使报告的结果难以解释。如果没有显著性指标和更严格的实验报告标准化，很难确定对现有技术的改进是否有意义。在本文中，我们调查的重现性，适当的实验技术和报告程序所带来的挑战。我们说明了报告的指标和结果的变化时，与常见的基线进行比较，并建议指导方针，使未来的结果在深度RL更可重复。我们的目标是促进讨论如何确保在该领域的持续进展，最大限度地减少浪费的努力源于结果是不可复制的，容易被误解。
2019-01-30 cs.LG stat.ML
Progressive Agent Skill Generation via Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；LIGHTSPEED（光速公司）
该研究针对现有技能生成方法的缺陷，提出基于强化学习的Skill-α方法，将技能生成为序列编辑过程并引入回退奖励，在CL-Bench和tau2-bench上均显著提升了下游任务成功率。
2026-10-14 cs.CL cs.LG
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire（新罕布什尔大学）
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案，以解决强化学习问题。Boosting结合了几个回归树，以提高其准确性，而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上，但在可解释的强化学习方面进展甚微。我们的实验结果表明，增强回归树计算的解决方案既可解释，又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Surprise-Based Intrinsic Motivation for Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
复杂领域的探索是强化学习的一个关键挑战，特别是对于奖励非常稀疏的任务。最近在深度强化学习中取得的成功主要是使用简单的启发式探索策略，如$ε$ -贪婪动作选择或高斯控制噪声，但有许多任务，这些方法不足以取得任何学习进展。在这里，我们考虑更复杂的探索：高效和可扩展的探索策略，最大限度地提高了一个代理的惊喜，通过内在动机的经验的概念。我们建议与策略同时学习MDP转移概率的模型，并形成近似于来自学习模型的真实转移概率的KL发散的内在奖励。我们的一个近似结果是将学习作为内在动机，而另一个近似结果是$k$步骤学习进展。我们表明，我们的激励机制，使代理人在广泛的环境中成功的高维状态空间和非常稀疏的奖励，包括连续控制任务和游戏中的Atari RAM域，优于其他几个启发式探索技术。
2017-03-06 cs.LG
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
Target-Aligned Bellman Backup for Cross-domain Offline Reinforcement Learning
School of Artificial Intelligence（人工智能学院）；Jilin University（吉林大学）
本文提出了一种基于目标域贝尔曼目标对齐的跨域离线强化学习方法，旨在通过评估源域过渡与目标域贝尔曼目标的一致性来提升策略学习性能。
2026-05-21 cs.LG
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
该研究针对带可验证奖励的强化学习，提出双时钟框架，解释了更大回滚批次学习慢但按计划失败的原因，推导了多步RLVR训练计划，实验验证了相关预测。
2026-10-14 cs.AI cs.LG
ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
ProAS是面向多轮智能体强化学习的即插即用框架，通过ARG、MUI和APR解决无评判者算法的均匀信用分配困境，在Qwen2.5模型上提升了ALFWorld、WebShop任务性能并加快收敛
2026-10-27 cs.AI cs.LG
Progressive Generalization Augmentation with Deeply Coupled RND-PPO and Domain-Prioritized Noise Injection for Robust Crop Management Reinforcement Learning
Chongho Bridge Group Limited（中宏桥梁集团有限公司）
本文提出了一种渐进泛化增强方法，通过深度耦合RND-PPO和领域优先噪声注入，解决农业强化学习中早期学习效率与后期泛化能力的平衡、内在和外在奖励的简单加法结合以及统一噪声注入策略的问题，从而提高作物管理的鲁棒性。
2026-05-17 cs.AI cs.LG
Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
受家长渐进式保护孩子的模式启发，提出一种模型无关的安全强化学习元学习框架，通过基于安全规范的有限状态机防护机制和任务间安全偏好迁移，实现少样本适配新安全规范并显著降低安全违规次数，在多类场景验证有效。
2024-10-31 cs.LG cs.LO
ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Neuroscience, Chinese Academy of Sciences（中国科学院神经科学研究所）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Nanyang Technological University（南洋理工大学）
针对长视界智能体任务中结果奖励稀疏的问题，提出ProCredit方法，通过重新运行验收检查将进度转化为信用，在多个规模上提升任务完成率。
2026-10-20 cs.CL cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
面向任务的对话系统的对话策略学习近年来取得了很大的进展，主要是通过采用强化学习方法。然而，这些方法已经变得非常复杂。现在是时候重新评估它了。我们真的在开发基于强化学习的对话代理方面取得了进展吗？我们演示了如何（1）传统的监督学习与（2）无模拟器的对抗学习方法一起使用，以实现与最先进的基于RL的方法相当的性能。首先，我们引入一个简单的对话动作解码器来预测适当的动作。然后，对传统的多标签对话策略学习方案进行扩展，增加密集层，提高对话Agent的性能。最后，我们采用Gumbel-Softmax估计交替训练对话代理和对话奖励模型，而不使用强化学习。基于我们广泛的实验，我们可以得出结论，所提出的方法可以实现更稳定和更高的性能，更少的努力，如领域知识所需的设计一个用户模拟器和棘手的参数调整强化学习。我们的主要目标不是用监督学习击败强化学习，而是展示重新思考强化学习和监督学习在优化面向任务的对话系统中的作用的价值。
2020-09-21 cs.CL cs.LG
GRIMGEP: Learning Progress for Robust Goal Sampling in Visual Deep Reinforcement Learning
为了扩大强化学习的范围，设计能够自主学习各种技能的代理是至关重要的。它将增加学习技能的多样性，并减少为每个技能手动设计奖励功能的负担。自我监督的代理人，设定自己的目标，并试图最大限度地提高这些目标的多样性，已经显示出很大的希望实现这一目标。然而，目前已知的代理试图最大化采样目标的多样性的限制是，他们往往会被吸引到噪音或更一般的环境中的部分，不能控制（干扰）。当智能体可以访问预定义的目标特征或专家知识时，绝对学习进度（ALP）提供了一种区分可以控制的区域和不能控制的区域的方法。然而，当代理仅被提供原始感觉输入（例如图像）时，这些方法常常不足。在这项工作中，我们将这些概念扩展到无监督的基于图像的目标探索。我们提出了一个框架，允许代理自主识别和忽略嘈杂的分心区域，同时在可学习区域中搜索新颖性，以提高整体性能并避免灾难性遗忘。我们的框架可以与任何最先进的新奇寻求目标探索方法相结合。我们构建了一个丰富的三维图像为基础的环境与干扰。在这个环境中的实验表明，代理使用我们的框架成功地识别出有趣的区域的环境，从而大大提高了性能。源代码可在https://sites.google.com/view/grimgep上获得。
2022-11-07 cs.AI cs.LG cs.RO
Self-Paced Absolute Learning Progress as a Regularized Approach to Curriculum Learning
Technical University of Darmstadt（达姆施塔特工业大学）
针对基于绝对学习进度（ALP）的课程强化学习存在重复已习得行为、浪费计算资源的问题，提出基于自步学习的正则化方法SPALP，在三种环境中性能与ALP相当且两种环境下收敛更快，为提升课程强化学习效率提供了新方案。
2023-06-09 cs.LG
Progress and summary of reinforcement learning on energy management of MPS-EV
Loughborough University（拉夫堡大学）；Jilin University（吉林大学）
在环境法规和能源危机的背景下，内燃机（ICE）造成的高排放和低能效已变得不可接受。多能源电动汽车（MPS-EV）作为一种很有前途的替代解决方案，引入不同的清洁能源系统来提高动力系统的效率。能量管理策略（EMS）是MPS-EV最大化效率、燃料经济性和范围的关键技术。强化学习（RL）已成为开发EMS的有效方法。强化学习得到了不断的关注和研究，但仍然缺乏对基于强化学习的环境管理系统设计要素的系统分析。为此，本文深入分析了基于RL的EMS（RL-EMS）的研究现状，总结了基于RL的EMS的设计要素。本文首先从算法、感知机制、决策机制、奖励函数和创新训练方法五个方面总结了强化学习在EMS中的应用。展示了先进算法对训练效果的贡献，详细分析了文献中的感知和控制方案，对不同的奖励函数设置进行了分类，阐述了创新的训练方法及其作用。最后，通过比较强化学习和强化学习环境管理系统的发展路线，指出了先进强化学习解决方案与现有强化学习环境管理系统之间的差距。最后，本文提出了在EMS中实施先进人工智能（AI）解决方案的潜在发展方向。
2022-11-08 cs.LG eess.SP physics.app-ph
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；China Mobile Group Design Institute Co., Ltd（中国移动集团设计院有限公司）；Singapore Management University（新加坡管理大学）
本文提出STEP-HRL框架，通过仅基于单步转换而非完整交互历史实现步骤级学习，提升LLM代理在复杂任务中的性能和泛化能力，同时减少token使用。
2026-04-15 cs.AI cs.LG
Benchmarking Deep Reinforcement Learning for Continuous Control
University of California, Berkeley（加州大学伯克利分校）；Ghent University（根特大学）；OpenAI
最近，研究人员已经取得了重大进展，将深度学习的进步与强化学习相结合，用于学习特征表示。一些值得注意的例子包括训练代理基于原始像素数据玩Atari游戏，并使用原始感官输入获得高级操作技能。然而，由于缺乏一个共同采用的基准，难以量化持续控制领域的进展。在这项工作中，我们提出了一个基准套件的连续控制任务，包括经典的任务，如车杆摆动，具有非常高的状态和动作维度的任务，如3D人形运动，任务与部分观察，任务与层次结构。我们报告了新的发现的基础上，一系列的实施强化学习算法的系统评估。基准和参考实现都在https://github.com/rllab/rllab上发布，以促进实验的可重复性，并鼓励其他研究人员采用。
2016-05-27 cs.AI cs.LG cs.RO
What Matters In On-Policy Reinforcement Learning? A Large-Scale Empirical Study
Google Research（谷歌研究院）
近年来，基于策略的强化学习（RL）已成功应用于许多不同的连续控制任务。虽然RL算法通常在概念上很简单，但其最先进的实现需要大量的低级和高级设计决策，这些决策会强烈影响最终代理的性能。这些选择通常不会在文献中广泛讨论，导致算法的公开描述与其实现之间存在差异。这使得很难归因于RL的进展，并减缓了整体进展[Engstrom'20]。作为填补这一空白的一步，我们在一个统一的政策RL框架中实施了超过50个这样的“选择”，使我们能够在大规模的实证研究中调查它们的影响。我们在五个不同复杂度的连续控制环境中训练了超过250'000名代理，并为RL代理的政策培训提供见解和实用建议。
2020-06-10 cs.LG stat.ML
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge（剑桥大学）
我们提出了一个新的基准测试环境，用于评估强化学习（RL）算法：PlayStation学习环境（PSXLE），一个经过修改的PlayStation模拟器，可以暴露一个简单的控制API，从而实现丰富的游戏状态表示。我们认为，PlayStation作为一个合适的进展代理评估，并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象，并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Dynamics-Adaptive Continual Reinforcement Learning via Progressive Contextualization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Research Institute of Tsinghua University in Shenzhen（清华大学深圳研究院）
本文提出DaCoRL框架，通过渐进上下文化将任务流聚类为上下文并结合可扩展多头网络与知识蒸馏，在动态环境中实现持续强化学习的快速自适应与抗遗忘，显著提升了稳定性、性能与泛化能力。
2023-05-23 cs.AI cs.LG
Observe-R1: Unlocking Reasoning Abilities of MLLMs with Dynamic Progressive Reinforcement Learning
Zhejiang University（浙江大学）
针对强化学习适配多模态数据的挑战，提出Observe-R1框架，通过渐进学习范式、多模态格式约束、动态加权奖励机制提升MLLM推理能力，实验表现优于更大规模模型。
2025-05-18 cs.AI cs.CV cs.LG
A Comprehensive Survey on Inverse Constrained Reinforcement Learning: Definitions, Progress and Challenges
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Vector Institute（向量研究所）
本文综述了逆向约束强化学习（ICRL）的定义、算法框架、应对各类环境挑战的方法及应用，并探讨了未决问题以促进理论与工业应用结合。
2025-02-01 cs.AI cs.LG
Improving and Benchmarking Offline Reinforcement Learning Algorithms
Sea AI Lab（Sea人工智能实验室）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
本文针对离线RL中底层实现差异和数据集割裂问题，实证评估20项实现选择，提出选择指南，得到CRR+与CQL+，并统一基准测试八种算法。
2023-06-01 cs.LG
A Review of Uncertainty for Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
不确定性在博弈中无处不在，无论是在参与博弈的主体中，还是在博弈本身中。因此，处理不确定性是成功的深度强化学习代理的重要组成部分。虽然在理解和处理监督学习的不确定性方面已经有了很大的努力和进展，但不确定性感知的深度强化学习的文献还不太发达。虽然关于监督学习的神经网络中的不确定性的许多相同问题仍然存在于强化学习中，但由于可交互环境的性质，存在额外的不确定性来源。在这项工作中，我们提供了一个概述，激励和现有的技术在不确定性意识的深度强化学习。这些工作显示了各种强化学习任务的经验优势。这项工作有助于集中不同的结果，并促进这一领域的未来研究。
2022-08-18 cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
快速城市化、分布式可再生能源、储能和电动汽车的日益整合为电网带来了新的挑战。在美国，建筑物约占总电力需求的70%，需求响应有可能将电力峰值减少约20%。释放这种潜力需要在分布式系统上运行的控制系统，理想情况下是数据驱动和无模型的。为此，强化学习（RL）算法在过去几年中获得了越来越多的关注。然而，需求响应强化学习的研究一直缺乏标准化的水平，推动了强化学习研究在计算机科学社区的巨大进步。为了解决这个问题，我们创建了CityLearn，这是一个OpenAI Gym环境，允许研究人员实现，共享，复制和比较他们的RL实现以进行需求响应。在这里，我们讨论了这种环境和CityLearn挑战赛，这是我们组织的一项RL竞赛，旨在推动该领域的进一步发展。
2020-12-18 cs.AI cs.LG
Reincarnating Reinforcement Learning: Reusing Prior Computation to Accelerate Progress
Google Research（谷歌研究院）；MILA（蒙特利尔学习算法研究所）
无先验知识的白板学习是强化学习（RL）研究的主流工作流程。然而，RL系统，当应用于大规模的设置，很少操作白板。这种大规模的系统在其开发周期中经历了多次设计或算法更改，并使用临时方法来整合这些更改，而无需从头开始重新训练，这将是非常昂贵的。此外，深度强化学习的低效率通常会使无法获得工业规模资源的研究人员无法解决计算要求高的问题。为了解决这些问题，我们提出了再生RL作为一种替代工作流程或一类问题设置，其中先前的计算工作（例如，学习的策略）在RL代理的设计迭代之间或者从一个RL代理到另一个RL代理被重用或转移。作为实现从任何代理到任何其他代理的RL重生的一步，我们专注于将现有的次优策略有效地转移到独立的基于值的RL代理的特定设置。我们发现，现有的方法在这种情况下失败，并提出了一个简单的算法来解决其局限性。配备了这个算法，我们展示了再生RL的增益在Atari 2600游戏，一个具有挑战性的运动任务，和现实世界的同温层气球导航的问题。总的来说，这项工作为RL研究提供了一种替代方法，我们相信这可以显着提高现实世界的RL采用率，并有助于进一步民主化。在https://agarwl.github.io/reincarnating_rl上提供开源代码和经过培训的代理。
2022-10-04 cs.AI cs.LG stat.ML
Representation and Invariance in Reinforcement Learning
The City University of New York（纽约市立大学）
本文研究强化学习框架间保留相对智能的可映射性，引入相关准则，证明确定性与随机性RL框架间映射无法满足该准则，揭示不同版本RL存在固有根本差异。
2026-08-12 cs.AI cs.GT cs.LG
D4RL: Datasets for Deep Data-Driven Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
离线强化学习（RL）设置（也称为全批RL），其中从静态数据集学习策略，这是令人信服的，因为进步使RL方法能够利用以前收集的大型数据集，就像大型数据集的兴起如何推动监督学习的结果一样。然而，现有的在线RL基准不是针对离线设置而定制的，并且现有的离线RL基准仅限于由部分训练的代理生成的数据，使得离线RL的进展难以测量。在这项工作中，我们介绍了专门为离线设置设计的基准，由与离线RL的真实应用相关的数据集的关键属性指导。以数据集收集为重点，此类属性的示例包括：通过手工设计的控制器和人类演示者生成的数据集，代理在同一环境中执行不同任务的多任务数据集，以及使用混合策略收集的数据集。通过超越简单的基准任务和部分训练的RL代理收集的数据，我们揭示了现有算法的重要和未被重视的缺陷。为了促进研究，我们发布了我们的基准任务和数据集，对现有算法进行了全面评估，评估协议和开源示例。这是社区识别现有离线RL方法中的缺点的共同起点，也是在这一新兴领域取得进展的协作路线。
2021-02-06 cs.LG stat.ML
