Experience Replay Optimization
Texas A&M University（德克萨斯农工大学）
经验重放使强化学习代理能够记住和重用过去的经验，就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验，要么利用基于规则的重放策略，这可能是次优的。在这项工作中，我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的，因为重放记忆是嘈杂的和大的，并且累积的奖励是不稳定的。为了解决这些问题，我们提出了一种新的经验重放优化（ERO）框架，交替更新两个政策：代理政策，和重放政策。更新代理以基于重放的数据最大化累积奖励，同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性，经验上显示了经验重放学习的承诺，以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning
Tencent（腾讯）；Harbin Institute of Technology（哈尔滨工业大学）；Jinan University（暨南大学）；University of Science and Technology of China（中国科学技术大学）
针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。
2026-08-04 cs.AI cs.LG
From Cumulative Constraints to Adaptive Runtime Safety Control for Nonstationary Reinforcement Learning
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种适应性运行时安全控制机制CPSS，通过将累积安全预算转化为适应性的状态级控制约束，以应对非平稳强化学习中的安全问题，通过动态调整安全阈值来保证执行动作的安全性，同时在多个高速公路合并场景中验证了其有效性。
2026-05-13 cs.LG
IPO: Interior-point Policy Optimization under Constraints
University of California, Davis（加州大学戴维斯分校）
在本文中，我们研究了强化学习（RL）算法来解决现实世界的决策问题的目标是最大化的长期回报，以及满足累积约束。我们提出了一种新的一阶策略优化方法，内点策略优化（IPO），它增加了对数障碍函数的目标，启发了邻点方法。我们提出的方法是很容易实现的性能保证，并可以处理一般类型的累积多约束设置。我们进行广泛的评估，将我们的方法与最先进的基线进行比较。我们的算法优于基线算法，在奖励最大化和约束满足。
2019-10-21 cs.LG math.OC stat.ML
Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning
Tencent Hunyuan（腾讯混元）
针对PPO风格信任区域在自回归生成中的位置无关问题，提出CPPO方法，通过位置加权阈值和累积前缀预算动态调整令牌级约束，提升训练稳定性和推理准确性。
2026-06-11 cs.AI cs.LG
Variational Policy Gradient Method for Reinforcement Learning with General Utilities
University of Minnesota（明尼苏达大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind；University of Alberta（阿尔伯塔大学）；Princeton University（普林斯顿大学）
近年来，强化学习（RL）系统的一般目标超出了奖励的累积总和，已经获得了牵引力，例如在约束问题，探索和根据先前的经验采取行动。在本文中，我们考虑马尔可夫决策问题的政策优化，其中的目标是一个一般的凹效用函数的状态-动作占用措施，其中包括几个上述的例子作为特殊情况。这种普遍性使贝尔曼方程失效。由于这意味着动态规划不再起作用，因此我们将重点放在直接策略搜索上。类似的策略梯度定理\cite{sutton2000policy}可用于RL与累积奖励，我们推导出一个新的变分策略梯度定理RL与一般的效用，建立了参数化的策略梯度可以获得作为一个随机鞍点问题的解决方案，涉及Fenchel对偶的效用函数。提出了一种基于样本路径的变分蒙特卡罗梯度估计算法来计算策略梯度。我们证明了变分策略梯度方案全局收敛于一般目标的最优策略，尽管优化问题是非凸的。我们还建立了它的顺序$O(1/t)$的收敛速度，利用隐藏凸性的问题，并证明了它的指数收敛时，允许隐藏的强凸性的问题。我们的分析适用于标准的RL问题与累积奖励作为一个特殊的情况下，在这种情况下，我们的结果提高了可用的收敛速度。
2020-07-04 cs.LG stat.ML
ESPO: Early-Stopping Proximal Policy Optimization
Tongyi Lab（通义实验室）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
提出ESPO算法，通过在强化学习训练大语言模型时在线检测轨迹失败并提前终止，节省计算资源并提升数学推理性能。
2026-05-28 cs.AI cs.LG
On the Approximation and Convergence of Distributional Policy Gradient Algorithms for Risk-Sensitive Reinforcement Learning
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
本文提出一种针对风险敏感分布式强化学习的新策略梯度方法，提供概率测度梯度的解析形式，设计CDPG算法并证明其有限支撑最优性与有限迭代收敛性，实验验证了风险敏感设置的优越性。
2026-09-30 cs.AI cs.LG math.OC
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps
Salesforce AI Research（赛富时人工智能研究院）
提出前瞻性后见之明（PH）自校准训练原则，利用预测-现实差距加权梯度，在单轮与多轮任务中同时提升性能与校准，且适用于不同模型规模。
2026-10-05 cs.AI cs.LG
Bootstrap Advantage Estimation for Policy Optimization in Reinforcement Learning
Purdue University（普渡大学）
提出了一种基于数据增强的策略优化优势估计方法。与现有方法使用的输入上的数据增强来学习值和策略函数不同，我们的方法使用数据增强来计算自举优势估计。然后，使用这种自举优势估计（BAE）来学习和更新策略和价值函数的梯度。为了证明我们的方法的有效性，我们在几个环境中进行了实验。这些环境来自三个基准测试：Procgen，Deepmind Control和Pybullet，其中包括基于图像和矢量的观察;离散和连续动作空间。我们观察到，我们的方法比广义优势估计（GAE）方法更好地减少了政策和价值损失，并最终提高了累积收益。此外，我们的方法比两个最近提出的数据增强技术（RAD和RAD）。总体而言，我们的方法在样本效率和泛化方面的经验表现优于基线，其中代理在看不见的环境中进行测试。
2022-10-13 cs.AI cs.LG
Fast Adaptation via Policy-Dynamics Value Functions
New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
标准RL算法假设固定的环境动态，并需要大量的交互来适应新环境。我们引入了策略动态价值函数（PD-VF），这是一种新的方法，用于快速适应与以前在训练中看到的动态不同的动态。PD-VF明确估计了政策和环境空间中的累积回报。传统RL策略的集合用于收集训练环境的经验，从中可以学习策略和环境的嵌入。然后，训练以两个嵌入为条件的价值函数。在测试时，几个动作就足以推断环境嵌入，从而通过最大化学习到的价值函数（不需要额外的环境交互）来选择策略。我们表明，我们的方法可以快速适应一组MuJoCo域上的新动态。代码可在https://github.com/rraileanu/policy-dynamics-value-functions获得。
2020-07-06 cs.AI cs.LG
A General Framework for Bandit Problems Beyond Cumulative Objectives
Tel Aviv University（特拉维夫大学）；Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）；Columbia University（哥伦比亚大学）
随机多臂强盗（MAB）问题是序贯决策问题的一个常见模型。在标准的设置中，决策者必须在每一时刻在几个竞争的武器之间进行选择，每个武器都提供了一个标量随机变量，称为“奖励”。“几乎所有关于这个主题的研究都认为总的累积奖励是兴趣的标准。这项工作的重点是其他自然的目标，不能投作为一个总和的奖励，而是更多的参与功能的奖励流。与累积准则的情况不同，在我们这里研究的问题中，先验地知道问题参数并用于“集中”遗憾的预言策略并不是微不足道的。我们提供了一个系统的方法来解决这些问题，并推导出一般条件下，预言机的政策是足够听话，以方便设计的乐观主义为基础的（上置信度）的学习政策。这些条件阐明了一个有趣的手臂奖励分布和性能指标之间的相互作用。我们的主要研究结果说明了几个常用的目标，如条件的风险价值，均值方差权衡，夏普比，等等。
2021-10-26 cs.LG stat.ML
Contextual Bandits in a Survey Experiment on Charitable Giving: Within-Experiment Outcomes versus Policy Learning
Stanford Graduate School of Business（斯坦福大学商学院）；Amazon（亚马逊）；Stanford Management Science and Engineering（斯坦福大学管理科学与工程系）；Coupang（库胖）；University of Toronto Computer Science（多伦多大学计算机科学系）
我们设计并实施了一个适应性实验（一个“上下文强盗”），以学习有针对性的治疗分配政策，其目标是使用参与者的调查响应来确定在募捐活动中让他们接触哪个慈善机构。该设计平衡了两个相互竞争的目标：优化实验中受试者的结果（"累积遗憾最小化“）和收集对政策学习最有用的数据，即学习一个分配规则，如果在实验后使用，将最大限度地提高福利（"简单遗憾最小化”）。我们通过收集试点数据，然后进行模拟研究，以评估替代实验设计。接下来，我们实现我们选择的算法。最后，我们进行了第二次模拟研究，锚定到收集的数据，评估我们选择的算法的好处。我们的第一个结果是，在这种设置中的学习策略的值是更高的数据收集通过统一的随机化，而不是收集自适应使用标准的累积遗憾最小化或政策学习算法。我们提出了一个简单的启发式的自适应实验，提高均匀随机化的政策学习的角度来看，增加累积遗憾相对于替代强盗算法的代价。启发式修改现有的上下文强盗算法（i）施加一个下界的分配概率衰减缓慢，使没有手臂被丢弃得太快，（ii）自适应收集数据后，限制策略学习选择从武器已经收集了足够的数据。
2022-11-22 cs.LG econ.EM stat.ML
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Reachability-Aware Diffusion Policy Optimization
Bilkent University（比尔肯大学）
提出无模型的可达性感知扩散策略优化方法，结合预测性首次命中安全估计与累积成本预算反馈，学习折扣首次命中可达性值塑造奖励，通过加权去噪回归改进扩散策略，在十个连续控制安全任务中实现有竞争力的奖励-成本权衡，显著减少约束违反。
2026-10-06 cs.LG cs.RO
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna（维也纳大学）；The Ohio State University（俄亥俄州立大学）
本文提出Matryoshka策略梯度（MPG）算法，证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性，给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
Constrained Reinforcement Learning via Dissipative Saddle Flow Dynamics
Johns Hopkins University（约翰斯·霍普金斯大学）；Peking University（北京大学）
在约束强化学习（C-RL）中，智能体试图从环境中学习一种策略，该策略在满足次级累积奖励约束中的最小要求的同时最大化期望累积奖励。基于采样的原始-对偶方法的几种算法最近被提出来解决这个问题的政策空间。然而，这样的方法是基于随机梯度下降上升算法，其轨迹连接到最优策略，只有在混合输出阶段，这取决于算法的历史。因此，在行为策略和最优策略之间存在不匹配。在这项工作中，我们提出了一种新的算法约束RL，不受这些限制。利用正则化鞍流动力学的最新结果，我们开发了一种新的随机梯度下降-上升算法，其轨迹几乎肯定收敛到最优策略。
2022-12-03 cs.LG cs.SY eess.SY
Risk-Sensitive Reinforcement Learning via Policy Gradient Search
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Maryland, College Park（马里兰大学帕克分校）
传统的强化学习（RL）问题的目标是找到优化性能度量的期望值的策略，例如无限时域累积折扣或长期平均成本/回报。在实践中，单独优化期望值可能并不令人满意，因为可能需要将风险的概念结合到优化问题公式中，无论是在目标中还是作为约束。在文献中已经提出了各种风险措施，例如，指数效用、方差、百分位绩效、机会约束、风险价值（分位数）、条件风险价值、前景理论及其后来的增强、累积前景理论。在本书中，我们考虑了两种情况下的风险敏感强化学习：一种情况下的目标是找到一种策略，在确保满足风险约束的同时优化通常的期望值目标;另一种情况下的目标是风险度量。我们调查了最近在这方面的一些工作，特别是策略梯度搜索是解决方案的方法。在第一个风险敏感的RL设置，我们涵盖流行的风险措施的基础上方差，条件风险值，机会约束，并提出了一个模板，策略梯度为基础的风险敏感的RL算法使用拉格朗日公式。对于风险直接纳入目标函数的设置，我们考虑了指数效用公式，累积前景理论和连贯的风险措施。这篇非详尽的调查旨在介绍使用策略梯度方法解决风险敏感RL问题所面临的挑战，并概述一些潜在的未来研究方向。
2022-05-23 cs.LG math.OC stat.ML
VOI-aware MCTS
Ben-Gurion University of the Negev（本-古里安大学）
UCT是博弈和马尔可夫决策过程中的蒙特卡罗树搜索（MCTS）的一种最新算法，它基于多臂强盗问题（MAB）的一种最小化累积后悔的抽样策略UCB 1。然而，搜索与MAB的不同之处在于，在MCTS中，通常只有最后的“拉臂”（实际的移动选择）才能收集奖励，而不是所有的“拉臂”。在本文中，MCTS抽样政策的基础上的信息价值（VOI）估计推出的建议。在随机MAB实例和计算机Go上对策略进行实证评估并与UCB 1和UCT进行比较。
2012-07-24 cs.AI cs.LG
Neural-to-Tree Policy Distillation with Policy Improvement Criterion
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Polixir Technologies（波尔克斯科技公司）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Zhejiang University（浙江大学）
虽然深度强化学习在具有挑战性的决策任务中取得了可喜的成果，但其成功的主要骨骼--深度神经网络大多是黑箱。深入了解黑盒模型的一个可行方法是将其提炼成一个可解释的模型，如决策树，它由“若-则”规则组成，易于掌握和验证。然而，传统的模型提取通常是在平稳数据分布假设下的监督学习任务，这在强化学习中是违反的。因此，典型的策略提取克隆模型行为，即使有很小的误差也会带来数据分布偏移，导致不满意的提取策略模型，具有低保真度或低性能。在本文中，我们提出了解决这个问题的蒸馏目标从行为克隆，以最大限度地提高优势评估。新的蒸馏目标最大化一个近似的累积回报，并更侧重于灾难性的行为在临界状态，控制数据移位效应。我们在几个健身房任务，商业格斗游戏和自动驾驶汽车模拟器上评估了我们的方法。实验结果表明，该方法比行为克隆能保持更高的累积奖励，并能学习到与原策略更一致的策略。此外，通过检查提取的规则，从蒸馏决策树，我们证明了所提出的方法提供了合理的和强大的决策。
2021-08-16 cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Policy Gradient Methods for Distortion Risk Measures
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出策略梯度算法，在强化学习框架下最大化扭曲风险度量，分别适用于在线和离线策略设置，并推导了收敛性保证。
2024-02-05 cs.LG
SaVeR: Optimal Data Collection Strategy for Safe Policy Evaluation in Tabular MDP
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究表格型 MDP 中带安全约束的数据收集策略评估问题，提出 SaVeR 算法近似安全预言机以高效收集数据，在满足安全约束下实现低均方误差的策略评估。
2024-06-04 cs.LG
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
本文提出了一种潜在安全约束策略方法，通过条件变分自动编码器和受约束奖励-回报最大化框架，实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Inference-Time Policy Alignment for Fair Reinforcement Learning
该研究提出乘法策略塑造框架，在不更新预训练RL策略参数的情况下，于推理时提升公平性，同时保留核心任务性能，适用于各类深度RL智能体。
2026-08-04 cs.AI cs.LG
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们扩展的时间差的政策评估算法的性能标准，包括方差的累积奖励。这些标准对风险管理很有用，在财务和流程控制等领域也很重要。我们提出了TD（0）和LSTD（lambda）变量与线性函数逼近，证明了它们的收敛性，并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Safe Exploration via Policy Priors
ETH Zurich（苏黎世联邦理工学院）
提出SOOPER方法，利用次优但保守的策略先验，结合概率动力学模型进行乐观探索和悲观回退，在保证安全的同时收敛到最优策略。
2026-08-14 cs.AI cs.LG cs.RO
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Flipping-based Policy for Chance-Constrained Markov Decision Processes
Osaka University（大阪大学）；LY Corporation（LY公司）；Norwegian University of Science and Technology（挪威科技大学）
针对机会约束马尔可夫决策过程，提出基于翻转的动作选择策略，证明其在最优解集中的存在性，将联合机会约束近似为期望累积安全约束，适配约束策略优化框架，在Safety Gym基准上提升了现有安全RL算法的性能。
2024-10-09 cs.LG math.OC
A policy gradient approach for optimization of smooth risk measures
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
针对回合式马尔可夫决策过程中的风险敏感强化学习问题，提出分别适用于同策略和异策略场景的光滑风险度量优化策略梯度算法，推导其非渐近收敛界，且算法可应用于均值-方差和失真风险度量优化。
2024-06-23 cs.LG
Mutual-Information Regularization in Markov Decision Processes and Actor-Critic Learning
累积熵正则化为强化学习（RL）问题引入了一个监管信号，鼓励具有高熵行为的策略，这相当于强制执行与统一参考边际策略的小偏差。这已被证明可以提高探索性和鲁棒性，并解决了价值高估问题。它还导致表格和高维设置中的性能显着提高，如通过软Q学习（SQL）和软演员评论家（SAC）等算法所证明的那样。累积熵正则化已经被扩展到优化参考边际策略，而不是保持它固定，产生一个正则化，最大限度地减少状态和动作之间的互信息。虽然这最初是针对表格设置中的马尔可夫决策过程（MDP）提出的，但最近表明，对于具有离散动作和函数逼近器的高维域，类似的原理导致RL中的vanilla SQL的显着改进。在这里，我们遵循互信息正则化的动机从推理的角度和理论分析相应的贝尔曼算子。受此Bellman算子的启发，我们设计了一种新的互信息正则化行动者-评论家学习（MIRACLE）算法的连续动作空间，优化了参考边际政策。我们在Mujoco机器人模拟器中实证验证了MIRACLE，在那里我们证明了它可以与当代RL方法竞争。最值得注意的是，它可以改善无模型的最先进的SAC算法，其中隐含地假设一个固定的参考策略。
2019-09-11 cs.AI cs.LG stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中，我们被赋予一个目标策略，并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略，使用知识的回报分布的方差。然后，我们介绍了减少方差采样（ReVar）算法，该算法近似的预言机策略时，奖励方差是未知的先验和约束其次优的预言机策略相比。最后，我们经验验证，ReVar导致政策评估的均方误差与Oracle策略相当，并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
Faculty of Mechanical Engineering（机械工程学院）；Delft University of Technology（代尔夫特理工大学）；Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学和计算机科学学院）
本文提出COX-Q算法，通过约束乐观探索和保守离线分布价值学习，解决非策略安全强化学习中的约束违反问题，实现在安全关键应用中的高效样本利用和可控数据收集成本。
2026-03-25 cs.LG cs.RO
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；INRIA Lille（里尔国家信息与自动化研究所）
在许多顺序决策问题中，人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化，即，提高对小概率和高后果事件的认识。因此，本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程（MDP），其中风险表示通过机会约束或约束的条件风险价值（CVaR）的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说，我们首先推导出一个公式，用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后，我们设计了策略梯度和行动者-批评者算法，用于（1）估计此类梯度，（2）在下降方向上更新策略，以及（3）在上升方向上更新拉格朗日乘数。对于这些算法，我们证明收敛到局部最优的政策。最后，我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
Novel Policy Seeking with Constrained Optimization
Shanghai AI Lab（上海人工智能实验室）
在解决问题的过程中，我们人类可以对同一个问题提出多种新颖的解决方案。然而，强化学习算法只能产生一组单调的策略，使累积奖励最大化，但缺乏多样性和新颖性。在这项工作中，我们解决了在强化学习任务中生成新策略的问题。而不是遵循现有方法中使用的多目标框架，我们建议重新考虑约束优化的新视角下的问题。我们首先引入了一个新的度量来评估策略之间的差异，然后根据新的视角设计了两个实用的新策略生成方法。两种方法，即约束任务新平分线（CTNB）和内部政策差异（IPD），来自可行方向法和内点法，通常已知的约束优化文献。MuJoCo控制套件上的实验比较表明，我们的方法可以实现大幅改善，比以前的新颖性寻求方法的新颖性的政策和他们的表现在原始任务。
2022-10-29 cs.AI cs.LG stat.ML
Towards an Understanding of Default Policies in Multitask Policy Optimization
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学中心）；Inria（法国国家信息与自动化研究所）；Oxford University（牛津大学）；Microsoft Research（微软研究院）
最近深度强化学习的大部分成功都是由正则化策略优化（RPO）算法驱动的，这些算法在多个领域都具有强大的性能。在这一系列的方法中，智能体被训练来最大化累积奖励，同时惩罚偏离某些参考或默认策略的行为。除了经验上的成功，还有一个强大的理论基础来理解RPO方法应用于单一任务，与自然梯度，信赖域和变分方法的连接。然而，有有限的正式了解理想的属性默认政策的多任务设置，一个越来越重要的领域，该领域转向培训更普遍的能力代理。在这里，我们通过正式地将默认策略的质量与其对优化的影响联系起来，迈出了填补这一空白的第一步。使用这些结果，然后，我们推导出一个原则性的RPO算法多任务学习具有很强的性能保证。
2022-03-23 cs.LG
MARL with General Utilities via Decentralized Shadow Reward Actor-Critic
Princeton University（普林斯顿大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind（深度思维）
我们提出了一种新的多智能体强化学习（MARL）合作机制，该机制基于团队长期状态-动作占用度量的任何非线性函数，即，一个\emph{general utility}。这包含了累积收益，但也允许人们将风险敏感性，勘探和先验纳入其中。我们推导出{ \bf D}去中心化的{ \bf S}hadow奖励{ \bf A}ctor-{ \bf C} critic（DSAC），其中代理在策略评估（critic）、与邻居的加权平均（信息混合）和其策略参数的局部梯度更新（actor）之间交替。DSAC通过要求代理（i）估计其本地占用度量以（ii）估计本地效用相对于其占用度量的导数，即，“影子奖励”。DSAC以高概率收敛到$ε$ -$\mathcal{O}(1/ε^{2.5})$（定理\ref{theorem:final}）或更快的$\mathcal{O}(1/ε^{2})$（推论\ref{corollary:communication}）步骤中的平稳性，这取决于通信量。我们进一步建立了不存在虚假的平稳点，这个问题，也就是说，DSAC发现的全局最优策略（推论\ref{corollary:global}）。实验证明了合作MARL中超越累积收益的目标的优点。
2021-06-24 cs.AI cs.LG math.OC
Teach Biped Robots to Walk via Gait Principles and Reinforcement Learning with Adversarial Critics
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；National University of Singapore（新加坡国立大学）
考虑到机器人的非线性和混合动力学特性，控制其稳定行走是一项具有挑战性的任务。强化学习可以通过直接将观察到的状态映射到最大化累积奖励的最佳动作来解决这些问题。然而，局部极小值所造成的不适当的奖励和高估的累积奖励阻碍了最大化的累积奖励。为了提高累积奖励，本文设计了一种基于步行原理的步态奖励，它补偿了不自然运动的局部极小值。此外，提出了一种基于递归神经网络的对抗性双延迟深度确定性（ATD 3）策略梯度算法，通过减轻对累积奖励的高估来进一步提高累积奖励。在Roboschool Walker2d和Webots Atlas模拟器上的实验结果表明，添加步态奖励后，测试奖励分别增加了23.50%和9.63%。使用ATD3_RNN后，测试奖励进一步增加了15.96%和12.68%，原因可能是ATD3_RNN将累积奖励的估计误差从19.86%降低到3.35%。此外，步态奖励和ATD3_RNN训练的机器人与人之间的余弦运动相似度提高了69.23%以上。因此，所设计的步态奖励和ATD3_RNN提高了累积奖励，并教机器人更好地行走。
2019-10-22 cs.LG cs.RO
Off-Policy Actor-Critic for Adversarial Observation Robustness: Virtual Alternative Training via Symmetric Policy Evaluation
Department of Information Science, Kyoto University, Kyoto, Japan（京都大学信息科学系）；ATR Neural Information Processing Laboratories, Kyoto, Japan（ATR神经信息处理实验室）；International Research Center for Neurointelligence, The University of Tokyo, Tokyo, Japan（神经智能国际研究中心）
提出一种基于对称策略评估的离策略演员-评论家方法，通过软约束优化消除额外环境交互，提升对抗性观测下的鲁棒性。
2025-06-20 cs.AI cs.LG cs.RO
A safe exploration approach to constrained Markov decision processes
Sycamore（赛卡莫尔）；EPFL（洛桑联邦理工学院）
针对约束马尔可夫决策过程（CMDP），提出无模型且无模拟器的LB-SGD算法，利用对数障碍函数内点法确保学习过程始终满足约束，并以 Õ(ε⁻⁶) 样本复杂度收敛至 ε-最优策略。
2025-03-03 cs.LG math.OC
Safe Policy Exploration Improvement via Subgoals
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Federal Research Center “Computer Science and Control” of the Russian Academy of Sciences（俄罗斯科学院“计算机科学与控制”联邦研究中心）
本文提出SPEIS算法，通过端到端训练子目标和安全双策略来分解任务并遵守累积安全约束，有效提升了强化学习在安全限制下的探索能力，显著降低碰撞率并大幅提高成功率。
2024-08-25 cs.LG cs.RO
Stochastic Bandits for Egalitarian Assignment
National University of Singapore（新加坡国立大学）
针对随机多臂老虎机下的平等主义分配问题EgalMAB，提出基于UCB的EgalUCB策略并推导其累积悔值上界，同时给出几乎匹配的策略无关不可能性结果。
2024-10-08 cs.LG stat.ML
Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Primal-Dual Approach
Purdue University（普渡大学）；US Army Research Laboratory（美国陆军研究实验室）
强化学习广泛应用于需要在与环境交互的同时执行顺序决策的应用中。当决策要求包括满足一些安全约束时，问题变得更具挑战性。该问题在数学上表示为约束马尔可夫决策过程（CMDP）。在文献中，各种算法可用于以无模型的方式解决CMDP问题，以实现具有$ε$可行策略的$ε$ -最优累积奖励。一个$ε$可行的策略意味着它受到约束违反。这里的一个重要问题是我们是否可以实现$ε$ -最优的累积奖励与零约束违规或没有。为了实现这一目标，我们提倡使用随机原始-对偶方法来解决CMDP问题，并提出了一个保守的随机原始-对偶算法（CSPDA），它表现出$\tilde{\mathcal{O}}\left(1/ε^2\right)$样本复杂性，以实现$ε$ -最优的累积奖励与零约束违反。在现有的工作中，最好的可用的样本复杂度的$ε$ -最优策略的零约束违反是$\tilde{\mathcal{O}}\left(1/ε^5\right)$。因此，与现有技术相比，所提出的算法提供了显著的改进。
2022-07-13 cs.LG
A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan（密歇根大学）
本文提出PDCA算法，通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题，仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低，并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法（PTR-PPO），该算法结合了on-policy和off-policy方法，通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点：前两个是最大和平均轨迹优先级的一步经验广义优势估计（GAE）值的基础上，最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后，将优先轨迹重放引入到PPO算法中，提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题，并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能，实现了最先进的性能。此外，通过分析训练过程中优先级内存中各个位置的优先级变化热图，我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响，从而影响算法的性能。
2021-12-08 cs.LG
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University（北京大学）
经验重放使非策略强化学习（RL）代理能够利用过去的经验来最大化累积奖励。优先经验重放，加权经验的大小，他们的时间差误差（$|\text{TD}|$）显着提高学习效率。但是，$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题，通过将$|\text{TD}|$与经验价值联系起来，经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外，我们成功地将我们的理论框架扩展到最大熵RL，通过推导软Q学习的这些值度量的上下界，这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量：$|\text{TD}|$和经验值。我们的经验表明，在实践中的界限，并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
Discovering an Aid Policy to Minimize Student Evasion Using Offline Reinforcement Learning
Federal University of Espirito Santo, UFES（圣埃斯皮里图联邦大学）
高等教育的高辍学率暴露出缺乏效率，造成期望落空和财政浪费。预测处于风险中的学生不足以避免学生辍学。通常，必须为每个学生在适当的时间发现和应用适当的援助行动。针对这一顺序决策问题，提出了一种基于离线强化学习的学生援助行动选择决策支持方法，有效地避免了学生辍学。此外，离散化的学生的状态空间，采用两种不同的聚类方法进行评估。我们使用真实学生的记录数据的实验表明，通过离线策略评估，该方法应该实现大约1.0到1.5倍的累积奖励。因此，这是可行的，以帮助决策者适用适当的援助行动，并可能减少学生辍学。
2021-04-20 cs.LG
Policy Gradients for Probabilistic Constrained Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
针对强化学习中的概率安全约束缺乏梯度表达式的问题，本文推导其显式策略梯度，可兼容多种基于策略的算法，并在连续导航任务中验证可行性。
2023-04-18 cs.LG
Quantile Markov Decision Process
Stanford University（斯坦福大学）
本文提出分位数马尔可夫决策过程（QMDP），用于优化累积奖励的分位数而非期望值，给出解析结果和动态规划算法，并扩展到CVaR目标，在HIV治疗启动问题上验证了其实际价值。
2025-10-15 cs.AI
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University（普林斯顿大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；Deepmind（深度思维）
策略梯度（PG）产生了丰富的一类强化学习（RL）方法。最近，已经出现了通过\emph{variance reduction}技术来加速现有PG方法（诸如REINFORCE）的趋势。然而，所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外，我们设计了一个截断随机增量方差减少的策略梯度（TSIVR-PG）方法，它不仅能够最大化的累积奖励和，但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性，我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
