When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology（代尔夫特理工大学）
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap，首次从理论分析给出缩小该差距的条件，并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Optimizing for the Future in Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（Adobe研究）；University of Alberta（阿尔伯塔大学）
大多数强化学习方法都基于一个关键假设，即转移动态和奖励函数是固定的，也就是说，底层的马尔可夫决策过程是平稳的。然而，在许多现实世界的应用中，这一假设是违反的，使用现有的算法可能会导致性能滞后。为了主动寻找一个好的未来的政策，我们提出了一个策略梯度算法，最大限度地预测未来的性能。这一预测是通过拟合一条曲线，以反事实的估计政策绩效随着时间的推移，没有明确建模的基础非平稳性。由此产生的算法相当于一个非均匀的重新加权过去的数据，我们观察到，最小化性能的一些数据从过去的情节可以是有益的，当搜索一个政策，最大限度地提高未来的性能。我们表明，我们的算法，称为预测，是更强大的非平稳性比两个在线自适应技术，在三个模拟问题的动机，现实世界中的应用。
2020-09-21 cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Sample Complexity of Policy Gradient Finding Second-Order Stationary Points
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
基于策略的强化学习（RL）的目标是搜索其目标的最大值点。然而，由于其目标的内在非线性，收敛到一阶稳定点（FOSP）不能保证策略梯度方法找到一个最大点。一个FOSP可以是一个最小值，甚至是一个鞍点，这对于RL来说是不可取的。幸运的是，如果所有的鞍点都是\emph{strict}，所有的二阶平稳点（SOSP）完全等价于局部极大值。我们用SOSP代替FOSP作为表征策略梯度样本复杂性的收敛准则。我们的结果表明，策略梯度在总代价为$\mathcal{O}\left(\dfrac{ε^{-\frac{9}{2}}}{(1-γ)\sqrtχ}\log\dfrac{1}δ\right)$之后以至少$1-\widetilde{\mathcal{O}}(δ)$的概率收敛到$(ε,\sqrt{εχ})$ -SOSP，其中$γ\in(0,1)$ .我们的结果显著改善了需要$\mathcal{O}\left(\dfrac{ε^{-9}χ^{\frac{3}{2}}}δ\log\dfrac{1}{εχ}\right)$的最新结果。我们的分析是基于一个关键的思想，即分解的参数空间$\mathbb{R}^p$到三个非平稳区域：非平稳点，鞍点，局部最优区域，然后在每个区域的RL的目标进行局部改进。这种技术可以潜在地推广到广泛的策略梯度方法。
2020-12-02 cs.LG
Dynamic Regret of Policy Optimization in Non-stationary Environments
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑强化学习（RL）的情节MDP与对抗性的全信息奖励反馈和未知的固定过渡内核。我们提出了两个无模型的策略优化算法，POWER和POWER++，并建立保证他们的动态遗憾。与静态后悔的经典概念相比，动态后悔是一个更强的概念，因为它明确地解释了环境的非平稳性。所提出的算法获得的动态遗憾之间的非平稳性不同的制度插值，而且满足自适应（近）最优的概念，在这个意义上说，它匹配（近）最优静态遗憾缓慢变化的环境下。动态遗憾界功能两个组成部分，一个来自探索，处理过渡内核的不确定性，而另一个来自适应，处理非平稳环境。具体来说，我们表明，POWER++通过预测主动适应非平稳性，在动态遗憾的第二个组成部分上优于POWER。据我们所知，我们的工作是第一次在非平稳环境中的无模型强化学习算法的动态遗憾分析。
2020-06-30 cs.LG math.OC stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University（斯坦福大学）；Mila - University of Montreal（米拉研究所 - 蒙特利尔大学）
使用重要性采样（IS）的非策略策略估计器可能会在长时间域中遭受高方差，并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是，我们发现在有限时域MDP中，每决策重要性采样或平稳重要性采样与普通重要性采样相比，没有严格的方差减少。然后，我们提供了充分的条件下，每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近（在地平线$T$）的情况下，我们开发的上限和下限的方差的估计产生的充分条件下，存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解，如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
DualDICE: Behavior-Agnostic Estimation of Discounted Stationary Distribution Corrections
Google Research（谷歌研究院）
在许多现实世界的强化学习应用中，对环境的访问仅限于固定的数据集，而不是与环境的直接（在线）交互。当使用这些数据进行新策略的评估或训练时，对折扣静态分布比率的准确估计-校正项量化了新策略将经历某个状态-动作对的可能性，该状态-动作对通过状态-动作对出现在数据集中的概率进行归一化-可以提高准确性和性能。在这项工作中，我们提出了一种算法，DualDICE，估计这些数量。与以前的方法相比，我们的算法对用于生成数据集的行为策略（或策略）的知识是不可知的。此外，它避免了任何直接使用的重要性权重，从而避免了潜在的优化不稳定性地方病的以前的方法。除了提供理论保证，我们提出了一个实证研究，我们的算法应用于政策外的政策评估，发现我们的算法显着提高准确性相比，现有的技术。
2019-11-04 cs.AI cs.LG stat.ML
Imitation Learning via Off-Policy Distribution Matching
Google Research（谷歌研究院）；NYU（纽约大学）
当从专家演示中执行模仿学习时，分布匹配是一种流行的方法，其中在估计分布比率和然后在标准强化学习（RL）算法中使用这些比率作为奖励之间交替。传统上，分配率的估计需要在政策上的数据，这导致以前的工作要么是过度的数据效率低下，或改变原始目标的方式，可以大大改变其最佳。在这项工作中，我们将展示如何在原则上转换原始的分配比率估计目标，以产生一个完全关闭的政策目标。除了数据效率，这提供了，我们能够证明，这个目标也使得使用一个单独的强化学习优化是不必要的。相反，模仿策略可以直接从这个目标学习，而不使用显式奖励。我们将所得到的算法称为ValueDICE，并在一套流行的模仿学习基准上对其进行评估，发现它可以实现最先进的样本效率和性能。
2019-12-10 cs.LG stat.ML
Overcoming Non-stationary Dynamics with Evidential Proximal Policy Optimization
University of Southern Denmark（丹麦南部大学）
针对非平稳环境中无模型深度Actor-Critic架构的稳定性问题，提出EPPO算法，利用证据critic保持网络可塑性并实现定向探索，在连续控制任务中显著优于现有方法。
2025-11-04 cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria（法国国家信息与自动化研究所）
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代，众所周知，可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的，我们开发的变化值和政策迭代计算非平稳的政策，可以达到$\frac{2γ}{1-γ}ε$ -最优的，这构成了一个显着的改善通常情况下，当$γ$接近1。令人惊讶的是，这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
GenDICE: Generalized Offline Estimation of Stationary Values
Duke University（杜克大学）；Google Research, Brain Team（谷歌研究院大脑团队）
强化学习和蒙特卡罗方法中出现的一个重要问题是估计由马尔可夫链的平稳分布定义的量。在许多现实世界的应用程序中，对底层转换操作符的访问仅限于已经收集的固定数据集，而不需要与环境进行额外的交互。我们表明，一致的估计仍然是可能的，在这种具有挑战性的情况下，有效的估计仍然可以在重要的应用程序中实现。我们的方法是基于估计的比率，纠正固定和经验分布之间的差异，来自固定分布的基本属性，并利用约束的变分发散最小化的基础上重新制定。由此产生的算法，GenDICE，是直接和有效的。我们证明了它的一致性，在一般条件下，提供了一个错误分析，并展示了强大的实证性能的基准问题，包括离线PageRank和关闭政策的政策评估。
2020-02-21 cs.LG stat.ML
Pausing Policy Learning in Non-stationary Reinforcement Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出预测性在线强化学习框架，证明策略性暂停决策更新优于持续更新，通过计算最优更新-保持比率并实验验证，可提升性能并收紧动态遗憾上界。
2024-05-25 cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Non-stationary and Varying-discounting Markov Decision Processes for Reinforcement Learning
Dept. of ISE, the Ohio State University（工业与系统工程系，俄亥俄州立大学）
本文提出非平稳和变折扣 MDP 框架，解决强化学习中非平稳性和变折扣问题，通过理论分析和实验证明其有效性。
2025-12-02 cs.LG math.OC stat.ML
Classical Policy Gradient: Preserving Bellman's Principle of Optimality
University of Massachusetts Amherst, College of Information and Computer Sciences（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
我们提出了一个新的目标函数，更好地捕捉贝尔曼的最优性原则的有限视野情节马尔可夫决策过程，并提供了一个表达的梯度的目标。
2019-06-06 cs.LG stat.ML
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Gauss Labs Inc.（高斯实验室公司）；Facebook AI Research（脸书人工智能研究院）
我们考虑了离线强化学习（RL）设置，其中代理的目标是仅从数据中优化策略，而无需进一步的环境交互。在离线RL中，分布偏移成为困难的主要来源，这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估，这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题，以前的离线RL算法经常使用复杂的技术，鼓励低估动作值，这引入了一组额外的超参数，需要适当调整。在本文中，我们提出了一种离线RL算法，以更有原则的方式防止高估。与之前的离线RL算法不同，我们的算法OptiDICE直接估计最优策略的平稳分布校正，并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集，我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（奥多比研究院）；University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器智能研究所））
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法，是安全的部署，他们假设的根本问题是固定的。然而，许多现实世界的问题表现出非平稳性，当风险很高时，与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步，以确保安全性，高信心，平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法，称为Seldonian算法，通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能，并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
本文提出裁剪目标策略梯度（COPG），通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标，实现更悲观的目标，促进探索，在连续动作空间的多任务等场景中提升学习性能，且不增加计算成本。
2023-11-10 cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Advanced Policies: A First-Principles Path from Policy Gradient to Q-Learning
本文通过熵增强奖励与相对熵正则化构建单参数高级策略族，推导出高级演员-评论家算法，统一了策略梯度与Q学习，并在离散与连续动作上验证了有效性。
2026-09-29 cs.LG stat.ML
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Offline Contextual Bandits with Overparameterized Models
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
监督学习的最新结果表明，虽然过参数化模型具有过拟合的能力，但它们实际上具有很好的泛化能力。我们问是否同样的现象发生在离线上下文土匪。我们的结果好坏参半。基于值的算法受益于与过参数化监督学习相同的泛化行为，但基于策略的算法没有。我们表明，这种差异是由于他们的目标的\emph{action-stability}。一个目标是动作稳定的，如果存在一个预测（动作值向量或动作分布），无论观察到哪个动作都是最优的。基于价值的目标是行动稳定的，而基于政策的目标是不稳定的。我们正式证明了上界的遗憾过参数化值为基础的学习和下限的遗憾基于政策的算法。在我们对大型神经网络的实验中，基于动作稳定值的目标和基于不稳定策略的目标之间的这种差距导致了显著的性能差异。
2021-06-16 cs.LG stat.ML
Context-Based Soft Actor Critic for Environments with Non-stationary Dynamics
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法的性能在应用于具有非平稳动态的环境时容易退化。在本文中，我们利用最近的Meta-RL材料的动机潜在的上下文递归编码器，并提出了基于潜在上下文的软演员评论（LC-SAC）方法来解决上述问题。通过最小化对比预测损失函数，学习的上下文变量捕获环境动态和代理的最近行为的信息。然后结合软策略迭代范式，LC-SAC方法在软策略评估和软策略改进之间交替进行，直到收敛到最优策略。实验结果表明，LC-SAC算法在MetaWorld ML 1任务上的性能明显优于SAC算法，而在连续控制基准任务MuJoCo上的性能与SAC算法相当，前者的任务动态在不同情节之间变化剧烈，后者的任务动态在不同情节之间变化缓慢或不变。此外，我们还进行了相关实验，确定了不同超参数设置对LC-SAC算法性能的影响，并给出了超参数设置的合理建议。
2021-05-10 cs.AI cs.LG stat.ML
A Distributional View on Multi-Objective Policy Optimization
DeepMind（深度思维）
许多现实世界的问题需要权衡多个相互竞争的目标。然而，这些目标往往是在不同的单位和/或规模，这可能会使它具有挑战性的从业者表达的目标在他们的母语单位的数字偏好。在本文中，我们提出了一种新的多目标强化学习算法，使目标设定所需的偏好在一个规模不变的方式。我们建议为每个目标学习一个动作分布，并使用监督学习将参数策略拟合到这些分布的组合。我们证明了我们的方法在挑战高维真实和模拟机器人任务上的有效性，并表明在我们的框架中设置不同的偏好可以让我们跟踪出非支配解决方案的空间。
2020-05-15 cs.AI cs.LG cs.RO
Compatible features for Monotonic Policy Improvement
最近的政策优化方法已经取得了巨大的经验成功，通过构建代理优化目标。近似策略迭代目标（Schulman等人，2015 a; Kakade and Langford，2002）已经成为强化学习问题的标准优化目标。在实践中使用此目标需要优势函数的估计量。Schulman等人（2015 b）提出的策略优化方法使用参数批评来估计优势。在这项工作中，我们建立的条件下，参数近似的评论家不引入偏见的替代目标的更新。这些结果适用于一般的参数策略，包括深度神经网络。我们获得了类似于为原始策略梯度定理（Sutton等人，1999年）。因此，我们还确定了当前最先进的策略优化算法（Schulman等人，2015 a，2017）通过不使用这些兼容功能引入。
2019-10-30 cs.AI cs.LG stat.ML
Non-Stationary Policy Learning for Multi-Timescale Multi-Agent Reinforcement Learning
National Renewable Energy Laboratory（国家可再生能源实验室）；Maplewell Energy（Maplewell能源公司）
针对多时间尺度多智能体强化学习中非平稳策略学习难的问题，提出基于周期性时间编码和相位函数神经网络的策略梯度框架，经两类环境验证有效。
2023-07-17 cs.AI cs.LG cs.MA
Improving Intrinsic Exploration by Creating Stationary Objectives
Mila Québec AI Institute（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Ubisoft LaForge（育碧LaForge工作室）
本文提出SOFE框架，通过增广状态表示将非平稳探索奖励转化为平稳奖励，从而简化智能体目标优化，在多种困难探索任务中显著提升了性能。
2024-04-23 cs.AI cs.LG
Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs
McGill University（麦吉尔大学）；Mila；University of Massachusetts（马萨诸塞大学）；Facebook AI Research（Facebook人工智能研究院）；Microsoft Research（微软研究院）
研究了离线强化学习（RL）环境下约束条件下的安全策略改进（SPI）问题。我们考虑这样的场景：（i）我们有一个在已知基线策略下收集的数据集，（ii）从环境中接收到多个奖励信号，诱导尽可能多的目标进行优化。我们提出了一个SPI制定这个RL设置，考虑到算法的用户的偏好，以处理不同的奖励信号的权衡，同时确保新的政策执行至少以及沿每个单独的目标的基线政策。我们建立在传统的SPI算法上，并提出了一种基于安全策略迭代与基线引导的新方法（SPIBB，Laroche等人，2019年），它为真实环境中的代理性能提供了高概率保证。我们展示了我们的方法在合成网格世界安全任务上的有效性，以及在现实世界的重症监护环境中学习静脉输液和血管加压药治疗败血症的政策。
2021-10-29 cs.LG
ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
ORPG通过目标级梯度调和实现多奖励策略优化，在有用性-安全性和数学推理任务中显著提升性能，支持兼容与冲突梯度的统一处理。
2026-09-29 cs.CL cs.LG
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley（加州大学伯克利分校）
本文提出残差策略梯度（RPG），将残差Q学习扩展到策略梯度方法，实现策略定制，并从奖励视角重新审视KL正则化目标，实验验证其有效性。
2025-05-23 cs.LG
Adaptive Doubly Robust Estimator from Non-stationary Logging Policy under a Convergence of Average Probability
Cyberagent, Inc.（Cyberagent公司）
自适应实验，包括有效的平均处理效应估计和多臂强盗算法，在各种应用中，如社会实验，临床试验和在线广告优化，已经获得了关注。本文考虑从自适应实验中获得的样本估计动作的平均结果。在因果推断中，行为的平均结果具有决定性的作用，估计是一项基本任务，其中平均处理效应估计和政策外价值估计是其变体。在自适应实验中，选择动作（日志策略）的概率可以根据过去的观察结果顺序更新。由于这种日志记录策略取决于过去的观察结果，样本通常不是独立且同分布（i.i.d.）的，使得开发渐近正态估计量变得困难。解决这个问题的一个典型方法是假设日志记录策略收敛于一个时不变函数。然而，这种假设在各种应用中是有限制的，例如当日志记录策略在某些时间段波动或变为零时。为了减轻这一限制，我们提出了另一个假设，平均日志政策收敛到一个时不变的函数，并显示双鲁棒（DR）估计的渐近正态性。在此假设下，日志记录策略本身可以波动，或者对于某些操作为零。我们还展示了经验性质的模拟。
2021-03-23 cs.LG econ.EM stat.ME
Auction-Based Online Policy Adaptation for Evolving Objectives
University of Pennsylvania（宾夕法尼亚大学）；IMDEA Software Institute（IMDEA软件研究所）
本文提出基于拍卖的模块化框架，通过自利局部策略和动态拍卖机制实现多目标强化学习中目标变化时的策略适应，证明了纳什均衡的存在性和有效性。
2026-05-10 cs.LG
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University（重庆师范大学）；Dalian Maritime University（大连海事大学）；Minzu University of China（中央民族大学）
针对重要性采样导致策略优化代理目标方差过高的问题，本文推导方差上界并引入 dropout，提出通用框架及 D-PPO，在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
Policy composition in reinforcement learning via multi-objective policy optimization
DeepMind（深度思维）；Sony AI（索尼人工智能）
本文提出在多目标策略优化中引入教师策略作为额外目标，使智能体能组合并扩展教师策略以加速学习并提升任务性能，尤其在人形行走任务中通过控制教师选择获得更优奖励。
2023-08-30 cs.LG
Navigating Trade-offs: Policy Summarization for Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对多目标强化学习产生的庞大策略集，提出一种结合策略行为与目标值的聚类方法，以揭示趋势并辅助决策，在四个环境中优于传统k-medoids聚类。
2024-11-07 cs.AI cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本文将离线策略正则化方法扩展至多目标强化学习，提出过滤偏好不一致示范和高表达能力正则化两种方案，并集成偏好条件标量化更新与正则化权重自适应，利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）
长期问题的非策略估计在许多现实应用中非常重要，例如医疗保健和机器人技术，其中高保真仿真器可能不可用，并且策略评估昂贵或不可能。最近，\cite{liu18breaking}提出了一种方法，避免了典型的基于重要性采样的方法所遭受的\emph{curse of horizon}。虽然显示出有希望的结果，但这种方法在实践中受到限制，因为它需要从\emph{known}行为策略的\emph{stationary distribution}中提取数据。在这项工作中，我们提出了一种新的方法，消除这种限制。特别是，我们制定的问题作为解决某一运营商的不动点。使用再生核希尔伯特空间（RKHS）的工具，我们开发了一种新的估计器，可以计算静态分布的重要性比，而不知道如何收集非策略数据。我们分析了它的渐近一致性和有限样本推广。在基准测试上的实验验证了该方法的有效性。
2020-03-24 cs.AI cs.LG stat.ML
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
在批量强化学习的应用中，如教育和医疗保健，需要从观测数据中对顺序决策策略进行非策略评估。然而，在这样的环境中，未观察到的变量混淆了观察到的动作，使得不可能对新策略进行精确评估，即，无法辨认我们开发了一个强大的方法，估计一个给定的政策（无法识别）的价值在一个无限的地平线问题的数据从另一个政策与未观察到的混淆，敏感性模型的急剧界限。我们认为固定或基线未观察到的混杂和计算边界的所有固定状态占用率，同意一个新的部分确定的估计方程和敏感性模型的优化。我们证明收敛到尖锐的界限，因为我们收集更多的混淆数据。虽然集员检验是一个线性规划，但支持函数是由一个困难的非凸优化问题给出的。我们开发的非凸投影梯度下降的基础上的近似，并证明由此产生的界限经验。
2020-07-13 cs.LG math.OC stat.ML
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
我们研究多个回报价值函数的马尔可夫决策过程（MDP）的策略优化，这些回报函数根据给定的标准，如比例公平性（光滑凹标量化），硬约束（约束MDP），和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度（ARNPG）框架，它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上，基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲，ARNPG引导的算法也表现出优越的性能相比，一些现有的策略梯度为基础的方法，在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
Exploring Equity of Climate Policies using Multi-Agent Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文提出Justice框架，结合多目标多智能体强化学习与整合评估模型，以生成兼顾公平性与气候经济目标的政策建议。
2025-11-30 cs.LG
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
Multi-objective Model-based Policy Search for Data-efficient Learning with Sparse Rewards
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
机器人技术中最有效的强化学习算法是基于模型的策略搜索算法，该算法在学习机器人的动态模型和优化策略之间交替，以最大化给定模型及其不确定性的预期回报。然而，目前的算法缺乏一个有效的探索策略来处理稀疏或误导性的奖励场景：如果他们没有经历任何状态与积极的奖励在初始随机探索，这是非常不可能解决的问题。在这里，我们提出了一种新的基于模型的策略搜索算法Multi-DEX，它利用学习的动态模型来有效地探索任务空间，并在几集中解决具有稀疏奖励的任务。为了实现这一目标，我们将策略搜索问题框架为多目标，基于模型的策略优化问题，具有三个目标：（1）生成最大的新状态轨迹，（2）最大化预期回报，（3）将系统保持在模型尽可能准确的状态空间区域。然后，我们使用基于Pareto的多目标优化算法优化这些目标。实验表明，Multi-DEX能够以比VIME，TRPO，GEP-PG，CMA-ES和Black-DROPS低得多的交互时间解决稀疏奖励场景（使用模拟机器人手臂）。
2020-03-03 cs.AI cs.LG cs.NE
The Virtues of Laziness in Model-based RL: A Unified Objective and Algorithms
Aurora Innovation（极光创新）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
我们提出了一种新的方法来解决基于模型的强化学习（MBRL）中的两个基本挑战：在学习模型中重复寻找好策略的计算开销，以及模型拟合和策略计算之间的客观不匹配。我们的“懒惰”方法利用一个新的统一目标，性能差异通过模型中的优势，捕捉学习的政策和专家政策之间的性能差异下的真实动态。这一目标表明，在探索分布下优化学习模型中的预期策略优势足以进行策略计算，与传统规划方法相比，计算效率显著提高。此外，统一目标使用值矩匹配项进行模型拟合，这与策略计算期间模型的使用一致。我们提出了两个无遗憾的算法来优化所提出的目标，并通过模拟基准测试证明其统计和计算增益相比，现有的MBRL方法。
2023-03-01 cs.LG cs.RO cs.SY
AlgaeDICE: Policy Gradient from Arbitrary Experience
Google Research（谷歌研究院）；NYU（纽约大学）；University of Alberta（阿尔伯塔大学）
在强化学习（RL）的许多现实应用中，由于成本或可行性，与环境的交互受到限制。这对传统RL算法提出了挑战，因为最大回报目标涉及对策略样本的期望。我们引入了一个新的最大回报优化的配方，允许问题被重新表示的期望在一个任意的行为不可知和关闭政策的数据分布。我们首先得出这一结果，通过考虑一个正则化版本的双重最大回报目标，然后通过使用拉格朗日公式的线性规划特性的Q值，将我们的研究结果扩展到非正则化的目标。我们表明，如果辅助对偶变量的目标是最佳的，那么梯度的off-policy的目标正是政策上的策略梯度，没有任何使用的重要性加权。除了揭示这种方法的吸引力的理论特性，我们还表明，它提供了良好的实际性能。
2019-12-04 cs.AI cs.LG
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley（加州大学伯克利分校）
我们考虑基于原始-对偶的强化学习（RL）在具有非平稳目标和约束的情景约束马尔可夫决策过程（CMDPs）中的应用，它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中，奖励/效用函数和状态转换函数都允许随时间任意变化，只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性，因为需要集成约束违反减少，安全探索和适应非平稳性。为此，我们确定了两个可供选择的条件下，我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略（PROPD-PPO）算法，该算法可以协调这两种情况。此外，在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下，分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
A policy gradient approach for Finite Horizon Constrained Markov Decision Processes
Indian Institute of Science（印度科学学院）
针对现有约束强化学习仅研究无限时域场景的不足，提出首个带函数近似的有限时域约束MDP策略梯度算法，证明收敛性且实验表现优于知名算法。
2025-03-20 cs.LG
A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）
多智能体强化学习的一个基本挑战是在与其他同时学习的智能体共享的环境中学习有益的行为。特别是，每个代理感知的环境，有效地非静止的，由于其他代理的政策的变化。此外，每个智能体本身都在不断学习，导致遇到的经验分布具有自然的非平稳性。在本文中，我们提出了一种新的元多智能体策略梯度定理，直接占多智能体学习设置所固有的非平稳的政策动态。这是通过对我们的梯度更新进行建模来实现的，以考虑代理自己的非平稳政策动态和环境中其他代理的非平稳政策动态。我们表明，我们的理论接地的方法提供了一个通用的解决方案，多智能体学习问题，这固有地包括所有的关键方面，以前的国家的最先进的方法在这个问题上。我们测试我们的方法在一套不同的多智能体基准，并展示了更有效的能力，以适应新的代理，因为他们学习比基准方法在整个频谱的混合激励，竞争和合作领域。
2021-06-11 cs.AI cs.LG cs.MA
Risk-Sensitive Reinforcement Learning via Policy Gradient Search
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Maryland, College Park（马里兰大学帕克分校）
传统的强化学习（RL）问题的目标是找到优化性能度量的期望值的策略，例如无限时域累积折扣或长期平均成本/回报。在实践中，单独优化期望值可能并不令人满意，因为可能需要将风险的概念结合到优化问题公式中，无论是在目标中还是作为约束。在文献中已经提出了各种风险措施，例如，指数效用、方差、百分位绩效、机会约束、风险价值（分位数）、条件风险价值、前景理论及其后来的增强、累积前景理论。在本书中，我们考虑了两种情况下的风险敏感强化学习：一种情况下的目标是找到一种策略，在确保满足风险约束的同时优化通常的期望值目标;另一种情况下的目标是风险度量。我们调查了最近在这方面的一些工作，特别是策略梯度搜索是解决方案的方法。在第一个风险敏感的RL设置，我们涵盖流行的风险措施的基础上方差，条件风险值，机会约束，并提出了一个模板，策略梯度为基础的风险敏感的RL算法使用拉格朗日公式。对于风险直接纳入目标函数的设置，我们考虑了指数效用公式，累积前景理论和连贯的风险措施。这篇非详尽的调查旨在介绍使用策略梯度方法解决风险敏感RL问题所面临的挑战，并概述一些潜在的未来研究方向。
2022-05-23 cs.LG math.OC stat.ML
