Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs
Peking University（北京大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）；DeepMind；University of Alberta（阿尔伯塔大学）
研究非平稳线性核MDPs中的情景式强化学习，提出带有滑动窗口评估和周期性重启改进的乐观策略优化算法PROPO及值迭代算法，并证明其动态上界和近最优性。
2024-12-23 cs.LG stat.ML
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Gauss Labs Inc.（高斯实验室公司）；Facebook AI Research（脸书人工智能研究院）
我们考虑了离线强化学习（RL）设置，其中代理的目标是仅从数据中优化策略，而无需进一步的环境交互。在离线RL中，分布偏移成为困难的主要来源，这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估，这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题，以前的离线RL算法经常使用复杂的技术，鼓励低估动作值，这引入了一组额外的超参数，需要适当调整。在本文中，我们提出了一种离线RL算法，以更有原则的方式防止高估。与之前的离线RL算法不同，我们的算法OptiDICE直接估计最优策略的平稳分布校正，并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集，我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（奥多比研究院）；University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器智能研究所））
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法，是安全的部署，他们假设的根本问题是固定的。然而，许多现实世界的问题表现出非平稳性，当风险很高时，与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步，以确保安全性，高信心，平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法，称为Seldonian算法，通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能，并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
Global Optimality Guarantees For Policy Gradient Methods
Columbia University（哥伦比亚大学）
策略梯度方法通过在参数化的策略类上执行随机梯度下降来应用于复杂的、知之甚少的控制问题。不幸的是，即使对于可通过标准动态规划技术解决的简单控制问题，策略梯度算法也面临非凸优化问题，并且被广泛理解为仅收敛到一个稳定点。这项工作确定了结构特性-共享的几个经典的控制问题-确保策略梯度目标函数没有次优的固定点，尽管是非凸的。当这些条件得到加强时，该目标满足Polyak-lojasiewicz（梯度优势）条件，该条件产生收敛速度。我们还提供了边界上的最优间隙的任何固定点时，这些条件放宽。
2022-06-20 cs.LG stat.ML
Multi-objective Neural Architecture Search via Non-stationary Policy Gradient
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多目标神经架构搜索（NAS）旨在发现存在多个冲突目标的新架构。尽管最近取得了进展，但准确有效地近似完整帕累托前沿的问题仍然具有挑战性。在这项工作中，我们探讨了新的强化学习（RL）的非平稳策略梯度（NPG）的基础上的范例。NPG利用一个非平稳的奖励函数，并鼓励不断适应的政策，以有效地捕捉整个帕累托前沿。我们引入了两个新的奖励函数的元素从标量化和进化的主导范式。为了处理非平稳性，我们提出了一个新的探索计划，使用余弦温度衰减与热重启。为了快速准确的架构评估，我们引入了一个新的预训练共享模型，我们在整个训练过程中不断进行微调。我们对各种数据集的广泛实验研究表明，我们的框架可以快速近似完整的Pareto前沿。此外，与其他多目标NAS方法和类似网络规模的其他单目标NAS方法相比，我们发现的细胞可以实现最高的预测性能。我们的工作证明了NPG作为一个简单，高效，有效的多目标NAS范例的潜力。
2020-01-31 cs.LG stat.ML
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Natural Policy Gradient for Average Reward Non-Stationary RL
Carnegie Mellon University（卡内基梅隆大学）
本文提出首个无模型策略梯度算法NS-NAC及其无参数变体BORL-NS-NAC，用于非平稳平均奖励强化学习，实现动态遗憾界 $\tilde{\mathscr O}(|S|^{1/2}|A|^{1/2}Δ_T^{1/6}T^{5/6})$。
2025-04-23 cs.LG stat.ML
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Context-Based Soft Actor Critic for Environments with Non-stationary Dynamics
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法的性能在应用于具有非平稳动态的环境时容易退化。在本文中，我们利用最近的Meta-RL材料的动机潜在的上下文递归编码器，并提出了基于潜在上下文的软演员评论（LC-SAC）方法来解决上述问题。通过最小化对比预测损失函数，学习的上下文变量捕获环境动态和代理的最近行为的信息。然后结合软策略迭代范式，LC-SAC方法在软策略评估和软策略改进之间交替进行，直到收敛到最优策略。实验结果表明，LC-SAC算法在MetaWorld ML 1任务上的性能明显优于SAC算法，而在连续控制基准任务MuJoCo上的性能与SAC算法相当，前者的任务动态在不同情节之间变化剧烈，后者的任务动态在不同情节之间变化缓慢或不变。此外，我们还进行了相关实验，确定了不同超参数设置对LC-SAC算法性能的影响，并给出了超参数设置的合理建议。
2021-05-10 cs.AI cs.LG stat.ML
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Sample Complexity of Policy Gradient Finding Second-Order Stationary Points
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
基于策略的强化学习（RL）的目标是搜索其目标的最大值点。然而，由于其目标的内在非线性，收敛到一阶稳定点（FOSP）不能保证策略梯度方法找到一个最大点。一个FOSP可以是一个最小值，甚至是一个鞍点，这对于RL来说是不可取的。幸运的是，如果所有的鞍点都是\emph{strict}，所有的二阶平稳点（SOSP）完全等价于局部极大值。我们用SOSP代替FOSP作为表征策略梯度样本复杂性的收敛准则。我们的结果表明，策略梯度在总代价为$\mathcal{O}\left(\dfrac{ε^{-\frac{9}{2}}}{(1-γ)\sqrtχ}\log\dfrac{1}δ\right)$之后以至少$1-\widetilde{\mathcal{O}}(δ)$的概率收敛到$(ε,\sqrt{εχ})$ -SOSP，其中$γ\in(0,1)$ .我们的结果显著改善了需要$\mathcal{O}\left(\dfrac{ε^{-9}χ^{\frac{3}{2}}}δ\log\dfrac{1}{εχ}\right)$的最新结果。我们的分析是基于一个关键的思想，即分解的参数空间$\mathbb{R}^p$到三个非平稳区域：非平稳点，鞍点，局部最优区域，然后在每个区域的RL的目标进行局部改进。这种技术可以潜在地推广到广泛的策略梯度方法。
2020-12-02 cs.LG
Dynamic Regret of Policy Optimization in Non-stationary Environments
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑强化学习（RL）的情节MDP与对抗性的全信息奖励反馈和未知的固定过渡内核。我们提出了两个无模型的策略优化算法，POWER和POWER++，并建立保证他们的动态遗憾。与静态后悔的经典概念相比，动态后悔是一个更强的概念，因为它明确地解释了环境的非平稳性。所提出的算法获得的动态遗憾之间的非平稳性不同的制度插值，而且满足自适应（近）最优的概念，在这个意义上说，它匹配（近）最优静态遗憾缓慢变化的环境下。动态遗憾界功能两个组成部分，一个来自探索，处理过渡内核的不确定性，而另一个来自适应，处理非平稳环境。具体来说，我们表明，POWER++通过预测主动适应非平稳性，在动态遗憾的第二个组成部分上优于POWER。据我们所知，我们的工作是第一次在非平稳环境中的无模型强化学习算法的动态遗憾分析。
2020-06-30 cs.LG math.OC stat.ML
Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）
长期问题的非策略估计在许多现实应用中非常重要，例如医疗保健和机器人技术，其中高保真仿真器可能不可用，并且策略评估昂贵或不可能。最近，\cite{liu18breaking}提出了一种方法，避免了典型的基于重要性采样的方法所遭受的\emph{curse of horizon}。虽然显示出有希望的结果，但这种方法在实践中受到限制，因为它需要从\emph{known}行为策略的\emph{stationary distribution}中提取数据。在这项工作中，我们提出了一种新的方法，消除这种限制。特别是，我们制定的问题作为解决某一运营商的不动点。使用再生核希尔伯特空间（RKHS）的工具，我们开发了一种新的估计器，可以计算静态分布的重要性比，而不知道如何收集非策略数据。我们分析了它的渐近一致性和有限样本推广。在基准测试上的实验验证了该方法的有效性。
2020-03-24 cs.AI cs.LG stat.ML
Non-Stationary Policy Learning for Multi-Timescale Multi-Agent Reinforcement Learning
National Renewable Energy Laboratory（国家可再生能源实验室）；Maplewell Energy（Maplewell能源公司）
针对多时间尺度多智能体强化学习中非平稳策略学习难的问题，提出基于周期性时间编码和相位函数神经网络的策略梯度框架，经两类环境验证有效。
2023-07-17 cs.AI cs.LG cs.MA
Optimizing for the Future in Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（Adobe研究）；University of Alberta（阿尔伯塔大学）
大多数强化学习方法都基于一个关键假设，即转移动态和奖励函数是固定的，也就是说，底层的马尔可夫决策过程是平稳的。然而，在许多现实世界的应用中，这一假设是违反的，使用现有的算法可能会导致性能滞后。为了主动寻找一个好的未来的政策，我们提出了一个策略梯度算法，最大限度地预测未来的性能。这一预测是通过拟合一条曲线，以反事实的估计政策绩效随着时间的推移，没有明确建模的基础非平稳性。由此产生的算法相当于一个非均匀的重新加权过去的数据，我们观察到，最小化性能的一些数据从过去的情节可以是有益的，当搜索一个政策，最大限度地提高未来的性能。我们表明，我们的算法，称为预测，是更强大的非平稳性比两个在线自适应技术，在三个模拟问题的动机，现实世界中的应用。
2020-09-21 cs.LG stat.ML
Overcoming Non-stationary Dynamics with Evidential Proximal Policy Optimization
University of Southern Denmark（丹麦南部大学）
针对非平稳环境中无模型深度Actor-Critic架构的稳定性问题，提出EPPO算法，利用证据critic保持网络可塑性并实现定向探索，在连续控制任务中显著优于现有方法。
2025-11-04 cs.LG
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Pausing Policy Learning in Non-stationary Reinforcement Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出预测性在线强化学习框架，证明策略性暂停决策更新优于持续更新，通过计算最优更新-保持比率并实验验证，可提升性能并收紧动态遗憾上界。
2024-05-25 cs.LG
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Non-stationary and Varying-discounting Markov Decision Processes for Reinforcement Learning
Dept. of ISE, the Ohio State University（工业与系统工程系，俄亥俄州立大学）
本文提出非平稳和变折扣 MDP 框架，解决强化学习中非平稳性和变折扣问题，通过理论分析和实验证明其有效性。
2025-12-02 cs.LG math.OC stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University（斯坦福大学）；Mila - University of Montreal（米拉研究所 - 蒙特利尔大学）
使用重要性采样（IS）的非策略策略估计器可能会在长时间域中遭受高方差，并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是，我们发现在有限时域MDP中，每决策重要性采样或平稳重要性采样与普通重要性采样相比，没有严格的方差减少。然后，我们提供了充分的条件下，每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近（在地平线$T$）的情况下，我们开发的上限和下限的方差的估计产生的充分条件下，存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解，如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Online Reinforcement Learning in Non-Stationary Context-Driven Environments
MIT（麻省理工学院）；CS Brown University（布朗大学计算机科学系）；Microsoft Research（微软研究院）
针对非平稳环境中在线强化学习的灾难性遗忘问题，提出局部约束策略优化（LCPO）方法，通过锚定旧经验策略输出并在当前上下文分布外采样进行局部约束，显著提升了性能并与离线先知智能体表现相当。
2025-03-31 cs.AI cs.LG
A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）
多智能体强化学习的一个基本挑战是在与其他同时学习的智能体共享的环境中学习有益的行为。特别是，每个代理感知的环境，有效地非静止的，由于其他代理的政策的变化。此外，每个智能体本身都在不断学习，导致遇到的经验分布具有自然的非平稳性。在本文中，我们提出了一种新的元多智能体策略梯度定理，直接占多智能体学习设置所固有的非平稳的政策动态。这是通过对我们的梯度更新进行建模来实现的，以考虑代理自己的非平稳政策动态和环境中其他代理的非平稳政策动态。我们表明，我们的理论接地的方法提供了一个通用的解决方案，多智能体学习问题，这固有地包括所有的关键方面，以前的国家的最先进的方法在这个问题上。我们测试我们的方法在一套不同的多智能体基准，并展示了更有效的能力，以适应新的代理，因为他们学习比基准方法在整个频谱的混合激励，竞争和合作领域。
2021-06-11 cs.AI cs.LG cs.MA
Agent Probing Interaction Policies
Carnegie Mellon University（卡内基梅隆大学）
多智能体系统中的强化学习是困难的，因为这些系统本质上是非平稳的。在这种情况下，识别对方的类型是至关重要的，可以帮助我们解决这个非静止的环境。我们已经研究了我们是否可以采用一些探测政策，帮助我们更好地识别环境中的其他代理的类型。我们做了一个简化的假设，即另一个智能体有一个固定的策略，我们的探测策略试图近似。我们的工作扩展了环境探测互动政策框架，以处理多代理环境。
2019-12-13 cs.AI cs.LG cs.MA
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
GenDICE: Generalized Offline Estimation of Stationary Values
Duke University（杜克大学）；Google Research, Brain Team（谷歌研究院大脑团队）
强化学习和蒙特卡罗方法中出现的一个重要问题是估计由马尔可夫链的平稳分布定义的量。在许多现实世界的应用程序中，对底层转换操作符的访问仅限于已经收集的固定数据集，而不需要与环境进行额外的交互。我们表明，一致的估计仍然是可能的，在这种具有挑战性的情况下，有效的估计仍然可以在重要的应用程序中实现。我们的方法是基于估计的比率，纠正固定和经验分布之间的差异，来自固定分布的基本属性，并利用约束的变分发散最小化的基础上重新制定。由此产生的算法，GenDICE，是直接和有效的。我们证明了它的一致性，在一般条件下，提供了一个错误分析，并展示了强大的实证性能的基准问题，包括离线PageRank和关闭政策的政策评估。
2020-02-21 cs.LG stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
非策略深度强化学习（RL）算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习，这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为，大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题，然后提出了一种约束状态分布偏移的离线策略优化方法。为此，我们首先使用密度估计器基于状态的特征来估计状态分布，然后开发一种新的约束非策略梯度目标，其最小化状态分布偏移。我们的连续控制任务的实验结果表明，最大限度地减少这种分布不匹配，可以显着提高性能，在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Adaptive Doubly Robust Estimator from Non-stationary Logging Policy under a Convergence of Average Probability
Cyberagent, Inc.（Cyberagent公司）
自适应实验，包括有效的平均处理效应估计和多臂强盗算法，在各种应用中，如社会实验，临床试验和在线广告优化，已经获得了关注。本文考虑从自适应实验中获得的样本估计动作的平均结果。在因果推断中，行为的平均结果具有决定性的作用，估计是一项基本任务，其中平均处理效应估计和政策外价值估计是其变体。在自适应实验中，选择动作（日志策略）的概率可以根据过去的观察结果顺序更新。由于这种日志记录策略取决于过去的观察结果，样本通常不是独立且同分布（i.i.d.）的，使得开发渐近正态估计量变得困难。解决这个问题的一个典型方法是假设日志记录策略收敛于一个时不变函数。然而，这种假设在各种应用中是有限制的，例如当日志记录策略在某些时间段波动或变为零时。为了减轻这一限制，我们提出了另一个假设，平均日志政策收敛到一个时不变的函数，并显示双鲁棒（DR）估计的渐近正态性。在此假设下，日志记录策略本身可以波动，或者对于某些操作为零。我们还展示了经验性质的模拟。
2021-03-23 cs.LG econ.EM stat.ME
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Policy Gradient with Tree Search: Avoiding Local Optimas through Lookahead
Technion（技术学院）；University of Zurich（苏黎世大学）
本文提出融合 $m$ 步树搜索前瞻的 PGTS 方法，从理论上证明增加搜索深度可减少不良驻点并改善最坏情况性能，且在多种 MDP 实验中优于标准 PG。
2025-06-08 cs.AI cs.LG
Chaining Value Functions for Off-Policy Learning
DeepMind；University College London（伦敦大学学院）
为了积累知识并改进其行为策略，强化学习代理可以学习与用于生成其经验的策略不同的策略的“非策略”。这对学习反事实很重要，或者因为经验是在它自己的控制之外产生的。然而，离策略学习是不平凡的，标准的学习算法可能是不稳定和发散的。在本文中，我们讨论了一个新的家庭的政策外预测算法是收敛的建设。这个想法是首先学习关于数据生成行为的on-policy，然后在这个on-policy估计上引导一个off-policy值估计，从而构建一个部分off-policy的值估计。可以重复该过程以构建价值函数的链，每次在链中的先前估计上引导新的估计。链中的每一步都是稳定的，因此完整的算法保证是稳定的。在温和的条件下，当我们增加链的长度时，这任意地接近于非政策TD解。因此，即使在偏离策略TD发散的情况下，它也可以计算解。我们证明了该方案是收敛的，对应于逆密钥矩阵的迭代分解。此外，它可以被解释为估计一个新的目标-我们称之为“k步远征”-在无限期地继续执行行为政策之前，先执行目标政策200多步。经验上，我们评估的想法，挑战MDPs，如贝尔德的反例，并观察到有利的结果。
2022-02-02 cs.AI cs.LG stat.ML
Correcting discount-factor mismatch in on-policy policy gradient methods
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
本文提出一种新的分布校正方法，修正同策略策略梯度中忽略折扣平稳分布的问题，以低方差避免性能下降，并在多个基准上匹配或超越原始性能。
2023-06-23 cs.AI cs.LG
On the Performance Bounds of some Policy Search Dynamic Programming Algorithms
LORIA（洛林计算机科学及其应用实验室）
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于策略搜索算法，该算法通过遵循标准策略迭代（PI）方案经由近似贪婪算子来计算近似最优策略（Kakade和Langford，2002; Lazaric等人，2010年）。我们描述了直接策略迭代（DPI）的现有和一些新的性能界限（Lagoudakis和Parr，2003; Fern等人，2006; Lazaric等人，2010）和保守政策迭代（CPI）（Kakade和Langford，2002）。通过特别注意这种保证中涉及的集中性常数，我们特别认为CPI的保证比DPI的保证好得多，但这是以相对的$\frac{1}ε$指数增加时间复杂度为代价的。然后，我们描述了一种算法，非平稳直接策略迭代（NSDPI），它可以被视为1）Bagnell等人（2003）的动态规划策略搜索到无限水平情况的变体，或者2）Scherrer和Lesner（2012）的非平稳PI的简化版本。我们提供了这个算法的分析，特别是它享有最好的两个世界：其性能保证是类似的CPI，但在时间复杂度类似的DPI。
2013-06-03 cs.AI cs.LG
Representation Balancing MDPs for Off-Policy Policy Evaluation
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；Cambridge University（剑桥大学）；Imperial College London（帝国理工学院）
研究了强化学习中的政策外政策评估问题。与以往的工作相比，我们考虑如何准确地估计单个保单价值和平均保单价值。我们从因果推理的最新工作中得到启发，并提出了一个新的有限样本泛化误差界的MDP模型的价值估计。使用这个上限为目标，我们开发了一个学习算法的MDP模型与平衡的表示，并表明，我们的方法可以产生显着降低MSE在常见的合成基准和艾滋病毒治疗模拟域。
2019-04-17 cs.AI cs.LG stat.ML
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
在这项工作中，我们重新审视了一些旧的和新的算法，用于基于返回的强化学习。表达这些在一个共同的形式，我们得到一个新的算法，Retrace（$λ$），具有三个所需的属性：（1）它具有低方差;（2）它安全地使用从任何行为策略收集的样本，无论其程度的“关闭政策”;和（3）它是有效的，因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置，并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$，而没有GLIE假设（贪婪的极限与无限探索）。作为推论，我们证明了Watkins的Q（$λ$）的收敛性，这是自1989年以来的一个公开问题。我们说明了Retrace（$λ$）的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
在批量强化学习的应用中，如教育和医疗保健，需要从观测数据中对顺序决策策略进行非策略评估。然而，在这样的环境中，未观察到的变量混淆了观察到的动作，使得不可能对新策略进行精确评估，即，无法辨认我们开发了一个强大的方法，估计一个给定的政策（无法识别）的价值在一个无限的地平线问题的数据从另一个政策与未观察到的混淆，敏感性模型的急剧界限。我们认为固定或基线未观察到的混杂和计算边界的所有固定状态占用率，同意一个新的部分确定的估计方程和敏感性模型的优化。我们证明收敛到尖锐的界限，因为我们收集更多的混淆数据。虽然集员检验是一个线性规划，但支持函数是由一个困难的非凸优化问题给出的。我们开发的非凸投影梯度下降的基础上的近似，并证明由此产生的界限经验。
2020-07-13 cs.LG math.OC stat.ML
Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis
Department of Computer and System Science（计算机与系统科学系）
研究切换非平稳马尔可夫决策过程，推导固定策略下SNS值函数闭式表达式，证明TD学习、策略迭代及表格Q学习的收敛性，在无线通信网络验证框架，为快速时变系统决策提供有效方法。
2026-07-17 cs.AI cs.LG
Policy Gradients for Cumulative Prospect Theory in Reinforcement Learning
department of computer science at ETH Zürich（苏黎世联邦理工学院计算机科学系）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出了一种基于累积前景理论的强化学习策略梯度算法，通过蒙特卡洛梯度估计器实现，并证明了算法在CPT目标上的渐近收敛性。
2026-09-09 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Single or Multiple Policies for Phase-Structured Reinforcement Learning?
Imperial College London（伦敦帝国学院）
本研究探讨阶段结构强化学习中单一共享策略与多策略的优劣，提出基于机制持续时间的阶段分解方法，并通过实验验证四个关键假设。
2026-10-05 cs.AI cs.LG cs.SY
Deep Reinforcement Learning amidst Lifelong Non-Stationarity
Stanford University（斯坦福大学）
作为人类，我们的目标和我们的环境在我们的一生中不断变化，这取决于我们的经验，行动以及内部和外部驱动力。相比之下，典型的强化学习问题设置考虑跨情节静止的决策过程。我们能开发出强化学习算法来应对前一个更现实的问题设置的持续变化吗？虽然诸如策略梯度之类的策略算法原则上可以扩展到非平稳设置，但是对于在学习时重放过去经验的更有效的策略外算法来说，情况并非如此。在这项工作中，我们形式化这个问题的设置，并借鉴的思想，从在线学习和概率推理文献，推导出一个关闭的政策RL算法，可以原因和解决这种终身非平稳性。我们的方法利用潜变量模型从当前和过去的经验中学习环境的表示，并使用此表示执行离线RL。我们进一步介绍了几个模拟环境，表现出终身非平稳性，并根据经验发现，我们的方法大大优于不考虑环境变化的方法。
2020-06-18 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University（杜克大学）；US Air Force（美国空军）；AFRL Division（空军研究实验室分部）
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题，提出基于 bundle behavior cloning 的逆向强化学习方法，利用少量轨迹克隆策略并训练神经网络估计奖励，理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values
University of Oxford（牛津大学）；Auburn University（奥本大学）
我们提出了一种用于估计非策略强化学习中目标策略的状态分布与采样分布之间的密度比的方法-DICE。GenDICE解决了GenDICE的几个问题（Zhang等人，2020年），国家的最先进的估计这样的密度比。也就是说，GenDICE中的优化问题不是凹凸鞍点问题，一旦在优化变量参数化中引入非线性以确保正性，则任何原始-对偶算法都不能保证收敛或找到期望的解。然而，这种非线性是必不可少的，以确保一致性的GenDICE，即使与表格表示。这是一个根本的矛盾，从GenDICE的原始配方的优化问题。在ConcurentDICE中，我们通过使用Perron-Frobenius定理和消除GenDICE使用发散来优化与GenDICE不同的目标。因此，参数化中的非线性对于DICE是不必要的，它在线性函数近似下是可证明收敛的。
2020-11-26 cs.LG stat.ML
AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline Multi-Agent RL via Alternating Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）
针对离线多智能体强化学习中联合动作空间指数增长易选分布外动作的问题，提出基于平稳分布优化的交替单智能体集中训练算法AlberDICE，理论证明收敛至纳什策略，实验性能显著优于基线。
2023-11-03 cs.AI cs.LG
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
A policy gradient approach for Finite Horizon Constrained Markov Decision Processes
Indian Institute of Science（印度科学学院）
针对现有约束强化学习仅研究无限时域场景的不足，提出首个带函数近似的有限时域约束MDP策略梯度算法，证明收敛性且实验表现优于知名算法。
2025-03-20 cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Stochastic Dimension-reduced Second-order Methods for Policy Optimization
Shanghai University of Finance and Economics（上海财经大学）；Fudan University（复旦大学）；Stanford University（斯坦福大学）
在本文中，我们提出了几个新的随机二阶算法的政策优化，只需要梯度和海森向量积在每次迭代，使他们的计算效率和政策梯度法。具体地说，我们提出了一个降维二阶方法（DR-SOPO），反复解决投影二维置信域子问题。我们证明了DR-SOPO在达到近似一阶平稳条件和一定的子空间二阶平稳条件时具有$\mathcal{O}(ε^{-3.5})$复杂度。此外，我们提出了一个增强的算法（DVR-SOPO），进一步提高了复杂性的$\mathcal{O}(ε^{-3})$的基础上减少方差技术。初步的实验表明，我们提出的算法表现良好的随机和方差减少的政策梯度法相比。
2023-01-28 cs.LG math.OC
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services（亚马逊云科技）
基于策略的强化学习（RL）算法具有高样本复杂度，而非策略算法难以调整。将两者结合起来，有望开发出在不同环境中通用的高效算法。然而，在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O，交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离，并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明，这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
