A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡-大东部大区中心）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下，它是已知的，总是存在一个最佳的政策是固定的，我们表明，当使用值函数近似，寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种，统一了广泛的家庭的近似DP算法的文献。对于该算法，我们提供了一个错误传播分析的形式，所得到的政策，可以提高通常的性能约束的一个因素$O(1-γ)$，这是显着的折扣因子$γ$接近1。这样做，我们的方法统一了最近的结果价值和政策迭代。此外，我们表明，通过构建一个特定的确定性MDP，我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
On the Use of Non-Stationary Policies for Infinite-Horizon Discounted Markov Decision Processes
我们考虑无限时域$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。我们考虑算法值迭代和策略序列$π_1,...,π_k$，它隐式地产生，直到一些迭代$k$。我们提供的非平稳政策，涉及最后$m$生成的政策，减少了国家的最先进的约束最后固定的政策$π_k$的一个因素$\frac{1-γ}{1-γ^m}$的性能界限。特别地，使用非平稳策略允许降低值迭代的通常渐近性能界限，其中在从$\fracγ{(1-γ)^2}ε$到$\fracγ{1-γ}ε$的每次迭代处误差由$ε$限定，这在$γ$接近1的通常情况下是显著的。给定Bellman算子，只能计算一些错误$ε$，这个结果的一个令人惊讶的结果是，“计算近似最优非平稳策略”的问题比“计算近似最优平稳策略”的问题简单得多，甚至比“近似计算某个固定策略的值”的问题稍微简单，因为这个最后一个问题只有$\frac{1}{1-γ}ε$的保证。
2012-03-30 cs.AI
Online Reinforcement Learning in Non-Stationary Context-Driven Environments
MIT（麻省理工学院）；CS Brown University（布朗大学计算机科学系）；Microsoft Research（微软研究院）
针对非平稳环境中在线强化学习的灾难性遗忘问题，提出局部约束策略优化（LCPO）方法，通过锚定旧经验策略输出并在当前上下文分布外采样进行局部约束，显著提升了性能并与离线先知智能体表现相当。
2025-03-31 cs.AI cs.LG
DualDICE: Behavior-Agnostic Estimation of Discounted Stationary Distribution Corrections
Google Research（谷歌研究院）
在许多现实世界的强化学习应用中，对环境的访问仅限于固定的数据集，而不是与环境的直接（在线）交互。当使用这些数据进行新策略的评估或训练时，对折扣静态分布比率的准确估计-校正项量化了新策略将经历某个状态-动作对的可能性，该状态-动作对通过状态-动作对出现在数据集中的概率进行归一化-可以提高准确性和性能。在这项工作中，我们提出了一种算法，DualDICE，估计这些数量。与以前的方法相比，我们的算法对用于生成数据集的行为策略（或策略）的知识是不可知的。此外，它避免了任何直接使用的重要性权重，从而避免了潜在的优化不稳定性地方病的以前的方法。除了提供理论保证，我们提出了一个实证研究，我们的算法应用于政策外的政策评估，发现我们的算法显着提高准确性相比，现有的技术。
2019-11-04 cs.AI cs.LG stat.ML
Decision Making in Non-Stationary Environments with Policy-Augmented Monte Carlo Tree Search
Vanderbilt University（范德堡大学）
不确定性决策（DMU）在许多重要问题中都有应用。一个开放的挑战是在非平稳环境中的DMU，其中环境的动态可以随着时间的推移而变化。强化学习（RL）是一种解决DMU问题的流行方法，它通过离线与环境模型交互来学习策略。不幸的是，如果环境发生变化，则策略可能变得陈旧并采取次优的动作，并且针对更新的环境重新学习策略需要时间和计算工作量。另一种方法是在线规划方法，如蒙特卡罗树搜索（MCTS），它在决策时执行计算。鉴于目前的环境，MCTS计划使用高保真模型来确定有希望的行动轨迹。一旦检测到环境变化，这些模型就可以立即更新，并将其纳入决策。然而，MCTS的收敛速度可能是缓慢的域与大的状态动作空间。在本文中，我们提出了一种新的混合决策方法，结合RL和规划的优势，同时减轻他们的弱点。我们的方法，称为政策增强MCTS（PA-MCTS），集成了一个政策的肌动蛋白值估计到MCTS，使用估计种子的行动轨迹的搜索青睐。我们假设，PA-MCTS将更快地收敛比标准的MCTS，同时作出更好的决定比政策可以自己面对非平稳环境时。我们测试我们的假设，通过比较PA-MCTS与纯MCTS和RL代理应用于经典的CartPole环境。我们发现，PC-MCTS可以实现更高的累积奖励比孤立的政策在几个环境的变化，而收敛在显着较少的迭代比纯MCTS。
2022-02-25 cs.AI
Policy Gradient with Tree Search: Avoiding Local Optimas through Lookahead
Technion（技术学院）；University of Zurich（苏黎世大学）
本文提出融合 $m$ 步树搜索前瞻的 PGTS 方法，从理论上证明增加搜索深度可减少不良驻点并改善最坏情况性能，且在多种 MDP 实验中优于标准 PG。
2025-06-08 cs.AI cs.LG
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
On the Performance Bounds of some Policy Search Dynamic Programming Algorithms
LORIA（洛林计算机科学及其应用实验室）
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于策略搜索算法，该算法通过遵循标准策略迭代（PI）方案经由近似贪婪算子来计算近似最优策略（Kakade和Langford，2002; Lazaric等人，2010年）。我们描述了直接策略迭代（DPI）的现有和一些新的性能界限（Lagoudakis和Parr，2003; Fern等人，2006; Lazaric等人，2010）和保守政策迭代（CPI）（Kakade和Langford，2002）。通过特别注意这种保证中涉及的集中性常数，我们特别认为CPI的保证比DPI的保证好得多，但这是以相对的$\frac{1}ε$指数增加时间复杂度为代价的。然后，我们描述了一种算法，非平稳直接策略迭代（NSDPI），它可以被视为1）Bagnell等人（2003）的动态规划策略搜索到无限水平情况的变体，或者2）Scherrer和Lesner（2012）的非平稳PI的简化版本。我们提供了这个算法的分析，特别是它享有最好的两个世界：其性能保证是类似的CPI，但在时间复杂度类似的DPI。
2013-06-03 cs.AI cs.LG
Context-Based Soft Actor Critic for Environments with Non-stationary Dynamics
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法的性能在应用于具有非平稳动态的环境时容易退化。在本文中，我们利用最近的Meta-RL材料的动机潜在的上下文递归编码器，并提出了基于潜在上下文的软演员评论（LC-SAC）方法来解决上述问题。通过最小化对比预测损失函数，学习的上下文变量捕获环境动态和代理的最近行为的信息。然后结合软策略迭代范式，LC-SAC方法在软策略评估和软策略改进之间交替进行，直到收敛到最优策略。实验结果表明，LC-SAC算法在MetaWorld ML 1任务上的性能明显优于SAC算法，而在连续控制基准任务MuJoCo上的性能与SAC算法相当，前者的任务动态在不同情节之间变化剧烈，后者的任务动态在不同情节之间变化缓慢或不变。此外，我们还进行了相关实验，确定了不同超参数设置对LC-SAC算法性能的影响，并给出了超参数设置的合理建议。
2021-05-10 cs.AI cs.LG stat.ML
Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis
Department of Computer and System Science（计算机与系统科学系）
研究切换非平稳马尔可夫决策过程，推导固定策略下SNS值函数闭式表达式，证明TD学习、策略迭代及表格Q学习的收敛性，在无线通信网络验证框架，为快速时变系统决策提供有效方法。
2026-07-17 cs.AI cs.LG
Policy Gradients for Cumulative Prospect Theory in Reinforcement Learning
department of computer science at ETH Zürich（苏黎世联邦理工学院计算机科学系）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出了一种基于累积前景理论的强化学习策略梯度算法，通过蒙特卡洛梯度估计器实现，并证明了算法在CPT目标上的渐近收敛性。
2026-09-09 cs.AI cs.LG
Zero-Shot Off-Policy Learning
Arip Asadulaev（阿里普·阿萨杜拉耶夫）；Maksim Bobrin（马克西姆·博布林）；Salem Lahlou（萨勒姆·拉洛）；Dmitry Dylov（德米特里·达里夫）；Fakhri Karray（法赫里·卡里）；Martin Takac（马尔 tin 塔卡）
本文通过发现后继度量与平稳密度比的理论联系，提出一种零样本离策略学习算法，能够实时推断最优重要性采样比率并进行平稳分布修正，实现无需额外训练即可适应新任务。
2026-05-30 cs.AI cs.LG
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University（杜克大学）；US Air Force（美国空军）；AFRL Division（空军研究实验室分部）
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题，提出基于 bundle behavior cloning 的逆向强化学习方法，利用少量轨迹克隆策略并训练神经网络估计奖励，理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Answer Set Programming for Non-Stationary Markov Decision Processes
Institut d’Investigació en Intelligència Artificial（人工智能研究所）；Universidade Metodista de São Paulo（圣保罗卫理公会大学）；Centro Universitário FEI（FEI大学中心）
非平稳域，其中不可预见的变化发生，提出了一个挑战，代理找到一个最佳的政策，顺序决策问题。这项工作研究了这个问题的解决方案，结合马尔可夫决策过程（MDP）和强化学习（RL）与答案集编程（ASP）的方法，我们称之为ASP（RL）。在该方法中，答案集规划被用来找到一个MDP的可能的轨迹，从那里强化学习被应用于学习问题的最优策略。结果表明，ASP（RL）是能够有效地找到最优解的MDP代表非平稳域。
2017-05-03 cs.AI
Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）
长期问题的非策略估计在许多现实应用中非常重要，例如医疗保健和机器人技术，其中高保真仿真器可能不可用，并且策略评估昂贵或不可能。最近，\cite{liu18breaking}提出了一种方法，避免了典型的基于重要性采样的方法所遭受的\emph{curse of horizon}。虽然显示出有希望的结果，但这种方法在实践中受到限制，因为它需要从\emph{known}行为策略的\emph{stationary distribution}中提取数据。在这项工作中，我们提出了一种新的方法，消除这种限制。特别是，我们制定的问题作为解决某一运营商的不动点。使用再生核希尔伯特空间（RKHS）的工具，我们开发了一种新的估计器，可以计算静态分布的重要性比，而不知道如何收集非策略数据。我们分析了它的渐近一致性和有限样本推广。在基准测试上的实验验证了该方法的有效性。
2020-03-24 cs.AI cs.LG stat.ML
State Regularized Policy Optimization on Data with Dynamics Shift
Nanyang Technological University（南洋理工大学）；Kuaishou Technology（快手科技）
针对动力学偏移导致样本效率低的问题，提出SRPO算法，利用相似结构环境下最优策略平稳状态分布的正则化实现数据重用，并可附加于在线与离线上下文RL算法，显著提升数据效率和整体性能。
2024-02-22 cs.AI cs.LG
Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation
University of Dhaka（达卡大学）
本文提出OPS-DeMo在线算法，通过动态误差衰减检测对手策略切换，并结合AOP库与响应策略库，提升多智能体强化学习在动态环境中的鲁棒性和决策能力。
2024-06-10 cs.AI cs.LG
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University（清华大学）；University of Hamburg（汉堡大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对离策略RL未充分利用replay buffer信息的问题，提出无模型在线RL框架OBAC，通过价值比较识别更优离线策略作为自适应约束来增强在线学习，在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
POPO: Pessimistic Offline Policy Optimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
离线强化学习（RL），也被称为批处理RL，旨在优化来自大型预记录数据集的策略，而无需与环境交互。这种设置提供了利用不同的、预先收集的数据集来获得策略的承诺，而无需进行昂贵的、有风险的、积极的探索。然而，常用的基于Q学习或actor-critic的离线算法在从静态数据集学习时表现不佳。在这项工作中，我们研究了为什么非策略RL方法无法从价值函数的角度在离线设置学习，我们提出了一种新的离线RL算法，我们称之为悲观离线策略优化（POPO），它学习一个悲观的价值函数，以获得一个强大的政策。我们发现POPO表现得非常好，并且可以扩展到具有高维状态和动作空间的任务，在基准任务上比较或优于几种最先进的离线RL算法。
2021-01-04 cs.AI cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
离线强化学习（RL）的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络，这可能会带来额外的推理成本，并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧，这可能与支持集的固有的基于密度的定义不匹配，从而无法有效地避免分布外的动作。本文提出了支持策略优化（SPOT），这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集，并提出了一个简单但有效的基于密度的正则化项，该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计，SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Adaptive Exploration for Data-Efficient General Value Function Evaluations
McGill University（麦吉尔大学）；Mila（米拉研究所）；The University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
提出GVFExplorer，通过最小化回报总方差自适应学习单一行为策略，以高效并行评估多个GVFs，减少环境交互并降低预测误差。
2024-10-13 cs.AI cs.LG
The Choice Function Framework for Online Policy Improvement
Oregon State University（俄勒冈州立大学）
有一些值得注意的例子表明，在线搜索在顺序决策方面优于手工编码或学习的策略（例如AlphaZero）。然而，不清楚的是，对于其中许多办法，即使有一个完美的评价函数和过渡模式，是否能保证政策的改进。事实上，简单的反例表明，与原始策略相比，看似合理的在线搜索程序可能会损害性能。为了解决这个问题，我们介绍了选择功能的框架，分析在线搜索程序的政策改进。选择函数指定了在搜索树的每个节点上要考虑的操作，而所有其他操作都被修剪。我们的主要贡献是给出了平稳和非平稳选择函数的充分条件，以保证在线搜索所获得的价值不会比原始策略更差。此外，我们描述了一个一般的参数类的选择函数，满足这些条件，并提出了一个说明性的使用情况下，框架的经验效用。
2019-10-07 cs.AI
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Single or Multiple Policies for Phase-Structured Reinforcement Learning?
Imperial College London（伦敦帝国学院）
本研究探讨阶段结构强化学习中单一共享策略与多策略的优劣，提出基于机制持续时间的阶段分解方法，并通过实验验证四个关键假设。
2026-10-05 cs.AI cs.LG cs.SY
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
非策略深度强化学习（RL）算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习，这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为，大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题，然后提出了一种约束状态分布偏移的离线策略优化方法。为此，我们首先使用密度估计器基于状态的特征来估计状态分布，然后开发一种新的约束非策略梯度目标，其最小化状态分布偏移。我们的连续控制任务的实验结果表明，最大限度地减少这种分布不匹配，可以显着提高性能，在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Graph-based Prediction and Planning Policy Network (GP3Net) for scalable self-driving in dynamic environments using Deep Reinforcement Learning
Indian Institute of Science（印度科学学院）；Indian Institute of Science Education and Research, Bhopal（博帕尔印度科学教育与研究学院）
本文提出GP3Net框架，通过时空图预测交通参与者轨迹并结合PPO强化学习进行安全规划，在CARLA多场景与新天气条件下优于模仿学习基线。
2023-12-10 cs.AI cs.RO
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon（亚马逊）
学习面向目标的对话策略通常利用监督学习算法离线执行，或者利用强化学习（RL）在线执行。此外，随着公司积累了大量客户和训练有素的人类代理之间的对话记录，编码器-解码器方法已经流行起来，因为代理话语可以直接被视为监督，而不需要话语级注释。然而，这样的方法的一个潜在的缺点是，他们近视生成下一个代理话语，而不考虑对话级的考虑。为了解决这个问题，本文描述了一种离线RL方法，用于从未注释的语料库中学习，该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数，并使用上政策和关闭政策策略梯度离线学习策略，而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
Sample Efficient Experience Replay in Non-stationary Environments
Department of Computer Science, The University of Hong Kong, Hong Kong, China（计算机科学系，香港大学，香港，中国）；College of International Education, Hebei University of Economics（国际教育学院，河北经贸大学）；Department of Electrical and Electronic Engineering, The University of Hong Kong, Hong Kong, China（电气与电子工程系，香港大学，香港，中国）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（计算机科学系，城市大学，香港，中国）；Institute for Imaging, Data and Communications, University of Edinburgh, UK（成像、数据与通讯研究所，爱丁堡大学，英国）；School of Computing, National University of Singapore, Singapore（计算学院，新加坡国立大学，新加坡）；Department of Computer Science and Technology, Tsinghua University, China（计算机科学与技术系，清华大学，中国）
针对非平稳环境中传统经验回放难以区分策略与环境变化的问题，提出基于环境动态差异（DoE）的自适应经验回放框架DEER，通过二分类器检测环境变化并采用差异化优先级策略，在四个基准上将离策略算法性能提升11.54%。
2025-09-18 cs.AI cs.LG cs.NI
Chaining Value Functions for Off-Policy Learning
DeepMind；University College London（伦敦大学学院）
为了积累知识并改进其行为策略，强化学习代理可以学习与用于生成其经验的策略不同的策略的“非策略”。这对学习反事实很重要，或者因为经验是在它自己的控制之外产生的。然而，离策略学习是不平凡的，标准的学习算法可能是不稳定和发散的。在本文中，我们讨论了一个新的家庭的政策外预测算法是收敛的建设。这个想法是首先学习关于数据生成行为的on-policy，然后在这个on-policy估计上引导一个off-policy值估计，从而构建一个部分off-policy的值估计。可以重复该过程以构建价值函数的链，每次在链中的先前估计上引导新的估计。链中的每一步都是稳定的，因此完整的算法保证是稳定的。在温和的条件下，当我们增加链的长度时，这任意地接近于非政策TD解。因此，即使在偏离策略TD发散的情况下，它也可以计算解。我们证明了该方案是收敛的，对应于逆密钥矩阵的迭代分解。此外，它可以被解释为估计一个新的目标-我们称之为“k步远征”-在无限期地继续执行行为政策之前，先执行目标政策200多步。经验上，我们评估的想法，挑战MDPs，如贝尔德的反例，并观察到有利的结果。
2022-02-02 cs.AI cs.LG stat.ML
Representation Balancing MDPs for Off-Policy Policy Evaluation
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；Cambridge University（剑桥大学）；Imperial College London（帝国理工学院）
研究了强化学习中的政策外政策评估问题。与以往的工作相比，我们考虑如何准确地估计单个保单价值和平均保单价值。我们从因果推理的最新工作中得到启发，并提出了一个新的有限样本泛化误差界的MDP模型的价值估计。使用这个上限为目标，我们开发了一个学习算法的MDP模型与平衡的表示，并表明，我们的方法可以产生显着降低MSE在常见的合成基准和艾滋病毒治疗模拟域。
2019-04-17 cs.AI cs.LG stat.ML
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
在这项工作中，我们重新审视了一些旧的和新的算法，用于基于返回的强化学习。表达这些在一个共同的形式，我们得到一个新的算法，Retrace（$λ$），具有三个所需的属性：（1）它具有低方差;（2）它安全地使用从任何行为策略收集的样本，无论其程度的“关闭政策”;和（3）它是有效的，因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置，并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$，而没有GLIE假设（贪婪的极限与无限探索）。作为推论，我们证明了Watkins的Q（$λ$）的收敛性，这是自1989年以来的一个公开问题。我们说明了Retrace（$λ$）的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
Deep Reinforcement Learning amidst Lifelong Non-Stationarity
Stanford University（斯坦福大学）
作为人类，我们的目标和我们的环境在我们的一生中不断变化，这取决于我们的经验，行动以及内部和外部驱动力。相比之下，典型的强化学习问题设置考虑跨情节静止的决策过程。我们能开发出强化学习算法来应对前一个更现实的问题设置的持续变化吗？虽然诸如策略梯度之类的策略算法原则上可以扩展到非平稳设置，但是对于在学习时重放过去经验的更有效的策略外算法来说，情况并非如此。在这项工作中，我们形式化这个问题的设置，并借鉴的思想，从在线学习和概率推理文献，推导出一个关闭的政策RL算法，可以原因和解决这种终身非平稳性。我们的方法利用潜变量模型从当前和过去的经验中学习环境的表示，并使用此表示执行离线RL。我们进一步介绍了几个模拟环境，表现出终身非平稳性，并根据经验发现，我们的方法大大优于不考虑环境变化的方法。
2020-06-18 cs.AI cs.LG cs.RO
Robust Deep Reinforcement Learning for Quadcopter Control
University of Cincinnati（辛辛那提大学）
深度强化学习（RL）使得使用神经网络作为函数逼近器来解决复杂的机器人问题成为可能。然而，在静态环境中训练的策略在从一个环境转移到另一个环境时在泛化方面受到影响。在这项工作中，我们使用鲁棒马尔可夫决策过程（RMDP）的训练无人机控制策略，它结合了鲁棒控制和RL的思想。它选择悲观优化来处理从一个环境到另一个环境的策略传输之间的潜在差距。四轴飞行器位置控制任务的训练控制策略进行了测试。RL特工在MuJoCo模拟器中接受培训。在测试过程中，使用不同的环境参数（在训练过程中看不到）来验证训练策略从一个环境转移到另一个环境的鲁棒性。在这些环境中，强大的政策优于标准代理，这表明增加的鲁棒性增加了通用性，可以适应非平稳环境。代码：https://github.com/adipandas/gym_multirotor
2021-11-06 cs.AI cs.LG cs.RO
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差，具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程（POMDPs）的离政策评估问题，并建立了我们认为是POMDPs的第一个离政策评估结果。此外，我们制定了一个模型，其中观察到的和未观察到的变量被解耦成两个动态过程，称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估，减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱，使用一个著名的政策外的方法，重要性采样，并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Policy Expansion for Bridging Offline-to-Online Reinforcement Learning
Horizon Robotics
本文提出PEX策略扩展框架，通过保留离线策略并新增可学习策略进行自适应组合，缓解离线到在线强化学习微调初期的策略退化问题。
2025-08-28 cs.AI
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
On First-Order Meta-Reinforcement Learning with Moreau Envelopes
Rice University（莱斯大学）
本研究在策略梯度框架下提出MEMRL算法，利用Moreau包络正则化高效更新策略参数，实现元策略对新任务的快速适应，并证明了其在非凸优化下的次线性收敛速率及多任务导航中的有效性。
2023-05-20 cs.AI cs.LG cs.RO
Off-policy Learning with Eligibility Traces: A Survey
Supélec（高等电力学院）；INRIA Lorraine（洛林法国国家信息与自动化研究所）
在马尔可夫决策过程的框架中，离策略学习，即从某个可能由其他策略生成的轨迹中学习某个固定策略的价值函数的线性近似的问题。我们简要回顾了同策略学习算法的文献（基于梯度和最小二乘），采用统一的算法视图。然后，我们强调了一个系统的方法，使他们适应离策略学习资格痕迹。这导致了一些已知的算法--脱离策略的LSTD（λ）、LSPE（λ）、TD（λ）、TDC/GQ（λ）--并提出了新的扩展--脱离策略的FPKF（λ）、BRM（λ）、gBRM（λ）、GTD 2（λ）。我们描述了一个全面的算法推导的所有算法的递归和内存效率的形式，讨论他们已知的收敛性，并说明他们的石榴石问题的相对经验行为。我们的实验表明，最标准的算法和非策略LSTD（λ）/LSPE（λ）-和TD（λ），如果特征空间维度对于最小二乘方法来说太大-表现最好。
2013-04-15 cs.AI cs.RO
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley（加州大学伯克利分校）；Yonsei University（延世大学）
SEMDICE通过平稳分布校正估计，从非策略数据集中学习状态熵最大化策略，实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
Non-Stationary Off-Policy Optimization
Google Research（谷歌研究院）
离策略学习是一个框架，用于根据另一个策略收集的数据，在不部署策略的情况下评估和优化策略。现实世界的环境通常是不稳定的，离线学习的策略应该适应这些变化。为了应对这一挑战，我们研究了分段固定上下文强盗的离线策略优化的新问题。我们提出的解决方案有两个阶段。在离线学习阶段，我们将记录的数据划分为分类的潜在状态，并为每个状态学习一个接近最优的子策略。在在线部署阶段，我们根据学习到的子策略的性能自适应地在它们之间切换。该方法具有实用性和可分析性，并在离线优化质量和在线部署过程中的遗憾方面提供了保证。为了证明我们方法的有效性，我们将其与合成和真实世界数据集上的最先进基线进行了比较。我们的方法优于仅对观察到的上下文起作用的方法。
2021-04-04 cs.AI cs.LG stat.ML
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Sample Complexity of Policy Gradient Finding Second-Order Stationary Points
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
基于策略的强化学习（RL）的目标是搜索其目标的最大值点。然而，由于其目标的内在非线性，收敛到一阶稳定点（FOSP）不能保证策略梯度方法找到一个最大点。一个FOSP可以是一个最小值，甚至是一个鞍点，这对于RL来说是不可取的。幸运的是，如果所有的鞍点都是\emph{strict}，所有的二阶平稳点（SOSP）完全等价于局部极大值。我们用SOSP代替FOSP作为表征策略梯度样本复杂性的收敛准则。我们的结果表明，策略梯度在总代价为$\mathcal{O}\left(\dfrac{ε^{-\frac{9}{2}}}{(1-γ)\sqrtχ}\log\dfrac{1}δ\right)$之后以至少$1-\widetilde{\mathcal{O}}(δ)$的概率收敛到$(ε,\sqrt{εχ})$ -SOSP，其中$γ\in(0,1)$ .我们的结果显著改善了需要$\mathcal{O}\left(\dfrac{ε^{-9}χ^{\frac{3}{2}}}δ\log\dfrac{1}{εχ}\right)$的最新结果。我们的分析是基于一个关键的思想，即分解的参数空间$\mathbb{R}^p$到三个非平稳区域：非平稳点，鞍点，局部最优区域，然后在每个区域的RL的目标进行局部改进。这种技术可以潜在地推广到广泛的策略梯度方法。
2020-12-02 cs.LG
Overcoming Non-stationary Dynamics with Evidential Proximal Policy Optimization
University of Southern Denmark（丹麦南部大学）
针对非平稳环境中无模型深度Actor-Critic架构的稳定性问题，提出EPPO算法，利用证据critic保持网络可塑性并实现定向探索，在连续控制任务中显著优于现有方法。
2025-11-04 cs.LG
