Learning Deterministic Policy with Target for Power Control in Wireless Networks
University of Science and Technology of China（中国科学技术大学）；Columbia University（哥伦比亚大学）；Yahoo Labs（雅虎实验室）
小区间干扰协调（ICIC）是提高无线网络中的能量效率的有前途的方式，特别是在密集部署小型基站的情况下。然而，传统的基于优化的ICIC方案遭受严重的性能下降与复杂的干扰模式。为了解决这个问题，我们提出了一个深度强化学习与确定性的政策和目标（DRL-DPT）框架ICIC在无线网络中。DRL-DPT克服了强化学习和深度学习在无线网络中应用的主要障碍，即连续状态空间、连续动作空间和收敛性。首先，深度神经网络（DNN）参与作为演员，以获得确定性的功率控制动作在连续空间。然后，为了保证算法的收敛性，提出了一种在线训练的方法，该方法使用一个专门的奖励函数作为目标规则，并使用策略梯度下降算法来调整DNN的权值。实验结果表明，所提出的DRL-DPT框架一致优于现有的计划在能源效率和吞吐量在不同的无线干扰情况下。更具体地说，它提高了高达15%的能源效率和更快的收敛速度。
2019-02-21 cs.LG cs.NI stat.ML
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University（吉林大学）；University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）；Ministry of Education, China（中国教育部）；Alberta Machine Intelligence Institute, University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所）
流行的近端策略优化（PPO）算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策？通过使用一个新的代理目标，采用sigmoid函数（这提供了一种有趣的探索方式），我们发现答案是“是”，更好的策略实际上位于离裁剪空间很远的地方。我们表明，PPO是不够的“关闭policyness”，根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索，并且在训练期间比PPO更好地最大化保守策略迭代（CPI）目标。据我们所知，目前所有的PPO方法都有裁剪操作，并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个，它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees
National Yang Ming Chiao Tung University（阳明交通大学）；Meta AI
我们从坐标上升的角度重新审视了RL中的非策略优化域。一种常用的方法是利用偏离策略的策略梯度来优化代理目标--目标策略的预期回报相对于行为策略的状态分布的总折扣。然而，这种方法已被证明遭受分布失配问题，因此需要通过状态分布校正或反事实方法来校正这种失配。在本文中，我们重新思考离策略学习通过协调上升策略优化（CAPO），脱离策略的演员-评论家算法，从行为策略的状态分布，而不使用策略梯度的策略改进。这种设计消除了在非策略策略梯度的策略改进步骤中对分布校正或重要性采样的需要。我们建立了全局收敛的一般坐标选择的CAPO，然后进一步量化的几个实例的CAPO流行的坐标选择规则，包括循环和随机变量的CAPO的收敛速度。然后，我们将CAPO扩展到神经政策，以实现更实际的实施。通过实验，我们证明了CAPO在实践中为RL提供了一种有竞争力的方法。
2022-12-10 cs.LG
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；DeepMind；UC Berkeley（加州大学伯克利分校）；Uber AI Labs（优步人工智能实验室）
无模型深度强化学习（RL）方法在各种模拟领域都取得了成功。然而，深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习，但代价是高方差，这通常需要大批量。TD风格的方法，如非策略行动者-批评者和Q学习，样本效率更高，但存在偏差，并且通常需要昂贵的超参数扫描来稳定。在这项工作中，我们的目标是开发的方法，结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop，一个策略梯度方法，使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的，并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系，并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明，保守的Q-Prop在样本效率方面比具有广义优势估计（GAE）的信赖域策略优化（TRPO）有很大的提高，并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度（DDPG）的稳定性，DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对离线强化学习中的分布偏移问题，提出了一种新型 actor-critic 算法 POP-QL，通过同时重加权离策略样本和约束策略来防止发散并降低误差，在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Model-Based Offline Meta-Reinforcement Learning with Regularization
Arizona State University（亚利桑那州立大学）；The Ohio State University（俄亥俄州立大学）
现有的离线强化学习（RL）方法面临着一些主要的挑战，特别是学习策略和行为策略之间的分布变化。离线元强化学习正在成为解决这些挑战的一种有前途的方法，旨在从一系列任务中学习信息元策略。然而，正如我们的实证研究所示，离线元RL可以在具有良好数据集质量的任务上优于离线单任务RL方法，这表明必须在通过遵循元策略来“探索”分布外状态动作和通过接近行为策略来“利用”离线数据集之间进行微妙的平衡。受这种实证分析的启发，我们探索了基于模型的离线Meta-RL与正则化策略优化（MerPO），它学习了一个元模型，用于有效的任务结构推理和一个信息元策略，用于安全探索分布外的状态动作。特别是，我们设计了一个新的元正则化的基于模型的演员-评论（RAC）的方法内的任务政策优化，作为MerPO的关键组成部分，使用保守的政策评估和正则化的政策改进;和内在的权衡，其中实现了通过两个正则化之间的正确平衡，一个基于行为的政策和其他的元政策。我们从理论上表明，学习的政策提供了保证改善的行为政策和元政策，从而确保通过离线元RL的新任务的性能提高。实验证实了MerPO优于现有离线Meta-RL方法的性能。
2022-07-13 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley（加州大学伯克利分校）；Yonsei University（延世大学）
SEMDICE通过平稳分布校正估计，从非策略数据集中学习状态熵最大化策略，实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta（阿尔伯塔大学）
本文提出带强调权重的演员-评论家算法ACE，通过统一离策略目标并推导策略梯度定理，解决了OffPAC和DPG等半梯度方法收敛到错误解的问题，并在多个环境中验证了其优越性。
2023-04-13 cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind（谷歌DeepMind）
本文提出离策略分布Q(λ)算法，无需重要性采样即可进行离策略分布评估，并通过表格实验验证理论，结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
LLMs Can Learn to Reason Via Off-Policy RL
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
本文提出OAPL算法，通过接受非策略性解决LLM强化学习中的策略滞后问题，在竞赛数学和编码任务中表现优异，训练效率更高。
2026-02-27 cs.LG
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services（亚马逊云科技）
基于策略的强化学习（RL）算法具有高样本复杂度，而非策略算法难以调整。将两者结合起来，有望开发出在不同环境中通用的高效算法。然而，在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O，交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离，并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明，这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Asymptotically Unbiased Off-Policy Policy Evaluation when Reusing Old Data in Nonstationary Environments
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在这项工作中，我们考虑了非政策的政策评估问题的上下文土匪和有限时域强化学习在非平稳设置。重复使用旧数据是政策评估的关键，但现有的估计器，重复使用旧数据引入大的偏差，我们不能得到一个有效的置信区间。从一个相关领域称为调查抽样的启发，我们介绍了一个变种的双稳健（DR）估计，称为回归辅助DR估计，可以将过去的数据，而不会引入一个大的偏差。该估计器统一了现有的几种政策外政策评估方法，并通过使用辅助信息和回归方法对其进行了改进。我们证明了新的估计量是渐近无偏的，并提供了一个相容的方差估计量来构造大样本置信区间。最后，我们的经验表明，新的估计提高了估计的当前和未来的政策价值，并提供了一个紧密和有效的区间估计在几个非平稳的推荐环境。
2023-02-23 cs.LG
Phasic Policy Gradient
OpenAI
我们引入了阶段性策略梯度（PPG），这是一个强化学习框架，它通过将策略和价值函数训练分为不同的阶段来修改传统的基于策略的行动者-批评者方法。在现有方法中，必须在使用共享网络或单独的网络来表示策略和价值函数之间进行选择。使用单独的网络可以避免目标之间的干扰，而使用共享网络可以共享有用的功能。PPG能够通过将优化分为两个阶段来实现两全其美，一个是推进训练，另一个是提取特征。PPG还使价值函数能够以更高水平的样本重用更积极地优化。与PPO相比，我们发现PPG在具有挑战性的Procgen Benchmark上显着提高了样本效率。
2020-09-09 cs.LG stat.ML
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta（阿尔伯塔大学）
策略梯度方法被广泛用于强化学习中的控制，特别是用于连续动作设置。由于策略梯度定理的存在，提供了一个简化的形式的梯度，已经有大量的理论上合理的算法提出的策略设置。然而，在离策略学习中，行为策略不一定试图学习和遵循给定任务的最优策略，这样的定理的存在是难以捉摸的。在这项工作中，我们解决了这个开放的问题，提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重（ACE）$\unicode{x2014}$，近似的简化梯度提供的定理。我们证明了在一个简单的反例，以前的政策外的策略梯度方法$\unicode{x2014}$，特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案，而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University（麦吉尔大学）
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法，如GTD和TDC/GQ，即使在使用函数近似和增量更新时也会收敛。然而，它们是针对固定行为策略的情况而开发的。在控制问题中，人们希望随着时间的推移调整行为策略，使其相对于现有的价值函数变得更加贪婪。在本文中，我们提出了第一个基于梯度的学习算法，该算法依赖于策略梯度的框架，以修改行为策略。我们提出的算法，收敛定理，推导和经验证据表明，他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology（代尔夫特理工大学）
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap，首次从理论分析给出缩小该差距的条件，并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
非策略深度强化学习（RL）算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习，这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为，大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题，然后提出了一种约束状态分布偏移的离线策略优化方法。为此，我们首先使用密度估计器基于状态的特征来估计状态分布，然后开发一种新的约束非策略梯度目标，其最小化状态分布偏移。我们的连续控制任务的实验结果表明，最大限度地减少这种分布不匹配，可以显着提高性能，在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Offline RL Without Off-Policy Evaluation
New York University（纽约大学）
离线强化学习（RL）的大多数现有方法都采用了一种涉及离线评估的迭代演员-评论家方法。在本文中，我们表明，简单地做一个步骤的约束/正则化的政策改进使用的政策Q估计的行为政策执行得出奇的好。这种一步算法在D4 RL基准测试的大部分上击败了以前报道的迭代算法的结果。一步基线实现了这种强大的性能，同时比以前提出的迭代算法更简单，对超参数更鲁棒。我们认为，迭代方法的相对较差的性能是在做关闭政策评估固有的高方差的结果，并放大了对这些估计的政策的反复优化。此外，我们假设一步算法的强大性能是由于环境和行为政策的有利结构的组合。
2021-12-03 cs.LG stat.ML
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University（清华大学）；University of Hamburg（汉堡大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对离策略RL未充分利用replay buffer信息的问题，提出无模型在线RL框架OBAC，通过价值比较识别更优离线策略作为自适应约束来增强在线学习，在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
POPO: Pessimistic Offline Policy Optimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
离线强化学习（RL），也被称为批处理RL，旨在优化来自大型预记录数据集的策略，而无需与环境交互。这种设置提供了利用不同的、预先收集的数据集来获得策略的承诺，而无需进行昂贵的、有风险的、积极的探索。然而，常用的基于Q学习或actor-critic的离线算法在从静态数据集学习时表现不佳。在这项工作中，我们研究了为什么非策略RL方法无法从价值函数的角度在离线设置学习，我们提出了一种新的离线RL算法，我们称之为悲观离线策略优化（POPO），它学习一个悲观的价值函数，以获得一个强大的政策。我们发现POPO表现得非常好，并且可以扩展到具有高维状态和动作空间的任务，在基准任务上比较或优于几种最先进的离线RL算法。
2021-01-04 cs.AI cs.LG
Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Dharwad（印度理工学院达拉瓦德分校）
从已有数据中学习最优行为是强化学习（RL）的重要问题之一。这在RL中被称为“策略外控制”，其中代理的目标是基于从给定策略（称为行为策略）获得的数据计算最优策略。由于最优策略可能与行为策略非常不同，因此与将在学习中利用来自策略更新的新数据的“策略上”设置相比，在“策略外”设置中学习最优行为非常困难。本文提出了一种基于状态-动作分布修正的策略外自然行动者-批评者算法，该算法利用状态-动作分布修正来处理策略外行为，利用自然策略梯度来提高样本效率。现有的基于自然梯度的Actor-Critic算法需要固定的特征来逼近策略和价值函数。这通常会导致许多RL应用中的次优学习。另一方面，我们提出的算法利用兼容的功能，使之能够使用任意的神经网络近似的政策和价值函数，并保证收敛到一个局部最优的政策。我们说明了建议的政策外自然梯度算法的好处，通过比较它与香草梯度演员评论家算法对基准RL任务。
2022-06-15 cs.AI cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science（印度科学学院）
从不同策略（行为策略）获得的数据样本中学习给定策略（目标策略）的价值函数是强化学习（RL）中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分（TD）学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时，产生的目标政策（称为对政策的预测）。然而，在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中，我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式，以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算，进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
Simultaneous Perturbation Algorithms for Batch Off-Policy Search
University of Liège（列日大学）；INRIA Lille - Nord Europe（法国里尔-北欧信息与自动化研究所）
我们提出了新的政策搜索算法的背景下，关闭政策，批处理模式强化学习（RL）与连续的状态和动作空间。给定批量收集的轨迹，我们使用类似于[Fonteneau等人，2010年]。使用这种蒙特卡洛策略评估器，我们执行政策搜索一类参数化的政策。我们提出了一阶策略梯度和二阶策略牛顿算法。我们所有的算法都结合了同时扰动估计的梯度以及Hessian的成本去向量，因为后者是未知的，只有偏估计。我们在一个简单的一维连续状态空间问题上证明了它们的实用性。
2014-03-31 cs.LG math.OC
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
离线强化学习（RL）的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络，这可能会带来额外的推理成本，并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧，这可能与支持集的固有的基于密度的定义不匹配，从而无法有效地避免分布外的动作。本文提出了支持策略优化（SPOT），这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集，并提出了一个简单但有效的基于密度的正则化项，该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计，SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon（亚马逊）
学习面向目标的对话策略通常利用监督学习算法离线执行，或者利用强化学习（RL）在线执行。此外，随着公司积累了大量客户和训练有素的人类代理之间的对话记录，编码器-解码器方法已经流行起来，因为代理话语可以直接被视为监督，而不需要话语级注释。然而，这样的方法的一个潜在的缺点是，他们近视生成下一个代理话语，而不考虑对话级的考虑。为了解决这个问题，本文描述了一种离线RL方法，用于从未注释的语料库中学习，该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数，并使用上政策和关闭政策策略梯度离线学习策略，而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法，并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间，并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Improved Soft Actor-Critic: Mixing Prioritized Off-Policy Samples with On-Policy Experience
School of Engineering（工程学院）；School of Information and Physical Sciences, University of Newcastle（纽卡斯尔大学信息与物理科学学院）
Soft Actor-Critic（SAC）是一种非策略的Actor-Critic强化学习算法，本质上基于熵正则化。SAC通过最大化预期回报和熵（策略中的随机性）之间的权衡来训练策略。它在一系列连续控制基准任务上实现了最先进的性能，优于之前的策略和非策略方法。SAC以脱离策略的方式工作，其中数据从过去的经验（存储在缓冲区中）中均匀地采样，使用策略和价值函数网络的参数来更新。我们提出了一些关键的修改，以提高SAC的性能，使其更有效的样本。在我们提出的改进SAC中，我们首先引入了一个新的优先级方案，用于从经验重放缓冲区中选择更好的样本。其次，我们使用优先的非策略数据与最新的策略数据的混合来训练策略和价值函数网络。我们比较我们的方法与香草SAC和SAC的一些最近的变种，并表明我们的方法优于上述算法基准。在MuJoCo环境中对一些连续控制任务进行测试时，它相对更稳定，样本效率更高。
2021-09-24 cs.LG cs.SY eess.SY
Stable Policy Optimization via Off-Policy Divergence Regularization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
信任域策略优化（TRPO）和近端策略优化（PPO）是深度强化学习（RL）中最成功的策略梯度方法之一。虽然这些方法在广泛的挑战性任务中实现了最先进的性能，但在策略学习的稳定性和如何使用非策略数据方面仍有改进的空间。在本文中，我们重新审视这些算法的理论基础，并提出了一个新的算法，通过一个邻近项，约束连续政策的折扣状态-动作的访问分布，以接近彼此稳定的政策改善。这个接近项，表示在访问分布之间的分歧，是在一个关闭政策和对抗的方式学习。我们的经验表明，我们提出的方法可以有一个有益的影响，稳定性和提高最终性能的基准高维控制任务。
2020-06-19 cs.LG stat.ML
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
Mitigating Off-Policy Bias in Actor-Critic Methods with One-Step Q-learning: A Novel Correction Approach
Yale University（耶鲁大学）；Bilkent University（比尔肯特大学）
针对连续控制中 Actor-Critic 离策略学习的分布失配问题，提出基于策略相似度度量的单步 Q-learning 校正方法，实现安全离策略训练并以更少步数取得更高回报。
2023-09-25 cs.AI cs.LG
Dr Jekyll and Mr Hyde: the Strange Case of Off-Policy Policy Updates
Microsoft Research Montréal（微软研究院蒙特利尔分院）
策略梯度定理指出，策略应该只在当前策略访问的状态中更新，这导致在非策略状态中的规划不足，从而收敛到次优策略。我们通过将策略梯度理论扩展到任何状态密度的策略更新来解决这个规划问题。在这些广义策略更新下，我们在更新状态密度的充分必要条件下证明了收敛到最优，从而解决了上述规划问题。我们还证明了渐近收敛速度，显着改善那些在策略梯度文献。为了实现我们的理论所规定的原则，我们提出了一个代理人，杰基尔博士和海德先生（JH），具有双重人格：杰基尔博士纯粹利用，而海德先生纯粹探索。JH的独立策略允许记录两个单独的重放缓冲区：一个在策略（Jekyll博士的）和一个在策略（Hyde先生的），因此可以用在策略和在策略更新的混合来更新JH的模型。JH不仅仅是一种算法，它定义了行动者-批评者算法的原则，以满足我们在分析中确定的需求。我们广泛测试有限的MDPs，其中JH表现出优越的能力，从收敛到一个次优的政策，而不影响其收敛速度。我们还实现了一个深度版本的算法，并在一个简单的问题上测试它，它显示出有希望的结果。
2021-09-29 cs.AI cs.LG
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group（阿里巴巴集团）
本文提出CHORD框架，通过动态加权将监督微调与强化学习统一，解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题，实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
