Emphatic Algorithms for Deep Reinforcement Learning
DeepMind（深度思维）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
离策略学习允许我们从不同行为策略产生的经验中学习可能的行为策略。时间差分（TD）学习算法在与函数近似和偏离策略采样相结合时可能会变得不稳定-这被称为“致命三元组”。强调时间差（ETD（$λ$））算法通过适当地加权TD（$λ$）更新来确保线性情况下的收敛。在本文中，我们将学习方法的使用扩展到深度强化学习代理。我们表明，天真地将ETD（$λ$）适应流行的深度强化学习算法，该算法使用前向视图多步返回，导致性能不佳。然后，我们推导出新的迭代算法中使用的上下文中，这样的算法，我们证明，他们提供了显着的好处，在小问题，旨在突出TD方法的不稳定性。最后，我们在Arcade Learning Environment的经典Atari游戏上大规模应用这些算法时，观察到了性能的提高。
2021-06-21 cs.LG stat.ML
Weak Convergence Properties of Constrained Emphatic Temporal-difference Learning with Constant and Slowly Diminishing Stepsize
University of Alberta（阿尔伯塔大学）
我们考虑的时间差分（TD）算法，ETD（$λ$），学习的价值函数的固定政策在折扣，有限状态和行动马尔可夫决策过程。ETD（$λ$）算法最近由Sutton，Mahmood和White提出，用于解决标准TD算法在应用于非策略训练时长期存在的发散问题，其中来自探索性策略的数据用于评估其他感兴趣的策略。在我们最近的工作中，在一般的非策略训练条件下，证明了ETD（$λ$）的几乎必然收敛性，但步长减小的范围很窄。在本文中，我们提出了收敛结果的约束版本的ETD（$λ$）具有恒定的步长和减小步长从一个广泛的范围。我们的结果描述了这些算法产生的迭代轨迹的渐近行为，并通过结合ETD（$λ$）的关键性质和随机逼近理论中弱收敛方法的强收敛定理而导出。对于恒定步长的情况下，除了分析的行为的算法在极限的步长参数接近零，我们还分析了他们的行为为一个固定的步长和约束的偏差，他们的平均迭代从所需的解决方案。这些结果是利用与算法相关的马尔可夫链的弱Feller性质，并利用弱Feller马尔可夫链的遍历定理，结合弱收敛方法的收敛性结果得到的.除了ETD（$λ$），我们的分析也适用于非政策TD（$λ$）算法，当发散问题是避免设置足够大的$λ$。
2017-01-20 cs.LG
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}（ETD）算法\citep{SuttonMW15}，其中包括原来的ETD（$λ$），以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD，其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下，投影不动点方程的基础\ETD \涉及到一个收缩算子，使我们能够提出的第一个渐近误差界（偏差）\ETD。我们的结果表明，原来的ETD算法总是涉及到一个压缩算子，其偏见是有界的。此外，通过控制$β$，我们提出的推广允许权衡偏差方差减少，从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
Emphatic Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
强调算法是时间差学习算法，其通过选择性地强调和不强调其在不同时间步长上的更新来改变其有效状态分布。Sutton，Mahmood and White（2015）和Yu（2015）最近的研究表明，通过以特定的方式改变重点，这些算法在使用线性函数近似的非策略训练下变得稳定和收敛。本文作为一个统一的总结，从两个工程的可用结果。此外，我们证明了经验的好处，从灵活性的算法，包括状态相关的折扣，状态相关的自举，和用户指定的函数近似资源的分配。
2015-07-06 cs.AI cs.LG
Learning Expected Emphatic Traces for Deep RL
DeepMind（深度思维）；University of Oxford（牛津大学）；McGill University（麦吉尔大学）
非策略采样和经验回放是提高样本效率和扩展无模型时间差分学习方法的关键。当与函数逼近（如神经网络）结合时，这种组合被称为致命的三位一体，并且可能不稳定。最近，它已被证明，在规模上的稳定性和良好的性能，可以通过组合的几何权重和多步更新。然而，这种方法通常限于对完整轨迹进行采样，以便计算所需的轨迹加权。在本文中，我们研究如何结合非顺序，离线数据从重放缓冲区采样的随机加权。我们开发了一个多步的可与重放相结合的学习加权，以及一个时间反演的$n$步TD学习算法来学习所需的学习加权。我们表明，这些状态权重减少方差与以前的方法相比，同时提供收敛保证。我们在Atari 2600视频游戏上大规模测试了该方法，并观察到新的X-ETD（$n$）代理比基线代理有所改进，突出了我们方法的可扩展性和广泛适用性。
2021-07-12 cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
PER-ETD: A Polynomially Efficient Emphatic Temporal Difference Learning Method
Ohio State University（俄亥俄州立大学）
强调时间差异（ETD）学习（Sutton等人，2016）是一种成功的方法进行离政策价值函数评估与函数逼近。虽然ETD已被证明是渐近收敛到一个理想的价值函数，这是众所周知的，ETD经常遇到一个大的方差，使其样本的复杂性可以增加指数快速迭代的次数。在这项工作中，我们提出了一种新的ETD方法，称为PER-ETD（即，PEriodically Restarted-ETD），它仅在评估参数的每次迭代的有限时间段内重新启动和更新后续跟踪。此外，PER-ETD的特点是重新启动周期随迭代次数的几何增加的设计，这保证了方差和偏差之间的最佳权衡，并保持两者的次线性消失。我们证明了PER-ETD收敛到与ETD相同的理想不动点，但将ETD的指数样本复杂度提高到多项式。实验验证了PER-ETD的优越性能及其相对于ETD的优势。
2022-07-14 cs.LG stat.ML
An Empirical Comparison of Off-policy Prediction Learning Algorithms on the Collision Task
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
偏离策略预测（Off-policy prediction）--从遵循另一个策略时生成的数据中学习一个策略的价值函数--是强化学习中最具挑战性的子问题之一。本文展示了11种使用线性函数近似的突出的离策略学习算法的实证结果：5种服从TD方法、2种强调TD方法、非策略TD（$λ$）、Vtrace以及修改后适用于预测设置的Tree Backup和ABQ版本。我们的实验使用了碰撞任务，这是一个小型的理想化的政策外问题，类似于自动驾驶汽车试图预测它是否会与障碍物相撞。我们根据算法的学习率、渐近误差水平以及对步长和自举参数的敏感性来评估算法的性能。通过这些措施，11个算法可以在碰撞任务中部分排序。在顶层，两个强调TD算法学习最快，达到最低的错误，并且对参数设置具有鲁棒性。在中间层，五个顺从TD算法和非策略TD（$λ$）对引导参数更敏感。底层包括Vtrace、Tree Backup和ABQ;这些算法并不比其他算法更快，并且具有更高的渐近误差。我们的结果是明确的这项任务，当然，更多的任务实验之前，可以作出全面评估的算法的优点。
2021-06-11 cs.AI cs.LG
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
O$^2$TD: (Near)-Optimal Off-Policy TD Learning
Auburn University（奥本大学）；University of Buffalo（布法罗大学）
时间差分学习和残差梯度方法是最广泛使用的基于时间差分的学习算法;然而，已经表明，它们的目标函数都不是最佳的，不能近似真价值函数$V$。提出了两种逼近真价值函数$V$的新算法。本文的主要贡献如下：（1）提出了一种批处理算法，可以帮助找到真价值函数$V$的近似最优离策略预测。(2)一种线性计算成本（每步）接近最优的算法，可以从一组非策略样本中学习。(3)一个新的视角的时间差分学习，它弥合了政策外最优性和政策外稳定性之间的差距。
2017-04-19 cs.LG stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
An Empirical Comparison of Off-policy Prediction Learning Algorithms in the Four Rooms Environment
University of Alberta（阿尔伯塔大学）；DeepMind
在过去的十年中，已经提出了许多离线预测学习算法，但仍然不清楚哪些算法比其他算法学习得更快。我们在两个小任务上实证比较了11个离线预测学习算法与线性函数逼近：房间任务和高方差房间任务。这些任务的设计使得快速学习具有挑战性。在“房间”任务中，重要性采样比率的乘积可以与$2^{14}$一样大，有时可能为2。为了控制由重要性采样比率的乘积引起的高方差，步长应该设置得小，这反过来减慢了学习。“高方差房间”任务更为极端，因为比率的乘积可能与$2^{14}\times 25$一样大。本文基于Ghiassian和Sutton（2021）对政策外预测学习算法的实证研究。我们考虑与他们相同的一组算法，并采用相同的实验方法。所考虑的算法是：非策略TD（$λ$）、五种强制TD算法、两种强调TD算法、树备份（$λ$）、Vtrace（$λ$）和ABTD（$ζ$）。我们发现，算法的性能受到由重要性采样比率引起的方差的高度影响。数据显示，树备份（$λ$）、Vtrace（$λ$）和ABTD（$ζ$）不像其他算法那样受高方差的影响，但是它们以对于不存在高方差的任务而言过于限制的方式限制有效引导参数。我们观察到强调TD（$λ$）往往比其他算法具有更低的渐进误差，但在某些情况下可能学习得更慢。我们建议从业者的算法，根据他们感兴趣的问题，并建议的方法，可以应用于特定的算法，可能会导致大幅改善算法。
2021-09-10 cs.AI cs.LG
Stable and Efficient Policy Evaluation
Auburn University（奥本大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LIEC（利耶克环境与化学跨学科实验室）；Google Brain（谷歌大脑）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Northwestern Polytechnical University（西北工业大学）
策略评估算法对于强化学习是必不可少的，因为它们能够预测策略的性能。然而，有两个长期存在的问题在于这个预测问题，需要解决：政策外的稳定性和政策上的效率。传统的时间差（TD）算法是众所周知的，执行非常好的政策设置，但不是关闭政策稳定。另一方面，梯度TD和梯度TD算法是非策略稳定的，但不是策略有效的。本文介绍了新的算法，都是关闭政策稳定和政策有效的使用斜投影方法。不同领域的实验结果验证了该方法的有效性。
2021-12-28 cs.LG stat.ML
Should All Temporal Difference Learning Use Emphasis?
Shanghai Jiao Tong University（上海交通大学）；University of Alberta（阿尔伯塔大学）
强调时间差（ETD）学习最近被提出作为一种收敛的离策略学习方法。ETD的提出主要是为了解决传统的时间差（TD）学习的离线训练下的收敛问题，但它是不同于传统的TD学习，即使在对政策的培训。2017年提供的一个简单的反例指出了一类潜在的问题，其中ETD收敛，但TD发散。在本文中，我们实证表明，ETD收敛于其他一些著名的政策实验，而TD要么发散或表现不佳。我们还表明，ETD优于TD的山地车预测问题。我们的研究结果，以及在以前的作品中观察到的类似模式下的政策培训，表明ETD可能是一个很好的替代传统的TD。
2019-03-01 cs.AI cs.LG
Consistent On-Line Off-Policy Evaluation
The Technion（以色列理工学院）
在线离线政策评估（OPE）的问题已被积极研究在过去的十年中，由于其重要性，无论是作为一个独立的问题，并作为一个模块，在政策改进计划。然而，大多数基于时间差分（TD）的解决方案忽略了行为和目标策略的静态分布之间的差异及其对函数逼近时收敛极限的影响。在本文中，我们提出了一致的非策略时间差（COP-TD（$λ$，$β$））算法，解决了这个问题，并减少了这种偏见，在一些计算费用。我们表明，COP-TD（$λ$，$β$）可以被设计为收敛到相同的值，将通过使用对政策TD（$λ$）与目标政策。随后，所提出的计划导致一个相关的和有前途的启发式，我们称之为log-COP-TD（$λ$，$β$）。这两种算法都有良好的经验结果，目前最先进的在线OPE算法。最后，我们的公式为最近提出的强调TD学习提供了一些新的启发。
2017-02-23 cs.LG stat.ML
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University（吉林大学）；University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）；Ministry of Education, China（中国教育部）；Alberta Machine Intelligence Institute, University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所）
流行的近端策略优化（PPO）算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策？通过使用一个新的代理目标，采用sigmoid函数（这提供了一种有趣的探索方式），我们发现答案是“是”，更好的策略实际上位于离裁剪空间很远的地方。我们表明，PPO是不够的“关闭policyness”，根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索，并且在训练期间比PPO更好地最大化保守策略迭代（CPI）目标。据我们所知，目前所有的PPO方法都有裁剪操作，并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个，它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
High-Confidence Off-Policy (or Counterfactual) Variance Estimation
University of Massachusetts（马萨诸塞大学）
许多顺序决策系统利用使用先前策略收集的数据来提出新策略。对于关键应用程序，在部署之前提供对新策略行为的高置信度保证非常重要，以确保策略将按预期运行。先前的工作已经研究了预期收益的高置信度离保单估计，然而，收益方差的高置信度离保单估计对于高风险应用同样重要。在本文中，我们解决了以前公开的问题，估计和边界，具有高置信度，从政策外数据的回报方差
2021-01-25 cs.LG
Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees
National Yang Ming Chiao Tung University（阳明交通大学）；Meta AI
我们从坐标上升的角度重新审视了RL中的非策略优化域。一种常用的方法是利用偏离策略的策略梯度来优化代理目标--目标策略的预期回报相对于行为策略的状态分布的总折扣。然而，这种方法已被证明遭受分布失配问题，因此需要通过状态分布校正或反事实方法来校正这种失配。在本文中，我们重新思考离策略学习通过协调上升策略优化（CAPO），脱离策略的演员-评论家算法，从行为策略的状态分布，而不使用策略梯度的策略改进。这种设计消除了在非策略策略梯度的策略改进步骤中对分布校正或重要性采样的需要。我们建立了全局收敛的一般坐标选择的CAPO，然后进一步量化的几个实例的CAPO流行的坐标选择规则，包括循环和随机变量的CAPO的收敛速度。然后，我们将CAPO扩展到神经政策，以实现更实际的实施。通过实验，我们证明了CAPO在实践中为RL提供了一种有竞争力的方法。
2022-12-10 cs.LG
RePO: Bridging On-Policy Learning and Off-Policy Knowledge through Rephrasing Policy Optimization
State Key Laboratory of CAD\&CG, the College of Computer Science；Technology, Zhejiang University.；FiT, Tencent, Shenzhen, China.；School of Software Technology, Zhejiang University
RePO通过重新表述策略优化，有效结合基于策略学习和基于策略知识，提升困难样本利用和模型性能。
2026-02-11 cs.LG
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；DeepMind；UC Berkeley（加州大学伯克利分校）；Uber AI Labs（优步人工智能实验室）
无模型深度强化学习（RL）方法在各种模拟领域都取得了成功。然而，深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习，但代价是高方差，这通常需要大批量。TD风格的方法，如非策略行动者-批评者和Q学习，样本效率更高，但存在偏差，并且通常需要昂贵的超参数扫描来稳定。在这项工作中，我们的目标是开发的方法，结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop，一个策略梯度方法，使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的，并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系，并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明，保守的Q-Prop在样本效率方面比具有广义优势估计（GAE）的信赖域策略优化（TRPO）有很大的提高，并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度（DDPG）的稳定性，DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对离线强化学习中的分布偏移问题，提出了一种新型 actor-critic 算法 POP-QL，通过同时重加权离策略样本和约束策略来防止发散并降低误差，在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
Cross-Validated Off-Policy Evaluation
Brno University of Technology（布尔诺理工大学）；Kempelen Institute of Intelligent Technologies（凯姆佩伦智能技术研究所）；Adobe Research（奥多比研究院）；AWS AI Labs（亚马逊云服务人工智能实验室）
研究离线策略评估中的估计器选择与超参数调优问题，提出将交叉验证应用于离线策略评估的方法，打破了该领域交叉验证不可行的传统观点，并通过实验验证其有效性。
2024-12-20 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley（加州大学伯克利分校）；Yonsei University（延世大学）
SEMDICE通过平稳分布校正估计，从非策略数据集中学习状态熵最大化策略，实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
On a convergent off -policy temporal difference learning algorithm in on-line learning environment
在本文中，我们在“在线”学习环境中对具有线性函数逼近和每时间步线性计算复杂性的“非策略”时间差学习算法进行了严格的收敛性分析。这里考虑的算法是TDC与Maei等人介绍的重要性加权。我们支持我们的理论结果，提供合适的经验结果标准的政策外的反例。
2016-05-19 cs.LG
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind（谷歌DeepMind）
本文提出离策略分布Q(λ)算法，无需重要性采样即可进行离策略分布评估，并通过表格实验验证理论，结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
LLMs Can Learn to Reason Via Off-Policy RL
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
本文提出OAPL算法，通过接受非策略性解决LLM强化学习中的策略滞后问题，在竞赛数学和编码任务中表现优异，训练效率更高。
2026-02-27 cs.LG
Asymptotically Unbiased Off-Policy Policy Evaluation when Reusing Old Data in Nonstationary Environments
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在这项工作中，我们考虑了非政策的政策评估问题的上下文土匪和有限时域强化学习在非平稳设置。重复使用旧数据是政策评估的关键，但现有的估计器，重复使用旧数据引入大的偏差，我们不能得到一个有效的置信区间。从一个相关领域称为调查抽样的启发，我们介绍了一个变种的双稳健（DR）估计，称为回归辅助DR估计，可以将过去的数据，而不会引入一个大的偏差。该估计器统一了现有的几种政策外政策评估方法，并通过使用辅助信息和回归方法对其进行了改进。我们证明了新的估计量是渐近无偏的，并提供了一个相容的方差估计量来构造大样本置信区间。最后，我们的经验表明，新的估计提高了估计的当前和未来的政策价值，并提供了一个紧密和有效的区间估计在几个非平稳的推荐环境。
2023-02-23 cs.LG
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
Sample-Efficient Policy Constraint Offline Deep Reinforcement Learning based on Sample Filtering
Guangdong Key Laboratory of Intelligent Morphing Mechanisms（广东智能变形机制与自适应机器人重点实验室）；the Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳研究院）；Faculty of Robot Science and Engineering（机器人科学与工程学院）；Northeastern University（东北大学）；School of Systems Engineering（系统工程学院）；City University of Hong Kong（香港城市大学）
本文提出一种基于样本过滤的策略约束离线深度强化学习方法，通过筛选高分转移样本提升样本效率和性能。
2025-12-23 cs.LG
Supervised Off-Policy Ranking
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
策略外评估（OPE）是利用其他策略生成的数据对目标策略进行评估。大多数以前的OPE方法专注于精确估计政策的真实表现。我们观察到，在许多应用中，（1）OPE的最终目标是比较两个或多个候选策略并选择一个好的策略，这比精确评估它们的真实性能要简单得多;（2）通常有多个策略已经部署在现实世界的系统中为用户提供服务，因此可以知道这些策略的真实性能。受这两个观察的启发，在这项工作中，我们研究了一个新的问题，监督的政策外排名（SOPR），其目的是排名一组目标政策的基础上监督学习，利用政策外的数据和政策与已知的性能。我们提出了一种解决SOPR的方法，该方法通过最小化训练策略的排名损失来学习策略评分模型，而不是估计精确的策略性能。我们的方法中的评分模型是一个基于分层Transformer的模型，它将一组状态-动作对映射到一个分数，其中每对的状态来自离线策略数据，并且目标策略以离线方式对状态采取动作。在公开数据集上的大量实验表明，该方法在秩相关性、后悔值和稳定性方面优于基线方法。我们的代码在GitHub上公开。
2022-06-20 cs.LG
Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
针对推理后训练中离线演示与策略 rollout 目标分离的问题，提出 CBPO 方法统一多数据源，在数学推理基准上实现领先性能，Qwen3-1.7B 版本较 SFT DAPO 有显著提升。
2026-11-03 cs.LG
Recurrent Off-Policy Deep Reinforcement Learning Doesn't Have to be Slow
University Of Southampton, School Of Electronics and Computer Science（索姆塞特大学电子与计算机科学学院）
RISE通过简化编码实现递归网络在非策略强化学习中的高效应用，提升了Atari基准性能35.6%。
2025-12-23 cs.LG
Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think
Criteo AI Lab（Criteo人工智能实验室）
本文通过隐式悲观主义解释离策略强化学习目标的有效性，并提出稳定诱导分布的改进方法。
2026-05-27 cs.LG
Skill or Luck? Return Decomposition via Advantage Functions
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文利用优势函数作为动作对回报的因果效应，将轨迹回报分解为技能与运气，并提出离策略DAE，在无需重要性采样或动作截断的情况下实现高效离策略学习。
2024-02-20 cs.LG
Off-Policy Evaluation with Policy-Dependent Optimization Response
University of California, Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
因果推理和机器学习决策的交叉点正在迅速扩大，但默认的决策标准仍然是整个人群中个体因果结果的\textit{average}。在实践中，各种操作限制确保决策者的效用不是作为\textit{average}实现的，而是作为下游决策问题（例如匹配、分配、网络流、最小化预测风险）的\textit{output}实现的。在这项工作中，我们开发了一个新的框架外政策评估与\textit{policy-dependent}线性优化响应：因果结果引入随机性的目标函数系数。在此框架下，决策者的效用取决于政策相关的优化，这引入了一个根本的挑战，即使是政策评估的情况下，\textit{optimization}偏见。我们构造了无偏估计的政策依赖估计的扰动方法，并讨论了一组调整插件估计的渐近方差性质。最后，实现无偏的政策评估允许政策优化：我们提供了一个通用的算法优化因果干预。我们证实了我们的理论结果与数值模拟。
2022-11-06 cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Case-based off-policy policy evaluation using prototype learning
Chalmers University of Technology（查尔姆斯理工大学）
重要性采样（IS）通常用于执行策略外策略评估，但容易出现几个问题，特别是当行为策略未知并且必须从数据中估计时。目标策略和行为策略之间的显著差异可能导致不确定的价值估计，例如，由于高方差和未评估的动作。如果使用黑盒模型来估计行为策略，则可能难以诊断潜在问题并确定策略在其建议的操作和结果值中针对哪些输入不同。为了解决这个问题，我们建议使用原型学习来估计IS的行为策略。我们将这种方法应用于脓毒症治疗政策的评估，展示了原型如何给出目标和行为政策之间差异的简明摘要，同时保留与基线估计值相当的准确性。我们还根据原型描述了估计值，以更好地理解目标策略的哪些部分对估计值影响最大。使用一个模拟器，我们研究的偏见所造成的限制模型使用原型。
2021-11-22 cs.LG
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta（阿尔伯塔大学）
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中，代理学习与正在执行的策略不同的策略。为了说明差异，通常使用重要性采样比率，但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差，其中每决策重要性采样是最流行的。然而，在文献中的更新规则，大多数政策外的算法离开每决策重要性采样在一个微妙的方式，他们纠正整个TD的错误，而不仅仅是TD的目标。在这项工作中，我们展示了如何将这种轻微的变化解释为TD目标的控制变量，减少方差并提高性能。在广泛的算法上的实验表明，这种微妙的修改会提高性能。
2022-06-16 cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services（亚马逊云科技）
基于策略的强化学习（RL）算法具有高样本复杂度，而非策略算法难以调整。将两者结合起来，有望开发出在不同环境中通用的高效算法。然而，在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O，交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离，并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明，这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University（麦吉尔大学）
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法，如GTD和TDC/GQ，即使在使用函数近似和增量更新时也会收敛。然而，它们是针对固定行为策略的情况而开发的。在控制问题中，人们希望随着时间的推移调整行为策略，使其相对于现有的价值函数变得更加贪婪。在本文中，我们提出了第一个基于梯度的学习算法，该算法依赖于策略梯度的框架，以修改行为策略。我们提出的算法，收敛定理，推导和经验证据表明，他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology（代尔夫特理工大学）
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap，首次从理论分析给出缩小该差距的条件，并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；East China Normal University（华东师范大学）；University of Science and Technology of China（中国科学技术大学）；Shandong University（山东大学）；Georgia Institute of Technology（佐治亚理工学院）
当轨迹数据由多个行为策略生成时，我们考虑了非策略策略评估。最近的工作表明，在无限水平的背景下，状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略（EMP），一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析，我们发现，EMP产生的估计减少方差估计的状态平稳分布校正，同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中，我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Offline RL Without Off-Policy Evaluation
New York University（纽约大学）
离线强化学习（RL）的大多数现有方法都采用了一种涉及离线评估的迭代演员-评论家方法。在本文中，我们表明，简单地做一个步骤的约束/正则化的政策改进使用的政策Q估计的行为政策执行得出奇的好。这种一步算法在D4 RL基准测试的大部分上击败了以前报道的迭代算法的结果。一步基线实现了这种强大的性能，同时比以前提出的迭代算法更简单，对超参数更鲁棒。我们认为，迭代方法的相对较差的性能是在做关闭政策评估固有的高方差的结果，并放大了对这些估计的政策的反复优化。此外，我们假设一步算法的强大性能是由于环境和行为政策的有利结构的组合。
2021-12-03 cs.LG stat.ML
Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters
Cambridge University（剑桥大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Imperial College London（帝国理工学院）
在这项工作中，我们考虑的问题，估计的行为政策用于政策外的政策评估（OPE）时，真正的行为政策是未知的。通过一系列的实证研究，我们证明了如何准确的OPE是强烈依赖于校准估计的行为政策模型：如何准确地从数据中估计的行为政策。我们展示了如何强大的参数模型，如神经网络可以导致高度未校准的行为政策模型在现实世界的医疗数据集，并说明如何一个简单的，非参数，k-近邻模型产生更好的校准行为政策估计，并可用于获得优越的重要性采样为基础的OPE估计。
2018-07-10 cs.LG stat.ML
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University（清华大学）；University of Hamburg（汉堡大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对离策略RL未充分利用replay buffer信息的问题，提出无模型在线RL框架OBAC，通过价值比较识别更优离线策略作为自适应约束来增强在线学习，在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
