Counterfactual Off-Policy Training for Neural Response Generation
Harbin Institute of Technology（哈尔滨工业大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
开放域对话生成由于潜在响应的巨大规模而遭受数据不足的问题。在本文中，我们建议通过反事实推理来探索潜在的反应。给定观察到的响应，反事实推理模型自动推断可能已经采取的替代策略的结果。事后合成的反事实反应比从头开始合成的反应质量更高。对抗性学习框架下的反事实反应训练有助于探索潜在反应空间的高回报区域。对DailyDialog数据集的实证研究表明，我们的方法显著优于HRED模型和传统的对抗性学习方法。
2020-10-09 cs.AI cs.CL cs.LG
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；DeepMind；UC Berkeley（加州大学伯克利分校）；Uber AI Labs（优步人工智能实验室）
无模型深度强化学习（RL）方法在各种模拟领域都取得了成功。然而，深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习，但代价是高方差，这通常需要大批量。TD风格的方法，如非策略行动者-批评者和Q学习，样本效率更高，但存在偏差，并且通常需要昂贵的超参数扫描来稳定。在这项工作中，我们的目标是开发的方法，结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop，一个策略梯度方法，使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的，并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系，并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明，保守的Q-Prop在样本效率方面比具有广义优势估计（GAE）的信赖域策略优化（TRPO）有很大的提高，并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度（DDPG）的稳定性，DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对离线强化学习中的分布偏移问题，提出了一种新型 actor-critic 算法 POP-QL，通过同时重加权离策略样本和约束策略来防止发散并降低误差，在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
Cross-Validated Off-Policy Evaluation
Brno University of Technology（布尔诺理工大学）；Kempelen Institute of Intelligent Technologies（凯姆佩伦智能技术研究所）；Adobe Research（奥多比研究院）；AWS AI Labs（亚马逊云服务人工智能实验室）
研究离线策略评估中的估计器选择与超参数调优问题，提出将交叉验证应用于离线策略评估的方法，打破了该领域交叉验证不可行的传统观点，并通过实验验证其有效性。
2024-12-20 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley（加州大学伯克利分校）；Yonsei University（延世大学）
SEMDICE通过平稳分布校正估计，从非策略数据集中学习状态熵最大化策略，实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线策略强化学习（RLVR），提出Proximal KL方法，通过分离近端参考与采样策略、用有界未来KL信用替代PPO裁剪，在数学基准上较GRPO有更高准确率，且训练更稳定高效。
2026-10-14 cs.LG
Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex
Department of Automation, Tsinghua University（清华大学自动化系）；LLM Department, Tencent（腾讯LLM部门）
本文提出列表式策略优化（LPO），通过显式执行目标投影来解构隐式目标，利用响应单纯形限制近端RL目标，并通过精确散度最小化进行策略投影，从而在多样推理任务和LLM基础上提升训练性能，同时保持优化稳定性和响应多样性。
2026-05-20 cs.AI cs.LG
ASymPO: Asymmetric-Scale Policy Optimization for Asynchronous LLM Post-Training Without Behavior Information
Huawei Technologies（华为技术）
针对异步强化学习中陈旧响应导致的分布漂移问题，提出非对称尺度策略优化（ASymPO），通过归一化每个响应的令牌损失来恢复零和平衡，无需行为策略概率。
2026-06-24 cs.AI cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta（阿尔伯塔大学）
本文提出带强调权重的演员-评论家算法ACE，通过统一离策略目标并推导策略梯度定理，解决了OffPAC和DPG等半梯度方法收敛到错误解的问题，并在多个环境中验证了其优越性。
2023-04-13 cs.LG
On a convergent off -policy temporal difference learning algorithm in on-line learning environment
在本文中，我们在“在线”学习环境中对具有线性函数逼近和每时间步线性计算复杂性的“非策略”时间差学习算法进行了严格的收敛性分析。这里考虑的算法是TDC与Maei等人介绍的重要性加权。我们支持我们的理论结果，提供合适的经验结果标准的政策外的反例。
2016-05-19 cs.LG
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind（谷歌DeepMind）
本文提出离策略分布Q(λ)算法，无需重要性采样即可进行离策略分布评估，并通过表格实验验证理论，结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
LLMs Can Learn to Reason Via Off-Policy RL
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
本文提出OAPL算法，通过接受非策略性解决LLM强化学习中的策略滞后问题，在竞赛数学和编码任务中表现优异，训练效率更高。
2026-02-27 cs.LG
Asymptotically Unbiased Off-Policy Policy Evaluation when Reusing Old Data in Nonstationary Environments
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在这项工作中，我们考虑了非政策的政策评估问题的上下文土匪和有限时域强化学习在非平稳设置。重复使用旧数据是政策评估的关键，但现有的估计器，重复使用旧数据引入大的偏差，我们不能得到一个有效的置信区间。从一个相关领域称为调查抽样的启发，我们介绍了一个变种的双稳健（DR）估计，称为回归辅助DR估计，可以将过去的数据，而不会引入一个大的偏差。该估计器统一了现有的几种政策外政策评估方法，并通过使用辅助信息和回归方法对其进行了改进。我们证明了新的估计量是渐近无偏的，并提供了一个相容的方差估计量来构造大样本置信区间。最后，我们的经验表明，新的估计提高了估计的当前和未来的政策价值，并提供了一个紧密和有效的区间估计在几个非平稳的推荐环境。
2023-02-23 cs.LG
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles（加州大学洛杉矶分校）
针对离线策略学习中裁剪导致的梯度饥饿问题，提出ReSPO方法，用平滑双分支核替代裁剪，在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
Fusion-PSRO: Nash Policy Fusion for Policy Space Response Oracles
Huazhong University of Science \& Technology, Wuhan, China；School of Software；Microelectronics, Peking University, Beijing, China；Institute for Artificial Intelligence, Peking University, Beijing, China；Shanghai Jiao Tong University, Shanghai, China；Guangdong HUST Industrial Technology Research Institute
Fusion-PSRO通过纳什策略融合改进策略初始化，提升零和博弈中策略空间响应预言机的性能。
2026-01-05 cs.AI cs.GT cs.LG
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线强化学习中行为策略过时导致的问题，提出GGPO算法，通过最小化KL调整奖励的对数均值指数对比实现优化，在基准测试和数学推理任务中性能优于GRPO、AGRO。
2026-10-16 cs.CL cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services（亚马逊云科技）
基于策略的强化学习（RL）算法具有高样本复杂度，而非策略算法难以调整。将两者结合起来，有望开发出在不同环境中通用的高效算法。然而，在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O，交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离，并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明，这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta（阿尔伯塔大学）
策略梯度方法被广泛用于强化学习中的控制，特别是用于连续动作设置。由于策略梯度定理的存在，提供了一个简化的形式的梯度，已经有大量的理论上合理的算法提出的策略设置。然而，在离策略学习中，行为策略不一定试图学习和遵循给定任务的最优策略，这样的定理的存在是难以捉摸的。在这项工作中，我们解决了这个开放的问题，提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重（ACE）$\unicode{x2014}$，近似的简化梯度提供的定理。我们证明了在一个简单的反例，以前的政策外的策略梯度方法$\unicode{x2014}$，特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案，而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University（麦吉尔大学）
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法，如GTD和TDC/GQ，即使在使用函数近似和增量更新时也会收敛。然而，它们是针对固定行为策略的情况而开发的。在控制问题中，人们希望随着时间的推移调整行为策略，使其相对于现有的价值函数变得更加贪婪。在本文中，我们提出了第一个基于梯度的学习算法，该算法依赖于策略梯度的框架，以修改行为策略。我们提出的算法，收敛定理，推导和经验证据表明，他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target
SK Telecom（SK电信）；KAIST（韩国科学技术院）
本文提出了一种名为Anchored Bandit Policy Optimization (ABPO)的框架，用于持续改进基于生成式大语言模型的推荐系统，通过结合组内相对策略优化（GRPO）和显式处理曝光偏差和反馈模糊性，以减少因部署日志提供的策略形状上下文老虎机反馈导致的偏差，并提高推荐准确性。
2026-05-17 cs.AI cs.LG
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology（代尔夫特理工大学）
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap，首次从理论分析给出缩小该差距的条件，并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；East China Normal University（华东师范大学）；University of Science and Technology of China（中国科学技术大学）；Shandong University（山东大学）；Georgia Institute of Technology（佐治亚理工学院）
当轨迹数据由多个行为策略生成时，我们考虑了非策略策略评估。最近的工作表明，在无限水平的背景下，状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略（EMP），一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析，我们发现，EMP产生的估计减少方差估计的状态平稳分布校正，同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中，我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Sample-Efficient Policy Space Response Oracles with Joint Experience Best Response
Utrecht University（乌得勒支大学）；Delft University of Technology（代尔夫特理工大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出联合经验最佳响应方法，通过离线强化学习提升 PSRO 的样本效率和实用性，实现高效多智能体策略学习。
2026-02-06 cs.AI cs.LG cs.MA
Towards Optimal Pricing of Demand Response -- A Nonparametric Constrained Policy Optimization Approach
University of Washington（华盛顿大学）
针对需求响应中定价策略难以保证稳定性和最优性的问题，提出一种非参数约束策略优化方法，通过推导闭式最优策略更新和actor-critic算法，在确保稳定性的同时提升了性能。
2023-06-24 cs.AI cs.LG cs.SY
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Offline RL Without Off-Policy Evaluation
New York University（纽约大学）
离线强化学习（RL）的大多数现有方法都采用了一种涉及离线评估的迭代演员-评论家方法。在本文中，我们表明，简单地做一个步骤的约束/正则化的政策改进使用的政策Q估计的行为政策执行得出奇的好。这种一步算法在D4 RL基准测试的大部分上击败了以前报道的迭代算法的结果。一步基线实现了这种强大的性能，同时比以前提出的迭代算法更简单，对超参数更鲁棒。我们认为，迭代方法的相对较差的性能是在做关闭政策评估固有的高方差的结果，并放大了对这些估计的政策的反复优化。此外，我们假设一步算法的强大性能是由于环境和行为政策的有利结构的组合。
2021-12-03 cs.LG stat.ML
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning
UNC Chapel Hill（UNC夏洛特山分校）
提出OGLS-SD框架，通过结果奖励校准教师对数几率，解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题，提升数学推理性能。
2026-05-29 cs.AI cs.LG
Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters
Cambridge University（剑桥大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Imperial College London（帝国理工学院）
在这项工作中，我们考虑的问题，估计的行为政策用于政策外的政策评估（OPE）时，真正的行为政策是未知的。通过一系列的实证研究，我们证明了如何准确的OPE是强烈依赖于校准估计的行为政策模型：如何准确地从数据中估计的行为政策。我们展示了如何强大的参数模型，如神经网络可以导致高度未校准的行为政策模型在现实世界的医疗数据集，并说明如何一个简单的，非参数，k-近邻模型产生更好的校准行为政策估计，并可用于获得优越的重要性采样为基础的OPE估计。
2018-07-10 cs.LG stat.ML
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University（清华大学）；University of Hamburg（汉堡大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对离策略RL未充分利用replay buffer信息的问题，提出无模型在线RL框架OBAC，通过价值比较识别更优离线策略作为自适应约束来增强在线学习，在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
POPO: Pessimistic Offline Policy Optimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
离线强化学习（RL），也被称为批处理RL，旨在优化来自大型预记录数据集的策略，而无需与环境交互。这种设置提供了利用不同的、预先收集的数据集来获得策略的承诺，而无需进行昂贵的、有风险的、积极的探索。然而，常用的基于Q学习或actor-critic的离线算法在从静态数据集学习时表现不佳。在这项工作中，我们研究了为什么非策略RL方法无法从价值函数的角度在离线设置学习，我们提出了一种新的离线RL算法，我们称之为悲观离线策略优化（POPO），它学习一个悲观的价值函数，以获得一个强大的政策。我们发现POPO表现得非常好，并且可以扩展到具有高维状态和动作空间的任务，在基准任务上比较或优于几种最先进的离线RL算法。
2021-01-04 cs.AI cs.LG
Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Dharwad（印度理工学院达拉瓦德分校）
从已有数据中学习最优行为是强化学习（RL）的重要问题之一。这在RL中被称为“策略外控制”，其中代理的目标是基于从给定策略（称为行为策略）获得的数据计算最优策略。由于最优策略可能与行为策略非常不同，因此与将在学习中利用来自策略更新的新数据的“策略上”设置相比，在“策略外”设置中学习最优行为非常困难。本文提出了一种基于状态-动作分布修正的策略外自然行动者-批评者算法，该算法利用状态-动作分布修正来处理策略外行为，利用自然策略梯度来提高样本效率。现有的基于自然梯度的Actor-Critic算法需要固定的特征来逼近策略和价值函数。这通常会导致许多RL应用中的次优学习。另一方面，我们提出的算法利用兼容的功能，使之能够使用任意的神经网络近似的政策和价值函数，并保证收敛到一个局部最优的政策。我们说明了建议的政策外自然梯度算法的好处，通过比较它与香草梯度演员评论家算法对基准RL任务。
2022-06-15 cs.AI cs.LG
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science（印度科学学院）
从不同策略（行为策略）获得的数据样本中学习给定策略（目标策略）的价值函数是强化学习（RL）中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分（TD）学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时，产生的目标政策（称为对政策的预测）。然而，在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中，我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式，以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算，进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Simultaneous Perturbation Algorithms for Batch Off-Policy Search
University of Liège（列日大学）；INRIA Lille - Nord Europe（法国里尔-北欧信息与自动化研究所）
我们提出了新的政策搜索算法的背景下，关闭政策，批处理模式强化学习（RL）与连续的状态和动作空间。给定批量收集的轨迹，我们使用类似于[Fonteneau等人，2010年]。使用这种蒙特卡洛策略评估器，我们执行政策搜索一类参数化的政策。我们提出了一阶策略梯度和二阶策略牛顿算法。我们所有的算法都结合了同时扰动估计的梯度以及Hessian的成本去向量，因为后者是未知的，只有偏估计。我们在一个简单的一维连续状态空间问题上证明了它们的实用性。
2014-03-31 cs.LG math.OC
On the Convergence Rate of Off-Policy Policy Optimization Methods with Density-Ratio Correction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了在函数近似下带状态-动作密度比修正的离线策略改进算法的收敛性，其中目标函数被表示为一个极大-极大-极小优化问题.我们的特点的偏差的学习目标，并提出了两个战略的有限时间收敛保证。在第一种策略中，我们提出了具有收敛速度$O(ε^{-3})$的P-SREDA算法，它对$ε$的依赖性是最优的。在我们的第二个策略中，我们提出了一个新的off-policy actor-critic风格的算法O-SPIM。我们证明了O-SPIM收敛到一个稳定点的总复杂度为$O(ε^{-4})$，这与最近的一些演员评论家算法在政策设置的收敛速度相匹配。
2022-02-13 cs.AI cs.LG
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
离线强化学习（RL）的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络，这可能会带来额外的推理成本，并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧，这可能与支持集的固有的基于密度的定义不匹配，从而无法有效地避免分布外的动作。本文提出了支持策略优化（SPOT），这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集，并提出了一个简单但有效的基于密度的正则化项，该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计，SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
Balancing Immediate Revenue and Future Off-Policy Evaluation in Coupon Allocation
Recruit. Co., Ltd.（瑞克鲁特公司）；Tokyo Institute of Technology（东京工业大学）
针对优惠券分配中即时收益与未来OPE数据收集的冲突，本文提出融合模型化收益策略与随机探索策略的可调混合框架，并将最优混合比建模为多目标优化问题。
2024-09-08 cs.AI cs.LG
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法，并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间，并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
SoftDICE for Imitation Learning: Rethinking Off-policy Distribution Matching
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们提出了SoftDICE，它实现了模仿学习的最先进的性能。SoftDICE修复了ValueDICE中的几个关键问题，ValueDICE是一种用于样本有效模仿学习的非策略分布匹配方法。具体来说，ValueDICE的目标包含期望的多项式和指数，对于这些期望，小批量梯度估计总是有偏的。其次，ValueDICE规则化的目标与重放缓冲区样本时，专家演示的数量有限，但改变了原来的分布匹配问题。第三，用于导出政策外目标的重新参数化技巧依赖于一个在训练中很少成立的隐含假设。我们利用一种新的配方的分布匹配，并考虑熵正则化的关闭政策的目标，这产生了一个完全离线的算法称为SoftDICE。我们的实证结果表明，SoftDICE恢复专家政策，只有一个演示轨迹，没有进一步的政策/政策外的样本。SoftDICE在Mujoco基准测试任务的样本效率方面也稳定地优于ValueDICE和其他基准。
2021-06-06 cs.AI cs.LG
