Policy Optimization as Wasserstein Gradient Flows
Duke University（杜克大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
策略优化是强化学习（RL）的核心组成部分，并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功，其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间，并解释为Wasserstein梯度流。在概率测度空间上，在一定条件下，策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行，我们开发了有效的算法，通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置，并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性，往往获得更好的性能相比，相关的算法。
2018-08-09 cs.LG stat.ML
An Empirical Comparison of Off-policy Prediction Learning Algorithms on the Collision Task
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
偏离策略预测（Off-policy prediction）--从遵循另一个策略时生成的数据中学习一个策略的价值函数--是强化学习中最具挑战性的子问题之一。本文展示了11种使用线性函数近似的突出的离策略学习算法的实证结果：5种服从TD方法、2种强调TD方法、非策略TD（$λ$）、Vtrace以及修改后适用于预测设置的Tree Backup和ABQ版本。我们的实验使用了碰撞任务，这是一个小型的理想化的政策外问题，类似于自动驾驶汽车试图预测它是否会与障碍物相撞。我们根据算法的学习率、渐近误差水平以及对步长和自举参数的敏感性来评估算法的性能。通过这些措施，11个算法可以在碰撞任务中部分排序。在顶层，两个强调TD算法学习最快，达到最低的错误，并且对参数设置具有鲁棒性。在中间层，五个顺从TD算法和非策略TD（$λ$）对引导参数更敏感。底层包括Vtrace、Tree Backup和ABQ;这些算法并不比其他算法更快，并且具有更高的渐近误差。我们的结果是明确的这项任务，当然，更多的任务实验之前，可以作出全面评估的算法的优点。
2021-06-11 cs.AI cs.LG
Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods
Stanford University（斯坦福大学）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
最近对某些梯度下降优化方法的分析表明，性能在某些设置中可能会下降-例如随机性或隐式动量。在深度强化学习（Deep RL）中，这种优化方法通常用于通过时间差异误差或策略梯度来训练神经网络。随着代理随时间的推移而改进，优化目标会发生变化，因此损失景观（和局部最优值）也会发生变化。由于这些方法的失败模式，Deep RL优化器的理想选择仍然不清楚。因此，我们提供了一个实证分析的影响，广泛的梯度下降优化器和他们的超参数对策略梯度方法，深度RL算法的子集，基准连续控制任务。我们发现，自适应优化有一个狭窄的窗口有效的学习率，发散在其他情况下，和动量的有效性取决于环境的属性。我们的分析表明，环境的动态和Deep RL算法属性之间存在显着的相互作用，而传统的自适应梯度方法不一定能解释这些特性。根据我们的研究结果，我们为当前方法的最佳设置和进一步的研究提供了建议。
2018-10-05 cs.AI cs.LG stat.ML
Differentially Private Policy Evaluation
Lancaster University（兰卡斯特大学）；McGill University（麦吉尔大学）
我们提出了第一个差分私人算法的强化学习，适用于评估一个固定的政策的任务。我们建立了两种方法来实现差分隐私，提供了一个理论分析的隐私和实用性的两种算法，并显示出有前途的结果，简单的实证例子。
2016-03-07 cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace（柯林斯航空航天公司）
本文提出Hybrid GRPO框架，通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO，在提升样本效率与学习稳定性的同时缓解方差放大问题，并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
CoinDICE: Off-Policy Confidence Interval Estimation
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Google Research（谷歌研究院）
我们研究了强化学习中的高置信度行为不可知的偏离策略评估，其目标是估计目标策略值的置信区间，仅允许访问未知行为策略收集的静态经验数据集。从$Q$ -函数的线性规划公式的函数空间嵌入出发，我们得到了一个具有广义估计方程约束的优化问题。通过将广义经验似然方法应用于所得到的拉格朗日量，我们提出了CoinDICE，一种新的和有效的算法计算置信区间。理论上，我们证明了所得到的置信区间是有效的，在渐近和有限样本制度。从经验上讲，我们在各种基准测试中表明，置信区间估计比现有方法更严格，更准确。
2020-10-22 cs.LG stat.ML
Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate
Georgia Institute of Technology（佐治亚理工学院）
本文研究通过重要性采样重用历史轨迹的自然策略梯度方法变体，证明其梯度估计器偏差渐近可忽略、算法收敛且能提高收敛速率，并在经典基准上验证了理论结果。
2025-03-05 cs.LG math.OC
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
Meta AI
EBPO通过经验贝叶斯收缩方法稳定群体相对策略优化，有效降低估计方差并提升训练稳定性。
2026-02-23 cs.AI cs.CL cs.LG
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Robust On-Policy Sampling for Data-Efficient Policy Evaluation in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
强化学习（RL）算法通常被分类为策略上或策略外，这取决于它们是使用来自感兴趣的目标策略还是来自不同行为策略的数据。在本文中，我们研究了政策评估的RL子问题的上下文中的政策数据和政策抽样之间的微妙区别。我们观察到，在政策抽样可能无法匹配的政策数据的预期分布后，只观察到有限数量的轨迹，这种失败阻碍了数据有效的政策评估。为了提高数据效率，我们展示了非i.i.d.策略外采样可以产生更紧密地匹配期望的策略内数据分布的数据，并且因此增加用于策略评估的蒙特卡罗估计器的准确性。我们介绍了一种称为鲁棒的政策抽样的方法，并从理论上和经验上证明，它产生的数据，收敛速度更快，预期的政策分布相比，政策抽样。从经验上讲，我们表明，这种更快的收敛导致较低的均方误差政策价值的估计。
2022-10-10 cs.LG
Doubly Optimal Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习策略评估方差大、数据需求高的问题，本文提出数据收集策略与处理基线最优组合的双重最优方法，理论证明其无偏且方差更低，实验验证了降方差效果与性能优势。
2025-03-20 cs.LG
A Note on KL-UCB+ Policy for the Stochastic Bandit
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究了随机K臂强盗问题的一个经典情形。在这个问题中，它已被称为KL-UCB政策实现渐近最优后悔界和KL-UCB+政策的经验表现优于KL-UCB政策，虽然后悔界的KL-UCB+政策的原始形式一直是未知的。本文证明了KL-UCB+策略的渐近最优性的一个简单证明可以用与分析其他已知策略相同的方法给出。
2019-03-20 cs.LG stat.ML
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University（宾厄姆顿大学）；Yantai University（烟台大学）
我们解决的挑战，有效的勘探，同时保持良好的性能，在策略梯度方法。作为一种解决方案，我们提出了通过共轭政策的多样性探索（DE）。DE学习和部署一组共轭策略，这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明，DE在实现探索，提高政策绩效的有效性，DE的优势，探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Intrinsically Efficient, Stable, and Bounded Off-Policy Evaluation for Reinforcement Learning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Harvard University（哈佛大学）
上下文强盗和强化学习中的非策略评估（OPE）允许人们评估新的决策策略，而不需要进行探索，这通常是昂贵的或不可行的。该问题的重要性吸引了许多解决方案，包括重要性采样（IS），自归一化IS（SNIS）和双稳健（DR）估计。如果Q-函数是良好指定的，DR及其变体确保半参数局部效率，但如果它们不是，它们可能比IS和SNIS更差。它也不享有SNIS固有的稳定性和有界性。我们提出了新的估计OPE的经验似然的基础上，总是比IS，SNIS和DR更有效，并满足相同的稳定性和有界性的属性SNIS。在此过程中，我们对各种属性进行分类，并根据它们对现有估计量进行分类。除了理论上的保证，实证研究表明，新的估计提供的优势。
2019-06-09 cs.LG stat.ML
Partial Policy Gradients for RL in LLMs
Adobe Research（Adobe研究）
本文提出了一种在大语言模型中使用部分策略梯度的方法，通过优化未来奖励的子集来建模和比较不同策略类别，展示了不同策略在不同任务中的表现差异。
2026-03-06 cs.AI cs.LG
Minimax Policy for Heavy-tailed Bandits
Michigan State University（密歇根州立大学）
研究了最坏后悔和重尾报酬分布下的随机多臂强盗（MAB）问题。我们修改了minimax策略MOSS的亚高斯奖励分布，通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明，如果存在的时刻的顺序$1+ε$的奖励分布，然后改进的策略有一个最坏情况下的遗憾匹配的下限，同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization
École Polytechnique（巴黎综合理工学院）；HSE University（俄罗斯国立高等经济大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
强化学习（RL）中的策略梯度方法是一种非常普遍的方法，在实际应用中得到了广泛的应用，但其性能受到梯度估计的高方差的影响。提出了几种方法来减少它，包括演员-评论家（AC）和优势演员-评论家（A2 C）的方法。最近，由于深度RL的引入，这些方法有了新的视角：新的控制变量（CV）和新的子采样程序在神经网络等复杂模型的设置中变得可用。基于CV的方法的核心部分是CV训练的目标泛函，最流行的是A2 C的最小二乘准则。尽管这一标准在实践中取得了成功，但它并不是唯一可能的标准。在本文中，我们第一次调查的性能称为经验方差（EV）。我们在实验中观察到，不仅EV-标准执行不差于A2 C，但有时可以相当好。除此之外，我们还证明了一些理论保证的实际方差减少非常一般的假设下，并表明A2 C最小二乘目标泛函是EV目标的上界。我们的实验表明，在方差减少方面，基于EV的方法比A2 C好得多，并且允许更强的方差减少。
2022-06-15 cs.LG
Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters
Cambridge University（剑桥大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Imperial College London（帝国理工学院）
在这项工作中，我们考虑的问题，估计的行为政策用于政策外的政策评估（OPE）时，真正的行为政策是未知的。通过一系列的实证研究，我们证明了如何准确的OPE是强烈依赖于校准估计的行为政策模型：如何准确地从数据中估计的行为政策。我们展示了如何强大的参数模型，如神经网络可以导致高度未校准的行为政策模型在现实世界的医疗数据集，并说明如何一个简单的，非参数，k-近邻模型产生更好的校准行为政策估计，并可用于获得优越的重要性采样为基础的OPE估计。
2018-07-10 cs.LG stat.ML
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中，已经分析了该算法的实现与后一个评估阶段的几个变体，例如，$n$ -步骤和基于跟踪的返回。然而，多步骤前瞻性政策改进的情况下，尽管最近增加了其实力的经验证据，据我们所知，尚未仔细分析。在这项工作中，我们介绍了第一个这样的分析。也就是说，我们制定多步策略改进的变体，使用这些定义推导出新的算法，并证明其收敛性。此外，我们表明，最近突出的强化学习算法，事实上，我们的框架的实例。因此，我们揭示了他们的经验成功，并给出了一个配方，为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal（微软蒙特利尔研究院）
在强化学习中，给定状态下的最优行为取决于后续状态下的策略决策。因此，学习目标随着时间的推移而演变，并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中，我们发现，策略梯度定理规定的政策更新，是缓慢的遗忘，因为它们的结构对称性的价值目标。为了提高学习速度，我们研究了一种新的策略更新：交叉熵损失的梯度相对于动作最大化$q$，但发现这样的更新可能会导致价值的下降。因此，我们引入了一个修改后的政策更新没有这个缺陷，并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外，我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后，我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Representations for Stable Off-Policy Reinforcement Learning
Google Research（谷歌研究（Google Research））
带有函数逼近的强化学习可能不稳定，甚至发散，特别是当与离策略学习和Bellman更新相结合时。在深度强化学习中，这些问题已经通过调整和规则化表示，特别是辅助任务来经验性地处理。这表明，表示学习可以提供一种手段，以保证稳定性。在本文中，我们正式表明，确实有非平凡的状态表示下，规范TD算法是稳定的，即使在学习关闭的政策。我们分析了表示学习计划的基础上的过渡矩阵的政策，如原价值函数，沿三个轴：近似误差，稳定性和易于估计。在最一般的情况下，我们表明，舒尔基础提供收敛保证，但很难估计样本。对于一个固定的奖励函数，我们发现，相应的Krylov子空间的正交基是一个更好的选择。我们通过经验证明这些稳定的表示可以使用随机梯度下降来学习，从而为深度网络的表示学习的改进技术打开了大门。
2020-10-02 cs.AI cs.LG stat.ML
Decentralized Policy Optimization
Peking University（北京大学）
合作多智能体强化学习中的分散学习或独立学习的研究已经有几十年的历史。最近的实证研究表明，独立的PPO（IPPO）可以获得良好的性能，接近甚至优于集中训练与分散执行的方法，在几个基准。然而，具有收敛保证的去中心化行动者-批评者仍然是开放的。在本文中，我们提出了\textit{decentralized policy optimization}（DPO），一个分散的行动者-评论家算法的单调改进和收敛保证。我们得到了一个新的分散代理的政策优化，使联合政策的单调改善，可以保证每个代理\textit{independently}优化代理。在实践中，这种分散代理可以实现两个自适应系数的政策优化在每个代理。经验上，我们比较DPO与IPPO在各种合作的多智能体任务，包括离散和连续的动作空间，完全和部分可观察的环境。实验结果表明，DPO在大多数任务中的表现优于IPPO，这为我们的理论结果提供了证据。
2022-11-06 cs.LG
Sample Complexity of Estimating the Policy Gradient for Nearly Deterministic Dynamical Systems
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的机器人控制器学习方法。最近已经表明，基于策略梯度的有限差分估计的算法与基于策略梯度定理的算法具有竞争力。我们提出了一个理论框架来理解这种现象。我们的关键见解是，许多动力系统（特别是那些感兴趣的机器人控制任务）几乎是确定性的-即，它们可以被建模为具有小的随机扰动的确定性系统。我们表明，对于这样的系统，有限差分估计的策略梯度可以有大大低于估计的基础上的策略梯度定理的方差。最后，我们实证评估我们的见解在倒立摆实验。
2021-10-11 cs.LG stat.ML
Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator
University of Southern California（南加州大学）；T.U. Kaiserslautern（凯泽斯劳滕工业大学）
我们研究了REINFORCE策略梯度估计器在连续状态和动作空间、线性动态、二次成本和高斯噪声环境中的方差。这些简单的环境使我们能够根据环境和噪声参数推导出估计方差的界限。我们比较了我们的边界的预测模拟实验中的经验方差。
2019-10-02 cs.LG stat.ML
Safe Continuous Control with Constrained Model-Based Policy Optimization
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
强化学习（RL）算法在现实世界领域的适用性通常需要遵守安全约束，考虑到经典RL优化目标的渐近性质，这一需求难以解决。与传统的RL目标相比，安全探索考虑在以预期成本回报表示的安全约束下的预期回报最大化。我们引入了一个基于模型的安全探索算法的约束高维控制，以解决通常过高的样本复杂度的无模型安全探索算法。此外，我们提供了理论和实证分析的影响模型的使用受约束的政策优化问题，并介绍了一个实用的算法，加速政策搜索与模型生成的数据。对策略的约束满足的精确估计的需要与累积的模型误差相冲突。我们解决这个问题，通过量化模型的不确定性作为预期的Kullback-Leibler分歧之间的预测的概率动力学模型的合奏和约束这个错误的措施，从而在一个自适应的reservation计划和动态有限的推出视野。我们评估这种方法在几个模拟约束机器人运动任务与高维动作和状态空间。我们的实证研究发现，我们的算法达到无模型的性能，减少了10-20倍的训练样本，同时保持近似约束满足水平的无模型方法。
2021-04-14 cs.LG math.OC
Q($λ$) with Off-Policy Corrections
VU Brussel（布鲁塞尔自由大学）；Google DeepMind（谷歌DeepMind）
我们提出并分析了一种替代方法，关闭政策的多步时间差学习，其中关闭政策的回报与当前Q函数的奖励，而不是与目标政策的转移概率。我们证明了这种近似修正是足够的政策评估和控制，提供一定的条件下，离政策收敛。这些条件将目标策略和行为策略之间的距离、资格跟踪参数和折扣因子联系起来，并在非策略TD（$λ$）中形式化了底层的权衡。我们说明了这种理论关系的经验上的连续状态控制任务。
2016-08-11 cs.AI cs.LG stat.ML
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
Privacy Preserving Off-Policy Evaluation
College of Information and Computer Sciences, UMass Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
许多强化学习应用涉及敏感数据的使用，例如患者的医疗记录或财务信息。然而，大多数当前的强化学习方法可能会泄露它们所训练的（可能敏感的）数据中包含的信息。为了解决这个问题，我们提出了第一个差异化的私人的方法进行离线政策评估。我们提供了一个理论分析我们的算法的隐私保护性能，并分析其效用（收敛速度）。在描述了这种理论分析的一些结果之后，我们从经验上证明了我们的方法优于以前的方法（仅限于策略设置）。
2019-02-01 cs.LG stat.ML
Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits
Microsoft Research（微软研究院）；Yahoo! Labs（雅虎实验室）
我们提出并证明了一个新的离线策略评估器的探索学习设置，这是优于以前的评估器的属性。特别是，它同时正确地结合了重要性加权，双稳健评估和非平稳政策评估方法的技术。此外，我们的方法允许通过仔细控制偏差方差权衡来生成更长的历史，并通过结合目标策略的随机性信息来进一步降低方差。综合和现实世界的探索学习问题的经验证据表明，新的评估成功地统一了以前的方法，并使用信息的数量级更有效。
2012-10-16 cs.LG stat.ML
Policy Gradients using Variational Quantum Circuits
University of Minho（米尼奥大学）；INESC TEC（葡萄牙系统与计算机工程研究所（INESC TEC））；International Nanotechnology Laboratory (INL)（国际纳米技术实验室（INL））
变分量子线路被用作通用的量子机器学习模型。一些实证结果表明，在监督和生成学习任务的优势。然而，当应用于强化学习时，所知甚少。在这项工作中，我们考虑了一个变分量子线路组成的低深度的硬件有效的模拟器的参数化政策的强化学习代理。我们表明，一个$ε$近似的政策梯度，可以得到使用对数数量的样本关于参数的总数。我们凭经验验证，这种量子模型的行为类似于甚至优于标准基准测试环境和量子控制中使用的典型经典神经网络，仅使用一小部分参数。此外，我们还利用Fisher信息矩阵谱研究了量子政策梯度中的Barren Plateau现象。
2023-01-15 cs.LG quant-ph
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们表明，对政策的策略梯度（PG）和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样（IS）家庭的政策外评估（OPE）。从双重稳健（DR）估计量（Jiang & Li，2016）开始，我们提供了一种非常通用和灵活的PG形式的简单推导，其中包含了最先进的方差缩减技术（Cheng et al.，2019年）作为其特例，并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差，将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较，并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology（代尔夫特理工大学）
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap，首次从理论分析给出缩小该差距的条件，并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
What makes useful auxiliary tasks in reinforcement learning: investigating the effect of the target policy
University of Alberta（阿尔伯塔大学）；Noah’s Ark Lab, Huawei Technologies Canada（华为加拿大诺亚方舟实验室）
辅助任务在强化学习的表示学习中被认为是有用的。虽然许多辅助任务已被经验证明是有效的，以加快学习的主要任务，它还不清楚是什么使有用的辅助任务。一些最有希望的结果是在像素控制，奖励预测和下一个状态预测辅助任务上;然而，经验结果是混合的，在某些情况下显示出实质性的改善，在其他情况下显示出边际改善。仔细研究辅助任务如何帮助学习主要任务是必要的。在本文中，我们采取了一个步骤，研究目标政策的辅助任务制定为一般价值函数的有用性的影响。一般价值函数由三个核心要素组成：1）策略2）累积量3）连续函数。我们关注辅助任务的目标策略的作用是出于这样一个事实，即目标策略确定代理想要进行预测的行为以及代理被训练的状态-动作分布，这进一步影响了主任务学习。我们的研究提供了一些问题的见解，如：与其他政策相比，贪婪的政策是否会带来更大的改善收益？是否最好将辅助任务策略设置为与主任务策略相同？目标策略的选择是否对所获得的性能增益有实质性影响，或者设置策略的简单策略（例如使用均匀随机策略）是否也有效？我们的实证结果表明：1）辅助任务与贪婪的政策往往是有用的。2)大多数策略，包括均匀随机策略，倾向于在基线上改进。3)令人惊讶的是，与其他策略相比，主任务策略往往没有那么有用。
2022-04-01 cs.AI cs.LG
Provably Correct Optimization and Exploration with Non-linear Policies
Microsoft Research（微软研究院）
策略优化方法仍然是经验强化学习（RL）中强大的主力，重点是可以轻松推理复杂和连续状态和/或动作空间的神经策略。然而，在基于政策的方法与非线性函数逼近的战略探索的理论理解，在很大程度上是缺失的。在本文中，我们通过设计ENIAC来解决这个问题，ENIAC是一种演员-评论家方法，允许在评论家中进行非线性函数逼近。我们表明，在某些假设下，例如，一个有界的逃避者维度$d$的评论家类，学习者发现一个接近最优的政策，在$O(\poly(d))$探索轮。该方法对模型误设定具有鲁棒性，并严格扩展了线性函数逼近的现有工作。我们还对我们的方法进行了一些计算优化，其中统计保证略差，并且基于现有的深度RL工具进行了经验适应。我们实证评估这种适应，并表明它优于线性方法启发的先验知识，通过正确推理代理的非线性函数近似下的不确定性来建立价值。
2021-03-22 cs.LG stat.ML
When to Trust Your Model: Model-Based Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
设计有效的基于模型的强化学习算法是困难的，因为数据生成的容易性必须与模型生成的数据的偏差相权衡。本文从理论和实证两个方面研究了模型的使用在政策优化中的作用。我们首先制定和分析了一个基于模型的强化学习算法，保证在每一步的单调改善。在实践中，这种分析是过于悲观，并表明，真正的政策外数据总是优于模型生成的政策上的数据，但我们表明，模型泛化的经验估计可以纳入这样的分析，以证明模型的使用。受此分析的启发，我们证明了一个简单的过程，使用短模型生成的推出分支从真实数据具有更复杂的基于模型的算法的好处，而没有通常的陷阱。特别是，这种方法超越了以前的基于模型的方法的样本效率，匹配最好的无模型算法的渐近性能，并扩展到导致其他基于模型的方法完全失败的范围。
2021-11-29 cs.AI cs.LG stat.ML
Provably Efficient Offline Goal-Conditioned Reinforcement Learning with General Function Approximation and Single-Policy Concentrability
UC Berkeley（加州大学伯克利分校）；Meta AI；UT Austin（德克萨斯大学奥斯汀分校）
本文针对离线目标条件强化学习，提出首个在通用函数逼近和单策略集中性假设下可证明高效且无需极小极大优化的算法，通过利用目标函数强凸性实现样本复杂度保证，并在真实环境中验证了优越性。
2023-10-11 cs.AI cs.LG
A Nonparametric Off-Policy Policy Gradient
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
强化学习（RL）算法尽管最近取得了显著的成功，但仍然遭受高样本复杂度。在许多广泛流行的使用策略样本执行更新的策略梯度算法中，尤其需要与环境进行密集交互。这种低效率的代价在现实世界的场景中变得明显，例如交互驱动的机器人学习，其中RL的成功相当有限。我们解决这个问题，通过建立在一般的样本效率的政策外的算法。非参数回归和密度估计方法，我们构造了一个非参数贝尔曼方程的原则性的方式，这使我们能够获得封闭形式的价值函数的估计，并解析地表达完整的策略梯度。我们提供了一个理论分析，我们的估计表明，它是一致的温和的平滑假设和经验表明，我们的方法具有更好的样本效率比国家的最先进的策略梯度方法。
2020-08-03 cs.LG stat.ML
Stable and Efficient Policy Evaluation
Auburn University（奥本大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LIEC（利耶克环境与化学跨学科实验室）；Google Brain（谷歌大脑）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Northwestern Polytechnical University（西北工业大学）
策略评估算法对于强化学习是必不可少的，因为它们能够预测策略的性能。然而，有两个长期存在的问题在于这个预测问题，需要解决：政策外的稳定性和政策上的效率。传统的时间差（TD）算法是众所周知的，执行非常好的政策设置，但不是关闭政策稳定。另一方面，梯度TD和梯度TD算法是非策略稳定的，但不是策略有效的。本文介绍了新的算法，都是关闭政策稳定和政策有效的使用斜投影方法。不同领域的实验结果验证了该方法的有效性。
2021-12-28 cs.LG stat.ML
Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
该研究从策略覆盖视角出发，利用不完美奖励模型提升在线RLHF的样本效率，提出TPO算法及模块化迁移策略，可集成多种优化方法，在摘要任务上验证了有效性。
2025-05-18 cs.AI cs.LG stat.ML
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix（奈飞）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
经验风险最小化（ERM）是机器学习的主力，无论是用于分类和回归还是用于离线策略学习，但当我们使用自适应收集的数据时，其模型不可知的保证可能会失败，例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法，使用自适应收集的数据，以最小化损失函数的平均假设类，并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式，仔细利用重要性抽样结构，以获得正确的依赖于数据中的勘探率的利率。对于回归，我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习，我们提供了速率最优的遗憾保证，关闭现有文献中的一个开放的差距，每当勘探衰减到零，是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
On the Effect of Regularization in Policy Mirror Descent
本文通过在小型强化学习环境中运行超50万训练种子的大规模实证分析，研究了PMD中距离项与MDP正则化器的相互作用，发现两者的精确组合对实现鲁棒性能至关重要。
2025-07-11 cs.LG
Maximum Entropy On-Policy Actor-Critic via Entropy Advantage Estimation
School of Electrical Engineering（电气工程学院）；Korea University（高丽大学）
本文提出一种将熵目标从MaxEnt RL目标中分离的简单方法，解决了同策略演员-评论家设置中熵奖励管理困难的问题，在MuJoCo和Procgen任务中提升了PPO和TRPO的性能与泛化能力。
2024-07-25 cs.AI cs.LG
Generalized Proximal Policy Optimization with Sample Reuse
Boston University（波士顿大学）
在现实世界的决策任务中，数据驱动的强化学习方法的稳定性和样本效率至关重要。策略方法通常在整个训练过程中产生可靠的策略改进，而非策略方法通过样本重用更有效地利用数据。在这项工作中，我们结合了理论上支持的政策上的算法的稳定性的好处与政策外的算法的样本效率。我们开发的政策改进保证，适合于关闭的政策设置，并连接这些界限的裁剪机制中使用的近端策略优化。这激发了一个流行的算法，我们称之为广义近端策略优化与样本重用的非策略版本。我们从理论上和经验上证明，我们的算法提供了改进的性能，有效地平衡竞争的目标的稳定性和样本效率。
2021-10-29 cs.AI cs.LG stat.ML
FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford（牛津大学）；Facebook AI Research（Facebook AI研究院）；Delft University of Technology（代尔夫特理工大学）
我们提出了因子化多智能体集中式策略梯度（FACMAC），一种新的方法，在离散和连续的动作空间的合作多智能体强化学习。像MADDPG，一个流行的多代理演员批评的方法，我们的方法使用深确定性策略梯度学习政策。然而，FACMAC学习一个集中的，但分解的评论家，它结合每个代理效用到联合行动价值函数通过一个非线性单调函数，如在QMIX，一个流行的多代理Q-学习算法。然而，与QMIX不同的是，对critics的分解没有固有的约束。因此，我们还采用了非单调因子分解和经验表明，其代表性的能力增加，使它能够解决一些任务，不能用单片，或单调因子的批评。此外，FACMAC使用一个集中的策略梯度估计，优化整个联合行动空间，而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化，并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体，一种新的多智能体MuJoCo基准，和一组具有挑战性的星际争霸II微观管理任务。实证结果表明，FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
Policy Prediction Network: Model-Free Behavior Policy with Model-Based Learning in Continuous Action Space
Hong Kong University of Science and Technology（香港科技大学）
本文提出了一种新的深度强化学习架构，其灵感来自于以前的树结构架构，这些架构仅适用于离散动作空间。策略预测网络提供了一种方法来提高连续控制问题的样本复杂性和性能，以换取训练时的额外计算，但在推出时没有计算成本。我们的方法集成了无模型和基于模型的强化学习之间的混合。策略预测网络是第一个将基于隐式模型的学习引入连续动作空间的策略梯度算法的网络，并且通过经验证明的裁剪方案成为可能。我们的实验集中在MuJoCo环境，使他们可以在这方面所做的类似工作进行比较。
2019-09-15 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Model-Based Offline Meta-Reinforcement Learning with Regularization
Arizona State University（亚利桑那州立大学）；The Ohio State University（俄亥俄州立大学）
现有的离线强化学习（RL）方法面临着一些主要的挑战，特别是学习策略和行为策略之间的分布变化。离线元强化学习正在成为解决这些挑战的一种有前途的方法，旨在从一系列任务中学习信息元策略。然而，正如我们的实证研究所示，离线元RL可以在具有良好数据集质量的任务上优于离线单任务RL方法，这表明必须在通过遵循元策略来“探索”分布外状态动作和通过接近行为策略来“利用”离线数据集之间进行微妙的平衡。受这种实证分析的启发，我们探索了基于模型的离线Meta-RL与正则化策略优化（MerPO），它学习了一个元模型，用于有效的任务结构推理和一个信息元策略，用于安全探索分布外的状态动作。特别是，我们设计了一个新的元正则化的基于模型的演员-评论（RAC）的方法内的任务政策优化，作为MerPO的关键组成部分，使用保守的政策评估和正则化的政策改进;和内在的权衡，其中实现了通过两个正则化之间的正确平衡，一个基于行为的政策和其他的元政策。我们从理论上表明，学习的政策提供了保证改善的行为政策和元政策，从而确保通过离线元RL的新任务的性能提高。实验证实了MerPO优于现有离线Meta-RL方法的性能。
2022-07-13 cs.LG
Reward Constrained Policy Optimization
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励，它经常学会利用奖励信号中的漏洞和错误指定，从而导致不必要的行为。虽然约束可以解决这个问题，但对于一般约束没有封闭形式的解决方案。在这项工作中，我们提出了一种新的多时间尺度的约束策略优化方法，称为“奖励约束策略优化”（RCPO），它使用一个替代的惩罚信号，以指导政策对一个约束满足。我们证明了我们的方法的收敛性，并提供了经验证据，它的能力，训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
