Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们扩展的时间差的政策评估算法的性能标准，包括方差的累积奖励。这些标准对风险管理很有用，在财务和流程控制等领域也很重要。我们提出了TD（0）和LSTD（lambda）变量与线性函数逼近，证明了它们的收敛性，并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano（米兰理工大学）；Inria（法国国家信息与自动化研究所）
在本文中，我们提出了一种新的强化学习算法，包括在随机方差减少版本的策略梯度解决马尔可夫决策过程（MDP）。随机方差缩减梯度（SVRG）方法在监督学习中已被证明是非常成功的。然而，它们对策略梯度的适应并不简单，需要考虑I）非凹目标函数; II）全梯度计算中的近似值;以及III）非平稳采样过程。其结果是SVRPG，一种随机方差减少的策略梯度算法，利用重要性权重来保持梯度估计的无偏性。根据标准假设，sumptions上的MDP，我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后，我们建议SVRPG的实际变体，我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
在具有连续动作空间的马尔可夫决策过程（MDP）上的深度强化学习（DRL）通常通过沿着估计的策略梯度（PG）的方向直接训练参数策略来实现。以前的研究表明，这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而，现有的PG合并方法可能是样本效率低，不适合训练直接确定性的政策。为了解决这些问题，本文引入精英PG，并加强其方差减少效果，采用精英主义和政策巩固技术，定期政策培训的基础上，从精英轨迹提取的政策行为知识。同时，我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展，传统的插值合并方法。在理论和实验两个层面上，我们表明，两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG，并减轻他们对训练有素的政策的性能影响。我们的实验还表明，两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods
Georgia Tech（佐治亚理工学院）
策略梯度方法在具有高维连续状态和动作空间的强化学习任务中已经证明是成功的。然而，策略梯度方法也是出了名的样本效率低下。这可以归因于，至少部分地，在估计的梯度的任务目标与蒙特卡罗方法的高方差。以前的研究已经endeavenly抗衡这个问题，通过研究控制变量（CV），可以减少估计的方差，而不引入偏见，包括早期使用的基线，状态依赖CV，和最近的状态动作依赖CV。在这项工作中，我们分析了以前的CV技术的属性和缺点，令人惊讶的是，我们发现，这些作品忽略了一个重要的事实，即蒙特卡罗梯度估计产生的轨迹的状态和行动。我们发现，忽略轨迹之间的相关性可能会导致次优的方差减少，我们提出了一个简单的解决方案：一类“随机”CV，可以进一步降低方差。我们表明，构建智能CV可以递归完成，只需要学习状态动作价值函数，如以前的CV的策略梯度。我们进一步证明了在合理的假设下，所提出的随机CV是最佳的方差减少。
2019-08-08 cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法，特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想，给出了一种高效的策略梯度方法：（a）具有基于参数的探索的策略梯度，这是最近提出的具有低梯度估计方差的策略搜索方法，（b）重要性采样技术，其允许我们以一致的方式重新使用先前收集的数据，以及（c）最优基线，其最小化梯度估计的方差，同时保持它们的无偏性。对于所提出的方法，我们给出了理论分析的梯度估计的方差，并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们表明，对政策的策略梯度（PG）和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样（IS）家庭的政策外评估（OPE）。从双重稳健（DR）估计量（Jiang & Li，2016）开始，我们提供了一种非常通用和灵活的PG形式的简单推导，其中包含了最先进的方差缩减技术（Cheng et al.，2019年）作为其特例，并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差，将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较，并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习，其中许多因素动态地影响输出轨迹，期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而，平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制，我们提出了一个通用的基于方差减少的经验回放（VRER）框架，该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明，所提出的VRER可以加快学习的最优策略，提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University（斯坦福大学）；Mila - University of Montreal（米拉研究所 - 蒙特利尔大学）
使用重要性采样（IS）的非策略策略估计器可能会在长时间域中遭受高方差，并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是，我们发现在有限时域MDP中，每决策重要性采样或平稳重要性采样与普通重要性采样相比，没有严格的方差减少。然后，我们提供了充分的条件下，每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近（在地平线$T$）的情况下，我们开发的上限和下限的方差的估计产生的充分条件下，存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解，如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Variance-Aware Off-Policy Evaluation with Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了基于线性函数逼近的强化学习中的离线策略评估（off-policy evaluation，OPE）问题，即基于行为策略收集的离线数据来估计目标策略的价值函数。我们建议将方差信息的价值函数，以提高样本效率的OPE。更具体地说，时间非齐次的情节线性马尔可夫决策过程（MDP），我们提出了一种算法，VA-OPE，它使用的估计方差的价值函数重新加权贝尔曼残差拟合Q-迭代。我们表明，我们的算法实现了更严格的误差界比最知名的结果。我们还提供了行为策略和目标策略之间的分布偏移的细粒度表征。大量的数值实验证实了我们的理论。
2022-01-04 cs.LG math.OC stat.ML
Marginal Policy Gradients: A Unified Family of Estimators for Bounded Action Spaces with Applications
Princeton University（普林斯顿大学）；University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）；Kwai AI Lab（快手人工智能实验室）；Northwestern University（西北大学）
许多复杂的领域，如机器人控制和实时策略（RTS）游戏，需要一个智能体学习一个连续的控制。在前者中，一个代理学习的政策，在$\mathbb{R}^d$和在后者中，在一个离散的一组动作，其中每个是参数化的连续参数。使用基于策略的强化学习（RL）方法自然地解决了这些问题，但不幸的是，这些方法通常具有高方差，导致不稳定和收敛缓慢。不必要的方差被引入时，有界动作空间的政策建模使用的分布与无界的支持，通过应用一个转换$T$的采样动作之前，在环境中执行。最近，针对有界区间内的动作引入了方差减少的修剪动作策略梯度（CAPG），但迄今为止，当动作是方向时，还没有方差减少方法，这在RTS游戏中常见。为此，我们介绍了角策略梯度（APG），一个随机的策略梯度方法的方向控制。与边际策略梯度家庭的估计，我们提出了一个统一的分析APG和CAPG的方差减少属性，我们的结果提供了更强的保证比现有的分析CAPG。一个流行的RTS游戏和导航任务的实验结果表明，APG估计提供了一个实质性的改进标准的策略梯度。
2019-02-16 cs.LG stat.ML
Doubly-Robust Off-Policy Evaluation with Estimated Logging Policy
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔大学）；Shepherd23 Inc.（Shepherd23公司）
本文提出DRUnknown估计器，在记录策略和值函数均未知时，通过最小化渐近方差实现双重稳健离线策略评估，并在模型正确设定时达到半参数下界。
2024-04-02 cs.LG stat.ML
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们重新审视和改进的收敛性策略梯度（PG），自然PG（NPG）的方法，以及他们的方差减少变种，一般光滑的政策参数化。更具体地说，与政策的Fisher信息矩阵是正定的：i）我们表明，一个国家的最先进的方差减少PG方法，这已经被证明是收敛到平稳点，收敛到全局最优值的一些固有的函数逼近误差，由于政策参数化; ii）我们表明，NPG享有较低的样本复杂性; iii）我们提出了SRVR-NPG，它将方差缩减纳入NPG更新。我们的改进来自于一个观察，即（方差缩减）PG和NPG方法的收敛性可以相互改善：PG的平稳收敛性分析可以应用于NPG，以及和NPG的全局收敛性分析可以帮助建立（方差缩减）PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进，我们也使得NPG的方差减少成为可能，具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中，我们被赋予一个目标策略，并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略，使用知识的回报分布的方差。然后，我们介绍了减少方差采样（ReVar）算法，该算法近似的预言机策略时，奖励方差是未知的先验和约束其次优的预言机策略相比。最后，我们经验验证，ReVar导致政策评估的均方误差与Oracle策略相当，并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在本文中，我们提出了世界模型政策梯度（WMPG），一种使用学习世界模型（WM）来减少政策梯度估计方差的方法。在WMPG中，WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先，计算策略梯度的无替换估计。其次，想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加（CartPole，LunarLander和Pong），并发现WMPG具有更好的采样效率。基于这些结果，我们得出结论，WMPG可以产生增加的样本效率的情况下，一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards
University of California, Berkeley（加州大学伯克利分校）
OBLR-PO通过理论框架优化学习率和基线，提升大型语言模型后训练的稳定性与性能。
2026-08-04 cs.LG stat.ML
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
Variance Penalized On-Policy and Off-Policy Actor-Critic
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google DeepMind（谷歌DeepMind）
强化学习算法通常面向优化代理的预期回报。然而，在许多实际应用中，期望返回的低方差以确保算法的可靠性。在本文中，我们提出了政策和政策外的演员-评论家算法，优化的性能标准，涉及均值和方差的回报。以前的工作使用收益率的二阶矩来间接估计方差。相反，我们使用一个更简单的最近提出的直接方差估计，更新估计增量使用时间差的方法。使用方差惩罚准则，我们保证我们的算法收敛到局部最优策略的有限状态行动马尔可夫决策过程。我们证明了我们的算法在表格和连续MuJoCo域的效用。我们的方法不仅在预期收益方面与行动者-批评者和先验方差惩罚基线不相上下，而且还生成了收益方差较低的轨迹。
2021-02-03 cs.AI cs.LG
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；OpenAI（开放人工智能研究中心）
策略梯度方法在深度强化学习中取得了巨大的成功，但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题，我们推导出一个无偏差的行动依赖的基线方差减少，充分利用随机政策本身的结构形式，并没有作出任何额外的假设MDP。我们通过理论分析和数值结果，包括最优状态依赖基线的次优性分析，证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法，它的规模高维控制问题，所证明的合成2000维目标匹配任务。我们的实验结果表明，动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后，我们表明，在基线中包括额外的信息，以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
Sample Efficient Policy Gradient Methods with Recursive Variance Reduction
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提高强化学习的样本效率是一个长期存在的研究问题。在这项工作中，我们的目标是减少现有的策略梯度方法的样本复杂度。我们提出了一种新的策略梯度算法SRVR-PG，它只需要$O(1/ε^{3/2})$事件来找到非凹性能函数$J(\boldsymbolθ)$的$ε$ -近似稳定点（即，$\boldsymbolθ$，使得$\|\nabla J(\boldsymbolθ)\|_2^2\leqε$）。这个样本的复杂性提高了现有的结果$O(1/ε^{5/3})$随机方差减少策略梯度算法的一个因素的$O(1/ε^{1/6})$。此外，我们还提出了一个变体的SRVR-PG参数探索，探索初始政策参数从先验概率分布。我们对强化学习中的经典控制问题进行了数值实验，以验证我们提出的算法的性能。
2021-08-01 cs.LG math.OC stat.ML
Policy Gradients with Variance Related Risk Criteria
The Technion - Israel Institute of Technology（以色列理工学院）
动态决策问题中的风险管理在金融和过程控制等许多领域都是至关重要的。定义风险的最常见方法是通过各种与方差相关的标准，如夏普比率或标准差调整后的回报。众所周知，优化许多方差相关的风险标准是NP-难的。在本文中，我们设计了一个框架，局部策略梯度风格的强化学习算法的方差相关的标准。我们的出发点是一个新的公式，用于情景任务中的成本方差。使用这个公式，我们开发策略梯度算法的标准，涉及预期成本和方差的成本。我们证明了这些算法的收敛到局部极小值，并证明了它们在投资组合规划问题中的适用性。
2012-06-27 cs.CY cs.LG math.OC
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Offline Policy Optimization in RL with Variance Regularizaton
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Google Research（谷歌研究院）；Deepmind Montreal（深度思维蒙特利尔分所）
从固定的离线数据集学习策略是将强化学习（RL）算法扩展到实际应用的关键挑战。这通常是因为非策略RL算法由于数据集和目标策略之间的不匹配而遭受分布偏移，导致高方差和价值函数的高估。在这项工作中，我们提出了离线RL算法的方差正则化，使用平稳分布校正。我们表明，通过使用Fenchel对偶，我们可以避免双采样问题计算的方差正则化的梯度。所提出的离线方差正则化（OVAR）算法可以用来增强任何现有的离线策略优化算法。我们表明，正则化导致离线策略优化目标的下限，这有助于避免高估错误，并解释了我们的方法在一系列连续控制域中的优势，与现有的最先进的算法相比。
2022-12-29 cs.LG
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）；Duke University（杜克大学）
在本文中，我们提出了一种新的算法命名为STORM-PG（STORM-PG），它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界，与策略梯度算法的最佳收敛速度相匹配。同时，STORM-PG避免了大批量和小批量之间的交替，这在可比的方差减少的策略梯度方法中持续存在，允许相当简单的参数调整。数值实验表明，我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
Reward-estimation variance elimination in sequential decision processes
Harik Shazeer Labs（哈里克·沙齐尔实验室）
策略梯度方法在强化学习中非常有吸引力，因为它们的无模型性质和收敛保证。然而，这些方法在梯度估计中具有高方差，导致差的样本效率。为了缓解这个问题，已经提出了一些减少方差的方法。不幸的是，在具有延迟奖励的挑战性问题中，这些方法要么带来相对适度的改进，要么以引入偏差和破坏收敛为代价来减少方差。一般来说，梯度估计的无偏方法仅部分地减少方差，即使在价值函数和问题动态的精确知识的限制下，也没有完全消除方差，正如人们可能希望的那样。在这项工作中，我们提出了一个无偏的方法，完全消除方差在一些常见的条件下。具有实际意义的是确定性动态的极限和小的政策随机性。在二次价值函数的情况下，如在线性二次高斯模型中，策略随机性不需要很小。我们使用这样的模型来分析所提出的方差消除方法的性能，并将其与标准方差缩减方法进行比较。该方法背后的核心思想是在轨迹的所有未来时间使用控制变量。我们提出了基于模型和无模型的配方。
2018-11-15 cs.LG stat.ML
The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment
该研究针对长 horizon 语言模型任务的信用分配问题，分析策略方差，得出其作为发现预算、受基尼离散度约束及剩余 horizon 决定估计成本等结论，提出自举法消除成本的思路，支持对数值参数化。
2026-08-25 cs.LG
An Alternative to Variance: Gini Deviation for Risk-averse Policy Gradient
University of Oxford（牛津大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
针对风险规避强化学习中基于方差的风险度量方法存在数值尺度敏感、阻碍策略学习等局限，提出用基尼偏差替代方差，推导了相应策略梯度算法，实验证明其可在方差和基尼偏差维度实现高回报低风险。
2023-11-02 cs.AI cs.LG
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research（计算机工程系，Zeal工程与研究学院）
本文提出分数阶策略梯度（FPG）框架，利用Caputo分数阶导数建模状态转移间的幂律长程相关性，通过高效递归计算实现恒定时间与内存开销，在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
Policy Gradient Optimal Correlation Search for Variance Reduction in Monte Carlo simulation and Maximum Optimal Transport
Sorbonne Université（索邦大学）
本文提出用深度神经网络结合策略梯度与强化学习搜索最优路径相关性，以降低随机微分方程蒙特卡洛估计的方差，并建立其与最大最优传输的联系。
2023-09-15 cs.LG math.OC stat.ML
Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）；Yale University（耶鲁大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文首次在平均奖励设定下研究方差约束的风险敏感深度强化学习，通过拉格朗日对偶与Fenchel对偶将原问题转化为无约束鞍点优化问题，提出行动者-评论家算法，并证明其能以次线性速率找到全局最优策略。
2023-09-17 cs.LG math.OC stat.ML
Efficient Policy Evaluation with Safety Constraint for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习同策略评估高方差且现有降方差方法缺乏安全保障的问题，提出安全约束下的最优最小方差行为策略，理论无偏且方差更低，实验验证其在降方差和安全性上均优于现有方法。
2025-03-20 cs.LG
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
尽管策略梯度方法取得了成功，但它们的梯度估计方差很高，这可能导致样本复杂度不令人满意。最近，许多方差减少扩展的策略梯度方法已被提出，证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查，一些主要的方差减少REINFORCE型方法，我们提出了概率梯度估计策略梯度（PAGE-PG），一种新的无环方差减少策略梯度方法的基础上，两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发，并利用重要性采样来获得无偏梯度估计。我们发现，PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案，它匹配的样本复杂度，其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits
Microsoft Research（微软研究院）；Yahoo! Labs（雅虎实验室）
我们提出并证明了一个新的离线策略评估器的探索学习设置，这是优于以前的评估器的属性。特别是，它同时正确地结合了重要性加权，双稳健评估和非平稳政策评估方法的技术。此外，我们的方法允许通过仔细控制偏差方差权衡来生成更长的历史，并通过结合目标策略的随机性信息来进一步降低方差。综合和现实世界的探索学习问题的经验证据表明，新的评估成功地统一了以前的方法，并使用信息的数量级更有效。
2012-10-16 cs.LG stat.ML
Variance-Optimal Off-Policy Evaluation with Conjunct Effect Modeling
Spotify；Politecnico di Milano（米兰理工大学）
本文提出VOCEM估计器，通过插值OffCEM与DR并最小化方差，在23个条件下均优于两基线，实现更稳定的离线策略评估。
2026-10-07 cs.LG
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University（东北大学）
基于绿色仿真辅助策略梯度（GS-PG）的可重用性研究，本文考虑了无限时域马尔可夫决策过程，提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习，这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制，所提出的方法可以选择性地重用最相关的部分轨迹，即，重用单元基于每步骤或每决策的历史观察。具体而言，我们创建了一个混合似然比（MLR）的策略梯度优化，可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放（VRER）方法可以智能地选择和重用最相关的过渡观测值，提高策略梯度估计，加速最优策略的学习。我们的实证研究表明，它可以改善优化收敛，提高最先进的政策优化方法，如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
Variance-Reduced Conservative Policy Iteration
Google Research（谷歌研究院）；Princeton（普林斯顿大学）；Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛，而不是在策略梯度算法的参数空间中，因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代，提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下，该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性，改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
Doubly Optimal Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习策略评估方差大、数据需求高的问题，本文提出数据收集策略与处理基线最优组合的双重最优方法，理论证明其无偏且方差更低，实验验证了降方差效果与性能优势。
2025-03-20 cs.LG
Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization
École Polytechnique（巴黎综合理工学院）；HSE University（俄罗斯国立高等经济大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
强化学习（RL）中的策略梯度方法是一种非常普遍的方法，在实际应用中得到了广泛的应用，但其性能受到梯度估计的高方差的影响。提出了几种方法来减少它，包括演员-评论家（AC）和优势演员-评论家（A2 C）的方法。最近，由于深度RL的引入，这些方法有了新的视角：新的控制变量（CV）和新的子采样程序在神经网络等复杂模型的设置中变得可用。基于CV的方法的核心部分是CV训练的目标泛函，最流行的是A2 C的最小二乘准则。尽管这一标准在实践中取得了成功，但它并不是唯一可能的标准。在本文中，我们第一次调查的性能称为经验方差（EV）。我们在实验中观察到，不仅EV-标准执行不差于A2 C，但有时可以相当好。除此之外，我们还证明了一些理论保证的实际方差减少非常一般的假设下，并表明A2 C最小二乘目标泛函是EV目标的上界。我们的实验表明，在方差减少方面，基于EV的方法比A2 C好得多，并且允许更强的方差减少。
2022-06-15 cs.LG
Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds
Politecnico di Milano（米兰理工大学）；Budapest University of Technology and Economics（布达佩斯科技经济大学）；University of Milan（米兰大学）
本文提出防御性策略梯度算法，在无重要性权重方差假设下达到$O(\epsilon^{-3})$样本复杂度，并通过广义黑盒模型下界证明其速率最优，优于普通策略梯度。
2026-10-05 cs.LG
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University（重庆师范大学）；Dalian Maritime University（大连海事大学）；Minzu University of China（中央民族大学）
针对重要性采样导致策略优化代理目标方差过高的问题，本文推导方差上界并引入 dropout，提出通用框架及 D-PPO，在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida（中佛罗里达大学）
本文介绍了一种利用收益率序列的加权方差或加权时间差（TD）误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源，可以用来指导强化学习的探索。直觉是，收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进，进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面，我们的分析表明，这两个可以是有价值的指导探索。我们提出了一个双流网络架构，估计加权方差/TD内的DQN代理的错误，我们的探索方法，并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research（新加坡科技研究局）；Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于状态的重要性采样方法，通过在计算重要性权重时丢弃部分状态来降低方差，并展示了其在多种离线策略评估估计器中的变体，实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Mean-Variance Efficient Reinforcement Learning with Applications to Dynamic Financial Investment
Mizuho-DL Financial Technology Co., Ltd.（瑞穗数字金融科技有限公司）；Nomura Asset Management（野村资产管理公司）；CyberAgent, Inc.（CyberAgent公司）
本研究探讨强化学习中的均值-方差权衡问题，提出通过最大化预期二次效用来训练策略，从而获得位于帕累托有效前沿上的MV有效策略，避免了双重采样问题，并在动态金融投资等应用中验证了方法的有效性。
2024-11-12 cs.LG stat.ML
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Action-depedent Control Variates for Policy Optimization via Stein's Identity
UESTC（电子科技大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft（微软）；Google（谷歌）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法在解决具有挑战性的强化学习问题方面取得了显着的成功。然而，它仍然经常遭受的大方差问题的政策梯度估计，这导致在训练过程中的样本效率差。在这项工作中，我们提出了一个控制变量的方法，以有效地减少政策梯度方法的方差。受Stein恒等式的启发，我们的方法通过引入更一般的依赖于动作的基线函数，扩展了以前在REINFORCE和advantage actor-critic中使用的控制变量方法。实证研究表明，我们的方法显着提高了国家的最先进的政策梯度方法的样本效率。
2018-02-23 cs.LG stat.ML
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.（腾讯公司）；University of Manchester（曼彻斯特大学）
最近在深度强化学习（DRL）方法中的成功已经表明，通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中，我们表明，使用重要性采样可能会引入高方差的客观估计。具体来说，我们表明，在一个原则性的方式，重要性采样估计的方差增长的重要性比率和大的比率，从而可能危及代理目标优化的有效性。然后，我们提出了一种称为样本丢弃的技术，以约束估计方差的比例偏差太高时，丢弃样本。我们在代表性的策略优化算法（包括TRPO，PPO和ESPO）上实例化了这种示例辍学技术，并证明了它在连续和离散动作控制（包括MuJoCo，DMControl和Atari视频游戏）上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles（加州大学洛杉矶分校）
我们重新审视了Papini等人（2018）提出的用于强化学习的随机方差降低策略梯度（SVRPG）方法。我们提供了一个改进的SVRPG的收敛性分析，并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是（i）重要性采样权重的方差的更严格的上限，其中我们证明方差可以通过不同策略之间的参数距离来控制;以及（ii）对历元长度和批量大小参数进行细粒度分析，以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Stochastic Variance Reduction Methods for Policy Evaluation
本文提出基于线性函数逼近的策略评估方法，通过将经验策略评估问题转化为二次凸-凹鞍点问题，并设计了双变量批量梯度方法及两种随机方差缩减算法，实现线性缩放和线性收敛。
2017-06-09 cs.AI cs.LG cs.SY
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta（阿尔伯塔大学）
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中，代理学习与正在执行的策略不同的策略。为了说明差异，通常使用重要性采样比率，但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差，其中每决策重要性采样是最流行的。然而，在文献中的更新规则，大多数政策外的算法离开每决策重要性采样在一个微妙的方式，他们纠正整个TD的错误，而不仅仅是TD的目标。在这项工作中，我们展示了如何将这种轻微的变化解释为TD目标的控制变量，减少方差并提高性能。在广泛的算法上的实验表明，这种微妙的修改会提高性能。
2022-06-16 cs.LG
An Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）
由于更好的策略梯度技术的不断发展，机器人的强化学习方法越来越成功。精确（低方差）和准确（低偏差）的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧，这是众所周知的无偏，但高方差估计。更现代的方法利用重新参数化技巧，它提供了较低的方差梯度估计，但需要可微的价值函数逼近。在这项工作中，我们研究了一种不同类型的随机梯度估计-测度值导数。该估计是无偏的，具有低方差，并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置，并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧，无论是在低维和高维的动作空间。通过这项工作，我们希望表明，测度值导数估计可以是一个有用的替代其他策略梯度估计。
2022-03-08 cs.LG
