Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida(中佛罗里达大学)
本文介绍了一种利用收益率序列的加权方差或加权时间差(TD)误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源,可以用来指导强化学习的探索。直觉是,收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进,进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面,我们的分析表明,这两个可以是有价值的指导探索。我们提出了一个双流网络架构,估计加权方差/TD内的DQN代理的错误,我们的探索方法,并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.(腾讯公司);University of Manchester(曼彻斯特大学)
最近在深度强化学习(DRL)方法中的成功已经表明,通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中,我们表明,使用重要性采样可能会引入高方差的客观估计。具体来说,我们表明,在一个原则性的方式,重要性采样估计的方差增长的重要性比率和大的比率,从而可能危及代理目标优化的有效性。然后,我们提出了一种称为样本丢弃的技术,以约束估计方差的比例偏差太高时,丢弃样本。我们在代表性的策略优化算法(包括TRPO,PPO和ESPO)上实例化了这种示例辍学技术,并证明了它在连续和离散动作控制(包括MuJoCo,DMControl和Atari视频游戏)上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University(奥本大学);University of Iowa(爱荷华大学);Facebook AI Research(Facebook 人工智能研究院);Huawei Inc.(华为公司)
非策略策略优化是强化学习(RL)中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差,这导致差的样本效率,并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法,其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而,这些算法并不是为非策略设置而设计的,并且是存储效率低的,因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化,我们提出了一个算法家族,是内存效率,随机方差减少,并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University(同济大学)
本文研究了协作多智能体强化学习(MARL)中的分布式策略梯度,其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数,现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题,提出了一种具有方差缩减和梯度跟踪的分布式策略梯度,并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后,我们提供了一个上界的均方固定间隙,这取决于迭代次数,小批量的大小,历元的大小,问题的参数,和网络拓扑结构。我们进一步建立了样本和通信复杂性,以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta;Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
本文提出了一种理论框架,分析经验回放中偏差、方差和有限时间收敛性,揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们重新审视和改进的收敛性策略梯度(PG),自然PG(NPG)的方法,以及他们的方差减少变种,一般光滑的政策参数化。更具体地说,与政策的Fisher信息矩阵是正定的:i)我们表明,一个国家的最先进的方差减少PG方法,这已经被证明是收敛到平稳点,收敛到全局最优值的一些固有的函数逼近误差,由于政策参数化; ii)我们表明,NPG享有较低的样本复杂性; iii)我们提出了SRVR-NPG,它将方差缩减纳入NPG更新。我们的改进来自于一个观察,即(方差缩减)PG和NPG方法的收敛性可以相互改善:PG的平稳收敛性分析可以应用于NPG,以及和NPG的全局收敛性分析可以帮助建立(方差缩减)PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进,我们也使得NPG的方差减少成为可能,具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford(牛津大学);Auburn University(奥本大学)
本文提出了一个均值-方差策略迭代(MVPI)框架,用于贴现无限时域MDP中的风险厌恶控制,该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性,因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制,无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距,并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子,它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的,这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs
MIT(麻省理工学院);NVIDIA(英伟达)
VCPO通过动态调整学习率和最小方差基线,提升大语言模型异步训练的稳定性与效率。
2026-03-02 cs.AI cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于策略梯度的高方差,策略上优化算法受到低样本效率的困扰。在这项工作中,我们提出了增强-加强-合并(ARM)策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间,最近的ARM梯度估计离散随机变量模型的启发。我们表明,ARM的策略梯度估计实现方差减少与理论保证,并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning
Department of Foundation Model, 2012 Labs, Huawei(华为2012实验室基础模型部门);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
R²VPO通过正则化策略比率的方差,提升LLM微调的稳定性和数据效率。
2026-01-06 cs.AI cs.LG
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在本文中,我们提出了世界模型政策梯度(WMPG),一种使用学习世界模型(WM)来减少政策梯度估计方差的方法。在WMPG中,WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先,计算策略梯度的无替换估计。其次,想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加(CartPole,LunarLander和Pong),并发现WMPG具有更好的采样效率。基于这些结果,我们得出结论,WMPG可以产生增加的样本效率的情况下,一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
Politecnico di Milano(米兰理工大学);Università degli Studi di Milano(米兰大学)
针对策略梯度算法估计方差高的问题,提出含递归更新与防御重要性采样的无循环降方差策略梯度框架,证明其在弱梯度控制下的全局收敛性,且样本复杂度近极小极大最优。
2026-10-12 cs.AI cs.LG
Ratio-Variance Regularized Policy Optimization
Department of Foundation Model, 2012 Labs, Huawei(华为基础模型部门,2012实验室);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(上海智能自主系统研究院,同济大学);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
提出R²VPO方法,通过约束策略比率方差作为信任区域的局部近似,替代启发式裁剪,在LLM和机器人控制任务中提升性能与样本效率。
2026-05-26 cs.AI cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University(山东大学软件学院);School of Artificial Intelligence, Peking University(北京大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出Off-OAB方法,通过引入理论上最小化方差且保持无偏的最优动作依赖基线,降低离策略策略梯度估计方差,并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);OpenAI(开放人工智能研究中心)
策略梯度方法在深度强化学习中取得了巨大的成功,但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题,我们推导出一个无偏差的行动依赖的基线方差减少,充分利用随机政策本身的结构形式,并没有作出任何额外的假设MDP。我们通过理论分析和数值结果,包括最优状态依赖基线的次优性分析,证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法,它的规模高维控制问题,所证明的合成2000维目标匹配任务。我们的实验结果表明,动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后,我们表明,在基线中包括额外的信息,以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research(博世公司研究中心);Technical University Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题,提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案,构建通用策略优化算法QU-SAC,经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG
Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator
University of Southern California(南加州大学);T.U. Kaiserslautern(凯泽斯劳滕工业大学)
我们研究了REINFORCE策略梯度估计器在连续状态和动作空间、线性动态、二次成本和高斯噪声环境中的方差。这些简单的环境使我们能够根据环境和噪声参数推导出估计方差的界限。我们比较了我们的边界的预测模拟实验中的经验方差。
2019-10-02 cs.LG stat.ML
An Empirical Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(欧洲本田研究院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
由于更好的策略梯度技术的不断发展,机器人的强化学习方法越来越成功。精确(低方差)和准确(低偏差)的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧,这是众所周知的无偏,但高方差估计。更现代的方法利用重新参数化技巧,它提供了较低的方差梯度估计,但需要可微的价值函数逼近。在这项工作中,我们研究了一种不同类型的随机梯度估计:测度值导数。该估计是无偏的,具有低方差,并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置,并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧,无论是在低维和高维的动作空间。
2021-07-20 cs.AI cs.LG
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University(乔治华盛顿大学);Purdue University(普渡大学)
提出DPE算法,将序列建模与双策略估计结合,在统一框架中实现方差缩减,并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation
California Institute of Technology(加州理工学院);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学);University of California, Riverside(加州大学河滨分校);University of Virginia(弗吉尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对强化学习在线策略评估的高方差问题,提出双循环梯度算法学习鲁棒行为策略,其对转移扰动敏感性更低,可降低真实环境评估成本。
2026-08-26 cs.LG stat.ML
A Variance-Reduced Cubic-Regularized Newton for Policy Optimization
School of Computer Science and Engineering, Southeast University(计算机科学与工程学院,东南大学)
本文提出VR-CR-PN算法,首次将Hessian辅助的方差缩减与二阶策略优化结合,无需重要性采样即解决分布偏移问题,将样本复杂度降至 $\tilde{\mathcal{O}}(ε^{-3})$,并实现与步长无关的样本复杂度。
2025-07-14 cs.AI cs.LG
Offline Policy Optimization in RL with Variance Regularizaton
University of Toronto(多伦多大学);Vector Institute(向量研究所);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Princeton University(普林斯顿大学);Northwestern University(西北大学);Google Research(谷歌研究院);Deepmind Montreal(深度思维蒙特利尔分所)
从固定的离线数据集学习策略是将强化学习(RL)算法扩展到实际应用的关键挑战。这通常是因为非策略RL算法由于数据集和目标策略之间的不匹配而遭受分布偏移,导致高方差和价值函数的高估。在这项工作中,我们提出了离线RL算法的方差正则化,使用平稳分布校正。我们表明,通过使用Fenchel对偶,我们可以避免双采样问题计算的方差正则化的梯度。所提出的离线方差正则化(OVAR)算法可以用来增强任何现有的离线策略优化算法。我们表明,正则化导致离线策略优化目标的下限,这有助于避免高估错误,并解释了我们的方法在一系列连续控制域中的优势,与现有的最先进的算法相比。
2022-12-29 cs.LG
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学);Deepmind(深度思维)
策略梯度(PG)产生了丰富的一类强化学习(RL)方法。最近,已经出现了通过\emph{variance reduction}技术来加速现有PG方法(诸如REINFORCE)的趋势。然而,所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外,我们设计了一个截断随机增量方差减少的策略梯度(TSIVR-PG)方法,它不仅能够最大化的累积奖励和,但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性,我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment
该研究针对长 horizon 语言模型任务的信用分配问题,分析策略方差,得出其作为发现预算、受基尼离散度约束及剩余 horizon 决定估计成本等结论,提出自举法消除成本的思路,支持对数值参数化。
2026-08-25 cs.LG
Policy Gradient with Tree Expansion
NVIDIA Research(NVIDIA研究院);Technion University(以色列理工学院);Bar-Ilan University(巴伊兰大学)
本文提出SoftTreeMax,通过树扩展规划降低策略梯度方差,在Atari上实现三个数量级的方差减少,提升样本效率与性能。
2025-05-25 cs.AI cs.LG
Variance Reduction Based Experience Replay for Policy Optimization
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
本文提出VRER框架,通过选择性重用信息样本减少策略梯度估计的方差,从而提升策略优化效率。
2026-11-03 cs.LG stat.ML
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们扩展的时间差的政策评估算法的性能标准,包括方差的累积奖励。这些标准对风险管理很有用,在财务和流程控制等领域也很重要。我们提出了TD(0)和LSTD(lambda)变量与线性函数逼近,证明了它们的收敛性,并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Variance-Aware Off-Policy Evaluation with Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了基于线性函数逼近的强化学习中的离线策略评估(off-policy evaluation,OPE)问题,即基于行为策略收集的离线数据来估计目标策略的价值函数。我们建议将方差信息的价值函数,以提高样本效率的OPE。更具体地说,时间非齐次的情节线性马尔可夫决策过程(MDP),我们提出了一种算法,VA-OPE,它使用的估计方差的价值函数重新加权贝尔曼残差拟合Q-迭代。我们表明,我们的算法实现了更严格的误差界比最知名的结果。我们还提供了行为策略和目标策略之间的分布偏移的细粒度表征。大量的数值实验证实了我们的理论。
2022-01-04 cs.LG math.OC stat.ML
The Role of Baselines in Policy Gradient Optimization
Google Research(谷歌研究院);Mila(米拉研究所);McGill University(麦吉尔大学);University of Montreal(蒙特利尔大学);DeepMind(深度思维);Amii(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
研究了基线对策略内随机策略梯度优化的影响,弥补了策略优化方法理论与实践之间的差距。我们的第一个贡献是表明,\emph{state value}基线允许对政策的随机\emph{natural}策略梯度(NPG)收敛到一个全局最优的政策在$O(1/t)$率,这是以前不知道的。该分析依赖于两个新的发现:NPG更新的预期进度满足非均匀的NPG不等式的随机版本,并且在概率为1的情况下,状态值基线防止最佳动作的概率消失,从而确保充分的探索。重要的是,这些结果提供了一个新的理解随机策略梯度中的基线的作用:通过显示,自然策略梯度估计的方差仍然无界或没有基线,我们发现,方差减少\emph{cannot}解释他们在这种情况下的效用。相反,分析显示,价值基线的主要影响是对\textbf{reduce the aggressiveness of the updates}的影响,而不是它们的方差。也就是说,我们证明了一个有限的方差是\emph{not necessary}几乎肯定收敛的随机NPG,而控制更新的积极性是必要的和充分的。进一步的实验结果验证了这些理论发现。
2023-01-16 cs.AI cs.LG
Efficient Policy Evaluation with Safety Constraint for Reinforcement Learning
University of Virginia(弗吉尼亚大学)
针对强化学习同策略评估高方差且现有降方差方法缺乏安全保障的问题,提出安全约束下的最优最小方差行为策略,理论无偏且方差更低,实验验证其在降方差和安全性上均优于现有方法。
2025-03-20 cs.LG
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano(米兰理工大学);Inria(法国国家信息与自动化研究所)
在本文中,我们提出了一种新的强化学习算法,包括在随机方差减少版本的策略梯度解决马尔可夫决策过程(MDP)。随机方差缩减梯度(SVRG)方法在监督学习中已被证明是非常成功的。然而,它们对策略梯度的适应并不简单,需要考虑I)非凹目标函数; II)全梯度计算中的近似值;以及III)非平稳采样过程。其结果是SVRPG,一种随机方差减少的策略梯度算法,利用重要性权重来保持梯度估计的无偏性。根据标准假设,sumptions上的MDP,我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后,我们建议SVRPG的实际变体,我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington(惠灵顿维多利亚大学)
在具有连续动作空间的马尔可夫决策过程(MDP)上的深度强化学习(DRL)通常通过沿着估计的策略梯度(PG)的方向直接训练参数策略来实现。以前的研究表明,这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而,现有的PG合并方法可能是样本效率低,不适合训练直接确定性的政策。为了解决这些问题,本文引入精英PG,并加强其方差减少效果,采用精英主义和政策巩固技术,定期政策培训的基础上,从精英轨迹提取的政策行为知识。同时,我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展,传统的插值合并方法。在理论和实验两个层面上,我们表明,两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG,并减轻他们对训练有素的政策的性能影响。我们的实验还表明,两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Policy Gradients with Variance Related Risk Criteria
The Technion - Israel Institute of Technology(以色列理工学院)
动态决策问题中的风险管理在金融和过程控制等许多领域都是至关重要的。定义风险的最常见方法是通过各种与方差相关的标准,如夏普比率或标准差调整后的回报。众所周知,优化许多方差相关的风险标准是NP-难的。在本文中,我们设计了一个框架,局部策略梯度风格的强化学习算法的方差相关的标准。我们的出发点是一个新的公式,用于情景任务中的成本方差。使用这个公式,我们开发策略梯度算法的标准,涉及预期成本和方差的成本。我们证明了这些算法的收敛到局部极小值,并证明了它们在投资组合规划问题中的适用性。
2012-06-27 cs.CY cs.LG math.OC
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley(加州大学伯克利分校)
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统,例如玩视频游戏,模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而,这些方法不能保证找到最优随机策略,并且高方差梯度估计使收敛不稳定。为了解决这些问题,我们提出了一种技术,使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略,并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Variance-Optimal Off-Policy Evaluation with Conjunct Effect Modeling
Spotify;Politecnico di Milano(米兰理工大学)
本文提出VOCEM估计器,通过插值OffCEM与DR并最小化方差,在23个条件下均优于两基线,实现更稳定的离线策略评估。
2026-10-07 cs.LG
Stochastic Variance Reduction Methods for Policy Evaluation
本文提出基于线性函数逼近的策略评估方法,通过将经验策略评估问题转化为二次凸-凹鞍点问题,并设计了双变量批量梯度方法及两种随机方差缩减算法,实现线性缩放和线性收敛。
2017-06-09 cs.AI cs.LG cs.SY
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University(东北大学)
基于绿色仿真辅助策略梯度(GS-PG)的可重用性研究,本文考虑了无限时域马尔可夫决策过程,提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习,这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制,所提出的方法可以选择性地重用最相关的部分轨迹,即,重用单元基于每步骤或每决策的历史观察。具体而言,我们创建了一个混合似然比(MLR)的策略梯度优化,可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放(VRER)方法可以智能地选择和重用最相关的过渡观测值,提高策略梯度估计,加速最优策略的学习。我们的实证研究表明,它可以改善优化收敛,提高最先进的政策优化方法,如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
Doubly Optimal Policy Evaluation for Reinforcement Learning
University of Virginia(弗吉尼亚大学)
针对强化学习策略评估方差大、数据需求高的问题,本文提出数据收集策略与处理基线最优组合的双重最优方法,理论证明其无偏且方差更低,实验验证了降方差效果与性能优势。
2025-03-20 cs.LG
Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization
École Polytechnique(巴黎综合理工学院);HSE University(俄罗斯国立高等经济大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
强化学习(RL)中的策略梯度方法是一种非常普遍的方法,在实际应用中得到了广泛的应用,但其性能受到梯度估计的高方差的影响。提出了几种方法来减少它,包括演员-评论家(AC)和优势演员-评论家(A2 C)的方法。最近,由于深度RL的引入,这些方法有了新的视角:新的控制变量(CV)和新的子采样程序在神经网络等复杂模型的设置中变得可用。基于CV的方法的核心部分是CV训练的目标泛函,最流行的是A2 C的最小二乘准则。尽管这一标准在实践中取得了成功,但它并不是唯一可能的标准。在本文中,我们第一次调查的性能称为经验方差(EV)。我们在实验中观察到,不仅EV-标准执行不差于A2 C,但有时可以相当好。除此之外,我们还证明了一些理论保证的实际方差减少非常一般的假设下,并表明A2 C最小二乘目标泛函是EV目标的上界。我们的实验表明,在方差减少方面,基于EV的方法比A2 C好得多,并且允许更强的方差减少。
2022-06-15 cs.LG
Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods
Georgia Tech(佐治亚理工学院)
策略梯度方法在具有高维连续状态和动作空间的强化学习任务中已经证明是成功的。然而,策略梯度方法也是出了名的样本效率低下。这可以归因于,至少部分地,在估计的梯度的任务目标与蒙特卡罗方法的高方差。以前的研究已经endeavenly抗衡这个问题,通过研究控制变量(CV),可以减少估计的方差,而不引入偏见,包括早期使用的基线,状态依赖CV,和最近的状态动作依赖CV。在这项工作中,我们分析了以前的CV技术的属性和缺点,令人惊讶的是,我们发现,这些作品忽略了一个重要的事实,即蒙特卡罗梯度估计产生的轨迹的状态和行动。我们发现,忽略轨迹之间的相关性可能会导致次优的方差减少,我们提出了一个简单的解决方案:一类“随机”CV,可以进一步降低方差。我们表明,构建智能CV可以递归完成,只需要学习状态动作价值函数,如以前的CV的策略梯度。我们进一步证明了在合理的假设下,所提出的随机CV是最佳的方差减少。
2019-08-08 cs.LG stat.ML
Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds
Politecnico di Milano(米兰理工大学);Budapest University of Technology and Economics(布达佩斯科技经济大学);University of Milan(米兰大学)
本文提出防御性策略梯度算法,在无重要性权重方差假设下达到$O(\epsilon^{-3})$样本复杂度,并通过广义黑盒模型下界证明其速率最优,优于普通策略梯度。
2026-10-05 cs.LG
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University(重庆师范大学);Dalian Maritime University(大连海事大学);Minzu University of China(中央民族大学)
针对重要性采样导致策略优化代理目标方差过高的问题,本文推导方差上界并引入 dropout,提出通用框架及 D-PPO,在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles(加州大学洛杉矶分校)
我们重新审视了Papini等人(2018)提出的用于强化学习的随机方差降低策略梯度(SVRPG)方法。我们提供了一个改进的SVRPG的收敛性分析,并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是(i)重要性采样权重的方差的更严格的上限,其中我们证明方差可以通过不同策略之间的参数距离来控制;以及(ii)对历元长度和批量大小参数进行细粒度分析,以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Factored Policy Gradients: Leveraging Structure for Efficient Learning in MOMDPs
J. P. Morgan AI Research(摩根大通人工智能研究院)
策略梯度方法可以解决复杂的任务,但往往失败时,行动空间的维数或目标的多样性变得非常大。这部分是因为基于分数的梯度估计器的方差是二次缩放的。在本文中,我们解决这个问题,通过一个因素基线,利用独立结构编码在一个新的行动目标的影响网络。因子化的策略梯度(FPGs),这如下,提供了一个共同的框架,用于分析关键国家的最先进的算法,概括传统的策略梯度,并产生一个原则性的方式,将先验知识的问题域的生成过程。我们提供了一个分析建议的估计,并确定在何种条件下,方差减少。FPGs的算法方面进行了讨论,包括最佳的政策因式分解,其特征在于最小biclique覆盖,以及不正确地指定网络的偏差方差权衡的影响。最后,我们证明了我们的算法在大规模的土匪和交通路口的问题上的性能优势,后者提供了一个新的贡献,在空间近似的形式。
2021-11-23 cs.AI cs.LG cs.MA
Softmax gradient policy for variance minimization and risk-averse multi armed bandits
anonymous institute(匿名机构)
本文提出基于softmax参数化的算法,用于解决多臂老虎机问题中的方差最小化和风险厌恶决策,证明了算法收敛性,并通过实验验证了其有效性。
2026-09-24 cs.AI cs.LG cs.NA
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习,其中许多因素动态地影响输出轨迹,期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而,平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制,我们提出了一个通用的基于方差减少的经验回放(VRER)框架,该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明,所提出的VRER可以加快学习的最优策略,提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University(中山大学)
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战,由于动态规划的失败。在本文中,我们提出了一种新的方法来找到全局最优的政策,稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念,将原问题转化为一个双层MDP问题,其中内层是标准MDP优化伪均值-方差,外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP,我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法,可以找到全局最优的策略,通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性,进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知,我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
Sample Efficient Policy Gradient Methods with Recursive Variance Reduction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提高强化学习的样本效率是一个长期存在的研究问题。在这项工作中,我们的目标是减少现有的策略梯度方法的样本复杂度。我们提出了一种新的策略梯度算法SRVR-PG,它只需要$O(1/ε^{3/2})$事件来找到非凹性能函数$J(\boldsymbolθ)$的$ε$ -近似稳定点(即,$\boldsymbolθ$,使得$\|\nabla J(\boldsymbolθ)\|_2^2\leqε$)。这个样本的复杂性提高了现有的结果$O(1/ε^{5/3})$随机方差减少策略梯度算法的一个因素的$O(1/ε^{1/6})$。此外,我们还提出了一个变体的SRVR-PG参数探索,探索初始政策参数从先验概率分布。我们对强化学习中的经典控制问题进行了数值实验,以验证我们提出的算法的性能。
2021-08-01 cs.LG math.OC stat.ML