Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford(牛津大学);Auburn University(奥本大学)
本文提出了一个均值-方差策略迭代(MVPI)框架,用于贴现无限时域MDP中的风险厌恶控制,该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性,因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制,无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距,并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子,它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的,这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于策略梯度的高方差,策略上优化算法受到低样本效率的困扰。在这项工作中,我们提出了增强-加强-合并(ARM)策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间,最近的ARM梯度估计离散随机变量模型的启发。我们表明,ARM的策略梯度估计实现方差减少与理论保证,并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在本文中,我们提出了世界模型政策梯度(WMPG),一种使用学习世界模型(WM)来减少政策梯度估计方差的方法。在WMPG中,WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先,计算策略梯度的无替换估计。其次,想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加(CartPole,LunarLander和Pong),并发现WMPG具有更好的采样效率。基于这些结果,我们得出结论,WMPG可以产生增加的样本效率的情况下,一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法,提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Policy Gradients with Variance Related Risk Criteria
The Technion - Israel Institute of Technology(以色列理工学院)
动态决策问题中的风险管理在金融和过程控制等许多领域都是至关重要的。定义风险的最常见方法是通过各种与方差相关的标准,如夏普比率或标准差调整后的回报。众所周知,优化许多方差相关的风险标准是NP-难的。在本文中,我们设计了一个框架,局部策略梯度风格的强化学习算法的方差相关的标准。我们的出发点是一个新的公式,用于情景任务中的成本方差。使用这个公式,我们开发策略梯度算法的标准,涉及预期成本和方差的成本。我们证明了这些算法的收敛到局部极小值,并证明了它们在投资组合规划问题中的适用性。
2012-06-27 cs.CY cs.LG math.OC
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);OpenAI(开放人工智能研究中心)
策略梯度方法在深度强化学习中取得了巨大的成功,但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题,我们推导出一个无偏差的行动依赖的基线方差减少,充分利用随机政策本身的结构形式,并没有作出任何额外的假设MDP。我们通过理论分析和数值结果,包括最优状态依赖基线的次优性分析,证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法,它的规模高维控制问题,所证明的合成2000维目标匹配任务。我们的实验结果表明,动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后,我们表明,在基线中包括额外的信息,以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Sample Efficient Policy Gradient Methods with Recursive Variance Reduction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提高强化学习的样本效率是一个长期存在的研究问题。在这项工作中,我们的目标是减少现有的策略梯度方法的样本复杂度。我们提出了一种新的策略梯度算法SRVR-PG,它只需要$O(1/ε^{3/2})$事件来找到非凹性能函数$J(\boldsymbolθ)$的$ε$ -近似稳定点(即,$\boldsymbolθ$,使得$\|\nabla J(\boldsymbolθ)\|_2^2\leqε$)。这个样本的复杂性提高了现有的结果$O(1/ε^{5/3})$随机方差减少策略梯度算法的一个因素的$O(1/ε^{1/6})$。此外,我们还提出了一个变体的SRVR-PG参数探索,探索初始政策参数从先验概率分布。我们对强化学习中的经典控制问题进行了数值实验,以验证我们提出的算法的性能。
2021-08-01 cs.LG math.OC stat.ML
Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator
University of Southern California(南加州大学);T.U. Kaiserslautern(凯泽斯劳滕工业大学)
我们研究了REINFORCE策略梯度估计器在连续状态和动作空间、线性动态、二次成本和高斯噪声环境中的方差。这些简单的环境使我们能够根据环境和噪声参数推导出估计方差的界限。我们比较了我们的边界的预测模拟实验中的经验方差。
2019-10-02 cs.LG stat.ML
An Alternative to Variance: Gini Deviation for Risk-averse Policy Gradient
University of Oxford(牛津大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学)
针对风险规避强化学习中基于方差的风险度量方法存在数值尺度敏感、阻碍策略学习等局限,提出用基尼偏差替代方差,推导了相应策略梯度算法,实验证明其可在方差和基尼偏差维度实现高回报低风险。
2023-11-02 cs.AI cs.LG
Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation
California Institute of Technology(加州理工学院);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学);University of California, Riverside(加州大学河滨分校);University of Virginia(弗吉尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对强化学习在线策略评估的高方差问题,提出双循环梯度算法学习鲁棒行为策略,其对转移扰动敏感性更低,可降低真实环境评估成本。
2026-08-26 cs.LG stat.ML
Stochastic Variance Reduction Methods for Policy Evaluation
本文提出基于线性函数逼近的策略评估方法,通过将经验策略评估问题转化为二次凸-凹鞍点问题,并设计了双变量批量梯度方法及两种随机方差缩减算法,实现线性缩放和线性收敛。
2017-06-09 cs.AI cs.LG cs.SY
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学);Deepmind(深度思维)
策略梯度(PG)产生了丰富的一类强化学习(RL)方法。最近,已经出现了通过\emph{variance reduction}技术来加速现有PG方法(诸如REINFORCE)的趋势。然而,所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外,我们设计了一个截断随机增量方差减少的策略梯度(TSIVR-PG)方法,它不仅能够最大化的累积奖励和,但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性,我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
Variance Reduction Based Experience Replay for Policy Optimization
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
本文提出VRER框架,通过选择性重用信息样本减少策略梯度估计的方差,从而提升策略优化效率。
2026-11-03 cs.LG stat.ML
Variance-Reduced Conservative Policy Iteration
Google Research(谷歌研究院);Princeton(普林斯顿大学);Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛,而不是在策略梯度算法的参数空间中,因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代,提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下,该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性,改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们扩展的时间差的政策评估算法的性能标准,包括方差的累积奖励。这些标准对风险管理很有用,在财务和流程控制等领域也很重要。我们提出了TD(0)和LSTD(lambda)变量与线性函数逼近,证明了它们的收敛性,并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Policy Gradient Optimal Correlation Search for Variance Reduction in Monte Carlo simulation and Maximum Optimal Transport
Sorbonne Université(索邦大学)
本文提出用深度神经网络结合策略梯度与强化学习搜索最优路径相关性,以降低随机微分方程蒙特卡洛估计的方差,并建立其与最大最优传输的联系。
2023-09-15 cs.LG math.OC stat.ML
Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University(西北大学);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学);Duke University(杜克大学);Yale University(耶鲁大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文首次在平均奖励设定下研究方差约束的风险敏感深度强化学习,通过拉格朗日对偶与Fenchel对偶将原问题转化为无约束鞍点优化问题,提出行动者-评论家算法,并证明其能以次线性速率找到全局最优策略。
2023-09-17 cs.LG math.OC stat.ML
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano(米兰理工大学);Inria(法国国家信息与自动化研究所)
在本文中,我们提出了一种新的强化学习算法,包括在随机方差减少版本的策略梯度解决马尔可夫决策过程(MDP)。随机方差缩减梯度(SVRG)方法在监督学习中已被证明是非常成功的。然而,它们对策略梯度的适应并不简单,需要考虑I)非凹目标函数; II)全梯度计算中的近似值;以及III)非平稳采样过程。其结果是SVRPG,一种随机方差减少的策略梯度算法,利用重要性权重来保持梯度估计的无偏性。根据标准假设,sumptions上的MDP,我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后,我们建议SVRPG的实际变体,我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida(中佛罗里达大学)
本文介绍了一种利用收益率序列的加权方差或加权时间差(TD)误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源,可以用来指导强化学习的探索。直觉是,收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进,进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面,我们的分析表明,这两个可以是有价值的指导探索。我们提出了一个双流网络架构,估计加权方差/TD内的DQN代理的错误,我们的探索方法,并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington(惠灵顿维多利亚大学)
在具有连续动作空间的马尔可夫决策过程(MDP)上的深度强化学习(DRL)通常通过沿着估计的策略梯度(PG)的方向直接训练参数策略来实现。以前的研究表明,这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而,现有的PG合并方法可能是样本效率低,不适合训练直接确定性的政策。为了解决这些问题,本文引入精英PG,并加强其方差减少效果,采用精英主义和政策巩固技术,定期政策培训的基础上,从精英轨迹提取的政策行为知识。同时,我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展,传统的插值合并方法。在理论和实验两个层面上,我们表明,两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG,并减轻他们对训练有素的政策的性能影响。我们的实验还表明,两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley(加州大学伯克利分校)
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统,例如玩视频游戏,模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而,这些方法不能保证找到最优随机策略,并且高方差梯度估计使收敛不稳定。为了解决这些问题,我们提出了一种技术,使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略,并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University(同济大学)
本文研究了协作多智能体强化学习(MARL)中的分布式策略梯度,其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数,现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题,提出了一种具有方差缩减和梯度跟踪的分布式策略梯度,并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后,我们提供了一个上界的均方固定间隙,这取决于迭代次数,小批量的大小,历元的大小,问题的参数,和网络拓扑结构。我们进一步建立了样本和通信复杂性,以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.(腾讯公司);University of Manchester(曼彻斯特大学)
最近在深度强化学习(DRL)方法中的成功已经表明,通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中,我们表明,使用重要性采样可能会引入高方差的客观估计。具体来说,我们表明,在一个原则性的方式,重要性采样估计的方差增长的重要性比率和大的比率,从而可能危及代理目标优化的有效性。然后,我们提出了一种称为样本丢弃的技术,以约束估计方差的比例偏差太高时,丢弃样本。我们在代表性的策略优化算法(包括TRPO,PPO和ESPO)上实例化了这种示例辍学技术,并证明了它在连续和离散动作控制(包括MuJoCo,DMControl和Atari视频游戏)上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods
Georgia Tech(佐治亚理工学院)
策略梯度方法在具有高维连续状态和动作空间的强化学习任务中已经证明是成功的。然而,策略梯度方法也是出了名的样本效率低下。这可以归因于,至少部分地,在估计的梯度的任务目标与蒙特卡罗方法的高方差。以前的研究已经endeavenly抗衡这个问题,通过研究控制变量(CV),可以减少估计的方差,而不引入偏见,包括早期使用的基线,状态依赖CV,和最近的状态动作依赖CV。在这项工作中,我们分析了以前的CV技术的属性和缺点,令人惊讶的是,我们发现,这些作品忽略了一个重要的事实,即蒙特卡罗梯度估计产生的轨迹的状态和行动。我们发现,忽略轨迹之间的相关性可能会导致次优的方差减少,我们提出了一个简单的解决方案:一类“随机”CV,可以进一步降低方差。我们表明,构建智能CV可以递归完成,只需要学习状态动作价值函数,如以前的CV的策略梯度。我们进一步证明了在合理的假设下,所提出的随机CV是最佳的方差减少。
2019-08-08 cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们重新审视和改进的收敛性策略梯度(PG),自然PG(NPG)的方法,以及他们的方差减少变种,一般光滑的政策参数化。更具体地说,与政策的Fisher信息矩阵是正定的:i)我们表明,一个国家的最先进的方差减少PG方法,这已经被证明是收敛到平稳点,收敛到全局最优值的一些固有的函数逼近误差,由于政策参数化; ii)我们表明,NPG享有较低的样本复杂性; iii)我们提出了SRVR-NPG,它将方差缩减纳入NPG更新。我们的改进来自于一个观察,即(方差缩减)PG和NPG方法的收敛性可以相互改善:PG的平稳收敛性分析可以应用于NPG,以及和NPG的全局收敛性分析可以帮助建立(方差缩减)PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进,我们也使得NPG的方差减少成为可能,具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习,其中许多因素动态地影响输出轨迹,期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而,平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制,我们提出了一个通用的基于方差减少的经验回放(VRER)框架,该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明,所提出的VRER可以加快学习的最优策略,提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Residual Policy Learning for Powertrain Control
Clemson University(克莱姆森大学);Allison Transmission Inc.(艾里逊变速箱公司)
生态驾驶策略已被证明可以显著降低燃料消耗。本文概述了一种主动驾驶辅助方法,使用剩余策略学习(RPL)代理培训提供剩余的行动,默认的功率训练控制器,同时平衡燃料消耗对其他驾驶员住宿目标。利用以前的经验,我们的RPL代理学习改进的牵引扭矩和换档剩余策略,以使动力系统的操作适应环境中的变化和不确定性。为了进行比较,我们考虑从头开始训练的传统强化学习(RL)代理。这两个代理商采用了关闭政策的最大后验概率策略优化算法与演员批评的架构。通过在各种汽车跟随场景中的模拟商用车上实现,我们发现RPL代理与基线源策略相比快速学习显着改进的策略,但在某些方面不如从头开始训练的RL代理最终可能的策略。
2022-12-15 cs.AI cs.LG cs.SY
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
使强化学习(RL)代理能够利用知识库,同时从经验中学习,有望在知识密集型领域推进RL。然而,事实证明,很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法,能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率,并推广到常识游戏中看不见的对象,但我们也研究了故障模式,如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University(中山大学)
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战,由于动态规划的失败。在本文中,我们提出了一种新的方法来找到全局最优的政策,稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念,将原问题转化为一个双层MDP问题,其中内层是标准MDP优化伪均值-方差,外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP,我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法,可以找到全局最优的策略,通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性,进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知,我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta;Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
本文提出了一种理论框架,分析经验回放中偏差、方差和有限时间收敛性,揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York(纽约市哥伦比亚大学)
本文针对无模型LQR问题,提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法,将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs
MIT(麻省理工学院);NVIDIA(英伟达)
VCPO通过动态调整学习率和最小方差基线,提升大语言模型异步训练的稳定性与效率。
2026-03-02 cs.AI cs.LG
Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于混合一步与两步贝尔曼残差及自适应评论家表示的离线策略评估方法,通过数据依赖的核表示和样本分割控制过拟合,在模拟与MetaWorld任务中验证了中间残差组合对值估计的改进效果。
2026-09-29 cs.LG stat.ML
Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning
Department of Foundation Model, 2012 Labs, Huawei(华为2012实验室基础模型部门);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
R²VPO通过正则化策略比率的方差,提升LLM微调的稳定性和数据效率。
2026-01-06 cs.AI cs.LG
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Residual Q-Learning: Offline and Online Policy Customization without Value
University of California Berkeley(加州大学伯克利分校);Toyota Research Institute, USA(丰田研究院)
本文提出残差Q学习框架,在无需先验策略价值函数或固有奖励的情况下,通过结合示范固有奖励与下游任务附加奖励的MDP,实现离线和在线策略定制。
2024-01-15 cs.AI cs.LG
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley(加州大学伯克利分校)
本文提出残差策略梯度(RPG),将残差Q学习扩展到策略梯度方法,实现策略定制,并从奖励视角重新审视KL正则化目标,实验验证其有效性。
2025-05-23 cs.LG
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
Politecnico di Milano(米兰理工大学);Università degli Studi di Milano(米兰大学)
针对策略梯度算法估计方差高的问题,提出含递归更新与防御重要性采样的无循环降方差策略梯度框架,证明其在弱梯度控制下的全局收敛性,且样本复杂度近极小极大最优。
2026-10-12 cs.AI cs.LG
Ratio-Variance Regularized Policy Optimization
Department of Foundation Model, 2012 Labs, Huawei(华为基础模型部门,2012实验室);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(上海智能自主系统研究院,同济大学);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
提出R²VPO方法,通过约束策略比率方差作为信任区域的局部近似,替代启发式裁剪,在LLM和机器人控制任务中提升性能与样本效率。
2026-05-26 cs.AI cs.LG
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University(乔治华盛顿大学);Purdue University(普渡大学)
提出DPE算法,将序列建模与双策略估计结合,在统一框架中实现方差缩减,并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Offline Policy Optimization in RL with Variance Regularizaton
University of Toronto(多伦多大学);Vector Institute(向量研究所);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Princeton University(普林斯顿大学);Northwestern University(西北大学);Google Research(谷歌研究院);Deepmind Montreal(深度思维蒙特利尔分所)
从固定的离线数据集学习策略是将强化学习(RL)算法扩展到实际应用的关键挑战。这通常是因为非策略RL算法由于数据集和目标策略之间的不匹配而遭受分布偏移,导致高方差和价值函数的高估。在这项工作中,我们提出了离线RL算法的方差正则化,使用平稳分布校正。我们表明,通过使用Fenchel对偶,我们可以避免双采样问题计算的方差正则化的梯度。所提出的离线方差正则化(OVAR)算法可以用来增强任何现有的离线策略优化算法。我们表明,正则化导致离线策略优化目标的下限,这有助于避免高估错误,并解释了我们的方法在一系列连续控制域中的优势,与现有的最先进的算法相比。
2022-12-29 cs.LG
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University(山东大学软件学院);School of Artificial Intelligence, Peking University(北京大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出Off-OAB方法,通过引入理论上最小化方差且保持无偏的最优动作依赖基线,降低离策略策略梯度估计方差,并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment
该研究针对长 horizon 语言模型任务的信用分配问题,分析策略方差,得出其作为发现预算、受基尼离散度约束及剩余 horizon 决定估计成本等结论,提出自举法消除成本的思路,支持对数值参数化。
2026-08-25 cs.LG
Accelerating Residual Reinforcement Learning with Uncertainty Estimation
本文提出改进残差强化学习方法,通过不确定性估计提升样本效率,并使其适用于随机基策略。在Robosuite和D4RL任务中,该方法在多种模拟环境和现实部署中均表现优异。
2026-03-13 cs.AI cs.LG cs.RO
Off-Policy Risk Assessment in Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了解决安全性与人类偏好的一致性以及学习效率等不同目的,越来越多的强化学习研究关注依赖于整个收益分布的风险泛函。最近的工作\emph{off-policy risk assessment}(OPRA)的上下文土匪介绍了一致的估计目标政策的CDF的回报以及有限的样本保证,扩展到(并同时举行)所有的风险。在本文中,我们解除OPRA马尔可夫决策过程(MDPs),其中重要性采样(IS)CDF估计遭受高方差较长的轨迹,由于有效样本量小。为了缓解这些问题,我们将基于模型的估计开发的第一个双稳健(DR)估计CDF的回报MDP。该估计量具有显著较小的方差,并且当模型被很好地指定时,达到Cramer-Rao方差下限。此外,对于许多风险泛函,下游估计享有更低的偏差和更低的方差。此外,我们推导出了第一个极大极小的下边界的非政策CDF和风险估计,这与我们的误差界匹配到一个常数因子。最后,我们证明了我们的DR CDF估计在几个不同的环境实验的精度。
2022-09-21 cs.AI cs.LG stat.ML
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research(博世公司研究中心);Technical University Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题,提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案,构建通用策略优化算法QU-SAC,经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG