How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization
MILA(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);NNAISENSE(恩奈瑟思)
用于连续控制的确定性策略行动者-批评者算法通过将其行动插入批评者并使行动值梯度上升来改进行动者,该行动值梯度通过将行动者的雅可比矩阵与批评者相对于输入行动的梯度链接来获得。然而,批评者通常只接受训练以准确预测预期回报,而不是梯度,这本身对政策优化毫无用处。在本文中,我们提出了MAGE,一个基于模型的actor-critic算法,接地理论的策略梯度,明确学习的动作值梯度。MAGE反向传播通过学习动态计算梯度目标的时间差异学习,导致一个批评家定制的政策改进。在一组MuJoCo连续控制任务上,我们证明了该算法与无模型和基于模型的最先进基线相比的效率。
2020-10-22 cs.AI cs.LG stat.ML
On Policy Gradients
Technische Universität Darmstadt(达姆施塔特工业大学)
策略梯度方法的目标是在给定的一类策略中找到最大化期望收益的策略。给定策略的可微模型,我们希望应用梯度上升技术来达到局部最优。我们主要使用梯度上升,因为它在理论上已经研究得很好了。主要的问题是,相对于预期收益的策略梯度是不可用的,因此我们需要估计它。由于策略梯度算法也倾向于需要在政策上的数据来估计梯度,它们最大的弱点是样本效率。由于这个原因,大多数研究集中在寻找具有改进的样本效率的算法。本文提供了一个正式的介绍策略梯度,显示了策略梯度方法的发展,并应使读者遵循当前的研究主题。
2019-11-12 cs.LG stat.ML
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University(哥伦比亚大学)
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索,其确定伪动作上的概率分布(即,采样参数)作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明,直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点,并提供了有意义的改进,即使在长时间的问题,标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Ranking Policy Gradient
Michigan State University(密歇根州立大学)
样本低效是强化学习(RL)中一个长期存在的问题。最先进的估计最优动作值,而它通常涉及到广泛的搜索状态动作空间和不稳定的优化。对于样本有效的强化学习,我们提出了排名策略梯度(RPG),一个策略梯度方法,学习一组离散动作的最佳排名。为了加速策略梯度方法的学习,我们建立了收益下限最大化和在不访问任何预言机的情况下模仿接近最优策略之间的等价性。这些结果导致一个通用的离策略学习框架,保持最优性,减少方差,提高样本效率。此外,RPG的样本复杂度不依赖于状态空间的维数,这使得RPG的大规模问题。我们进行了大量的实验表明,当巩固与离策略学习框架,RPG大大降低了样本的复杂性,与国家的最先进的。
2019-11-26 cs.AI cs.LG stat.ML
Towards Provable Log Density Policy Gradient
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对策略梯度估计中的残差误差,提出利用状态-动作折扣分布的对数密度梯度,并给出TD近似与仅需同策略样本的min-max优化,证明其唯一性、收敛性及m^{-1/2}样本复杂度。
2024-03-03 cs.AI cs.LG stat.ML
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta(阿尔伯塔大学)
策略梯度方法被广泛用于强化学习中的控制,特别是用于连续动作设置。由于策略梯度定理的存在,提供了一个简化的形式的梯度,已经有大量的理论上合理的算法提出的策略设置。然而,在离策略学习中,行为策略不一定试图学习和遵循给定任务的最优策略,这样的定理的存在是难以捉摸的。在这项工作中,我们解决了这个开放的问题,提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重(ACE)$\unicode{x2014}$,近似的简化梯度提供的定理。我们证明了在一个简单的反例,以前的政策外的策略梯度方法$\unicode{x2014}$,特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案,而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出k步策略梯度方法,通过结合k步时间窗口内的随机性,解决受限策略类中因策略梯度短视导致的局部极值问题,并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
Combining policy gradient and Q-learning
Deepmind
策略梯度是用于在强化学习设置中改进策略的有效技术。然而,vanilla在线变体仅适用于政策,无法利用政策外数据。在本文中,我们描述了一种新的技术,结合了策略梯度与非策略Q学习,从重放缓冲区的经验。这是通过在正则化策略梯度算法的不动点和Q值之间建立联系来激发的。这种连接使我们能够从策略的动作偏好中估计Q值,并对其应用Q学习更新。我们将新技术称为“PGQL”,用于策略梯度和Q学习。我们还建立了行动值拟合技术和演员评论家算法之间的等价性,表明正则化的策略梯度技术可以被解释为优势函数学习算法。我们得出结论,一些数值例子表明,提高数据效率和稳定性的PGQL。特别是,我们在全套Atari游戏上测试了PGQL,并实现了超过异步优势演员-评论家(A3 C)和Q学习的性能。
2017-04-07 cs.AI cs.LG math.OC
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge(剑桥大学);DeepMind;Max Planck Institute(马克斯·普朗克研究所);Uber AI Labs(Uber人工智能实验室);UC Berkeley(加州大学伯克利分校)
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面,策略算法通常更稳定,更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明,具有价值函数估计器的非策略更新可以用策略策略梯度更新插值,同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法,最近提出的几个算法是这个家庭的特殊情况。然后,我们提供了一个实证比较这些技术与其余的算法细节固定,并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一,对偏离策略更新引入的偏差具有理论保证,并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University(麦吉尔大学)
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法,如GTD和TDC/GQ,即使在使用函数近似和增量更新时也会收敛。然而,它们是针对固定行为策略的情况而开发的。在控制问题中,人们希望随着时间的推移调整行为策略,使其相对于现有的价值函数变得更加贪婪。在本文中,我们提出了第一个基于梯度的学习算法,该算法依赖于策略梯度的框架,以修改行为策略。我们提出的算法,收敛定理,推导和经验证据表明,他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在本文中,我们提出了世界模型政策梯度(WMPG),一种使用学习世界模型(WM)来减少政策梯度估计方差的方法。在WMPG中,WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先,计算策略梯度的无替换估计。其次,想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加(CartPole,LunarLander和Pong),并发现WMPG具有更好的采样效率。基于这些结果,我们得出结论,WMPG可以产生增加的样本效率的情况下,一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
Faster Policy Learning with Continuous-Time Gradients
University of Washington(华盛顿大学)
我们研究了具有已知动态的连续时间系统的策略梯度估计问题。通过重构连续时间的策略学习,我们证明了构造一个更有效和更精确的梯度估计器是可能的。标准的反向传播时间估计器(BPTT)计算连续时间系统的粗略离散化的精确梯度。相比之下,我们近似连续时间梯度在原始系统中。随着估计连续时间梯度的明确目标,我们能够自适应地离散化,并构造一个更有效的策略梯度估计,我们称之为连续时间策略梯度(CTPG)。我们表明,更有效的CTPG估计结果更快,更强大的学习,在各种控制任务和模拟器取代BPTT策略梯度。
2021-06-24 cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司);Duke University(杜克大学)
在本文中,我们提出了一种新的算法命名为STORM-PG(STORM-PG),它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界,与策略梯度算法的最佳收敛速度相匹配。同时,STORM-PG避免了大批量和小批量之间的交替,这在可比的方差减少的策略梯度方法中持续存在,允许相当简单的参数调整。数值实验表明,我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
An operator view of policy gradient methods
Google Brain(谷歌大脑)
我们铸造的策略梯度方法作为两个运营商的重复应用:一个政策改进运营商$\mathcal{I}$,它映射任何政策$π$到一个更好的$\mathcal{I}π$,和一个投影运营商$\mathcal{P}$,它发现的最佳近似$\mathcal{I}π$在一组可实现的政策。我们使用这个框架来介绍传统的策略梯度方法,如REINFORCE和PPO,这导致了更好地了解他们原来的同行基于操作员的版本。我们还使用我们开发的$\mathcal{I}$和$\mathcal{P}$的作用的理解,提出了一个新的全球预期收益的下限。这种新的视角使我们能够进一步弥合基于政策和基于价值的方法之间的差距,例如,展示了REINFORCE和Bellman最优性算子如何被视为同一枚硬币的两面。
2020-10-22 cs.AI cs.LG stat.ML
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学)
非策略深度强化学习(RL)算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习,这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为,大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题,然后提出了一种约束状态分布偏移的离线策略优化方法。为此,我们首先使用密度估计器基于状态的特征来估计状态分布,然后开发一种新的约束非策略梯度目标,其最小化状态分布偏移。我们的连续控制任务的实验结果表明,最大限度地减少这种分布不匹配,可以显着提高性能,在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford(牛津大学)
我们提出了一个新的目标,反事实的目标,统一现有的目标,政策外的策略梯度算法在持续的强化学习(RL)设置。通常使用的偏移目标,这可能会误导部署时的目标策略的性能相比,我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度,并使用一个无偏的方法来获得一个无偏的样本,从这个策略梯度,产生广义的政策外Actor-Critic(Geoff-PAC)算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点,这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多目前部署的强化学习代理在与人类共享的环境中工作,无论是同事,用户还是客户。人们希望这些智能体能够适应人们的偏好,在他们的帮助下更快地学习,并在他们周围安全地行动。我们认为,目前大多数从人类反馈中学习的方法都是不安全的:事后奖励或惩罚代理人不能立即防止它做错事。在本文中,我们扩展了策略梯度,使其强大的外部指令,否则将打破从根本上的政策性质的策略梯度。我们的技术,定向策略梯度(DPG),允许教师或备份策略覆盖代理之前,它的行为不可取的,同时允许代理利用人类的建议或指令,以更快地学习。我们的实验表明,DPG使代理学习速度比基于奖励的方法快得多,同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Gradient-Aware Model-based Policy Search
Politecnico di Milano(米兰理工大学)
传统的基于基于模型的强化学习方法学习环境动态的模型,而没有明确考虑代理将如何使用它。在存在错误指定的模型类的情况下,这可能导致较差的估计,因为一些相关的可用信息被忽略。在本文中,我们介绍了一种新的基于模型的政策搜索方法,利用知识的当前代理政策学习一个近似的过渡模型,专注于部分的环境,最相关的政策改进。我们利用加权方案,来自基于模型的策略梯度估计的误差最小化,以定义一个合适的目标函数,优化学习的近似过渡模型。然后,我们将此过程集成到一个批处理策略改进算法中,称为基于模型的策略搜索(GAMPS),它迭代地学习过渡模型,并使用它与收集的轨迹一起计算新的策略参数。最后,我们在基准域上对GAMPS进行了实证验证,分析和讨论了它的性质。
2019-11-20 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
On the Convergence of Discounted Policy Gradient Methods
Autonomous Learning Laboratory(自主学习实验室);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多流行的强化学习策略梯度方法遵循对策略梯度的有偏近似,称为折扣近似。虽然已经证明了策略梯度的贴现近似不是任何目标函数的梯度,但对其收敛行为或性质知之甚少。在本文中,我们表明,如果贴现近似如下,折扣因子缓慢增加的速度相关的下降学习率,由此产生的方法恢复的标准保证梯度上升的未贴现的目标。
2023-01-09 cs.AI cs.LG
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal(微软蒙特利尔研究院)
在强化学习中,给定状态下的最优行为取决于后续状态下的策略决策。因此,学习目标随着时间的推移而演变,并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中,我们发现,策略梯度定理规定的政策更新,是缓慢的遗忘,因为它们的结构对称性的价值目标。为了提高学习速度,我们研究了一种新的策略更新:交叉熵损失的梯度相对于动作最大化$q$,但发现这样的更新可能会导致价值的下降。因此,我们引入了一个修改后的政策更新没有这个缺陷,并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外,我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后,我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
Lifelong Policy Gradient Learning of Factored Policies for Faster Training Without Forgetting
University of Pennsylvania(宾夕法尼亚大学);University of Western Ontario(西安大略大学)
策略梯度方法在高维动力系统的控制策略学习中取得了成功。它们最大的缺点是在产生高性能政策之前需要进行大量的探索。在终身学习环境中,智能体在其生命周期中面临多个连续的任务,重用以前看到的任务的信息可以大大加快新任务的学习。我们提供了一种新的终身策略梯度学习方法,直接通过策略梯度训练终身函数逼近器,使代理受益于整个训练过程中积累的知识。我们的经验表明,我们的算法学习速度更快,收敛到更好的政策比单任务和终身学习基线,并完全避免了灾难性遗忘在各种具有挑战性的领域。
2020-10-21 cs.AI cs.LG stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
Expected Policy Gradients
Department of Computer Science, University of Oxford(牛津大学计算机科学系);University of Oxford(牛津大学);Wolfson Building, Parks Road, Oxford OX1 3QD(牛津大学沃尔夫森大楼(Parks Road, Oxford OX1 3QD))
我们提出了预期策略梯度(EPG),它统一了强化学习的随机策略梯度(SPG)和确定性策略梯度(DPG)。受预期的Sarsa的启发,EPG在估计梯度时集成了整个动作,而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理,其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明,EPG降低了梯度估计的方差,而不需要确定性的政策,高斯的情况下,没有计算开销。最后,我们表明,在一定意义上,它是最优的探索与高斯政策,使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实,这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Statistically Efficient Off-Policy Policy Gradients
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的策略梯度方法通过在策略值的估计梯度的方向上采取步骤来更新策略参数。在本文中,我们考虑统计有效的估计政策梯度从政策外的数据,估计是特别不平凡的。我们推导出可行的均方误差在马尔可夫和非马尔可夫决策过程的渐近下界,并表明现有的估计无法实现它在一般设置。我们提出了一个元算法,实现了下界没有任何参数假设,并表现出独特的3路双鲁棒性。我们讨论了如何估计算法所依赖的干扰。最后,我们建立保证的速度,我们接近一个稳定的点,当我们采取步骤,我们的新估计的政策梯度的方向。
2020-02-20 cs.LG math.OC stat.ML
Fourier Policy Gradients
University of Oxford(牛津大学)
我们提出了一种为强化学习推导策略梯度更新的新方法。我们的技术,基于傅立叶分析,重铸积分出现预期的策略梯度卷积,并把它们变成乘法。所获得的分析解决方案使我们能够在广泛的设置中捕获EPG的低方差优势。对于批评者,我们对待三角和径向基函数,两个函数的家庭与普遍的逼近性质。策略的选择几乎可以是任意的,包括混合或混合连续-离散概率分布。此外,我们推导出一个一般家庭的基于样本的估计随机策略梯度,统一现有的结果基于样本的近似。我们相信,这种技术有潜力塑造下一代的策略梯度方法,由分析结果提供动力。
2018-05-30 cs.AI cs.LG
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
策略梯度定理(Sutton等人,2000)规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设,引入了可能导致收敛到差解的分布偏移。在本文中,我们提出了一种新的方法,重建的策略梯度从开始状态,而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化,由于新的梯度Bellman方程,可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流,我们开发的第一个估计,回避了分布偏移的问题,在一个无模型的方式。我们证明,在一定的可实现性条件下,我们的估计是无偏的,无论抽样策略。我们的经验表明,我们的技术实现了优越的偏差方差权衡和性能的存在下,关闭政策的样本。
2022-07-07 cs.AI cs.LG
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom(曼彻斯特大学,英国)
本文提出RAT方法,通过直接反向传播估计正则化自然策略梯度,解决了传统方法中估计和求逆Fisher矩阵成本高的问题,实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
Sample Complexity of Estimating the Policy Gradient for Nearly Deterministic Dynamical Systems
University of Pennsylvania(宾夕法尼亚大学)
强化学习是一种很有前途的机器人控制器学习方法。最近已经表明,基于策略梯度的有限差分估计的算法与基于策略梯度定理的算法具有竞争力。我们提出了一个理论框架来理解这种现象。我们的关键见解是,许多动力系统(特别是那些感兴趣的机器人控制任务)几乎是确定性的-即,它们可以被建模为具有小的随机扰动的确定性系统。我们表明,对于这样的系统,有限差分估计的策略梯度可以有大大低于估计的基础上的策略梯度定理的方差。最后,我们实证评估我们的见解在倒立摆实验。
2021-10-11 cs.LG stat.ML
Is the Policy Gradient a Gradient?
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对策略梯度方法省略折扣因子后产生的更新是否为梯度这一开放问题,证明该更新不一定等于任何函数的梯度,构造反例说明其会导致策略收敛到全局最差,指出领域内存在广泛误解。
2026-10-19 cs.LG stat.ML
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne(科隆大学)
本文系统综述深度强化学习中的同策略策略梯度算法,整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta(阿尔伯塔大学);Technische Universität Darmstadt(达姆施塔特工业大学)
非策略强化学习(RL)有望提高数据效率,因为它允许样本重用,并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差,要么遭受高方差,从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显,其中RL的成功相当有限,并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程,它可以用封闭形式求解.该解对于策略参数是可微的,并且可以获得对策略梯度的估计。通过这种方式,我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量,并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
A Nonparametric Off-Policy Policy Gradient
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
强化学习(RL)算法尽管最近取得了显著的成功,但仍然遭受高样本复杂度。在许多广泛流行的使用策略样本执行更新的策略梯度算法中,尤其需要与环境进行密集交互。这种低效率的代价在现实世界的场景中变得明显,例如交互驱动的机器人学习,其中RL的成功相当有限。我们解决这个问题,通过建立在一般的样本效率的政策外的算法。非参数回归和密度估计方法,我们构造了一个非参数贝尔曼方程的原则性的方式,这使我们能够获得封闭形式的价值函数的估计,并解析地表达完整的策略梯度。我们提供了一个理论分析,我们的估计表明,它是一致的温和的平滑假设和经验表明,我们的方法具有更好的样本效率比国家的最先进的策略梯度方法。
2020-08-03 cs.LG stat.ML
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University(宾厄姆顿大学);Yantai University(烟台大学)
我们解决的挑战,有效的勘探,同时保持良好的性能,在策略梯度方法。作为一种解决方案,我们提出了通过共轭政策的多样性探索(DE)。DE学习和部署一组共轭策略,这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明,DE在实现探索,提高政策绩效的有效性,DE的优势,探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University(普林斯顿大学);Peking University(北京大学)
当我们不允许使用目标策略进行采样,而只能访问由某些未知行为策略生成的数据集时,策略梯度(PG)估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计(FPG)算法。FPG可以使用任意策略参数化,假设访问Bellman完全值函数类。在线性值函数近似的情况下,我们提供了一个严格的有限样本上界的政策梯度估计误差,这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征,这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲,我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下,我们的研究结果表明,FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
GPG: Generalized Policy Gradient Theorem for Transformer-based Policies
本文提出基于Transformer策略的广义策略梯度定理,揭示了标准策略梯度定理和GRPO的特殊案例,并探讨了其在训练大型语言模型中的应用。
2025-12-11 cs.AI cs.CL cs.LG
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡,为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Gradient Informed Proximal Policy Optimization
University of Maryland, College Park(马里兰大学帕克分校)
该研究提出一种结合可微环境解析梯度与PPO的新型策略学习方法,通过α-策略自适应管控解析梯度影响,用梯度方差偏差指标动态调整依赖度,在多类场景中性能优于基线算法。
2023-12-14 cs.AI cs.LG
A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester(曼彻斯特大学)
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中,有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点,给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果,一个不同的策略梯度算法,再次强盗问题。对于这第二个算法,它是可能的,以证明在随机情况下的遗憾界\cite{DW20}。最后,我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
Learning to Explore with Meta-Policy Gradient
Baidu Research(百度研究院);University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
包括深度Q学习和深度确定性策略梯度(DDPG)在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声,并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中,我们开发了一个简单的Meta策略梯度算法,使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为,是独立的演员的政策,产生一个\emph{global exploration},显着加快学习过程。通过广泛的研究,我们表明,我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
Bayesian policy gradient and actor-critic algorithms
Adobe Research & Inria(Adobe研究与法国国家信息与自动化研究所);Rafael Advanced Defence System(拉斐尔高级防御系统);Inria Lille — SequeL team(法国国家信息与自动化研究所里尔分校——SequeL团队)
本文提出基于高斯过程的贝叶斯策略梯度框架,减少采样需求并提供自然梯度和梯度协方差估计,结合非参数贝叶斯critics改进马尔可夫性质,通过实验验证方法有效性。
2026-10-06 cs.LG stat.ML
Deep Bayesian Quadrature Policy Optimization
Purdue University(普渡大学);Google Research(谷歌研究院);Caltech(加州理工学院)
我们研究的问题,获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择,尽管在梯度估计中存在高方差。另一方面,像贝叶斯求积方法,由于其高的计算复杂性,样本效率更高的替代方案很少受到关注。在这项工作中,我们提出了深贝叶斯正交策略梯度(DBQPG),计算效率高的高维推广贝叶斯正交,策略梯度估计。我们表明,DBQPG可以取代蒙特卡洛估计的策略梯度方法,并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比,DBQPG提供(i)具有显著较低方差的更准确的梯度估计,(ii)对于几种深度策略梯度算法,在样本复杂度和平均回报方面的一致改进,以及(iii)梯度估计中的不确定性,其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Correcting discount-factor mismatch in on-policy policy gradient methods
University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所)
本文提出一种新的分布校正方法,修正同策略策略梯度中忽略折扣平稳分布的问题,以低方差避免性能下降,并在多个基准上匹配或超越原始性能。
2023-06-23 cs.AI cs.LG
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法,通过理论推导和算法设计,实现稳定学习和快速收敛,优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Stanford University(斯坦福大学)
本文提出了一种定义的多个代理优化联合奖励函数的背景下,系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配,然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境,具有系统健康,冒险,半消耗性代理,连续动作空间,和部分可观察性的特点,证明。与不执行多代理信用分配的策略梯度方法相比,我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University(杜克大学)
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题,该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态,例如建模,宽单隐层神经网络的行为,通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下,我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods
Imperial College London(帝国理工学院)
本文提出SEPO算法,用于高效微调离散扩散模型,通过理论支持和实验验证展示了其在非可微奖励下的有效性。
2025-12-18 cs.AI cs.CL cs.LG
Quantum Policy Gradient in Reproducing Kernel Hilbert Space
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(高性能计算研究所(IHPC),科技研究局(A*STAR));Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心(CFAR),科技研究局(A*STAR));Centre for Quantum Engineering, Research and Education, TCG CREST(量子工程、研究与教育中心(TCG CREST))
本文提出在量子可访问环境中使用量子核策略和量子策略梯度算法,设计了参数化/非参数化策略梯度及多种actor-critic算法,实现查询复杂度的二次降低。
2025-08-11 cs.LG quant-ph
Deterministic Value-Policy Gradients
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
深度确定性策略梯度算法(DDPG)等强化学习算法在连续控制任务中得到了广泛应用。然而,无模型的DDPG算法遭受高样本复杂度。在本文中,我们考虑确定性值梯度,以提高深度强化学习算法的样本效率。以前的工作考虑了有限水平下的确定性值梯度,但与无限水平相比过于短视。首先,我们给出了一个理论保证的存在性的值梯度在这个无限的设置。基于这一理论保证,提出了一类具有无限时域的确定性值梯度算法(DVG),并通过学习模型对解析梯度进行不同的展开步骤,在值梯度方差和模型偏差之间进行权衡。此外,为了更好地结合基于模型的确定性值梯度估计和无模型的确定性策略梯度估计,我们提出了确定性值-策略梯度(DVPG)算法.最后,我们进行了广泛的实验比较DVPG与国家的最先进的方法在几个标准的连续控制基准。结果表明,DVPG大大优于其他基线。
2019-11-13 cs.LG stat.ML
Delightful Policy Gradient
本文提出愉悦策略梯度,通过引入愉悦函数改进策略梯度方法,提升单个上下文内的方向准确性,并使多上下文下的梯度更接近监督交叉熵 oracle。
2026-03-15 cs.AI cs.LG math.OC
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University(哥伦比亚大学);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析:有限状态和动作MDP,其策略类由所有随机策略组成,并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例,并显示出具有小步长的次线性收敛率。在这里,我们采取了不同的角度与政策迭代的连接的基础上,并表明,许多变种的策略梯度方法成功地与大的步长,并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML