On Policy Gradients
Technische Universität Darmstadt(达姆施塔特工业大学)
策略梯度方法的目标是在给定的一类策略中找到最大化期望收益的策略。给定策略的可微模型,我们希望应用梯度上升技术来达到局部最优。我们主要使用梯度上升,因为它在理论上已经研究得很好了。主要的问题是,相对于预期收益的策略梯度是不可用的,因此我们需要估计它。由于策略梯度算法也倾向于需要在政策上的数据来估计梯度,它们最大的弱点是样本效率。由于这个原因,大多数研究集中在寻找具有改进的样本效率的算法。本文提供了一个正式的介绍策略梯度,显示了策略梯度方法的发展,并应使读者遵循当前的研究主题。
2019-11-12 cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好,形成了当代强化学习的基础,如信任域策略优化(TRPO)和近端策略优化(PPO)。本课堂讲稿旨在阐明自然策略梯度背后的直觉,着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback
University of Science and Technology Beijing(北京科技大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
本文分析了离散时间LTI系统静态输出反馈控制中策略梯度方法的优化景观,利用代价函数的强制性、L-光滑性和Lipschitz连续Hessian性质,证明了三种策略梯度方法的收敛性及普通策略梯度在局部极小值附近的线性收敛。
2023-10-29 cs.LG cs.SY eess.SY
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge(剑桥大学);DeepMind;Max Planck Institute(马克斯·普朗克研究所);Uber AI Labs(Uber人工智能实验室);UC Berkeley(加州大学伯克利分校)
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面,策略算法通常更稳定,更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明,具有价值函数估计器的非策略更新可以用策略策略梯度更新插值,同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法,最近提出的几个算法是这个家庭的特殊情况。然后,我们提供了一个实证比较这些技术与其余的算法细节固定,并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一,对偏离策略更新引入的偏差具有理论保证,并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University(哥伦比亚大学);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析:有限状态和动作MDP,其策略类由所有随机策略组成,并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例,并显示出具有小步长的次线性收敛率。在这里,我们采取了不同的角度与政策迭代的连接的基础上,并表明,许多变种的策略梯度方法成功地与大的步长,并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta(阿尔伯塔大学)
策略梯度方法被广泛用于强化学习中的控制,特别是用于连续动作设置。由于策略梯度定理的存在,提供了一个简化的形式的梯度,已经有大量的理论上合理的算法提出的策略设置。然而,在离策略学习中,行为策略不一定试图学习和遵循给定任务的最优策略,这样的定理的存在是难以捉摸的。在这项工作中,我们解决了这个开放的问题,提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重(ACE)$\unicode{x2014}$,近似的简化梯度提供的定理。我们证明了在一个简单的反例,以前的政策外的策略梯度方法$\unicode{x2014}$,特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案,而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto(多伦多大学);Vector Institute(向量研究所)
策略梯度方法已被频繁地应用于控制和强化学习中的问题,并取得了巨大的成功,然而现有的收敛分析仍然依赖于非直观的,不切实际的,往往是不透明的条件。特别是,现有的比率是在有限的环境中,在严格的规律性条件下实现的。在这项工作中,我们建立了明确的策略梯度方法的收敛速度,扩展的收敛制度,弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是,我们的分析还表明,在这些假设下,标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后,我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于策略梯度的高方差,策略上优化算法受到低样本效率的困扰。在这项工作中,我们提出了增强-加强-合并(ARM)策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间,最近的ARM梯度估计离散随机变量模型的启发。我们表明,ARM的策略梯度估计实现方差减少与理论保证,并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出k步策略梯度方法,通过结合k步时间窗口内的随机性,解决受限策略类中因策略梯度短视导致的局部极值问题,并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
Reinforcement Learning in Linear Quadratic Deep Structured Teams: Global Convergence of Policy Gradient Methods
Concordia University(康考迪亚大学)
本文研究了线性二次型深度结构团队的基于模型和无模型的策略梯度下降算法和自然策略梯度下降算法的全局收敛性。在这样的系统中,代理被划分成几个子群体,其中每个子群体中的代理通过所有代理的状态和动作的一组线性回归在动态和成本函数中耦合。每个智能体观察其局部状态和状态的线性回归,称为深度状态。对于一个足够小的风险因素和/或足够大的人口,我们证明了基于模型的策略梯度方法全局收敛到最优解。给定任意数量的代理,我们开发的无模型策略梯度和自然策略梯度算法的风险中性成本函数的特殊情况。所提出的算法是可扩展的代理的数量,由于事实上,他们的政策空间的维度是独立的代理在每个子群体的数量。仿真结果验证了理论分析的正确性。
2020-12-15 cs.LG cs.MA cs.SY
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania(宾夕法尼亚大学);University of Virginia(弗吉尼亚大学);University of Maryland, College Park(马里兰大学帕克分校)
本文针对约束马尔可夫决策过程,提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法,首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
Combining policy gradient and Q-learning
Deepmind
策略梯度是用于在强化学习设置中改进策略的有效技术。然而,vanilla在线变体仅适用于政策,无法利用政策外数据。在本文中,我们描述了一种新的技术,结合了策略梯度与非策略Q学习,从重放缓冲区的经验。这是通过在正则化策略梯度算法的不动点和Q值之间建立联系来激发的。这种连接使我们能够从策略的动作偏好中估计Q值,并对其应用Q学习更新。我们将新技术称为“PGQL”,用于策略梯度和Q学习。我们还建立了行动值拟合技术和演员评论家算法之间的等价性,表明正则化的策略梯度技术可以被解释为优势函数学习算法。我们得出结论,一些数值例子表明,提高数据效率和稳定性的PGQL。特别是,我们在全套Atari游戏上测试了PGQL,并实现了超过异步优势演员-评论家(A3 C)和Q学习的性能。
2017-04-07 cs.AI cs.LG math.OC
Sparse optimal control of networks with multiplicative noise via policy gradient
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出了一种基于策略梯度的近优稀疏控制器设计算法,用于处理受乘性噪声影响的复杂动态网络系统,通过多种正则化方案的比较,展示了算法在大规模网络系统中的有效性。
2019-05-28 cs.LG cs.SY eess.SY
Faster Policy Learning with Continuous-Time Gradients
University of Washington(华盛顿大学)
我们研究了具有已知动态的连续时间系统的策略梯度估计问题。通过重构连续时间的策略学习,我们证明了构造一个更有效和更精确的梯度估计器是可能的。标准的反向传播时间估计器(BPTT)计算连续时间系统的粗略离散化的精确梯度。相比之下,我们近似连续时间梯度在原始系统中。随着估计连续时间梯度的明确目标,我们能够自适应地离散化,并构造一个更有效的策略梯度估计,我们称之为连续时间策略梯度(CTPG)。我们表明,更有效的CTPG估计结果更快,更强大的学习,在各种控制任务和模拟器取代BPTT策略梯度。
2021-06-24 cs.LG stat.ML
Approximation Benefits of Policy Gradient Methods with Aggregated States
Columbia University(哥伦比亚大学)
Follow认为,策略梯度比其相对的近似策略迭代对错误指定更鲁棒。本文研究了状态聚集表示的情况,其中状态空间被划分,并且在分区上保持策略或价值函数近似不变。本文证明了一个策略梯度方法收敛于一个策略,该策略的每周期后悔是有界的$ε$,两个元素之间的最大差异的状态-动作价值函数属于一个共同的分区。在相同的表示下,近似策略迭代和近似值迭代都可以产生每周期后悔尺度为$ε/(1-γ)$的策略,其中$γ$是折扣因子。面对固有的近似误差,局部优化真实决策目标的方法可以更加鲁棒。
2022-06-23 cs.LG math.OC stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本文提出双重平滑策略迭代框架,将自然策略梯度等方法统一为贝尔曼算子形式,证明其分布无关的几何收敛性,且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司);Duke University(杜克大学)
在本文中,我们提出了一种新的算法命名为STORM-PG(STORM-PG),它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界,与策略梯度算法的最佳收敛速度相匹配。同时,STORM-PG避免了大批量和小批量之间的交替,这在可比的方差减少的策略梯度方法中持续存在,允许相当简单的参数调整。数值实验表明,我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University(俄亥俄州立大学);Adobe Research(奥多比研究院)
本文提出了一种新的策略优化算法PPG(Proximal策略梯度),该算法与VPG(vanilla策略梯度)和PPO(近端策略优化)的性能相近。PPG目标是VPG目标的部分变化,并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数,我们引入了策略平面,并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当,并且熵衰减比PPG慢。因此,我们表明,类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Elementary Analysis of Policy Gradient Methods
School of Data Science, Fudan University(复旦大学数据科学学院)
该研究针对折扣MDP场景,采用新的基础分析技术,系统推导了投影策略梯度、softmax策略梯度等六类强化学习策略优化方法的收敛特性,完善了相关理论认知。
2024-04-11 cs.LG math.OC
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
本文提出了一种无模型近似的Hessian的性能确定性的政策,用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明,近似Hessian收敛到精确的Hessian在最优策略,并允许超线性收敛的学习,提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下,所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University(西北大学);Princeton University(普林斯顿大学)
策略梯度方法与行动者-批评者方案展示了巨大的经验成功,特别是当行动者和批评者被神经网络参数化时。然而,仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略,以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地,我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外,我们表明,神经香草策略梯度次线性收敛到一个稳定点。同时,通过将不动点的次优性与神经元的表现能力联系起来,证明了在弱正则性条件下所有不动点的全局最优性.特别是,我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”,这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知,我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Policy Gradient Algorithms Implicitly Optimize by Continuation
Montefiore Institute, University of Liège(列日大学蒙特菲奥雷研究所);LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI)
本文在连续化优化框架下为强化学习策略梯度算法提供了新理论解释,证明优化仿射高斯策略和熵正则化等价于隐式连续化优化确定性策略,并提出策略方差应为避免局部极值的依赖历史函数。
2023-10-21 cs.LG math.OC stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
研究了马尔可夫决策过程中的离政策策略优化问题,提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里,我们建立在最近的进展,估计行为和评估政策下的状态分布的比率进行政策评估,并提出了一个政策外的策略梯度优化技术,可以解释这种不匹配的分布。我们提出了一个说明性的例子,为什么这是重要的,我们的方法的理论收敛保证。从经验上讲,我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较,从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal(微软蒙特利尔研究院)
在强化学习中,给定状态下的最优行为取决于后续状态下的策略决策。因此,学习目标随着时间的推移而演变,并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中,我们发现,策略梯度定理规定的政策更新,是缓慢的遗忘,因为它们的结构对称性的价值目标。为了提高学习速度,我们研究了一种新的策略更新:交叉熵损失的梯度相对于动作最大化$q$,但发现这样的更新可能会导致价值的下降。因此,我们引入了一个修改后的政策更新没有这个缺陷,并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外,我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后,我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Key Laboratory of System Control and Information Processing, Ministry of Education of China(教育部系统控制与信息处理重点实验室)
本文分析了分布不匹配对策略梯度方法的影响,证明了在表格参数化下,不匹配引起的偏导数仍能有效描述全局最优性,并推导了更一般参数化下的显式界限,展示了在折扣因子接近1时的收敛性。
2026-10-23 cs.LG math.OC
Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient
Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学)
提出随机解耦策略梯度(SDPG)方法,通过轨迹滚动的随机扰动估计策略梯度,在单GPU上数小时内端到端训练多样化的视觉运动控制策略,显著降低计算和内存开销,并在视觉MuJoCo基准测试中优于基线方法。
2026-05-26 cs.AI cs.CV cs.LG
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University(康奈尔大学);Harvard University(哈佛大学)
离线强化学习,其中使用由固定行为策略记录的非策略数据来评估和学习新策略,在实验有限的应用中至关重要,例如医学。本文研究了当行为连续时,确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的,因为最佳策略总是确定性的(直到领带)。在这种情况下,标准的重要性采样和双稳健估计策略值和梯度失败,因为密度比不存在。为了避免这个问题,我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差,这些温和的利率条件下滋扰估计。具体来说,我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
Expected Policy Gradients
Department of Computer Science, University of Oxford(牛津大学计算机科学系);University of Oxford(牛津大学);Wolfson Building, Parks Road, Oxford OX1 3QD(牛津大学沃尔夫森大楼(Parks Road, Oxford OX1 3QD))
我们提出了预期策略梯度(EPG),它统一了强化学习的随机策略梯度(SPG)和确定性策略梯度(DPG)。受预期的Sarsa的启发,EPG在估计梯度时集成了整个动作,而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理,其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明,EPG降低了梯度估计的方差,而不需要确定性的政策,高斯的情况下,没有计算开销。最后,我们表明,在一定意义上,它是最优的探索与高斯政策,使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实,这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Sample Complexity of Estimating the Policy Gradient for Nearly Deterministic Dynamical Systems
University of Pennsylvania(宾夕法尼亚大学)
强化学习是一种很有前途的机器人控制器学习方法。最近已经表明,基于策略梯度的有限差分估计的算法与基于策略梯度定理的算法具有竞争力。我们提出了一个理论框架来理解这种现象。我们的关键见解是,许多动力系统(特别是那些感兴趣的机器人控制任务)几乎是确定性的-即,它们可以被建模为具有小的随机扰动的确定性系统。我们表明,对于这样的系统,有限差分估计的策略梯度可以有大大低于估计的基础上的策略梯度定理的方差。最后,我们实证评估我们的见解在倒立摆实验。
2021-10-11 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发,我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此,我们将这种变分推理技术应用于香草策略梯度,TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
Is the Policy Gradient a Gradient?
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对策略梯度方法省略折扣因子后产生的更新是否为梯度这一开放问题,证明该更新不一定等于任何函数的梯度,构造反例说明其会导致策略收敛到全局最差,指出领域内存在广泛误解。
2026-10-19 cs.LG stat.ML
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay(印度理工学院孟买分校)
由于强化学习在过去几年中的兴趣增长,基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的,因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势,并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战,因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策,使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Sample Efficient Policy Gradient Methods with Recursive Variance Reduction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提高强化学习的样本效率是一个长期存在的研究问题。在这项工作中,我们的目标是减少现有的策略梯度方法的样本复杂度。我们提出了一种新的策略梯度算法SRVR-PG,它只需要$O(1/ε^{3/2})$事件来找到非凹性能函数$J(\boldsymbolθ)$的$ε$ -近似稳定点(即,$\boldsymbolθ$,使得$\|\nabla J(\boldsymbolθ)\|_2^2\leqε$)。这个样本的复杂性提高了现有的结果$O(1/ε^{5/3})$随机方差减少策略梯度算法的一个因素的$O(1/ε^{1/6})$。此外,我们还提出了一个变体的SRVR-PG参数探索,探索初始政策参数从先验概率分布。我们对强化学习中的经典控制问题进行了数值实验,以验证我们提出的算法的性能。
2021-08-01 cs.LG math.OC stat.ML
How are policy gradient methods affected by the limits of control?
KTH Royal Institute of Technology(KTH皇家理工学院);ETH Zurich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们从控制理论局限性的角度研究随机策略梯度法。我们的主要结果是病态的线性系在Doyle意义下不可避免地导致噪声梯度估计。我们还给出了一类稳定系统的例子,其中的政策梯度法遭受灾难的维数。我们的结果适用于状态反馈和部分观测系统。
2022-06-14 cs.LG math.OC
Zeroth-order Deterministic Policy Gradient
University of Pennsylvania(宾夕法尼亚大学)
确定性策略梯度(DPG)从标准随机动作策略梯度(PG)中去除了一定程度的随机性,并在处理涉及马尔可夫决策过程的复杂动态问题方面取得了巨大的经验成功。然而,与此同时,DPG失去了在无模型环境中学习的能力(即,只有演员)的方式,经常需要使用的批评,以获得一致的估计相关联的政策奖励梯度。在这项工作中,我们引入零阶确定性策略梯度(ZDPG),它通过两点随机评估的$Q$函数,构造适当设计的低维动作空间扰动近似的政策奖励梯度。ZDPG利用随机水平展开的思想来获得$Q$函数的无偏估计,从而消除了对批评者的依赖,并恢复了真正的无模型策略学习,同时享有内置和可证明的算法稳定性。此外,我们提出了新的有限样本复杂性界限ZDPG,提高现有的结果高达两个数量级。我们的研究结果得到了几个数值实验的支持,这些实验展示了ZDPG在实际环境中的有效性,以及它比PG和基线PG的优势。
2020-07-11 cs.LG math.OC stat.ML
A Nonparametric Off-Policy Policy Gradient
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
强化学习(RL)算法尽管最近取得了显著的成功,但仍然遭受高样本复杂度。在许多广泛流行的使用策略样本执行更新的策略梯度算法中,尤其需要与环境进行密集交互。这种低效率的代价在现实世界的场景中变得明显,例如交互驱动的机器人学习,其中RL的成功相当有限。我们解决这个问题,通过建立在一般的样本效率的政策外的算法。非参数回归和密度估计方法,我们构造了一个非参数贝尔曼方程的原则性的方式,这使我们能够获得封闭形式的价值函数的估计,并解析地表达完整的策略梯度。我们提供了一个理论分析,我们的估计表明,它是一致的温和的平滑假设和经验表明,我们的方法具有更好的样本效率比国家的最先进的策略梯度方法。
2020-08-03 cs.LG stat.ML
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University(宾厄姆顿大学);Yantai University(烟台大学)
我们解决的挑战,有效的勘探,同时保持良好的性能,在策略梯度方法。作为一种解决方案,我们提出了通过共轭政策的多样性探索(DE)。DE学习和部署一组共轭策略,这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明,DE在实现探索,提高政策绩效的有效性,DE的优势,探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University(普林斯顿大学);Peking University(北京大学)
当我们不允许使用目标策略进行采样,而只能访问由某些未知行为策略生成的数据集时,策略梯度(PG)估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计(FPG)算法。FPG可以使用任意策略参数化,假设访问Bellman完全值函数类。在线性值函数近似的情况下,我们提供了一个严格的有限样本上界的政策梯度估计误差,这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征,这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲,我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下,我们的研究结果表明,FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University(同济大学)
本文研究了协作多智能体强化学习(MARL)中的分布式策略梯度,其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数,现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题,提出了一种具有方差缩减和梯度跟踪的分布式策略梯度,并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后,我们提供了一个上界的均方固定间隙,这取决于迭代次数,小批量的大小,历元的大小,问题的参数,和网络拓扑结构。我们进一步建立了样本和通信复杂性,以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
On Proximal Policy Optimization's Heavy-tailed Gradients
Carnegie Mellon University(卡内基梅隆大学)
诸如近端策略优化(PPO)的现代策略梯度算法依赖于包括损失裁剪和梯度裁剪的一系列算法来确保成功的学习。这些统计学让人想起稳健统计学的技术,通常用于异常值丰富(“重尾”)制度的估计。在本文中,我们提出了一个详细的实证研究,以表征PPO代理奖励函数的梯度的重尾性质。我们证明了梯度,特别是演员网络,表现出明显的重尾性,并且随着代理的策略偏离行为策略(即,随着代理进一步偏离策略)。进一步的研究表明,似然比和替代奖励的优势是观察到的重尾的主要来源。然后,我们强调由于梯度的重尾性质而产生的问题。在这种情况下,我们研究了标准PPO裁剪算法的效果,证明这些技巧主要用于抵消梯度中的重尾。因此,出于动机,我们建议将Gestival,一个高维的鲁棒估计,PPO作为替代三个裁剪技巧。尽管需要更少的超参数调整,我们的方法匹配的性能PPO(与所有的动力学启用)电池的MuJoCo连续控制任务。
2021-07-13 cs.LG cs.RO stat.ML
A Closer Look at Deep Policy Gradients
MIT(麻省理工学院);Two Sigma(双西格玛)
我们研究了深度策略梯度算法的行为如何反映了促进其发展的概念框架。为此,我们提出了一个细粒度的分析国家的最先进的方法的基础上,这个框架的关键要素:梯度估计,值预测和优化景观。我们的研究结果表明,深度策略梯度算法的行为往往偏离其激励框架的预测:代理目标不匹配真实的奖励景观,学习的价值估计无法拟合真实的价值函数,梯度估计与“真实”梯度的相关性很差。我们发现的预测和经验行为之间的不匹配突出了我们对当前方法的理解不足,并表明需要超越当前以基准为中心的评估方法。
2020-05-25 cs.LG cs.NE cs.RO
Clipped Action Policy Gradient
Preferred Networks, Inc.(Preferred Networks公司)
许多连续控制任务具有有界的动作空间。当将策略梯度方法应用于此类任务时,需要在执行前裁剪越界操作,而策略通常会被优化,就像操作未被裁剪一样。我们提出了一个策略梯度估计,利用知识的行动被裁剪,以减少估计的方差。我们证明了我们的估计,命名为剪切动作策略梯度(CAPG),是无偏的,并实现较低的方差比传统的估计,忽略行动的界限。实验结果表明,CAPG一般优于传统的估计,这表明它是一个更好的连续控制任务的策略梯度估计。源代码可在https://github.com/pfnet-research/capg上获得。
2018-06-22 cs.AI cs.LG stat.ML
A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester(曼彻斯特大学)
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中,有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点,给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果,一个不同的策略梯度算法,再次强盗问题。对于这第二个算法,它是可能的,以证明在随机情况下的遗憾界\cite{DW20}。最后,我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University(得克萨斯农工大学)
我们研究多个回报价值函数的马尔可夫决策过程(MDP)的策略优化,这些回报函数根据给定的标准,如比例公平性(光滑凹标量化),硬约束(约束MDP),和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度(ARNPG)框架,它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上,基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲,ARNPG引导的算法也表现出优越的性能相比,一些现有的策略梯度为基础的方法,在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
Bayesian policy gradient and actor-critic algorithms
Adobe Research & Inria(Adobe研究与法国国家信息与自动化研究所);Rafael Advanced Defence System(拉斐尔高级防御系统);Inria Lille — SequeL team(法国国家信息与自动化研究所里尔分校——SequeL团队)
本文提出基于高斯过程的贝叶斯策略梯度框架,减少采样需求并提供自然梯度和梯度协方差估计,结合非参数贝叶斯critics改进马尔可夫性质,通过实验验证方法有效性。
2026-10-06 cs.LG stat.ML
Deep Bayesian Quadrature Policy Optimization
Purdue University(普渡大学);Google Research(谷歌研究院);Caltech(加州理工学院)
我们研究的问题,获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择,尽管在梯度估计中存在高方差。另一方面,像贝叶斯求积方法,由于其高的计算复杂性,样本效率更高的替代方案很少受到关注。在这项工作中,我们提出了深贝叶斯正交策略梯度(DBQPG),计算效率高的高维推广贝叶斯正交,策略梯度估计。我们表明,DBQPG可以取代蒙特卡洛估计的策略梯度方法,并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比,DBQPG提供(i)具有显著较低方差的更准确的梯度估计,(ii)对于几种深度策略梯度算法,在样本复杂度和平均回报方面的一致改进,以及(iii)梯度估计中的不确定性,其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University(麦吉尔大学)
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法,如GTD和TDC/GQ,即使在使用函数近似和增量更新时也会收敛。然而,它们是针对固定行为策略的情况而开发的。在控制问题中,人们希望随着时间的推移调整行为策略,使其相对于现有的价值函数变得更加贪婪。在本文中,我们提出了第一个基于梯度的学习算法,该算法依赖于策略梯度的框架,以修改行为策略。我们提出的算法,收敛定理,推导和经验证据表明,他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法,通过理论推导和算法设计,实现稳定学习和快速收敛,优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Stabilizing Policy Gradient Methods via Reward Profiling
本文提出了一种通用的奖励分析框架,通过高置信度性能估计稳定策略梯度方法,提高收敛速度并降低回报方差。
2026-01-24 cs.AI cs.LG cs.SY
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University(杜克大学)
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题,该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态,例如建模,宽单隐层神经网络的行为,通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下,我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients
University of Oxford(牛津大学)
策略梯度方法是解决多智能体强化学习问题的一种有吸引力的方法,因为它具有收敛性和在部分可观测场景下的鲁棒性。然而,在流行的星际争霸多智能体挑战赛(SMAC)基准测试中,最先进的策略梯度和基于值的方法之间存在显著的性能差距。在本文中,我们引入了半策略(SOP)训练作为一种有效的和计算效率高的方法来解决策略策略梯度方法的样本效率低下。我们增强了两个国家的最先进的策略梯度算法与SOP训练,表现出显着的性能改进。此外,我们表明,我们的方法在各种SMAC任务上的表现与最先进的基于值的方法一样好或更好。
2021-05-06 cs.LG cs.MA