Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员,评论家采用双层或两个时标更新,我们专注于更实际的单时标设置,演员和评论家同时更新。具体地,在每次迭代中,通过仅一次应用Bellman评估算子来获得评论家更新,同时在使用评论家计算的策略梯度方向上更新行动者。此外,我们考虑了两个函数近似设置,其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下,我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率,其中$K$是迭代次数。据我们所知,我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外,在更广泛的范围内的政策优化与非线性函数逼近,我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland(马里兰大学系统研究所);Astrome Technologies Pvt Ltd(Astrome科技私人有限公司);Indian Institute of Science(印度科学学院)
我们提出了一种新的演员-评论家算法,保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向,这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展,将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院);University of Minnesota(明尼苏达大学);Northwestern University(西北大学)
尽管行动者-批评者算法在经验上取得了成功,但它的理论理解却落后了。在更广泛的背景下,演员评论家可以被视为一个在线交替更新算法的双层优化,其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性,我们将重点放在它在线性二次调节器中的应用上,这是强化学习的一个简单而基本的设置。在这种情况下,我们建立了一个非渐近收敛分析的演员批评。特别是,我们证明了演员-评论家找到一个全局最优的演员(政策)和评论家(行动-价值函数)的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题,这是NP-难的最坏情况下,往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
A Finite Time Analysis of Two Time-Scale Actor Critic Methods
University of California, Los Angeles(加州大学洛杉矶分校)
与其他强化学习算法相比,Actor-Critic(AC)方法已经展示了巨大的经验成功,其中Actor使用策略梯度来改进学习策略,而Critic使用时间差学习来估计策略梯度。在双时间尺度学习率调度下,AC的渐近收敛性已经得到了很好的研究。然而,非渐近收敛性和有限样本复杂性的行动者-批评者方法在很大程度上是开放的。在这项工作中,我们提供了一个非独立同分布下的两个时间尺度的actor-critic方法的非渐近分析。设置.我们证明了行动者-批评者方法保证找到一个一阶稳定点(即,$\|\nabla J(\boldsymbolθ)\|_2^2 \le ε$)的非凹性能函数$J(\boldsymbolθ)$,具有$\mathcal{\tilde{O}}(ε^{-2.5})$样本复杂度。据我们所知,这是第一个工作提供有限的时间分析和样本的复杂性限制的两个时间尺度的演员评论家的方法。
2022-10-10 cs.LG math.OC stat.ML
Actor-Critic learning for mean-field control in continuous time
我们研究了强化学习环境中连续时间平均场控制的策略梯度。通过考虑具有熵正则化的随机政策,我们推导出价值函数的梯度期望表示,该表示适用于行动者-批评者类型算法,其中价值函数和政策根据状态的观察样本和人口状态分布的无模型估计交替学习,无论是通过离线还是在线学习。在线性二次平均场的框架下,我们得到了一个精确的参数化的演员和评论家的功能上定义的Wasserstein空间。最后,我们用一些具体的数值实验来说明我们的算法的结果。
2023-03-13 math.OC stat.ML
Finite-time analysis of single-timescale actor-critic
National University of Singapore(新加坡国立大学)
针对单时间尺度演员-评论家算法有限时间收敛性研究不足的问题,提出可系统评估控制演员-评论家误差传播的分析框架,证明连续状态空间下在线单时间尺度演员-评论家算法的收敛性与样本复杂度,为同类强化学习算法分析提供新思路。
2024-01-26 cs.LG math.OC stat.ML
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University(西蒙弗雷泽大学);Samsung - SAIT AI Lab, Montreal(三星-三星高级技术研究院人工智能实验室(蒙特利尔));Microsoft Research(微软研究院);Mila(米拉研究所)
本文提出一种决策感知的Actor-Critic方法,通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题,并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
Global Convergence of the ODE Limit for Online Actor-Critic Algorithms in Reinforcement Learning
University of Oxford(牛津大学)
本文证明了表格参数化在线演员-评论家算法在时间重标度下收敛到ODE极限,并通过双时间尺度分析证明评论家收敛到贝尔曼方程解、演员收敛到最优策略,同时给出了收敛速率。
2023-09-18 cs.LG math.OC stat.ML
Variational Actor-Critic Algorithms
University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
我们介绍了一类变分演员评论家算法的基础上变分制定的价值函数和政策。变分公式的目标函数由两部分组成:一部分用于最大化价值函数,另一部分用于最小化Bellman残差。除了同时使用价值函数和策略更新的香草梯度下降算法外,为了加快收敛速度,我们还提出了两种改进算法:裁剪法和翻转法。证明了当Bellman残差的前因子足够大时,算法的不动点接近于最优策略。
2023-01-14 cs.LG math.OC
An analysis of Mirror-Descent Soft Actor-Critic
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);INRIA(法国国家信息与自动化研究所)
本文证明镜像下降软演员-评论家算法在连续动作空间中的收敛性,推导演员目标强凸光滑条件,获得O(N^(-1/5))最优迭代收敛率,并指出镜像下降步长控制目标漂移优于吉布斯目标。
2026-10-06 cs.LG math.OC stat.ML
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究院(IARAI))
在常用的假设下,我们证明了演员-评论家强化学习算法的收敛性,该算法同时学习策略函数(演员)和价值函数(评论家)。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化(PPO)和最近推出的RUDDER。对于收敛性证明,我们采用最近推出的技术,从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法,使用情节样本,并有一个政策,在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似,不能处理情节的例子,或者不考虑政策变得贪婪。后者是相关的,因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
A Small Gain Analysis of Single Timescale Actor Critic
Boston University(波士顿大学);University of California at Los Angeles(加州大学洛杉矶分校)
本文针对使用比例步长且每步仅一次评论家更新的单时间尺度演员-评论家方法,利用小增益定理证明其可收敛到平稳点,并将样本复杂度提升至 $O(μ^{-2}ε^{-2})$。
2023-05-25 cs.LG cs.SY eess.SY
Finite-Sample Analysis of Off-Policy Natural Actor-Critic with Linear Function Approximation
Geogia Institute of Technology, e1,e2,e3
在本文中,我们开发了一种新的变体的政策外的自然演员-评论家算法与线性函数近似,我们建立了一个样本的复杂性$\mathcal{O}(ε^{-3})$,优于所有以前已知的收敛界的算法。为了克服函数逼近下的离策策略评估中的致命三元组导致的发散,我们开发了一种采用$n$ -步TD-学习算法并适当选择$n$的评估器。我们提出了有限样本收敛界限,这个评论家在恒定和递减步长,这是独立的利益。此外,我们开发了一个变种的自然策略梯度下的函数逼近,与$T$迭代后的$\mathcal{O}(1/T)$的收敛速度的改善。结合演员和评论家的有限样本误差界,我们得到了$\mathcal{O}(ε^{-3})$样本复杂度。我们推导出我们的样本复杂性界限完全基于这样的假设,即行为策略充分探索了所有的状态和动作,这是一个更轻的假设相比,相关文献。
2022-04-12 cs.LG math.OC
Learning Mean-Field Games through Mean-Field Actor-Critic Flow
Department of Mathematics, University of California, Los Angeles, CA 90095(数学系,加州大学洛杉矶分校);Department of Statistics and Applied Probability, University of California, Santa Barbara, CA 93106-3110(统计与应用概率系,加州大学圣巴巴拉分校);Department of Mathematics, and Department of Statistics and Applied Probability, University of California, Santa Barbara, CA 93106-3080(数学系,统计与应用概率系,加州大学圣巴巴拉分校)
提出MFAC流,一种结合强化学习与最优传输的连续时间学习动力学,通过OTGP流沿Wasserstein-2测地线驱动分布至均衡,实现平均场博弈的全局指数收敛求解。
2025-10-23 cs.LG math.OC
Weak Convergence Analysis of Online Neural Actor-Critic Algorithms
Mathematical Institute, University of Oxford(牛津大学数学研究所)
本文证明单层神经网络在线演员-评论家算法在隐藏单元数和训练步数趋于无穷时分布收敛到随机常微分方程,并利用泊松方程和弱收敛技术分析极限行为。
2026-05-27 cs.LG math.OC math.PR
Quasi-Newton Compatible Actor-Critic for Deterministic Policies
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Birmingham(伯明翰大学);Norwegian University of Science and Technology(挪威科学技术大学);TU Dortmund(德累斯顿技术大学)
本文提出二阶确定性Actor-Critic框架,通过引入二次评论家保留策略梯度和海森矩阵近似,结合最小二乘时序差分学习估计参数,实现拟牛顿Actor更新,较一阶方法收敛更快且性能更优。
2025-11-12 cs.LG cs.SY eess.SY
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院)
自然行动者-批评者(NAC)及其变体,配备了神经网络的表示能力,在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中,我们提出了一个有限时间分析的NAC与神经网络近似,并确定的作用,神经网络,正则化和优化技术(例如,梯度裁剪和平均),以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是,我们证明了(i)熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性,以及(ii)正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限,从而在策略优化中产生有利的偏差方差权衡。在这个过程中,我们确定的重要性一致逼近能力的演员神经网络,以实现全局最优的政策优化,由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
On the Sample Complexity of Actor-Critic Method for Reinforcement Learning with Function Approximation
University of Pennsylvania(宾夕法尼亚大学);JPMorgan AI Research(摩根大通人工智能研究院)
强化学习在数学上由马尔可夫决策问题描述,可以通过动态规划或策略搜索来实现。Actor-critic算法通过交替估计价值函数和策略梯度更新的步骤,结合了两种方法的优点。由于更新表现出相关噪声和有偏梯度更新的事实,通过将其行为与动力系统联系起来,仅知道行动者-批评者的渐近行为。这项工作提出了一个新的演员批评家,采用蒙特卡洛推出的政策搜索更新,这导致可控的偏见,取决于评论家的评价数量的变化。其结果是,我们能够提供第一次的演员-评论家算法的收敛速度时,策略搜索步骤采用策略梯度,不可知的政策评估技术的选择。特别是,我们建立的条件下,样本的复杂性是可比的随机梯度方法的非凸问题或缓慢的结果的关键估计误差,这是主要的复杂性瓶颈。这些结果保持在连续的状态和动作空间与线性函数逼近的价值函数。然后,我们专门这些概念性的结果的情况下,评价估计的时间差,梯度时间差,加速梯度时间差。这些学习率,然后证实了导航问题,涉及障碍和钟摆问题,提供洞察优化和泛化之间的相互作用,在强化学习。
2023-01-27 cs.LG math.OC stat.ML
Actor-Critic Algorithm for High-dimensional Partial Differential Equations
Salesforce(赛富时)
我们开发了一个深度学习模型来有效地求解高维非线性抛物型偏微分方程(PDE)。根据Feynman-Kac公式,将偏微分方程转化为一个倒向随机微分方程(Backward Stochastic Differential Equation,简称BDE)系统所支配的等价随机控制问题。在设计我们的神经网络架构时,利用了马尔可夫性质,这受到了通常用于深度强化学习的Actor-Critic算法的启发。与最先进的模型相比,我们做了几个改进,包括1)大大减少了可训练参数,2)更快的收敛速度和3)更少的超参数调整。我们通过求解几类著名的偏微分方程,如Hamilton-Jacobian-Bellman方程,Allen-Cahn方程和Black-Scholes方程,证明了这些改进。
2020-10-07 cs.LG math.OC stat.ML