Global Convergence of the ODE Limit for Online Actor-Critic Algorithms in Reinforcement Learning
University of Oxford（牛津大学）
本文证明了表格参数化在线演员-评论家算法在时间重标度下收敛到ODE极限，并通过双时间尺度分析证明评论家收敛到贝尔曼方程解、演员收敛到最优策略，同时给出了收敛速率。
2023-09-18 cs.LG math.OC stat.ML
An analysis of Mirror-Descent Soft Actor-Critic
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；INRIA（法国国家信息与自动化研究所）
本文证明镜像下降软演员-评论家算法在连续动作空间中的收敛性，推导演员目标强凸光滑条件，获得O(N^(-1/5))最优迭代收敛率，并指出镜像下降步长控制目标漂移优于吉布斯目标。
2026-10-06 cs.LG math.OC stat.ML
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ETH Zurich（苏黎世联邦理工学院）
自然行动者-批评者（NAC）及其变体，配备了神经网络的表示能力，在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中，我们提出了一个有限时间分析的NAC与神经网络近似，并确定的作用，神经网络，正则化和优化技术（例如，梯度裁剪和平均），以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是，我们证明了（i）熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性，以及（ii）正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限，从而在策略优化中产生有利的偏差方差权衡。在这个过程中，我们确定的重要性一致逼近能力的演员神经网络，以实现全局最优的政策优化，由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
On the Sample Complexity of Actor-Critic Method for Reinforcement Learning with Function Approximation
University of Pennsylvania（宾夕法尼亚大学）；JPMorgan AI Research（摩根大通人工智能研究院）
强化学习在数学上由马尔可夫决策问题描述，可以通过动态规划或策略搜索来实现。Actor-critic算法通过交替估计价值函数和策略梯度更新的步骤，结合了两种方法的优点。由于更新表现出相关噪声和有偏梯度更新的事实，通过将其行为与动力系统联系起来，仅知道行动者-批评者的渐近行为。这项工作提出了一个新的演员批评家，采用蒙特卡洛推出的政策搜索更新，这导致可控的偏见，取决于评论家的评价数量的变化。其结果是，我们能够提供第一次的演员-评论家算法的收敛速度时，策略搜索步骤采用策略梯度，不可知的政策评估技术的选择。特别是，我们建立的条件下，样本的复杂性是可比的随机梯度方法的非凸问题或缓慢的结果的关键估计误差，这是主要的复杂性瓶颈。这些结果保持在连续的状态和动作空间与线性函数逼近的价值函数。然后，我们专门这些概念性的结果的情况下，评价估计的时间差，梯度时间差，加速梯度时间差。这些学习率，然后证实了导航问题，涉及障碍和钟摆问题，提供洞察优化和泛化之间的相互作用，在强化学习。
2023-01-27 cs.LG math.OC stat.ML
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题，研究发现价值低估引发的数据收集不佳是主因，并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
Weak Convergence Analysis of Online Neural Actor-Critic Algorithms
Mathematical Institute, University of Oxford（牛津大学数学研究所）
本文证明单层神经网络在线演员-评论家算法在隐藏单元数和训练步数趋于无穷时分布收敛到随机常微分方程，并利用泊松方程和弱收敛技术分析极限行为。
2026-05-27 cs.LG math.OC math.PR
A Convergence Result for Regularized Actor-Critic Methods
在本文中，我们提出了一个概率1收敛证明，在适当的条件下，某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果，我们证明了使用线性近似架构时，一般正则化的政策评估的收敛性，并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland（马里兰大学系统研究所）；Astrome Technologies Pvt Ltd（Astrome科技私人有限公司）；Indian Institute of Science（印度科学学院）
我们提出了一种新的演员-评论家算法，保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向，这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展，将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark（南丹麦大学）
本文首次将PAC贝叶斯界用作SAC评论家训练目标，并结合评论家引导的随机搜索，在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Actor Loss of Soft Actor Critic Explained
本技术报告致力于解释如何获得软演员评论家的演员损失，以及相关的梯度估计。它给出了必要的数学背景，推导出所有提出的方程，从理论上的演员损失，在实践中实现的。这就需要将软演员评论家中使用的重新参数化技巧与nabla日志技巧进行比较，这导致了关于使用最有效方法的公开问题。
2021-12-31 cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Soft Actor-Critic for Discrete Action Settings
Imperial College London（帝国理工学院）
Soft Actor-Critic是一种最先进的强化学习算法，用于连续动作设置，不适用于离散动作设置。然而，许多重要的设置涉及离散动作，因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后，我们表明，即使没有任何超参数调整，它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
Connecting Generative Adversarial Networks and Actor-Critic Methods
Google DeepMind（谷歌DeepMind）
无监督学习中的生成对抗网络（GAN）和强化学习（RL）中的行动者-批评者方法都因难以优化而闻名。这两个领域的从业者已经积累了大量的策略来减轻这些不稳定性并改善培训。在这里，我们证明了GANs可以被视为演员不能影响奖励的环境中的演员-评论家方法。我们回顾了每类模型的稳定训练策略，包括在两者之间推广的策略和特定于该模型的策略。我们还回顾了GANs和RL算法的一些扩展，这些算法具有更复杂的信息流。我们希望通过强调这种正式的联系，我们将鼓励GAN和RL社区开发通用的，可扩展的，稳定的算法，用于深度网络的多级优化，并在社区中汲取灵感。
2017-01-18 cs.LG stat.ML
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Improving Actor-Critic Reinforcement Learning via Hamiltonian Monte Carlo Method
Georgia Institute of Technology（佐治亚理工学院）
行动者-评论家RL广泛用于各种机器人控制任务。通过从变分推理（VI）的角度观察行动者-评论者强化学习，策略网络被训练以获得给定最优性标准的行动的近似后验。然而，在实践中，行动者-批评者强化学习可能会产生次优的政策估计，由于摊销差距和不充分的探索。在这项工作中，受到先前在VI中使用Hamilton Monte Carlo（HMC）的启发，我们提出将行动者-批评者RL的策略网络与HMC集成，称为{ \it Hamilton Policy}。因此，我们建议根据HMC从基本策略中进化动作，我们提出的方法有很多好处。首先，HMC可以改善政策分布，以更好地逼近后验，从而减少摊销缺口。其次，HMC还可以将探索更多地引导到Q值较高的作用空间区域，提高了探索效率。此外，而不是直接应用HMC到RL，我们提出了一个新的蛙跳算子来模拟哈密顿动力学。最后，在安全强化学习问题中，我们发现所提出的方法不仅可以提高所获得的回报，而且还可以通过丢弃潜在的不安全行为来减少安全约束违反。通过对连续控制基线（包括MuJoCo和PyBullet Roboschool）进行全面的实证实验，我们证明了所提出的方法是对以前的演员-评论家方法的数据高效且易于实现的改进。
2022-01-02 cs.LG stat.ML
Expert-augmented actor-critic for ViZDoom and Montezumas Revenge
University of Warsaw（华沙大学）
我们提出了一个专家增强的演员-评论家算法，我们评估两个环境与稀疏的奖励：Montezumas复仇和一个苛刻的迷宫ViZDoom套件。在Montezumas Revenge的情况下，使用我们的方法训练的代理取得了非常好的结果，得分始终超过27，000分（在许多实验中击败了第一世界）。通过适当选择超参数，我们的算法超越了专家数据的性能。在一些实验中，我们在Montezumas Revenge中观察到一个未报告的错误，该错误允许代理获得超过800，000分。
2018-09-10 cs.LG stat.ML
Actor Critic with Differentially Private Critic
McGill University（麦吉尔大学）；Mila - Québec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Google DeepMind（谷歌DeepMind）
已知强化学习算法是样本低效的，并且通常可以通过利用信息（例如，通过预先培训）进行其他相关任务。在这项工作中，我们提出了一种技术，以实现这种知识转移的情况下，代理轨迹包含敏感或私人信息，如在医疗保健领域。我们的方法利用差异化的私有策略评估算法来初始化演员-评论家模型，并提高下游任务的学习效率。我们的经验表明，这种技术增加了样本效率在资源受限的控制问题，同时保留隐私的轨迹收集在上游任务。
2019-10-14 cs.LG stat.ML
Non-asymptotic Convergence Analysis of Two Time-scale (Natural) Actor-Critic Algorithms
The Ohio State University（俄亥俄州立大学）
作为一种重要的强化学习算法，行动者-批评者（AC）和自然行动者-批评者（NAC）算法通常以两种方式执行以寻找最优策略。在第一个嵌套循环设计中，演员的一个更新的政策是由整个循环的评论家的更新的价值函数，和有限样本分析，这样的AC和NAC算法最近已经建立。第二个两个时间尺度的设计，其中演员和评论家同时更新，但具有不同的学习率，具有更少的调整参数比嵌套循环设计，因此更容易实现。虽然两个时间尺度AC和NAC已被证明收敛在文献中，有限样本收敛速度尚未建立。在本文中，我们提供了第一个这样的非渐近收敛速度的两个时间尺度下的马尔可夫抽样和演员具有一般的政策类近似AC和NAC。我们发现，两个时间尺度AC需要的整体样本复杂度在$\mathcal{O}(ε^{-2.5}\log^3(ε^{-1}))$的顺序，以达到$ε$ -准确的平稳点，和两个时间尺度NAC需要的整体样本复杂度在$\mathcal{O}(ε^{-4}\log^2(ε^{-1}))$的顺序，以达到$ε$ -准确的全局最优点。我们开发了新的技术，由于动态变化的马尔可夫采样和分析的线性批评动态变化的基函数和过渡内核的收敛速度的演员的偏差误差的边界。
2020-05-08 cs.LG stat.ML
Adversarially Guided Actor-Critic
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
尽管在深度强化学习问题上取得了一定的成功，但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题，特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策（演员）和一个价值函数（批评家），其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角：对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时，演员除了学习解决任务之外，还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略，使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明，由此产生的对抗引导演员评论（AGAC）算法导致更详尽的探索。值得注意的是，AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
FORK: A Forward-Looking Actor For Model-Free Reinforcement Learning
The University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
在本文中，我们提出了一种新类型的Actor，命名为前瞻性Actor或简称为FORK，用于Actor-Critic算法。FORK可以很容易地集成到无模型的Actor-Critic算法中。我们在六个具有连续状态和动作空间的Box 2D和MuJoCo环境中的实验表明，FOLK可以为最先进的算法带来显着的性能改进。FORK的一个变体可以使用单个GPU在短短四个小时内进一步解决双足步行者硬核问题。
2021-09-29 cs.LG stat.ML
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Variance Adjusted Actor Critic Algorithms
Technion – Israel Institute of Technology（以色列理工学院）
本文提出了一种针对MDP的actor-critic框架，目标为方差调整的预期回报。通过线性函数逼近和扩展兼容特征概念，提出了一种分回合算法，并证明其几乎必然收敛到目标函数的局部最优解。
2013-10-14 cs.LG cs.SY eess.SY
Variational Actor-Critic Algorithms
University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
我们介绍了一类变分演员评论家算法的基础上变分制定的价值函数和政策。变分公式的目标函数由两部分组成：一部分用于最大化价值函数，另一部分用于最小化Bellman残差。除了同时使用价值函数和策略更新的香草梯度下降算法外，为了加快收敛速度，我们还提出了两种改进算法：裁剪法和翻转法。证明了当Bellman残差的前因子足够大时，算法的不动点接近于最优策略。
2023-01-14 cs.LG math.OC
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization
McGill University（麦吉尔大学）；Desautels Faculty of Management（德索特尔管理学院）
连续控制是强化学习的一个广泛应用领域。这一领域的主要参与者是行动者-批评者方法，该方法利用神经逼近器的策略梯度作为常见实践。我们的研究重点是显示的演员损失函数，这是优化的本质部分的特性。我们利用低维可视化的损失函数，并提供各种算法的损失景观的比较。此外，我们将我们的方法应用到多商店的动态库存控制，一个众所周知的困难的问题，在供应链运作，并探讨与最优政策的损失函数的形状。我们使用强化学习建模并解决了这个问题，同时具有有利于最优性的损失景观。
2020-09-04 cs.LG stat.ML
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes
Simon Fraser University（西蒙菲莎大学）；University of Pennsylvania（宾夕法尼亚大学）；Mila, McGill University（Mila，麦吉尔大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
本文提出一种乐观Actor-Critic框架，采用参数化logit匹配回归目标和近似汤普森采样，实现线性MDP中高效的样本复杂度。
2026-04-01 cs.LG stat.ML
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University（西蒙弗雷泽大学）；Samsung - SAIT AI Lab, Montreal（三星-三星高级技术研究院人工智能实验室（蒙特利尔））；Microsoft Research（微软研究院）；Mila（米拉研究所）
本文提出一种决策感知的Actor-Critic方法，通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题，并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
Better Exploration with Optimistic Actor-Critic
Microsoft Research Cambridge（微软研究院剑桥分院）；University of California San Diego（加州大学圣迭戈分校）
Actor-critic方法是一种无模型强化学习，已成功应用于连续控制中的挑战性任务，通常可以实现最先进的性能。然而，这些方法在现实世界中的大规模采用是困难的，因为它们的样本效率很低。我们从理论和经验两方面解决这个问题。在理论方面，我们确定了两种现象，防止有效的探索，在现有的国家的最先进的算法，如软演员批评。首先，将贪婪的演员更新与对评论家的悲观估计相结合，导致避免代理不知道的动作，我们称之为悲观探索不足的现象。第二，目前的算法是方向不明的，采样动作的概率相等，方向与当前均值相反。这是一种浪费，因为我们通常更需要沿着某些方向采取行动。为了解决这两种现象，我们引入了一种新算法：乐观演员批评者，它逼近状态-动作值函数的置信下限和置信上限。这使我们能够在面对不确定性时应用乐观原则，使用上限进行定向探索，同时仍然使用下限以避免高估。我们在几个具有挑战性的连续控制任务中评估OAC，实现最先进的样品效率。
2019-10-28 cs.LG stat.ML
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Finite-Sample Analysis of Off-Policy Natural Actor-Critic with Linear Function Approximation
Geogia Institute of Technology, e1,e2,e3
在本文中，我们开发了一种新的变体的政策外的自然演员-评论家算法与线性函数近似，我们建立了一个样本的复杂性$\mathcal{O}(ε^{-3})$，优于所有以前已知的收敛界的算法。为了克服函数逼近下的离策策略评估中的致命三元组导致的发散，我们开发了一种采用$n$ -步TD-学习算法并适当选择$n$的评估器。我们提出了有限样本收敛界限，这个评论家在恒定和递减步长，这是独立的利益。此外，我们开发了一个变种的自然策略梯度下的函数逼近，与$T$迭代后的$\mathcal{O}(1/T)$的收敛速度的改善。结合演员和评论家的有限样本误差界，我们得到了$\mathcal{O}(ε^{-3})$样本复杂度。我们推导出我们的样本复杂性界限完全基于这样的假设，即行为策略充分探索了所有的状态和动作，这是一个更轻的假设相比，相关文献。
2022-04-12 cs.LG math.OC
Regret Analysis of Average-Reward Unichain MDPs via an Actor-Critic Approach
Purdue University, USA（普渡大学）
本文提出带批处理的自然演员-评论家算法NAC-B，在单链假设下实现无限时域平均奖励MDP的阶最优遗憾，通过批处理缓解周期性与随机性，支持大规模状态动作空间。
2025-10-25 cs.LG stat.ML
AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning
Artificial Intelligence Research Center DII（DII人工智能研究中心）
强化学习（RL）技术在许多具有挑战性的任务中受到了极大的关注，但当应用于现实世界的问题时，其性能急剧下降。已经提出了各种方法，如域随机化，通过在不同的环境设置下训练代理来处理这种情况，因此它们可以在部署过程中推广到不同的环境。然而，他们通常不包括潜在的环境因素的信息，代理人进行适当的互动，因此可能会过于保守，当面对周围环境的变化。在本文中，我们首先形式化的任务，适应不断变化的环境动态RL作为一个泛化问题，使用上下文马尔可夫决策过程（CMDPs）。然后，我们提出了非对称Actor-Critic在上下文RL（AACC）作为一个端到端的Actor-Critic方法来处理这样的泛化任务。我们证明了AACC的性能在一系列模拟环境中的实验超过现有基线的根本改善。
2022-08-03 cs.LG stat.ML
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University（清华大学）
由于需要较少的在线仿真数据，因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程，另一些人通过模仿专家演示来预训练策略。然而，这些方法是不稳定的，不适合演员-评论家强化学习算法。此外，一些现有的方法依赖于全局最优假设，这在大多数情况下是不正确的。在本文中，我们采用专家示范的行动者-批评强化学习框架，同时确保性能不受影响的事实，专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法，预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER，实验结果表明，该方法不仅比没有预训练过程的RL算法性能更好，而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
A Small Gain Analysis of Single Timescale Actor Critic
Boston University（波士顿大学）；University of California at Los Angeles（加州大学洛杉矶分校）
本文针对使用比例步长且每步仅一次评论家更新的单时间尺度演员-评论家方法，利用小增益定理证明其可收敛到平稳点，并将样本复杂度提升至 $O(μ^{-2}ε^{-2})$。
2023-05-25 cs.LG cs.SY eess.SY
