Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University（清华大学）
由于需要较少的在线仿真数据，因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程，另一些人通过模仿专家演示来预训练策略。然而，这些方法是不稳定的，不适合演员-评论家强化学习算法。此外，一些现有的方法依赖于全局最优假设，这在大多数情况下是不正确的。在本文中，我们采用专家示范的行动者-批评强化学习框架，同时确保性能不受影响的事实，专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法，预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER，实验结果表明，该方法不仅比没有预训练过程的RL算法性能更好，而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Band-limited Soft Actor Critic Model
Facebook（脸书）
软演员评论（SAC）算法在复杂的模拟环境中表现出显着的性能。SAC网络的一个关键要素是熵正则化，它防止SAC执行器针对状态-动作价值函数的细粒度特征（通常是瞬态的）进行优化。这导致在早期训练期间更好的样本效率。我们通过增加卷积滤波器人为地对目标临界空间分辨率进行频带限制，进一步实现了这一想法。我们推导出封闭形式的解决方案在线性的情况下，并表明，限带降低了状态-动作值近似的低频和高频分量之间的相互依赖性，使批评家学习更快。在实验中，带限SAC在许多健身房环境中的表现优于经典的双批评SAC，并显示出更稳定的回报。我们通过添加随机噪声干扰，获得了关于SAC的新见解，这种技术越来越多地用于学习鲁棒的政策，这些政策可以很好地转移到现实世界中的同行。
2020-06-19 cs.AI cs.LG stat.ML
Distributional Advantage Actor-Critic
Carnegie Mellon University（卡内基梅隆大学）
在传统的强化学习中，智能体通过估计价值函数来近似最优策略，从而最大化在其与环境交互期间收集的奖励。通常情况下，给定状态s和动作a，对应的值是预期的奖励折扣总和。然后，最优动作被选择为具有由价值函数估计的最大值的动作a。然而，最近的发展表明，在深度Q学习的背景下，当价值函数被价值分布取代时，理论和实验证据都显示出优越的性能[1]。在本文中，我们开发了一种新的算法，结合优势演员评论家的值分布估计分位数回归。我们评估了这种新算法，称为分布式优势演员-评论家（DA 2C或QR-A2 C）的各种任务，并观察到它至少达到基线算法一样好，并在一些任务中表现优于基线，具有较小的方差和增加的稳定性。
2018-06-10 cs.AI cs.LG stat.ML
Improving Exploration in Soft-Actor-Critic with Normalizing Flows Policies
McGill University（麦吉尔大学）；Mila（米拉研究所）
已知用于连续动作空间的深度强化学习（DRL）算法对于超参数是脆弱的，并且\cut{being}样本效率低下。Soft Actor Critic（SAC）在最大熵RL框架内提出了一种离线深度演员评论算法，该算法提供了更大的稳定性和经验增益。策略分布的选择，一个因子高斯，是由\cut{chosen due}它的容易重新参数化，而不是它的建模能力。我们在SAC框架内引入了规范化流策略，该策略比简单的因子高斯算法更具表达性。\cut{We also present a series of stabilization tricks that enable effective training of these policies in the RL setting.}我们在连续网格世界任务上的经验表明，我们的方法增加了稳定性，更适合于稀疏奖励设置中的困难探索。
2019-06-06 cs.AI cs.LG stat.ML
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了样本感知的策略熵正则化，以加强传统的策略熵正则化，以更好地探索。利用可从重放缓冲器获得的样本分布，所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵，以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者（DAC）。数值结果表明，DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Soft-Robust Actor-Critic Policy-Gradient
Technion（以色列理工学院）；Google Deepmind（谷歌DeepMind）
鲁棒强化学习的目标是获得最佳行为，说明动态系统中的模型不确定性。然而，先前的研究表明，考虑到最坏的情况，稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中，我们提出了一种新的软鲁棒Actor-Critic算法（SR-AC）。它学习关于不确定性集合上的分布的最优策略，并对模型的不确定性保持鲁棒性，但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性，并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Multi-Preference Actor Critic
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）
策略梯度算法通常将贴现的未来奖励与估计的价值函数相结合，以计算参数更新的方向和幅度。然而，对于大多数强化学习任务，人类可以提供额外的洞察力来约束策略学习。我们介绍了一种通用的方法，将多个不同的反馈通道到一个单一的策略梯度损失。在我们的公式中，多偏好演员评论（M-PAC），这些不同类型的反馈被实现为对政策的约束。我们使用拉格朗日松弛来满足这些约束，同时使用梯度下降学习最大化奖励的策略。在Atari和Pendulum上的实验验证了约束得到了尊重，并且可以加速学习过程。
2019-04-05 cs.AI cs.LG stat.ML
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford（牛津大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲，演员-评论家算法通常对演员和评论家都有折扣，即，在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项，并且批评者是折扣价值函数。然而，实践者通常在使用折扣评论时忽略参与者的折扣（$γ^t$）。我们在两种情况下调查这种不匹配。在第一种情况下，我们考虑优化一个未折现的目标$(γ= 1)$，其中$γ^t$自然消失$(1^t = 1)$。然后，我们建议解释折扣在批评方面的偏差方差表示权衡，并提供支持的实证结果。在第二种情况下，我们考虑优化折扣目标（$γ< 1$），并建议解释省略的折扣在演员更新从辅助任务的角度来看，并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University（卡内基梅隆大学）；MIT Media Lab（麻省理工学院媒体实验室）；Adobe（奥多比公司）
SAC是一种行动者-批评者算法，其双时间尺度性质的特征在于，批评者估计在任何给定时间都不会收敛于行动者，但由于批评者比行动者学习得更快，因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计，以帮助实现更好的收敛。由于梯度估计依赖于评论家，我们认为，改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点，我们提出了软演员回顾性批评（SARC），在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛，因此，更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析，我们表明，SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题，研究发现价值低估引发的数据收集不佳是主因，并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
A Convergence Result for Regularized Actor-Critic Methods
在本文中，我们提出了一个概率1收敛证明，在适当的条件下，某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果，我们证明了使用线性近似架构时，一般正则化的政策评估的收敛性，并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark（南丹麦大学）
本文首次将PAC贝叶斯界用作SAC评论家训练目标，并结合评论家引导的随机搜索，在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Analysis of a Target-Based Actor-Critic Algorithm with Linear Function Approximation
LTCI（通信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
整合目标网络的演员-评论家方法在深度强化学习中取得了巨大的经验成功。然而，在行动者-批评者方法中使用目标网络的理论理解在文献中基本上是缺失的。在本文中，我们减少了理论与实践之间的差距，提出了第一个理论分析的在线目标为基础的演员-评论家算法与线性函数近似的折扣奖励设置。我们的算法使用三个不同的时间尺度：一个用于演员，两个用于评论家。而不是使用标准的单时标时间差（TD）的学习算法作为一个评论家，我们使用两个时标的TD学习的目标为基础的版本密切启发，从实际的演员-评论家算法实现目标网络。首先，我们建立了马尔可夫抽样下的评论家和演员的渐近收敛结果。然后，我们提供了一个有限的时间分析显示的影响，将目标网络的演员-评论家的方法。
2022-02-22 cs.LG math.OC stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 AFU 离策略深度强化学习算法，通过回归与条件梯度缩放解决连续控制中的 max-Q 问题，并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中（AGI或通用AI或人工通用智能，具有通用应用程序：（A）离线学习（存储数据的），如中的GAN（非/半/全）SL设置，如大数据分析（挖掘）和可视化;（B）在线学习（真实或模拟设备），如RL设置中的DRL（有/无环境奖励），例如（真实或模拟）机器人和控制;我们的核心建议是增加一个（生成/预测）环境模型到行动者-批评者（无模型）架构，其导致具有时间差分（TD）误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于（无模型）DDPG，因此它被称为基于模型的DDPG。为了评估它，我们将其与（无模型）DDPG进行比较，将它们应用于OpenAI Gym和Unity Agents中的各种（广泛）独立模拟机器人和控制任务环境。我们最初有限的实验表明，DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与（无模型）DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力：（A）通过与最好的基于模型（PlaNet）和无模型（D4 PG）方法相比，产生有竞争力的性能，统一人工智能内部的DRL领域;（B）通过解决奖励工程的重要问题，通过演示学习奖励函数，弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
本工作全面分析了带自动温度调节的Soft Actor-Critic算法的正则化，通过重新表述策略评估、策略改进和温度调节，以更明确的方式增强了原始理论的清晰度。
2023-05-23 cs.AI cs.LG
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）
尽管行动者-批评者算法在经验上取得了成功，但它的理论理解却落后了。在更广泛的背景下，演员评论家可以被视为一个在线交替更新算法的双层优化，其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性，我们将重点放在它在线性二次调节器中的应用上，这是强化学习的一个简单而基本的设置。在这种情况下，我们建立了一个非渐近收敛分析的演员批评。特别是，我们证明了演员-评论家找到一个全局最优的演员（政策）和评论家（行动-价值函数）的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题，这是NP-难的最坏情况下，往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
SAAC: Safe Reinforcement Learning as an Adversarial Game of Actor-Critics
Stanford University（斯坦福大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
尽管强化学习（RL）对于不确定性下的顺序决策问题是有效的，但它仍然无法在风险或安全是约束性约束的现实世界系统中蓬勃发展。在本文中，我们制定了RL问题的安全约束作为一个非零和游戏。虽然部署了最大熵RL，但这种提法导致了一个安全的对抗引导的软演员-评论家框架，称为SAAC。在SAAC中，对手的目标是打破安全约束，而RL代理的目标是最大化受约束的价值函数给定对手的政策。对代理人的价值函数的安全约束只表现为代理人和对手的政策之间的排斥项。与以前的方法不同，SAAC可以解决不同的安全标准，如安全探索，均值-方差风险敏感性，CVaR的一致性风险敏感性。我们说明了这些限制的对手的设计。然后，在这些变化中的每一个，我们表明代理区分自己从对手的不安全的行动，除了学习解决任务。最后，对于具有挑战性的连续控制任务，我们证明了SAAC实现更快的收敛速度，更好的效率，更少的故障，以满足安全约束比风险厌恶的分布式RL和风险中性的软演员批评算法。
2022-07-05 cs.AI cs.GT cs.LG
Actor Loss of Soft Actor Critic Explained
本技术报告致力于解释如何获得软演员评论家的演员损失，以及相关的梯度估计。它给出了必要的数学背景，推导出所有提出的方程，从理论上的演员损失，在实践中实现的。这就需要将软演员评论家中使用的重新参数化技巧与nabla日志技巧进行比较，这导致了关于使用最有效方法的公开问题。
2021-12-31 cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
Connecting Generative Adversarial Networks and Actor-Critic Methods
Google DeepMind（谷歌DeepMind）
无监督学习中的生成对抗网络（GAN）和强化学习（RL）中的行动者-批评者方法都因难以优化而闻名。这两个领域的从业者已经积累了大量的策略来减轻这些不稳定性并改善培训。在这里，我们证明了GANs可以被视为演员不能影响奖励的环境中的演员-评论家方法。我们回顾了每类模型的稳定训练策略，包括在两者之间推广的策略和特定于该模型的策略。我们还回顾了GANs和RL算法的一些扩展，这些算法具有更复杂的信息流。我们希望通过强调这种正式的联系，我们将鼓励GAN和RL社区开发通用的，可扩展的，稳定的算法，用于深度网络的多级优化，并在社区中汲取灵感。
2017-01-18 cs.LG stat.ML
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
SMAC通过正则化Q函数，使演员-评论家在离线到在线RL迁移中保持性能，有效避免性能下降。
2026-08-11 cs.AI cs.LG
Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）
本文分析了DSAC在离散动作领域表现不佳的原因，提出了一种灵活的off-policy actor-critic框架，通过解耦actor和critic熵实现性能提升，并在Atari游戏中验证了其鲁棒性。
2026-05-11 cs.AI cs.LG
A Finite Time Analysis of Two Time-Scale Actor Critic Methods
University of California, Los Angeles（加州大学洛杉矶分校）
与其他强化学习算法相比，Actor-Critic（AC）方法已经展示了巨大的经验成功，其中Actor使用策略梯度来改进学习策略，而Critic使用时间差学习来估计策略梯度。在双时间尺度学习率调度下，AC的渐近收敛性已经得到了很好的研究。然而，非渐近收敛性和有限样本复杂性的行动者-批评者方法在很大程度上是开放的。在这项工作中，我们提供了一个非独立同分布下的两个时间尺度的actor-critic方法的非渐近分析。设置.我们证明了行动者-批评者方法保证找到一个一阶稳定点（即，$\|\nabla J(\boldsymbolθ)\|_2^2 \le ε$）的非凹性能函数$J(\boldsymbolθ)$，具有$\mathcal{\tilde{O}}(ε^{-2.5})$样本复杂度。据我们所知，这是第一个工作提供有限的时间分析和样本的复杂性限制的两个时间尺度的演员评论家的方法。
2022-10-10 cs.LG math.OC stat.ML
Hierarchical Soft Actor-Critic: Adversarial Exploration via Mutual Information Optimization
Blackberry Cylance（黑莓Cylance）
我们描述了一种新的扩展软演员批评分层深度Q网络（HDQN）架构使用互信息度量。拟议的扩展提供了一个合适的框架，鼓励探索在这样的层次网络。这个框架的一个自然的利用是一个对抗性的设置，其中元控制器和控制器在互信息目标上玩极小极大，但在最大化预期回报上合作。
2019-06-17 cs.AI cs.IT cs.LG
Improving Actor-Critic Reinforcement Learning via Hamiltonian Monte Carlo Method
Georgia Institute of Technology（佐治亚理工学院）
行动者-评论家RL广泛用于各种机器人控制任务。通过从变分推理（VI）的角度观察行动者-评论者强化学习，策略网络被训练以获得给定最优性标准的行动的近似后验。然而，在实践中，行动者-批评者强化学习可能会产生次优的政策估计，由于摊销差距和不充分的探索。在这项工作中，受到先前在VI中使用Hamilton Monte Carlo（HMC）的启发，我们提出将行动者-批评者RL的策略网络与HMC集成，称为{ \it Hamilton Policy}。因此，我们建议根据HMC从基本策略中进化动作，我们提出的方法有很多好处。首先，HMC可以改善政策分布，以更好地逼近后验，从而减少摊销缺口。其次，HMC还可以将探索更多地引导到Q值较高的作用空间区域，提高了探索效率。此外，而不是直接应用HMC到RL，我们提出了一个新的蛙跳算子来模拟哈密顿动力学。最后，在安全强化学习问题中，我们发现所提出的方法不仅可以提高所获得的回报，而且还可以通过丢弃潜在的不安全行为来减少安全约束违反。通过对连续控制基线（包括MuJoCo和PyBullet Roboschool）进行全面的实证实验，我们证明了所提出的方法是对以前的演员-评论家方法的数据高效且易于实现的改进。
2022-01-02 cs.LG stat.ML
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Expert-augmented actor-critic for ViZDoom and Montezumas Revenge
University of Warsaw（华沙大学）
我们提出了一个专家增强的演员-评论家算法，我们评估两个环境与稀疏的奖励：Montezumas复仇和一个苛刻的迷宫ViZDoom套件。在Montezumas Revenge的情况下，使用我们的方法训练的代理取得了非常好的结果，得分始终超过27，000分（在许多实验中击败了第一世界）。通过适当选择超参数，我们的算法超越了专家数据的性能。在一些实验中，我们在Montezumas Revenge中观察到一个未报告的错误，该错误允许代理获得超过800，000分。
2018-09-10 cs.LG stat.ML
Actor Critic with Differentially Private Critic
McGill University（麦吉尔大学）；Mila - Québec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Google DeepMind（谷歌DeepMind）
已知强化学习算法是样本低效的，并且通常可以通过利用信息（例如，通过预先培训）进行其他相关任务。在这项工作中，我们提出了一种技术，以实现这种知识转移的情况下，代理轨迹包含敏感或私人信息，如在医疗保健领域。我们的方法利用差异化的私有策略评估算法来初始化演员-评论家模型，并提高下游任务的学习效率。我们的经验表明，这种技术增加了样本效率在资源受限的控制问题，同时保留隐私的轨迹收集在上游任务。
2019-10-14 cs.LG stat.ML
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Non-asymptotic Convergence Analysis of Two Time-scale (Natural) Actor-Critic Algorithms
The Ohio State University（俄亥俄州立大学）
作为一种重要的强化学习算法，行动者-批评者（AC）和自然行动者-批评者（NAC）算法通常以两种方式执行以寻找最优策略。在第一个嵌套循环设计中，演员的一个更新的政策是由整个循环的评论家的更新的价值函数，和有限样本分析，这样的AC和NAC算法最近已经建立。第二个两个时间尺度的设计，其中演员和评论家同时更新，但具有不同的学习率，具有更少的调整参数比嵌套循环设计，因此更容易实现。虽然两个时间尺度AC和NAC已被证明收敛在文献中，有限样本收敛速度尚未建立。在本文中，我们提供了第一个这样的非渐近收敛速度的两个时间尺度下的马尔可夫抽样和演员具有一般的政策类近似AC和NAC。我们发现，两个时间尺度AC需要的整体样本复杂度在$\mathcal{O}(ε^{-2.5}\log^3(ε^{-1}))$的顺序，以达到$ε$ -准确的平稳点，和两个时间尺度NAC需要的整体样本复杂度在$\mathcal{O}(ε^{-4}\log^2(ε^{-1}))$的顺序，以达到$ε$ -准确的全局最优点。我们开发了新的技术，由于动态变化的马尔可夫采样和分析的线性批评动态变化的基函数和过渡内核的收敛速度的演员的偏差误差的边界。
2020-05-08 cs.LG stat.ML
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
FORK: A Forward-Looking Actor For Model-Free Reinforcement Learning
The University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
在本文中，我们提出了一种新类型的Actor，命名为前瞻性Actor或简称为FORK，用于Actor-Critic算法。FORK可以很容易地集成到无模型的Actor-Critic算法中。我们在六个具有连续状态和动作空间的Box 2D和MuJoCo环境中的实验表明，FOLK可以为最先进的算法带来显着的性能改进。FORK的一个变体可以使用单个GPU在短短四个小时内进一步解决双足步行者硬核问题。
2021-09-29 cs.LG stat.ML
