An Approximate Policy Iteration Viewpoint of Actor-Critic Algorithms
Caltech（加州理工学院）；Georgia Tech（佐治亚理工学院）
在这项工作中，我们考虑基于策略的方法来解决强化学习问题，并建立样本的复杂性保证。基于策略的算法通常由一个参与者和一个批评者组成。我们考虑使用各种政策更新规则的演员，包括著名的自然策略梯度。与文献中采用的梯度上升方法不同，我们将自然策略梯度看作是实现策略迭代的一种近似方法，并证明了自然策略梯度（没有任何正则化）在使用增加的步长时具有几何收敛性.对于批评者，我们考虑使用TD学习与线性函数逼近和离线采样。由于它是众所周知的，在这种设置TD学习可能是不稳定的，我们提出了一个稳定的遗传算法（包括两个具体的算法：$λ$ -平均$Q$ -跟踪和双边$Q$ -跟踪），使用多步返回和广义重要性采样因素，并提供有限样本分析。结合几何收敛的演员与有限样本分析的评论家，我们第一次建立了一个整体的$\mathcal{O}(ε^{-2})$样本复杂性，找到一个最佳的政策（函数逼近误差），使用基于政策的方法下的政策抽样和线性函数逼近。
2023-01-13 cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
RN-D: Discretized Categorical Actors for On-Policy Reinforcement Learning
University of California San Diego, La Jolla, USA（加州大学圣地亚哥分校）
提出离散化分类演员替代高斯演员，结合正则化网络形成RN-D，在同策略RL中实现连续控制的最优性能。
2026-06-25 cs.LG cs.RO
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor（PAAC）方法，通过结合Q值和TD误差改进策略梯度估计，减少方差，提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta（阿尔伯塔大学）
本文提出带强调权重的演员-评论家算法ACE，通过统一离策略目标并推导策略梯度定理，解决了OffPAC和DPG等半梯度方法收敛到错误解的问题，并在多个环境中验证了其优越性。
2023-04-13 cs.LG
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
Actor-Critic with Active Importance Sampling
Politecnico di Milano（米兰理工学院）
本文提出主动重要性采样Actor-Critic算法，通过优化行为策略减少策略梯度估计方差，提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
基于相对悲观的概念，提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic（ATAC）. ATAC被设计成一个两人的Stackelberg游戏：一个策略参与者与一个经过对抗训练的价值批评者竞争，后者发现数据一致的场景，其中参与者不如数据收集行为策略。我们证明了，当行动者在两人博弈中没有后悔时，运行ATAC产生的策略可证明1）在控制悲观程度的广泛超参数范围内优于行为策略，2）与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比，值得注意的是，我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中，ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Actor-critic versus direct policy search: a comparison based on sample complexity
Sorbonne Universités, UPMC Univ Paris 06（索邦大学，巴黎第六大学）；CNRS, Institut des Systèmes Intelligents et de Robotique（法国国家科学研究中心，智能系统与机器人研究所）
样本效率是优化机器人控制器的策略参数时的关键属性。在本文中，我们评估两个国家的最先进的政策优化算法。一种是最近的深度强化学习方法，它基于行动者-批评者算法，深度确定性策略梯度（DDPG），已被证明在各种控制基准上表现良好。另一种是直接策略搜索方法，协方差矩阵自适应演化策略（CMA-ES），一种广泛用于机器人学习的黑箱优化方法。的算法进行评估的连续版本的山地车基准问题，以比较它们的样本复杂度。从初步的分析，我们预计DDPG是更有效的样本比CMA-ES，这是证实了我们的实验结果。
2016-08-22 cs.LG
A Finite Time Analysis of Two Time-Scale Actor Critic Methods
University of California, Los Angeles（加州大学洛杉矶分校）
与其他强化学习算法相比，Actor-Critic（AC）方法已经展示了巨大的经验成功，其中Actor使用策略梯度来改进学习策略，而Critic使用时间差学习来估计策略梯度。在双时间尺度学习率调度下，AC的渐近收敛性已经得到了很好的研究。然而，非渐近收敛性和有限样本复杂性的行动者-批评者方法在很大程度上是开放的。在这项工作中，我们提供了一个非独立同分布下的两个时间尺度的actor-critic方法的非渐近分析。设置.我们证明了行动者-批评者方法保证找到一个一阶稳定点（即，$\|\nabla J(\boldsymbolθ)\|_2^2 \le ε$）的非凹性能函数$J(\boldsymbolθ)$，具有$\mathcal{\tilde{O}}(ε^{-2.5})$样本复杂度。据我们所知，这是第一个工作提供有限的时间分析和样本的复杂性限制的两个时间尺度的演员评论家的方法。
2022-10-10 cs.LG math.OC stat.ML
Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Dharwad（印度理工学院达拉瓦德分校）
从已有数据中学习最优行为是强化学习（RL）的重要问题之一。这在RL中被称为“策略外控制”，其中代理的目标是基于从给定策略（称为行为策略）获得的数据计算最优策略。由于最优策略可能与行为策略非常不同，因此与将在学习中利用来自策略更新的新数据的“策略上”设置相比，在“策略外”设置中学习最优行为非常困难。本文提出了一种基于状态-动作分布修正的策略外自然行动者-批评者算法，该算法利用状态-动作分布修正来处理策略外行为，利用自然策略梯度来提高样本效率。现有的基于自然梯度的Actor-Critic算法需要固定的特征来逼近策略和价值函数。这通常会导致许多RL应用中的次优学习。另一方面，我们提出的算法利用兼容的功能，使之能够使用任意的神经网络近似的政策和价值函数，并保证收敛到一个局部最优的政策。我们说明了建议的政策外自然梯度算法的好处，通过比较它与香草梯度演员评论家算法对基准RL任务。
2022-06-15 cs.AI cs.LG
On the Sample Complexity of Actor-Critic Method for Reinforcement Learning with Function Approximation
University of Pennsylvania（宾夕法尼亚大学）；JPMorgan AI Research（摩根大通人工智能研究院）
强化学习在数学上由马尔可夫决策问题描述，可以通过动态规划或策略搜索来实现。Actor-critic算法通过交替估计价值函数和策略梯度更新的步骤，结合了两种方法的优点。由于更新表现出相关噪声和有偏梯度更新的事实，通过将其行为与动力系统联系起来，仅知道行动者-批评者的渐近行为。这项工作提出了一个新的演员批评家，采用蒙特卡洛推出的政策搜索更新，这导致可控的偏见，取决于评论家的评价数量的变化。其结果是，我们能够提供第一次的演员-评论家算法的收敛速度时，策略搜索步骤采用策略梯度，不可知的政策评估技术的选择。特别是，我们建立的条件下，样本的复杂性是可比的随机梯度方法的非凸问题或缓慢的结果的关键估计误差，这是主要的复杂性瓶颈。这些结果保持在连续的状态和动作空间与线性函数逼近的价值函数。然后，我们专门这些概念性的结果的情况下，评价估计的时间差，梯度时间差，加速梯度时间差。这些学习率，然后证实了导航问题，涉及障碍和钟摆问题，提供洞察优化和泛化之间的相互作用，在强化学习。
2023-01-27 cs.LG math.OC stat.ML
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Actor-Accelerated Policy Dual Averaging for Reinforcement Learning in Continuous Action Spaces
School of Chemical and Biomolecular Engineering, Georgia Institute of Technology, GA, USA（化学与生物分子工程学院，佐治亚理工学院，美国加利福尼亚州）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, GA, USA（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院，美国加利福尼亚州）
本文提出加速器PDA，通过学习策略网络加速连续动作空间中的强化学习，提升性能并保持收敛保证。
2026-03-10 cs.LG
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal（微软蒙特利尔研究院）
在强化学习中，给定状态下的最优行为取决于后续状态下的策略决策。因此，学习目标随着时间的推移而演变，并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中，我们发现，策略梯度定理规定的政策更新，是缓慢的遗忘，因为它们的结构对称性的价值目标。为了提高学习速度，我们研究了一种新的策略更新：交叉熵损失的梯度相对于动作最大化$q$，但发现这样的更新可能会导致价值的下降。因此，我们引入了一个修改后的政策更新没有这个缺陷，并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外，我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后，我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages
University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）
本文提出通过对A3C算法进行ReLU优势估计、谱归一化和贝叶斯近似dropout三项修改，在on-policy actor-critic深度强化学习中实现近似贝叶斯推断，在MuJoCo和ProcGen基准上显著优于A3C、PPO、SAC和TD3。
2024-10-10 cs.LG
TASAC: a twin-actor reinforcement learning framework with stochastic policy for batch process control
Indian Institute of Technology Delhi（印度理工学院德里分校）；International Institute of Information Technology Hyderabad（印度国际信息技术学院海得拉巴分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
由于其复杂的非线性动力学和批间变异性，间歇过程对过程控制提出了挑战。由于缺乏精确的模型和由此产生的工厂模型不匹配，这些问题变得更难解决先进的基于模型的控制策略。强化学习（RL），其中代理通过直接与环境交互来学习策略，在这种情况下提供了一种潜在的替代方案。具有Actor-Critic架构的RL框架最近变得流行，用于控制状态和动作空间连续的系统。它已被证明，演员和评论家网络的合奏进一步帮助代理学习更好的政策，由于增强的探索，由于同时策略学习。为此，目前的研究提出了一种随机演员-评论家RL算法，称为双演员软演员-评论家（TASAC），通过将演员学习的合奏，在最大熵框架，批处理控制。
2022-05-02 cs.LG cs.SY eess.SY
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Variance Penalized On-Policy and Off-Policy Actor-Critic
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google DeepMind（谷歌DeepMind）
强化学习算法通常面向优化代理的预期回报。然而，在许多实际应用中，期望返回的低方差以确保算法的可靠性。在本文中，我们提出了政策和政策外的演员-评论家算法，优化的性能标准，涉及均值和方差的回报。以前的工作使用收益率的二阶矩来间接估计方差。相反，我们使用一个更简单的最近提出的直接方差估计，更新估计增量使用时间差的方法。使用方差惩罚准则，我们保证我们的算法收敛到局部最优策略的有限状态行动马尔可夫决策过程。我们证明了我们的算法在表格和连续MuJoCo域的效用。我们的方法不仅在预期收益方面与行动者-批评者和先验方差惩罚基线不相上下，而且还生成了收益方差较低的轨迹。
2021-02-03 cs.AI cs.LG
Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）；Yale University（耶鲁大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文首次在平均奖励设定下研究方差约束的风险敏感深度强化学习，通过拉格朗日对偶与Fenchel对偶将原问题转化为无约束鞍点优化问题，提出行动者-评论家算法，并证明其能以次线性速率找到全局最优策略。
2023-09-17 cs.LG math.OC stat.ML
Actor-Critic Algorithm for Dynamic Expectile and CVaR
GERAD & Department of Decision Sciences, HEC Montréal, Canada（GERAD与决策科学系，蒙特利尔HEC学院，加拿大）；Mila - Quebec AI Institute, Canada（魁北克AI研究所，加拿大）
本文提出一种无需转移扰动的softmax策略参数化 surrogate 政策梯度方法，开发了基于elicitability的模型无关价值学习方法，并构建了模型无关的off-policy actor-critic算法，实验证明其在风险规避行为领域表现优异。
2026-05-08 cs.LG
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 AFU 离策略深度强化学习算法，通过回归与条件梯度缩放解决连续控制中的 max-Q 问题，并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Diffusion Actor-Critic: Formulating Constrained Policy Iteration as Diffusion Noise Regression for Offline Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Southern University of Science and Technology（南方科技大学）
本文提出扩散演员-评论家（DAC），将KL约束策略迭代转化为扩散噪声回归，直接以扩散模型表示目标策略，结合软Q引导和Q集成下置信界，在D4RL基准上超越最先进方法。
2025-02-25 cs.LG
Improved Soft Actor-Critic: Mixing Prioritized Off-Policy Samples with On-Policy Experience
School of Engineering（工程学院）；School of Information and Physical Sciences, University of Newcastle（纽卡斯尔大学信息与物理科学学院）
Soft Actor-Critic（SAC）是一种非策略的Actor-Critic强化学习算法，本质上基于熵正则化。SAC通过最大化预期回报和熵（策略中的随机性）之间的权衡来训练策略。它在一系列连续控制基准任务上实现了最先进的性能，优于之前的策略和非策略方法。SAC以脱离策略的方式工作，其中数据从过去的经验（存储在缓冲区中）中均匀地采样，使用策略和价值函数网络的参数来更新。我们提出了一些关键的修改，以提高SAC的性能，使其更有效的样本。在我们提出的改进SAC中，我们首先引入了一个新的优先级方案，用于从经验重放缓冲区中选择更好的样本。其次，我们使用优先的非策略数据与最新的策略数据的混合来训练策略和价值函数网络。我们比较我们的方法与香草SAC和SAC的一些最近的变种，并表明我们的方法优于上述算法基准。在MuJoCo环境中对一些连续控制任务进行测试时，它相对更稳定，样本效率更高。
2021-09-24 cs.LG cs.SY eess.SY
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Stabilizing the Q-Gradient Field for Policy Smoothness in Actor-Critic Methods
College of Software, Kyung Hee University（韩国庆熙大学软件学院）
针对连续动作空间中actor-critic方法策略振荡问题，提出基于评论家微分几何的PAVE框架，通过稳定Q-梯度场实现策略平滑，无需修改actor。
2026-06-19 cs.AI cs.LG
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Adversarial Advantage Actor-Critic Model for Task-Completion Dialogue Policy Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（国立台湾大学）
提出了一种新的策略学习方法-对抗性优势参与者-批评者（Adversarial A2 C），该方法显著提高了任务完成对话系统中对话策略学习的效率。受生成对抗网络（GAN）的启发，我们训练一个机器人来区分对话代理产生的响应/动作与专家的响应/动作。然后，我们将作为另一个评论家的优势演员-评论家（A2 C）的框架，鼓励对话代理，以探索国家行动的区域内的代理采取行动类似的专家。在电影票预订领域的实验结果表明，提出的对抗A2 C可以有效地加速策略探索。
2018-02-08 cs.AI cs.CL cs.LG
Decoupling Policy Extraction for Offline Reinforcement Learning
Simplexity Robotics（森普莱西蒂机器人公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Northeastern University（东北大学）
该研究针对离线强化学习中演员与评论员耦合训练的问题，提出将策略改进与演员训练解耦的范式，通过演员生成动作候选、评论员选择，实验显示其性能优于行为克隆及联合训练的离线RL方法。
2026-08-24 cs.LG cs.RO
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Modified Actor-Critics
Austrian Institute of Technology（奥地利技术研究所）；FH Joanneum（约翰内姆应用科技大学）；Google Research, Brain Team（谷歌研究院大脑团队）
最近成功的深度强化学习算法，如信任域策略优化（TRPO）或近端策略优化（PPO），是保守策略迭代（CPI）的基本变体。这些算法首先进行策略评估，然后进行软化策略改进。因此，他们自然是政策。在本文中，我们建议将（任何类型的）软贪婪与修改策略迭代（MPI）相结合。所提出的抽象框架反复应用：（i）允许离策略学习的部分策略评估步骤和（ii）任何软化的贪婪步骤。我们的贡献可以被视为深度强化学习工具箱的新通用工具。作为概念的证明，我们用PPO greediness实例化这个框架。与原始PPO算法相比，该算法具有更高的采样效率。我们还表明，它是具有竞争力的国家的最先进的政策外的算法软演员批评（SAC）。
2020-01-24 cs.AI cs.LG stat.ML
Importance Weighted Actor-Critic for Optimal Conservative Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
针对离线强化学习数据覆盖不足问题，提出结合边缘化重要性采样与Actor-Critic的A-Crab算法，兼具最优收敛速率、弱覆盖假设、性能更优的优势，并通过理论与实验验证有效性。
2023-10-09 cs.LG
Achieving $ε^{-2}$ Sample Complexity for Single-Loop Actor-Critic under Minimal Assumptions
IISc（印度斯里尼瓦西大学）；Purdue IE（普渡大学工业工程学院）
本文在最小假设下，通过单循环单时间尺度实现和广泛策略更新类，证明了首次ε^{-2}样本复杂度保证，找到ε-最优策略，与现有文献不同，无需嵌套循环或强假设。
2026-05-13 cs.LG math.OC stat.ML
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Improving Actor-Critic Reinforcement Learning via Hamiltonian Monte Carlo Method
Georgia Institute of Technology（佐治亚理工学院）
行动者-评论家RL广泛用于各种机器人控制任务。通过从变分推理（VI）的角度观察行动者-评论者强化学习，策略网络被训练以获得给定最优性标准的行动的近似后验。然而，在实践中，行动者-批评者强化学习可能会产生次优的政策估计，由于摊销差距和不充分的探索。在这项工作中，受到先前在VI中使用Hamilton Monte Carlo（HMC）的启发，我们提出将行动者-批评者RL的策略网络与HMC集成，称为{ \it Hamilton Policy}。因此，我们建议根据HMC从基本策略中进化动作，我们提出的方法有很多好处。首先，HMC可以改善政策分布，以更好地逼近后验，从而减少摊销缺口。其次，HMC还可以将探索更多地引导到Q值较高的作用空间区域，提高了探索效率。此外，而不是直接应用HMC到RL，我们提出了一个新的蛙跳算子来模拟哈密顿动力学。最后，在安全强化学习问题中，我们发现所提出的方法不仅可以提高所获得的回报，而且还可以通过丢弃潜在的不安全行为来减少安全约束违反。通过对连续控制基线（包括MuJoCo和PyBullet Roboschool）进行全面的实证实验，我们证明了所提出的方法是对以前的演员-评论家方法的数据高效且易于实现的改进。
2022-01-02 cs.LG stat.ML
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Adversarially Trained Weighted Actor-Critic for Safe Offline Reinforcement Learning
Washington State University（华盛顿州立大学）；ShanghaiTech University（上海科技大学）；New Jersey Institute of Technology（新泽西理工学院）
该研究提出安全离线强化学习算法WSAC，以双人Stackelberg博弈框架结合对抗训练的加权评论家，在理论上实现多项安全改进与收敛保证，并在连续控制任务中性能超越现有基线。
2024-10-31 cs.LG
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
设计非策略强化学习算法通常是一项非常具有挑战性的任务，因为期望的迭代更新通常涉及对策略分布的期望。现有的非策略行动者-批评者（AC）算法已经引入了一种新的批评者，该批评者使用密度比来调节分布失配以稳定收敛，但是由于密度比和价值函数两者的估计误差而潜在地引入高偏差。在本文中，我们开发了一个双重强大的关闭政策AC（DR-关闭PAC）折扣MDP，它可以利用学习滋扰功能，以减少估计误差。此外，DR-Off-PAC采用单时间尺度结构，其中演员和评论家都以恒定的步长同时更新，因此比采用两个时间尺度或嵌套循环结构的现有算法更具样本效率。研究了DR-Off-PAC算法的有限时间收敛速度和样本复杂度，以获得$ε$ -精确的最优策略.我们还表明，DR-Off-PAC的整体收敛性对仅取决于逼近函数的表达能力的逼近误差具有双重鲁棒性。据我们所知，我们的研究建立了第一个整体样本复杂性分析一个单一的时间尺度的政策外AC算法。
2021-07-18 cs.LG stat.ML
