Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University（卡内基梅隆大学）；MIT Media Lab（麻省理工学院媒体实验室）；Adobe（奥多比公司）
SAC是一种行动者-批评者算法，其双时间尺度性质的特征在于，批评者估计在任何给定时间都不会收敛于行动者，但由于批评者比行动者学习得更快，因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计，以帮助实现更好的收敛。由于梯度估计依赖于评论家，我们认为，改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点，我们提出了软演员回顾性批评（SARC），在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛，因此，更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析，我们表明，SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Actor Loss of Soft Actor Critic Explained
本技术报告致力于解释如何获得软演员评论家的演员损失，以及相关的梯度估计。它给出了必要的数学背景，推导出所有提出的方程，从理论上的演员损失，在实践中实现的。这就需要将软演员评论家中使用的重新参数化技巧与nabla日志技巧进行比较，这导致了关于使用最有效方法的公开问题。
2021-12-31 cs.LG
A Small Gain Analysis of Single Timescale Actor Critic
Boston University（波士顿大学）；University of California at Los Angeles（加州大学洛杉矶分校）
本文针对使用比例步长且每步仅一次评论家更新的单时间尺度演员-评论家方法，利用小增益定理证明其可收敛到平稳点，并将样本复杂度提升至 $O(μ^{-2}ε^{-2})$。
2023-05-25 cs.LG cs.SY eess.SY
TASAC: a twin-actor reinforcement learning framework with stochastic policy for batch process control
Indian Institute of Technology Delhi（印度理工学院德里分校）；International Institute of Information Technology Hyderabad（印度国际信息技术学院海得拉巴分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
由于其复杂的非线性动力学和批间变异性，间歇过程对过程控制提出了挑战。由于缺乏精确的模型和由此产生的工厂模型不匹配，这些问题变得更难解决先进的基于模型的控制策略。强化学习（RL），其中代理通过直接与环境交互来学习策略，在这种情况下提供了一种潜在的替代方案。具有Actor-Critic架构的RL框架最近变得流行，用于控制状态和动作空间连续的系统。它已被证明，演员和评论家网络的合奏进一步帮助代理学习更好的政策，由于增强的探索，由于同时策略学习。为此，目前的研究提出了一种随机演员-评论家RL算法，称为双演员软演员-评论家（TASAC），通过将演员学习的合奏，在最大熵框架，批处理控制。
2022-05-02 cs.LG cs.SY eess.SY
Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本文提出WAVE方法，通过在critic损失中引入自适应Wasserstein正则化提升actor-critic稳定性，并给出收敛速率与理论保证，实验显示其性能优于标准方法。
2025-03-07 cs.LG cs.SY eess.SY
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
FORLER: Federated Offline Reinforcement Learning with Q-Ensemble and Actor Rectification
Central South University, School of Computer Science, Changsha, China（中南大学计算机学院）；Sun Yat-sen University, School of Cyber Science and Technology, Shenzhen, China（中山大学网络安全学院）
FORLER通过Q-集成和演员校正，解决离线联邦RL中的策略污染问题，提升鲁棒性和性能。
2026-02-02 cs.AI cs.LG
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement Learning with Actor Rectification
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
保守主义导致了离线强化学习（RL）的重大进展，其中代理从预先收集的数据集学习。然而，由于许多现实世界的场景涉及多个代理之间的交互，因此在多代理设置中解决离线RL非常重要。鉴于最近成功地将在线RL算法转移到多代理设置，人们可能会期望离线RL算法也将直接转移到多代理设置。令人惊讶的是，我们根据经验观察到，保守的离线RL算法在多代理设置中不能很好地工作-性能随着代理数量的增加而显着下降。为了减轻退化，我们确定了一个关键问题，即价值函数的非线性化使得策略梯度改进容易陷入局部最优。多个代理严重加剧了这个问题，因为任何代理的次优策略都可能导致不协调的全局失败。根据这种直觉，我们提出了一种简单而有效的方法，离线多代理RL与演员整流（OMAR），它结合了一阶策略梯度和零阶优化方法，以更好地优化保守的价值函数的演员参数。尽管简单，OMAR在各种多代理控制任务中实现了最先进的结果。
2022-04-04 cs.LG
Quasi-Newton Compatible Actor-Critic for Deterministic Policies
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Birmingham（伯明翰大学）；Norwegian University of Science and Technology（挪威科学技术大学）；TU Dortmund（德累斯顿技术大学）
本文提出二阶确定性Actor-Critic框架，通过引入二次评论家保留策略梯度和海森矩阵近似，结合最小二乘时序差分学习估计参数，实现拟牛顿Actor更新，较一阶方法收敛更快且性能更优。
2025-11-12 cs.LG cs.SY eess.SY
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Zeroth-order Deterministic Policy Gradient
University of Pennsylvania（宾夕法尼亚大学）
确定性策略梯度（DPG）从标准随机动作策略梯度（PG）中去除了一定程度的随机性，并在处理涉及马尔可夫决策过程的复杂动态问题方面取得了巨大的经验成功。然而，与此同时，DPG失去了在无模型环境中学习的能力（即，只有演员）的方式，经常需要使用的批评，以获得一致的估计相关联的政策奖励梯度。在这项工作中，我们引入零阶确定性策略梯度（ZDPG），它通过两点随机评估的$Q$函数，构造适当设计的低维动作空间扰动近似的政策奖励梯度。ZDPG利用随机水平展开的思想来获得$Q$函数的无偏估计，从而消除了对批评者的依赖，并恢复了真正的无模型策略学习，同时享有内置和可证明的算法稳定性。此外，我们提出了新的有限样本复杂性界限ZDPG，提高现有的结果高达两个数量级。我们的研究结果得到了几个数值实验的支持，这些实验展示了ZDPG在实际环境中的有效性，以及它比PG和基线PG的优势。
2020-07-11 cs.LG math.OC stat.ML
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Soft Actor-Critic for Discrete Action Settings
Imperial College London（帝国理工学院）
Soft Actor-Critic是一种最先进的强化学习算法，用于连续动作设置，不适用于离散动作设置。然而，许多重要的设置涉及离散动作，因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后，我们表明，即使没有任何超参数调整，它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 AFU 离策略深度强化学习算法，通过回归与条件梯度缩放解决连续控制中的 max-Q 问题，并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中（AGI或通用AI或人工通用智能，具有通用应用程序：（A）离线学习（存储数据的），如中的GAN（非/半/全）SL设置，如大数据分析（挖掘）和可视化;（B）在线学习（真实或模拟设备），如RL设置中的DRL（有/无环境奖励），例如（真实或模拟）机器人和控制;我们的核心建议是增加一个（生成/预测）环境模型到行动者-批评者（无模型）架构，其导致具有时间差分（TD）误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于（无模型）DDPG，因此它被称为基于模型的DDPG。为了评估它，我们将其与（无模型）DDPG进行比较，将它们应用于OpenAI Gym和Unity Agents中的各种（广泛）独立模拟机器人和控制任务环境。我们最初有限的实验表明，DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与（无模型）DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力：（A）通过与最好的基于模型（PlaNet）和无模型（D4 PG）方法相比，产生有竞争力的性能，统一人工智能内部的DRL领域;（B）通过解决奖励工程的重要问题，通过演示学习奖励函数，弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
本工作全面分析了带自动温度调节的Soft Actor-Critic算法的正则化，通过重新表述策略评估、策略改进和温度调节，以更明确的方式增强了原始理论的清晰度。
2023-05-23 cs.AI cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Towards Automatic Actor-Critic Solutions to Continuous Control
University of Virginia（弗吉尼亚大学）
无模型的非策略行动者-批评者方法是解决复杂连续控制任务的有效方法。然而，这些算法依赖于许多设计技巧和超参数，使其应用到新的领域困难和计算昂贵。本文创建了一种进化方法，可以自动调整这些设计决策，并从Soft Actor-Critic算法中消除RL特定的超参数。我们的设计是样本效率，并提供了实际的优势，基线方法，包括改进的探索，在多个控制频率的泛化，和一个强大的高性能的政策合奏。从经验上讲，我们表明，我们的代理在DeepMind Control Suite的流行基准测试中表现优于精心调整的超参数设置。然后，我们将其应用于模拟机器人之外不太常见的控制任务，以最小的计算和研究工作量找到高性能的解决方案。
2021-10-23 cs.LG cs.NE cs.SY
Adversarially Guided Actor-Critic
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
尽管在深度强化学习问题上取得了一定的成功，但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题，特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策（演员）和一个价值函数（批评家），其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角：对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时，演员除了学习解决任务之外，还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略，使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明，由此产生的对抗引导演员评论（AGAC）算法导致更详尽的探索。值得注意的是，AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
Value-Decomposition Multi-Agent Actor-Critics
University of Virginia（弗吉尼亚大学）
利用额外的状态信息是多智能体强化学习（MARL）的一个研究热点。QMIX使用非负函数近似器表示联合动作值，并在多智能体基准测试（星际争霸II微观管理任务）上实现了迄今为止的最佳性能。然而，我们的实验表明，在某些情况下，QMIX与A2 C不兼容，A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡，我们将值分解扩展到与A2 C兼容的演员-评论家，并提出了一种新的演员-评论家框架，值分解演员-评论家（VDACs）。我们评估VDACs的星际争霸II微观管理任务的测试平台上，并表明，所提出的框架提高了其他演员批评的方法的中位数性能。此外，我们使用一组烧蚀实验，以确定的关键因素，有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University（西蒙弗雷泽大学）；Samsung - SAIT AI Lab, Montreal（三星-三星高级技术研究院人工智能实验室（蒙特利尔））；Microsoft Research（微软研究院）；Mila（米拉研究所）
本文提出一种决策感知的Actor-Critic方法，通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题，并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
SMAC通过正则化Q函数，使演员-评论家在离线到在线RL迁移中保持性能，有效避免性能下降。
2026-08-11 cs.AI cs.LG
Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）
本文分析了DSAC在离散动作领域表现不佳的原因，提出了一种灵活的off-policy actor-critic框架，通过解耦actor和critic熵实现性能提升，并在Atari游戏中验证了其鲁棒性。
2026-05-11 cs.AI cs.LG
Analysis of a Target-Based Actor-Critic Algorithm with Linear Function Approximation
LTCI（通信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
整合目标网络的演员-评论家方法在深度强化学习中取得了巨大的经验成功。然而，在行动者-批评者方法中使用目标网络的理论理解在文献中基本上是缺失的。在本文中，我们减少了理论与实践之间的差距，提出了第一个理论分析的在线目标为基础的演员-评论家算法与线性函数近似的折扣奖励设置。我们的算法使用三个不同的时间尺度：一个用于演员，两个用于评论家。而不是使用标准的单时标时间差（TD）的学习算法作为一个评论家，我们使用两个时标的TD学习的目标为基础的版本密切启发，从实际的演员-评论家算法实现目标网络。首先，我们建立了马尔可夫抽样下的评论家和演员的渐近收敛结果。然后，我们提供了一个有限的时间分析显示的影响，将目标网络的演员-评论家的方法。
2022-02-22 cs.LG math.OC stat.ML
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Convergent Actor-Critic Algorithms Under Off-Policy Training and Function Approximation
Criteo Research（科韬研究院）
我们提出了第一类的政策梯度算法，工作与状态值和政策函数近似，并保证在非政策训练下收敛。我们的解决方案针对强化学习中的问题，其中动作表示增加了维数灾难;也就是说，具有连续或大的动作集，因此无法估计状态动作价值函数（Q函数）。使用状态-价值函数有助于解除诅咒，因此自然地将我们的策略梯度解决方案转变为经典的Actor-Critic架构，其Actor使用状态-价值函数进行更新。我们的算法，梯度Actor-Critic和强调Actor-Critic，是基于平均状态-价值函数目标的精确梯度导出的，因此保证收敛到其最优解，同时保持经典Actor-Critic方法的所有期望性质，无需额外的超参数。据我们所知，这是第一次，收敛的离策略学习方法已扩展到经典的Actor-Critic方法与函数逼近。
2018-02-21 cs.AI
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）
尽管行动者-批评者算法在经验上取得了成功，但它的理论理解却落后了。在更广泛的背景下，演员评论家可以被视为一个在线交替更新算法的双层优化，其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性，我们将重点放在它在线性二次调节器中的应用上，这是强化学习的一个简单而基本的设置。在这种情况下，我们建立了一个非渐近收敛分析的演员批评。特别是，我们证明了演员-评论家找到一个全局最优的演员（政策）和评论家（行动-价值函数）的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题，这是NP-难的最坏情况下，往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science（印度科学理工学院）
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic，借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度，并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France（法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau）；Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.（巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind）；Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学）
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用，证明精确评论家可强方差缩减，使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度，并指出评论家误差足够小时方差缩减和快速收敛得以保持，强调了准确评论家估计的关键性。
2026-05-23 cs.LG
Broad Critic Deep Actor Reinforcement Learning for Continuous Control
University of Macau（澳门大学）
针对连续控制中深度强化学习（DRL）数据需求大、计算成本高的问题，本文提出融合宽学习系统（BLS）与深度神经网络（DNN）的混合行动者-批评者框架，增强现有算法并提升训练效率与准确性，适用于实时控制场景。
2025-04-12 cs.AI cs.LG
Communication-Efficient Actor-Critic Methods for Homogeneous Markov Games
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
协作式多智能体强化学习（MARL）最近的成功依赖于集中式训练和策略共享。集中式训练消除了非平稳性MARL的问题，但引起了巨大的通信成本，政策共享是经验上的关键，在某些任务的有效学习，但缺乏理论依据。在本文中，我们正式刻画了合作马尔可夫博弈的一个子类，其中代理表现出一定形式的同质性，使得策略共享可证明不会产生次优性。这使我们能够开发出第一个基于共识的去中心化参与者-批评者方法，其中共识更新适用于参与者和批评者，同时确保收敛。我们还开发了基于分散式演员-评论家方法的实用算法，以降低训练过程中的通信成本，同时仍然产生与集中式训练相当的策略。
2022-03-31 cs.AI cs.GT cs.LG
Virtual Action Actor-Critic Framework for Exploration (Student Abstract)
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对强化学习中智能体高效探索的难题，受人类想象动作结果的能力启发，提出引入虚拟行动者的虚拟动作行动者-评论家框架，通过修正Q函数结合奖励与虚拟策略熵，实验证明其探索性能优于现有算法。
2023-11-06 cs.AI cs.LG
