Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）；Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学布拉德利电气与计算机工程学院）
本文研究约束马尔可夫决策过程的策略优化问题，提出在线原始-对偶自然演员-评论家算法，并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford（牛津大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲，演员-评论家算法通常对演员和评论家都有折扣，即，在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项，并且批评者是折扣价值函数。然而，实践者通常在使用折扣评论时忽略参与者的折扣（$γ^t$）。我们在两种情况下调查这种不匹配。在第一种情况下，我们考虑优化一个未折现的目标$(γ= 1)$，其中$γ^t$自然消失$(1^t = 1)$。然后，我们建议解释折扣在批评方面的偏差方差表示权衡，并提供支持的实证结果。在第二种情况下，我们考虑优化折扣目标（$γ< 1$），并建议解释省略的折扣在演员更新从辅助任务的角度来看，并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University（卡内基梅隆大学）；MIT Media Lab（麻省理工学院媒体实验室）；Adobe（奥多比公司）
SAC是一种行动者-批评者算法，其双时间尺度性质的特征在于，批评者估计在任何给定时间都不会收敛于行动者，但由于批评者比行动者学习得更快，因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计，以帮助实现更好的收敛。由于梯度估计依赖于评论家，我们认为，改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点，我们提出了软演员回顾性批评（SARC），在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛，因此，更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析，我们表明，SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Actor Loss of Soft Actor Critic Explained
本技术报告致力于解释如何获得软演员评论家的演员损失，以及相关的梯度估计。它给出了必要的数学背景，推导出所有提出的方程，从理论上的演员损失，在实践中实现的。这就需要将软演员评论家中使用的重新参数化技巧与nabla日志技巧进行比较，这导致了关于使用最有效方法的公开问题。
2021-12-31 cs.LG
A Supervised Goal Directed Algorithm in Economical Choice Behaviour: An Actor-Critic Approach
本文的目的是找到一种算法结构，提供预测和解释经济选择行为，特别是在不确定性（随机政策）下，通过操纵流行的演员-评论家学习方法，以符合要求，我们一直委托，因为我们的神经经济学领域的曙光。在略读一些与我们的讨论相关的神经经济学基础知识的同时，我们将试图概述一些迄今为止为模拟选择过程而做的重要工作。关于神经学研究结果表明存在通过基底神经节一直执行到皮层下区域的两个特定功能，即“奖励”和“信念”，我们将提供演员/评论家算法的修改版本，以阐明这些功能之间的关系，最重要的是解决所谓的演员-评论家算法的挑战，即，缺乏继承或层次结构，避免了系统在连续时间任务中进化，从而可能不会出现收敛。
2020-05-04 cs.AI cs.GT cs.LG
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
Closing the Gap: Achieving Global Convergence (Last Iterate) of Actor-Critic under Markovian Sampling with Neural Network Parametrization
Purdue University（普渡大学）；University of Central Florida（中佛罗里达大学）；KAUST（阿卜杜拉国王科技大学）
针对现有Actor-Critic算法理论分析与实际实现脱节的问题，研究提出涵盖多层神经网络参数化等五维度的MMCLG准则，首次给出满足该准则的AC算法全局收敛分析，推导得样本复杂度界$\tilde{\mathcal{O}}(ε^{-3})$。
2024-12-09 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
STACKFEED: Structured Textual Actor-Critic Knowledge Base Editing with FeedBack
Microsoft（微软）；Microsoft Research India（微软印度研究院）
提出STACKFEED，一种基于多演员集中式评论家强化学习的知识库编辑框架，通过ReACT代理根据专家反馈迭代优化文档，显著提升RAG系统在低资源编程和问答任务中的性能。
2025-11-01 cs.AI cs.LG cs.MA
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Soft Actor-Critic for Discrete Action Settings
Imperial College London（帝国理工学院）
Soft Actor-Critic是一种最先进的强化学习算法，用于连续动作设置，不适用于离散动作设置。然而，许多重要的设置涉及离散动作，因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后，我们表明，即使没有任何超参数调整，它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 AFU 离策略深度强化学习算法，通过回归与条件梯度缩放解决连续控制中的 max-Q 问题，并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中（AGI或通用AI或人工通用智能，具有通用应用程序：（A）离线学习（存储数据的），如中的GAN（非/半/全）SL设置，如大数据分析（挖掘）和可视化;（B）在线学习（真实或模拟设备），如RL设置中的DRL（有/无环境奖励），例如（真实或模拟）机器人和控制;我们的核心建议是增加一个（生成/预测）环境模型到行动者-批评者（无模型）架构，其导致具有时间差分（TD）误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于（无模型）DDPG，因此它被称为基于模型的DDPG。为了评估它，我们将其与（无模型）DDPG进行比较，将它们应用于OpenAI Gym和Unity Agents中的各种（广泛）独立模拟机器人和控制任务环境。我们最初有限的实验表明，DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与（无模型）DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力：（A）通过与最好的基于模型（PlaNet）和无模型（D4 PG）方法相比，产生有竞争力的性能，统一人工智能内部的DRL领域;（B）通过解决奖励工程的重要问题，通过演示学习奖励函数，弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
Heavy-Ball Momentum Accelerated Actor-Critic With Function Approximation
Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University（深圳北理莫斯科大学粤港澳情感智能与普适计算联合实验室）；University of Science and Technology Beijing（北京科技大学）；Beijing Institute of Technology（北京理工大学）
针对现有演员-评论家算法动量影响研究不足的问题，提出整合重球动量的线性参数化HB-A2C算法，验证其在马尔可夫噪声下的O(ε⁻²)迭代加速能力，揭示学习率与轨迹长度的依赖关系，可平衡初始化与随机近似误差。
2024-08-16 cs.AI cs.LG
Finite-Time Global Optimality Convergence in Deep Neural Actor-Critic Methods for Decentralized Multi-Agent Reinforcement Learning
The Ohio State University, Columbus, Ohio, USA（俄亥俄州立大学）；University of Wisconsin-Whitewater, Whitewater, Wisconsin, USA（威斯康星大学-威奇托分校）；University of Colorado Boulder, Boulder, Colorado, USA（科罗拉多大学博尔德分校）
本文首次提出去中心化MARL中actor与critic均为非线性的深度神经actor-critic方法，并证明其具有O(1/T)的有限时间全局最优收敛率，填补了深度神经网络在该领域理论收敛性上的空白。
2025-08-13 cs.LG cs.MA
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
本工作全面分析了带自动温度调节的Soft Actor-Critic算法的正则化，通过重新表述策略评估、策略改进和温度调节，以更明确的方式增强了原始理论的清晰度。
2023-05-23 cs.AI cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Collaborative Yet Personalized Policy Training: Single-Timescale Federated Actor-Critic
Northeastern University（东北大学）；Tsinghua University（清华大学）
本文提出一种联邦Actor-Critic框架，在保持个性化局部策略的同时共享公共线性子空间表示，并通过新颖的联合线性近似框架证明了有限时间收敛性，展示了线性加速效果。
2026-05-14 cs.AI cs.LG
Adversarially Guided Actor-Critic
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
尽管在深度强化学习问题上取得了一定的成功，但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题，特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策（演员）和一个价值函数（批评家），其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角：对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时，演员除了学习解决任务之外，还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略，使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明，由此产生的对抗引导演员评论（AGAC）算法导致更详尽的探索。值得注意的是，AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是，我们专注于获得分散的政策，代理，以最大限度地提高性能的合作任务的所有代理，这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络：（1）分散式贪婪策略网络，用于在训练和执行期间生成贪婪动作;（2）生成式合作策略网络（GCPN），用于在训练期间生成动作样本，以使其他代理改进其目标。我们表明，GCPN生成的样本，使其他代理更有效地探索政策空间，并有利地达成更好的政策，在实现合作任务。
2018-10-22 cs.AI cs.MA
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University（西蒙弗雷泽大学）；Samsung - SAIT AI Lab, Montreal（三星-三星高级技术研究院人工智能实验室（蒙特利尔））；Microsoft Research（微软研究院）；Mila（米拉研究所）
本文提出一种决策感知的Actor-Critic方法，通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题，并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
SMAC通过正则化Q函数，使演员-评论家在离线到在线RL迁移中保持性能，有效避免性能下降。
2026-08-11 cs.AI cs.LG
Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）
本文分析了DSAC在离散动作领域表现不佳的原因，提出了一种灵活的off-policy actor-critic框架，通过解耦actor和critic熵实现性能提升，并在Atari游戏中验证了其鲁棒性。
2026-05-11 cs.AI cs.LG
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Finite-time Convergence Analysis of Actor-Critic with Evolving Reward
IIIS, Tsinghua University（清华大学人工智能研究院）
本文首次在马尔可夫采样下分析演化奖励的单时间尺度actor-critic算法，证明缓慢演化奖励下可实现$O(1/\sqrt{T})$收敛速率，并改进静态奖励下的分布不匹配分析。
2025-10-14 cs.AI cs.LG
Analysis of a Target-Based Actor-Critic Algorithm with Linear Function Approximation
LTCI（通信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
整合目标网络的演员-评论家方法在深度强化学习中取得了巨大的经验成功。然而，在行动者-批评者方法中使用目标网络的理论理解在文献中基本上是缺失的。在本文中，我们减少了理论与实践之间的差距，提出了第一个理论分析的在线目标为基础的演员-评论家算法与线性函数近似的折扣奖励设置。我们的算法使用三个不同的时间尺度：一个用于演员，两个用于评论家。而不是使用标准的单时标时间差（TD）的学习算法作为一个评论家，我们使用两个时标的TD学习的目标为基础的版本密切启发，从实际的演员-评论家算法实现目标网络。首先，我们建立了马尔可夫抽样下的评论家和演员的渐近收敛结果。然后，我们提供了一个有限的时间分析显示的影响，将目标网络的演员-评论家的方法。
2022-02-22 cs.LG math.OC stat.ML
Actor-Critic Provably Finds Nash Equilibria of Linear-Quadratic Mean-Field Games
Northwestern University（西北大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
我们研究离散时间平均场马尔可夫博弈与无限数量的代理，每个代理的目标是最小化其遍历成本。我们认为设置代理具有相同的线性状态转换和二次费用函数，而代理的聚集效应被捕获的人口平均他们的状态，即平均场状态。对于这样的博弈，基于纳什确定性等价原理，给出了其纳什均衡存在唯一的充分条件。此外，为了找到纳什均衡，我们提出了一个平均场的线性函数近似的行动者-评论家算法，它不需要知道的动力学模型。具体来说，在我们的算法的每次迭代中，我们使用单代理actor-critic算法来近似地获得每个代理的最优策略给定当前的平均场状态，然后更新平均场状态。特别是，我们证明了我们的算法收敛到纳什均衡的线性速率。据我们所知，这是第一次成功地将无模型强化学习与函数逼近应用于离散时间平均场马尔可夫博弈，并具有可证明的非渐近整体收敛保证。
2019-10-16 cs.GT cs.LG cs.MA
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Decentralized Multi-Agent Actor-Critic with Generative Inference
University of Delaware（特拉华大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
最近的多智能体行动者-批评者方法利用分散执行的集中训练来解决协同适应智能体的非平稳性。这种训练范例将学习限制在集中式阶段，使得在分散式阶段期间仅可以使用预先学习的策略，当智能体通信延迟、嘈杂或中断时，分散式阶段表现不佳。在这项工作中，我们提出了一个新的系统，可以优雅地处理部分可观察的信息，由于分散执行过程中的通信中断。我们的方法增加了多代理的演员-评论家方法的集中训练阶段与生成建模，使代理可以推断其他代理的观察时，提供本地可用的上下文。我们的方法进行评估，需要代理结合本地和远程观察其他代理人的三个任务。我们通过在分散执行过程中引入部分可观测性来评估我们的方法，并表明对推断观察的分散训练与现有的演员-评论家方法一样好或更好。
2019-10-07 cs.LG cs.MA
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）
尽管行动者-批评者算法在经验上取得了成功，但它的理论理解却落后了。在更广泛的背景下，演员评论家可以被视为一个在线交替更新算法的双层优化，其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性，我们将重点放在它在线性二次调节器中的应用上，这是强化学习的一个简单而基本的设置。在这种情况下，我们建立了一个非渐近收敛分析的演员批评。特别是，我们证明了演员-评论家找到一个全局最优的演员（政策）和评论家（行动-价值函数）的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题，这是NP-难的最坏情况下，往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science（印度科学理工学院）
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic，借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度，并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France（法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau）；Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.（巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind）；Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学）
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用，证明精确评论家可强方差缩减，使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度，并指出评论家误差足够小时方差缩减和快速收敛得以保持，强调了准确评论家估计的关键性。
2026-05-23 cs.LG
