Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程，提出统计高效的框架，分离正则化原始-对偶动力学与演员近似及统计误差，实现无模型最后迭代收敛，并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）；Indian Institute of Technology, Kanpur（印度理工学院坎浦尔）；Department of Electrical Engineering Indian Institute of Technology, Kanpur（电气工程系印度理工学院坎浦尔）；Department of Industrial Engineering Purdue University West Lafayette（工业工程系普渡大学威斯康星拉法叶）
本文提出了一种基于神经批评者和通用策略参数化的算法，实现了约束马尔可夫决策过程的全局收敛性保障，突破了传统线性批评者方法的限制。
2026-03-08 cs.LG
A Convergence Result for Regularized Actor-Critic Methods
在本文中，我们提出了一个概率1收敛证明，在适当的条件下，某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果，我们证明了使用线性近似架构时，一般正则化的政策评估的收敛性，并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park（马里兰大学学院市分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
本文提出了一种基于对偶的自然策略-批评算法，解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题，实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes
Simon Fraser University（西蒙菲莎大学）；University of Pennsylvania（宾夕法尼亚大学）；Mila, McGill University（Mila，麦吉尔大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
本文提出一种乐观Actor-Critic框架，采用参数化logit匹配回归目标和近似汤普森采样，实现线性MDP中高效的样本复杂度。
2026-04-01 cs.LG stat.ML
Convergence of Natural Policy Gradient for a Family of Infinite-State Queueing MDPs
Northwestern University（西北大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究一类无限状态排队MDP，首次证明以MaxWeight策略初始化的NPG算法具有$O(1/\sqrt{T})$收敛率，且该结果可推广至满足温和假设的可数无限MDP。
2025-07-10 cs.LG
Variance Adjusted Actor Critic Algorithms
Technion – Israel Institute of Technology（以色列理工学院）
本文提出了一种针对MDP的actor-critic框架，目标为方差调整的预期回报。通过线性函数逼近和扩展兼容特征概念，提出了一种分回合算法，并证明其几乎必然收敛到目标函数的局部最优解。
2013-10-14 cs.LG cs.SY eess.SY
Real-Time Reinforcement Learning
Mila（米拉研究所）；Element AI（Element AI公司）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）
马尔可夫决策过程（MDP）是强化学习（RL）中大多数算法的数学框架，通常被错误地假设代理环境的状态在动作选择期间不会改变。随着基于MDP的RL系统开始在现实世界的安全关键情况中找到应用，经典MDP的假设与实时的【形】计算的现实之间的这种不匹配可能导致不期望的结果。在本文中，我们引入了一个新的框架，在其中状态和动作同时演变，并显示它是如何与经典的MDP制定。我们分析现有的算法下的新的实时的【形】配方，并显示为什么他们是次优的实时的【形】使用时。然后，我们使用这些见解来创建一个新的算法实时的【形】Actor-Critic（RTAC），它在实时的【形】和非实时设置中的性能都优于现有的最先进的连续控制算法Soft Actor-Critic。代码和视频可以在https://github.com/rmst/rtrl上找到。
2019-12-12 cs.LG stat.ML
Efficient Q-Learning and Actor-Critic Methods for Robust Average-Reward Reinforcement Learning
Purdue University（普渡大学）
研究分布稳健无限期平均奖励MDPs的无模型方法，给出Q学习和演员-评论家算法非渐近收敛分析，建立稳健TD收敛界，引入相关算法并模拟，为稳健规划理论及无模型构建稳健策略提供基础。
2026-07-14 cs.AI cs.LG stat.ML
A Sharper Global Convergence Analysis for Average Reward Reinforcement Learning via an Actor-Critic Approach
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
本文提出MLMC-NAC算法，首次在不依赖混合时间与命中时间知识的情况下，为平均奖励MDP实现与状态空间大小无关的全局收敛速率，解决了现有方法的可扩展性与迭代复杂度问题。
2025-05-05 cs.LG
Actor Loss of Soft Actor Critic Explained
本技术报告致力于解释如何获得软演员评论家的演员损失，以及相关的梯度估计。它给出了必要的数学背景，推导出所有提出的方程，从理论上的演员损失，在实践中实现的。这就需要将软演员评论家中使用的重新参数化技巧与nabla日志技巧进行比较，这导致了关于使用最有效方法的公开问题。
2021-12-31 cs.LG
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science（印度科学理工学院）
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic，借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度，并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France（法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau）；Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.（巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind）；Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学）
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用，证明精确评论家可强方差缩减，使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度，并指出评论家误差足够小时方差缩减和快速收敛得以保持，强调了准确评论家估计的关键性。
2026-05-23 cs.LG
Learning to Run with Actor-Critic Ensemble
Megvii Inc.（旷视科技）；Peking University（北京大学）
提出了一种改进深度确定性策略梯度（DDPG）算法性能的Actor-Critic Ensemination（ACE）方法。在推理时，我们的方法使用一个评论家合奏选择最好的行动，从多个演员并行运行的建议。通过拥有更大的候选集，我们的方法可以避免具有致命后果的操作，同时保持确定性。使用ACE，我们以“Megvii-hzwer”的名义赢得了NIPS'17学习跑步比赛的第二名。
2017-12-25 cs.LG
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University（成均馆大学）；Soongsil University（崇实大学）
本文提出LAC算法，将容量分配给深度评论家而非简单演员，解决离线RL中加深评论家的三种失效模式，在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
D2 Actor Critic: Diffusion Actor Meets Distributional Critic
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）；Department of Statistics, Northwestern University（统计学系，西北大学）
提出D2AC算法，通过融合扩散策略与分布式评论家，实现无模型强化学习中扩散策略的在线高效训练，在18个困难任务上达到最先进性能。
2026-05-22 cs.LG
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
DeepTOP: Deep Threshold-Optimal Policy for MDPs and RMABs
Texas A&M University（得克萨斯农工大学）
我们考虑学习控制问题的最优阈值策略的问题。阈值策略通过评估系统状态的元素是否超过特定阈值来做出控制决策，该阈值的值由系统状态的其他元素确定。通过利用阈值策略的单调性，我们证明了它们的策略梯度有一个令人惊讶的简单表达式。我们使用这个简单的表达式来构建一个离线策略的演员-评论家算法来学习最优阈值策略。仿真结果表明，我们的政策显着优于其他强化学习算法，由于其能够利用单调属性。此外，我们表明，惠特尔指数，一个强大的工具，不安分的多臂土匪问题，是等价的最优阈值政策的替代问题。这一观察导致了一个简单的算法，通过学习替代问题中的最优阈值策略来找到Whittle指数。仿真结果表明，我们的算法学习的Whittle指数远远快于最近的几项研究，通过间接手段学习的Whittle指数。
2022-09-28 cs.AI cs.LG
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL（洛桑联邦理工学院风险分析与优化教席）；Department of Economics, University of St.Gallen（圣加仑大学经济系）
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP，提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法，并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ETH Zurich（苏黎世联邦理工学院）
自然行动者-批评者（NAC）及其变体，配备了神经网络的表示能力，在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中，我们提出了一个有限时间分析的NAC与神经网络近似，并确定的作用，神经网络，正则化和优化技术（例如，梯度裁剪和平均），以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是，我们证明了（i）熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性，以及（ii）正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限，从而在策略优化中产生有利的偏差方差权衡。在这个过程中，我们确定的重要性一致逼近能力的演员神经网络，以实现全局最优的政策优化，由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
Sample Efficient Actor-Critic with Experience Replay
DeepMind；CIFAR（加拿大高级研究院）；Oxford University（牛津大学）
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理，该代理稳定，样本效率高，并且在具有挑战性的环境中表现出色，包括离散57游戏Atari域和几个连续控制问题。为了实现这一点，本文介绍了几个创新，包括截断重要性采样与偏差校正，随机决斗网络架构，和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Actor-Critic with Active Importance Sampling
Politecnico di Milano（米兰理工学院）
本文提出主动重要性采样Actor-Critic算法，通过优化行为策略减少策略梯度估计方差，提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
Error Controlled Actor-Critic
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；Yuan Ze University（元智大学）；Northumbria University（诺森比亚大学）；Aberystwyth University（阿伯里斯特威斯大学）
价值函数的误差不可避免地会引起高估现象，对算法的收敛性产生负面影响。为了减轻近似误差的负面影响，我们提出了误差控制的Actor-Criter，它确保了将近似误差限制在价值函数中。分析了近似误差对actor-critic方法优化过程的影响，给出了Q函数近似器近似误差的上界，并发现在训练策略时限制相邻策略之间的KL-发散度可以降低Q函数近似器的近似误差.一系列连续控制任务的实验结果表明，所提出的actor-critic算法明显降低了近似误差，并显着优于其他无模型RL算法。
2021-09-07 cs.LG
SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出RSA2C算法，利用RKHS-SHAP计算状态属性，通过马氏门控权重调节Actor梯度和Advantage Critic目标，实现高效、稳定且可解释的强化学习。
2026-06-05 cs.LG
Global Optimality of Single-Timescale Actor-Critic under Continuous State-Action Space: A Study on Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）
本文研究连续状态-动作空间下单时间尺度actor-critic求解LQR的全局最优性，证明其能以ε^{-2}量级样本复杂度达到ε-最优解，为理论与实践架起桥梁。
2025-05-02 cs.LG
A Concentration Bound for Two-Timescale Actor-Critic Algorithm
IISc Bangalore（印度科学研究所班加罗尔）
本文针对长期平均奖励设置下的双时间尺度actor-critic算法，推导了均匀全时浓度界，证明actor参数以高概率进入并保持在安全区域，误差随更新次数减小。
2026-11-04 cs.LG
ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages
University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）
本文提出通过对A3C算法进行ReLU优势估计、谱归一化和贝叶斯近似dropout三项修改，在on-policy actor-critic深度强化学习中实现近似贝叶斯推断，在MuJoCo和ProcGen基准上显著优于A3C、PPO、SAC和TD3。
2024-10-10 cs.LG
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
基于相对悲观的概念，提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic（ATAC）. ATAC被设计成一个两人的Stackelberg游戏：一个策略参与者与一个经过对抗训练的价值批评者竞争，后者发现数据一致的场景，其中参与者不如数据收集行为策略。我们证明了，当行动者在两人博弈中没有后悔时，运行ATAC产生的策略可证明1）在控制悲观程度的广泛超参数范围内优于行为策略，2）与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比，值得注意的是，我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中，ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题，本文提出反转演员-评论家更新顺序的FedRAC算法，理论证明其收敛界不受异质性影响，并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
我们介绍了异步优势演员-评论家（A3 C）算法的混合CPU/GPU版本，该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性，并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略，可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor（PAAC）方法，通过结合Q值和TD误差改进策略梯度估计，减少方差，提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
The Point to Which Soft Actor-Critic Converges
Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）
本文证明了 Soft Actor-Critic 与 Soft Q-learning 在最大熵框架下极限收敛到同一解，从而为优化提供了更简便的途径，并将该论证推广到 KL 散度等正则化项。
2023-05-29 cs.LG
Compatible Gradient Approximations for Actor-Critic Algorithms
Yale University（耶鲁大学）
本文提出一种基于零阶两点随机梯度估计的 actor-critic 算法，以规避确定性策略梯度对精确动作价值梯度的依赖，并在实验中显著超越现有最先进方法。
2025-02-08 cs.LG
Actor-Director-Critic: A Novel Deep Reinforcement Learning Framework
Xi’an Jiaotong University（西安交通大学）
在本文中，我们提出了演员-导演-评论家，深度强化学习的新框架。与Actor-Critic框架相比，增加了指挥者角色，同时应用动作分类和动作评价，提高了Agent的决策性能。首先，根据环境返回的奖励将Agent的行为分为高质量行为和低质量行为。然后，训练导演网络，使其具有区分高质量动作和低质量动作的能力，并指导演员网络在训练初期减少对低质量动作的重复探索。此外，我们提出了一种改进的双估计器方法，更好地解决了强化学习领域中的过估问题。对于使用的两个评论家网络，我们为每个评论家网络设计了两个目标评论家网络，而不是一个。这样，可以通过取两个目标评价网络的输出的平均值来计算每个评价网络的目标值，这比仅使用一个目标评价网络来获得目标值更稳定和准确。为了验证演员-导演-评论家框架和改进的双估计器方法的性能，我们将它们应用到TD 3算法中，以改进TD 3算法。然后，在MuJoCo上进行了多环境下的实验，并对算法改进前后的实验数据进行了比较。最后的实验结果表明，改进后的算法能够获得更快的收敛速度和更高的总收益。
2023-01-10 cs.LG
GMAC: A Distributional Perspective on Actor-Critic Framework
KC Machine Learning Lab（KC机器学习实验室）
在本文中，我们设计了一个分布式框架的行动者-批评者作为解决方案的分布不稳定性，行动类型的限制，样本和统计之间的混淆。我们提出了一种新的方法，最大限度地减少Cramér距离与多步贝尔曼目标分布产生的一种新的样本替换算法表示SR（$λ$），学习正确的值分布下的多个贝尔曼操作。利用高斯混合模型对值分布进行参数化，进一步提高了该方法的效率和性能，我们称之为GMAC。我们的经验表明，GMAC捕获值分布的正确表示，并提高了传统的演员-评论家方法的性能，具有低计算成本，在离散和连续的动作空间使用Arcade学习环境（ALE）和PyBullet环境。
2021-07-15 cs.LG
IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic
EPFL（苏黎世联邦理工学院）；LIONS（实验室）
本文提出SOAR模仿学习框架，通过原对偶算法交替更新成本与策略，并利用多评论家Actor-Critic构建乐观评论家驱动探索，在表格设置下具备理论保证，且在MuJoCo环境中显著提升多种基于Soft Actor Critic算法的性能，将所需回合数减半。
2025-05-30 cs.LG
Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning
Inst. for Comp. and Math. Engineering（计算与数学工程研究所）；Departments of Statistics and EECS（统计系与电子工程和计算机科学系）
演员-评论家方法广泛应用于离线强化学习实践中，但在理论上并没有得到很好的理解。我们提出了一个新的离线演员评论家算法，自然结合了悲观主义的原则，导致几个关键的优势相比，最先进的。该算法可以操作时，贝尔曼评估运营商是封闭的行动价值函数的演员的政策，这是一个更一般的设置比低秩MDP模型。尽管增加了一般性，该过程是计算上易于处理的，因为它涉及到一系列的二阶程序的解决方案。我们证明了一个上界的次优差距的政策返回的程序，依赖于任何任意的数据覆盖率，可能依赖于数据的比较器的政策。可实现的保证是补充了一个极大极小的下限，是匹配的对数因子。
2021-08-19 cs.LG
Mirror Descent Actor Critic via Bounded Advantage Learning
IBM Research - Tokyo（IBM东京研究院）
本文提出MDAC，通过限制Actor的log-density项提升连续动作域中的强化学习性能，理论和实验均显示其优势。
2026-01-08 cs.LG
DSAC-C: Constrained Maximum Entropy for Robust Discrete Soft-Actor Critic
School of Computing National University of Singapore Singapore（计算学院新加坡国立大学新加坡）
本文提出DSAC-C，通过从代理评论家策略添加统计约束改进离散SAC，增强对领域偏移的鲁棒性，并在Atari 2600低数据场景验证了其有效性。
2025-06-23 cs.LG
Multi-Actor Multi-Critic Deep Deterministic Reinforcement Learning with a Novel Q-Ensemble Method
csie.fju.edu.tw（逢甲大学计算机科学系）
针对强化学习中策略评估的高估/低估问题，提出多演员多评论家深度确定性强化学习方法，通过非支配排序选演员、分位数集成评估等设计，在MuJoCo基准上性能优于现有深度确定性强化学习方法。
2025-10-01 cs.LG
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
On the Convergence of Single-Timescale Actor-Critic
Technion（技术学院）；Columbia University（哥伦比亚大学）；University of Zurich（苏黎世大学）
本文研究单时间尺度actor-critic算法在有限状态折扣MDP中的全局收敛性，提出新分析框架处理耦合递归，证明算法以O(ε^{-3})样本复杂度达到ε-接近全局最优策略，并指出步长需按O(k^{-2/3})衰减。
2025-06-04 cs.LG stat.ML
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
