Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science（印度科学理工学院）
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic，借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度，并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France（法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau）；Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.（巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind）；Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学）
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用，证明精确评论家可强方差缩减，使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度，并指出评论家误差足够小时方差缩减和快速收敛得以保持，强调了准确评论家估计的关键性。
2026-05-23 cs.LG
Learning to Run with Actor-Critic Ensemble
Megvii Inc.（旷视科技）；Peking University（北京大学）
提出了一种改进深度确定性策略梯度（DDPG）算法性能的Actor-Critic Ensemination（ACE）方法。在推理时，我们的方法使用一个评论家合奏选择最好的行动，从多个演员并行运行的建议。通过拥有更大的候选集，我们的方法可以避免具有致命后果的操作，同时保持确定性。使用ACE，我们以“Megvii-hzwer”的名义赢得了NIPS'17学习跑步比赛的第二名。
2017-12-25 cs.LG
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University（成均馆大学）；Soongsil University（崇实大学）
本文提出LAC算法，将容量分配给深度评论家而非简单演员，解决离线RL中加深评论家的三种失效模式，在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
D2 Actor Critic: Diffusion Actor Meets Distributional Critic
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）；Department of Statistics, Northwestern University（统计学系，西北大学）
提出D2AC算法，通过融合扩散策略与分布式评论家，实现无模型强化学习中扩散策略的在线高效训练，在18个困难任务上达到最先进性能。
2026-05-22 cs.LG
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Knowledge-guided Deep Reinforcement Learning for Interactive Recommendation
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
交互式推荐旨在从项目和用户之间的动态交互中学习，以实现响应性和准确性。强化学习在应对动态环境方面具有先天优势，因此在交互式推荐研究中引起了越来越多的关注。受知识感知推荐的启发，本文提出了知识引导的深度强化学习（KGRL），利用强化学习和知识图谱的优势进行交互式推荐。该模型是在演员-评论家网络框架上实现的。它维护一个本地知识网络来指导决策，并采用注意力机制来捕获项目之间的长期语义。我们在模拟的在线环境中使用六个公开的真实世界数据集进行了全面的实验，并证明了我们的模型优于几种最先进的方法。
2020-04-17 cs.IR cs.LG stat.ML
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford（牛津大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲，演员-评论家算法通常对演员和评论家都有折扣，即，在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项，并且批评者是折扣价值函数。然而，实践者通常在使用折扣评论时忽略参与者的折扣（$γ^t$）。我们在两种情况下调查这种不匹配。在第一种情况下，我们考虑优化一个未折现的目标$(γ= 1)$，其中$γ^t$自然消失$(1^t = 1)$。然后，我们建议解释折扣在批评方面的偏差方差表示权衡，并提供支持的实证结果。在第二种情况下，我们考虑优化折扣目标（$γ< 1$），并建议解释省略的折扣在演员更新从辅助任务的角度来看，并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Analysis of a Target-Based Actor-Critic Algorithm with Linear Function Approximation
LTCI（通信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
整合目标网络的演员-评论家方法在深度强化学习中取得了巨大的经验成功。然而，在行动者-批评者方法中使用目标网络的理论理解在文献中基本上是缺失的。在本文中，我们减少了理论与实践之间的差距，提出了第一个理论分析的在线目标为基础的演员-评论家算法与线性函数近似的折扣奖励设置。我们的算法使用三个不同的时间尺度：一个用于演员，两个用于评论家。而不是使用标准的单时标时间差（TD）的学习算法作为一个评论家，我们使用两个时标的TD学习的目标为基础的版本密切启发，从实际的演员-评论家算法实现目标网络。首先，我们建立了马尔可夫抽样下的评论家和演员的渐近收敛结果。然后，我们提供了一个有限的时间分析显示的影响，将目标网络的演员-评论家的方法。
2022-02-22 cs.LG math.OC stat.ML
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University（卡内基梅隆大学）；MIT Media Lab（麻省理工学院媒体实验室）；Adobe（奥多比公司）
SAC是一种行动者-批评者算法，其双时间尺度性质的特征在于，批评者估计在任何给定时间都不会收敛于行动者，但由于批评者比行动者学习得更快，因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计，以帮助实现更好的收敛。由于梯度估计依赖于评论家，我们认为，改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点，我们提出了软演员回顾性批评（SARC），在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛，因此，更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析，我们表明，SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Sample Efficient Actor-Critic with Experience Replay
DeepMind；CIFAR（加拿大高级研究院）；Oxford University（牛津大学）
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理，该代理稳定，样本效率高，并且在具有挑战性的环境中表现出色，包括离散57游戏Atari域和几个连续控制问题。为了实现这一点，本文介绍了几个创新，包括截断重要性采样与偏差校正，随机决斗网络架构，和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题，研究发现价值低估引发的数据收集不佳是主因，并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Actor-Critic with Active Importance Sampling
Politecnico di Milano（米兰理工学院）
本文提出主动重要性采样Actor-Critic算法，通过优化行为策略减少策略梯度估计方差，提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Error Controlled Actor-Critic
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；Yuan Ze University（元智大学）；Northumbria University（诺森比亚大学）；Aberystwyth University（阿伯里斯特威斯大学）
价值函数的误差不可避免地会引起高估现象，对算法的收敛性产生负面影响。为了减轻近似误差的负面影响，我们提出了误差控制的Actor-Criter，它确保了将近似误差限制在价值函数中。分析了近似误差对actor-critic方法优化过程的影响，给出了Q函数近似器近似误差的上界，并发现在训练策略时限制相邻策略之间的KL-发散度可以降低Q函数近似器的近似误差.一系列连续控制任务的实验结果表明，所提出的actor-critic算法明显降低了近似误差，并显着优于其他无模型RL算法。
2021-09-07 cs.LG
SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出RSA2C算法，利用RKHS-SHAP计算状态属性，通过马氏门控权重调节Actor梯度和Advantage Critic目标，实现高效、稳定且可解释的强化学习。
2026-06-05 cs.LG
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）
尽管行动者-批评者算法在经验上取得了成功，但它的理论理解却落后了。在更广泛的背景下，演员评论家可以被视为一个在线交替更新算法的双层优化，其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性，我们将重点放在它在线性二次调节器中的应用上，这是强化学习的一个简单而基本的设置。在这种情况下，我们建立了一个非渐近收敛分析的演员批评。特别是，我们证明了演员-评论家找到一个全局最优的演员（政策）和评论家（行动-价值函数）的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题，这是NP-难的最坏情况下，往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Global Optimality of Single-Timescale Actor-Critic under Continuous State-Action Space: A Study on Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）
本文研究连续状态-动作空间下单时间尺度actor-critic求解LQR的全局最优性，证明其能以ε^{-2}量级样本复杂度达到ε-最优解，为理论与实践架起桥梁。
2025-05-02 cs.LG
A Concentration Bound for Two-Timescale Actor-Critic Algorithm
IISc Bangalore（印度科学研究所班加罗尔）
本文针对长期平均奖励设置下的双时间尺度actor-critic算法，推导了均匀全时浓度界，证明actor参数以高概率进入并保持在安全区域，误差随更新次数减小。
2026-11-04 cs.LG
ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages
University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）
本文提出通过对A3C算法进行ReLU优势估计、谱归一化和贝叶斯近似dropout三项修改，在on-policy actor-critic深度强化学习中实现近似贝叶斯推断，在MuJoCo和ProcGen基准上显著优于A3C、PPO、SAC和TD3。
2024-10-10 cs.LG
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
基于相对悲观的概念，提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic（ATAC）. ATAC被设计成一个两人的Stackelberg游戏：一个策略参与者与一个经过对抗训练的价值批评者竞争，后者发现数据一致的场景，其中参与者不如数据收集行为策略。我们证明了，当行动者在两人博弈中没有后悔时，运行ATAC产生的策略可证明1）在控制悲观程度的广泛超参数范围内优于行为策略，2）与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比，值得注意的是，我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中，ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题，本文提出反转演员-评论家更新顺序的FedRAC算法，理论证明其收敛界不受异质性影响，并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
A Convergence Result for Regularized Actor-Critic Methods
在本文中，我们提出了一个概率1收敛证明，在适当的条件下，某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果，我们证明了使用线性近似架构时，一般正则化的政策评估的收敛性，并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
A Finite Time Analysis of Two Time-Scale Actor Critic Methods
University of California, Los Angeles（加州大学洛杉矶分校）
与其他强化学习算法相比，Actor-Critic（AC）方法已经展示了巨大的经验成功，其中Actor使用策略梯度来改进学习策略，而Critic使用时间差学习来估计策略梯度。在双时间尺度学习率调度下，AC的渐近收敛性已经得到了很好的研究。然而，非渐近收敛性和有限样本复杂性的行动者-批评者方法在很大程度上是开放的。在这项工作中，我们提供了一个非独立同分布下的两个时间尺度的actor-critic方法的非渐近分析。设置.我们证明了行动者-批评者方法保证找到一个一阶稳定点（即，$\|\nabla J(\boldsymbolθ)\|_2^2 \le ε$）的非凹性能函数$J(\boldsymbolθ)$，具有$\mathcal{\tilde{O}}(ε^{-2.5})$样本复杂度。据我们所知，这是第一个工作提供有限的时间分析和样本的复杂性限制的两个时间尺度的演员评论家的方法。
2022-10-10 cs.LG math.OC stat.ML
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland（马里兰大学系统研究所）；Astrome Technologies Pvt Ltd（Astrome科技私人有限公司）；Indian Institute of Science（印度科学学院）
我们提出了一种新的演员-评论家算法，保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向，这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展，将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark（南丹麦大学）
本文首次将PAC贝叶斯界用作SAC评论家训练目标，并结合评论家引导的随机搜索，在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
我们介绍了异步优势演员-评论家（A3 C）算法的混合CPU/GPU版本，该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性，并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略，可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor（PAAC）方法，通过结合Q值和TD误差改进策略梯度估计，减少方差，提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
Soft Actor-Critic for Discrete Action Settings
Imperial College London（帝国理工学院）
Soft Actor-Critic是一种最先进的强化学习算法，用于连续动作设置，不适用于离散动作设置。然而，许多重要的设置涉及离散动作，因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后，我们表明，即使没有任何超参数调整，它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
The Point to Which Soft Actor-Critic Converges
Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）
本文证明了 Soft Actor-Critic 与 Soft Q-learning 在最大熵框架下极限收敛到同一解，从而为优化提供了更简便的途径，并将该论证推广到 KL 散度等正则化项。
2023-05-29 cs.LG
Compatible Gradient Approximations for Actor-Critic Algorithms
Yale University（耶鲁大学）
本文提出一种基于零阶两点随机梯度估计的 actor-critic 算法，以规避确定性策略梯度对精确动作价值梯度的依赖，并在实验中显著超越现有最先进方法。
2025-02-08 cs.LG
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Variance Adjusted Actor Critic Algorithms
Technion – Israel Institute of Technology（以色列理工学院）
本文提出了一种针对MDP的actor-critic框架，目标为方差调整的预期回报。通过线性函数逼近和扩展兼容特征概念，提出了一种分回合算法，并证明其几乎必然收敛到目标函数的局部最优解。
2013-10-14 cs.LG cs.SY eess.SY
Actor-Director-Critic: A Novel Deep Reinforcement Learning Framework
Xi’an Jiaotong University（西安交通大学）
在本文中，我们提出了演员-导演-评论家，深度强化学习的新框架。与Actor-Critic框架相比，增加了指挥者角色，同时应用动作分类和动作评价，提高了Agent的决策性能。首先，根据环境返回的奖励将Agent的行为分为高质量行为和低质量行为。然后，训练导演网络，使其具有区分高质量动作和低质量动作的能力，并指导演员网络在训练初期减少对低质量动作的重复探索。此外，我们提出了一种改进的双估计器方法，更好地解决了强化学习领域中的过估问题。对于使用的两个评论家网络，我们为每个评论家网络设计了两个目标评论家网络，而不是一个。这样，可以通过取两个目标评价网络的输出的平均值来计算每个评价网络的目标值，这比仅使用一个目标评价网络来获得目标值更稳定和准确。为了验证演员-导演-评论家框架和改进的双估计器方法的性能，我们将它们应用到TD 3算法中，以改进TD 3算法。然后，在MuJoCo上进行了多环境下的实验，并对算法改进前后的实验数据进行了比较。最后的实验结果表明，改进后的算法能够获得更快的收敛速度和更高的总收益。
2023-01-10 cs.LG
GMAC: A Distributional Perspective on Actor-Critic Framework
KC Machine Learning Lab（KC机器学习实验室）
在本文中，我们设计了一个分布式框架的行动者-批评者作为解决方案的分布不稳定性，行动类型的限制，样本和统计之间的混淆。我们提出了一种新的方法，最大限度地减少Cramér距离与多步贝尔曼目标分布产生的一种新的样本替换算法表示SR（$λ$），学习正确的值分布下的多个贝尔曼操作。利用高斯混合模型对值分布进行参数化，进一步提高了该方法的效率和性能，我们称之为GMAC。我们的经验表明，GMAC捕获值分布的正确表示，并提高了传统的演员-评论家方法的性能，具有低计算成本，在离散和连续的动作空间使用Arcade学习环境（ALE）和PyBullet环境。
2021-07-15 cs.LG
