Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题，本文提出反转演员-评论家更新顺序的FedRAC算法，理论证明其收敛界不受异质性影响，并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science（印度科学理工学院）
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic，借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度，并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France（法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau）；Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.（巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind）；Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学）
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用，证明精确评论家可强方差缩减，使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度，并指出评论家误差足够小时方差缩减和快速收敛得以保持，强调了准确评论家估计的关键性。
2026-05-23 cs.LG
Learning to Run with Actor-Critic Ensemble
Megvii Inc.（旷视科技）；Peking University（北京大学）
提出了一种改进深度确定性策略梯度（DDPG）算法性能的Actor-Critic Ensemination（ACE）方法。在推理时，我们的方法使用一个评论家合奏选择最好的行动，从多个演员并行运行的建议。通过拥有更大的候选集，我们的方法可以避免具有致命后果的操作，同时保持确定性。使用ACE，我们以“Megvii-hzwer”的名义赢得了NIPS'17学习跑步比赛的第二名。
2017-12-25 cs.LG
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University（成均馆大学）；Soongsil University（崇实大学）
本文提出LAC算法，将容量分配给深度评论家而非简单演员，解决离线RL中加深评论家的三种失效模式，在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
D2 Actor Critic: Diffusion Actor Meets Distributional Critic
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）；Department of Statistics, Northwestern University（统计学系，西北大学）
提出D2AC算法，通过融合扩散策略与分布式评论家，实现无模型强化学习中扩散策略的在线高效训练，在18个困难任务上达到最先进性能。
2026-05-22 cs.LG
Soft Actor-Critic With Integer Actions
Princeton University（普林斯顿大学）；Siemens Technology（西门子技术研究院）
强化学习在离散行为下得到了很好的研究。动作设置在行业中很受欢迎，但由于其高维性，仍然具有挑战性。为此，我们研究了整数动作下的强化学习，将软演员-评论家（SAC）算法与整数重新参数化。我们对整数动作的关键观察是，它们的离散结构可以使用它们的可比性来简化。因此，所提出的整数重新参数化不需要独热编码并且具有低维度。实验结果表明，在整数行为下，SAC算法在机器人控制任务上的性能与连续行为下的SAC算法相当，在配电系统控制任务上的性能优于近端策略优化.
2022-03-14 cs.AI cs.LG
Sample Efficient Actor-Critic with Experience Replay
DeepMind；CIFAR（加拿大高级研究院）；Oxford University（牛津大学）
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理，该代理稳定，样本效率高，并且在具有挑战性的环境中表现出色，包括离散57游戏Atari域和几个连续控制问题。为了实现这一点，本文介绍了几个创新，包括截断重要性采样与偏差校正，随机决斗网络架构，和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Actor-Critic with Active Importance Sampling
Politecnico di Milano（米兰理工学院）
本文提出主动重要性采样Actor-Critic算法，通过优化行为策略减少策略梯度估计方差，提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
Error Controlled Actor-Critic
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；Yuan Ze University（元智大学）；Northumbria University（诺森比亚大学）；Aberystwyth University（阿伯里斯特威斯大学）
价值函数的误差不可避免地会引起高估现象，对算法的收敛性产生负面影响。为了减轻近似误差的负面影响，我们提出了误差控制的Actor-Criter，它确保了将近似误差限制在价值函数中。分析了近似误差对actor-critic方法优化过程的影响，给出了Q函数近似器近似误差的上界，并发现在训练策略时限制相邻策略之间的KL-发散度可以降低Q函数近似器的近似误差.一系列连续控制任务的实验结果表明，所提出的actor-critic算法明显降低了近似误差，并显着优于其他无模型RL算法。
2021-09-07 cs.LG
SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出RSA2C算法，利用RKHS-SHAP计算状态属性，通过马氏门控权重调节Actor梯度和Advantage Critic目标，实现高效、稳定且可解释的强化学习。
2026-06-05 cs.LG
Distillation Strategies for Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
基于视觉的深度强化学习（RL）通常通过使用高容量和相对较大的卷积神经网络（CNN）来获得性能益处。然而，大型网络会导致更高的推理成本（功耗、延迟、硅面积、MAC数量）。已经为CNN开发了许多推理优化。一些优化技术提供了理论上的效率，如稀疏性，但设计实际的硬件来支持它们是困难的。另一方面，蒸馏是一种简单的通用优化技术，广泛适用于将知识从经过训练的高容量教师网络转移到未经训练的低容量学生网络。DQN蒸馏扩展了原始蒸馏思想，以传输存储在通过深度Q学习（DQN）算法训练的高性能，高容量教师Q函数中的信息。我们的工作适应DQN蒸馏工作的演员-评论家近端策略优化算法。PPO算法实现简单，性能远高于DQN算法。我们表明，一个蒸馏PPO学生可以达到更高的性能相比，DQN教师。我们还表明，一个低容量的蒸馏学生通常能够胜过一个低容量的代理，直接在环境中训练。最后，我们表明，蒸馏，其次是“微调”的环境中，使蒸馏PPO学生实现平价与教师的表现。总的来说，在这项工作中学到的经验教训应该转移到其他现代的演员-评论家RL算法。
2019-04-30 cs.AI cs.LG
Global Optimality of Single-Timescale Actor-Critic under Continuous State-Action Space: A Study on Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）
本文研究连续状态-动作空间下单时间尺度actor-critic求解LQR的全局最优性，证明其能以ε^{-2}量级样本复杂度达到ε-最优解，为理论与实践架起桥梁。
2025-05-02 cs.LG
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science（工程与应用科学学院）
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器，在CartPole-v1上以零方差稳定达到满分500，优于ANFIS-DQN基线，验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Actor-Accelerated Policy Dual Averaging for Reinforcement Learning in Continuous Action Spaces
School of Chemical and Biomolecular Engineering, Georgia Institute of Technology, GA, USA（化学与生物分子工程学院，佐治亚理工学院，美国加利福尼亚州）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, GA, USA（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院，美国加利福尼亚州）
本文提出加速器PDA，通过学习策略网络加速连续动作空间中的强化学习，提升性能并保持收敛保证。
2026-03-10 cs.LG
A Concentration Bound for Two-Timescale Actor-Critic Algorithm
IISc Bangalore（印度科学研究所班加罗尔）
本文针对长期平均奖励设置下的双时间尺度actor-critic算法，推导了均匀全时浓度界，证明actor参数以高概率进入并保持在安全区域，误差随更新次数减小。
2026-11-04 cs.LG
ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages
University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）
本文提出通过对A3C算法进行ReLU优势估计、谱归一化和贝叶斯近似dropout三项修改，在on-policy actor-critic深度强化学习中实现近似贝叶斯推断，在MuJoCo和ProcGen基准上显著优于A3C、PPO、SAC和TD3。
2024-10-10 cs.LG
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
基于相对悲观的概念，提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic（ATAC）. ATAC被设计成一个两人的Stackelberg游戏：一个策略参与者与一个经过对抗训练的价值批评者竞争，后者发现数据一致的场景，其中参与者不如数据收集行为策略。我们证明了，当行动者在两人博弈中没有后悔时，运行ATAC产生的策略可证明1）在控制悲观程度的广泛超参数范围内优于行为策略，2）与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比，值得注意的是，我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中，ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
我们介绍了异步优势演员-评论家（A3 C）算法的混合CPU/GPU版本，该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性，并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略，可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor（PAAC）方法，通过结合Q值和TD误差改进策略梯度估计，减少方差，提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
The Point to Which Soft Actor-Critic Converges
Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）
本文证明了 Soft Actor-Critic 与 Soft Q-learning 在最大熵框架下极限收敛到同一解，从而为优化提供了更简便的途径，并将该论证推广到 KL 散度等正则化项。
2023-05-29 cs.LG
Compatible Gradient Approximations for Actor-Critic Algorithms
Yale University（耶鲁大学）
本文提出一种基于零阶两点随机梯度估计的 actor-critic 算法，以规避确定性策略梯度对精确动作价值梯度的依赖，并在实验中显著超越现有最先进方法。
2025-02-08 cs.LG
Actor-Director-Critic: A Novel Deep Reinforcement Learning Framework
Xi’an Jiaotong University（西安交通大学）
在本文中，我们提出了演员-导演-评论家，深度强化学习的新框架。与Actor-Critic框架相比，增加了指挥者角色，同时应用动作分类和动作评价，提高了Agent的决策性能。首先，根据环境返回的奖励将Agent的行为分为高质量行为和低质量行为。然后，训练导演网络，使其具有区分高质量动作和低质量动作的能力，并指导演员网络在训练初期减少对低质量动作的重复探索。此外，我们提出了一种改进的双估计器方法，更好地解决了强化学习领域中的过估问题。对于使用的两个评论家网络，我们为每个评论家网络设计了两个目标评论家网络，而不是一个。这样，可以通过取两个目标评价网络的输出的平均值来计算每个评价网络的目标值，这比仅使用一个目标评价网络来获得目标值更稳定和准确。为了验证演员-导演-评论家框架和改进的双估计器方法的性能，我们将它们应用到TD 3算法中，以改进TD 3算法。然后，在MuJoCo上进行了多环境下的实验，并对算法改进前后的实验数据进行了比较。最后的实验结果表明，改进后的算法能够获得更快的收敛速度和更高的总收益。
2023-01-10 cs.LG
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
GMAC: A Distributional Perspective on Actor-Critic Framework
KC Machine Learning Lab（KC机器学习实验室）
在本文中，我们设计了一个分布式框架的行动者-批评者作为解决方案的分布不稳定性，行动类型的限制，样本和统计之间的混淆。我们提出了一种新的方法，最大限度地减少Cramér距离与多步贝尔曼目标分布产生的一种新的样本替换算法表示SR（$λ$），学习正确的值分布下的多个贝尔曼操作。利用高斯混合模型对值分布进行参数化，进一步提高了该方法的效率和性能，我们称之为GMAC。我们的经验表明，GMAC捕获值分布的正确表示，并提高了传统的演员-评论家方法的性能，具有低计算成本，在离散和连续的动作空间使用Arcade学习环境（ALE）和PyBullet环境。
2021-07-15 cs.LG
IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic
EPFL（苏黎世联邦理工学院）；LIONS（实验室）
本文提出SOAR模仿学习框架，通过原对偶算法交替更新成本与策略，并利用多评论家Actor-Critic构建乐观评论家驱动探索，在表格设置下具备理论保证，且在MuJoCo环境中显著提升多种基于Soft Actor Critic算法的性能，将所需回合数减半。
2025-05-30 cs.LG
Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning
Inst. for Comp. and Math. Engineering（计算与数学工程研究所）；Departments of Statistics and EECS（统计系与电子工程和计算机科学系）
演员-评论家方法广泛应用于离线强化学习实践中，但在理论上并没有得到很好的理解。我们提出了一个新的离线演员评论家算法，自然结合了悲观主义的原则，导致几个关键的优势相比，最先进的。该算法可以操作时，贝尔曼评估运营商是封闭的行动价值函数的演员的政策，这是一个更一般的设置比低秩MDP模型。尽管增加了一般性，该过程是计算上易于处理的，因为它涉及到一系列的二阶程序的解决方案。我们证明了一个上界的次优差距的政策返回的程序，依赖于任何任意的数据覆盖率，可能依赖于数据的比较器的政策。可实现的保证是补充了一个极大极小的下限，是匹配的对数因子。
2021-08-19 cs.LG
Mirror Descent Actor Critic via Bounded Advantage Learning
IBM Research - Tokyo（IBM东京研究院）
本文提出MDAC，通过限制Actor的log-density项提升连续动作域中的强化学习性能，理论和实验均显示其优势。
2026-01-08 cs.LG
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
DSAC-C: Constrained Maximum Entropy for Robust Discrete Soft-Actor Critic
School of Computing National University of Singapore Singapore（计算学院新加坡国立大学新加坡）
本文提出DSAC-C，通过从代理评论家策略添加统计约束改进离散SAC，增强对领域偏移的鲁棒性，并在Atari 2600低数据场景验证了其有效性。
2025-06-23 cs.LG
Multi-Actor Multi-Critic Deep Deterministic Reinforcement Learning with a Novel Q-Ensemble Method
csie.fju.edu.tw（逢甲大学计算机科学系）
针对强化学习中策略评估的高估/低估问题，提出多演员多评论家深度确定性强化学习方法，通过非支配排序选演员、分位数集成评估等设计，在MuJoCo基准上性能优于现有深度确定性强化学习方法。
2025-10-01 cs.LG
DNA: Proximal Policy Optimization with a Dual Network Architecture
The Australian National University（澳大利亚国立大学）
本文探讨了在深度行动者-批评者强化学习模型中同时学习价值函数和策略的问题。我们发现，共同学习这些功能的常见做法是次优的，由于这两个任务之间的噪声水平的数量级差异。相反，我们表明，独立学习这些任务，但有一个受约束的蒸馏阶段，显着提高性能。此外，我们发现，策略梯度噪声水平可以通过使用较低的\textit{variance}回报估计。然而，值学习噪声水平随着较低的\textit{bias}估计而降低。这些见解共同为近端策略优化的扩展提供了信息，我们称之为\textit{Dual Network Architecture}（DNA），它的性能明显优于其前身。DNA在五个测试环境中的四个环境中的性能也超过了流行的Rainbow DQN算法，即使在更困难的随机控制设置下也是如此。
2022-11-13 cs.AI cs.LG
Provably Efficient Convergence of Primal-Dual Actor-Critic with Nonlinear Function Approximation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）
在非凸-非凹原始-对偶形式下，研究了非线性函数逼近下的actor-critic算法的收敛性。应用随机梯度下降上升与鲁棒学习率的自适应最近项。我们显示了第一个有效的收敛结果与原始-对偶演员评论家的收敛速度为$\mathcal{O}\left(\sqrt{\frac{\ln \left(N d G^2 \right)}{N}}\right)$马尔可夫抽样下，其中$G$是元素的最大值的梯度，$N$是迭代次数，和$d$是梯度的维数。我们的结果只给出了对偶变量的Polyak-Jasojasiewicz条件，这很容易验证，适用于广泛的强化学习（RL）场景。该算法和分析是通用的，足以适用于其他RL设置，如多智能体RL。OpenAI Gym连续控制任务的实证结果证实了我们的理论发现。
2022-02-28 cs.LG stat.ML
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
Enhancing Multi-Agent Collaboration with Attention-Based Actor-Critic Policies
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Milwaukee School of Engineering（密尔沃基工程学院）
本文提出TAAC算法，通过注意力机制和惩罚损失函数提升多智能体协作性能，在模拟足球环境中表现出优越的协作能力。
2025-12-22 cs.AI cs.LG
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford（牛津大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲，演员-评论家算法通常对演员和评论家都有折扣，即，在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项，并且批评者是折扣价值函数。然而，实践者通常在使用折扣评论时忽略参与者的折扣（$γ^t$）。我们在两种情况下调查这种不匹配。在第一种情况下，我们考虑优化一个未折现的目标$(γ= 1)$，其中$γ^t$自然消失$(1^t = 1)$。然后，我们建议解释折扣在批评方面的偏差方差表示权衡，并提供支持的实证结果。在第二种情况下，我们考虑优化折扣目标（$γ< 1$），并建议解释省略的折扣在演员更新从辅助任务的角度来看，并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University（卡内基梅隆大学）；MIT Media Lab（麻省理工学院媒体实验室）；Adobe（奥多比公司）
SAC是一种行动者-批评者算法，其双时间尺度性质的特征在于，批评者估计在任何给定时间都不会收敛于行动者，但由于批评者比行动者学习得更快，因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计，以帮助实现更好的收敛。由于梯度估计依赖于评论家，我们认为，改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点，我们提出了软演员回顾性批评（SARC），在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛，因此，更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析，我们表明，SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题，研究发现价值低估引发的数据收集不佳是主因，并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文提出PPO-DAP方法，通过整合扩散模型和近端策略优化，提升强化学习的样本效率和探索能力，有效改进了连续控制任务中的学习效率和性能。
2025-12-14 cs.LG cs.RO
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
