Communication-Efficient Actor-Critic Methods for Homogeneous Markov Games
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
协作式多智能体强化学习（MARL）最近的成功依赖于集中式训练和策略共享。集中式训练消除了非平稳性MARL的问题，但引起了巨大的通信成本，政策共享是经验上的关键，在某些任务的有效学习，但缺乏理论依据。在本文中，我们正式刻画了合作马尔可夫博弈的一个子类，其中代理表现出一定形式的同质性，使得策略共享可证明不会产生次优性。这使我们能够开发出第一个基于共识的去中心化参与者-批评者方法，其中共识更新适用于参与者和批评者，同时确保收敛。我们还开发了基于分散式演员-评论家方法的实用算法，以降低训练过程中的通信成本，同时仍然产生与集中式训练相当的策略。
2022-03-31 cs.AI cs.GT cs.LG
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
Actor Loss of Soft Actor Critic Explained
本技术报告致力于解释如何获得软演员评论家的演员损失，以及相关的梯度估计。它给出了必要的数学背景，推导出所有提出的方程，从理论上的演员损失，在实践中实现的。这就需要将软演员评论家中使用的重新参数化技巧与nabla日志技巧进行比较，这导致了关于使用最有效方法的公开问题。
2021-12-31 cs.LG
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 AFU 离策略深度强化学习算法，通过回归与条件梯度缩放解决连续控制中的 max-Q 问题，并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中（AGI或通用AI或人工通用智能，具有通用应用程序：（A）离线学习（存储数据的），如中的GAN（非/半/全）SL设置，如大数据分析（挖掘）和可视化;（B）在线学习（真实或模拟设备），如RL设置中的DRL（有/无环境奖励），例如（真实或模拟）机器人和控制;我们的核心建议是增加一个（生成/预测）环境模型到行动者-批评者（无模型）架构，其导致具有时间差分（TD）误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于（无模型）DDPG，因此它被称为基于模型的DDPG。为了评估它，我们将其与（无模型）DDPG进行比较，将它们应用于OpenAI Gym和Unity Agents中的各种（广泛）独立模拟机器人和控制任务环境。我们最初有限的实验表明，DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与（无模型）DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力：（A）通过与最好的基于模型（PlaNet）和无模型（D4 PG）方法相比，产生有竞争力的性能，统一人工智能内部的DRL领域;（B）通过解决奖励工程的重要问题，通过演示学习奖励函数，弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
本工作全面分析了带自动温度调节的Soft Actor-Critic算法的正则化，通过重新表述策略评估、策略改进和温度调节，以更明确的方式增强了原始理论的清晰度。
2023-05-23 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
Soft Actor-Critic for Discrete Action Settings
Imperial College London（帝国理工学院）
Soft Actor-Critic是一种最先进的强化学习算法，用于连续动作设置，不适用于离散动作设置。然而，许多重要的设置涉及离散动作，因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后，我们表明，即使没有任何超参数调整，它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究重新审视表格型actor-critic算法的双时间尺度公式，提出反转时间尺度的critic-actor算法，证明其收敛性，实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
SMAC通过正则化Q函数，使演员-评论家在离线到在线RL迁移中保持性能，有效避免性能下降。
2026-08-11 cs.AI cs.LG
Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）
本文分析了DSAC在离散动作领域表现不佳的原因，提出了一种灵活的off-policy actor-critic框架，通过解耦actor和critic熵实现性能提升，并在Atari游戏中验证了其鲁棒性。
2026-05-11 cs.AI cs.LG
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Adversarially Guided Actor-Critic
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
尽管在深度强化学习问题上取得了一定的成功，但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题，特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策（演员）和一个价值函数（批评家），其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角：对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时，演员除了学习解决任务之外，还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略，使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明，由此产生的对抗引导演员评论（AGAC）算法导致更详尽的探索。值得注意的是，AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington（华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
在基于行动者-批评者的强化学习算法中，行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者，追随者的结构被称为Stackelberg游戏。鉴于这种抽象，我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数，而不是通常的个人梯度。从理论的角度来看，我们开发了一个策略梯度定理的精细更新，并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看，我们通过简单的例子证明，我们研究的学习动态减轻循环和加速收敛相比，通常的梯度动态引起的演员-评论家配方的成本结构。最后，在OpenAI健身房环境中进行的大量实验表明，Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当，并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Value-Decomposition Multi-Agent Actor-Critics
University of Virginia（弗吉尼亚大学）
利用额外的状态信息是多智能体强化学习（MARL）的一个研究热点。QMIX使用非负函数近似器表示联合动作值，并在多智能体基准测试（星际争霸II微观管理任务）上实现了迄今为止的最佳性能。然而，我们的实验表明，在某些情况下，QMIX与A2 C不兼容，A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡，我们将值分解扩展到与A2 C兼容的演员-评论家，并提出了一种新的演员-评论家框架，值分解演员-评论家（VDACs）。我们评估VDACs的星际争霸II微观管理任务的测试平台上，并表明，所提出的框架提高了其他演员批评的方法的中位数性能。此外，我们使用一组烧蚀实验，以确定的关键因素，有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University（西蒙弗雷泽大学）；Samsung - SAIT AI Lab, Montreal（三星-三星高级技术研究院人工智能实验室（蒙特利尔））；Microsoft Research（微软研究院）；Mila（米拉研究所）
本文提出一种决策感知的Actor-Critic方法，通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题，并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Broad Critic Deep Actor Reinforcement Learning for Continuous Control
University of Macau（澳门大学）
针对连续控制中深度强化学习（DRL）数据需求大、计算成本高的问题，本文提出融合宽学习系统（BLS）与深度神经网络（DNN）的混合行动者-批评者框架，增强现有算法并提升训练效率与准确性，适用于实时控制场景。
2025-04-12 cs.AI cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Virtual Action Actor-Critic Framework for Exploration (Student Abstract)
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对强化学习中智能体高效探索的难题，受人类想象动作结果的能力启发，提出引入虚拟行动者的虚拟动作行动者-评论家框架，通过修正Q函数结合奖励与虚拟策略熵，实验证明其探索性能优于现有算法。
2023-11-06 cs.AI cs.LG
Distributed Soft Actor-Critic with Multivariate Reward Representation and Knowledge Distillation
在本文中，我们描述了NeurIPS 2019学习移动-走动挑战基于物理的环境，并提出了我们的解决方案，该竞赛获得了1303.727平均奖励积分，排名第三。我们的方法结合了连续和离散动作空间强化学习的最新进展，例如分布式强化学习中的软演员-评论和循环经验重放。我们分两个阶段训练我们的智能体：在第一阶段移动到某个地方，在第二阶段跟随目标速度场。我们还引入了新的Q函数分裂技术，我们相信这有助于训练代理的任务，允许批评家预训练和重用它来解决更难的问题，并减轻奖励塑造设计工作。
2020-04-10 cs.AI cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
OPAC: Opportunistic Actor-Critic
Ramakrishna Mission Vivekananda Educational and Research Institute (RKMVERI)（罗摩克里希纳传道会维韦卡南达教育与研究所（RKMVERI））
Actor-critic方法是一种无模型强化学习（RL）方法，在连续控制的许多实际领域都取得了很好的效果。尽管取得了成功，但这些模型的大规模部署仍然很遥远。这些行动者-批评者方法的主要问题是效率低下的探索和次优的政策。软演员-评论家（SAC）和双延迟深度确定性策略梯度（TD 3）是两种前沿的此类算法，但都存在这些问题。SAC有效地解决了超参数的样本复杂性和收敛脆弱性问题，因此在更困难的任务中优于所有最先进的算法，包括TD 3，而TD 3在所有环境中产生中等结果。SAC由于其策略的高斯性质而遭受低效率的探索，这导致在简单任务中的边界性能。在本文中，我们介绍了一种新的无模型深度强化学习算法--启发式Actor-Critic（OPAC），它采用了更好的探索策略和更小的方差。OPAC结合了TD 3和SAC的一些最强大的功能，旨在以非策略的方式优化随机策略。为了计算目标Q值，而不是两个批评家，OPAC使用三个批评家，并根据环境的复杂性，机会主义地选择如何从批评家的评价计算目标Q值。我们在MuJoCo环境中系统地评估了该算法，它实现了最先进的性能，优于或至少等于TD 3和SAC的性能。
2020-12-11 cs.AI cs.LG
Generation of Geodesics with Actor-Critic Reinforcement Learning to Predict Midpoints
OMRON SINIC X Corporation（OMRON SINIC X公司）
本文提出了一种基于Actor-Critic强化学习的方法，通过递归预测中点来生成测地线，以提高在复杂运动学和多自由度机器人臂规划中的性能。
2026-01-05 cs.AI cs.LG
Quality-Diversity Actor-Critic: Learning High-Performing and Diverse Behaviors via Value and Successor Features Critics
Imperial College London（帝国理工学院）；Iconic AI
提出QDAC算法，通过价值函数与后继特征评论家学习高性能且多样化的行为，在连续控制任务中显著提升性能与多样性，并增强对扰动环境的适应能力。
2024-06-03 cs.AI cs.LG
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
行动者-批评者强化学习（RL）算法在连续控制任务中取得了令人印象深刻的性能。然而，他们仍然遭受两个不平凡的障碍，即，低样本效率和高估偏倚。为此，我们提出了同步双Q学习与保守优势学习（SDQ-CAL）。我们的SDQ-CAL基于对Bellman最优算子的修改和优势学习，增强了非策略行动者-评论者RL的双Q学习。具体而言，SDQ-CAL通过修改奖励来促进最佳动作与其他动作之间的经验区分，从而提高了样本效率。此外，它通过在双重估计量上同时更新一对批评者来减轻高估问题。大量的实验表明，我们的算法实现了更少的偏置值估计，并在一系列连续控制基准任务中实现了最先进的性能。我们在\url{https://github.com/LQNew/SDQ-CAL}上发布了我们方法的源代码。
2022-05-08 cs.AI cs.LG
Enhancing Multi-Agent Collaboration with Attention-Based Actor-Critic Policies
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Milwaukee School of Engineering（密尔沃基工程学院）
本文提出TAAC算法，通过注意力机制和惩罚损失函数提升多智能体协作性能，在模拟足球环境中表现出优越的协作能力。
2025-12-22 cs.AI cs.LG
Soft Actor-Critic With Integer Actions
Princeton University（普林斯顿大学）；Siemens Technology（西门子技术研究院）
强化学习在离散行为下得到了很好的研究。动作设置在行业中很受欢迎，但由于其高维性，仍然具有挑战性。为此，我们研究了整数动作下的强化学习，将软演员-评论家（SAC）算法与整数重新参数化。我们对整数动作的关键观察是，它们的离散结构可以使用它们的可比性来简化。因此，所提出的整数重新参数化不需要独热编码并且具有低维度。实验结果表明，在整数行为下，SAC算法在机器人控制任务上的性能与连续行为下的SAC算法相当，在配电系统控制任务上的性能优于近端策略优化.
2022-03-14 cs.AI cs.LG
Stabilizing the Q-Gradient Field for Policy Smoothness in Actor-Critic Methods
College of Software, Kyung Hee University（韩国庆熙大学软件学院）
针对连续动作空间中actor-critic方法策略振荡问题，提出基于评论家微分几何的PAVE框架，通过稳定Q-梯度场实现策略平滑，无需修改actor。
2026-06-19 cs.AI cs.LG
Average-Reward Soft Actor-Critic
本文提出平均奖励软演员-评论家算法，填补熵正则化平均奖励深度RL空白，并在标准基准上优于现有方法。
2025-08-05 cs.AI cs.LG
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Convergent Actor-Critic Algorithms Under Off-Policy Training and Function Approximation
Criteo Research（科韬研究院）
我们提出了第一类的政策梯度算法，工作与状态值和政策函数近似，并保证在非政策训练下收敛。我们的解决方案针对强化学习中的问题，其中动作表示增加了维数灾难;也就是说，具有连续或大的动作集，因此无法估计状态动作价值函数（Q函数）。使用状态-价值函数有助于解除诅咒，因此自然地将我们的策略梯度解决方案转变为经典的Actor-Critic架构，其Actor使用状态-价值函数进行更新。我们的算法，梯度Actor-Critic和强调Actor-Critic，是基于平均状态-价值函数目标的精确梯度导出的，因此保证收敛到其最优解，同时保持经典Actor-Critic方法的所有期望性质，无需额外的超参数。据我们所知，这是第一次，收敛的离策略学习方法已扩展到经典的Actor-Critic方法与函数逼近。
2018-02-21 cs.AI
ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning
Peking University（北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
沟通是大型多智能体世界保持组织性和生产力的关键因素。以往的多智能体“学习通信”研究大多试图对通信协议进行改进，或者采用表格式强化学习、进化算法等技术，但这些技术不能推广到变化的环境或大规模的智能体集合中。在本文中，我们提出了一个演员协调员批评网络（ACCNet）框架解决“学习沟通”的问题。ACCNet自然地将强大的演员-评论家强化学习技术与深度学习技术相结合。它可以有效地学习通信协议，即使从零开始，在部分可观察的环境。我们证明了ACCNet可以实现更好的结果比几个基线下连续和离散的动作空间环境。我们还分析了学习的协议，并讨论了一些设计考虑。
2017-10-29 cs.AI cs.LG
CTD4 -- A Deep Continuous Distributional Actor-Critic Agent with a Kalman Fusion of Multiple Critics
The University of Auckland（奥克兰大学）；New Dexterity Lab（新 Dexterity 实验室）
本文提出CTD4，一种面向连续动作空间的连续分布无模型强化学习算法，通过评论家输出连续分布并利用卡尔曼融合集成多评论家以抑制过高估计，在复杂连续控制任务中实现样本高效学习。
2025-02-06 cs.AI cs.LG
DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University（清华大学自动化系）；School of Engineering and Applied Science, Columbia University（哥伦比亚大学工程与应用科学学院）；School of Business, Sun Yat-sen University（中山大学商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出DSAC算法，结合累积奖励的分布式信息与SAC的熵驱动探索，构建统一框架优化风险相关目标并平衡熵，在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
Actor-Dual-Critic Dynamics for Zero-sum and Identical-Interest Stochastic Games
Department of Electrical & Electronics Engineering at Bilkent University（比尔肯特大学电气与电子工程系）
本文提出了一种基于收益的去中心化学习算法，通过Actor-Dual-Critic架构在零和和相同利益随机游戏中实现收敛到均衡。
2026-01-31 cs.GT cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Mitigating Estimation Errors by Twin TD-Regularized Actor and Critic for Deep Reinforcement Learning
Arizona State University（亚利桑那州立大学）
针对深度强化学习的估计偏差问题，提出双TD正则化演员-评论家方法，结合多项改进技术，在多个基准环境中提升现有算法性能，刷新D4PG的最优表现。
2023-11-07 cs.AI cs.LG
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University（清华大学）
由于需要较少的在线仿真数据，因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程，另一些人通过模仿专家演示来预训练策略。然而，这些方法是不稳定的，不适合演员-评论家强化学习算法。此外，一些现有的方法依赖于全局最优假设，这在大多数情况下是不正确的。在本文中，我们采用专家示范的行动者-批评强化学习框架，同时确保性能不受影响的事实，专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法，预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER，实验结果表明，该方法不仅比没有预训练过程的RL算法性能更好，而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
