Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
Value-Decomposition Multi-Agent Actor-Critics
University of Virginia（弗吉尼亚大学）
利用额外的状态信息是多智能体强化学习（MARL）的一个研究热点。QMIX使用非负函数近似器表示联合动作值，并在多智能体基准测试（星际争霸II微观管理任务）上实现了迄今为止的最佳性能。然而，我们的实验表明，在某些情况下，QMIX与A2 C不兼容，A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡，我们将值分解扩展到与A2 C兼容的演员-评论家，并提出了一种新的演员-评论家框架，值分解演员-评论家（VDACs）。我们评估VDACs的星际争霸II微观管理任务的测试平台上，并表明，所提出的框架提高了其他演员批评的方法的中位数性能。此外，我们使用一组烧蚀实验，以确定的关键因素，有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
Actor-Critic based Training Framework for Abstractive Summarization
The Chinese University of Hong Kong（香港中文大学）；Tencent Inc.（腾讯公司）
我们提出了一个基于强化学习的演员-评论家方法的神经抽象摘要训练框架。在传统的基于神经网络的方法中，目标只是最大化预测摘要的可能性，而没有考虑其他评估约束，这可能会产生低质量的摘要甚至是错误的句子。为了缓解这个问题，我们采用一个演员批评的框架，以提高培训过程。对于演员，我们采用典型的注意力为基础的序列到序列（seq 2seq）框架的策略网络的摘要生成。对于评论家，我们结合了最大似然估计与一个精心设计的全球摘要质量估计，这是一个基于神经网络的二元分类器，旨在使所生成的摘要难以区分的人类写的。采用策略梯度方法进行参数学习。提出了一种交替训练策略来进行演员和评论家模型的联合训练。在不同语言的基准数据集上进行的大量实验表明，我们的框架比最先进的方法有所改进。
2018-08-15 cs.AI cs.CL
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
SMAC通过正则化Q函数，使演员-评论家在离线到在线RL迁移中保持性能，有效避免性能下降。
2026-08-11 cs.AI cs.LG
Soft Actor-Critic for Discrete Action Settings
Imperial College London（帝国理工学院）
Soft Actor-Critic是一种最先进的强化学习算法，用于连续动作设置，不适用于离散动作设置。然而，许多重要的设置涉及离散动作，因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后，我们表明，即使没有任何超参数调整，它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
Broad Critic Deep Actor Reinforcement Learning for Continuous Control
University of Macau（澳门大学）
针对连续控制中深度强化学习（DRL）数据需求大、计算成本高的问题，本文提出融合宽学习系统（BLS）与深度神经网络（DNN）的混合行动者-批评者框架，增强现有算法并提升训练效率与准确性，适用于实时控制场景。
2025-04-12 cs.AI cs.LG
Adversarially Guided Actor-Critic
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
尽管在深度强化学习问题上取得了一定的成功，但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题，特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策（演员）和一个价值函数（批评家），其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角：对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时，演员除了学习解决任务之外，还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略，使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明，由此产生的对抗引导演员评论（AGAC）算法导致更详尽的探索。值得注意的是，AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
Virtual Action Actor-Critic Framework for Exploration (Student Abstract)
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对强化学习中智能体高效探索的难题，受人类想象动作结果的能力启发，提出引入虚拟行动者的虚拟动作行动者-评论家框架，通过修正Q函数结合奖励与虚拟策略熵，实验证明其探索性能优于现有算法。
2023-11-06 cs.AI cs.LG
Distributed Soft Actor-Critic with Multivariate Reward Representation and Knowledge Distillation
在本文中，我们描述了NeurIPS 2019学习移动-走动挑战基于物理的环境，并提出了我们的解决方案，该竞赛获得了1303.727平均奖励积分，排名第三。我们的方法结合了连续和离散动作空间强化学习的最新进展，例如分布式强化学习中的软演员-评论和循环经验重放。我们分两个阶段训练我们的智能体：在第一阶段移动到某个地方，在第二阶段跟随目标速度场。我们还引入了新的Q函数分裂技术，我们相信这有助于训练代理的任务，允许批评家预训练和重用它来解决更难的问题，并减轻奖励塑造设计工作。
2020-04-10 cs.AI cs.LG
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
OPAC: Opportunistic Actor-Critic
Ramakrishna Mission Vivekananda Educational and Research Institute (RKMVERI)（罗摩克里希纳传道会维韦卡南达教育与研究所（RKMVERI））
Actor-critic方法是一种无模型强化学习（RL）方法，在连续控制的许多实际领域都取得了很好的效果。尽管取得了成功，但这些模型的大规模部署仍然很遥远。这些行动者-批评者方法的主要问题是效率低下的探索和次优的政策。软演员-评论家（SAC）和双延迟深度确定性策略梯度（TD 3）是两种前沿的此类算法，但都存在这些问题。SAC有效地解决了超参数的样本复杂性和收敛脆弱性问题，因此在更困难的任务中优于所有最先进的算法，包括TD 3，而TD 3在所有环境中产生中等结果。SAC由于其策略的高斯性质而遭受低效率的探索，这导致在简单任务中的边界性能。在本文中，我们介绍了一种新的无模型深度强化学习算法--启发式Actor-Critic（OPAC），它采用了更好的探索策略和更小的方差。OPAC结合了TD 3和SAC的一些最强大的功能，旨在以非策略的方式优化随机策略。为了计算目标Q值，而不是两个批评家，OPAC使用三个批评家，并根据环境的复杂性，机会主义地选择如何从批评家的评价计算目标Q值。我们在MuJoCo环境中系统地评估了该算法，它实现了最先进的性能，优于或至少等于TD 3和SAC的性能。
2020-12-11 cs.AI cs.LG
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Generation of Geodesics with Actor-Critic Reinforcement Learning to Predict Midpoints
OMRON SINIC X Corporation（OMRON SINIC X公司）
本文提出了一种基于Actor-Critic强化学习的方法，通过递归预测中点来生成测地线，以提高在复杂运动学和多自由度机器人臂规划中的性能。
2026-01-05 cs.AI cs.LG
Quality-Diversity Actor-Critic: Learning High-Performing and Diverse Behaviors via Value and Successor Features Critics
Imperial College London（帝国理工学院）；Iconic AI
提出QDAC算法，通过价值函数与后继特征评论家学习高性能且多样化的行为，在连续控制任务中显著提升性能与多样性，并增强对扰动环境的适应能力。
2024-06-03 cs.AI cs.LG
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University（西蒙弗雷泽大学）；Samsung - SAIT AI Lab, Montreal（三星-三星高级技术研究院人工智能实验室（蒙特利尔））；Microsoft Research（微软研究院）；Mila（米拉研究所）
本文提出一种决策感知的Actor-Critic方法，通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题，并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
行动者-批评者强化学习（RL）算法在连续控制任务中取得了令人印象深刻的性能。然而，他们仍然遭受两个不平凡的障碍，即，低样本效率和高估偏倚。为此，我们提出了同步双Q学习与保守优势学习（SDQ-CAL）。我们的SDQ-CAL基于对Bellman最优算子的修改和优势学习，增强了非策略行动者-评论者RL的双Q学习。具体而言，SDQ-CAL通过修改奖励来促进最佳动作与其他动作之间的经验区分，从而提高了样本效率。此外，它通过在双重估计量上同时更新一对批评者来减轻高估问题。大量的实验表明，我们的算法实现了更少的偏置值估计，并在一系列连续控制基准任务中实现了最先进的性能。我们在\url{https://github.com/LQNew/SDQ-CAL}上发布了我们方法的源代码。
2022-05-08 cs.AI cs.LG
Soft Actor-Critic With Integer Actions
Princeton University（普林斯顿大学）；Siemens Technology（西门子技术研究院）
强化学习在离散行为下得到了很好的研究。动作设置在行业中很受欢迎，但由于其高维性，仍然具有挑战性。为此，我们研究了整数动作下的强化学习，将软演员-评论家（SAC）算法与整数重新参数化。我们对整数动作的关键观察是，它们的离散结构可以使用它们的可比性来简化。因此，所提出的整数重新参数化不需要独热编码并且具有低维度。实验结果表明，在整数行为下，SAC算法在机器人控制任务上的性能与连续行为下的SAC算法相当，在配电系统控制任务上的性能优于近端策略优化.
2022-03-14 cs.AI cs.LG
Average-Reward Soft Actor-Critic
本文提出平均奖励软演员-评论家算法，填补熵正则化平均奖励深度RL空白，并在标准基准上优于现有方法。
2025-08-05 cs.AI cs.LG
CTD4 -- A Deep Continuous Distributional Actor-Critic Agent with a Kalman Fusion of Multiple Critics
The University of Auckland（奥克兰大学）；New Dexterity Lab（新 Dexterity 实验室）
本文提出CTD4，一种面向连续动作空间的连续分布无模型强化学习算法，通过评论家输出连续分布并利用卡尔曼融合集成多评论家以抑制过高估计，在复杂连续控制任务中实现样本高效学习。
2025-02-06 cs.AI cs.LG
DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University（清华大学自动化系）；School of Engineering and Applied Science, Columbia University（哥伦比亚大学工程与应用科学学院）；School of Business, Sun Yat-sen University（中山大学商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出DSAC算法，结合累积奖励的分布式信息与SAC的熵驱动探索，构建统一框架优化风险相关目标并平衡熵，在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University（清华大学）
由于需要较少的在线仿真数据，因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程，另一些人通过模仿专家演示来预训练策略。然而，这些方法是不稳定的，不适合演员-评论家强化学习算法。此外，一些现有的方法依赖于全局最优假设，这在大多数情况下是不正确的。在本文中，我们采用专家示范的行动者-批评强化学习框架，同时确保性能不受影响的事实，专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法，预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER，实验结果表明，该方法不仅比没有预训练过程的RL算法性能更好，而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
When Does Critique Improve AI-Assisted Theoretical Physics? SCALAR: Structured Critic--Actor Loop for Agentic Reasoning
Department of Physics, CCTP；ITCP, University of Crete, 71303, Greece；Centre for Theoretical Physics, Department of Physics；Astronomy, Queen Mary University of London, London E1 4NS, United Kingdom；Theoretical Physics Department, CERN, Geneva, Switzerland
本文研究了研究人员与代理交互对AI辅助理论物理研究的影响，通过SCALAR框架评估不同交互结构对科学发现的促进作用。
2026-08-12 cs.AI cs.HC hep-ph
Potential Field Guided Actor-Critic Reinforcement Learning
Artificial Intelligence Research Center of National Innovation Institute of Defense Technology（国防科技创新研究院人工智能研究中心）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
在本文中，我们考虑行动者-批评者强化学习的问题。首先，我们通过在奖励之外引入更多的评论，将Actor-Critic架构扩展为Actor-Critic-N架构。其次，我们结合基于奖励的评论家和基于势场的评论家，制定建议的势场引导的演员-评论家强化学习方法（演员-评论家-2）。这可以看作是基于模型的梯度和无模型梯度在政策改进中的结合。具有大势场的状态往往包含着较强的先验信息，如指向目标的距离较远或避开障碍物侧面的碰撞等。在这种情况下，我们应该更多地信任基于势场的政策评价，以促进政策改进，其中行动政策倾向于指导。例如，在实际应用中，学习避障应该是引导性的，而不是通过试错来学习。势场较小的状态往往是缺乏信息的，例如，在局部极小点或运动目标周围。在这个时候，我们应该更多地相信基于奖励的评论作为政策评估来评估长期回报。在这种情况下，行动政策倾向于探索。此外，势场评估可以与规划相结合，以估计更好的状态价值函数。这样，奖励设计就可以更多地关注奖励的最后阶段，而不是奖励塑造或阶段性奖励。此外，势场评估可以弥补多智能体合作问题中通信的不足，即，多智能体中的每个智能体都有一个基于奖励的评价器和一个相对统一的基于势场的评价器。最后，通过捕食者-食饵博弈的简化实验验证了该方法的有效性。
2020-06-12 cs.AI cs.CV cs.LG
Variational Quantum Soft Actor-Critic
University of Alberta（阿尔伯塔大学）
量子计算在解决特定问题方面具有优越的优势，如整数分解和西蒙问题。对于机器学习中更一般的任务，通过应用变分量子线路，最近提出了越来越多的量子算法，特别是在监督学习和无监督学习中。然而，在强化学习方面做的工作很少，可以说更重要和更具挑战性。量子强化学习以前的工作主要集中在离散控制任务，其中动作空间是离散的。在这项工作中，我们开发了一种基于软演员-评论家的量子强化学习算法-连续控制的最先进方法之一。具体来说，我们使用一个混合量子经典策略网络组成的变分量子线路和经典人工神经网络。在一个标准的强化学习基准测试中，我们证明了这种量子版本的软演员-评论家与原始的软演员-评论家相当，使用的可调参数少得多。此外，我们分析了不同的超参数和策略网络结构的影响，指出了量子强化学习的结构设计的重要性。
2021-12-20 cs.AI cs.LG quant-ph
Quantum Advantage Actor-Critic for Reinforcement Learning
Institute of Informatics, LMU Munich（慕尼黑大学信息学院）
提出将优势演员-评论家算法与变分量子电路结合的量子强化学习方法，在Cart Pole环境中测试，混合策略性能优于纯经典和纯量子变体，但受限于当前量子硬件。
2024-01-13 cs.AI cs.LG quant-ph
Distributional Advantage Actor-Critic
Carnegie Mellon University（卡内基梅隆大学）
在传统的强化学习中，智能体通过估计价值函数来近似最优策略，从而最大化在其与环境交互期间收集的奖励。通常情况下，给定状态s和动作a，对应的值是预期的奖励折扣总和。然后，最优动作被选择为具有由价值函数估计的最大值的动作a。然而，最近的发展表明，在深度Q学习的背景下，当价值函数被价值分布取代时，理论和实验证据都显示出优越的性能[1]。在本文中，我们开发了一种新的算法，结合优势演员评论家的值分布估计分位数回归。我们评估了这种新算法，称为分布式优势演员-评论家（DA 2C或QR-A2 C）的各种任务，并观察到它至少达到基线算法一样好，并在一些任务中表现优于基线，具有较小的方差和增加的稳定性。
2018-06-10 cs.AI cs.LG stat.ML
Improving Exploration in Soft-Actor-Critic with Normalizing Flows Policies
McGill University（麦吉尔大学）；Mila（米拉研究所）
已知用于连续动作空间的深度强化学习（DRL）算法对于超参数是脆弱的，并且\cut{being}样本效率低下。Soft Actor Critic（SAC）在最大熵RL框架内提出了一种离线深度演员评论算法，该算法提供了更大的稳定性和经验增益。策略分布的选择，一个因子高斯，是由\cut{chosen due}它的容易重新参数化，而不是它的建模能力。我们在SAC框架内引入了规范化流策略，该策略比简单的因子高斯算法更具表达性。\cut{We also present a series of stabilization tricks that enable effective training of these policies in the RL setting.}我们在连续网格世界任务上的经验表明，我们的方法增加了稳定性，更适合于稀疏奖励设置中的困难探索。
2019-06-06 cs.AI cs.LG stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了样本感知的策略熵正则化，以加强传统的策略熵正则化，以更好地探索。利用可从重放缓冲器获得的样本分布，所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵，以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者（DAC）。数值结果表明，DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Soft-Robust Actor-Critic Policy-Gradient
Technion（以色列理工学院）；Google Deepmind（谷歌DeepMind）
鲁棒强化学习的目标是获得最佳行为，说明动态系统中的模型不确定性。然而，先前的研究表明，考虑到最坏的情况，稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中，我们提出了一种新的软鲁棒Actor-Critic算法（SR-AC）。它学习关于不确定性集合上的分布的最优策略，并对模型的不确定性保持鲁棒性，但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性，并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace（土耳其航空航天）
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题，采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
Multi-Preference Actor Critic
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）
策略梯度算法通常将贴现的未来奖励与估计的价值函数相结合，以计算参数更新的方向和幅度。然而，对于大多数强化学习任务，人类可以提供额外的洞察力来约束策略学习。我们介绍了一种通用的方法，将多个不同的反馈通道到一个单一的策略梯度损失。在我们的公式中，多偏好演员评论（M-PAC），这些不同类型的反馈被实现为对政策的约束。我们使用拉格朗日松弛来满足这些约束，同时使用梯度下降学习最大化奖励的策略。在Atari和Pendulum上的实验验证了约束得到了尊重，并且可以加速学习过程。
2019-04-05 cs.AI cs.LG stat.ML
TT-DAC-PS: Twin-Target Deterministic Actor-Critic with Policy Smoothing for Optimal Trade Execution
University of Reading（雷丁大学）；University of Göttingen（哥廷根大学）；GWDG（哥廷根数据处理中心）；Henley Business School（亨利商学院）
提出TT-DAC-PS算法，结合双指数移动平均评论家目标、悲观最小备份、TD3风格策略平滑噪声、延迟演员更新和保守Q正则化，以抑制过高估计，并在限价订单簿数据上优于经典和强化学习基线。
2026-06-07 cs.AI cs.CE cs.LG
Multiagent Bidirectionally-Coordinated Nets: Emergence of Human-level Coordination in Learning to Play StarCraft Combat Games
University College London（伦敦大学学院）；Alibaba Group（阿里巴巴集团）
许多人工智能（AI）应用程序通常需要多个智能代理协同工作。智能体通信和协调的有效学习是迈向通用AI不可或缺的一步。在本文中，我们以星际争霸战斗游戏作为案例研究，其中的任务是协调多个智能体作为一个团队击败他们的敌人。为了保持一个可扩展的有效的通信协议，我们引入了一个多智能体双向协调网络（BiCNet Biknet]）与矢量化扩展的演员-评论家制定。我们表明，BiCNet可以处理不同类型的战斗与任意数量的人工智能智能体的双方。我们的分析表明，在没有任何监督（如人类演示或标记数据）的情况下，BiCNet可以学习经验丰富的游戏玩家常用的各种类型的高级协调策略。在我们的实验中，我们在不同的场景下对多个基线评估了我们的方法;它显示了最先进的性能，并具有大规模现实世界应用的潜在价值。
2017-09-14 cs.AI cs.LG
Divergence-Regularized Multi-Agent Actor-Critic
Peking University（北京大学）
熵正则化是强化学习中的一种常用方法。虽然它有很多优点，但它改变了原始马尔可夫决策过程（MDP）的RL目标。虽然发散正则化被提出来解决这个问题，但它不能简单地应用于协作多智能体强化学习（MARL）。本文研究了协作MARL中的发散正则化问题，并提出了一种新的非策略协作MARL框架，发散正则化的多智能体行动者-评论者（DMAC）。理论上，我们推导出了DMAC的更新规则，该规则是自然偏离策略的，并且保证了原始MDP和发散正则化MDP的单调策略改进和收敛。我们还给出了收敛策略与原MDP中最优策略之间的差异的界。DMAC是一个灵活的框架，可以与许多现有的MARL算法相结合。经验上，我们评估DMAC在教学随机游戏和星际争霸多智能体挑战赛，并表明DMAC大大提高了现有的MARL算法的性能。
2022-06-21 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
The Actor-Advisor: Policy Gradient With Off-Policy Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
Actor-critic算法学习一个显式策略（actor）和一个伴随的价值函数（critic）。参与者在环境中执行操作，而批评者评估参与者的当前策略。然而，尽管他们的稳定性和有前途的收敛性能，目前的演员批评家算法不优于批评，只有在实践中。我们认为，评论家学习Q^pi而不是最佳Q函数Q* 的事实阻止了使用最先进的鲁棒和样本高效的离策略学习算法。在本文中，我们提出了一个优雅的解决方案，演员顾问架构，其中一个策略梯度演员学习无偏蒙特卡罗返回，而被塑造（或建议）的Softmax政策所产生的政策外的批评。批评者可以独立于演员学习，使用任何最先进的算法。在高质量评论家的建议下，演员迅速而有力地学习任务，而其使用蒙特卡洛回归有助于克服评论家可能存在的任何偏见。除了新的Actor-Critic公式之外，Actor-Advisor（一种允许外部咨询策略塑造策略梯度参与者的方法）还可以应用于许多其他领域。通过改变建议的来源，我们证明了演员顾问的广泛适用性，其他三个重要的子领域的强化学习：安全的强化学习与备份策略，有效利用领域知识，并在强化学习迁移学习。我们的实验结果证明了Actor-Advisor与最先进的Actor-Critic方法相比的好处，说明了它对上面列出的其他三个应用场景的适用性，并表明RL的许多重要挑战现在可以使用一个优雅的解决方案来解决。
2019-02-07 cs.AI
Counterfactual Multi-Agent Policy Gradients
University of Oxford（牛津大学）
针对协作多智能体系统的去中心化策略学习及信用分配问题，提出反事实多智能体策略梯度方法COMA，采用中心化评论家加去中心化演员架构，通过反事实基线高效分配信用，在星际争霸微操作任务中性能优于同类方法且比肩顶尖中心化控制器。
2024-12-11 cs.AI cs.MA
Decision-making with Speculative Opponent Models
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
针对对手观测和动作不可获取的问题，提出仅依赖局部信息的推测性对手建模算法DOMAC，结合分布性评论家模型并推导策略梯度定理，在多智能体基准任务中实现更快收敛与优越性能。
2024-03-22 cs.AI cs.LG cs.MA
