Actor-Critic without Actor
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室）
提出ACA框架，通过从噪声级别Critic的梯度场直接生成动作，消除显式Actor网络，在保持多模态行为表达能力的同时简化训练，并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google AI（谷歌人工智能）
本文提出了一种新的演员-评论家风格算法，称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的，贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈，称为对偶批评者。与其actor-critic亲属相比，Dual-AC具有期望的属性，即actor和dual critic被协作更新以优化相同的目标函数，从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后，我们提供了一个具体的算法，可以有效地解决极大极小优化问题，使用多步自举技术，路径正则化，和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science（印度科学理工学院）
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic，借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度，并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France（法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau）；Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.（巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind）；Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学）
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用，证明精确评论家可强方差缩减，使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度，并指出评论家误差足够小时方差缩减和快速收敛得以保持，强调了准确评论家估计的关键性。
2026-05-23 cs.LG
Learning to Run with Actor-Critic Ensemble
Megvii Inc.（旷视科技）；Peking University（北京大学）
提出了一种改进深度确定性策略梯度（DDPG）算法性能的Actor-Critic Ensemination（ACE）方法。在推理时，我们的方法使用一个评论家合奏选择最好的行动，从多个演员并行运行的建议。通过拥有更大的候选集，我们的方法可以避免具有致命后果的操作，同时保持确定性。使用ACE，我们以“Megvii-hzwer”的名义赢得了NIPS'17学习跑步比赛的第二名。
2017-12-25 cs.LG
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University（成均馆大学）；Soongsil University（崇实大学）
本文提出LAC算法，将容量分配给深度评论家而非简单演员，解决离线RL中加深评论家的三种失效模式，在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
D2 Actor Critic: Diffusion Actor Meets Distributional Critic
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）；Department of Statistics, Northwestern University（统计学系，西北大学）
提出D2AC算法，通过融合扩散策略与分布式评论家，实现无模型强化学习中扩散策略的在线高效训练，在18个困难任务上达到最先进性能。
2026-05-22 cs.LG
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
Sample Efficient Actor-Critic with Experience Replay
DeepMind；CIFAR（加拿大高级研究院）；Oxford University（牛津大学）
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理，该代理稳定，样本效率高，并且在具有挑战性的环境中表现出色，包括离散57游戏Atari域和几个连续控制问题。为了实现这一点，本文介绍了几个创新，包括截断重要性采样与偏差校正，随机决斗网络架构，和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Actor-Critic with Active Importance Sampling
Politecnico di Milano（米兰理工学院）
本文提出主动重要性采样Actor-Critic算法，通过优化行为策略减少策略梯度估计方差，提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
Error Controlled Actor-Critic
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；Yuan Ze University（元智大学）；Northumbria University（诺森比亚大学）；Aberystwyth University（阿伯里斯特威斯大学）
价值函数的误差不可避免地会引起高估现象，对算法的收敛性产生负面影响。为了减轻近似误差的负面影响，我们提出了误差控制的Actor-Criter，它确保了将近似误差限制在价值函数中。分析了近似误差对actor-critic方法优化过程的影响，给出了Q函数近似器近似误差的上界，并发现在训练策略时限制相邻策略之间的KL-发散度可以降低Q函数近似器的近似误差.一系列连续控制任务的实验结果表明，所提出的actor-critic算法明显降低了近似误差，并显着优于其他无模型RL算法。
2021-09-07 cs.LG
SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出RSA2C算法，利用RKHS-SHAP计算状态属性，通过马氏门控权重调节Actor梯度和Advantage Critic目标，实现高效、稳定且可解释的强化学习。
2026-06-05 cs.LG
Global Optimality of Single-Timescale Actor-Critic under Continuous State-Action Space: A Study on Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）
本文研究连续状态-动作空间下单时间尺度actor-critic求解LQR的全局最优性，证明其能以ε^{-2}量级样本复杂度达到ε-最优解，为理论与实践架起桥梁。
2025-05-02 cs.LG
A Concentration Bound for Two-Timescale Actor-Critic Algorithm
IISc Bangalore（印度科学研究所班加罗尔）
本文针对长期平均奖励设置下的双时间尺度actor-critic算法，推导了均匀全时浓度界，证明actor参数以高概率进入并保持在安全区域，误差随更新次数减小。
2026-11-04 cs.LG
ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages
University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）
本文提出通过对A3C算法进行ReLU优势估计、谱归一化和贝叶斯近似dropout三项修改，在on-policy actor-critic深度强化学习中实现近似贝叶斯推断，在MuJoCo和ProcGen基准上显著优于A3C、PPO、SAC和TD3。
2024-10-10 cs.LG
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
基于相对悲观的概念，提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic（ATAC）. ATAC被设计成一个两人的Stackelberg游戏：一个策略参与者与一个经过对抗训练的价值批评者竞争，后者发现数据一致的场景，其中参与者不如数据收集行为策略。我们证明了，当行动者在两人博弈中没有后悔时，运行ATAC产生的策略可证明1）在控制悲观程度的广泛超参数范围内优于行为策略，2）与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比，值得注意的是，我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中，ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题，本文提出反转演员-评论家更新顺序的FedRAC算法，理论证明其收敛界不受异质性影响，并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
我们介绍了异步优势演员-评论家（A3 C）算法的混合CPU/GPU版本，该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性，并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略，可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor（PAAC）方法，通过结合Q值和TD误差改进策略梯度估计，减少方差，提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
The Point to Which Soft Actor-Critic Converges
Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）
本文证明了 Soft Actor-Critic 与 Soft Q-learning 在最大熵框架下极限收敛到同一解，从而为优化提供了更简便的途径，并将该论证推广到 KL 散度等正则化项。
2023-05-29 cs.LG
Compatible Gradient Approximations for Actor-Critic Algorithms
Yale University（耶鲁大学）
本文提出一种基于零阶两点随机梯度估计的 actor-critic 算法，以规避确定性策略梯度对精确动作价值梯度的依赖，并在实验中显著超越现有最先进方法。
2025-02-08 cs.LG
Actor-Director-Critic: A Novel Deep Reinforcement Learning Framework
Xi’an Jiaotong University（西安交通大学）
在本文中，我们提出了演员-导演-评论家，深度强化学习的新框架。与Actor-Critic框架相比，增加了指挥者角色，同时应用动作分类和动作评价，提高了Agent的决策性能。首先，根据环境返回的奖励将Agent的行为分为高质量行为和低质量行为。然后，训练导演网络，使其具有区分高质量动作和低质量动作的能力，并指导演员网络在训练初期减少对低质量动作的重复探索。此外，我们提出了一种改进的双估计器方法，更好地解决了强化学习领域中的过估问题。对于使用的两个评论家网络，我们为每个评论家网络设计了两个目标评论家网络，而不是一个。这样，可以通过取两个目标评价网络的输出的平均值来计算每个评价网络的目标值，这比仅使用一个目标评价网络来获得目标值更稳定和准确。为了验证演员-导演-评论家框架和改进的双估计器方法的性能，我们将它们应用到TD 3算法中，以改进TD 3算法。然后，在MuJoCo上进行了多环境下的实验，并对算法改进前后的实验数据进行了比较。最后的实验结果表明，改进后的算法能够获得更快的收敛速度和更高的总收益。
2023-01-10 cs.LG
GMAC: A Distributional Perspective on Actor-Critic Framework
KC Machine Learning Lab（KC机器学习实验室）
在本文中，我们设计了一个分布式框架的行动者-批评者作为解决方案的分布不稳定性，行动类型的限制，样本和统计之间的混淆。我们提出了一种新的方法，最大限度地减少Cramér距离与多步贝尔曼目标分布产生的一种新的样本替换算法表示SR（$λ$），学习正确的值分布下的多个贝尔曼操作。利用高斯混合模型对值分布进行参数化，进一步提高了该方法的效率和性能，我们称之为GMAC。我们的经验表明，GMAC捕获值分布的正确表示，并提高了传统的演员-评论家方法的性能，具有低计算成本，在离散和连续的动作空间使用Arcade学习环境（ALE）和PyBullet环境。
2021-07-15 cs.LG
IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic
EPFL（苏黎世联邦理工学院）；LIONS（实验室）
本文提出SOAR模仿学习框架，通过原对偶算法交替更新成本与策略，并利用多评论家Actor-Critic构建乐观评论家驱动探索，在表格设置下具备理论保证，且在MuJoCo环境中显著提升多种基于Soft Actor Critic算法的性能，将所需回合数减半。
2025-05-30 cs.LG
Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning
Inst. for Comp. and Math. Engineering（计算与数学工程研究所）；Departments of Statistics and EECS（统计系与电子工程和计算机科学系）
演员-评论家方法广泛应用于离线强化学习实践中，但在理论上并没有得到很好的理解。我们提出了一个新的离线演员评论家算法，自然结合了悲观主义的原则，导致几个关键的优势相比，最先进的。该算法可以操作时，贝尔曼评估运营商是封闭的行动价值函数的演员的政策，这是一个更一般的设置比低秩MDP模型。尽管增加了一般性，该过程是计算上易于处理的，因为它涉及到一系列的二阶程序的解决方案。我们证明了一个上界的次优差距的政策返回的程序，依赖于任何任意的数据覆盖率，可能依赖于数据的比较器的政策。可实现的保证是补充了一个极大极小的下限，是匹配的对数因子。
2021-08-19 cs.LG
Mirror Descent Actor Critic via Bounded Advantage Learning
IBM Research - Tokyo（IBM东京研究院）
本文提出MDAC，通过限制Actor的log-density项提升连续动作域中的强化学习性能，理论和实验均显示其优势。
2026-01-08 cs.LG
DSAC-C: Constrained Maximum Entropy for Robust Discrete Soft-Actor Critic
School of Computing National University of Singapore Singapore（计算学院新加坡国立大学新加坡）
本文提出DSAC-C，通过从代理评论家策略添加统计约束改进离散SAC，增强对领域偏移的鲁棒性，并在Atari 2600低数据场景验证了其有效性。
2025-06-23 cs.LG
Multi-Actor Multi-Critic Deep Deterministic Reinforcement Learning with a Novel Q-Ensemble Method
csie.fju.edu.tw（逢甲大学计算机科学系）
针对强化学习中策略评估的高估/低估问题，提出多演员多评论家深度确定性强化学习方法，通过非支配排序选演员、分位数集成评估等设计，在MuJoCo基准上性能优于现有深度确定性强化学习方法。
2025-10-01 cs.LG
A Single-Loop Deep Actor-Critic Algorithm for Constrained Reinforcement Learning with Provable Convergence
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
本文提出单循环深度Actor-Critic（SLDAC）算法，用于解决带非凸随机约束的强化学习问题，通过单循环设计和观测重用降低交互成本，并证明其几乎必然收敛到KKT点。
2024-09-18 cs.LG
Finite Sample Analysis of Two-Time-Scale Natural Actor-Critic Algorithm
Virginia Tech（弗吉尼亚理工大学）
演员-评论家风格的双时间尺度算法是强化学习中最流行的方法之一，并且已经取得了巨大的经验成功。然而，它们的性能在理论上并不完全清楚。在本文中，我们描述了\emph{global}收敛的在线自然演员评论家算法在表格设置使用一个单一的样本轨迹。我们的分析适用于非常一般的设置，因为我们只假设基本马尔可夫决策过程的遍历性。为了保证足够的探索，我们采用了$ε$ -贪婪采样的轨迹。对于一个固定的和足够小的探索参数$ε$，我们表明，两个时间尺度的自然演员-评论家算法的收敛速度为$\tilde{\mathcal{O}}(1/T^{1/4})$，其中$T$是样本的数量，这导致样本复杂度为$\Tilde{\mathcal{O}}(1/δ^{8})$样本找到一个政策，是在错误的$δ$从\emph{global optimum}。此外，通过随着迭代的进行仔细降低探索参数$\Tilde{\mathcal{O}}(1/δ^{6})$，我们提出了改进的$\Tilde{\mathcal{O}}(1/δ^{6})$样本复杂度，以收敛到全局最优值。
2022-02-20 cs.LG
Streamlined Empirical Bayes Fitting of Linear Mixed Models in Mobile Health
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
为了实现行为改变，成功的算法必须实时做出高质量的决策。例如，旨在增加身体活动的移动健康（mHealth）应用程序必须提供与上下文相关的建议以激励用户。虽然机器学习为某些程式化的设置提供了解决方案，例如当批量数据可以离线处理时，但缺乏可以在mHealth的特定约束下提供高质量解决方案的方法。我们提出了一种算法，为用户提供上下文和个性化的身体活动建议。该算法能够克服对mHealth至关重要的挑战，即有效地训练复杂的模型。我们提出了一个易于处理的精简经验贝叶斯过程，适合在大数据设置的线性混合效应模型。我们的过程利用分层随机效应引入的稀疏性来有效地学习线性混合效应模型的后验分布。这项工作的一个关键贡献是，我们提供了明确的更新，以学习固定效应，随机效应和超参数值。我们证明了这种方法在移动健康（mHealth）强化学习应用程序中的成功，在这个领域中，快速计算对于实时干预至关重要。我们的方法不仅计算效率高，它也很容易实现与封闭形式的矩阵代数更新，我们表现出的速度和精度分别高达99%和56%的最先进的方法的改进。
2020-03-28 cs.LG stat.ML
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
演员-评论家强化学习算法中的演员和评论家在功能上是分开的，但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设，较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明，在9个独立的任务上，多个演员-评论家算法的网络权重的数量减少了99%，平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果，我们认为配置的演员和评论家的演员-评论家的设计，值得考虑独立的方面，特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada（内华达大学）
行动者学习和批评者学习是深度确定性策略梯度（DDPG）强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用，因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习，以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放（HER）集成，形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家，以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER：AuboReach，FetchReach-v1，FetchPush-v1，FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中，我们使用了各种演员/评论家组合的实例，其中A10 C10和A20 C20是表现最好的组合。总体结果表明，AACHER优于传统的算法（DDPG+HER）在所有的演员/评论家的数量组合，用于评估。当在FetchPickAndPlace-v1上使用时，A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能，但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动，例如，其中一个人采取的不准确步骤可能会对另一个人产生不利影响，并使学习不稳定。为了避免这样的问题，我们建议通过惩罚评论家的时间差（TD）错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法，我们称之为TD正则化的actor-critic方法，是一种简单的即插即用方法，可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford（牛津大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲，演员-评论家算法通常对演员和评论家都有折扣，即，在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项，并且批评者是折扣价值函数。然而，实践者通常在使用折扣评论时忽略参与者的折扣（$γ^t$）。我们在两种情况下调查这种不匹配。在第一种情况下，我们考虑优化一个未折现的目标$(γ= 1)$，其中$γ^t$自然消失$(1^t = 1)$。然后，我们建议解释折扣在批评方面的偏差方差表示权衡，并提供支持的实证结果。在第二种情况下，我们考虑优化折扣目标（$γ< 1$），并建议解释省略的折扣在演员更新从辅助任务的角度来看，并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（纽卡斯尔大学工程学院）
本文提出TDDR算法，在双重演员-评论家框架中引入TD误差驱动正则化，在不增加额外超参数的前提下提升价值估计精度，并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University（卡内基梅隆大学）；MIT Media Lab（麻省理工学院媒体实验室）；Adobe（奥多比公司）
SAC是一种行动者-批评者算法，其双时间尺度性质的特征在于，批评者估计在任何给定时间都不会收敛于行动者，但由于批评者比行动者学习得更快，因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计，以帮助实现更好的收敛。由于梯度估计依赖于评论家，我们认为，改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点，我们提出了软演员回顾性批评（SARC），在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛，因此，更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析，我们表明，SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题，研究发现价值低估引发的数据收集不佳是主因，并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Cautious Actor-Critic
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
离策略学习的振荡性能和ACTOR-CRITIC（actor-critic）设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中，我们提出了一种新的非策略AC算法谨慎的行动者-评论家（CAC）。谨慎的名字来自双重保守的性质，我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新，同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法，并证明CAC实现可比的性能，同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade）
在介绍了Actor Critic方法（ACM）之后，我们证明了ACM是控制变量估计。使用投影定理，我们证明了Q和优势Actor Critic（A2 C）方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式，具有较低的方差，并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion（以色列理工学院）
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近，这些算法已经获得了新的兴趣，由于其通用性，良好的收敛性能，和可能的生物相关性。在本文中，我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作，而在大多数当前收敛性证明中，它们需要具有非常不同的时间尺度才能收敛。此外，使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性，两个时间尺度收敛的结果相比，是收敛只保证一个最优值的邻域，而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
A Convergence Result for Regularized Actor-Critic Methods
在本文中，我们提出了一个概率1收敛证明，在适当的条件下，某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果，我们证明了使用线性近似架构时，一般正则化的政策评估的收敛性，并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland（马里兰大学系统研究所）；Astrome Technologies Pvt Ltd（Astrome科技私人有限公司）；Indian Institute of Science（印度科学学院）
我们提出了一种新的演员-评论家算法，保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向，这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展，将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark（南丹麦大学）
本文首次将PAC贝叶斯界用作SAC评论家训练目标，并结合评论家引导的随机搜索，在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
探索on-policy算法中Actor与Critic分离表示的机制，发现分离表示能促使两者分别专注于动作与价值信息，提升样本效率，并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 AFU 离策略深度强化学习算法，通过回归与条件梯度缩放解决连续控制中的 max-Q 问题，并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
