Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
演员-评论家强化学习算法中的演员和评论家在功能上是分开的,但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设,较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明,在9个独立的任务上,多个演员-评论家算法的网络权重的数量减少了99%,平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果,我们认为配置的演员和评论家的演员-评论家的设计,值得考虑独立的方面,特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Quasi-Newton Compatible Actor-Critic for Deterministic Policies
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Birmingham(伯明翰大学);Norwegian University of Science and Technology(挪威科学技术大学);TU Dortmund(德累斯顿技术大学)
本文提出二阶确定性Actor-Critic框架,通过引入二次评论家保留策略梯度和海森矩阵近似,结合最小二乘时序差分学习估计参数,实现拟牛顿Actor更新,较一阶方法收敛更快且性能更优。
2025-11-12 cs.LG cs.SY eess.SY
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace(土耳其航空航天)
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题,采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science(印度科学学院);Indian Institute of Technology Bombay(印度理工学院孟买分校)
该研究重新审视表格型actor-critic算法的双时间尺度公式,提出反转时间尺度的critic-actor算法,证明其收敛性,实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Towards Automatic Actor-Critic Solutions to Continuous Control
University of Virginia(弗吉尼亚大学)
无模型的非策略行动者-批评者方法是解决复杂连续控制任务的有效方法。然而,这些算法依赖于许多设计技巧和超参数,使其应用到新的领域困难和计算昂贵。本文创建了一种进化方法,可以自动调整这些设计决策,并从Soft Actor-Critic算法中消除RL特定的超参数。我们的设计是样本效率,并提供了实际的优势,基线方法,包括改进的探索,在多个控制频率的泛化,和一个强大的高性能的政策合奏。从经验上讲,我们表明,我们的代理在DeepMind Control Suite的流行基准测试中表现优于精心调整的超参数设置。然后,我们将其应用于模拟机器人之外不太常见的控制任务,以最小的计算和研究工作量找到高性能的解决方案。
2021-10-23 cs.LG cs.NE cs.SY
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington(华盛顿大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
在基于行动者-批评者的强化学习算法中,行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者,追随者的结构被称为Stackelberg游戏。鉴于这种抽象,我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数,而不是通常的个人梯度。从理论的角度来看,我们开发了一个策略梯度定理的精细更新,并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看,我们通过简单的例子证明,我们研究的学习动态减轻循环和加速收敛相比,通常的梯度动态引起的演员-评论家配方的成本结构。最后,在OpenAI健身房环境中进行的大量实验表明,Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当,并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Actor-Critic without Actor
Korea University(韩国大学);Gauss Labs Inc.(Gauss实验室)
提出ACA框架,通过从噪声级别Critic的梯度场直接生成动作,消除显式Actor网络,在保持多模态行为表达能力的同时简化训练,并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada(内华达大学)
行动者学习和批评者学习是深度确定性策略梯度(DDPG)强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用,因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习,以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放(HER)集成,形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家,以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER:AuboReach,FetchReach-v1,FetchPush-v1,FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中,我们使用了各种演员/评论家组合的实例,其中A10 C10和A20 C20是表现最好的组合。总体结果表明,AACHER优于传统的算法(DDPG+HER)在所有的演员/评论家的数量组合,用于评估。当在FetchPickAndPlace-v1上使用时,A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Boosting the Actor with Dual Critic
Georgia Institute of Technology(佐治亚理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google AI(谷歌人工智能)
本文提出了一种新的演员-评论家风格算法,称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的,贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈,称为对偶批评者。与其actor-critic亲属相比,Dual-AC具有期望的属性,即actor和dual critic被协作更新以优化相同的目标函数,从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后,我们提供了一个具体的算法,可以有效地解决极大极小优化问题,使用多步自举技术,路径正则化,和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG
TD-Regularized Actor-Critic Methods
Technische Universität Darmstadt(达姆施塔特工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
演员-评论家方法可以在困难的强化学习问题上实现令人难以置信的性能,但它们也容易不稳定。这部分是由于在学习过程中演员和评论家之间的互动,例如,其中一个人采取的不准确步骤可能会对另一个人产生不利影响,并使学习不稳定。为了避免这样的问题,我们建议通过惩罚评论家的时间差(TD)错误来规范演员的学习目标。这通过避免在评论者高度不准确时执行大的步骤来提高稳定性。由此产生的方法,我们称之为TD正则化的actor-critic方法,是一种简单的即插即用方法,可以提高actor-critic方法的稳定性和整体性能。对标准基准的评价证实了这一点。
2019-02-25 cs.LG stat.ML
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Tsinghua University(清华大学)
如何获得好的值估计是强化学习(RL)的关键问题之一。目前的价值估计方法,如DDPG和TD3,遭受不必要的高估或低估的偏见。在本文中,我们探讨了长期以来被忽视的双重行动者的潜力,以更好地在连续设置的价值函数估计。首先,我们发现并证明了双演员的偏见缓解属性,通过建立双演员在单批评和双批评,以处理高估偏差DDPG和低估偏差TD3分别。接下来,我们有趣地发现,双重演员有助于提高智能体的探索能力。最后,为了减少双重评价者对评价值估计的不确定性,我们进一步提出在双重评价者结构下对评价者网络进行正则化,从而产生了双重评价者正则化评价者(DARC)算法。具有挑战性的连续控制任务的大量实验结果表明,DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Analysis of a Target-Based Actor-Critic Algorithm with Linear Function Approximation
LTCI(通信与信息处理实验室);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
整合目标网络的演员-评论家方法在深度强化学习中取得了巨大的经验成功。然而,在行动者-批评者方法中使用目标网络的理论理解在文献中基本上是缺失的。在本文中,我们减少了理论与实践之间的差距,提出了第一个理论分析的在线目标为基础的演员-评论家算法与线性函数近似的折扣奖励设置。我们的算法使用三个不同的时间尺度:一个用于演员,两个用于评论家。而不是使用标准的单时标时间差(TD)的学习算法作为一个评论家,我们使用两个时标的TD学习的目标为基础的版本密切启发,从实际的演员-评论家算法实现目标网络。首先,我们建立了马尔可夫抽样下的评论家和演员的渐近收敛结果。然后,我们提供了一个有限的时间分析显示的影响,将目标网络的演员-评论家的方法。
2022-02-22 cs.LG math.OC stat.ML
Finite-Time Analysis of Three-Timescale Constrained Actor-Critic and Constrained Natural Actor-Critic Algorithms
Indian Institute of Science(印度科学理工学院)
本文研究非独立同分布 C-MDP 中带不等式约束的 actor-critic 与自然 actor-critic,借助 Lagrange 乘子和函数逼近给出有限时间收敛保证及 Õ(ε^-2.5) 样本复杂度,并用 Safety-Gym 实验验证。
2025-08-29 cs.LG
Refined Analysis of Entropy-Regularized Actor-Critic
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France(法国巴黎政治学院CMAP、国家科学研究中心、巴黎政治学院、巴黎理工学院、法国Palaiseau);Université Paris-Saclay, CNRS, LMO, 91405, Orsay, France. Now at Google DeepMind.(巴黎萨克雷大学、国家科学研究中心、LMO、法国Orsay、现就职于DeepMind);Mohamed bin Zayed University of Artificial Intelligence, UAE(阿联酋Mohamed bin Zayed人工智能大学)
本文精细化分析了熵正则化有限折扣环境中演员-评论家算法中评论家的作用,证明精确评论家可强方差缩减,使随机梯度演员-评论家达到与确定性策略梯度相同的样本复杂度,并指出评论家误差足够小时方差缩减和快速收敛得以保持,强调了准确评论家估计的关键性。
2026-05-23 cs.LG
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员,评论家采用双层或两个时标更新,我们专注于更实际的单时标设置,演员和评论家同时更新。具体地,在每次迭代中,通过仅一次应用Bellman评估算子来获得评论家更新,同时在使用评论家计算的策略梯度方向上更新行动者。此外,我们考虑了两个函数近似设置,其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下,我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率,其中$K$是迭代次数。据我们所知,我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外,在更广泛的范围内的政策优化与非线性函数逼近,我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Learning to Run with Actor-Critic Ensemble
Megvii Inc.(旷视科技);Peking University(北京大学)
提出了一种改进深度确定性策略梯度(DDPG)算法性能的Actor-Critic Ensemination(ACE)方法。在推理时,我们的方法使用一个评论家合奏选择最好的行动,从多个演员并行运行的建议。通过拥有更大的候选集,我们的方法可以避免具有致命后果的操作,同时保持确定性。使用ACE,我们以“Megvii-hzwer”的名义赢得了NIPS'17学习跑步比赛的第二名。
2017-12-25 cs.LG
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford(牛津大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲,演员-评论家算法通常对演员和评论家都有折扣,即,在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项,并且批评者是折扣价值函数。然而,实践者通常在使用折扣评论时忽略参与者的折扣($γ^t$)。我们在两种情况下调查这种不匹配。在第一种情况下,我们考虑优化一个未折现的目标$(γ= 1)$,其中$γ^t$自然消失$(1^t = 1)$。然后,我们建议解释折扣在批评方面的偏差方差表示权衡,并提供支持的实证结果。在第二种情况下,我们考虑优化折扣目标($γ< 1$),并建议解释省略的折扣在演员更新从辅助任务的角度来看,并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University(成均馆大学);Soongsil University(崇实大学)
本文提出LAC算法,将容量分配给深度评论家而非简单演员,解决离线RL中加深评论家的三种失效模式,在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
D2 Actor Critic: Diffusion Actor Meets Distributional Critic
Department of Computer Science, University of Toronto(计算机科学系,多伦多大学);Department of Statistics, Northwestern University(统计学系,西北大学)
提出D2AC算法,通过融合扩散策略与分布式评论家,实现无模型强化学习中扩散策略的在线高效训练,在18个困难任务上达到最先进性能。
2026-05-22 cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University(卡内基梅隆大学);MIT Media Lab(麻省理工学院媒体实验室);Adobe(奥多比公司)
SAC是一种行动者-批评者算法,其双时间尺度性质的特征在于,批评者估计在任何给定时间都不会收敛于行动者,但由于批评者比行动者学习得更快,因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计,以帮助实现更好的收敛。由于梯度估计依赖于评论家,我们认为,改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点,我们提出了软演员回顾性批评(SARC),在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛,因此,更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析,我们表明,SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院);University of Minnesota(明尼苏达大学);Northwestern University(西北大学)
尽管行动者-批评者算法在经验上取得了成功,但它的理论理解却落后了。在更广泛的背景下,演员评论家可以被视为一个在线交替更新算法的双层优化,其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性,我们将重点放在它在线性二次调节器中的应用上,这是强化学习的一个简单而基本的设置。在这种情况下,我们建立了一个非渐近收敛分析的演员批评。特别是,我们证明了演员-评论家找到一个全局最优的演员(政策)和评论家(行动-价值函数)的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题,这是NP-难的最坏情况下,往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart(斯图加特大学机床与制造装置控制工程研究所ISW);Materials Testing Institute MPA, University of Stuttgart(斯图加特大学材料测试研究所MPA)
本文提出了一种基于行为克隆的actor-critic预训练方法,用于近端策略优化,通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题,研究发现价值低估引发的数据收集不佳是主因,并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford(牛津大学);Auburn University(奥本大学);Huawei Technologies(华为技术有限公司)
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法(COF-PAC)与函数逼近。COF-PAC的关键是引入了一种新的评论家,强调评论家,它是通过梯度强调学习(GEM)训练的,梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下,我们证明了COF-PAC的收敛性,其中批评者是线性的,演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Cautious Actor-Critic
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
离策略学习的振荡性能和ACTOR-CRITIC(actor-critic)设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中,我们提出了一种新的非策略AC算法谨慎的行动者-评论家(CAC)。谨慎的名字来自双重保守的性质,我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新,同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法,并证明CAC实现可比的性能,同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Variance Reduction in Actor Critic Methods (ACM)
A.I Square Connect;Lamsade PSL(巴黎文理研究大学Lamsade)
在介绍了Actor Critic方法(ACM)之后,我们证明了ACM是控制变量估计。使用投影定理,我们证明了Q和优势Actor Critic(A2 C)方法是最优的意义下的$L^2$范数的控制变量估计由当前状态和动作的条件下的功能所跨越。毕达哥拉斯定理的这种直接应用提供了QAC和AAC在深度策略梯度方法中最常被称为A2C方法的强大性能的理论证明。这使我们能够推导出一个新的公式,具有较低的方差,并改善了传统的A2C方法的优势演员批评的方法。
2019-07-23 cs.LG stat.ML
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间,它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间,以及一个评论家网络,以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间,所提出的架构,我们称之为混合演员评论家,可以扩展到更一般的动作空间,具有层次结构。我们提出了一个基于近端策略优化(PPO)的混合Actor-Critic架构的实例,我们称之为混合近端策略优化(H-PPO)。我们的实验在具有参数化动作空间的任务集合上测试H-PPO,其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
A Finite Time Analysis of Two Time-Scale Actor Critic Methods
University of California, Los Angeles(加州大学洛杉矶分校)
与其他强化学习算法相比,Actor-Critic(AC)方法已经展示了巨大的经验成功,其中Actor使用策略梯度来改进学习策略,而Critic使用时间差学习来估计策略梯度。在双时间尺度学习率调度下,AC的渐近收敛性已经得到了很好的研究。然而,非渐近收敛性和有限样本复杂性的行动者-批评者方法在很大程度上是开放的。在这项工作中,我们提供了一个非独立同分布下的两个时间尺度的actor-critic方法的非渐近分析。设置.我们证明了行动者-批评者方法保证找到一个一阶稳定点(即,$\|\nabla J(\boldsymbolθ)\|_2^2 \le ε$)的非凹性能函数$J(\boldsymbolθ)$,具有$\mathcal{\tilde{O}}(ε^{-2.5})$样本复杂度。据我们所知,这是第一个工作提供有限的时间分析和样本的复杂性限制的两个时间尺度的演员评论家的方法。
2022-10-10 cs.LG math.OC stat.ML
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University(杜克大学)
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器(LQR)问题。最小二乘时间差(LSTD)方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
Soft Actor-Critic for Discrete Action Settings
Imperial College London(帝国理工学院)
Soft Actor-Critic是一种最先进的强化学习算法,用于连续动作设置,不适用于离散动作设置。然而,许多重要的设置涉及离散动作,因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后,我们表明,即使没有任何超参数调整,它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion(以色列理工学院)
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近,这些算法已经获得了新的兴趣,由于其通用性,良好的收敛性能,和可能的生物相关性。在本文中,我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作,而在大多数当前收敛性证明中,它们需要具有非常不同的时间尺度才能收敛。此外,使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性,两个时间尺度收敛的结果相比,是收敛只保证一个最优值的邻域,而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
A Convergence Result for Regularized Actor-Critic Methods
在本文中,我们提出了一个概率1收敛证明,在适当的条件下,某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果,我们证明了使用线性近似架构时,一般正则化的政策评估的收敛性,并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh(爱丁堡大学);National University of Defense Technology(国防科技大学);Samsung AI Centre, Cambridge(三星人工智能中心(剑桥))
Off-Policy Actor-Critic(Off-PAC)方法已被证明在各种连续控制任务中是成功的。通常,批评家的动作-价值函数使用时间差来更新,并且批评家反过来为演员提供损失,演员训练它采取具有更高预期回报的动作。在本文中,我们介绍了一种新颖而灵活的元批评家,观察学习过程和元学习的演员,加速和提高演员批评家学习的额外损失。与普通评论家相比,元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比,元评论家可以快速在线学习单个任务,而不是缓慢地学习一系列任务。至关重要的是,我们的元批评框架是为基于政策的学习者设计的,目前提供了最先进的强化学习样本效率。我们证明,在线元批评学习导致的改进,在各种连续控制环境中,结合当代的非PAC方法DDPG,TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Physics-Guided Actor-Critic Reinforcement Learning for Swimming in Turbulence
University of Arizona(亚利桑那大学)
本文提出物理引导的演员-评论家强化学习策略,用解析物理函数替代神经网络评论家,在湍流中维持粒子靠近被动对应物,数值实验证明其优于标准强化学习方法。
2024-11-10 cs.LG cs.SY eess.SY
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University(北卡罗来纳州立大学);University of Alberta(阿尔伯塔大学);University of New Mexico(新墨西哥大学);University of Michigan(密歇根大学)
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略,从训练集组成的数据来自多个人。该算法的开发,以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland(马里兰大学系统研究所);Astrome Technologies Pvt Ltd(Astrome科技私人有限公司);Indian Institute of Science(印度科学学院)
我们提出了一种新的演员-评论家算法,保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向,这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展,将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark(南丹麦大学)
本文首次将PAC贝叶斯界用作SAC评论家训练目标,并结合评论家引导的随机搜索,在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
Sample Efficient Actor-Critic with Experience Replay
DeepMind;CIFAR(加拿大高级研究院);Oxford University(牛津大学)
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理,该代理稳定,样本效率高,并且在具有挑战性的环境中表现出色,包括离散57游戏Atari域和几个连续控制问题。为了实现这一点,本文介绍了几个创新,包括截断重要性采样与偏差校正,随机决斗网络架构,和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Actor-Critic with Active Importance Sampling
Politecnico di Milano(米兰理工学院)
本文提出主动重要性采样Actor-Critic算法,通过优化行为策略减少策略梯度估计方差,提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
Error Controlled Actor-Critic
Xiamen University(厦门大学);University of Technology Sydney(悉尼科技大学);Yuan Ze University(元智大学);Northumbria University(诺森比亚大学);Aberystwyth University(阿伯里斯特威斯大学)
价值函数的误差不可避免地会引起高估现象,对算法的收敛性产生负面影响。为了减轻近似误差的负面影响,我们提出了误差控制的Actor-Criter,它确保了将近似误差限制在价值函数中。分析了近似误差对actor-critic方法优化过程的影响,给出了Q函数近似器近似误差的上界,并发现在训练策略时限制相邻策略之间的KL-发散度可以降低Q函数近似器的近似误差.一系列连续控制任务的实验结果表明,所提出的actor-critic算法明显降低了近似误差,并显着优于其他无模型RL算法。
2021-09-07 cs.LG
SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
提出RSA2C算法,利用RKHS-SHAP计算状态属性,通过马氏门控权重调节Actor梯度和Advantage Critic目标,实现高效、稳定且可解释的强化学习。
2026-06-05 cs.LG
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh(爱丁堡大学);Google DeepMind(谷歌DeepMind);Mila(米拉研究所)
探索on-policy算法中Actor与Critic分离表示的机制,发现分离表示能促使两者分别专注于动作与价值信息,提升样本效率,并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Adversarially Guided Actor-Critic
Inria(法国国家信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Google Research(谷歌研究院)
尽管在深度强化学习问题上取得了一定的成功,但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题,特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策(演员)和一个价值函数(批评家),其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角:对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时,演员除了学习解决任务之外,还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略,使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明,由此产生的对抗引导演员评论(AGAC)算法导致更详尽的探索。值得注意的是,AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
Global Optimality of Single-Timescale Actor-Critic under Continuous State-Action Space: A Study on Linear Quadratic Regulator
National University of Singapore(新加坡国立大学);University of Science and Technology Beijing(北京科技大学)
本文研究连续状态-动作空间下单时间尺度actor-critic求解LQR的全局最优性,证明其能以ε^{-2}量级样本复杂度达到ε-最优解,为理论与实践架起桥梁。
2025-05-02 cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所)
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤,以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功,但现有的一般方法存在高方差和不稳定性,部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中,我们提出了一种新的方法,在行动者批评的政策外的政策评估,基于双鲁棒估计。我们扩展的双重强大的估计,从政策外的政策评估(OPE)的演员批评的算法,包括奖励估计性能模型。我们发现,双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外,在奖励函数是随机的,可能导致高方差的情况下,双鲁棒评论家估计可以提高性能下损坏,随机奖励信号,表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford(牛津大学)
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下,所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法,产生双演员-评论家(DAC)架构。此外,我们表明,当状态价值函数被用作批评,一个批评可以表示的其他,因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中,DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出 AFU 离策略深度强化学习算法,通过回归与条件梯度缩放解决连续控制中的 max-Q 问题,并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta(阿尔伯塔大学);Stanford University(斯坦福大学);Google Brain(谷歌大脑)
演员-评论家(AC)方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度(PG)密切相关,但它们之间的精确联系以前没有得到充分的表征。在本文中,我们解释了AC和PG方法之间的差距,确定准确的调整AC目标/梯度,恢复真正的策略梯度的累积奖励目标(PG)。此外,通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏,我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果,我们开发了实用的算法,残余演员评论家和Stackelberg演员评论家,估计AC和PG之间的校正,并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明,所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta(阿尔伯塔大学)
许多策略梯度方法是Actor-Critic(AC)的变体,其中学习价值函数(critic)以促进更新参数化策略(actor)。对演员的更新涉及由动作值加权的对数似然更新,并为软变量添加熵正则化。在这项工作中,我们探索了一种替代的演员更新,基于交叉熵方法(CEM)的扩展条件的输入(状态)。我们的想法是从一个更广泛的策略开始,慢慢地集中在最大的动作上,使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制,该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果,然后证明我们的条件CEM(CCEM)策略跟踪每个状态的CEM更新,即使不断变化的动作值。我们的经验表明,我们的贪婪AC算法,使用CCEM的演员更新,表现优于软演员批评,是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心)
无模型深度强化学习(RL)算法已在一系列具有挑战性的决策和控制任务中得到验证。然而,这些方法通常面临两个主要挑战:非常高的样本复杂性和脆弱的收敛特性,这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中,我们提出了软演员-评论家,一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中,行动者的目标是最大化预期回报,同时也最大化熵。也就是说,在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合,我们的方法在一系列连续控制基准任务上实现了最先进的性能,优于之前的政策内和政策外方法。此外,我们证明,与其他政策外算法相比,我们的方法是非常稳定的,在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Finite-time analysis of single-timescale actor-critic
National University of Singapore(新加坡国立大学)
针对单时间尺度演员-评论家算法有限时间收敛性研究不足的问题,提出可系统评估控制演员-评论家误差传播的分析框架,证明连续状态空间下在线单时间尺度演员-评论家算法的收敛性与样本复杂度,为同类强化学习算法分析提供新思路。
2024-01-26 cs.LG math.OC stat.ML
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中(AGI或通用AI或人工通用智能,具有通用应用程序:(A)离线学习(存储数据的),如中的GAN(非/半/全)SL设置,如大数据分析(挖掘)和可视化;(B)在线学习(真实或模拟设备),如RL设置中的DRL(有/无环境奖励),例如(真实或模拟)机器人和控制;我们的核心建议是增加一个(生成/预测)环境模型到行动者-批评者(无模型)架构,其导致具有时间差分(TD)误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于(无模型)DDPG,因此它被称为基于模型的DDPG。为了评估它,我们将其与(无模型)DDPG进行比较,将它们应用于OpenAI Gym和Unity Agents中的各种(广泛)独立模拟机器人和控制任务环境。我们最初有限的实验表明,DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与(无模型)DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力:(A)通过与最好的基于模型(PlaNet)和无模型(D4 PG)方法相比,产生有竞争力的性能,统一人工智能内部的DRL领域;(B)通过解决奖励工程的重要问题,通过演示学习奖励函数,弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
A Concentration Bound for Two-Timescale Actor-Critic Algorithm
IISc Bangalore(印度科学研究所班加罗尔)
本文针对长期平均奖励设置下的双时间尺度actor-critic算法,推导了均匀全时浓度界,证明actor参数以高概率进入并保持在安全区域,误差随更新次数减小。
2026-11-04 cs.LG