Distributed Soft Actor-Critic with Multivariate Reward Representation and Knowledge Distillation
在本文中,我们描述了NeurIPS 2019学习移动-走动挑战基于物理的环境,并提出了我们的解决方案,该竞赛获得了1303.727平均奖励积分,排名第三。我们的方法结合了连续和离散动作空间强化学习的最新进展,例如分布式强化学习中的软演员-评论和循环经验重放。我们分两个阶段训练我们的智能体:在第一阶段移动到某个地方,在第二阶段跟随目标速度场。我们还引入了新的Q函数分裂技术,我们相信这有助于训练代理的任务,允许批评家预训练和重用它来解决更难的问题,并减轻奖励塑造设计工作。
2020-04-10 cs.AI cs.LG
DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University(清华大学自动化系);School of Engineering and Applied Science, Columbia University(哥伦比亚大学工程与应用科学学院);School of Business, Sun Yat-sen University(中山大学商学院);Stern School of Business, New York University(纽约大学斯特恩商学院)
本文提出DSAC算法,结合累积奖励的分布式信息与SAC的熵驱动探索,构建统一框架优化风险相关目标并平衡熵,在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心)
无模型深度强化学习(RL)算法已在一系列具有挑战性的决策和控制任务中得到验证。然而,这些方法通常面临两个主要挑战:非常高的样本复杂性和脆弱的收敛特性,这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中,我们提出了软演员-评论家,一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中,行动者的目标是最大化预期回报,同时也最大化熵。也就是说,在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合,我们的方法在一系列连续控制基准任务上实现了最先进的性能,优于之前的政策内和政策外方法。此外,我们证明,与其他政策外算法相比,我们的方法是非常稳定的,在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Average-Reward Soft Actor-Critic
本文提出平均奖励软演员-评论家算法,填补熵正则化平均奖励深度RL空白,并在标准基准上优于现有方法。
2025-08-05 cs.AI cs.LG
Variational Quantum Soft Actor-Critic
University of Alberta(阿尔伯塔大学)
量子计算在解决特定问题方面具有优越的优势,如整数分解和西蒙问题。对于机器学习中更一般的任务,通过应用变分量子线路,最近提出了越来越多的量子算法,特别是在监督学习和无监督学习中。然而,在强化学习方面做的工作很少,可以说更重要和更具挑战性。量子强化学习以前的工作主要集中在离散控制任务,其中动作空间是离散的。在这项工作中,我们开发了一种基于软演员-评论家的量子强化学习算法-连续控制的最先进方法之一。具体来说,我们使用一个混合量子经典策略网络组成的变分量子线路和经典人工神经网络。在一个标准的强化学习基准测试中,我们证明了这种量子版本的软演员-评论家与原始的软演员-评论家相当,使用的可调参数少得多。此外,我们分析了不同的超参数和策略网络结构的影响,指出了量子强化学习的结构设计的重要性。
2021-12-20 cs.AI cs.LG quant-ph
Target Entropy Annealing for Discrete Soft Actor-Critic
University of California, Irvine(加州大学尔湾分校);University of California, Berkeley(加州大学伯克利分校)
Soft Actor-Critic(SAC)被认为是连续动作空间设置中最先进的算法。它使用最大熵框架来提高效率和稳定性,并应用启发式温度拉格朗日项来调整温度$α$,这决定了策略应该有多“软”。与直觉相反的是,经验证据表明SAC在离散域中表现不佳。在本文中,我们调查可能的解释,这种现象,并提出目标熵调度SAC(TES-SAC),退火方法的目标熵参数应用于SAC。目标熵是温度拉格朗日项中的常数,表示离散SAC中的目标策略熵。在Atari 2600游戏上,采用不同的恒定目标熵SAC,比较了我们的方法,并分析了我们的调度对SAC的影响。
2021-12-06 cs.AI cs.LG
Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
Simon Fraser University(西蒙弗雷泽大学);Samsung AI(三星人工智能)
本文分析了DSAC在离散动作领域表现不佳的原因,提出了一种灵活的off-policy actor-critic框架,通过解耦actor和critic熵实现性能提升,并在Atari游戏中验证了其鲁棒性。
2026-05-11 cs.AI cs.LG
Soft-Robust Actor-Critic Policy-Gradient
Technion(以色列理工学院);Google Deepmind(谷歌DeepMind)
鲁棒强化学习的目标是获得最佳行为,说明动态系统中的模型不确定性。然而,先前的研究表明,考虑到最坏的情况,稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中,我们提出了一种新的软鲁棒Actor-Critic算法(SR-AC)。它学习关于不确定性集合上的分布的最优策略,并对模型的不确定性保持鲁棒性,但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性,并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford(牛津大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲,演员-评论家算法通常对演员和评论家都有折扣,即,在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项,并且批评者是折扣价值函数。然而,实践者通常在使用折扣评论时忽略参与者的折扣($γ^t$)。我们在两种情况下调查这种不匹配。在第一种情况下,我们考虑优化一个未折现的目标$(γ= 1)$,其中$γ^t$自然消失$(1^t = 1)$。然后,我们建议解释折扣在批评方面的偏差方差表示权衡,并提供支持的实证结果。在第二种情况下,我们考虑优化折扣目标($γ< 1$),并建议解释省略的折扣在演员更新从辅助任务的角度来看,并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
Hierarchical Soft Actor-Critic: Adversarial Exploration via Mutual Information Optimization
Blackberry Cylance(黑莓Cylance)
我们描述了一种新的扩展软演员批评分层深度Q网络(HDQN)架构使用互信息度量。拟议的扩展提供了一个合适的框架,鼓励探索在这样的层次网络。这个框架的一个自然的利用是一个对抗性的设置,其中元控制器和控制器在互信息目标上玩极小极大,但在最大化预期回报上合作。
2019-06-17 cs.AI cs.IT cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
SACn: Soft Actor-Critic with n-step Returns
Warsaw University of Technology(华沙技术大学);Warsaw University(华沙大学);IDEAS Research Institute(IDEAS研究机构)
本文提出SACn算法,通过改进重要性采样和熵估计方法,结合n步回报提升强化学习的收敛速度和稳定性。
2025-12-15 cs.AI cs.LG
Cautious Actor-Critic
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
离策略学习的振荡性能和ACTOR-CRITIC(actor-critic)设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中,我们提出了一种新的非策略AC算法谨慎的行动者-评论家(CAC)。谨慎的名字来自双重保守的性质,我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新,同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法,并证明CAC实现可比的性能,同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Variational Quantum Soft Actor-Critic for Robotic Arm Control
NTT DATA Italia S.p.A.(NTT数据意大利股份公司)
深度强化学习正在成为机器人手臂运动连续控制任务的一种有前途的方法。然而,学习鲁棒和通用的控制能力的挑战仍然远远没有得到解决的现实世界的应用,主要是因为这种学习范式的两个共同的问题:探索策略和学习速度慢,有时被称为“维数灾难”。这项工作旨在探索和评估量子计算应用于最先进的连续控制强化学习技术之一的优势-即软Actor-Critic。具体而言,性能的变分量子软Actor-Critic上的虚拟机械臂的运动进行了研究,通过数字模拟的量子线路。一个量子优势的经典算法已被发现在一个令人满意的模型训练所需的参数的数量显着减少,铺平了道路,为进一步有前途的发展。
2022-12-20 cs.AI cs.LG quant-ph
The Point to Which Soft Actor-Critic Converges
Northwestern Polytechnical University(西北工业大学);School of Mathematics and Statistics(数学与统计学院)
本文证明了 Soft Actor-Critic 与 Soft Q-learning 在最大熵框架下极限收敛到同一解,从而为优化提供了更简便的途径,并将该论证推广到 KL 散度等正则化项。
2023-05-29 cs.LG
Improving Exploration in Soft-Actor-Critic with Normalizing Flows Policies
McGill University(麦吉尔大学);Mila(米拉研究所)
已知用于连续动作空间的深度强化学习(DRL)算法对于超参数是脆弱的,并且\cut{being}样本效率低下。Soft Actor Critic(SAC)在最大熵RL框架内提出了一种离线深度演员评论算法,该算法提供了更大的稳定性和经验增益。策略分布的选择,一个因子高斯,是由\cut{chosen due}它的容易重新参数化,而不是它的建模能力。我们在SAC框架内引入了规范化流策略,该策略比简单的因子高斯算法更具表达性。\cut{We also present a series of stabilization tricks that enable effective training of these policies in the RL setting.}我们在连续网格世界任务上的经验表明,我们的方法增加了稳定性,更适合于稀疏奖励设置中的困难探索。
2019-06-06 cs.AI cs.LG stat.ML
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion(以色列理工学院)
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近,这些算法已经获得了新的兴趣,由于其通用性,良好的收敛性能,和可能的生物相关性。在本文中,我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作,而在大多数当前收敛性证明中,它们需要具有非常不同的时间尺度才能收敛。此外,使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性,两个时间尺度收敛的结果相比,是收敛只保证一个最优值的邻域,而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore(新加坡国立大学);Trinity College Dublin, The University of Dublin(都柏林大学三一学院)
针对强化学习中隐藏混淆变量导致策略偏差的问题,本文提出DoSAC算法,通过可学习后门重构器从观测数据估计干预策略,在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft(育碧)
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为,但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法,允许代理在不同程度上部分模仿演示的行为,同时完成任务的主要目标。在本文中,我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架(CMDP)下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评(SAC)和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh(爱丁堡大学);Google DeepMind(谷歌DeepMind);Mila(米拉研究所)
探索on-policy算法中Actor与Critic分离表示的机制,发现分离表示能促使两者分别专注于动作与价值信息,提升样本效率,并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Band-limited Soft Actor Critic Model
Facebook(脸书)
软演员评论(SAC)算法在复杂的模拟环境中表现出显着的性能。SAC网络的一个关键要素是熵正则化,它防止SAC执行器针对状态-动作价值函数的细粒度特征(通常是瞬态的)进行优化。这导致在早期训练期间更好的样本效率。我们通过增加卷积滤波器人为地对目标临界空间分辨率进行频带限制,进一步实现了这一想法。我们推导出封闭形式的解决方案在线性的情况下,并表明,限带降低了状态-动作值近似的低频和高频分量之间的相互依赖性,使批评家学习更快。在实验中,带限SAC在许多健身房环境中的表现优于经典的双批评SAC,并显示出更稳定的回报。我们通过添加随机噪声干扰,获得了关于SAC的新见解,这种技术越来越多地用于学习鲁棒的政策,这些政策可以很好地转移到现实世界中的同行。
2020-06-19 cs.AI cs.LG stat.ML
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出 AFU 离策略深度强化学习算法,通过回归与条件梯度缩放解决连续控制中的 max-Q 问题,并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta(阿尔伯塔大学);Stanford University(斯坦福大学);Google Brain(谷歌大脑)
演员-评论家(AC)方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度(PG)密切相关,但它们之间的精确联系以前没有得到充分的表征。在本文中,我们解释了AC和PG方法之间的差距,确定准确的调整AC目标/梯度,恢复真正的策略梯度的累积奖励目标(PG)。此外,通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏,我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果,我们开发了实用的算法,残余演员评论家和Stackelberg演员评论家,估计AC和PG之间的校正,并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明,所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
演员-评论家强化学习算法中的演员和评论家在功能上是分开的,但他们通常使用相同的网络架构。本案例研究探讨了独立考虑参与者和批评者架构时网络大小对性能的影响。通过放松架构对称性的假设,较小的参与者往往可以实现与对称对手相当的政策绩效。我们的实验表明,在9个独立的任务上,多个演员-评论家算法的网络权重的数量减少了99%,平均减少了77%。考虑到降低演员的复杂性直接降低运行时的推理成本的结果,我们认为配置的演员和评论家的演员-评论家的设计,值得考虑独立的方面,特别是在资源受限的应用程序或同时部署多个演员。
2021-06-19 cs.LG cs.RO
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中(AGI或通用AI或人工通用智能,具有通用应用程序:(A)离线学习(存储数据的),如中的GAN(非/半/全)SL设置,如大数据分析(挖掘)和可视化;(B)在线学习(真实或模拟设备),如RL设置中的DRL(有/无环境奖励),例如(真实或模拟)机器人和控制;我们的核心建议是增加一个(生成/预测)环境模型到行动者-批评者(无模型)架构,其导致具有时间差分(TD)误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于(无模型)DDPG,因此它被称为基于模型的DDPG。为了评估它,我们将其与(无模型)DDPG进行比较,将它们应用于OpenAI Gym和Unity Agents中的各种(广泛)独立模拟机器人和控制任务环境。我们最初有限的实验表明,DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与(无模型)DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力:(A)通过与最好的基于模型(PlaNet)和无模型(D4 PG)方法相比,产生有竞争力的性能,统一人工智能内部的DRL领域;(B)通过解决奖励工程的重要问题,通过演示学习奖励函数,弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间,它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间,以及一个评论家网络,以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间,所提出的架构,我们称之为混合演员评论家,可以扩展到更一般的动作空间,具有层次结构。我们提出了一个基于近端策略优化(PPO)的混合Actor-Critic架构的实例,我们称之为混合近端策略优化(H-PPO)。我们的实验在具有参数化动作空间的任务集合上测试H-PPO,其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia(佐治亚大学)
本文提出基于贝叶斯链式的有向无环策略图分解方法,并与 SAC 结合构建 BSAC,以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
Actor-Critic or Critic-Actor? A Tale of Two Time Scales
Indian Institute of Science(印度科学学院);Indian Institute of Technology Bombay(印度理工学院孟买分校)
该研究重新审视表格型actor-critic算法的双时间尺度公式,提出反转时间尺度的critic-actor算法,证明其收敛性,实验表明该算法在准确性和计算量上与actor-critic相当。
2024-06-14 cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST(韩国科学技术院);UNIST(全南大学)
本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
2026-02-20 cs.AI cs.LG
AI Olympics challenge with Evolutionary Soft Actor Critic
University of Padova(帕多瓦大学);Human-Inspired Technology Research Center, University of Padova(帕多瓦大学仿人技术研究中心)
本研究针对IROS 2024的AI Olympics竞赛,提出结合进化策略的无模型深度强化学习解决方案,将介绍所用算法及方法细节。
2024-10-28 cs.AI cs.LG cs.NE
PAC-Bayesian Soft Actor-Critic Learning
University of Southern Denmark(南丹麦大学)
本文首次将PAC贝叶斯界用作SAC评论家训练目标,并结合评论家引导的随机搜索,在经典控制与运动任务上提升了样本效率和遗憾表现。
2024-06-10 cs.LG stat.ML
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University(普林斯顿大学电气与计算机工程系)
非策略Actor-Critic算法已经证明了惊人的实验性能,但仍然需要更好的解释。为此,我们将其政策评估误差的分布转换分解为:贝尔曼错误,政策不匹配的偏差,和方差项从抽样。通过比较偏差和方差的大小,我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差,因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto(多伦多大学);Vector Institute(向量研究所)
SMAC通过正则化Q函数,使演员-评论家在离线到在线RL迁移中保持性能,有效避免性能下降。
2026-08-11 cs.AI cs.LG
An analysis of Mirror-Descent Soft Actor-Critic
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);INRIA(法国国家信息与自动化研究所)
本文证明镜像下降软演员-评论家算法在连续动作空间中的收敛性,推导演员目标强凸光滑条件,获得O(N^(-1/5))最优迭代收敛率,并指出镜像下降步长控制目标漂移优于吉布斯目标。
2026-10-06 cs.LG math.OC stat.ML
Wasserstein Barycenter Soft Actor-Critic
WBSAC 通过结合悲观和乐观策略的 Wasserstein 聚合,提升连续控制任务中的样本效率。
2026-02-24 cs.LG cs.SY eess.SY
Context-Based Soft Actor Critic for Environments with Non-stationary Dynamics
University of Science and Technology of China(中国科学技术大学)
深度强化学习方法的性能在应用于具有非平稳动态的环境时容易退化。在本文中,我们利用最近的Meta-RL材料的动机潜在的上下文递归编码器,并提出了基于潜在上下文的软演员评论(LC-SAC)方法来解决上述问题。通过最小化对比预测损失函数,学习的上下文变量捕获环境动态和代理的最近行为的信息。然后结合软策略迭代范式,LC-SAC方法在软策略评估和软策略改进之间交替进行,直到收敛到最优策略。实验结果表明,LC-SAC算法在MetaWorld ML 1任务上的性能明显优于SAC算法,而在连续控制基准任务MuJoCo上的性能与SAC算法相当,前者的任务动态在不同情节之间变化剧烈,后者的任务动态在不同情节之间变化缓慢或不变。此外,我们还进行了相关实验,确定了不同超参数设置对LC-SAC算法性能的影响,并给出了超参数设置的合理建议。
2021-05-10 cs.AI cs.LG stat.ML
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University(清华大学)
在强化学习(RL)中,函数逼近误差容易导致Q值高估,从而大大降低策略性能。本文提出了一种分布式软行动者-批评者(DSAC)算法,这是一种用于连续控制设置的非策略RL方法,通过减轻Q值高估来提高策略性能。我们首先在理论上发现,学习状态-动作回报的分布函数可以有效地减轻Q值高估,因为它能够自适应地调整Q-价值函数的更新步长。然后,通过将收益分布函数嵌入到最大熵RL中,提出了分布式软策略迭代(DSPI)框架。最后,我们提出了DSPI的一个深度非策略行动者-批评者变体,称为DSAC,它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布,以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能,实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Revisiting Discrete Soft Actor-Critic
Tencent Inc.(腾讯公司);Tsinghua University(清华大学);Sun Yat-sen University(中山大学)
本文针对离散动作空间下 SAC 的 Q 值低估与不稳定问题,提出结合熵惩罚和带 Q-clip 的双重平均 Q 学习的 SDSAC 算法,并在 Atari 和大规模 MOBA 基准上验证了其有效性。
2024-11-20 cs.AI cs.LG
DSAC-C: Constrained Maximum Entropy for Robust Discrete Soft-Actor Critic
School of Computing National University of Singapore Singapore(计算学院新加坡国立大学新加坡)
本文提出DSAC-C,通过从代理评论家策略添加统计约束改进离散SAC,增强对领域偏移的鲁棒性,并在Atari 2600低数据场景验证了其有效性。
2025-06-23 cs.LG
Adversarially Guided Actor-Critic
Inria(法国国家信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Google Research(谷歌研究院)
尽管在深度强化学习问题上取得了一定的成功,但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题,特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策(演员)和一个价值函数(批评家),其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角:对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时,演员除了学习解决任务之外,还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略,使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明,由此产生的对抗引导演员评论(AGAC)算法导致更详尽的探索。值得注意的是,AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington(华盛顿大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
在基于行动者-批评者的强化学习算法中,行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者,追随者的结构被称为Stackelberg游戏。鉴于这种抽象,我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数,而不是通常的个人梯度。从理论的角度来看,我们开发了一个策略梯度定理的精细更新,并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看,我们通过简单的例子证明,我们研究的学习动态减轻循环和加速收敛相比,通常的梯度动态引起的演员-评论家配方的成本结构。最后,在OpenAI健身房环境中进行的大量实验表明,Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当,并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University(北京大学)
提出用谱有效秩熵衡量评论家模型复杂度,在TD3和PPO实验中追踪复杂度与回报、偏差的关系,并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Weighted Entropy Modification for Soft Actor-Critic
University of California, Los Angeles(加州大学洛杉矶分校)
将现有的强化学习(RL)中的最大Shannon熵原理推广到加权熵,通过对状态-动作对进行定性加权,将其与策略的先验知识、经验重放和演化过程联系起来。我们提出了一个算法的动机与引入的权重函数,这导致了国家的最先进的性能Mujoco任务,尽管其简单的实施自我平衡的探索。
2020-11-18 cs.LG cs.RO
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford(牛津大学)
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下,所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法,产生双演员-评论家(DAC)架构。此外,我们表明,当状态价值函数被用作批评,一个批评可以表示的其他,因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中,DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta(阿尔伯塔大学)
许多策略梯度方法是Actor-Critic(AC)的变体,其中学习价值函数(critic)以促进更新参数化策略(actor)。对演员的更新涉及由动作值加权的对数似然更新,并为软变量添加熵正则化。在这项工作中,我们探索了一种替代的演员更新,基于交叉熵方法(CEM)的扩展条件的输入(状态)。我们的想法是从一个更广泛的策略开始,慢慢地集中在最大的动作上,使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制,该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果,然后证明我们的条件CEM(CCEM)策略跟踪每个状态的CEM更新,即使不断变化的动作值。我们的经验表明,我们的贪婪AC算法,使用CCEM的演员更新,表现优于软演员批评,是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University(清华大学)
本文针对SAC中反向KL散度导致策略投影难以处理的问题,提出双向SAC算法,先利用前向KL散度获得显式高斯策略投影进行初始化,再优化反向KL散度精炼策略,在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University(纽约大学);NYU Shanghai(上海纽约大学)
Soft Actor-Critic(SAC)是一种基于最大熵强化学习的离线Actor-Critic深度强化学习(DRL)算法。通过将非策略更新与参与者-批评者制定相结合,SAC在一系列连续动作基准任务上实现了最先进的性能,优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验(ERE),一个简单但功能强大的政策外采样技术,强调最近观察到的数据,同时不忘记过去。ERE算法从最近的经验中更积极地采样,并且还对更新进行排序,以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE,并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放(PER)结合起来,PER是一种最初为深度Q学习提出的方案,它基于时间差(TD)误差对数据进行优先级排序。我们发现,SAC+PER可以稍微提高SAC的样本效率性能,但远远低于SAC+ERE。最后,我们提出了一种算法,它集成了ERE和PER,并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
Value-Decomposition Multi-Agent Actor-Critics
University of Virginia(弗吉尼亚大学)
利用额外的状态信息是多智能体强化学习(MARL)的一个研究热点。QMIX使用非负函数近似器表示联合动作值,并在多智能体基准测试(星际争霸II微观管理任务)上实现了迄今为止的最佳性能。然而,我们的实验表明,在某些情况下,QMIX与A2 C不兼容,A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡,我们将值分解扩展到与A2 C兼容的演员-评论家,并提出了一种新的演员-评论家框架,值分解演员-评论家(VDACs)。我们评估VDACs的星际争霸II微观管理任务的测试平台上,并表明,所提出的框架提高了其他演员批评的方法的中位数性能。此外,我们使用一组烧蚀实验,以确定的关键因素,有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Mean Actor Critic
Brown University(布朗大学);Amazon(亚马逊)
我们提出了一种新的算法,平均演员批评(MAC),离散动作连续状态强化学习。MAC是一种策略梯度算法,它使用代理对所有动作值的显式表示来估计策略的梯度,而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果,其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Using Soft Actor-Critic for Low-Level UAV Control
Laboratory of Robotics and Cognitive Systems (LaRoCS)(机器人与认知系统实验室(LaRoCS));Institute of Computing, Unicamp(坎皮纳斯州立大学计算研究所)
无人驾驶飞行器(UAV)或无人机最近已用于从器官递送到远程位置到无线网络覆盖的若干民用应用领域。然而,这些平台是自然不稳定的系统,已经提出了许多不同的控制方法。一般基于经典和现代控制,这些算法需要机器人的动力学知识。然而,最近,无模型强化学习已成功地用于控制无人机,而无需任何机器人模型的先验知识。在这项工作中,我们提出了一个框架,训练的软演员-评论家(SAC)算法低级别控制的四旋翼在一个去目标的任务。所有实验都是在模拟下进行的。通过实验,我们证明了SAC不仅可以学习一个强大的策略,而且还可以应对不可见的场景。模拟视频可在https://www.youtube.com/watch?上获得v= 9 z 8vGs 0 Ri 5g和https://github.com/larocs/SAC_uav中的代码。
2020-10-05 cs.AI cs.LG cs.RO
Actor-Critic without Actor
Korea University(韩国大学);Gauss Labs Inc.(Gauss实验室)
提出ACA框架,通过从噪声级别Critic的梯度场直接生成动作,消除显式Actor网络,在保持多模态行为表达能力的同时简化训练,并在在线RL基准上取得优于标准Actor-Critic和扩散方法的性能。
2025-09-25 cs.LG
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University(西蒙弗雷泽大学);Samsung - SAIT AI Lab, Montreal(三星-三星高级技术研究院人工智能实验室(蒙特利尔));Microsoft Research(微软研究院);Mila(米拉研究所)
本文提出一种决策感知的Actor-Critic方法,通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题,并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Boosting the Actor with Dual Critic
Georgia Institute of Technology(佐治亚理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google AI(谷歌人工智能)
本文提出了一种新的演员-评论家风格算法,称为Dual Actor-Critic或Dual-AC。它是从贝尔曼最优性方程的拉格朗日对偶形式中以原则性的方式推导出来的,贝尔曼最优性方程可以被看作是演员和类似批评者的函数之间的两人博弈,称为对偶批评者。与其actor-critic亲属相比,Dual-AC具有期望的属性,即actor和dual critic被协作更新以优化相同的目标函数,从而提供了一种更透明的方式来学习与actor的目标函数直接相关的critic。然后,我们提供了一个具体的算法,可以有效地解决极大极小优化问题,使用多步自举技术,路径正则化,和随机双上升算法。我们证明了该算法在几个基准测试中达到了最先进的性能。
2017-12-29 cs.LG