Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University(清华大学)
由于需要较少的在线仿真数据,因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程,另一些人通过模仿专家演示来预训练策略。然而,这些方法是不稳定的,不适合演员-评论家强化学习算法。此外,一些现有的方法依赖于全局最优假设,这在大多数情况下是不正确的。在本文中,我们采用专家示范的行动者-批评强化学习框架,同时确保性能不受影响的事实,专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法,预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER,实验结果表明,该方法不仅比没有预训练过程的RL算法性能更好,而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心)
无模型深度强化学习(RL)算法已在一系列具有挑战性的决策和控制任务中得到验证。然而,这些方法通常面临两个主要挑战:非常高的样本复杂性和脆弱的收敛特性,这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中,我们提出了软演员-评论家,一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中,行动者的目标是最大化预期回报,同时也最大化熵。也就是说,在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合,我们的方法在一系列连续控制基准任务上实现了最先进的性能,优于之前的政策内和政策外方法。此外,我们证明,与其他政策外算法相比,我们的方法是非常稳定的,在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
On the Sample Complexity of Actor-Critic Method for Reinforcement Learning with Function Approximation
University of Pennsylvania(宾夕法尼亚大学);JPMorgan AI Research(摩根大通人工智能研究院)
强化学习在数学上由马尔可夫决策问题描述,可以通过动态规划或策略搜索来实现。Actor-critic算法通过交替估计价值函数和策略梯度更新的步骤,结合了两种方法的优点。由于更新表现出相关噪声和有偏梯度更新的事实,通过将其行为与动力系统联系起来,仅知道行动者-批评者的渐近行为。这项工作提出了一个新的演员批评家,采用蒙特卡洛推出的政策搜索更新,这导致可控的偏见,取决于评论家的评价数量的变化。其结果是,我们能够提供第一次的演员-评论家算法的收敛速度时,策略搜索步骤采用策略梯度,不可知的政策评估技术的选择。特别是,我们建立的条件下,样本的复杂性是可比的随机梯度方法的非凸问题或缓慢的结果的关键估计误差,这是主要的复杂性瓶颈。这些结果保持在连续的状态和动作空间与线性函数逼近的价值函数。然后,我们专门这些概念性的结果的情况下,评价估计的时间差,梯度时间差,加速梯度时间差。这些学习率,然后证实了导航问题,涉及障碍和钟摆问题,提供洞察优化和泛化之间的相互作用,在强化学习。
2023-01-27 cs.LG math.OC stat.ML
Bounded Exploration with World Model Uncertainty in Soft Actor-Critic Reinforcement Learning Algorithm
Centre for Automation and Robotic Engineering Science(自动化与机器人工程科学中心);The University of Auckland(奥克兰大学)
针对深度强化学习高效环境探索的难题,提出融合软探索与内在动机的有界探索方法,提升了Soft Actor-Critic算法性能及基于模型扩展版的收敛速度,为奖励函数有严格含义时的探索提供新方案。
2024-12-09 cs.LG cs.SY eess.SY
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文考虑了一个分布式强化学习问题,其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系,提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明,该算法可以解决强连通图的问题,通过允许每个代理,只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文将离线强化学习扩展到多智能体的情况下,一组网络代理与他们的邻居根据随时间变化的图进行通信,协同评估和改进的目标策略,同时遵循一个独特的行为策略。为此,本文开发了一个多智能体版本的时间差分学习的离线政策评估,并证明了收敛性下的线性函数逼近。然后,本文利用这一结果,结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法,开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington(华盛顿大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
在基于行动者-批评者的强化学习算法中,行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者,追随者的结构被称为Stackelberg游戏。鉴于这种抽象,我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数,而不是通常的个人梯度。从理论的角度来看,我们开发了一个策略梯度定理的精细更新,并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看,我们通过简单的例子证明,我们研究的学习动态减轻循环和加速收敛相比,通常的梯度动态引起的演员-评论家配方的成本结构。最后,在OpenAI健身房环境中进行的大量实验表明,Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当,并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Risk-Sensitive Soft Actor-Critic for Robust Deep Reinforcement Learning under Distribution Shifts
Technical University of Munich(慕尼黑工业大学);Google DeepMind(谷歌DeepMind)
针对运筹学中上下文多阶段随机组合优化问题的分布偏移,提出风险敏感的离散 Soft Actor-Critic 算法,推导相应 Bellman 方程并验证其鲁棒性优于基准方法。
2024-02-15 cs.LG cs.SY eess.SY
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington(惠灵顿维多利亚大学)
我们提出了一种新的策略迭代理论,作为软策略迭代和软Actor-Critic(SAC)的重要扩展,SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下,推广香农熵的任意熵度量,如Tsallis熵和Renyi熵,可以用来适当地随机化动作选择,同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法,即,Tsallis熵Actor-Critic(TAC)和Renyi熵Actor-Critic(RAC)。理论分析表明,这些算法可以比SAC更有效。此外,它们为我们开发一种新的Encriminator Actor-Critic(EAC)算法铺平了道路,该算法的特点是使用引导机制进行深度环境探索,以及一种新的基于值函数的机制进行高级动作选择。经验上,我们表明,TAC,RAC和EAC可以实现最先进的性能在一系列的基准控制任务,优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所)
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤,以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功,但现有的一般方法存在高方差和不稳定性,部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中,我们提出了一种新的方法,在行动者批评的政策外的政策评估,基于双鲁棒估计。我们扩展的双重强大的估计,从政策外的政策评估(OPE)的演员批评的算法,包括奖励估计性能模型。我们发现,双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外,在奖励函数是随机的,可能导致高方差的情况下,双鲁棒评论家估计可以提高性能下损坏,随机奖励信号,表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
A Centralised Soft Actor Critic Deep Reinforcement Learning Approach to District Demand Side Management through CityLearn
University College Dublin(都柏林大学学院)
强化学习是一个有前途的无模型和自适应控制器的需求侧管理,作为未来智能电网的一部分,在地区一级。本文介绍了为CityLearn Challenge提交的算法的结果,该挑战于2020年初举办,旨在设计和调整强化学习代理,以平坦化和平滑不同建筑物区域的电力需求汇总曲线。所提出的解决方案使用能够处理连续动作空间的集中式“Soft Actor Critic”深度强化学习代理在挑战中获得第二名。控制器能够在包括不同建筑物和气候的挑战数据集上实现0.967的平均分数。这突出了深度强化学习作为即插即用型控制器的潜在应用,该控制器能够处理不同的气候和异质建筑存量,用于建筑物的区域需求侧管理。
2020-09-22 cs.LG stat.ML
Alleviating Community Fear in Disasters via Multi-Agent Actor-Critic Reinforcement Learning
Bradley Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学布拉德利电气与计算机工程系);Department of Mechanical Engineering, Virginia Tech(弗吉尼亚理工大学机械工程系);Department of Computer Science, Virginia Tech(弗吉尼亚理工大学计算机科学系)
本文提出利用多智能体Actor-Critic强化学习模型,通过整合电力、通信和应急管理三个部门的控制通道,提升灾害中社区恐惧的缓解能力,并通过飓风哈维和伊尔玛的模拟验证了方法的有效性。
2026-04-09 cs.LG cs.SY eess.SY
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University(比尔肯特大学)
在基于值的深度强化学习方法中,价值函数的近似会导致高估偏差并导致次优策略。我们发现,在旨在克服高估偏差的深度演员-评论家方法中,如果代理接收到的强化信号具有较高的方差,则会出现显著的低估偏差。为了最大限度地减少低估,我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念,通过最大值和最小值运算符的嵌套组合来计算critic目标,以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改,在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
Gossip-based Actor-Learner Architectures for Deep Reinforcement Learning
Facebook AI Research(Facebook人工智能研究院);McGill University(麦吉尔大学)
多模拟器训练通过稳定学习和允许更高的训练吞吐量,为深度强化学习最近的成功做出了贡献。我们提出了基于绯闻的演员-学习者架构(GALA),其中几个演员-学习者(如A2 C代理)组织在一个对等通信拓扑结构,并通过异步八卦交换信息,以利用大量的分布式模拟器。我们证明,GALA代理保持在一个ε球的另一个在训练过程中使用松耦合异步通信。通过减少代理之间的同步量,GALA与完全同步的A2 C相比,计算效率更高,可扩展性更好。GALA的性能也优于A2 C,更强大,采样效率更高。我们表明,我们可以运行几个松散耦合的GALA代理并行在一个GPU上,并实现显着更高的硬件利用率和帧速率比香草A2 C在可比的功耗。
2020-04-21 cs.AI cs.LG cs.MA
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University(清华大学)
在强化学习(RL)中,函数逼近误差容易导致Q值高估,从而大大降低策略性能。本文提出了一种分布式软行动者-批评者(DSAC)算法,这是一种用于连续控制设置的非策略RL方法,通过减轻Q值高估来提高策略性能。我们首先在理论上发现,学习状态-动作回报的分布函数可以有效地减轻Q值高估,因为它能够自适应地调整Q-价值函数的更新步长。然后,通过将收益分布函数嵌入到最大熵RL中,提出了分布式软策略迭代(DSPI)框架。最后,我们提出了DSPI的一个深度非策略行动者-批评者变体,称为DSAC,它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布,以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能,实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning
Artificial Intelligence Research Center DII(DII人工智能研究中心)
强化学习(RL)技术在许多具有挑战性的任务中受到了极大的关注,但当应用于现实世界的问题时,其性能急剧下降。已经提出了各种方法,如域随机化,通过在不同的环境设置下训练代理来处理这种情况,因此它们可以在部署过程中推广到不同的环境。然而,他们通常不包括潜在的环境因素的信息,代理人进行适当的互动,因此可能会过于保守,当面对周围环境的变化。在本文中,我们首先形式化的任务,适应不断变化的环境动态RL作为一个泛化问题,使用上下文马尔可夫决策过程(CMDPs)。然后,我们提出了非对称Actor-Critic在上下文RL(AACC)作为一个端到端的Actor-Critic方法来处理这样的泛化任务。我们证明了AACC的性能在一系列模拟环境中的实验超过现有基线的根本改善。
2022-08-03 cs.LG stat.ML
Arithmetic Actor Heads and Training Stabilization for Out-of-Distribution Reinforcement Learning
Central South University(中南大学)
针对分布外幅度变化导致RL策略退化问题,基于SAC和BAPR提出CS-BAPR家族,结合六种训练稳定化设置与多种算术Actor头(NAU、KAN、MLP)以提升鲁棒性。
2026-10-20 cs.LG
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute(信息学知识技术研究所)
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式,用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而,缺乏结合这些范例的方法,目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献,我们解决了这个问题,并开发了一种将分层强化学习与好奇心相结合的方法。在这里,我们扩展了当代层次的演员批评的方法与前向模型,以发展层次的好奇心的概念。我们在几个连续空间环境中证明,对于大多数调查的基准问题,好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada(内华达大学)
行动者学习和批评者学习是深度确定性策略梯度(DDPG)强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用,因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习,以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放(HER)集成,形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家,以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER:AuboReach,FetchReach-v1,FetchPush-v1,FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中,我们使用了各种演员/评论家组合的实例,其中A10 C10和A20 C20是表现最好的组合。总体结果表明,AACHER优于传统的算法(DDPG+HER)在所有的演员/评论家的数量组合,用于评估。当在FetchPickAndPlace-v1上使用时,A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Multi-Actor Multi-Critic Deep Deterministic Reinforcement Learning with a Novel Q-Ensemble Method
csie.fju.edu.tw(逢甲大学计算机科学系)
针对强化学习中策略评估的高估/低估问题,提出多演员多评论家深度确定性强化学习方法,通过非支配排序选演员、分位数集成评估等设计,在MuJoCo基准上性能优于现有深度确定性强化学习方法。
2025-10-01 cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
我们介绍了异步优势演员-评论家(A3 C)算法的混合CPU/GPU版本,该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性,并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略,可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic
U.S. Army Research Laboratory(美国陆军研究实验室);University of Maryland(马里兰大学);JP Morgan Chase AI Research(摩根大通人工智能研究院)
许多现有的强化学习(RL)方法在后端采用随机梯度迭代,其稳定性取决于一个假设,即数据生成过程与步长选择中出现的速率参数以指数方式快速混合。不幸的是,这个假设是违反了大的状态空间或设置稀疏的奖励,混合时间是未知的,使步长不可操作。在这项工作中,我们提出了一种RL方法调谐到混合时间采用多级蒙特卡洛估计的评论家,演员,并嵌入在演员-评论家(AC)算法的平均奖励。这种方法,我们称之为\textbf{M}多层次\textbf{A} ctor- \textbf{C} ritic(MAC),是特别为无限地平线平均奖励设置,既不依赖于甲骨文知识的混合时间在其参数选择,也不假设其指数衰减,因此,它很容易适用于应用程序的混合时间较慢。尽管如此,它实现了可与最先进的AC算法相媲美的收敛速度。我们的实验表明,这些缓解的限制所需的技术条件的稳定性转化为优越的性能在实践中的RL问题与稀疏的奖励。
2023-02-01 cs.LG math.OC stat.ML
Diff-DAC: Distributed Actor-Critic for Average Multitask Deep Reinforcement Learning
Information Processing and Telecommunications Center - Universidad Politécnica de Madrid(信息处理与电信中心 - 马德里理工大学)
我们提出了一个完全分布式的演员-评论家算法,近似于深度神经网络,命名为\textit{Diff-DAC},应用于单任务和平均多任务强化学习(MRL)。每个代理只能访问其本地任务的数据,但它的目标是学习一个策略,该策略对整个任务集的平均性能都很好。在学习过程中,代理将其价值策略参数传达给邻居,在网络中传播信息,以便它们收敛到一个共同的策略,而不需要中心节点。该方法是可扩展的,因为每个代理的计算和通信成本的增长与其邻居的数量。我们从对偶理论中推导出Diff-DAC,并对标准的演员-评论家框架提供了新的见解,表明它实际上是一个近似线性规划解的双上升方法的实例。实验表明,Diff-DAC可以优于单一的先前分布式MRL方法(即,Dist-MTLPS),甚至是集中式架构。
2020-10-25 cs.LG cs.MA math.OC
RN-D: Discretized Categorical Actors for On-Policy Reinforcement Learning
University of California San Diego, La Jolla, USA(加州大学圣地亚哥分校)
提出离散化分类演员替代高斯演员,结合正则化网络形成RN-D,在同策略RL中实现连续控制的最优性能。
2026-06-25 cs.LG cs.RO
Soft Actor-Critic Deep Reinforcement Learning for Fault Tolerant Flight Control
Delft University of Technology(代尔夫特理工大学)
容错飞行控制面临挑战,因为为每个意外故障开发基于模型的控制器是不现实的,并且在线学习方法由于其低采样效率而只能处理有限的系统复杂性。在这项研究中,无模型耦合动力学飞行控制器的喷气式飞机能够承受多种故障类型的建议。离线训练的级联Soft Actor-Critic深度强化学习控制器在高度耦合的机动中取得了成功,包括协调的40度爬坡转弯,归一化平均绝对误差为2.64%。该控制器对-15 °方向舵卡死、副翼有效性降低70%、结构故障、结冰和重心后移等六种故障具有鲁棒性。当响应稳定且爬坡转弯成功完成时,换档。对有偏传感器噪声、大气扰动以及不同初始飞行条件和参考信号形状的鲁棒性也得到了证明。
2022-02-16 cs.LG cs.RO cs.SY
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research(微软研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
基于相对悲观的概念,提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic(ATAC). ATAC被设计成一个两人的Stackelberg游戏:一个策略参与者与一个经过对抗训练的价值批评者竞争,后者发现数据一致的场景,其中参与者不如数据收集行为策略。我们证明了,当行动者在两人博弈中没有后悔时,运行ATAC产生的策略可证明1)在控制悲观程度的广泛超参数范围内优于行为策略,2)与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比,值得注意的是,我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中,ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access
Syracuse University(雪城大学)
为了有效利用有限的频谱资源,我们在这项工作中提出了一个基于深度演员批评者强化学习的动态多通道访问框架。我们考虑一个单用户的情况下,多个用户试图同时访问通道的情况。我们采用该框架作为一个单一的代理在单用户的情况下,并将其扩展到一个分散的多代理框架中的多用户的情况下。在这两种情况下,我们都开发了演员-评论家深度强化学习的算法,并通过实验和数值结果评估了所提出的学习策略。在单用户模型中,为了评估所提出的信道访问策略的性能和框架对不确定性的容忍度,我们探索了不同的信道切换模式和不同的切换概率。在多用户的情况下,我们分析了每个用户接入信道的概率与有利的信道条件和碰撞的概率。我们还解决了一个随时间变化的环境,以确定所提出的框架的适应能力。此外,我们提供了所提出的演员-评论家深度强化学习框架,基于Deep-Q网络(DQN)的方法,随机访问和信道动态已知时的最佳策略之间的比较(在平均奖励和时间效率方面)。
2019-08-20 cs.IT cs.LG math.IT
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能)
多智能体场景中的强化学习对于现实世界的应用非常重要,但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法,训练分散的政策,在多代理设置,使用集中计算的评论家,共享一个注意力机制,选择相关的信息,为每个代理在每个时间步。与最近的方法相比,这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置,而且适用于个性化奖励设置,包括对抗设置,以及不提供全局状态的设置,并且它不对代理的动作空间进行任何假设。因此,它足够灵活,可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation
Carnegie Mellon University(卡内基梅隆大学)
许多现实世界的应用,如机器人技术,提供了对功率和计算的硬约束,这限制了强化学习(RL)代理的可行模型复杂性。类似地,在许多分布式RL设置中,操作是在未加速的硬件(如CPU)上完成的,这同样限制了模型大小,以防止棘手的实验运行时间。这些“行为者-延迟”约束设置对模型复杂性的扩展提出了主要障碍,该模型复杂性最近在监督学习中非常成功。为了能够利用大的模型容量,同时仍然在系统施加的限制内操作,在代理期间,我们开发了一个“演员-学习者蒸馏”(ALD)的程序,利用连续形式的蒸馏,将学习进度从大容量的学习者模型转移到小容量的演员模型。作为一个案例研究,我们开发了这个程序的上下文中的部分可观察的环境,其中Transformer模型有很大的改进LSTM最近,在成本显着更高的计算复杂性。使用Transformer模型作为学习者,LSTM作为演员,我们在几个具有挑战性的记忆环境中证明,使用演员-学习者蒸馏恢复了Transformer学习者模型的明显样本效率增益,同时保持了快速推理并减少了LSTM演员模型的总训练时间。
2021-04-04 cs.LG
Optimization Solution Functions as Deterministic Policies for Offline Reinforcement Learning
Virginia Tech(弗吉尼亚理工大学)
本文提出隐式演员-评论家(iAC)框架,利用优化解函数作为确定性策略,通过指数衰减敏感性保证策略对次优参数的鲁棒性,在真实应用中显著优于SOTA离线RL方法。
2024-08-27 cs.LG cs.SY eess.SY
A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic
Information Hub, HKUST (Guangzhou)(香港科技大学(广州)信息枢纽);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);Department of Electrical and Computer Engineering, University of Alberta(阿尔伯塔大学电气与计算机工程系)
本文提出汉密尔顿演员-评论家方法,通过直接优化汉密尔顿量避免价值函数学习,提升模型驱动强化学习的样本效率和鲁棒性。
2026-03-30 cs.LG cs.SY eess.SY
Actor-Critic Deep Reinforcement Learning for Dynamic Multichannel Access
Syracuse University(雪城大学)
我们认为动态多信道接入问题,这可以制定为一个部分可观测马尔可夫决策过程(POMDP)。我们首先提出了一个无模型的演员-评论家深度强化学习为基础的框架,探索感测政策。为了评估所提出的感知策略和框架对不确定性的容忍度的性能,我们测试了不同信道切换模式的情况下的框架,并考虑不同的切换概率。然后,我们考虑了一个时变的环境,以确定所提出的框架的自适应能力。此外,我们在平均奖励和时间效率方面与[1]中提出的基于Deep-Q网络(DQN)的框架进行了比较。
2018-10-08 cs.IT cs.LG math.IT
Deep Actor-Critic Reinforcement Learning for Anomaly Detection
Syracuse University(雪城大学)
异常检测广泛应用于各种领域,例如,涉及灵巧家庭系统、网络流量监控、物联网应用和传感器网络。本文研究了基于深度强化学习的主动序贯测试异常检测方法。我们假设一次有未知数量的异常进程,并且代理在每个采样步骤中只能使用一个传感器进行检查。为了最大化决策的置信水平并同时最小化停止时间,我们提出了一个深度行动者-批评者强化学习框架,该框架可以基于后验概率动态选择传感器。我们提供了训练阶段和测试阶段的模拟结果,并比较了所提出的框架与索赔延迟和损失方面的Buckoff测试。
2019-08-28 cs.IT cs.LG math.IT
Actor-Critic based Improper Reinforcement Learning
IISc(印度科学学院);Boston University(波士顿大学);Technion(以色列理工学院);NVIDIA Research(英伟达研究院)
我们考虑一个不适当的强化学习设置,学习者被赋予$M$基地控制器的一个未知的马尔可夫决策过程,并希望将它们最佳地结合起来,产生一个潜在的新的控制器,可以优于每个基地。这在调节可能在失配或模拟环境中学习的控制器中可能是有用的,以获得针对给定目标环境的具有相对较少试验的良好控制器。为此,我们提出了两个算法:(1)一个策略梯度为基础的方法;(2)一个算法,可以切换之间的一个简单的演员-评论家(AC)为基础的计划和自然演员-评论家(NAC)计划取决于可用的信息。这两种算法都在一类给定控制器的不适当混合物上运行。对于第一种情况,我们得到收敛速度保证假设访问梯度预言。对于基于AC的方法,我们提供收敛速度保证一个固定点在基本AC的情况下,并在NAC的情况下,一个全球最佳。数值结果(i)标准的控制理论基准稳定的cartpole;(ii)一个受约束的调度任务表明,我们不适当的政策优化算法可以稳定的系统,即使在其处置的基本政策是不稳定的。
2022-07-19 cs.AI cs.LG cs.SY
Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning
Inst. for Comp. and Math. Engineering(计算与数学工程研究所);Departments of Statistics and EECS(统计系与电子工程和计算机科学系)
演员-评论家方法广泛应用于离线强化学习实践中,但在理论上并没有得到很好的理解。我们提出了一个新的离线演员评论家算法,自然结合了悲观主义的原则,导致几个关键的优势相比,最先进的。该算法可以操作时,贝尔曼评估运营商是封闭的行动价值函数的演员的政策,这是一个更一般的设置比低秩MDP模型。尽管增加了一般性,该过程是计算上易于处理的,因为它涉及到一系列的二阶程序的解决方案。我们证明了一个上界的次优差距的政策返回的程序,依赖于任何任意的数据覆盖率,可能依赖于数据的比较器的政策。可实现的保证是补充了一个极大极小的下限,是匹配的对数因子。
2021-08-19 cs.LG
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST(韩国科学技术院);UNIST(全南大学)
本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
2026-02-20 cs.AI cs.LG
Auto Deep Compression by Reinforcement Learning Based Actor-Critic Structure
Islamic Azad University(伊斯兰阿扎德大学)
基于模型的压缩是神经网络模型的一种有效、方便和扩展的模型,具有有限的计算和低功耗。然而,传统的压缩技术模型利用精心制作的特征[2,3,12],并在尺寸,速度和准确性方面探索用于探索和设计大空间的专门领域,这通常会带来更少的回报和时间。本文将在有效的样本和空间设计中,有效地分析深度自动压缩(ADC)和强化学习强度,提高模型的压缩质量。高级模型的压缩结果是在没有任何人为努力的情况下以完全自动化的方式获得的。FLOP减少了4倍,2.8%的准确率高于ImageNet中VGG-16的手动压缩模型。
2018-07-08 cs.AI cs.LG stat.ML
PEARL: Preconditioner Enhancement through Actor-critic Reinforcement Learning
Golisano College of CIS, Rochester Institute of Technology(罗切斯特理工大学戈利萨诺信息与通信科学学院);Computer Science & Engineering, Lehigh University(利哈伊大学计算机科学与工程学院);Recherche en prévision numérique atmosphérique, Environnement et Changement climatique Canada(加拿大环境与气候变化部大气数值预报研究中心);Kate Gleason College of Engineering, Rochester Institute of Technology(罗切斯特理工大学凯特·格里森工程学院)
本文提出PEARL,一种基于actor-critic强化学习和contextual bandit的矩阵预条件子学习方法,通过双目标函数和动态稀疏性探索提升求解速度与灵活性。
2025-03-01 cs.LG cs.NA math.NA
Quantum Advantage Actor-Critic for Reinforcement Learning
Institute of Informatics, LMU Munich(慕尼黑大学信息学院)
提出将优势演员-评论家算法与变分量子电路结合的量子强化学习方法,在Cart Pole环境中测试,混合策略性能优于纯经典和纯量子变体,但受限于当前量子硬件。
2024-01-13 cs.AI cs.LG quant-ph
Frugal Actor-Critic: Sample Efficient Off-Policy Deep Reinforcement Learning Using Unique Experiences
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
提出Frugal Actor-Critic方法,通过核密度估计器选择独特状态-奖励组合的经验加入回放池,在减小经验回放池规模的同时实现了更快的收敛或更好的奖励积累。
2024-02-05 cs.AI cs.LG cs.RO
Improving Actor-Critic Reinforcement Learning via Hamiltonian Monte Carlo Method
Georgia Institute of Technology(佐治亚理工学院)
行动者-评论家RL广泛用于各种机器人控制任务。通过从变分推理(VI)的角度观察行动者-评论者强化学习,策略网络被训练以获得给定最优性标准的行动的近似后验。然而,在实践中,行动者-批评者强化学习可能会产生次优的政策估计,由于摊销差距和不充分的探索。在这项工作中,受到先前在VI中使用Hamilton Monte Carlo(HMC)的启发,我们提出将行动者-批评者RL的策略网络与HMC集成,称为{ \it Hamilton Policy}。因此,我们建议根据HMC从基本策略中进化动作,我们提出的方法有很多好处。首先,HMC可以改善政策分布,以更好地逼近后验,从而减少摊销缺口。其次,HMC还可以将探索更多地引导到Q值较高的作用空间区域,提高了探索效率。此外,而不是直接应用HMC到RL,我们提出了一个新的蛙跳算子来模拟哈密顿动力学。最后,在安全强化学习问题中,我们发现所提出的方法不仅可以提高所获得的回报,而且还可以通过丢弃潜在的不安全行为来减少安全约束违反。通过对连续控制基线(包括MuJoCo和PyBullet Roboschool)进行全面的实证实验,我们证明了所提出的方法是对以前的演员-评论家方法的数据高效且易于实现的改进。
2022-01-02 cs.LG stat.ML
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University(成均馆大学);Soongsil University(崇实大学)
本文提出LAC算法,将容量分配给深度评论家而非简单演员,解决离线RL中加深评论家的三种失效模式,在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
A Quadratic Actor Network for Model-Free Reinforcement Learning
RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能中心);Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所)
在这项工作中,我们讨论了将二次神经元纳入政策网络的背景下,无模型的演员-评论家强化学习。二次神经元允许显式的二次函数近似,而传统的方法中的非线性是由激活函数引起的。我们对几个MuJoCo连续控制任务进行了经验实验,发现当将二次神经元添加到MLP策略网络时,它们的性能优于基线MLP,同时允许更少的参数。返回的最高奖励平均增加了$5.8\%$,同时具有大约$21\%$更多的样本效率。此外,它可以保持其优势,对增加的行动和观察噪音。
2021-03-11 cs.AI cs.LG cs.RO
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor(PAAC)方法,通过结合Q值和TD误差改进策略梯度估计,减少方差,提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
Attraction-Repulsion Actor-Critic for Continuous Control Reinforcement Learning
McGill University(麦吉尔大学);Mila;Deakin University(迪肯大学);Université Laval(拉瓦尔大学);Facebook AI Research;MSR Montreal(蒙特利尔微软研究院);Université de Montréal(蒙特利尔大学)
强化学习中的连续控制任务很重要,因为它们为在具有欺骗性奖励的高维状态空间中学习提供了一个重要的框架,在这种情况下,智能体很容易陷入次优解。避免局部最优的一种方法是使用代理的人口,以确保覆盖的政策空间,但学习人口的“最佳”覆盖仍然是一个开放的问题。在这项工作中,我们提出了一种新的方法,以人口为基础的RL在连续控制,利用规范化流的属性来执行吸引力和排斥性的操作之间的当前成员的人口和以前观察到的政策。MuJoCo套件的实证结果表明,我们的算法相比以前的工作,包括软演员评论(SAC)的高性能增益。
2020-07-09 cs.AI cs.LG cs.MA
ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning
Peking University(北京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
沟通是大型多智能体世界保持组织性和生产力的关键因素。以往的多智能体“学习通信”研究大多试图对通信协议进行改进,或者采用表格式强化学习、进化算法等技术,但这些技术不能推广到变化的环境或大规模的智能体集合中。在本文中,我们提出了一个演员协调员批评网络(ACCNet)框架解决“学习沟通”的问题。ACCNet自然地将强大的演员-评论家强化学习技术与深度学习技术相结合。它可以有效地学习通信协议,即使从零开始,在部分可观察的环境。我们证明了ACCNet可以实现更好的结果比几个基线下连续和离散的动作空间环境。我们还分析了学习的协议,并讨论了一些设计考虑。
2017-10-29 cs.AI cs.LG
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University(同济大学)
本文提出鲁棒平均场演员-评论家强化学习RoMFAC,通过结合策略梯度与动作损失函数并引入重复正则化,同时构建状态对抗随机博弈模型,有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
Actor-Critic Reinforcement Learning for Control with Stability Guarantee
Harbin Institute of Technology(哈尔滨工业大学);University College London(伦敦大学学院);Delft University of Technology(代尔夫特理工大学)
强化学习(RL)及其与深度学习的集成在各种机器人控制任务中取得了令人印象深刻的性能,从运动规划和导航到端到端的视觉操纵。然而,在无模型强化学习中,仅仅使用数据并不能保证稳定性。从控制理论的角度来看,稳定性是任何控制系统最重要的属性,因为它与机器人系统的安全性,鲁棒性和可靠性密切相关。在本文中,我们提出了一个行动者-评论家RL框架的控制,可以保证闭环稳定性,采用经典的李雅普诺夫方法在控制理论。首先,针对马尔可夫决策过程建模的随机非线性系统,提出了一个基于数据的稳定性定理。然后,我们表明,稳定性条件可以被利用作为行动者-评论家RL中的评论家来学习控制器/策略。最后,我们的方法的有效性进行了评估几个著名的三维机器人控制任务和合成生物学基因网络跟踪任务在三个不同的流行的物理仿真平台。作为对稳定性优势的实证评估,我们证明了学习策略可以使系统在受到系统参数变化和外部干扰等不确定性干扰时在一定程度上恢复到平衡点或路径点。
2020-07-15 cs.LG cs.RO cs.SY
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind(谷歌DeepMind)
本研究证明离线演员-评论家强化学习可扩展至大型模型,遵循与监督学习相似的缩放规律,并在132个连续控制任务上超越行为克隆基线,引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Generation of Geodesics with Actor-Critic Reinforcement Learning to Predict Midpoints
OMRON SINIC X Corporation(OMRON SINIC X公司)
本文提出了一种基于Actor-Critic强化学习的方法,通过递归预测中点来生成测地线,以提高在复杂运动学和多自由度机器人臂规划中的性能。
2026-01-05 cs.AI cs.LG
Fully Distributed Actor-Critic Architecture for Multitask Deep Reinforcement Learning
Secondmind
我们提出了一个完全分布式的演员-评论家架构,命名为Diff-DAC,应用于多任务强化学习(MRL)。在学习过程中,代理将其价值和政策参数传达给邻居,在代理网络中传播信息,而不需要中心站。每个代理只能访问其本地任务中的数据,但目标是学习对整个任务集执行良好的通用策略。该架构是可扩展的,因为每个代理的计算和通信成本取决于邻居的数量,而不是代理的总数。我们从对偶理论中推导出Diff-DAC,并对演员-评论家框架提供了新的见解,表明它实际上是对偶上升方法的一个实例。我们证明了几乎肯定收敛的Diff-DAC的一个共同的政策下,即使是深神经网络近似的一般假设。对于更严格的假设,我们还证明了这一共同的政策是一个稳定点的近似原问题。对常见连续控制基准的多任务扩展的数值结果表明,Diff-DAC稳定学习,并具有正则化效果,比以前的架构具有更高的性能和更好的泛化性能。
2021-10-23 cs.DC cs.LG cs.NE