Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington(惠灵顿维多利亚大学)
我们提出了一种新的策略迭代理论,作为软策略迭代和软Actor-Critic(SAC)的重要扩展,SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下,推广香农熵的任意熵度量,如Tsallis熵和Renyi熵,可以用来适当地随机化动作选择,同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法,即,Tsallis熵Actor-Critic(TAC)和Renyi熵Actor-Critic(RAC)。理论分析表明,这些算法可以比SAC更有效。此外,它们为我们开发一种新的Encriminator Actor-Critic(EAC)算法铺平了道路,该算法的特点是使用引导机制进行深度环境探索,以及一种新的基于值函数的机制进行高级动作选择。经验上,我们表明,TAC,RAC和EAC可以实现最先进的性能在一系列的基准控制任务,优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所)
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤,以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功,但现有的一般方法存在高方差和不稳定性,部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中,我们提出了一种新的方法,在行动者批评的政策外的政策评估,基于双鲁棒估计。我们扩展的双重强大的估计,从政策外的政策评估(OPE)的演员批评的算法,包括奖励估计性能模型。我们发现,双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外,在奖励函数是随机的,可能导致高方差的情况下,双鲁棒评论家估计可以提高性能下损坏,随机奖励信号,表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
A Centralised Soft Actor Critic Deep Reinforcement Learning Approach to District Demand Side Management through CityLearn
University College Dublin(都柏林大学学院)
强化学习是一个有前途的无模型和自适应控制器的需求侧管理,作为未来智能电网的一部分,在地区一级。本文介绍了为CityLearn Challenge提交的算法的结果,该挑战于2020年初举办,旨在设计和调整强化学习代理,以平坦化和平滑不同建筑物区域的电力需求汇总曲线。所提出的解决方案使用能够处理连续动作空间的集中式“Soft Actor Critic”深度强化学习代理在挑战中获得第二名。控制器能够在包括不同建筑物和气候的挑战数据集上实现0.967的平均分数。这突出了深度强化学习作为即插即用型控制器的潜在应用,该控制器能够处理不同的气候和异质建筑存量,用于建筑物的区域需求侧管理。
2020-09-22 cs.LG stat.ML
Attraction-Repulsion Actor-Critic for Continuous Control Reinforcement Learning
McGill University(麦吉尔大学);Mila;Deakin University(迪肯大学);Université Laval(拉瓦尔大学);Facebook AI Research;MSR Montreal(蒙特利尔微软研究院);Université de Montréal(蒙特利尔大学)
强化学习中的连续控制任务很重要,因为它们为在具有欺骗性奖励的高维状态空间中学习提供了一个重要的框架,在这种情况下,智能体很容易陷入次优解。避免局部最优的一种方法是使用代理的人口,以确保覆盖的政策空间,但学习人口的“最佳”覆盖仍然是一个开放的问题。在这项工作中,我们提出了一种新的方法,以人口为基础的RL在连续控制,利用规范化流的属性来执行吸引力和排斥性的操作之间的当前成员的人口和以前观察到的政策。MuJoCo套件的实证结果表明,我们的算法相比以前的工作,包括软演员评论(SAC)的高性能增益。
2020-07-09 cs.AI cs.LG cs.MA
AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning
Artificial Intelligence Research Center DII(DII人工智能研究中心)
强化学习(RL)技术在许多具有挑战性的任务中受到了极大的关注,但当应用于现实世界的问题时,其性能急剧下降。已经提出了各种方法,如域随机化,通过在不同的环境设置下训练代理来处理这种情况,因此它们可以在部署过程中推广到不同的环境。然而,他们通常不包括潜在的环境因素的信息,代理人进行适当的互动,因此可能会过于保守,当面对周围环境的变化。在本文中,我们首先形式化的任务,适应不断变化的环境动态RL作为一个泛化问题,使用上下文马尔可夫决策过程(CMDPs)。然后,我们提出了非对称Actor-Critic在上下文RL(AACC)作为一个端到端的Actor-Critic方法来处理这样的泛化任务。我们证明了AACC的性能在一系列模拟环境中的实验超过现有基线的根本改善。
2022-08-03 cs.LG stat.ML
Finite-Time Global Optimality Convergence in Deep Neural Actor-Critic Methods for Decentralized Multi-Agent Reinforcement Learning
The Ohio State University, Columbus, Ohio, USA(俄亥俄州立大学);University of Wisconsin-Whitewater, Whitewater, Wisconsin, USA(威斯康星大学-威奇托分校);University of Colorado Boulder, Boulder, Colorado, USA(科罗拉多大学博尔德分校)
本文首次提出去中心化MARL中actor与critic均为非线性的深度神经actor-critic方法,并证明其具有O(1/T)的有限时间全局最优收敛率,填补了深度神经网络在该领域理论收敛性上的空白。
2025-08-13 cs.LG cs.MA
Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
探索多智能体强化学习是一个具有挑战性的问题,特别是在稀疏奖励的环境中。我们提出了一个通用的方法,有效的探索,通过分享经验之间的代理。我们提出的算法,称为共享经验演员批评(SEAC),适用于演员批评框架中的经验共享。我们在一组稀疏奖励多智能体环境中评估了SEAC,发现它通过更少的步骤学习并收敛到更高的回报,始终优于两个基线和两个最先进的算法。在一些更困难的环境中,经验分享决定了学习解决任务和根本不学习的区别。
2021-05-19 cs.LG cs.MA
Global Convergence of the ODE Limit for Online Actor-Critic Algorithms in Reinforcement Learning
University of Oxford(牛津大学)
本文证明了表格参数化在线演员-评论家算法在时间重标度下收敛到ODE极限,并通过双时间尺度分析证明评论家收敛到贝尔曼方程解、演员收敛到最优策略,同时给出了收敛速率。
2023-09-18 cs.LG math.OC stat.ML
Stackelberg Actor-Critic: Game-Theoretic Reinforcement Learning Algorithms
University of Washington(华盛顿大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
在基于行动者-批评者的强化学习算法中,行动者和批评者之间的分层交互自然适合于博弈论的解释。我们采用这种观点和模型的演员和评论家的互动作为一个两个球员的一般和游戏的领导者,追随者的结构被称为Stackelberg游戏。鉴于这种抽象,我们提出了一个元框架Stackelberg演员批评家算法的领导者球员遵循其目标的总导数,而不是通常的个人梯度。从理论的角度来看,我们开发了一个策略梯度定理的精细更新,并提供了一个局部收敛保证的Stackelberg actor-critic算法的局部Stackelberg平衡。从经验的角度来看,我们通过简单的例子证明,我们研究的学习动态减轻循环和加速收敛相比,通常的梯度动态引起的演员-评论家配方的成本结构。最后,在OpenAI健身房环境中进行的大量实验表明,Stackelberg actor-critic算法的性能始终至少与标准actor-critic算法相当,并且通常显著优于标准actor-critic算法。
2021-09-25 cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University(比尔肯特大学)
在基于值的深度强化学习方法中,价值函数的近似会导致高估偏差并导致次优策略。我们发现,在旨在克服高估偏差的深度演员-评论家方法中,如果代理接收到的强化信号具有较高的方差,则会出现显著的低估偏差。为了最大限度地减少低估,我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念,通过最大值和最小值运算符的嵌套组合来计算critic目标,以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改,在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Diff-DAC: Distributed Actor-Critic for Average Multitask Deep Reinforcement Learning
Information Processing and Telecommunications Center - Universidad Politécnica de Madrid(信息处理与电信中心 - 马德里理工大学)
我们提出了一个完全分布式的演员-评论家算法,近似于深度神经网络,命名为\textit{Diff-DAC},应用于单任务和平均多任务强化学习(MRL)。每个代理只能访问其本地任务的数据,但它的目标是学习一个策略,该策略对整个任务集的平均性能都很好。在学习过程中,代理将其价值策略参数传达给邻居,在网络中传播信息,以便它们收敛到一个共同的策略,而不需要中心节点。该方法是可扩展的,因为每个代理的计算和通信成本的增长与其邻居的数量。我们从对偶理论中推导出Diff-DAC,并对标准的演员-评论家框架提供了新的见解,表明它实际上是一个近似线性规划解的双上升方法的实例。实验表明,Diff-DAC可以优于单一的先前分布式MRL方法(即,Dist-MTLPS),甚至是集中式架构。
2020-10-25 cs.LG cs.MA math.OC
Gossip-based Actor-Learner Architectures for Deep Reinforcement Learning
Facebook AI Research(Facebook人工智能研究院);McGill University(麦吉尔大学)
多模拟器训练通过稳定学习和允许更高的训练吞吐量,为深度强化学习最近的成功做出了贡献。我们提出了基于绯闻的演员-学习者架构(GALA),其中几个演员-学习者(如A2 C代理)组织在一个对等通信拓扑结构,并通过异步八卦交换信息,以利用大量的分布式模拟器。我们证明,GALA代理保持在一个ε球的另一个在训练过程中使用松耦合异步通信。通过减少代理之间的同步量,GALA与完全同步的A2 C相比,计算效率更高,可扩展性更好。GALA的性能也优于A2 C,更强大,采样效率更高。我们表明,我们可以运行几个松散耦合的GALA代理并行在一个GPU上,并实现显着更高的硬件利用率和帧速率比香草A2 C在可比的功耗。
2020-04-21 cs.AI cs.LG cs.MA
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本文提出WAVE方法,通过在critic损失中引入自适应Wasserstein正则化提升actor-critic稳定性,并给出收敛速率与理论保证,实验显示其性能优于标准方法。
2025-03-07 cs.LG cs.SY eess.SY
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute(信息学知识技术研究所)
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式,用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而,缺乏结合这些范例的方法,目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献,我们解决了这个问题,并开发了一种将分层强化学习与好奇心相结合的方法。在这里,我们扩展了当代层次的演员批评的方法与前向模型,以发展层次的好奇心的概念。我们在几个连续空间环境中证明,对于大多数调查的基准问题,好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Arithmetic Actor Heads and Training Stabilization for Out-of-Distribution Reinforcement Learning
Central South University(中南大学)
针对分布外幅度变化导致RL策略退化问题,基于SAC和BAPR提出CS-BAPR家族,结合六种训练稳定化设置与多种算术Actor头(NAU、KAN、MLP)以提升鲁棒性。
2026-10-20 cs.LG
Physics-Guided Actor-Critic Reinforcement Learning for Swimming in Turbulence
University of Arizona(亚利桑那大学)
本文提出物理引导的演员-评论家强化学习策略,用解析物理函数替代神经网络评论家,在湍流中维持粒子靠近被动对应物,数值实验证明其优于标准强化学习方法。
2024-11-10 cs.LG cs.SY eess.SY
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
Improving Actor-Critic Reinforcement Learning via Hamiltonian Monte Carlo Method
Georgia Institute of Technology(佐治亚理工学院)
行动者-评论家RL广泛用于各种机器人控制任务。通过从变分推理(VI)的角度观察行动者-评论者强化学习,策略网络被训练以获得给定最优性标准的行动的近似后验。然而,在实践中,行动者-批评者强化学习可能会产生次优的政策估计,由于摊销差距和不充分的探索。在这项工作中,受到先前在VI中使用Hamilton Monte Carlo(HMC)的启发,我们提出将行动者-批评者RL的策略网络与HMC集成,称为{ \it Hamilton Policy}。因此,我们建议根据HMC从基本策略中进化动作,我们提出的方法有很多好处。首先,HMC可以改善政策分布,以更好地逼近后验,从而减少摊销缺口。其次,HMC还可以将探索更多地引导到Q值较高的作用空间区域,提高了探索效率。此外,而不是直接应用HMC到RL,我们提出了一个新的蛙跳算子来模拟哈密顿动力学。最后,在安全强化学习问题中,我们发现所提出的方法不仅可以提高所获得的回报,而且还可以通过丢弃潜在的不安全行为来减少安全约束违反。通过对连续控制基线(包括MuJoCo和PyBullet Roboschool)进行全面的实证实验,我们证明了所提出的方法是对以前的演员-评论家方法的数据高效且易于实现的改进。
2022-01-02 cs.LG stat.ML
Multi-Actor Multi-Critic Deep Deterministic Reinforcement Learning with a Novel Q-Ensemble Method
csie.fju.edu.tw(逢甲大学计算机科学系)
针对强化学习中策略评估的高估/低估问题,提出多演员多评论家深度确定性强化学习方法,通过非支配排序选演员、分位数集成评估等设计,在MuJoCo基准上性能优于现有深度确定性强化学习方法。
2025-10-01 cs.LG
Multi-agent Off-policy Actor-Critic Reinforcement Learning for Partially Observable Environments
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对部分可观测环境,本文在去中心化多智能体异策略 actor-critic 中引入社会学习估计全局状态,证明误差 ε-有界且无需转移模型,实验优于现有方法。
2024-07-06 cs.LG cs.MA
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
我们介绍了异步优势演员-评论家(A3 C)算法的混合CPU/GPU版本,该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性,并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略,可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay
University of Nevada(内华达大学)
行动者学习和批评者学习是深度确定性策略梯度(DDPG)强化学习方法的两个组成部分。由于演员和评论家学习在整个机器人的学习中起着重要的作用,因此DDPG方法的性能相对敏感和不稳定。我们提出了一个多演员-评论家DDPG可靠的演员-评论家学习,以进一步提高DDPG的性能和稳定性。这个多演员-评论家DDPG然后与后见之明经验重放(HER)集成,形成我们新的深度学习框架AACHER。AACHER使用多个演员或评论家的平均值来代替DDPG中的单个演员或评论家,以增加在一个演员或评论家表现不佳的情况下的阻力。许多独立的行为者和评论家也可以从更广泛的环境中获得知识。我们在基于目标的环境中实现了我们提出的AACHER:AuboReach,FetchReach-v1,FetchPush-v1,FetchSlide-v1和FetchPickAndPlace-v1。在我们的实验中,我们使用了各种演员/评论家组合的实例,其中A10 C10和A20 C20是表现最好的组合。总体结果表明,AACHER优于传统的算法(DDPG+HER)在所有的演员/评论家的数量组合,用于评估。当在FetchPickAndPlace-v1上使用时,A20 C20的性能提升高达DDPG+ HER中成功率的约3.8倍。
2022-10-24 cs.LG cs.RO
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research(微软研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
基于相对悲观的概念,提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic(ATAC). ATAC被设计成一个两人的Stackelberg游戏:一个策略参与者与一个经过对抗训练的价值批评者竞争,后者发现数据一致的场景,其中参与者不如数据收集行为策略。我们证明了,当行动者在两人博弈中没有后悔时,运行ATAC产生的策略可证明1)在控制悲观程度的广泛超参数范围内优于行为策略,2)与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比,值得注意的是,我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中,ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation
Carnegie Mellon University(卡内基梅隆大学)
许多现实世界的应用,如机器人技术,提供了对功率和计算的硬约束,这限制了强化学习(RL)代理的可行模型复杂性。类似地,在许多分布式RL设置中,操作是在未加速的硬件(如CPU)上完成的,这同样限制了模型大小,以防止棘手的实验运行时间。这些“行为者-延迟”约束设置对模型复杂性的扩展提出了主要障碍,该模型复杂性最近在监督学习中非常成功。为了能够利用大的模型容量,同时仍然在系统施加的限制内操作,在代理期间,我们开发了一个“演员-学习者蒸馏”(ALD)的程序,利用连续形式的蒸馏,将学习进度从大容量的学习者模型转移到小容量的演员模型。作为一个案例研究,我们开发了这个程序的上下文中的部分可观察的环境,其中Transformer模型有很大的改进LSTM最近,在成本显着更高的计算复杂性。使用Transformer模型作为学习者,LSTM作为演员,我们在几个具有挑战性的记忆环境中证明,使用演员-学习者蒸馏恢复了Transformer学习者模型的明显样本效率增益,同时保持了快速推理并减少了LSTM演员模型的总训练时间。
2021-04-04 cs.LG
TASAC: a twin-actor reinforcement learning framework with stochastic policy for batch process control
Indian Institute of Technology Delhi(印度理工学院德里分校);International Institute of Information Technology Hyderabad(印度国际信息技术学院海得拉巴分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
由于其复杂的非线性动力学和批间变异性,间歇过程对过程控制提出了挑战。由于缺乏精确的模型和由此产生的工厂模型不匹配,这些问题变得更难解决先进的基于模型的控制策略。强化学习(RL),其中代理通过直接与环境交互来学习策略,在这种情况下提供了一种潜在的替代方案。具有Actor-Critic架构的RL框架最近变得流行,用于控制状态和动作空间连续的系统。它已被证明,演员和评论家网络的合奏进一步帮助代理学习更好的政策,由于增强的探索,由于同时策略学习。为此,目前的研究提出了一种随机演员-评论家RL算法,称为双演员软演员-评论家(TASAC),通过将演员学习的合奏,在最大熵框架,批处理控制。
2022-05-02 cs.LG cs.SY eess.SY
On the Sample Complexity of Actor-Critic Method for Reinforcement Learning with Function Approximation
University of Pennsylvania(宾夕法尼亚大学);JPMorgan AI Research(摩根大通人工智能研究院)
强化学习在数学上由马尔可夫决策问题描述,可以通过动态规划或策略搜索来实现。Actor-critic算法通过交替估计价值函数和策略梯度更新的步骤,结合了两种方法的优点。由于更新表现出相关噪声和有偏梯度更新的事实,通过将其行为与动力系统联系起来,仅知道行动者-批评者的渐近行为。这项工作提出了一个新的演员批评家,采用蒙特卡洛推出的政策搜索更新,这导致可控的偏见,取决于评论家的评价数量的变化。其结果是,我们能够提供第一次的演员-评论家算法的收敛速度时,策略搜索步骤采用策略梯度,不可知的政策评估技术的选择。特别是,我们建立的条件下,样本的复杂性是可比的随机梯度方法的非凸问题或缓慢的结果的关键估计误差,这是主要的复杂性瓶颈。这些结果保持在连续的状态和动作空间与线性函数逼近的价值函数。然后,我们专门这些概念性的结果的情况下,评价估计的时间差,梯度时间差,加速梯度时间差。这些学习率,然后证实了导航问题,涉及障碍和钟摆问题,提供洞察优化和泛化之间的相互作用,在强化学习。
2023-01-27 cs.LG math.OC stat.ML
RN-D: Discretized Categorical Actors for On-Policy Reinforcement Learning
University of California San Diego, La Jolla, USA(加州大学圣地亚哥分校)
提出离散化分类演员替代高斯演员,结合正则化网络形成RN-D,在同策略RL中实现连续控制的最优性能。
2026-06-25 cs.LG cs.RO
A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access
Syracuse University(雪城大学)
为了有效利用有限的频谱资源,我们在这项工作中提出了一个基于深度演员批评者强化学习的动态多通道访问框架。我们考虑一个单用户的情况下,多个用户试图同时访问通道的情况。我们采用该框架作为一个单一的代理在单用户的情况下,并将其扩展到一个分散的多代理框架中的多用户的情况下。在这两种情况下,我们都开发了演员-评论家深度强化学习的算法,并通过实验和数值结果评估了所提出的学习策略。在单用户模型中,为了评估所提出的信道访问策略的性能和框架对不确定性的容忍度,我们探索了不同的信道切换模式和不同的切换概率。在多用户的情况下,我们分析了每个用户接入信道的概率与有利的信道条件和碰撞的概率。我们还解决了一个随时间变化的环境,以确定所提出的框架的适应能力。此外,我们提供了所提出的演员-评论家深度强化学习框架,基于Deep-Q网络(DQN)的方法,随机访问和信道动态已知时的最佳策略之间的比较(在平均奖励和时间效率方面)。
2019-08-20 cs.IT cs.LG math.IT
Acceleration of Actor-Critic Deep Reinforcement Learning for Visual Grasping in Clutter by State Representation Learning Based on Disentanglement of a Raw Input Image
Hanyang University(汉阳大学)
对于机器人抓取任务,其中各种看不见的目标对象存在于杂乱的环境中,一些基于深度学习的方法已经直接使用视觉输入实现了最先进的结果。相比之下,行动者-批评者深度强化学习(RL)方法在抓取不同对象时通常表现非常差,特别是在从原始图像和稀疏奖励中学习时。为了使这些RL技术可行的视觉为基础的抓取任务,我们采用状态表示学习(SRL),在那里我们编码的基本信息,随后在RL使用。然而,典型的表示学习过程不适合于提取用于学习抓取技能的相关信息,因为用于表示学习的视觉输入(其中机器人试图在杂乱中抓取目标对象)是极其复杂的。我们发现,基于原始输入图像的解纠缠的预处理是有效捕获紧凑表示的关键。这使得深度RL能够从高度多样化的视觉输入中学习机器人抓取技能。我们证明了这种方法的有效性,在一个现实的模拟环境中不同程度的解开。
2020-02-27 cs.LG stat.ML
Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic
Mila, Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
多智能体对抗性逆强化学习(MA-AIRL)是一种最新的方法,它将单智能体AIRL应用于多智能体问题,我们寻求为我们的智能体恢复策略和奖励功能,以促进专家般的行为。虽然MA-AIRL在合作和竞争任务上有很好的效果,但它的样本效率很低,而且只在少量代理中进行了经验验证-它扩展到许多代理的能力仍然是一个悬而未决的问题。我们提出了一个多智能体逆RL算法,是更采样效率和可扩展性比以前的作品。具体来说,我们采用多智能体演员-注意-评论家(MAAC)-一个关闭政策的多智能体RL(MARL)方法-的RL内循环的逆RL过程。通过这样做,与最先进的基线相比,我们能够在小型和大型任务中提高样本效率。此外,在通过我们的方法恢复的奖励上训练的RL代理比在从基线获得的奖励上训练的RL代理更好地匹配专家。最后,我们的方法需要更少的代理环境的相互作用,特别是随着代理的数量增加。
2020-02-24 cs.LG cs.MA
Auto Deep Compression by Reinforcement Learning Based Actor-Critic Structure
Islamic Azad University(伊斯兰阿扎德大学)
基于模型的压缩是神经网络模型的一种有效、方便和扩展的模型,具有有限的计算和低功耗。然而,传统的压缩技术模型利用精心制作的特征[2,3,12],并在尺寸,速度和准确性方面探索用于探索和设计大空间的专门领域,这通常会带来更少的回报和时间。本文将在有效的样本和空间设计中,有效地分析深度自动压缩(ADC)和强化学习强度,提高模型的压缩质量。高级模型的压缩结果是在没有任何人为努力的情况下以完全自动化的方式获得的。FLOP减少了4倍,2.8%的准确率高于ImageNet中VGG-16的手动压缩模型。
2018-07-08 cs.AI cs.LG stat.ML
Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning
Inst. for Comp. and Math. Engineering(计算与数学工程研究所);Departments of Statistics and EECS(统计系与电子工程和计算机科学系)
演员-评论家方法广泛应用于离线强化学习实践中,但在理论上并没有得到很好的理解。我们提出了一个新的离线演员评论家算法,自然结合了悲观主义的原则,导致几个关键的优势相比,最先进的。该算法可以操作时,贝尔曼评估运营商是封闭的行动价值函数的演员的政策,这是一个更一般的设置比低秩MDP模型。尽管增加了一般性,该过程是计算上易于处理的,因为它涉及到一系列的二阶程序的解决方案。我们证明了一个上界的次优差距的政策返回的程序,依赖于任何任意的数据覆盖率,可能依赖于数据的比较器的政策。可实现的保证是补充了一个极大极小的下限,是匹配的对数因子。
2021-08-19 cs.LG
Discriminator Soft Actor Critic without Extrinsic Rewards
Kanazawa University(金泽大学)
在未知状态下,很难从少量的专家数据和采样数据中进行很好的模拟。行为克隆等监督学习方法不需要采样数据,但通常会遭受分布偏移。基于强化学习的方法,如逆强化学习和生成对抗模仿学习(GAIL),只能从少量的专家数据中学习。但是,他们往往需要与环境互动。软Q模仿学习解决了这些问题,并表明它可以有效地学习行为克隆和软Q学习与恒定的奖励。为了使该算法对分布偏移具有更好的鲁棒性,我们提出了鉴别器软演员批评(DSAC)。它使用基于对抗逆强化学习的奖励函数,而不是恒定的奖励。我们在PyBullet环境中评估了它,只有四个专家轨迹。
2020-01-31 cs.LG stat.ML
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University(成均馆大学);Soongsil University(崇实大学)
本文提出LAC算法,将容量分配给深度评论家而非简单演员,解决离线RL中加深评论家的三种失效模式,在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor(PAAC)方法,通过结合Q值和TD误差改进策略梯度估计,减少方差,提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind(深度思维);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)算法可以使用高容量深度网络直接从图像观察中学习。然而,这些高维观测空间在实践中提出了许多挑战,因为该策略现在必须解决两个问题:表示学习和任务学习。在这项工作中,我们分别解决这两个问题,通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家(SLAC)算法:一个样本高效和高性能的RL算法,用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法,通过学习紧凑的潜在表示,然后在模型的学习潜在空间中执行RL,将随机序列模型和RL统一为一种方法。我们的实验评估表明,我们的方法优于无模型和基于模型的替代品的最终性能和样本效率,在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
PEARL: Preconditioner Enhancement through Actor-critic Reinforcement Learning
Golisano College of CIS, Rochester Institute of Technology(罗切斯特理工大学戈利萨诺信息与通信科学学院);Computer Science & Engineering, Lehigh University(利哈伊大学计算机科学与工程学院);Recherche en prévision numérique atmosphérique, Environnement et Changement climatique Canada(加拿大环境与气候变化部大气数值预报研究中心);Kate Gleason College of Engineering, Rochester Institute of Technology(罗切斯特理工大学凯特·格里森工程学院)
本文提出PEARL,一种基于actor-critic强化学习和contextual bandit的矩阵预条件子学习方法,通过双目标函数和动态稀疏性探索提升求解速度与灵活性。
2025-03-01 cs.LG cs.NA math.NA
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University(清华大学)
强化学习(RL)在许多顺序决策和控制任务中取得了显著的性能。然而,一个常见的问题是,学习的近最优策略总是过拟合的训练环境,并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中,环境的随机性通常会导致一些破坏性事件,这应该是自动驾驶等安全关键系统的重点。在本文中,我们引入了极大极小公式和分布框架,以提高RL算法的推广能力,并开发了极大极小分布软演员-评论(DSAC)算法。极大极小化模型旨在寻求最优策略,其中主角策略最大化行动价值函数,而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布,从中我们可以明确地建模不同收益的风险,从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法,并在不同的环境中测试了训练后的策略。结果表明,我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
Actor-Critic Deep Reinforcement Learning for Dynamic Multichannel Access
Syracuse University(雪城大学)
我们认为动态多信道接入问题,这可以制定为一个部分可观测马尔可夫决策过程(POMDP)。我们首先提出了一个无模型的演员-评论家深度强化学习为基础的框架,探索感测政策。为了评估所提出的感知策略和框架对不确定性的容忍度的性能,我们测试了不同信道切换模式的情况下的框架,并考虑不同的切换概率。然后,我们考虑了一个时变的环境,以确定所提出的框架的自适应能力。此外,我们在平均奖励和时间效率方面与[1]中提出的基于Deep-Q网络(DQN)的框架进行了比较。
2018-10-08 cs.IT cs.LG math.IT
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
本文提出灵活全去中心化演员-评论家MARL框架F2A2,通过原始-对偶混合梯度下降、参数共享及基于心智理论的建模方法,实现大规模协作场景下稳定可扩展的个体策略学习,并在实验中取得有竞争力的性能。
2023-07-07 cs.AI cs.LG cs.MA
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Deep Actor-Critic Reinforcement Learning for Anomaly Detection
Syracuse University(雪城大学)
异常检测广泛应用于各种领域,例如,涉及灵巧家庭系统、网络流量监控、物联网应用和传感器网络。本文研究了基于深度强化学习的主动序贯测试异常检测方法。我们假设一次有未知数量的异常进程,并且代理在每个采样步骤中只能使用一个传感器进行检查。为了最大化决策的置信水平并同时最小化停止时间,我们提出了一个深度行动者-批评者强化学习框架,该框架可以基于后验概率动态选择传感器。我们提供了训练阶段和测试阶段的模拟结果,并比较了所提出的框架与索赔延迟和损失方面的Buckoff测试。
2019-08-28 cs.IT cs.LG math.IT
Flow Actor-Critic for Offline Reinforcement Learning
KAIST(韩国科学技术院);UNIST(全南大学)
本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
2026-02-20 cs.AI cs.LG
On-policy Actor-Critic Reinforcement Learning for Multi-UAV Exploration
K. N. Toosi University of Technology(科努西理工大学);Intelligent Control Systems Institute(智能控制系统研究院);University of Regina(里贾纳大学)
针对多无人机未知环境探索难题,提出融合CNN与LSTM的同策略PPO演员-评论家强化学习方法,可分布式避障并完成新地图覆盖,性能优于PG、A3C等方法。
2024-09-17 cs.LG cs.MA
Risk-sensitive Actor-Critic with Static Spectral Risk Measures for Online and Offline Reinforcement Learning
Department of Mathematics and Statistics(数学与统计学系)
本文针对现有风险敏感强化学习中朴素整合风险度量导致次优策略的问题,提出一种基于静态谱风险度量(SRM)的Actor-Critic优化框架,可推广CVaR和Mean-CVaR,并适用于在线与离线场景,理论证明收敛性且实验表现优于现有方法。
2025-07-05 cs.LG stat.ML
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题,本文提出反转演员-评论家更新顺序的FedRAC算法,理论证明其收敛界不受异质性影响,并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
Apple Inc.(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
离线强化学习承诺从以前收集的静态数据集中学习有效的策略,而无需探索。然而,现有的Q-学习和Actor-Critic基于离线策略的RL算法在从分布外(OOD)动作或状态引导时失败。我们假设,从现有的方法中缺失的一个关键成分是在离线设置的不确定性的适当处理。我们提出了不确定性加权演员-评论家(UWAC),一种检测OOD状态-动作对并相应地降低其在训练目标中的贡献的算法。在实现方面,我们采用了一种实用有效的基于丢弃的不确定性估计方法,该方法比现有RL算法引入的开销非常小。根据经验,我们观察到UWAC在训练过程中大大提高了模型的稳定性。此外,UWAC在各种竞争性任务上的表现优于现有的离线RL方法,并在从人类专家收集的稀疏演示数据集上实现了超过最先进基线的显着性能提升。
2021-05-17 cs.LG
Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization
McGill University(麦吉尔大学);Desautels Faculty of Management(德索特尔管理学院)
连续控制是强化学习的一个广泛应用领域。这一领域的主要参与者是行动者-批评者方法,该方法利用神经逼近器的策略梯度作为常见实践。我们的研究重点是显示的演员损失函数,这是优化的本质部分的特性。我们利用低维可视化的损失函数,并提供各种算法的损失景观的比较。此外,我们将我们的方法应用到多商店的动态库存控制,一个众所周知的困难的问题,在供应链运作,并探讨与最优政策的损失函数的形状。我们使用强化学习建模并解决了这个问题,同时具有有利于最优性的损失景观。
2020-09-04 cs.LG stat.ML
ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning
Peking University(北京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
沟通是大型多智能体世界保持组织性和生产力的关键因素。以往的多智能体“学习通信”研究大多试图对通信协议进行改进,或者采用表格式强化学习、进化算法等技术,但这些技术不能推广到变化的环境或大规模的智能体集合中。在本文中,我们提出了一个演员协调员批评网络(ACCNet)框架解决“学习沟通”的问题。ACCNet自然地将强大的演员-评论家强化学习技术与深度学习技术相结合。它可以有效地学习通信协议,即使从零开始,在部分可观察的环境。我们证明了ACCNet可以实现更好的结果比几个基线下连续和离散的动作空间环境。我们还分析了学习的协议,并讨论了一些设计考虑。
2017-10-29 cs.AI cs.LG
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University(同济大学)
本文提出鲁棒平均场演员-评论家强化学习RoMFAC,通过结合策略梯度与动作损失函数并引入重复正则化,同时构建状态对抗随机博弈模型,有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
Generation of Geodesics with Actor-Critic Reinforcement Learning to Predict Midpoints
OMRON SINIC X Corporation(OMRON SINIC X公司)
本文提出了一种基于Actor-Critic强化学习的方法,通过递归预测中点来生成测地线,以提高在复杂运动学和多自由度机器人臂规划中的性能。
2026-01-05 cs.AI cs.LG
Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
针对多智能体强化学习易收敛到帕累托次优均衡的问题,提出Pareto-AC算法,利用无冲突博弈性质选择帕累托最优均衡,在多种博弈中优于七种现有算法,并扩展出可扩展的PACDCG。
2023-10-14 cs.LG cs.MA
Agent Modeling as Auxiliary Task for Deep Reinforcement Learning
Borealis AI
在本文中,我们探讨了深度强化学习中的Actor-Critic方法,特别是异步优势Actor-Critic(A3 C),可以通过代理建模进行扩展。受最近关于表示学习和多智能体深度强化学习的工作的启发,我们提出了两种架构来执行代理建模:第一种基于参数共享,第二种基于代理策略特征。这两种架构都旨在学习其他代理的策略作为辅助任务,除了标准的演员(策略)和评论家(价值观)。我们在合作和竞争领域进行了实验。前者是一个协调的多智能体对象运输的问题,后者是一个两个玩家的迷你版本的Pommerman游戏。我们的研究结果表明,所提出的架构稳定的学习,并优于标准的A3 C架构时,学习的最佳响应的预期回报。
2019-07-22 cs.LG cs.MA