Pseudorehearsal in actor-critic agents with neural network function approximation
LLC Innodata(因诺数据有限责任公司);Innopolis University(因诺波利斯大学);Dublin Institute of Technology(都柏林理工学院)
灾难性遗忘在强化学习中具有显著的负面影响。本研究的目的是探讨如何假排练可以改变性能的演员评论家代理与神经网络功能近似。我们测试代理在极点平衡任务,并比较不同的pseudorhearsal方法。我们已经发现,假复述可以帮助学习和减少遗忘。
2018-02-19 cs.AI
Comparative Study of Multi-Agent Actor-Critic Algorithms in Parameterized Action Reinforcement Learning
研究参数化动作强化学习中多智能体演员-评论家算法,提出共享经验多智能体扩展框架,通过在特定基准上评估,发现多智能体框架提升贪婪演员-评论家性能,多智能体软演员-评论家等提升较小,还揭示了智能体数量增加时性能与计算成本的权衡。
2026-07-22 cs.AI
Algorithms for CVaR Optimization in MDPs
Stanford University(斯坦福大学);INRIA Lille(里尔法国国家信息与自动化研究所);Adobe Research(Adobe研究院)
在许多顺序决策问题中,我们可能希望通过最小化成本的可变性来管理风险,除了最小化标准之外。条件风险价值(CVaR)是一种相对较新的风险度量方法,它解决了众所周知的方差相关风险度量方法的一些缺点,并且由于其计算效率而在金融和运筹学中受到欢迎。在本文中,我们考虑的平均CVaR优化问题的MDPs。首先,我们推导出一个公式,用于计算这个风险敏感的目标函数的梯度。然后,我们设计的策略梯度和演员批评的算法,每个使用一个特定的方法来估计这个梯度和更新的下降方向的政策参数。我们建立我们的算法收敛到局部风险敏感的最优策略。最后,我们证明了我们的算法在最佳停止问题的有用性。
2014-07-10 cs.AI math.OC
Pseudorehearsal in actor-critic agents
Innopolis University(因诺波利斯大学)
灾难性遗忘在强化学习中具有严重的影响,因为数据分布通常是稀疏的并且随着时间的推移是非平稳的。本研究的目的是调查是否pseudorhearsal可以提高性能的行动者-评论家代理与神经网络为基础的政策选择和功能近似在极点平衡任务,并比较不同的pseudorhearsal方法。我们希望pseudorhearsal帮助学习,即使在这样简单的问题,适当的初始化的排练参数。
2017-04-17 cs.AI
DeepTOP: Deep Threshold-Optimal Policy for MDPs and RMABs
Texas A&M University(得克萨斯农工大学)
我们考虑学习控制问题的最优阈值策略的问题。阈值策略通过评估系统状态的元素是否超过特定阈值来做出控制决策,该阈值的值由系统状态的其他元素确定。通过利用阈值策略的单调性,我们证明了它们的策略梯度有一个令人惊讶的简单表达式。我们使用这个简单的表达式来构建一个离线策略的演员-评论家算法来学习最优阈值策略。仿真结果表明,我们的政策显着优于其他强化学习算法,由于其能够利用单调属性。此外,我们表明,惠特尔指数,一个强大的工具,不安分的多臂土匪问题,是等价的最优阈值政策的替代问题。这一观察导致了一个简单的算法,通过学习替代问题中的最优阈值策略来找到Whittle指数。仿真结果表明,我们的算法学习的Whittle指数远远快于最近的几项研究,通过间接手段学习的Whittle指数。
2022-09-28 cs.AI cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning
VU Amsterdam(阿姆斯特丹自由大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Leiden University(莱顿大学);University of Warsaw(华沙大学);Simon Fraser University(西蒙菲莎大学);The University of Hong Kong(香港大学)
本文系统梳理LLM后训练中的强化学习方法,从MDP构建、探索策略到学习范式,揭示当前方法分布不均,指出价值函数、离策略AC及自举法等领域存在研究空白。
2026-06-23 cs.AI cs.LG
A Convergent Online Single Time Scale Actor Critic Algorithm
Technion(以色列理工学院)
基于Actor-Critic的方法是最早在一般环境中解决强化学习的方法之一。最近,这些算法已经获得了新的兴趣,由于其通用性,良好的收敛性能,和可能的生物相关性。在本文中,我们介绍了一个在线的时间差的演员评论家算法被证明是收敛到一个局部最大值的平均回报的邻域。评价者使用线性函数近似来估计价值函数和从评价者传递到执行者的时间差信号。本收敛性证明的主要区别特征是演员和评论家都在类似的时间尺度上操作,而在大多数当前收敛性证明中,它们需要具有非常不同的时间尺度才能收敛。此外,使用相同的时间差信号来更新演员和评论家两者的参数。所提出的方法的一个局限性,两个时间尺度收敛的结果相比,是收敛只保证一个最优值的邻域,而不是最优值本身。演员和评论家使用的单个时间尺度和相同的时间差信号可以提供朝向在大脑中构建更生物现实的强化学习模型的步骤。
2009-09-16 cs.AI cs.LG
Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
University of Edinburgh(爱丁堡大学);Google DeepMind(谷歌DeepMind);Mila(米拉研究所)
探索on-policy算法中Actor与Critic分离表示的机制,发现分离表示能促使两者分别专注于动作与价值信息,提升样本效率,并证实分离的critic对训练中的探索至关重要。
2025-03-31 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta(阿尔伯塔大学);Stanford University(斯坦福大学);Google Brain(谷歌大脑)
演员-评论家(AC)方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度(PG)密切相关,但它们之间的精确联系以前没有得到充分的表征。在本文中,我们解释了AC和PG方法之间的差距,确定准确的调整AC目标/梯度,恢复真正的策略梯度的累积奖励目标(PG)。此外,通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏,我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果,我们开发了实用的算法,残余演员评论家和Stackelberg演员评论家,估计AC和PG之间的校正,并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明,所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST(韩国科学技术院);UNIST(全南大学)
本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
2026-02-20 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间,它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间,以及一个评论家网络,以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间,所提出的架构,我们称之为混合演员评论家,可以扩展到更一般的动作空间,具有层次结构。我们提出了一个基于近端策略优化(PPO)的混合Actor-Critic架构的实例,我们称之为混合近端策略优化(H-PPO)。我们的实验在具有参数化动作空间的任务集合上测试H-PPO,其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Actor-Critic based Training Framework for Abstractive Summarization
The Chinese University of Hong Kong(香港中文大学);Tencent Inc.(腾讯公司)
我们提出了一个基于强化学习的演员-评论家方法的神经抽象摘要训练框架。在传统的基于神经网络的方法中,目标只是最大化预测摘要的可能性,而没有考虑其他评估约束,这可能会产生低质量的摘要甚至是错误的句子。为了缓解这个问题,我们采用一个演员批评的框架,以提高培训过程。对于演员,我们采用典型的注意力为基础的序列到序列(seq 2seq)框架的策略网络的摘要生成。对于评论家,我们结合了最大似然估计与一个精心设计的全球摘要质量估计,这是一个基于神经网络的二元分类器,旨在使所生成的摘要难以区分的人类写的。采用策略梯度方法进行参数学习。提出了一种交替训练策略来进行演员和评论家模型的联合训练。在不同语言的基准数据集上进行的大量实验表明,我们的框架比最先进的方法有所改进。
2018-08-15 cs.AI cs.CL
SMAC: Score-Matched Actor-Critics for Robust Offline-to-Online Transfer
University of Toronto(多伦多大学);Vector Institute(向量研究所)
SMAC通过正则化Q函数,使演员-评论家在离线到在线RL迁移中保持性能,有效避免性能下降。
2026-08-11 cs.AI cs.LG
Soft Actor-Critic for Discrete Action Settings
Imperial College London(帝国理工学院)
Soft Actor-Critic是一种最先进的强化学习算法,用于连续动作设置,不适用于离散动作设置。然而,许多重要的设置涉及离散动作,因此在这里我们推导出适用于离散动作设置的Soft Actor-Critic算法的替代版本。然后,我们表明,即使没有任何超参数调整,它是有竞争力的调整无模型的国家的最先进的选择游戏从雅达利套件。
2019-10-18 cs.AI cs.LG stat.ML
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University(北京大学)
提出用谱有效秩熵衡量评论家模型复杂度,在TD3和PPO实验中追踪复杂度与回报、偏差的关系,并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology(浙江科技大学)
超参数优化是机器学习中的一个关键问题,因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力,如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程,并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明,该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Adversarially Guided Actor-Critic
Inria(法国国家信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Google Research(谷歌研究院)
尽管在深度强化学习问题上取得了一定的成功,但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题,特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策(演员)和一个价值函数(批评家),其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角:对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时,演员除了学习解决任务之外,还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略,使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明,由此产生的对抗引导演员评论(AGAC)算法导致更详尽的探索。值得注意的是,AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心)
无模型深度强化学习(RL)算法已在一系列具有挑战性的决策和控制任务中得到验证。然而,这些方法通常面临两个主要挑战:非常高的样本复杂性和脆弱的收敛特性,这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中,我们提出了软演员-评论家,一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中,行动者的目标是最大化预期回报,同时也最大化熵。也就是说,在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合,我们的方法在一系列连续控制基准任务上实现了最先进的性能,优于之前的政策内和政策外方法。此外,我们证明,与其他政策外算法相比,我们的方法是非常稳定的,在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Broad Critic Deep Actor Reinforcement Learning for Continuous Control
University of Macau(澳门大学)
针对连续控制中深度强化学习(DRL)数据需求大、计算成本高的问题,本文提出融合宽学习系统(BLS)与深度神经网络(DNN)的混合行动者-批评者框架,增强现有算法并提升训练效率与准确性,适用于实时控制场景。
2025-04-12 cs.AI cs.LG
Mean Actor Critic
Brown University(布朗大学);Amazon(亚马逊)
我们提出了一种新的算法,平均演员批评(MAC),离散动作连续状态强化学习。MAC是一种策略梯度算法,它使用代理对所有动作值的显式表示来估计策略的梯度,而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果,其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Virtual Action Actor-Critic Framework for Exploration (Student Abstract)
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对强化学习中智能体高效探索的难题,受人类想象动作结果的能力启发,提出引入虚拟行动者的虚拟动作行动者-评论家框架,通过修正Q函数结合奖励与虚拟策略熵,实验证明其探索性能优于现有算法。
2023-11-06 cs.AI cs.LG
Distributed Soft Actor-Critic with Multivariate Reward Representation and Knowledge Distillation
在本文中,我们描述了NeurIPS 2019学习移动-走动挑战基于物理的环境,并提出了我们的解决方案,该竞赛获得了1303.727平均奖励积分,排名第三。我们的方法结合了连续和离散动作空间强化学习的最新进展,例如分布式强化学习中的软演员-评论和循环经验重放。我们分两个阶段训练我们的智能体:在第一阶段移动到某个地方,在第二阶段跟随目标速度场。我们还引入了新的Q函数分裂技术,我们相信这有助于训练代理的任务,允许批评家预训练和重用它来解决更难的问题,并减轻奖励塑造设计工作。
2020-04-10 cs.AI cs.LG
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Kakao Brain
在本文中,我们提出了一类新的马尔可夫决策过程(MDP),称为Tsallis MDP,Tsallis熵最大化,推广现有的最大熵强化学习(RL)。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架,包括著名的标准香农-吉布斯(SG)熵,使用额外的实值参数,称为熵指数。通过控制熵指数,我们可以产生各种类型的熵,包括SG熵,不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析,包括最优性条件,性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题,我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值,并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题,我们发现,一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估,并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees
Simon Fraser University(西蒙弗雷泽大学);Samsung - SAIT AI Lab, Montreal(三星-三星高级技术研究院人工智能实验室(蒙特利尔));Microsoft Research(微软研究院);Mila(米拉研究所)
本文提出一种决策感知的Actor-Critic方法,通过联合优化Actor与Critic解决TD误差与高奖励目标不一致的问题,并给出策略单调改进的理论保证及实验验证。
2023-10-31 cs.AI cs.LG math.OC
OPAC: Opportunistic Actor-Critic
Ramakrishna Mission Vivekananda Educational and Research Institute (RKMVERI)(罗摩克里希纳传道会维韦卡南达教育与研究所(RKMVERI))
Actor-critic方法是一种无模型强化学习(RL)方法,在连续控制的许多实际领域都取得了很好的效果。尽管取得了成功,但这些模型的大规模部署仍然很遥远。这些行动者-批评者方法的主要问题是效率低下的探索和次优的政策。软演员-评论家(SAC)和双延迟深度确定性策略梯度(TD 3)是两种前沿的此类算法,但都存在这些问题。SAC有效地解决了超参数的样本复杂性和收敛脆弱性问题,因此在更困难的任务中优于所有最先进的算法,包括TD 3,而TD 3在所有环境中产生中等结果。SAC由于其策略的高斯性质而遭受低效率的探索,这导致在简单任务中的边界性能。在本文中,我们介绍了一种新的无模型深度强化学习算法--启发式Actor-Critic(OPAC),它采用了更好的探索策略和更小的方差。OPAC结合了TD 3和SAC的一些最强大的功能,旨在以非策略的方式优化随机策略。为了计算目标Q值,而不是两个批评家,OPAC使用三个批评家,并根据环境的复杂性,机会主义地选择如何从批评家的评价计算目标Q值。我们在MuJoCo环境中系统地评估了该算法,它实现了最先进的性能,优于或至少等于TD 3和SAC的性能。
2020-12-11 cs.AI cs.LG
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究院(IARAI))
在常用的假设下,我们证明了演员-评论家强化学习算法的收敛性,该算法同时学习策略函数(演员)和价值函数(评论家)。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化(PPO)和最近推出的RUDDER。对于收敛性证明,我们采用最近推出的技术,从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法,使用情节样本,并有一个政策,在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似,不能处理情节的例子,或者不考虑政策变得贪婪。后者是相关的,因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Addressing Function Approximation Error in Actor-Critic Methods
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
在基于值的强化学习方法(如深度Q学习)中,已知函数近似误差会导致高估的值估计和次优策略。我们发现,这个问题仍然存在的演员,评论家设置,并提出新的机制,以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上,通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系,并建议延迟策略更新,以减少每次更新的错误,进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法,在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind(谷歌DeepMind)
本研究证明离线演员-评论家强化学习可扩展至大型模型,遵循与监督学习相似的缩放规律,并在132个连续控制任务上超越行为克隆基线,引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University(清华大学)
由于需要较少的在线仿真数据,因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程,另一些人通过模仿专家演示来预训练策略。然而,这些方法是不稳定的,不适合演员-评论家强化学习算法。此外,一些现有的方法依赖于全局最优假设,这在大多数情况下是不正确的。在本文中,我们采用专家示范的行动者-批评强化学习框架,同时确保性能不受影响的事实,专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法,预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER,实验结果表明,该方法不仅比没有预训练过程的RL算法性能更好,而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind(深度思维)
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合,并提出了两个挑战的解决方案:(a)有效的演员-评论家学习与经验重放(b)离策略学习的稳定性,其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描,其中所有参与的代理同时运行,并通过一个共同的重放模块分享他们的经验。为此,我们分析的偏差方差权衡V-跟踪,一种形式的重要性采样的演员批评的方法。基于我们的分析,然后,我们认为混合经验与政策上的经验重放采样,并提出了一个新的信任域方案,有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处,通过展示Atari上最先进的数据效率,在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
When Does Critique Improve AI-Assisted Theoretical Physics? SCALAR: Structured Critic--Actor Loop for Agentic Reasoning
Department of Physics, CCTP;ITCP, University of Crete, 71303, Greece;Centre for Theoretical Physics, Department of Physics;Astronomy, Queen Mary University of London, London E1 4NS, United Kingdom;Theoretical Physics Department, CERN, Geneva, Switzerland
本文研究了研究人员与代理交互对AI辅助理论物理研究的影响,通过SCALAR框架评估不同交互结构对科学发现的促进作用。
2026-08-12 cs.AI cs.HC hep-ph
Mutual-Information Regularization in Markov Decision Processes and Actor-Critic Learning
累积熵正则化为强化学习(RL)问题引入了一个监管信号,鼓励具有高熵行为的策略,这相当于强制执行与统一参考边际策略的小偏差。这已被证明可以提高探索性和鲁棒性,并解决了价值高估问题。它还导致表格和高维设置中的性能显着提高,如通过软Q学习(SQL)和软演员评论家(SAC)等算法所证明的那样。累积熵正则化已经被扩展到优化参考边际策略,而不是保持它固定,产生一个正则化,最大限度地减少状态和动作之间的互信息。虽然这最初是针对表格设置中的马尔可夫决策过程(MDP)提出的,但最近表明,对于具有离散动作和函数逼近器的高维域,类似的原理导致RL中的vanilla SQL的显着改进。在这里,我们遵循互信息正则化的动机从推理的角度和理论分析相应的贝尔曼算子。受此Bellman算子的启发,我们设计了一种新的互信息正则化行动者-评论家学习(MIRACLE)算法的连续动作空间,优化了参考边际政策。我们在Mujoco机器人模拟器中实证验证了MIRACLE,在那里我们证明了它可以与当代RL方法竞争。最值得注意的是,它可以改善无模型的最先进的SAC算法,其中隐含地假设一个固定的参考策略。
2019-09-11 cs.AI cs.LG stat.ML
Potential Field Guided Actor-Critic Reinforcement Learning
Artificial Intelligence Research Center of National Innovation Institute of Defense Technology(国防科技创新研究院人工智能研究中心);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心)
在本文中,我们考虑行动者-批评者强化学习的问题。首先,我们通过在奖励之外引入更多的评论,将Actor-Critic架构扩展为Actor-Critic-N架构。其次,我们结合基于奖励的评论家和基于势场的评论家,制定建议的势场引导的演员-评论家强化学习方法(演员-评论家-2)。这可以看作是基于模型的梯度和无模型梯度在政策改进中的结合。具有大势场的状态往往包含着较强的先验信息,如指向目标的距离较远或避开障碍物侧面的碰撞等。在这种情况下,我们应该更多地信任基于势场的政策评价,以促进政策改进,其中行动政策倾向于指导。例如,在实际应用中,学习避障应该是引导性的,而不是通过试错来学习。势场较小的状态往往是缺乏信息的,例如,在局部极小点或运动目标周围。在这个时候,我们应该更多地相信基于奖励的评论作为政策评估来评估长期回报。在这种情况下,行动政策倾向于探索。此外,势场评估可以与规划相结合,以估计更好的状态价值函数。这样,奖励设计就可以更多地关注奖励的最后阶段,而不是奖励塑造或阶段性奖励。此外,势场评估可以弥补多智能体合作问题中通信的不足,即,多智能体中的每个智能体都有一个基于奖励的评价器和一个相对统一的基于势场的评价器。最后,通过捕食者-食饵博弈的简化实验验证了该方法的有效性。
2020-06-12 cs.AI cs.CV cs.LG
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);INRIA Lille(里尔国家信息与自动化研究所)
在许多顺序决策问题中,人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化,即,提高对小概率和高后果事件的认识。因此,本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程(MDP),其中风险表示通过机会约束或约束的条件风险价值(CVaR)的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说,我们首先推导出一个公式,用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后,我们设计了策略梯度和行动者-批评者算法,用于(1)估计此类梯度,(2)在下降方向上更新策略,以及(3)在上升方向上更新拉格朗日乘数。对于这些算法,我们证明收敛到局部最优的政策。最后,我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Variational Quantum Soft Actor-Critic
University of Alberta(阿尔伯塔大学)
量子计算在解决特定问题方面具有优越的优势,如整数分解和西蒙问题。对于机器学习中更一般的任务,通过应用变分量子线路,最近提出了越来越多的量子算法,特别是在监督学习和无监督学习中。然而,在强化学习方面做的工作很少,可以说更重要和更具挑战性。量子强化学习以前的工作主要集中在离散控制任务,其中动作空间是离散的。在这项工作中,我们开发了一种基于软演员-评论家的量子强化学习算法-连续控制的最先进方法之一。具体来说,我们使用一个混合量子经典策略网络组成的变分量子线路和经典人工神经网络。在一个标准的强化学习基准测试中,我们证明了这种量子版本的软演员-评论家与原始的软演员-评论家相当,使用的可调参数少得多。此外,我们分析了不同的超参数和策略网络结构的影响,指出了量子强化学习的结构设计的重要性。
2021-12-20 cs.AI cs.LG quant-ph
Quantum Advantage Actor-Critic for Reinforcement Learning
Institute of Informatics, LMU Munich(慕尼黑大学信息学院)
提出将优势演员-评论家算法与变分量子电路结合的量子强化学习方法,在Cart Pole环境中测试,混合策略性能优于纯经典和纯量子变体,但受限于当前量子硬件。
2024-01-13 cs.AI cs.LG quant-ph
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学)
我们提出了一个演员批评,无模型,和在线强化学习(RL)框架的连续状态连续动作马尔可夫决策过程(MDP)时,奖励是高度稀疏的,但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南,其中提出了模块化深度确定性策略梯度(DDPG)架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中,我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace(土耳其航空航天)
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题,采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
TT-DAC-PS: Twin-Target Deterministic Actor-Critic with Policy Smoothing for Optimal Trade Execution
University of Reading(雷丁大学);University of Göttingen(哥廷根大学);GWDG(哥廷根数据处理中心);Henley Business School(亨利商学院)
提出TT-DAC-PS算法,结合双指数移动平均评论家目标、悲观最小备份、TD3风格策略平滑噪声、延迟演员更新和保守Q正则化,以抑制过高估计,并在限价订单簿数据上优于经典和强化学习基线。
2026-06-07 cs.AI cs.CE cs.LG
Divergence-Regularized Multi-Agent Actor-Critic
Peking University(北京大学)
熵正则化是强化学习中的一种常用方法。虽然它有很多优点,但它改变了原始马尔可夫决策过程(MDP)的RL目标。虽然发散正则化被提出来解决这个问题,但它不能简单地应用于协作多智能体强化学习(MARL)。本文研究了协作MARL中的发散正则化问题,并提出了一种新的非策略协作MARL框架,发散正则化的多智能体行动者-评论者(DMAC)。理论上,我们推导出了DMAC的更新规则,该规则是自然偏离策略的,并且保证了原始MDP和发散正则化MDP的单调策略改进和收敛。我们还给出了收敛策略与原MDP中最优策略之间的差异的界。DMAC是一个灵活的框架,可以与许多现有的MARL算法相结合。经验上,我们评估DMAC在教学随机游戏和星际争霸多智能体挑战赛,并表明DMAC大大提高了现有的MARL算法的性能。
2022-06-21 cs.AI cs.LG cs.MA
The Actor-Advisor: Policy Gradient With Off-Policy Advice
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
Actor-critic算法学习一个显式策略(actor)和一个伴随的价值函数(critic)。参与者在环境中执行操作,而批评者评估参与者的当前策略。然而,尽管他们的稳定性和有前途的收敛性能,目前的演员批评家算法不优于批评,只有在实践中。我们认为,评论家学习Q^pi而不是最佳Q函数Q* 的事实阻止了使用最先进的鲁棒和样本高效的离策略学习算法。在本文中,我们提出了一个优雅的解决方案,演员顾问架构,其中一个策略梯度演员学习无偏蒙特卡罗返回,而被塑造(或建议)的Softmax政策所产生的政策外的批评。批评者可以独立于演员学习,使用任何最先进的算法。在高质量评论家的建议下,演员迅速而有力地学习任务,而其使用蒙特卡洛回归有助于克服评论家可能存在的任何偏见。除了新的Actor-Critic公式之外,Actor-Advisor(一种允许外部咨询策略塑造策略梯度参与者的方法)还可以应用于许多其他领域。通过改变建议的来源,我们证明了演员顾问的广泛适用性,其他三个重要的子领域的强化学习:安全的强化学习与备份策略,有效利用领域知识,并在强化学习迁移学习。我们的实验结果证明了Actor-Advisor与最先进的Actor-Critic方法相比的好处,说明了它对上面列出的其他三个应用场景的适用性,并表明RL的许多重要挑战现在可以使用一个优雅的解决方案来解决。
2019-02-07 cs.AI
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms
University of Oxford(牛津大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
我们从表示学习的角度研究了演员-评论家算法实现中的折扣失配。从理论上讲,演员-评论家算法通常对演员和评论家都有折扣,即,在用于在轨迹中的时间$t$处观察到的转变的行动者更新中存在$γ^t$项,并且批评者是折扣价值函数。然而,实践者通常在使用折扣评论时忽略参与者的折扣($γ^t$)。我们在两种情况下调查这种不匹配。在第一种情况下,我们考虑优化一个未折现的目标$(γ= 1)$,其中$γ^t$自然消失$(1^t = 1)$。然后,我们建议解释折扣在批评方面的偏差方差表示权衡,并提供支持的实证结果。在第二种情况下,我们考虑优化折扣目标($γ< 1$),并建议解释省略的折扣在演员更新从辅助任务的角度来看,并提供支持的实证结果。
2022-01-26 cs.AI cs.LG
SARC: Soft Actor Retrospective Critic
Carnegie Mellon University(卡内基梅隆大学);MIT Media Lab(麻省理工学院媒体实验室);Adobe(奥多比公司)
SAC是一种行动者-批评者算法,其双时间尺度性质的特征在于,批评者估计在任何给定时间都不会收敛于行动者,但由于批评者比行动者学习得更快,因此它确保了两者之间的最终一致性。在文献中已经引入了各种策略来学习更好的梯度估计,以帮助实现更好的收敛。由于梯度估计依赖于评论家,我们认为,改善评论家可以提供一个更好的梯度估计演员在每一个时间。利用这一点,我们提出了软演员回顾性批评(SARC),在那里我们增加了SAC的评论家损失与另一个损失长期-回顾性损失-导致更快的评论家收敛,因此,更好的策略梯度的演员估计。SAC的现有实现可以通过最小的修改轻松地适应SARC。通过大量的实验和分析,我们表明,SARC提供了一致的改进SAC的基准环境。我们计划在https://github.com/sukritiverma1996/SARC上开源代码和所有实验数据。
2023-06-28 cs.AI cs.LG
Cautious Actor-Critic
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
离策略学习的振荡性能和ACTOR-CRITIC(actor-critic)设置中的持续错误要求算法能够保守地学习以更好地适应稳定性关键应用。在本文中,我们提出了一种新的非策略AC算法谨慎的行动者-评论家(CAC)。谨慎的名字来自双重保守的性质,我们利用经典的政策插值从保守的政策迭代的演员和保守的价值迭代的熵正则化的批评。我们的主要观察是熵正则化的评论家促进和简化了笨拙的插值演员更新,同时仍然确保强大的政策改进。我们比较CAC的一组具有挑战性的连续控制问题的最先进的AC方法,并证明CAC实现可比的性能,同时显着稳定的学习。
2021-10-05 cs.AI cs.LG
Finite Time Analysis of Constrained Natural Critic-Actor Algorithm with Improved Sample Complexity
Indian Institute of Science(印度科学理工学院)
针对现有评论家-演员算法分析的局限,提出首个带约束、函数逼近的长期平均代价自然评论家-演员算法,给出非渐近收敛保证与最优学习率,改进样本复杂度,实验验证其在Safety-Gym环境中性能具竞争力。
2025-10-05 cs.AI cs.LG
AFU: Actor-Free critic Updates in off-policy RL for continuous control
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出 AFU 离策略深度强化学习算法,通过回归与条件梯度缩放解决连续控制中的 max-Q 问题,并在实验中证明其可媲美最先进 actor-critic 方法。
2024-10-25 cs.AI cs.LG
Model-based actor-critic: GAN (model generator) + DRL (actor-critic) => AGI
我们的努力是将GAN和DRL算法统一到一个统一的AI模型中(AGI或通用AI或人工通用智能,具有通用应用程序:(A)离线学习(存储数据的),如中的GAN(非/半/全)SL设置,如大数据分析(挖掘)和可视化;(B)在线学习(真实或模拟设备),如RL设置中的DRL(有/无环境奖励),例如(真实或模拟)机器人和控制;我们的核心建议是增加一个(生成/预测)环境模型到行动者-批评者(无模型)架构,其导致具有时间差分(TD)误差和情景记忆的基于模型的演员-评论家架构。提出的AI模型类似于(无模型)DDPG,因此它被称为基于模型的DDPG。为了评估它,我们将其与(无模型)DDPG进行比较,将它们应用于OpenAI Gym和Unity Agents中的各种(广泛)独立模拟机器人和控制任务环境。我们最初有限的实验表明,DRL和GAN在基于模型的演员-评论家的结果在一个增量的目标驱动的智能需要解决每个任务与(无模型)DDPG类似的性能。我们未来的重点是研究所提出的人工智能模型的潜力:(A)通过与最好的基于模型(PlaNet)和无模型(D4 PG)方法相比,产生有竞争力的性能,统一人工智能内部的DRL领域;(B)通过解决奖励工程的重要问题,通过演示学习奖励函数,弥合人工智能和机器人社区之间的差距。
2021-04-20 cs.AI cs.LG
Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
本工作全面分析了带自动温度调节的Soft Actor-Critic算法的正则化,通过重新表述策略评估、策略改进和温度调节,以更明确的方式增强了原始理论的清晰度。
2023-05-23 cs.AI cs.LG
Asymmetric Actor-Critic for Multi-turn LLM Agents
AWS Agentic AI
本文提出非对称Actor-Critic框架,利用专有LLM作为Actor,开源模型作为Critic,提升多轮对话可靠性。实验显示该方法在τ-bench和UserBench上优于单Agent基线,且轻量级Critic表现优异。
2026-03-31 cs.AI cs.CL
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University(普林斯顿大学电气与计算机工程系)
非策略Actor-Critic算法已经证明了惊人的实验性能,但仍然需要更好的解释。为此,我们将其政策评估误差的分布转换分解为:贝尔曼错误,政策不匹配的偏差,和方差项从抽样。通过比较偏差和方差的大小,我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差,因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
Simon Fraser University(西蒙弗雷泽大学);Samsung AI(三星人工智能)
本文分析了DSAC在离散动作领域表现不佳的原因,提出了一种灵活的off-policy actor-critic框架,通过解耦actor和critic熵实现性能提升,并在Atari游戏中验证了其鲁棒性。
2026-05-11 cs.AI cs.LG