Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University(浙江大学)
全采样(例如,Q学习)和纯期望(例如,期望Sarsa)算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而,它仅限于表格的情况下,对于大规模的学习,Q $(σ,λ)$太昂贵,需要大量的表来准确地存储价值函数。为了解决上述问题,我们提出了一个GQ $(σ,λ)$,它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明,全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
Monte-Carlo utility estimates for Bayesian reinforcement learning
本文介绍了一套蒙特卡罗贝叶斯强化学习的算法。首先,利用蒙特卡罗方法对贝叶斯最优价值函数的上界进行估计,构造一个乐观策略。其次,介绍了基于梯度的近似上下界算法。最后,我们介绍了一类新的梯度算法贝叶斯贝尔曼误差最小化。我们从理论上证明了梯度方法是合理的。实验上,我们证明了上限方法的优越性,在获得的奖励。然而,我们也表明,贝叶斯贝尔曼误差方法是一个密切的第二,尽管其显着的计算简单。
2013-03-11 cs.LG stat.ML
Learning Power Control from a Fixed Batch of Data
Department of Systems and Computer Engineering, Carleton University(卡尔顿大学系统与计算机工程系);Huawei Canada Co., Ltd.(华为加拿大有限公司)
我们解决如何利用功率控制数据,从一个受监控的环境中收集,在一个未开发的环境中执行功率控制。我们采用离线深度强化学习,智能体学习策略,仅通过使用数据来产生传输功率。实验表明,尽管监控和未探索的环境之间的差异,代理成功地学习功率控制非常快,即使在监控和未探索的环境中的目标函数是不同的。大约三分之一的收集数据足以达到高质量,其余的可以来自任何次优算法。
2020-08-05 cs.IT cs.LG cs.SY
Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation
Columbia University(哥伦比亚大学);University of Alberta(阿尔伯塔大学);DeepMind London(DeepMind 伦敦);DeepMind Paris(DeepMind 巴黎)
本文提出一个基于离策略评估的统一框架,用于估计元强化学习中的高阶导数,统一了多种现有方法,并阐明了 Hessian 估计的偏差-方差权衡,同时引入易于实现且能提升性能的新估计器家族。
2026-10-06 cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好,形成了当代强化学习的基础,如信任域策略优化(TRPO)和近端策略优化(PPO)。本课堂讲稿旨在阐明自然策略梯度背后的直觉,着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University(澳大利亚国立大学)
存在许多强化学习算法,它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明,即使在部分可观测的环境与非确定性的行动,而不需要fora系统模型。然而,梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣,在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统,并表明它会影响方差,而不会引入进一步的偏差。特别是,当我们接近零偏差,高方差参数化时,最佳(或方差最小化)恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法,并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
MQGrad: Reinforcement Learning of Gradient Quantization in Parameter Server
在参数服务器(PS)上训练大规模机器学习模型的最大瓶颈之一是通信开销,因为在训练迭代期间需要在工作者和服务器之间频繁地交换模型梯度。梯度量化是一种有效的降低通信量的方法。梯度量化中的一个关键问题是设置用于量化梯度的比特数。少量的比特可以显著减少通信开销,但会损害梯度精度,反之亦然。理想的量化方法将通过根据从刚刚过去的训练迭代中学习到的知识调整比特数来动态地平衡通信开销和模型精度。然而,现有的方法,要么用固定数量的位,或与预定义的启发式规则的梯度。在本文中,我们提出了一种新的自适应量化方法的框架内的强化学习。被称为MQGrad的方法将量化比特的选择形式化为马尔可夫决策过程(MDP)中的动作,其中MDP状态记录从过去的优化迭代收集的信息(例如,损失函数值的序列)。在机器学习算法的训练迭代期间,MQGrad根据损失函数的变化不断更新MDP状态。根据这些信息,MDP学习选择最佳动作(位数)来消除梯度。基于基准数据集的实验结果表明,MQGrad可以加速大规模深度神经网络的学习,同时保持其预测精度。
2018-04-22 cs.LG stat.ML
Monitored Markov Decision Processes
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
本文提出了Monitored MDPs这一强化学习框架,解决了智能体无法总是观测环境奖励的问题,讨论了其理论实际后果并提出了应对算法。
2024-02-13 cs.LG
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出了GProp,一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先,我们提出了一种基于时间差的学习值函数梯度的方法。其次,我们提出了偏离者-行动者-批评者(DAC)模型,它包括三个神经网络,估计的价值函数,其梯度,并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp:一个由非参数回归数据集构建的上下文强盗问题,该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂,一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争,并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);University of Cambridge(剑桥大学)
提出了一种新的优化方法,应用于强化学习(RL)的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度(WNG)下降,利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题,即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明,与先进的基线相比,计算成本和性能都有所改善。
2021-03-18 cs.LG
Variational Policy Gradient Method for Reinforcement Learning with General Utilities
University of Minnesota(明尼苏达大学);US Army Research Laboratory(美国陆军研究实验室);DeepMind;University of Alberta(阿尔伯塔大学);Princeton University(普林斯顿大学)
近年来,强化学习(RL)系统的一般目标超出了奖励的累积总和,已经获得了牵引力,例如在约束问题,探索和根据先前的经验采取行动。在本文中,我们考虑马尔可夫决策问题的政策优化,其中的目标是一个一般的凹效用函数的状态-动作占用措施,其中包括几个上述的例子作为特殊情况。这种普遍性使贝尔曼方程失效。由于这意味着动态规划不再起作用,因此我们将重点放在直接策略搜索上。类似的策略梯度定理\cite{sutton2000policy}可用于RL与累积奖励,我们推导出一个新的变分策略梯度定理RL与一般的效用,建立了参数化的策略梯度可以获得作为一个随机鞍点问题的解决方案,涉及Fenchel对偶的效用函数。提出了一种基于样本路径的变分蒙特卡罗梯度估计算法来计算策略梯度。我们证明了变分策略梯度方案全局收敛于一般目标的最优策略,尽管优化问题是非凸的。我们还建立了它的顺序$O(1/t)$的收敛速度,利用隐藏凸性的问题,并证明了它的指数收敛时,允许隐藏的强凸性的问题。我们的分析适用于标准的RL问题与累积奖励作为一个特殊的情况下,在这种情况下,我们的结果提高了可用的收敛速度。
2020-07-04 cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using Passive Langevin Dynamics
Department of Electrical & Computer Engineering, Cornell University(康奈尔大学电气与计算机工程系)
本文对用于自适应逆强化学习的被动随机梯度朗之万动力学算法开展有限样本分析,给出2-瓦瑟斯坦距离显式界与核密度估计保证,兼具理论与实践意义。
2025-01-15 cs.LG stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington(惠灵顿维多利亚大学)
在具有连续动作空间的马尔可夫决策过程(MDP)上的深度强化学习(DRL)通常通过沿着估计的策略梯度(PG)的方向直接训练参数策略来实现。以前的研究表明,这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而,现有的PG合并方法可能是样本效率低,不适合训练直接确定性的政策。为了解决这些问题,本文引入精英PG,并加强其方差减少效果,采用精英主义和政策巩固技术,定期政策培训的基础上,从精英轨迹提取的政策行为知识。同时,我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展,传统的插值合并方法。在理论和实验两个层面上,我们表明,两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG,并减轻他们对训练有素的政策的性能影响。我们的实验还表明,两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo(布法罗大学)
针对模型失配下的鲁棒强化学习问题,提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策(子)梯度,这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法,并表明,要实现$ε$ -全局最优,复杂性是$\mathcal O(ε^{-3})$。然后,我们将我们的方法扩展到一般的无模型设置,并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后,我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示(诸如价值函数或策略)的广泛算法家族。每个算法都相对于定义其语义的目标(例如Q学习或策略梯度)来优化其参数。在这项工作中,我们提出了一种基于Meta梯度下降的算法,该算法发现了自己的目标,通过深度神经网络灵活地参数化,仅从与环境的交互经验。随着时间的推移,这允许代理学习如何越来越有效地学习。此外,由于目标是在线发现的,它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题,如自举,非平稳性和离策略学习。在Atari学习环境中,元梯度算法随着时间的推移而适应,以更高的效率学习,最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Total stochastic gradient algorithms and applications in reinforcement learning
Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
反向传播和导数的链式法则已经很突出;然而,全导数法则并没有得到同样的关注。在这项工作中,我们将展示如何总导数规则导致一个直观的视觉框架,用于创建图形模型上的梯度估计。特别是,以前的“策略梯度定理”很容易推导。我们基于密度估计以及似然比梯度推导出新的梯度估计量,该梯度“跳”到中间结点,而不是直接跳到目标函数。我们评估我们的方法基于模型的策略梯度算法,取得了良好的性能,并提出了证据对大众PILCO算法的成功。
2019-02-05 cs.AI cs.LG cs.NE
Understanding the Effects of Second-Order Approximations in Natural Policy Gradient Reinforcement Learning
University of Waterloo(滑铁卢大学)
自然策略梯度方法是流行的强化学习方法,其通过利用二阶近似来用Fisher信息矩阵的逆来预处理梯度来提高策略梯度方法的稳定性。然而,据作者所知,还没有一项研究以全面和系统的方式调查了不同二阶近似的影响。为了解决这个问题,研究了五种不同的二阶近似,并在多个关键指标上进行了比较,包括性能、稳定性、样本效率和计算时间。此外,研究了文献中未被典型承认的超参数,包括不同批量的影响和自然梯度优化的评论网络。实验结果表明,平均而言,改进的二阶近似实现了最佳性能,并且使用适当调整的超参数可以导致性能和样本效率的大幅改善,范围高达+181%。我们还在https://github.com/gebob19/natural-policy-gradient-reinforcement-learning上提供了本研究中的代码。
2022-10-10 cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习(meta-RL)在经验上取得了成功,但理论和实践之间仍然存在一些难以理解的差异。重要的是,有偏梯度估计几乎总是在实践中实现,而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中,我们调查这样的差异。特别是,(1)我们表明,无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;(2)我们提出了线性得分函数(LSF)梯度估计,其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;(3)我们表明,大多数经验的工作,实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差,以实现更好的性能;(4)我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点,表现出更好的依赖于$N$比以前的工作时,$N$是大的。
2021-12-14 cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila(米拉);Polytechnique Montréal(蒙特利尔综合理工学院);CIFAR AI Chair(加拿大高级研究院人工智能主席)
诸如模型不可知元学习(MAML)之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而,特别是在Meta强化学习(元RL)的情况下,我们可以证明,基于梯度的元学习器是敏感的任务分布。在错误的课程中,代理遭受元过拟合,浅适应和适应不稳定的影响。在这项工作中,我们首先强调了基于梯度的元RL的有趣的失败案例,并表明任务分布可以广泛地影响算法输出,稳定性和性能。为了解决这个问题,我们利用最近关于域随机化的文献中的见解,并提出了Meta主动域随机化(元ADR),它学习基于梯度的元RL的任务课程,类似于ADR对sim 2 real传输的任务。我们表明,这种方法诱导更稳定的政策,对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化,发现即使在非结构化任务空间中,学习到的任务分布也大大提高了MAML的适应性能。最后,我们激发了元RL中更好的基准测试的需求,该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习(RL)代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而,在实践中,算法往往需要大量的训练经验来学习和推广。此外,经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面,基于模型的强化学习试图从经验中学习环境模型,并且具有更高的样本效率,但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中,我们提出了一种梯度匹配算法,以提高样本效率,利用目标斜率信息的动态预测器,以帮助无模型学习。我们证明了这一点,提出了一种技术,用于匹配的梯度信息,从基于模型的学习与无模型的组件在一个抽象的低维空间,并验证所提出的技术,通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多目前部署的强化学习代理在与人类共享的环境中工作,无论是同事,用户还是客户。人们希望这些智能体能够适应人们的偏好,在他们的帮助下更快地学习,并在他们周围安全地行动。我们认为,目前大多数从人类反馈中学习的方法都是不安全的:事后奖励或惩罚代理人不能立即防止它做错事。在本文中,我们扩展了策略梯度,使其强大的外部指令,否则将打破从根本上的政策性质的策略梯度。我们的技术,定向策略梯度(DPG),允许教师或备份策略覆盖代理之前,它的行为不可取的,同时允许代理利用人类的建议或指令,以更快地学习。我们的实验表明,DPG使代理学习速度比基于奖励的方法快得多,同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota(明尼苏达大学)
本文研究了强化学习中的分布式策略优化问题,该问题涉及一个中央控制器和一组学习器。特别是,在几个应用程序中遇到的两个典型的设置被认为是:多智能体强化学习(RL)和并行RL,学习者和控制器之间的频繁的信息交换是必需的。然而,对于许多实际的分布式系统,这些频繁的通信交换所造成的开销是相当可观的,并成为整体性能的瓶颈。为了解决这一问题,提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信,在不降低学习性能的前提下减少了通信开销。它是建立解析:i)新的算法具有相同的收敛速度的平原香草策略梯度;而ii)如果分布式学习器是异构的,在他们的奖励功能,需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比,替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
Graph Signal Sampling via Reinforcement Learning
Aalto University(阿尔托大学)
我们制定的问题,采样和恢复聚类图信号作为一个多臂强盗(MAB)问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是,采样策略表示为MAB各个臂上的概率分布,并使用梯度上升进行优化。数值实验表明,基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
近年来,完全可微刚体物理模拟器已经被开发出来,它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下,这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而,到目前为止,这些梯度被证明是非常具有挑战性的,并且被完全不使用梯度信息的算法所超越。在这项工作中,我们提出了一种新的算法,交叉熵分析策略梯度,能够利用这些梯度,以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
Brown University(布朗大学);Microsoft Research(微软研究院)
高维观测和复杂的真实世界动力学对函数逼近和探索的强化学习提出了重大挑战。我们用两种互补的技术来解决这两个挑战:首先,我们开发了一种梯度提升风格的非参数函数逼近器,用于学习$Q$函数残差。其次,我们提出了一个探索策略的启发下的状态抽象和信息获取的不确定性原则。我们证明了这些技术的经验有效性,首先,作为一个初步的检查,在两个标准的任务(二十一点和$n$链),然后在两个更大,更现实的任务与高维观察空间。具体来说,我们介绍了两个基准内置游戏Minecraft中的观察是代理的视野的像素阵列。我们的两种算法技术的组合在标准的重复学习任务上表现出竞争力,同时在高维观测空间的两个任务上持续且大幅优于基线。新的函数逼近器,探索策略和评估基准都是追求扩展到现实世界领域的学习方法的独立兴趣。
2016-03-14 cs.AI cs.LG stat.ML
Meta-Gradient Reinforcement Learning
DeepMind(DeepMind(深度思维))
强化学习算法的目标是估计和/或优化价值函数。然而,与监督学习不同的是,没有教师或预言机可以提供真正的价值函数。相反,大多数强化学习算法估计和/或优化价值函数的代理。此代理通常基于对真实价值函数的采样和自举近似,称为返回。对回报的特定选择是决定算法性质的主要因素之一:未来回报的贴现率;价值应该在何时以及如何自举;甚至是回报本身的性质。众所周知,这些决策对于RL算法的整体成功至关重要。我们讨论了一种基于梯度的元学习算法,该算法能够适应返回的性质,在线,同时从环境中进行交互和学习。当应用于Atari 2600环境中的57个游戏超过2亿帧时,我们的算法实现了新的最先进的性能。
2018-05-24 cs.AI cs.LG stat.ML
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras(马德拉斯印度理工学院)
针对离策略强化学习控制问题,提出两种基于平滑泛函梯度估计的策略梯度算法,推导其非渐近收敛界,证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect;Lamsade PSL(巴黎文理研究大学Lamsade实验室)
强化学习(RL)是关于顺序决策的,传统上与监督学习(SL)和无监督学习(USL)相反。在RL中,给定当前状态,代理做出可能影响下一状态的决策,而不是SL(和USL),其中下一状态保持不变,无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的,但也有一些联系被忽视了。特别地,我们证明了在本文中,梯度策略方法可以被转换为一个监督学习的问题,真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法(PGM),强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验,我们交换标签和伪奖励。我们的结论是,如果我们明智地修改奖励函数,可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
我们获得了全局,非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理(即,零和随机博弈)。我们考虑一个情节设置,在每一集中,每个玩家独立地选择一个策略,只观察自己的行为和奖励,以及状态。我们表明,如果两个球员运行策略梯度方法串联,他们的政策将收敛到最小-最大均衡的游戏,只要他们的学习率遵循两个时标规则(这是必要的)。据我们所知,这构成了第一个有限样本收敛的结果,独立的策略梯度方法在竞争性强化学习,以前的工作主要集中在集中,协调程序的平衡计算。
2021-01-11 cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中,价值函数的近似会导致高估偏差,从而导致次优策略。我们发现,当代理人收到的强化信号有很高的方差,深演员批评的方法,克服高估偏见导致大量低估偏见。我们首先解决现有的方法,旨在克服这种低估错误的有害问题。然后,通过广泛的统计分析,我们引入了一种新的、无参数的深度Q学习变体,以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样,我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进,并证明它大大优于现有的方法,并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Reinforcement Learning of Speech Recognition System Based on Policy Gradient and Hypothesis Selection
Tokyo Institute of Technology(东京工业大学)
语音识别系统已经实现了几个任务的高识别性能。然而,这种系统的性能取决于准备大量任务匹配的转录语音数据用于监督训练的非常昂贵的开发工作。这里的关键问题是转录语音数据的成本。为支持新的语言和新的任务,一再需要这笔费用。假设为许多用户转录语音数据的广泛网络服务,如果系统具有从来自用户的非常轻微的反馈中学习而不打扰用户的能力,则系统将变得更加自给自足和更加有用。本文提出了一种基于策略梯度方法的语音识别系统的通用强化学习框架。作为该框架的一个特例,我们还提出了一种基于假设选择的强化学习方法。建议的框架提供了一个新的观点,现有的几个培训和适应方法。实验结果表明,该方法提高了识别性能相比,无监督的适应。
2017-11-10 cs.CL cs.LG stat.ML
On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑模型不可知元学习(MAML)方法的强化学习(RL)的问题,其目标是找到一个政策,使用数据从几个任务表示的马尔可夫决策过程(MDP),可以更新一步的随机策略梯度实现MDP。特别是,在MAML更新步骤中使用随机梯度对于RL问题至关重要,因为精确梯度的计算需要访问大量可能的轨迹。对于这个公式,我们提出了一个变体的MAML方法,命名为随机梯度Meta-强化学习(SG-MRL),并研究其收敛特性。我们推导出SG-MRL的迭代和样本复杂度,以找到$ε$ -一阶稳定点,据我们所知,这为模型不可知的Meta强化学习算法提供了第一个收敛保证。我们进一步展示了我们的结果如何扩展到的情况下,多个步骤的随机策略梯度方法在测试时使用。最后,我们在几个深度RL环境中实证比较了SG-MRL和MAML。
2021-11-17 cs.LG math.OC stat.ML
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法,通过理论推导和算法设计,实现稳定学习和快速收敛,优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Malliavin Calculus for Counterfactual Gradient Estimation in Adaptive Inverse Reinforcement Learning
School of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
本文提出一种基于拉格朗日算法的自适应逆强化学习方法,利用马尔蒂尼算子高效估计反事实梯度,解决传统方法收敛慢的问题。
2026-09-22 cs.LG
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发,本文建立了两种强化学习算法:深度策略梯度和基于价值函数的代理,可以预测最好的交通信号交叉口。在每个时间步,这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号,然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果,而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Policy Gradient using Weak Derivatives for Reinforcement Learning
Cornell University(康奈尔大学);U.S. Army Research Laboratory(美国陆军研究实验室)
本文考虑连续状态-动作强化学习问题中的策略搜索。通常,使用称为策略梯度定理的策略梯度的经典表达式来计算搜索方向,该定理将价值函数的梯度分解为两个因子:得分函数和Q函数。本文给出了四个结果:(i)一个可供选择的策略梯度定理(ii)证明了由此导出的随机梯度估计是无偏的,并给出了几乎必然收敛到强化学习问题的非凸价值函数的稳定点的算法;(iii)推导了该算法的样本复杂度,并证明了其为$O(1/\sqrt(k))$ ;(iv)最后,证明了用弱导数得到的梯度估计的期望方差低于用流行的得分函数方法得到的梯度估计。在OpenAI健身房摆环境下的实验表明,该算法具有较好的性能。
2020-04-09 cs.LG cs.MA cs.SY
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI;Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Normal University(北京师范大学)
在本文中,我们提出了一种新的元学习方法在强化学习设置,基于演化策略(ES),探索参数空间和确定性策略梯度。ES方法易于并行化,这对于现代训练架构是理想的;然而,这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术,以弥补样本效率的问题,同时保持固有的可扩展性的ES方法。我们证明,我们的方法取得了良好的效果相比,基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外,由于元训练阶段的无梯度方法,在自适应训练中不需要有关梯度和策略的信息,我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory(GRASP实验室);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时,输入和控制空间的维数也会增加,这些方法的扩展性不好。为了解决这个问题,我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设,对于多代理设置,在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近,可以近似为一个单一的政策。有了这个简单的假设,我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Model-Based Exploration in Monitored Markov Decision Processes
Department of Computing Science, University of Alberta(阿尔伯塔大学计算机科学系);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Canada CIFAR AI Chair, Amii(加拿大CIFAR人工智能 chair,Amii)
本文提出了一种基于模型的算法,解决监控马尔可夫决策过程中的局限性,通过区间估计确保奖励可靠并学习最优策略,实验显示收敛速度更快,且在已知监控过程时改进更显著,同时提供了首个有限样本性能界。
2026-03-21 cs.LG
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的,甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的,但它仅限于特定问题,并且学习也容易陷入局部最优。我们提出了一个无模型的方法,不依赖于环境奖励,以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离,以取代环境的奖励,并提出了一个目标距离梯度,以实现政策的改善。我们还介绍了一个桥点规划方法的基础上,我们的方法的特点,以提高勘探效率,从而解决更复杂的任务。实验结果表明,我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
Policy Gradients for Probabilistic Constrained Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
针对强化学习中的概率安全约束缺乏梯度表达式的问题,本文推导其显式策略梯度,可兼容多种基于策略的算法,并在连续导航任务中验证可行性。
2023-04-18 cs.LG
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
Dropout长期以来一直是监督学习的主要内容,但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法,并介绍一致的辍学,一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后,我们证明了一致的dropout可以在线训练复杂的架构,如GPT,而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Trajectory-Based Off-Policy Deep Reinforcement Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
策略梯度方法是一种功能强大的强化学习算法,已被证明可以解决许多复杂的任务。然而,这些方法也是数据效率低下的,受到高方差梯度估计的困扰,并且经常陷入局部最优。这项工作解决了这些弱点,结合最近的改进,在重复使用的政策数据和探索参数空间与确定性的行为政策。所得到的目标是服从标准的神经网络优化策略,如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性采样将先前的推出合并,极大地提高了数据效率,而随机优化方案有助于摆脱局部最优。我们评估了一系列的连续控制基准任务所提出的方法。结果表明,该算法能够成功地和可靠地学习解决方案,使用更少的系统交互比标准的策略梯度方法。
2019-05-14 cs.AI cs.LG stat.ML
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Stanford University(斯坦福大学)
本文提出了一种定义的多个代理优化联合奖励函数的背景下,系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配,然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境,具有系统健康,冒险,半消耗性代理,连续动作空间,和部分可观察性的特点,证明。与不执行多代理信用分配的策略梯度方法相比,我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London(伦敦城市大学)
在这篇理论论文中,我们关注的问题,学习一个价值函数的光滑一般函数逼近器,解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明,学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值,往往是局部最优的,我们认为,这带来了更高的效率值函数学习。这与传统的值函数学习形成对比,在传统的值函数学习中,值函数必须在整个状态空间上学习。它也证明了,政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新,这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习,和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne(科隆大学)
本文系统综述深度强化学习中的同策略策略梯度算法,整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Evolution-Guided Policy Gradient in Reinforcement Learning
Collaborative Robotics and Intelligent Systems Institute(协作机器人与智能系统研究所);Oregon State University(俄勒冈州立大学)
深度强化学习(DRL)算法已成功应用于一系列具有挑战性的控制任务。然而,这些方法通常遭受三个核心困难:时间信用分配与稀疏的奖励,缺乏有效的探索,和脆性收敛特性,是非常敏感的超参数。总的来说,这些挑战严重限制了这些方法对现实世界问题的适用性。进化算法(EAs)是一类受自然进化启发的黑盒优化技术,非常适合解决这三个挑战中的每一个。然而,EA通常遭受高样本复杂性,并且难以解决需要优化大量参数的问题。在本文中,我们介绍了进化强化学习(ERL),一种混合算法,利用人口的EA提供多样化的数据训练RL代理,并重新插入RL代理到EA人口定期注入梯度信息到EA。ERL继承了EA的时间信用分配的能力与适应度度量,有效的探索与不同的政策,和稳定的人口为基础的方法,并补充它与离政策DRL的能力,利用梯度更高的样本效率和更快的学习。在一系列具有挑战性的连续控制基准的实验表明,ERL显着优于以前的DRL和EA方法。
2018-10-27 cs.LG cs.NE stat.ML
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University(普渡大学)
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数,例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是,我们学习一个新的价值函数的目标任务,同时结合它与价值估计从先前的计算。最后,将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明,成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法,无需下层凸性假设,设计了基于模型和无模型算法,收敛速率为O(ε⁻¹),并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale(南方高等学院);University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出一种基于策略梯度的分散式强化学习框架,通过Proximal Policy Optimization整合目标选择与驱动,克服了传统DQN的离散动作限制,在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题,并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University(首尔大学)
提出约束多目标强化学习算法CoMOGA,将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突,在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG