Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Total stochastic gradient algorithms and applications in reinforcement learning
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
反向传播和导数的链式法则已经很突出;然而，全导数法则并没有得到同样的关注。在这项工作中，我们将展示如何总导数规则导致一个直观的视觉框架，用于创建图形模型上的梯度估计。特别是，以前的“策略梯度定理”很容易推导。我们基于密度估计以及似然比梯度推导出新的梯度估计量，该梯度“跳”到中间结点，而不是直接跳到目标函数。我们评估我们的方法基于模型的策略梯度算法，取得了良好的性能，并提出了证据对大众PILCO算法的成功。
2019-02-05 cs.AI cs.LG cs.NE
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而，这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声，而A3 C在高斯策略下不满足连续性条件。为了解决这些问题，我们提出了一种新的连续强化学习方法的基础上随机微分方程，我们称之为增量强化学习（IRL）。该方法既保证了动作在任意时间间隔内的连续性，又控制了训练过程中动作的方差。此外，我们的方法不假设马尔可夫控制在代理的动作控制，并允许代理预测场景变化的动作选择。有了我们的方法，智能体不再被动地适应环境。相反，他们积极地与环境互动，以获得最大的回报。
2019-08-08 cs.LG stat.ML
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara（加州大学圣巴巴拉分校）
近年来，完全可微刚体物理模拟器已经被开发出来，它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下，这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而，到目前为止，这些梯度被证明是非常具有挑战性的，并且被完全不使用梯度信息的算法所超越。在这项工作中，我们提出了一种新的算法，交叉熵分析策略梯度，能够利用这些梯度，以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习（RL）代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而，在实践中，算法往往需要大量的训练经验来学习和推广。此外，经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面，基于模型的强化学习试图从经验中学习环境模型，并且具有更高的样本效率，但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中，我们提出了一种梯度匹配算法，以提高样本效率，利用目标斜率信息的动态预测器，以帮助无模型学习。我们证明了这一点，提出了一种技术，用于匹配的梯度信息，从基于模型的学习与无模型的组件在一个抽象的低维空间，并验证所提出的技术，通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Graph Signal Sampling via Reinforcement Learning
Aalto University（阿尔托大学）
我们制定的问题，采样和恢复聚类图信号作为一个多臂强盗（MAB）问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是，采样策略表示为MAB各个臂上的概率分布，并使用梯度上升进行优化。数值实验表明，基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
Brown University（布朗大学）；Microsoft Research（微软研究院）
高维观测和复杂的真实世界动力学对函数逼近和探索的强化学习提出了重大挑战。我们用两种互补的技术来解决这两个挑战：首先，我们开发了一种梯度提升风格的非参数函数逼近器，用于学习$Q$函数残差。其次，我们提出了一个探索策略的启发下的状态抽象和信息获取的不确定性原则。我们证明了这些技术的经验有效性，首先，作为一个初步的检查，在两个标准的任务（二十一点和$n$链），然后在两个更大，更现实的任务与高维观察空间。具体来说，我们介绍了两个基准内置游戏Minecraft中的观察是代理的视野的像素阵列。我们的两种算法技术的组合在标准的重复学习任务上表现出竞争力，同时在高维观测空间的两个任务上持续且大幅优于基线。新的函数逼近器，探索策略和评估基准都是追求扩展到现实世界领域的学习方法的独立兴趣。
2016-03-14 cs.AI cs.LG stat.ML
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia（弗吉尼亚大学）；Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声，显著提升其在离策略强化学习中的适用性，核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Meta-Gradient Reinforcement Learning
DeepMind（DeepMind（深度思维））
强化学习算法的目标是估计和/或优化价值函数。然而，与监督学习不同的是，没有教师或预言机可以提供真正的价值函数。相反，大多数强化学习算法估计和/或优化价值函数的代理。此代理通常基于对真实价值函数的采样和自举近似，称为返回。对回报的特定选择是决定算法性质的主要因素之一：未来回报的贴现率;价值应该在何时以及如何自举;甚至是回报本身的性质。众所周知，这些决策对于RL算法的整体成功至关重要。我们讨论了一种基于梯度的元学习算法，该算法能够适应返回的性质，在线，同时从环境中进行交互和学习。当应用于Atari 2600环境中的57个游戏超过2亿帧时，我们的算法实现了新的最先进的性能。
2018-05-24 cs.AI cs.LG stat.ML
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind（深度思维）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）算法可以使用高容量深度网络直接从图像观察中学习。然而，这些高维观测空间在实践中提出了许多挑战，因为该策略现在必须解决两个问题：表示学习和任务学习。在这项工作中，我们分别解决这两个问题，通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家（SLAC）算法：一个样本高效和高性能的RL算法，用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法，通过学习紧凑的潜在表示，然后在模型的学习潜在空间中执行RL，将随机序列模型和RL统一为一种方法。我们的实验评估表明，我们的方法优于无模型和基于模型的替代品的最终性能和样本效率，在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade实验室）
强化学习（RL）是关于顺序决策的，传统上与监督学习（SL）和无监督学习（USL）相反。在RL中，给定当前状态，代理做出可能影响下一状态的决策，而不是SL（和USL），其中下一状态保持不变，无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的，但也有一些联系被忽视了。特别地，我们证明了在本文中，梯度策略方法可以被转换为一个监督学习的问题，真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法（PGM），强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验，我们交换标签和伪奖励。我们的结论是，如果我们明智地修改奖励函数，可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
A General Family of Robust Stochastic Operators for Reinforcement Learning
IBM Research（IBM研究院）
我们考虑一个新的家庭的运营商强化学习的目标是减轻负面影响，并成为更强大的近似或估计误差。建立了各种理论结果，其中包括显示在样本路径的基础上，我们的家庭运营商保持最优性，并增加行动差距。我们的实证结果说明了我们的家庭运营商的强大优势，显着优于经典的贝尔曼运营商和最近提出的运营商。
2019-05-28 cs.LG stat.ML
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Reachability analysis in stochastic directed graphs by reinforcement learning
Istituto di Analisi dei Sistemi ed Informatica “A. Ruberti”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“A.鲁贝尔蒂”系统分析与信息研究所）；University of Catania（卡塔尼亚大学）；Politecnico di Torino（都灵理工大学）
利用强化学习方法刻画了随机有向图的可达概率。特别是，我们表明，在一个随机有向图的转移概率的动态可以通过差分包含，这反过来又可以被解释为一个马尔可夫决策过程建模。使用后一种框架，我们提供了一种方法来设计奖励函数，以提供一组节点的随机有向图的可达概率的上界和下界。通过将该技术应用于流行病在移动代理邻近模式生成的时变接触网络上的传播，证明了该技术的有效性。
2022-02-25 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Stanford University（斯坦福大学）
本文提出了一种定义的多个代理优化联合奖励函数的背景下，系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配，然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境，具有系统健康，冒险，半消耗性代理，连续动作空间，和部分可观察性的特点，证明。与不执行多代理信用分配的策略梯度方法相比，我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto（多伦多大学）
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中，我们应用克罗内克因子曲率估计技术（KFAC）最近提出的梯度估计控制变量优化，RELAX，以提高样本效率，使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；University of Cambridge（剑桥大学）
提出了一种新的优化方法，应用于强化学习（RL）的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度（WNG）下降，利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题，即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明，与先进的基线相比，计算成本和性能都有所改善。
2021-03-18 cs.LG
Concentration of Contractive Stochastic Approximation and Reinforcement Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
利用鞅浓度不等式，导出了具有压缩映射的随机近似算法在鞅差和马尔可夫噪声下的“从时间$n_0$开始”的浓度界.这些应用于强化学习算法，特别是异步Q学习和TD（0）。
2022-06-11 cs.LG cs.SY eess.SY
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
使强化学习（RL）代理能够利用知识库，同时从经验中学习，有望在知识密集型领域推进RL。然而，事实证明，很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法，能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率，并推广到常识游戏中看不见的对象，但我们也研究了故障模式，如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法，无需下层凸性假设，设计了基于模型和无模型算法，收敛速率为O(ε⁻¹)，并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale（南方高等学院）；University of Naples Federico II（那不勒斯费德里科二世大学）
本文提出一种基于策略梯度的分散式强化学习框架，通过Proximal Policy Optimization整合目标选择与驱动，克服了传统DQN的离散动作限制，在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题，并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Bellman Gradient Iteration for Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
本文提出了一种逆强化学习算法，旨在从观察到的行为的代理恢复的奖励函数。我们引入了一种策略来灵活地处理不同类型的行动与两个近似的贝尔曼最优性方程，和贝尔曼梯度迭代方法来计算梯度的Q值相对于奖励函数。这些方法允许我们在Q值和奖励函数之间建立可微关系，并使用梯度方法学习近似最优的奖励函数。我们在两个模拟环境中测试所提出的方法，通过评估不同的近似的准确性，并比较所提出的方法与现有的解决方案。结果表明，即使使用线性奖励函数，所提出的方法具有与采用非线性奖励函数的最先进的方法相当的精度，并且所提出的方法更灵活，因为它是根据观察到的动作而不是轨迹来定义的。
2017-07-24 cs.LG cs.RO
Residual Reinforcement Learning for Robot Teleoperation under Stochastic Delays
Technical University of Munich（慕尼黑技术大学）
针对随机延迟导致的信号不连续问题，本文提出一种混合控制框架，通过LSTM状态估计器与残差强化学习策略相结合，提升遥控稳定性与性能。
2026-05-14 cs.AI cs.RO
A Demonstration of Issues with Value-Based Multiobjective Reinforcement Learning Under Stochastic State Transitions
Federation University Australia（澳大利亚联邦大学）；Deakin University（迪肯大学）
我们报告了一个以前未识别的问题，无模型，基于值的方法，多目标强化学习的环境中的随机状态转换。一个例子多目标马尔可夫决策过程（MOMDP）是用来证明，在这种条件下，这些方法可能无法发现的政策，最大化的标量预期收益，实际上可能会收敛到帕累托主导的解决方案。我们讨论了几种替代方法，这可能是更适合于最大化SER MOMDPs随机过渡。
2020-04-14 cs.LG cs.MA stat.ML
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research（计算机工程系，Zeal工程与研究学院）
本文提出分数阶策略梯度（FPG）框架，利用Caputo分数阶导数建模状态转移间的幂律长程相关性，通过高效递归计算实现恒定时间与内存开销，在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Policy Gradient using Weak Derivatives for Reinforcement Learning
Cornell University（康奈尔大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文考虑连续状态-动作强化学习问题中的策略搜索。通常，使用称为策略梯度定理的策略梯度的经典表达式来计算搜索方向，该定理将价值函数的梯度分解为两个因子：得分函数和Q函数。本文给出了四个结果：（i）一个可供选择的策略梯度定理（ii）证明了由此导出的随机梯度估计是无偏的，并给出了几乎必然收敛到强化学习问题的非凸价值函数的稳定点的算法;（iii）推导了该算法的样本复杂度，并证明了其为$O(1/\sqrt(k))$ ;（iv）最后，证明了用弱导数得到的梯度估计的期望方差低于用流行的得分函数方法得到的梯度估计。在OpenAI健身房摆环境下的实验表明，该算法具有较好的性能。
2020-04-09 cs.LG cs.MA cs.SY
A Decentralized Policy Gradient Approach to Multi-task Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
提出了一种基于策略梯度方法的多任务强化学习（MTRL）问题求解的数学框架。MTRL的目标是学习在不同环境中有效运行的公共策略;这些环境具有相似（或重叠）的状态空间，但具有不同的奖励和动态。我们强调了MTRL中的两个基本挑战，这两个挑战在其单一任务中是不存在的，并用简单的例子来说明它们。在此基础上，我们提出了一种求解MTRL问题的分散熵正则化策略梯度方法，并研究了其有限时间收敛速度。我们使用一系列的数值实验证明了所提出的方法的有效性。这些实验的范围从小规模的“网格世界”的问题，很容易证明涉及多任务学习的权衡，以大规模的问题，其中共同的政策是学习在多个（模拟）环境中导航的空中无人机。
2021-05-28 cs.LG stat.ML
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
A Hybrid Approach for Reinforcement Learning Using Virtual Policy Gradient for Balancing an Inverted Pendulum
Center for Research in Scientific Computation, North Carolina State University（北卡罗来纳州立大学科学计算研究中心）
利用策略梯度算法，我们训练了一个单隐层神经网络来平衡一个物理上精确的模拟单级倒立摆。然后，训练好的权重和偏差可以转移到一个物理代理，在那里它们足够强大，可以平衡一个真正的倒立摆。这种训练模拟的混合方法可以比现实世界中更快地完成数千次试运行，从而大大减少训练时间和更多迭代，产生更强大的模型。与现有的强化学习方法相比，所得到的控制更平滑，学习速度更快，并且能够承受强制干扰。
2021-02-06 cs.LG cs.RO
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习（RL）允许代理在训练期间以在线方式自我调整其超参数。在本文中，我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者，该批评者是使用元学习的折扣因子训练的，用于外部目标中的优势估计，这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子，因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案，这个问题：我们消除这种偏见，使用替代，\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头，并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上，我们证明了偏置会导致当前元梯度RL方法的灾难性失败，并表明我们提出的解决方案修复了它。然后，我们将我们的方法应用于更复杂的环境，并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Reinforcement Learning by Value Gradients
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）
值梯度的概念是在强化学习的背景下引入和发展的。它表明，通过学习的值梯度探索或随机行为不再需要找到局部最优轨迹。这是使用值梯度的主要动机，并且有人认为学习值梯度是用于控制问题的任何值函数学习算法的实际目标。也有人认为，学习值梯度是显着更有效的学习值，这一论点是支持在实验中的效率增益的几个数量级，在几个问题领域。一旦将值梯度引入学习，几种分析就成为可能。例如，证明了值梯度学习算法和策略梯度学习算法之间令人惊讶的等价性，并且这为使用具有一般函数逼近器的价值函数的控制问题提供了鲁棒的收敛性证明。
2008-03-25 cs.AI cs.NE
Stochastic Constraint Programming as Reinforcement Learning
Insight Centre for Data Analytics（数据分析洞察中心）；University College Cork（科克大学学院）；University of Edinburgh（爱丁堡大学）；Cankaya University（昌卡亚大学）
随机约束编程（SCP）是约束编程（CP）的扩展，用于建模和解决涉及约束和不确定性的问题。SCP继承了CP优秀的建模能力和滤波算法，但到目前为止，它还没有被应用到大型问题。强化学习（RL）将动态规划扩展到大型随机问题，但它是特定于问题的，没有通用的求解器。我们提出了一个混合的RL的可扩展性与CP的建模和约束过滤方法相结合。我们在CP系统中实现了一个原型，并证明了它对SCP问题的有用性。
2017-04-24 cs.AI
