Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning
University of Southern California（南加州大学）；New York University（纽约大学）
考虑一下训练具有强大能力的代理人的问题。一种方法是生成代理策略的多样化集合。训练可以被视为一个质量多样性（QD）优化问题，在这里我们搜索一组在量化行为方面不同的性能策略。最近的工作表明，可微质量多样性（DQD）算法大大加快QD优化时，精确的梯度。然而，代理策略通常假设环境是不可区分的。为了将DQD算法应用于训练代理策略，我们必须近似性能和行为的梯度。我们提出了当前最先进的DQD算法的两个变体，它们通过强化学习（RL）中常见的近似方法计算梯度。我们评估我们的方法对四个模拟运动任务。一种变体在结合QD和RL方面实现了与当前最先进的结果相当的结果，而另一种变体在两个运动任务中执行重复。这些结果深入了解了当前DQD算法在必须近似梯度的领域中的局限性。源代码可在https://github.com/icaros-usc/dqd-rl上获得
2022-04-15 cs.AI cs.LG cs.NE
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Trapezoidal Gradient Descent for Effective Reinforcement Learning in Spiking Networks
Xidian University（西安电子科技大学）
针对现有脉冲网络强化学习算法用矩形函数近似导致灵敏度低的问题，提出梯形近似梯度法，在保留稳定学习状态的同时提升适应性与灵敏度，实验验证其收敛速度、性能和稳定性更优。
2024-06-19 cs.AI
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
使强化学习（RL）代理能够利用知识库，同时从经验中学习，有望在知识密集型领域推进RL。然而，事实证明，很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法，能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率，并推广到常识游戏中看不见的对象，但我们也研究了故障模式，如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Knowledge- and Gradient-Guided Reinforcement Learning for Parametrized Action Markov Decision Processes
HSU-AI Institute for Artificial Intelligence（HSU人工智能研究所）
研究参数化动作马尔可夫决策过程中的强化学习，提出KGRL算法，利用领域知识修剪动作、约束参数空间，结合梯度细化参数，能提供局部解释并提高样本效率，优于现有强化学习基线。
2026-07-16 cs.AI
Gradient Coupling: The Hidden Barrier to Generalization in Agentic Reinforcement Learning
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）；Beijing Institute of Technology（北京理工大学）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心）
本文提出了一种通过训练演员同时作为分类器来分离好坏动作，从而缓解代理强化学习中梯度耦合问题并提升泛化能力的方法。
2026-01-15 cs.AI
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习（RL）允许代理在训练期间以在线方式自我调整其超参数。在本文中，我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者，该批评者是使用元学习的折扣因子训练的，用于外部目标中的优势估计，这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子，因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案，这个问题：我们消除这种偏见，使用替代，\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头，并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上，我们证明了偏置会导致当前元梯度RL方法的灾难性失败，并表明我们提出的解决方案修复了它。然后，我们将我们的方法应用于更复杂的环境，并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
Expected Policy Gradients for Reinforcement Learning
Microsoft Research Cambridge（微软研究院剑桥分院）；University of Oxford（牛津大学）
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期Sarsa的启发，EPG在估计梯度时对动作进行积分（或求和），而不是仅依赖于采样轨迹中的动作。对于连续的行动空间，我们首先得到一个实际的结果，高斯政策和二次批评，然后将其扩展到一个普遍的分析方法，涵盖了广泛的一类演员和批评，包括高斯，指数家庭，并与有界支持的政策。对于高斯策略，我们引入了一种探索方法，该方法使用与评论家的缩放Hessian矩阵指数成比例的协方差。对于离散的动作空间，我们推导出一个基于softmax策略的EPG变体。我们还建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。此外，我们证明了EPG降低了梯度估计的方差，而不需要确定性的政策，并具有很小的计算开销。最后，我们提供了一个广泛的EPG实验评估，并表明它优于现有的方法在多个具有挑战性的控制域。
2020-05-02 cs.AI stat.ML
Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Eindhoven University of Technology（埃因霍温理工大学）
为了增强多智能体协作，我们分析了最近发布的Hanabi基准测试中的几种基于策略的深度强化学习算法。我们的研究提出了一个可能违反直觉的发现，在多代理合作纸牌游戏的简化环境中，Vanilla策略梯度在多个随机种子上优于近端策略优化（PPO）。在我们对这种行为的分析中，我们研究了Hanabi特定的指标，并假设了PPO平台的原因。此外，我们还证明了完美游戏（71回合）和任何游戏（89回合）的最大长度。我们的代码可以在https://github.com/bramgrooten/DeepRL-for-Hanabi上找到
2022-03-22 cs.AI cs.LG cs.MA
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning
InstaDeep
在线调整学习过程的自调整算法鼓励更有效和更强大的学习。在所有可用的方法中，元梯度已成为一种有前途的方法。他们利用学习规则相对于一些超参数的可微性，以在线方式调整它们。虽然元梯度可以在多个学习步骤中累积以避免近视更新，但这在实践中很少使用。在这项工作中，我们证明了虽然多步元梯度确实提供了预期中更好的学习信号，但这是以方差显著增加为代价的，从而阻碍了性能。根据这种分析，我们引入了一种新的方法，混合多个内部步骤，享有更准确和鲁棒的元梯度信号，本质上权衡偏置和方差的元梯度估计。当应用于Snake游戏时，混合元梯度算法可以将方差削减3倍，同时实现类似或更高的性能。
2021-10-30 cs.AI cs.LG
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Tilted Quantile Gradient Updates for Quantile-Constrained Reinforcement Learning
Tsinghua University（清华大学）；MIT（麻省理工学院）
本文提出倾斜分位数梯度更新方法，用于分位数约束强化学习，通过直接估计分位数梯度并补偿非对称密度，在满足安全约束的同时提升回报性能。
2024-12-17 cs.AI cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Joint Optimization of Multi-Objective Reinforcement Learning with Policy Gradient Based Algorithm
Purdue University（普渡大学）
本文针对多目标强化学习中最大化非线性凹函数的问题，提出一种基于策略梯度的无模型算法，并证明其以与标准策略梯度相同的采样复杂度收敛到全局最优。
2025-09-21 cs.AI cs.LG cs.SY
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习（RL）代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而，在实践中，算法往往需要大量的训练经验来学习和推广。此外，经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面，基于模型的强化学习试图从经验中学习环境模型，并且具有更高的样本效率，但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中，我们提出了一种梯度匹配算法，以提高样本效率，利用目标斜率信息的动态预测器，以帮助无模型学习。我们证明了这一点，提出了一种技术，用于匹配的梯度信息，从基于模型的学习与无模型的组件在一个抽象的低维空间，并验证所提出的技术，通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Graph Signal Sampling via Reinforcement Learning
Aalto University（阿尔托大学）
我们制定的问题，采样和恢复聚类图信号作为一个多臂强盗（MAB）问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是，采样策略表示为MAB各个臂上的概率分布，并使用梯度上升进行优化。数值实验表明，基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
Policy Gradients for Cumulative Prospect Theory in Reinforcement Learning
department of computer science at ETH Zürich（苏黎世联邦理工学院计算机科学系）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出了一种基于累积前景理论的强化学习策略梯度算法，通过蒙特卡洛梯度估计器实现，并证明了算法在CPT目标上的渐近收敛性。
2026-09-09 cs.AI cs.LG
Accelerating Quantum Reinforcement Learning with a Quantum Natural Policy Gradient Based Approach
Purdue University, West Lafayette, IN, USA（普渡大学）
针对无模型量子强化学习问题，提出量子自然策略梯度（QNPG）算法，用确定性梯度估计替代经典随机采样，实现$\tilde{\mathcal{O}}(\varepsilon^{-1.5})$样本复杂度，显著优于经典下界。
2025-06-30 cs.AI quant-ph stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
Brown University（布朗大学）；Microsoft Research（微软研究院）
高维观测和复杂的真实世界动力学对函数逼近和探索的强化学习提出了重大挑战。我们用两种互补的技术来解决这两个挑战：首先，我们开发了一种梯度提升风格的非参数函数逼近器，用于学习$Q$函数残差。其次，我们提出了一个探索策略的启发下的状态抽象和信息获取的不确定性原则。我们证明了这些技术的经验有效性，首先，作为一个初步的检查，在两个标准的任务（二十一点和$n$链），然后在两个更大，更现实的任务与高维观察空间。具体来说，我们介绍了两个基准内置游戏Minecraft中的观察是代理的视野的像素阵列。我们的两种算法技术的组合在标准的重复学习任务上表现出竞争力，同时在高维观测空间的两个任务上持续且大幅优于基线。新的函数逼近器，探索策略和评估基准都是追求扩展到现实世界领域的学习方法的独立兴趣。
2016-03-14 cs.AI cs.LG stat.ML
Meta-Gradient Reinforcement Learning
DeepMind（DeepMind（深度思维））
强化学习算法的目标是估计和/或优化价值函数。然而，与监督学习不同的是，没有教师或预言机可以提供真正的价值函数。相反，大多数强化学习算法估计和/或优化价值函数的代理。此代理通常基于对真实价值函数的采样和自举近似，称为返回。对回报的特定选择是决定算法性质的主要因素之一：未来回报的贴现率;价值应该在何时以及如何自举;甚至是回报本身的性质。众所周知，这些决策对于RL算法的整体成功至关重要。我们讨论了一种基于梯度的元学习算法，该算法能够适应返回的性质，在线，同时从环境中进行交互和学习。当应用于Atari 2600环境中的57个游戏超过2亿帧时，我们的算法实现了新的最先进的性能。
2018-05-24 cs.AI cs.LG stat.ML
Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms
Guanghua School of Management, Peking University（北京大学光华管理学院）；State University of New York at Stony Brook（纽约州立大学石溪分校）
本研究提出基于分位数的策略优化算法及其离策略变体，通过双时间尺度更新优化累积奖励的分位数，在深度RL中优于基线算法。
2023-05-12 cs.AI cs.LG
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade实验室）
强化学习（RL）是关于顺序决策的，传统上与监督学习（SL）和无监督学习（USL）相反。在RL中，给定当前状态，代理做出可能影响下一状态的决策，而不是SL（和USL），其中下一状态保持不变，无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的，但也有一些联系被忽视了。特别地，我们证明了在本文中，梯度策略方法可以被转换为一个监督学习的问题，真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法（PGM），强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验，我们交换标签和伪奖励。我们的结论是，如果我们明智地修改奖励函数，可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（交叉信息学院（IIIS）、清华大学）；Language Technologies Institute (LTI), Carnegie Mellon University（语言技术研究所（LTI）、卡内基梅隆大学）
GradAlign通过梯度对齐数据选择方法提升大语言模型强化学习的训练稳定性与性能。
2026-07-21 cs.AI cs.CL cs.LG
On the Approximation and Convergence of Distributional Policy Gradient Algorithms for Risk-Sensitive Reinforcement Learning
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
本文提出一种针对风险敏感分布式强化学习的新策略梯度方法，提供概率测度梯度的解析形式，设计CDPG算法并证明其有限支撑最优性与有限迭代收敛性，实验验证了风险敏感设置的优越性。
2026-09-30 cs.AI cs.LG math.OC
Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
低资源关系抽取（LRE）的目标是在人工标注不足的情况下，从有限的标注语料中抽取关系事实。现有的工作要么利用自我训练计划，以产生伪标签，将导致逐渐漂移的问题，或利用元学习计划，不征求反馈显式。为了减轻由于现有LRE学习范例中缺乏反馈回路而导致的选择偏差，我们开发了梯度模仿强化学习方法，以鼓励伪标签数据模仿标签数据上的梯度下降方向，并通过试错来引导其优化能力。我们还提出了一个框架，称为GradLRE，它处理两个主要的情况下，低资源关系抽取。除了未标记的数据是足够的情况下，GradLRE处理的情况下，没有未标记的数据是可用的，通过利用上下文增强方法来生成数据。在两个公开数据集上的实验结果表明，与基线相比，GradLRE在低资源关系抽取上是有效的。
2021-09-14 cs.AI cs.CL
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法，无需下层凸性假设，设计了基于模型和无模型算法，收敛速率为O(ε⁻¹)，并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation
School of Data Science, Fudan University, Shanghai, China（复旦大学数据科学学院，上海，中国）
针对主动推荐系统中策略梯度估计存在的长度依赖偏差和高方差问题，提出ProRL框架，通过逐步奖励中心化和位置特定优势估计两个机制修正梯度，显著提升推荐效果。
2026-05-28 cs.AI cs.LG
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
From Bandits Model to Deep Deterministic Policy Gradient, Reinforcement Learning with Contextual Information
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）
针对强化学习资源消耗高、求解慢不适用于量化交易的问题，提出结合上下文汤普森采样与监督加速的方法，并将CPPI策略融入DDPG，实验验证二者均可加速强化学习最优解获取。
2023-10-01 cs.AI cs.LG cs.MA
Trajectory-Based Off-Policy Deep Reinforcement Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
策略梯度方法是一种功能强大的强化学习算法，已被证明可以解决许多复杂的任务。然而，这些方法也是数据效率低下的，受到高方差梯度估计的困扰，并且经常陷入局部最优。这项工作解决了这些弱点，结合最近的改进，在重复使用的政策数据和探索参数空间与确定性的行为政策。所得到的目标是服从标准的神经网络优化策略，如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性采样将先前的推出合并，极大地提高了数据效率，而随机优化方案有助于摆脱局部最优。我们评估了一系列的连续控制基准任务所提出的方法。结果表明，该算法能够成功地和可靠地学习解决方案，使用更少的系统交互比标准的策略梯度方法。
2019-05-14 cs.AI cs.LG stat.ML
Reinforcement Learning Disrupts Gradient-Based Adversarial Optimization
COSIC, KU Leuven（鲁汶大学COSIC）；Imec；Brubotics, VUB（布鲁塞尔自由大学Brubotics）；DistriNet, KU Leuven（鲁汶大学DistriNet）
研究通过强化学习训练图像分类器以破坏攻击者使用的梯度结构，发现RL作为隐式正则化器产生不稳定梯度方向和较小梯度幅度，使基于梯度的攻击失效，并与对抗训练结合实现双重防御。
2026-06-11 cs.AI cs.CR cs.LG
The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文针对联邦多智能体强化学习中的通信开销与环境异质性问题，提出基于衰减和基于共识的两种SGD优化方案，并给出收敛保证与仿真验证。
2023-05-29 cs.AI cs.LG cs.MA
Performative Policy Gradient: Optimality in Performative Reinforcement Learning
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL F-59000 Lille, France（里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工大学、UMR 9189 – CRIStAL）；ACMU, Indian Statistical Institute, Kolkata - 700108, India（ACMU、印度统计研究所）
本文提出PePG算法，首次在强化学习中考虑表现性因素，证明其收敛于表现性最优策略，优于现有稳定性导向的算法。
2026-02-02 cs.AI cs.LG math.OC
Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning
Tencent AI Lab（腾讯AI实验室）；University of Notre Dame（诺丁汉大学）
G2RL通过利用模型自身的梯度几何特性，改进大语言模型的推理能力，优于传统探索方法。
2025-12-17 cs.AI cs.LG
Efficient On-Policy Reinforcement Learning via Exploration of Sparse Parameter Space
Department of Computer Science Stony Brook University（计算机科学系石溪大学）
针对同策略强化学习中替代梯度与真实奖励相关性差、参数空间局部结构未被充分探索的问题，提出可插拔流水线ExploRLer，通过迭代级探测梯度更新的未探索邻域，在不增加梯度更新次数的前提下显著提升复杂连续控制任务性能。
2025-09-30 cs.AI cs.LG
Reinforcement Learning via Value Gradient Flow
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）
本文提出价值梯度流（VGF）方法，通过最优传输问题解决行为正则化的强化学习问题，实现大规模生成模型的可扩展性，并在离线强化学习和大语言模型强化学习任务中取得最佳性能。
2026-04-15 cs.AI cs.LG
On the model-based stochastic value gradient for continuous reinforcement learning
Facebook AI Research（脸书人工智能研究院）；NYU（纽约大学）
十多年来，基于模型的强化学习一直被视为一种利用基于控制的领域知识来提高强化学习代理的样本效率的方法。虽然基于模型的代理在概念上很有吸引力，但它们的策略在最终奖励方面往往落后于无模型代理，特别是在非平凡的环境中。作为回应，研究人员提出了基于模型的代理越来越复杂的组件，从概率动力学模型的集合，以减少模型错误的算法。在这种趋势的逆转，我们表明，简单的基于模型的代理可以从现有的想法，不仅匹配，但优于最先进的无模型代理的样本效率和最终奖励。我们发现，一个无模型的软值估计的政策评估和基于模型的随机值梯度的政策改进是一个有效的组合，实现国家的最先进的结果，在高维人形控制任务，大多数基于模型的代理是无法解决的。我们的研究结果表明，基于模型的政策评估值得密切关注。
2021-05-27 cs.AI cs.LG cs.RO
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
针对安全关键系统中多目标与严格约束的平衡难题，提出基于原始框架的自然策略梯度操控方法，具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning
TRATON CV AB（特拉顿CV公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）
针对扩散策略与强化学习整合的挑战，提出噪声空间Q函数和策略梯度（NSPG），通过KL正则化回归形式优化噪声潜在变量，在D4RL和OGBench基准上验证了有效性。
2026-09-09 cs.AI cs.LG cs.RO
