Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Doubly Optimal Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习策略评估方差大、数据需求高的问题，本文提出数据收集策略与处理基线最优组合的双重最优方法，理论证明其无偏且方差更低，实验验证了降方差效果与性能优势。
2025-03-20 cs.LG
Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来预测性能的强化学习政策给定的历史数据，可能已经产生了不同的政策。从历史数据中评估策略的能力对于部署错误策略可能会带来危险或代价高昂的应用程序非常重要。我们的经验表明，我们的算法产生的估计，往往有数量级较低的均方误差比现有的方法-它使更有效地利用现有的数据。我们的新估计器基于两个进步：双重稳健估计器的扩展（Jiang和Li，2015），以及一种混合基于模型的估计和基于重要性采样的估计的新方法。
2016-04-04 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Learning Routines for Effective Off-Policy Reinforcement Learning
King’s College London（伦敦国王学院）
强化学习的性能取决于设计一个适当的动作空间，其中每个动作的效果是可测量的，但粒度足以允许灵活的行为。到目前为止，这个过程涉及到用户在可用操作及其执行频率方面的重要选择。我们提出了一个新的强化学习框架，有效地解除了这些限制。在我们的框架内，代理学习有效的行为在一个常规空间：一个新的，更高层次的动作空间，其中每个例程代表一组“等效”序列的粒度动作与任意长度。我们的常规空间是端到端学习的，以促进实现底层的非策略强化学习目标。我们将我们的框架应用于两个最先进的非策略算法，并表明所产生的代理获得相关的性能改进，同时需要更少的交互与环境每集，提高计算效率。
2021-06-05 cs.LG
On-Policy Policy Gradient Reinforcement Learning Without On-Policy Sampling
本文提出PROPS方法，通过自适应离线采样减少在线策略梯度强化学习中的采样误差，提高数据效率。
2026-02-09 cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
我们获得了全局，非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理（即，零和随机博弈）。我们考虑一个情节设置，在每一集中，每个玩家独立地选择一个策略，只观察自己的行为和奖励，以及状态。我们表明，如果两个球员运行策略梯度方法串联，他们的政策将收敛到最小-最大均衡的游戏，只要他们的学习率遵循两个时标规则（这是必要的）。据我们所知，这构成了第一个有限样本收敛的结果，独立的策略梯度方法在竞争性强化学习，以前的工作主要集中在集中，协调程序的平衡计算。
2021-01-11 cs.LG
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
在离线强化学习中，需要从单个预先收集的数据集中学习策略。通常，策略因此在训练期间被正则化，以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法，它直接约束的政策，而不是在其权重空间，并在实验中证明了其有效性。
2021-07-12 cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Safe Policy Search for Lifelong Reinforcement Learning with Sublinear Regret
University of Pennsylvania（宾夕法尼亚大学）
终身强化学习为开发多功能代理提供了一个有前途的框架，这些代理可以在一生的经验中积累知识，并通过建立在先前知识基础上快速学习新任务。然而，目前的终身学习方法表现出非消失的遗憾，随着经验的增加，包括限制，可能导致次优或不安全的控制策略。为了解决这些问题，我们开发了一个终身的策略梯度学习器，该学习器在对抗环境中运行，以在线学习多个任务，同时对学习到的策略实施安全约束。我们证明，第一次，次线性遗憾终身政策搜索，并验证我们的算法在几个基准动力系统和应用程序的四旋翼控制。
2015-05-21 cs.LG
Recurrent Off-Policy Deep Reinforcement Learning Doesn't Have to be Slow
University Of Southampton, School Of Electronics and Computer Science（索姆塞特大学电子与计算机科学学院）
RISE通过简化编码实现递归网络在非策略强化学习中的高效应用，提升了Atari基准性能35.6%。
2025-12-23 cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Theoretically-Grounded Policy Advice from Multiple Teachers in Reinforcement Learning Settings with Applications to Negative Transfer
Washington State University（华盛顿州立大学）；Princeton University（普林斯顿大学）
策略建议是一种迁移学习方法，其中学生代理能够通过教师的建议更快地学习。然而，这两种方法和其他强化学习迁移方法几乎没有理论分析。本文正式定义了一个设置，多个教师代理可以提供建议给学生，并介绍了一种算法，利用自主探索和教师的意见。我们的后悔界限证明了好老师帮助而坏老师伤害的直觉。使用我们的形式化，我们也能够量化，第一次，当负迁移可以发生在这样的强化学习设置。
2016-04-13 cs.LG
Intelligent Traffic Light via Policy-based Deep Reinforcement Learning
The University of Iowa（爱荷华大学）；National Advanced Driving Simulator, The University of Iowa（爱荷华大学国家高级驾驶模拟器）；Iowa Technology Institute, The University of Iowa（爱荷华大学爱荷华技术研究所）
智慧城市中的智能交通灯可以最佳地减少交通拥堵。在这项研究中，我们采用强化学习训练控制代理的交通灯上的模拟器的城市流动性。作为与现有工作的不同之处，除了诸如深度Q网络（DQN）和双DQN（DDQN）之类的基于值的方法之外，利用基于策略的深度强化学习方法，即近端策略优化（PPO）。首先，从PPO获得的最优策略进行比较，从DQN和DDQN。结果表明，PPO策略的性能优于其他策略。其次，我们采用可变时间间隔的信号灯相位代替固定时间间隔的信号灯相位，从而得到更好的交通流通行策略。然后，环境和行动干扰的影响进行了研究，以证明基于学习的控制器是鲁棒的。最后，我们考虑不平衡的交通流，并发现智能交通灯可以表现得相当不错的不平衡的交通情况下，虽然它学习的最佳策略，从平衡的交通情况。
2021-12-27 cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中，我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的，我们的经验表明，组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
Consistency Models as a Rich and Efficient Policy Class for Reinforcement Learning
Princeton University（普林斯顿大学）
本文提出将一致性模型作为强化学习中的高效策略类，通过演员-评论家算法应用于离线、离线到在线及在线三种设置，实现计算加速且性能优于扩散策略。
2024-03-14 cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Pausing Policy Learning in Non-stationary Reinforcement Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出预测性在线强化学习框架，证明策略性暂停决策更新优于持续更新，通过计算最优更新-保持比率并实验验证，可提升性能并收紧动态遗憾上界。
2024-05-25 cs.LG
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
SFP: State-free Priors for Exploration in Off-Policy Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
有效探索是深度强化学习中的一个关键挑战。行为先验等几种方法能够利用离线数据，以便有效地加速复杂任务的强化学习。然而，如果手头的任务过度偏离演示的任务，这种方法的有效性是有限的。在我们的工作中，我们建议从更多样化的任务共享的离线数据中学习特征，例如动作和方向性之间的相关性。因此，我们引入了无状态先验，它直接对演示轨迹中的时间一致性进行建模，并且能够在复杂任务中驱动探索，即使在对简单任务收集的数据进行训练时也是如此。此外，我们引入了一种新的集成方案，在政策外的强化学习动态采样的政策和行动的概率混合行动先验的行动先验。我们将我们的方法与强基线进行了比较，并提供了经验证据，证明它可以在稀疏奖励设置下加速长时间连续控制任务中的强化学习。
2022-08-31 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University（汉阳大学）
针对离线强化学习中策略正则化角色耦合问题，提出角色自适应策略优化（RAPO），按价值学习与执行角色独立调整更新系数，在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Reward-Free Policy Space Compression for Reinforcement Learning
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
在强化学习中，我们将智能体与环境交互的潜在行为编码为一组无限的策略，即策略空间，通常由一组参数函数表示。处理这样的策略空间是一个巨大的挑战，这通常会导致样本和计算效率低下。然而，我们认为，当我们也考虑到环境结构和政策参数化时，有限数量的政策实际上是相关的，因为其中许多政策会引起非常相似的相互作用，即，状态-动作分布在本文中，我们寻求一个无报酬的压缩的政策空间到一个有限的代表性政策，使任何政策$π$，最小Rényi分歧之间的代表性政策的状态-动作分布和状态-动作分布的$π$是有界的。我们表明，这种压缩的政策空间可以制定为一个集合覆盖问题，它本质上是NP-难的。尽管如此，我们还是提出了一种博弈论的重新表述，通过迭代地拉伸压缩空间以覆盖对抗策略，可以有效地找到局部最优解。最后，我们提供了一个实证评估来说明简单域中的压缩过程，以及它在强化学习中的涟漪效应。
2022-02-22 cs.LG
Partial Policy-based Reinforcement Learning for Anatomical Landmark Localization in 3D Medical Images
Hankuk University of Foreign Studies
强化学习部署长期累积回报的思想，在各个领域都表现出了显著的表现。我们提出了一个制定的地标定位在三维医学图像作为一个强化学习问题。而基于值的方法已被广泛用于解决类似的问题，我们采用了一个基于行动者-评论家的直接策略搜索方法的时间差异学习方法的框架。成功的行为学习在大的状态和/或动作空间中具有挑战性，需要多次尝试。我们引入了基于部分策略的强化学习，通过在较小的部分域上学习最优策略来解决大型本地化问题。独立的参与者有效地学习相应的部分策略，每个参与者都利用自己的独立评论家。建议的政策重建部分政策，确保了一个强大的和有效的本地化利用子代理解决简单的二元决策问题，在其相应的部分行动空间。提出的强化学习与原始的行为学习方案相比，需要少量的试验来学习最优行为。
2018-12-31 cs.CV cs.LG
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中，我们弥合了强化学习和知识表示之间的差距，通过提供一个丰富的知识表示框架，基于正常的逻辑程序与答案集语义，这是能够解决无模型强化学习问题，更复杂的领域，并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外，我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
An Explainable Deep Reinforcement Learning Model for Warfarin Maintenance Dosing Using Policy Distillation and Action Forging
Duke Energy Company（杜克能源公司）；The University of Iowa Tippie College of Business（爱荷华大学蒂皮商学院）
本文针对华法林维持剂量提出了一种可解释的深度强化学习模型，结合近端策略优化与策略蒸馏，并引入动作锻造技术实现可解释性，其表现优于基线算法且易于部署。
2024-04-26 cs.LG
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University（乔治华盛顿大学）；Purdue University（普渡大学）
提出DPE算法，将序列建模与双策略估计结合，在统一框架中实现方差缩减，并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Policy Consolidation for Continual Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
我们提出了一种在深度强化学习中解决灾难性遗忘的方法，即\textit{agnostic}到经验分布变化的时间尺度，不需要任务边界的知识，并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中，策略网络与隐藏网络的级联进行交互，这些隐藏网络同时记住代理在一系列时间尺度上的策略，并通过自己的历史来规范当前策略，从而提高其学习而不忘记的能力。我们发现，该模型提高了持续学习相对于基线的一些连续控制任务，在单任务，交替两个任务，和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Understanding the Effects of Second-Order Approximations in Natural Policy Gradient Reinforcement Learning
University of Waterloo（滑铁卢大学）
自然策略梯度方法是流行的强化学习方法，其通过利用二阶近似来用Fisher信息矩阵的逆来预处理梯度来提高策略梯度方法的稳定性。然而，据作者所知，还没有一项研究以全面和系统的方式调查了不同二阶近似的影响。为了解决这个问题，研究了五种不同的二阶近似，并在多个关键指标上进行了比较，包括性能、稳定性、样本效率和计算时间。此外，研究了文献中未被典型承认的超参数，包括不同批量的影响和自然梯度优化的评论网络。实验结果表明，平均而言，改进的二阶近似实现了最佳性能，并且使用适当调整的超参数可以导致性能和样本效率的大幅改善，范围高达+181%。我们还在https://github.com/gebob19/natural-policy-gradient-reinforcement-learning上提供了本研究中的代码。
2022-10-10 cs.LG
Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
在这篇文章中，我们研究的问题，训练智能代理使用强化学习的游戏开发的目的。与旨在取代人类玩家并实现超人性能的系统不同，我们的代理旨在与玩家产生有意义的互动，同时展示游戏设计师所期望的行为特征。我们将展示如何结合不同的行为政策，以获得一个有意义的“融合”政策，其中包括所有这些行为。为此，我们提出了四种不同的策略融合方法来组合预训练的策略。我们进一步展示了如何将这些方法与逆强化学习结合使用，以创建具有游戏设计者选择的特定行为风格的智能代理，而无需定义许多可能设计不良的奖励函数。两个不同环境下的实验表明，熵加权策略融合显着优于所有其他。我们提供了几个实际的例子和用例，说明这些方法对视频游戏制作和设计师确实有用。
2021-04-21 cs.LG
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Quantum Reinforcement Learning via Policy Iteration
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）；IRIF（法国信息与自动化研究所）；QC Ware（QC Ware公司）
本文提出了一个通过策略迭代执行量子强化学习的通用框架，通过构建量子态编码价值函数实现量子策略评估与改进，并在OpenAI Gym环境中验证了其理论与实验性能。
2022-03-03 cs.LG quant-ph
Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning
University of Michigan（密歇根大学）
在分层强化学习（HRL）系统中使用非策略时间差（TD）方法的实验中，我们在可重复的条件下观察到了不必要的同策略学习。在这里，我们提出了几个TD的方法，防止无意的同策略学习发生的修改。这些修改在探索和学习之间造成了紧张。传统的TD方法需要致力于完成子任务，而无需探索，以便以高概率更新早期动作的Q值。一步期权内学习和时间二阶差分跟踪（TSDT）不受此限制。我们证明，我们的HRL系统是有效的，没有承诺完成子任务的悬崖行走域，相反，在文献中的广泛主张，它是学习效率的关键。此外，随着探索的进展，减少承诺，以提高在线性能和由此产生的政策在出租车领域，开辟了一个新的途径，研究时，它是更有益的继续与当前的子任务或重新计划。
2011-04-27 cs.LG
Efficient Multi-Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种定制化行为策略，通过共享样本降低多目标策略评估的方差，在理论上证明其样本效率优于同策略评估，并在多种环境中取得最优性能。
2024-12-25 cs.LG
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Temperature as a Meta-Policy: Adaptive Temperature in LLM Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
TAMPO通过将温度控制转化为可学习的元策略，实现了LLM强化学习中的自适应探索，优于固定或启发式温度方法。
2026-02-12 cs.LG
Conservative Dual Policy Optimization for Efficient Model-Based Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
通过引入模型的复杂性测度，保证了基于乐观或后验采样（PSRL）的基于模型的强化学习（MBRL）能够渐近地达到全局最优.然而，对于最简单的非线性模型，复杂性可能呈指数增长，其中在有限迭代内不可能全局收敛。当模型遭受大的泛化误差时，不确定性可能很大，所述泛化误差由模型复杂性定量地测量。因此，当前策略所基于的采样模型将是不稳定的，从而导致积极的策略更新和过度探索。在这项工作中，我们提出了保守的双重政策优化（CDPO），涉及一个参考更新和保守更新。该策略首先在参考模型下进行优化，该模型模仿PSRL的机制，同时提供更高的稳定性。通过最大化模型值的期望值来保证随机性的保守范围。如果没有有害的抽样程序，CDPO仍然可以实现与PSRL相同的遗憾。更重要的是，CDPO同时具有单调的政策改进和全局最优性。实证结果也验证了CDPO的勘探效率。
2022-09-16 cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发，本文建立了两种强化学习算法：深度策略梯度和基于价值函数的代理，可以预测最好的交通信号交叉口。在每个时间步，这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号，然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果，而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
