Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中，我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的，我们的经验表明，组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林圣三一学院）
强化学习（RL）策略的可解释性仍然是一个具有挑战性的研究问题，特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法，使用DQN代理培训的熔岩gridworld的实现，并表明，鉴于手工制作的功能表示这个gridworld，简单的通用规则，可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径，引入安全到RL代理的政策，通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束，以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms
Guanghua School of Management, Peking University（北京大学光华管理学院）；State University of New York at Stony Brook（纽约州立大学石溪分校）
本研究提出基于分位数的策略优化算法及其离策略变体，通过双时间尺度更新优化累积奖励的分位数，在深度RL中优于基线算法。
2023-05-12 cs.AI cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno（内华达大学里诺分校）
众所周知，深度学习分类器天生容易受到有意扰动输入的操纵，称为对抗性示例。在这项工作中，我们建立了基于深度Q网络（DQN）的强化学习技术也容易受到对抗性输入扰动的影响，并验证了对抗性示例在不同DQN模型之间的可移植性。此外，我们提出了一种新的攻击类的基础上，这个漏洞，使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制，利用对抗性示例的可转移性来实现对DQN的策略诱导攻击，并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta（阿尔伯塔大学）
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题，提出价值感知重要性权重，在保证无偏估计的同时降低方差，并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University（四川师范大学）
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而，策略学习过程需要大量的训练时间，导致能量消耗。受神经网络冗余性的启发，提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL，在保证策略质量的同时加快了策略学习的速度。具体来说，AcceRL通过灵活组合各种神经网络压缩方法，加快了经验收集的速度。总体而言，AcceRL由五个组件组成，即Actor，Learner，Compressor，Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换，并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明，与传统方法相比，AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外，与传统方法相比，AcceRL将整个训练时间减少了约29.8%至40.3%，同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Efficient Reward Identification In Max Entropy Reinforcement Learning with Sparsity and Rank Priors
University of Michigan（密歇根大学）
本文研究从最大熵强化学习的最优策略或演示中恢复时变奖励函数，通过引入奖励稀疏性和低秩先验，将问题转化为线性约束下的稀疏化和秩最小化问题，并提出了高效的多项式时间优化算法准确恢复奖励并验证其泛化能力。
2025-08-10 cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University（纽约大学）
标准的深度强化学习算法使用策略和价值函数的共享表示，特别是在直接从图像进行训练时。然而，我们认为，需要更多的信息来准确地估计价值函数比学习的最优策略。因此，使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题，我们提出了两种方法，结合起来创建IDAAC：不变解耦优势演员批评。首先，IDAAC使用单独的网络对策略和价值函数进行建模，从而实现了策略和价值函数的优化。其次，它引入了一个辅助损失，鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力，在Procgen基准测试中达到了新的最先进水平，并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
离线强化学习（RL）的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络，这可能会带来额外的推理成本，并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧，这可能与支持集的固有的基于密度的定义不匹配，从而无法有效地避免分布外的动作。本文提出了支持策略优化（SPOT），这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集，并提出了一个简单但有效的基于密度的正则化项，该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计，SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Offline Reinforcement Learning with On-Policy Q-Function Regularization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；CMU（卡内基梅隆大学）；Google（谷歌）
本文提出通过SARSA式估计行为策略的Q函数并以其作为正则化目标，替代难以估计的行为策略本身，以解决离线强化学习中的外推误差问题，并在D4RL基准上验证了两种算法的强性能。
2023-07-25 cs.AI cs.LG
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science (LIACS)（莱顿高级计算机科学研究所（LIACS））
本研究对比了进化策略与基于梯度的深度强化学习方法，发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性，甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
On Gap-dependent Bounds for Offline Reinforcement Learning
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
本文对离线强化学习中间隙依赖的样本复杂度进行了系统的研究。以前的工作表明，当最优策略和行为策略之间的密度比是上界（最优策略覆盖假设），那么代理可以实现$O\left(\frac{1}{ε^2}\right)$率，这也是最小最大最优的。在最优策略覆盖假设下，当最优$Q$ -函数中存在一个正的次优间隙时，可以将速率提高到$O\left(\frac{1}ε\right)$.此外，我们表明，当访问概率的行为政策是一致的最优策略的访问概率是积极的状态（统一的最优策略覆盖假设）的下界，确定最优策略的样本复杂性是独立的$\frac{1}ε$。最后，我们提出了接近匹配的下限，以补充我们的间隙依赖的上限。
2022-08-03 cs.AI cs.LG
Flow-Based Policy for Online Reinforcement Learning
Tsinghua University（清华大学）；Shanghai Research Institute for Intelligent Autonomous Systems,Tongji University（上海智能自主系统研究所，同济大学）
本研究提出在线强化学习框架FlowRL，通过基于状态速度场的流策略建模与Wasserstein-2正则化约束，对齐流优化与RL目标，在基准测试中取得了有竞争力的性能。
2025-06-15 cs.AI cs.LG
Policy Constraint by Only Support Constraint for Offline Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Software, CAS（中国科学院软件研究所）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对离线强化学习中策略约束过度保守的问题，本文提出仅支持约束OSC，通过最大化学习策略在行为策略支持集内的总概率并利用扩散模型刻画支持集，在多个基准上显著提升性能。
2025-03-07 cs.AI cs.LG
Supported Trust Region Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
针对离线强化学习的分布外问题，提出支撑信任区域优化（STR），在行为策略支撑内约束策略，保证策略改进，并在 MuJoCo 和 AntMaze 上取得最优性能。
2023-11-15 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中，我们弥合了强化学习和知识表示之间的差距，通过提供一个丰富的知识表示框架，基于正常的逻辑程序与答案集语义，这是能够解决无模型强化学习问题，更复杂的领域，并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外，我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University（乔治华盛顿大学）；Purdue University（普渡大学）
提出DPE算法，将序列建模与双策略估计结合，在统一框架中实现方差缩减，并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Efficient Neural Network Training via Forward and Backward Propagation Sparsification
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Google Research（谷歌研究院）
稀疏训练是加快深度神经网络训练速度和节省内存使用的自然想法，特别是因为大型现代神经网络明显过度参数化。然而，大多数现有的方法在实践中不能实现这一目标，因为基于链规则的梯度（w.r.t.结构参数）估计至少在反向传播步骤中需要密集计算。本文通过提出一种有效的稀疏训练方法来解决这个问题，该方法具有完全稀疏的向前和向后传递。我们首先制定的训练过程中作为一个连续的全局稀疏约束下的最小化问题。然后，我们将优化过程分为两个步骤，对应的权重更新和结构参数更新。对于前一步，我们使用传统的链规则，它可以通过利用稀疏结构稀疏。对于后一步，而不是在现有的方法中使用基于链规则的梯度估计，我们提出了一个方差减少的策略梯度估计，它只需要两个前向通过没有向后传播，从而实现完全稀疏的训练。我们证明了我们的梯度估计的方差是有界的。在真实世界数据集上的大量实验结果表明，与以前的方法相比，我们的算法在加速训练过程方面更有效，快了一个数量级。
2021-11-10 cs.AI cs.CV cs.LG
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis（加州大学戴维斯分校）；Northwestern University（西北大学）
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题，证明最优策略存在性并给出Bellman最优方程，提出ARRLC算法实现极小极大最优遗憾与样本复杂度，实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Eindhoven University of Technology（埃因霍温理工大学）
为了增强多智能体协作，我们分析了最近发布的Hanabi基准测试中的几种基于策略的深度强化学习算法。我们的研究提出了一个可能违反直觉的发现，在多代理合作纸牌游戏的简化环境中，Vanilla策略梯度在多个随机种子上优于近端策略优化（PPO）。在我们对这种行为的分析中，我们研究了Hanabi特定的指标，并假设了PPO平台的原因。此外，我们还证明了完美游戏（71回合）和任何游戏（89回合）的最大长度。我们的代码可以在https://github.com/bramgrooten/DeepRL-for-Hanabi上找到
2022-03-22 cs.AI cs.LG cs.MA
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
在这项工作中，我们重新审视了一些旧的和新的算法，用于基于返回的强化学习。表达这些在一个共同的形式，我们得到一个新的算法，Retrace（$λ$），具有三个所需的属性：（1）它具有低方差;（2）它安全地使用从任何行为策略收集的样本，无论其程度的“关闭政策”;和（3）它是有效的，因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置，并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$，而没有GLIE假设（贪婪的极限与无限探索）。作为推论，我们证明了Watkins的Q（$λ$）的收敛性，这是自1989年以来的一个公开问题。我们说明了Retrace（$λ$）的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
DisCoRL: Continual Reinforcement Learning via Policy Distillation
ENSTA Paris（巴黎高等先进技术学院）；Institute Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
在多任务强化学习中，有两个主要的挑战：在训练时，使用单个模型学习不同策略的能力;在测试时，在没有外部信号的情况下推断哪些策略适用。在持续强化学习的情况下，第三个挑战出现了：顺序学习任务而不忘记前面的任务。在本文中，我们通过提出DisCoRL来应对这些挑战，这是一种结合状态表示学习和策略蒸馏的方法。我们使用3轮全方位机器人进行了一系列三个模拟2D导航任务的实验。此外，我们测试了我们的方法的鲁棒性，将最终的政策转移到现实生活中的设置。该策略可以解决所有任务，并自动推断运行哪一个。
2019-07-11 cs.AI cs.LG stat.ML
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University（卡内基梅隆大学）；University of South Carolina（南卡罗来纳大学）
在强化学习（以及一般的机器学习）领域，人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成，与传统的策略表示相比，它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数，但是这导致比否则所需的树大得多的树。为了解决这一缺点，我们提出了一种新的算法，只有当估计的整体政策的折扣未来奖励将增加足够的金额时，才增加树的大小。通过在模拟环境中的评估，我们表明，它的性能相当或优于传统的基于树的方法，它产生一个更简洁的政策。此外，我们还讨论了调整参数，以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Iterative Policy-Space Expansion in Reinforcement Learning
University of Bath（巴斯大学）
当人类和动物面对一系列问题时，他们更容易解决一个困难的问题，这些问题开始很简单，然后慢慢增加难度。我们在强化学习的背景下探索这个想法。而不是提供代理与外部提供的课程，逐步更困难的任务，代理解决了一个单一的任务，利用递减约束的政策空间。我们提出的算法首先学习将特征分类为积极和消极，然后逐渐学习更精细的策略。在俄罗斯方块的实验结果表明，优越的学习率，我们的方法相比，现有的算法。
2019-12-05 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
