Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
在这项工作中，我们重新审视了一些旧的和新的算法，用于基于返回的强化学习。表达这些在一个共同的形式，我们得到一个新的算法，Retrace（$λ$），具有三个所需的属性：（1）它具有低方差;（2）它安全地使用从任何行为策略收集的样本，无论其程度的“关闭政策”;和（3）它是有效的，因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置，并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$，而没有GLIE假设（贪婪的极限与无限探索）。作为推论，我们证明了Watkins的Q（$λ$）的收敛性，这是自1989年以来的一个公开问题。我们说明了Retrace（$λ$）的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
DisCoRL: Continual Reinforcement Learning via Policy Distillation
ENSTA Paris（巴黎高等先进技术学院）；Institute Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
在多任务强化学习中，有两个主要的挑战：在训练时，使用单个模型学习不同策略的能力;在测试时，在没有外部信号的情况下推断哪些策略适用。在持续强化学习的情况下，第三个挑战出现了：顺序学习任务而不忘记前面的任务。在本文中，我们通过提出DisCoRL来应对这些挑战，这是一种结合状态表示学习和策略蒸馏的方法。我们使用3轮全方位机器人进行了一系列三个模拟2D导航任务的实验。此外，我们测试了我们的方法的鲁棒性，将最终的政策转移到现实生活中的设置。该策略可以解决所有任务，并自动推断运行哪一个。
2019-07-11 cs.AI cs.LG stat.ML
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Iterative Policy-Space Expansion in Reinforcement Learning
University of Bath（巴斯大学）
当人类和动物面对一系列问题时，他们更容易解决一个困难的问题，这些问题开始很简单，然后慢慢增加难度。我们在强化学习的背景下探索这个想法。而不是提供代理与外部提供的课程，逐步更困难的任务，代理解决了一个单一的任务，利用递减约束的政策空间。我们提出的算法首先学习将特征分类为积极和消极，然后逐渐学习更精细的策略。在俄罗斯方块的实验结果表明，优越的学习率，我们的方法相比，现有的算法。
2019-12-05 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Real-time Policy Distillation in Deep Reinforcement Learning
University of South Carolina（南卡罗来纳大学）；San Francisco State University（旧金山州立大学）
深度强化学习中的策略蒸馏提供了一种有效的方法，可以将控制策略从较大的网络转移到较小的未经训练的网络，而不会显着降低性能。然而，策略蒸馏在深度强化学习中探索不足，现有方法计算效率低，导致蒸馏时间长。此外，蒸馏过程的有效性仍然受限于模型容量。我们提出了一种新的蒸馏机制，称为实时的策略蒸馏，其中训练教师模型和蒸馏策略的学生模型同时发生。相应地，教师的最新策略实时的转移到学生模型。这将蒸馏时间减少到原来时间的一半甚至更少，并且还使非常小的学生模型能够学习专家级别的技能。我们评估了该算法在Atari 2600域。结果表明，我们的方法可以在大多数游戏中实现完全蒸馏，即使压缩率高达1.7%。
2019-12-29 cs.AI cs.LG stat.ML
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Robust and Smooth Policy
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Northwestern University（西北大学）
深度强化学习（RL）在各个领域都取得了巨大的成功。然而，神经网络的大搜索空间需要大量的数据，这使得目前的RL算法的采样效率不高。由于许多具有连续状态空间的环境具有平滑过渡的事实，我们建议学习一种平滑策略，该策略在状态方面表现平滑。我们开发了一个新的框架-- \textbf{S} mooth \textbf{R} egulatized \textbf{L} earning（$\textbf{SR}^2\textbf{L}$），其中的策略是用平滑诱导正则化来训练的。这样的正则化有效地约束了搜索空间，并在学习的策略中强制平滑。此外，我们提出的框架还可以提高对状态空间中的测量误差的策略的鲁棒性，并可以自然地扩展到分布鲁棒设置。我们将所提出的框架应用于策略（TRPO）和策略算法（DDPG）。通过大量的实验，我们证明了我们的方法实现了改进的样本效率和鲁棒性。
2020-08-15 cs.AI cs.LG stat.ML
Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning
Caltech（加州理工学院）；Argo AI；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们为强化学习中的政策外政策评估（OPE）提供了实验基准和实证研究，这是许多安全关键应用中的关键问题。由于越来越多的兴趣部署学习为基础的方法，有一系列的OPE方法的建议，导致需要标准化的实证分析。我们的工作非常注重实验设计的多样性，以实现OPE方法的压力测试。我们提供了一个全面的基准测试套件来研究不同属性对方法性能的相互作用。我们将结果提炼成一套总结的指导方针，供OPE在实践中使用。我们的软件包，加州理工学院的OPE基准套件（COBS），是开源的，我们邀请感兴趣的研究人员进一步为基准作出贡献。
2021-11-27 cs.AI cs.LG cs.RO
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
强化学习中的非策略评估（OPE）允许人们评估新的决策策略，而不需要进行探索，这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程（MDP），行动，奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比，我们称之为双强化学习（DRL）。我们表明，DRL是有效的，当两个组件估计在四根率，也是双重的强大时，只有一个组件是一致的。我们调查这些属性的经验，并证明了性能的好处，由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning
UC Santa Barbara（加州大学圣巴巴拉分校）；Salesforce Research（赛富时研究院）
强化学习（RL）中的离线策略评估（OPE）问题是将RL应用于实际应用的关键一步。现有的OPE工作主要集中在评估一个固定的目标策略$π$，这并不提供有用的离线策略学习的界限，因为$π$将依赖于数据。我们解决这个问题，同时评估所有的政策在一个政策类$Π$ -统一收敛OPE -并获得近最佳的误差范围的一些全球/本地的政策类。我们的研究结果意味着，基于模型的规划实现了最佳的情节复杂性$\widetilde{O}(H^3/d_mε^2)$在确定一个$ε$ -最佳的政策下的时间不均匀的情节MDP模型（$H$是规划的视野，$d_m$是一个数量，反映了探索的日志记录政策$μ$）。据我们所知，这是第一次最优速率被证明是可能的离线RL设置和文件是第一个系统地研究一致收敛OPE。
2020-12-01 cs.AI cs.LG stat.ML
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
如何在离线强化学习（RL）中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估（OPE）的方法通常需要额外的函数近似，因此需要超参数，从而造成鸡和蛋的情况。在本文中，我们设计了超参数无算法的基础上BVFT [XJ 21]，价值函数选择的最新理论进展的政策选择，并证明其有效性在离散行动基准，如雅达利。为了解决性能下降，由于穷人的批评，在连续的行动领域，我们进一步结合BVFT与OPE得到最好的两全其美，并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Sample-efficient Deep Reinforcement Learning for Dialog Control
Brown University（布朗大学）；Microsoft Research（微软研究院）
将对话策略表示为递归神经网络（RNN）是有吸引力的，因为它处理部分可观察性，推断状态的潜在表示，并且可以使用监督学习（SL）或强化学习（RL）进行优化。对于RL，策略梯度方法是自然的，但是样本效率低。在本文中，我们提出了3种方法来减少使用RL优化基于RNN的对话策略所需的对话框数量。其关键思想是维护第二个RNN来预测当前策略的值，并将经验重放应用于两个网络。在两个任务中，与标准策略梯度方法相比，这些方法将所需的对话/情节数量减少了约三分之一。
2016-12-18 cs.AI cs.LG stat.ML
Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
在教育和医疗保健等实验有限的环境中，强化学习中的政策外评估（OPE）是一个重要问题。但是，在这些非常相同的设置中，观察到的行为经常被未观察到的变量混淆，使得OPE更加困难。我们研究了一个无限时域，遍历马尔可夫决策过程中的OPE问题与未观察到的混淆，状态和行动可以作为代理的未观察到的混淆。我们展示了如何，只给一个潜在的变量模型的状态和行动，政策价值可以确定从关闭的政策数据。我们的方法包括两个阶段。在第一，我们展示了如何使用代理估计平稳的分布比率，扩展最近的工作打破诅咒的地平线混淆设置。在第二，我们表明，最优平衡可以与这样的学习比率相结合，以获得政策价值，同时避免直接建模的奖励函数。我们建立一致性的理论保证，并根据经验对我们的方法进行基准测试。
2020-07-27 cs.AI cs.LG stat.ML
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley（加州大学伯克利分校）
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习（元RL）算法使代理从少量的经验学习新的技能，几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验，限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制，限制了它们在稀疏奖励问题中的有效性。在本文中，我们通过开发一种脱离策略的元RL算法来解决这些挑战，该算法可以解开任务推理和控制。在我们的方法中，我们执行潜在的任务变量的在线概率过滤，以推断如何解决一个新的任务，从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合，以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍，并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来预测性能的强化学习政策给定的历史数据，可能已经产生了不同的政策。从历史数据中评估策略的能力对于部署错误策略可能会带来危险或代价高昂的应用程序非常重要。我们的经验表明，我们的算法产生的估计，往往有数量级较低的均方误差比现有的方法-它使更有效地利用现有的数据。我们的新估计器基于两个进步：双重稳健估计器的扩展（Jiang和Li，2015），以及一种混合基于模型的估计和基于重要性采样的估计的新方法。
2016-04-04 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）
研究了具有策略空间泛化的大规模强化学习（RL）问题的最优样本复杂度，即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明，在没有泛化模型的情况下，RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数，而在许多实际问题中，这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性，本文提出了一种新的策略空间规避维数的概念，它刻画了任意马尔可夫决策过程（MDP）中策略学习的内在复杂性.使用一个模拟器的甲骨文，我们证明了一个接近最优的样本复杂度上界，只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
A Policy Search Method For Temporal Logic Specified Reinforcement Learning Tasks
奖励工程是强化学习的一个重要方面。用户的意图是否可以正确地封装在奖励函数中可以显著影响学习结果。目前的方法依赖于手动制作的奖励函数，通常需要参数调整以获得所需的行为。当探索需要系统与物理世界交互时，这种操作可能是昂贵的。在本文中，我们探讨了使用时序逻辑（TL）来指定强化学习中的任务。TL公式可以转换为一个实值函数，该函数衡量其对轨迹的满意度。我们利用这个功能，并提出了时序逻辑策略搜索（TLPS），一个无模型的学习技术，找到一个政策，满足TL规范。一组模拟实验进行评估所提出的方法。
2017-09-27 cs.AI
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中，我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的，我们的经验表明，组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Pessimistic Auxiliary Policy for Offline Reinforcement Learning
本文提出悲观辅助策略以提升离线强化学习的效果，通过最大化Q函数的下界来减少近似误差并缓解误差累积。
2026-03-05 cs.AI
RePolicy: Learning to Select and Apply Safety Policies for Agent Safeguards
Zhejiang University（浙江大学）；Zhongguancun Academy（中关村学院）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
针对现有智能体安全保障方法难以适应未见轨迹和变化策略上下文的问题，提出RePolicy方法，结合PolicyTraj-20K与带可验证奖励和策略上下文扰动的GRPO，在六个智能体安全基准上取得良好安全检测与策略调用效果。
2026-10-30 cs.AI cs.CL
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University（乔治华盛顿大学）；Purdue University（普渡大学）
提出DPE算法，将序列建模与双策略估计结合，在统一框架中实现方差缩减，并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Bingham Policy Parameterization for 3D Rotations in Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
我们提出了一个新的政策参数化表示三维旋转在强化学习。今天，在连续控制强化学习文献中，许多随机策略参数化是高斯的。我们认为，普遍适用的高斯政策参数化并不总是可取的所有环境。一种这样的情况，特别是其中这是真的，是涉及预测3D旋转输出的任务，或者是孤立的，或者是与平移耦合作为完整的6D姿态输出的一部分。我们提出的Bingham策略参数化（BPP）对Bingham分布进行建模，并允许在一系列强化学习任务中对高斯策略参数化进行更好的旋转（四元数）预测。我们评估BPP的旋转Wahba问题的任务，以及一组基于视觉的下一个最好的姿势机器人操作任务从RLBench。我们希望本文鼓励更多的研究开发其他政策参数，更适合于特定的环境，而不是总是假设高斯。
2022-02-08 cs.AI cs.CV cs.LG
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林圣三一学院）
强化学习（RL）策略的可解释性仍然是一个具有挑战性的研究问题，特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法，使用DQN代理培训的熔岩gridworld的实现，并表明，鉴于手工制作的功能表示这个gridworld，简单的通用规则，可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径，引入安全到RL代理的政策，通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束，以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms
Guanghua School of Management, Peking University（北京大学光华管理学院）；State University of New York at Stony Brook（纽约州立大学石溪分校）
本研究提出基于分位数的策略优化算法及其离策略变体，通过双时间尺度更新优化累积奖励的分位数，在深度RL中优于基线算法。
2023-05-12 cs.AI cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno（内华达大学里诺分校）
众所周知，深度学习分类器天生容易受到有意扰动输入的操纵，称为对抗性示例。在这项工作中，我们建立了基于深度Q网络（DQN）的强化学习技术也容易受到对抗性输入扰动的影响，并验证了对抗性示例在不同DQN模型之间的可移植性。此外，我们提出了一种新的攻击类的基础上，这个漏洞，使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制，利用对抗性示例的可转移性来实现对DQN的策略诱导攻击，并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta（阿尔伯塔大学）
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题，提出价值感知重要性权重，在保证无偏估计的同时降低方差，并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
