Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
Marginalized Operators for Off-policy Reinforcement Learning
DeepMind（深度思维）
本文提出边际化算子，推广多步离策略评估算子并降低方差，可扩展计算，实验证明其提升离策略评估与策略优化性能。
2026-10-06 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
批量强化学习（RL）算法试图从设计者提供的一类策略中选择一个策略，给定一组固定的训练数据。选择的政策，最大限度地估计回报往往会导致过度拟合时，只有有限的数据是可用的，由于政策类的大小与可用的数据量。在这项工作中，我们专注于学习策略类，这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点，该原则使用拉德马赫复杂度来确定一个策略类，该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同，我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics（上海财经大学数学学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）
针对强化学习中存在异常值污染和重尾奖励的问题，提出一种完全在线的鲁棒策略评估程序，建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断，经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Gap-Increasing Policy Evaluation for Efficient and Noise-Tolerant Reinforcement Learning
Okinawa Inst. of Sci. and Tech.（冲绳科学技术大学院大学）
在强化学习（RL）的实际应用中，来自环境固有随机性的噪声是不可避免的。然而，目前的策略评估算法，这在许多RL算法中起着关键作用，要么是容易产生噪声或效率低下。为了解决这个问题，我们引入了一种新的策略评估算法，我们称之为间隙增加RetrAce策略评估（GRAPE）。它利用了两个最近的想法：（1）优势学习中的间隙增加值更新算子以实现噪声容忍;（2）Retrace算法中的离线资格跟踪以实现高效学习。我们提供了详细的理论分析的新算法，表明其效率和噪声的宽容继承的回溯和优势学习。此外，我们的分析表明，GRAPE的学习是显着有效的比一个简单的基于学习率的方法，同时保持相同的噪声容忍度。我们将GRAPE应用于控制问题，并获得了支持我们的理论分析的实验结果。
2019-06-18 cs.LG stat.ML
Policy Continuation with Hindsight Inverse Dynamics
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
面向目标的任务求解是强化学习中一个重要而又具有挑战性的问题。对于这样的任务，奖励往往是稀疏的，使得很难有效地学习策略。为了解决这个困难，我们提出了一种新的方法，称为政策延续与后见之明逆动力学（PCHID）。该方法基于后见之明经验重放从后见之明逆动力学学习，使得学习过程以自我模仿的方式进行，因此可以用监督学习进行训练。这项工作还将其扩展到策略延续的多步骤设置。该方法具有通用性，既可以独立工作，也可以与其他策略内和策略外算法相结合。在GridWorld和FetchReach两个多目标任务上，PCHID显著提高了样本效率和最终性能。
2019-11-01 cs.LG stat.ML
Deep Model-Based Reinforcement Learning via Estimated Uncertainty and Conservative Policy Optimization
University of Science and Technology of China（中国科学技术大学）
基于模型的强化学习算法往往比无模型方法实现更高的样本效率。然而，由于学习模型不可避免的误差，基于模型的方法很难达到与无模型方法相同的渐近性能。在本文中，我们提出了一种基于模型的不确定性策略优化方法（POMBU）-一种新的基于模型的方法-，可以有效地提高渐近性能，利用Q值的不确定性。我们推导出一个上限的不确定性，基于此，我们可以近似的不确定性准确和有效地基于模型的方法。我们进一步提出了一个不确定性感知的策略优化算法，优化的政策保守，鼓励性能提高的概率很高。这可以显著缓解政策对不准确模型的过度拟合。实验结果表明，POMBU算法在样本效率和渐近性能方面均优于现有的策略优化算法。此外，实验证明了优秀的鲁棒性POMBU相比，以前的基于模型的方法。
2019-11-28 cs.LG stat.ML
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London（帝国理工学院）
我们考虑的问题，模仿学习从一组有限的专家轨迹，没有获得强化信号。通过逆强化学习提取专家的奖励函数，然后进行强化学习的经典方法是间接的，并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布，在训练过程中可能不稳定。我们提出了一个新的框架，通过估计专家政策的支持，以计算一个固定的奖励函数，这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性，在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
Two-way Deconfounder for Off-policy Evaluation in Causal Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；George Washington University（乔治·华盛顿大学）；London School of Economics and Political Science（伦敦政治经济学院）
针对因果强化学习中存在未测量混杂因素的离策略评估问题，提出双向未测量混杂假设与基于神经张量网络的双向去混杂器算法，构建一致的策略价值估计器并通过理论和实验验证有效性。
2024-12-08 cs.LG stat.ML
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Variational Policy Propagation for Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Shanghai Jiao Tong University（上海交通大学）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们提出了一个\emph{collaborative}多智能体强化学习算法变分策略传播（VPP）学习\emph{joint}政策，通过代理之间的相互作用。我们证明了联合策略在一定的条件下是一个马尔可夫随机场，从而有效地减少了策略空间。我们将变分推理作为特殊的可微层集成在策略中，使得动作可以从马尔可夫随机场有效地采样，并且整体策略是可微的。我们评估了我们的算法在几个大规模的挑战性任务，并证明它优于以前的国家的最先进的。
2022-01-29 cs.LG cs.MA stat.ML
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
在这项工作中，我们重新审视了一些旧的和新的算法，用于基于返回的强化学习。表达这些在一个共同的形式，我们得到一个新的算法，Retrace（$λ$），具有三个所需的属性：（1）它具有低方差;（2）它安全地使用从任何行为策略收集的样本，无论其程度的“关闭政策”;和（3）它是有效的，因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置，并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$，而没有GLIE假设（贪婪的极限与无限探索）。作为推论，我们证明了Watkins的Q（$λ$）的收敛性，这是自1989年以来的一个公开问题。我们说明了Retrace（$λ$）的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
DisCoRL: Continual Reinforcement Learning via Policy Distillation
ENSTA Paris（巴黎高等先进技术学院）；Institute Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
在多任务强化学习中，有两个主要的挑战：在训练时，使用单个模型学习不同策略的能力;在测试时，在没有外部信号的情况下推断哪些策略适用。在持续强化学习的情况下，第三个挑战出现了：顺序学习任务而不忘记前面的任务。在本文中，我们通过提出DisCoRL来应对这些挑战，这是一种结合状态表示学习和策略蒸馏的方法。我们使用3轮全方位机器人进行了一系列三个模拟2D导航任务的实验。此外，我们测试了我们的方法的鲁棒性，将最终的政策转移到现实生活中的设置。该策略可以解决所有任务，并自动推断运行哪一个。
2019-07-11 cs.AI cs.LG stat.ML
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Iterative Policy-Space Expansion in Reinforcement Learning
University of Bath（巴斯大学）
当人类和动物面对一系列问题时，他们更容易解决一个困难的问题，这些问题开始很简单，然后慢慢增加难度。我们在强化学习的背景下探索这个想法。而不是提供代理与外部提供的课程，逐步更困难的任务，代理解决了一个单一的任务，利用递减约束的政策空间。我们提出的算法首先学习将特征分类为积极和消极，然后逐渐学习更精细的策略。在俄罗斯方块的实验结果表明，优越的学习率，我们的方法相比，现有的算法。
2019-12-05 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Real-time Policy Distillation in Deep Reinforcement Learning
University of South Carolina（南卡罗来纳大学）；San Francisco State University（旧金山州立大学）
深度强化学习中的策略蒸馏提供了一种有效的方法，可以将控制策略从较大的网络转移到较小的未经训练的网络，而不会显着降低性能。然而，策略蒸馏在深度强化学习中探索不足，现有方法计算效率低，导致蒸馏时间长。此外，蒸馏过程的有效性仍然受限于模型容量。我们提出了一种新的蒸馏机制，称为实时的策略蒸馏，其中训练教师模型和蒸馏策略的学生模型同时发生。相应地，教师的最新策略实时的转移到学生模型。这将蒸馏时间减少到原来时间的一半甚至更少，并且还使非常小的学生模型能够学习专家级别的技能。我们评估了该算法在Atari 2600域。结果表明，我们的方法可以在大多数游戏中实现完全蒸馏，即使压缩率高达1.7%。
2019-12-29 cs.AI cs.LG stat.ML
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Robust and Smooth Policy
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Northwestern University（西北大学）
深度强化学习（RL）在各个领域都取得了巨大的成功。然而，神经网络的大搜索空间需要大量的数据，这使得目前的RL算法的采样效率不高。由于许多具有连续状态空间的环境具有平滑过渡的事实，我们建议学习一种平滑策略，该策略在状态方面表现平滑。我们开发了一个新的框架-- \textbf{S} mooth \textbf{R} egulatized \textbf{L} earning（$\textbf{SR}^2\textbf{L}$），其中的策略是用平滑诱导正则化来训练的。这样的正则化有效地约束了搜索空间，并在学习的策略中强制平滑。此外，我们提出的框架还可以提高对状态空间中的测量误差的策略的鲁棒性，并可以自然地扩展到分布鲁棒设置。我们将所提出的框架应用于策略（TRPO）和策略算法（DDPG）。通过大量的实验，我们证明了我们的方法实现了改进的样本效率和鲁棒性。
2020-08-15 cs.AI cs.LG stat.ML
Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning
Caltech（加州理工学院）；Argo AI；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们为强化学习中的政策外政策评估（OPE）提供了实验基准和实证研究，这是许多安全关键应用中的关键问题。由于越来越多的兴趣部署学习为基础的方法，有一系列的OPE方法的建议，导致需要标准化的实证分析。我们的工作非常注重实验设计的多样性，以实现OPE方法的压力测试。我们提供了一个全面的基准测试套件来研究不同属性对方法性能的相互作用。我们将结果提炼成一套总结的指导方针，供OPE在实践中使用。我们的软件包，加州理工学院的OPE基准套件（COBS），是开源的，我们邀请感兴趣的研究人员进一步为基准作出贡献。
2021-11-27 cs.AI cs.LG cs.RO
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
强化学习中的非策略评估（OPE）允许人们评估新的决策策略，而不需要进行探索，这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程（MDP），行动，奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比，我们称之为双强化学习（DRL）。我们表明，DRL是有效的，当两个组件估计在四根率，也是双重的强大时，只有一个组件是一致的。我们调查这些属性的经验，并证明了性能的好处，由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Robust On-Policy Sampling for Data-Efficient Policy Evaluation in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
强化学习（RL）算法通常被分类为策略上或策略外，这取决于它们是使用来自感兴趣的目标策略还是来自不同行为策略的数据。在本文中，我们研究了政策评估的RL子问题的上下文中的政策数据和政策抽样之间的微妙区别。我们观察到，在政策抽样可能无法匹配的政策数据的预期分布后，只观察到有限数量的轨迹，这种失败阻碍了数据有效的政策评估。为了提高数据效率，我们展示了非i.i.d.策略外采样可以产生更紧密地匹配期望的策略内数据分布的数据，并且因此增加用于策略评估的蒙特卡罗估计器的准确性。我们介绍了一种称为鲁棒的政策抽样的方法，并从理论上和经验上证明，它产生的数据，收敛速度更快，预期的政策分布相比，政策抽样。从经验上讲，我们表明，这种更快的收敛导致较低的均方误差政策价值的估计。
2022-10-10 cs.LG
Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning
UC Santa Barbara（加州大学圣巴巴拉分校）；Salesforce Research（赛富时研究院）
强化学习（RL）中的离线策略评估（OPE）问题是将RL应用于实际应用的关键一步。现有的OPE工作主要集中在评估一个固定的目标策略$π$，这并不提供有用的离线策略学习的界限，因为$π$将依赖于数据。我们解决这个问题，同时评估所有的政策在一个政策类$Π$ -统一收敛OPE -并获得近最佳的误差范围的一些全球/本地的政策类。我们的研究结果意味着，基于模型的规划实现了最佳的情节复杂性$\widetilde{O}(H^3/d_mε^2)$在确定一个$ε$ -最佳的政策下的时间不均匀的情节MDP模型（$H$是规划的视野，$d_m$是一个数量，反映了探索的日志记录政策$μ$）。据我们所知，这是第一次最优速率被证明是可能的离线RL设置和文件是第一个系统地研究一致收敛OPE。
2020-12-01 cs.AI cs.LG stat.ML
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
如何在离线强化学习（RL）中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估（OPE）的方法通常需要额外的函数近似，因此需要超参数，从而造成鸡和蛋的情况。在本文中，我们设计了超参数无算法的基础上BVFT [XJ 21]，价值函数选择的最新理论进展的政策选择，并证明其有效性在离散行动基准，如雅达利。为了解决性能下降，由于穷人的批评，在连续的行动领域，我们进一步结合BVFT与OPE得到最好的两全其美，并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
