A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Soft Actor-Critic Deep Reinforcement Learning for Fault Tolerant Flight Control
Delft University of Technology（代尔夫特理工大学）
容错飞行控制面临挑战，因为为每个意外故障开发基于模型的控制器是不现实的，并且在线学习方法由于其低采样效率而只能处理有限的系统复杂性。在这项研究中，无模型耦合动力学飞行控制器的喷气式飞机能够承受多种故障类型的建议。离线训练的级联Soft Actor-Critic深度强化学习控制器在高度耦合的机动中取得了成功，包括协调的40度爬坡转弯，归一化平均绝对误差为2.64%。该控制器对-15 °方向舵卡死、副翼有效性降低70%、结构故障、结冰和重心后移等六种故障具有鲁棒性。当响应稳定且爬坡转弯成功完成时，换档。对有偏传感器噪声、大气扰动以及不同初始飞行条件和参考信号形状的鲁棒性也得到了证明。
2022-02-16 cs.LG cs.RO cs.SY
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Policy Consolidation for Continual Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
我们提出了一种在深度强化学习中解决灾难性遗忘的方法，即\textit{agnostic}到经验分布变化的时间尺度，不需要任务边界的知识，并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中，策略网络与隐藏网络的级联进行交互，这些隐藏网络同时记住代理在一系列时间尺度上的策略，并通过自己的历史来规范当前策略，从而提高其学习而不忘记的能力。我们发现，该模型提高了持续学习相对于基线的一些连续控制任务，在单任务，交替两个任务，和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Marginalized Operators for Off-policy Reinforcement Learning
DeepMind（深度思维）
本文提出边际化算子，推广多步离策略评估算子并降低方差，可扩展计算，实验证明其提升离策略评估与策略优化性能。
2026-10-06 cs.LG stat.ML
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
批量强化学习（RL）算法试图从设计者提供的一类策略中选择一个策略，给定一组固定的训练数据。选择的政策，最大限度地估计回报往往会导致过度拟合时，只有有限的数据是可用的，由于政策类的大小与可用的数据量。在这项工作中，我们专注于学习策略类，这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点，该原则使用拉德马赫复杂度来确定一个策略类，该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同，我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics（上海财经大学数学学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）
针对强化学习中存在异常值污染和重尾奖励的问题，提出一种完全在线的鲁棒策略评估程序，建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断，经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Deep Model-Based Reinforcement Learning via Estimated Uncertainty and Conservative Policy Optimization
University of Science and Technology of China（中国科学技术大学）
基于模型的强化学习算法往往比无模型方法实现更高的样本效率。然而，由于学习模型不可避免的误差，基于模型的方法很难达到与无模型方法相同的渐近性能。在本文中，我们提出了一种基于模型的不确定性策略优化方法（POMBU）-一种新的基于模型的方法-，可以有效地提高渐近性能，利用Q值的不确定性。我们推导出一个上限的不确定性，基于此，我们可以近似的不确定性准确和有效地基于模型的方法。我们进一步提出了一个不确定性感知的策略优化算法，优化的政策保守，鼓励性能提高的概率很高。这可以显著缓解政策对不准确模型的过度拟合。实验结果表明，POMBU算法在样本效率和渐近性能方面均优于现有的策略优化算法。此外，实验证明了优秀的鲁棒性POMBU相比，以前的基于模型的方法。
2019-11-28 cs.LG stat.ML
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London（帝国理工学院）
我们考虑的问题，模仿学习从一组有限的专家轨迹，没有获得强化信号。通过逆强化学习提取专家的奖励函数，然后进行强化学习的经典方法是间接的，并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布，在训练过程中可能不稳定。我们提出了一个新的框架，通过估计专家政策的支持，以计算一个固定的奖励函数，这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性，在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Variational Policy Propagation for Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Shanghai Jiao Tong University（上海交通大学）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们提出了一个\emph{collaborative}多智能体强化学习算法变分策略传播（VPP）学习\emph{joint}政策，通过代理之间的相互作用。我们证明了联合策略在一定的条件下是一个马尔可夫随机场，从而有效地减少了策略空间。我们将变分推理作为特殊的可微层集成在策略中，使得动作可以从马尔可夫随机场有效地采样，并且整体策略是可微的。我们评估了我们的算法在几个大规模的挑战性任务，并证明它优于以前的国家的最先进的。
2022-01-29 cs.LG cs.MA stat.ML
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Reinforcement Learning for Cognitive Delay/Disruption Tolerant Network Node Management in an LEO-based Satellite Constellation
University of Chinese Academy of Sciences（中国科学院大学）；Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间应用工程与技术中心）
近年来，随着空间航天器实体的大规模部署和星载能力的提高，容迟/容中断网络（DTN）作为一种在网络动态性过大的情况下比TCP/IP更健壮的通信协议应运而生。DTN节点缓冲区管理仍然是一个活跃的研究领域，因为DTN核心协议的当前实现仍然依赖于这样一个假设，即在不同的网络节点中总是有足够的可用内存来存储转发捆绑包。另外，经典排队论不适用于DTN节点缓冲区的动态管理。为此，提出了一种基于先进的强化学习（RL）策略优势行动者-批评者（A2 C）的低轨卫星星座认知DTN节点集中式自动管理方法。该方法旨在探索训练地球同步轨道智能代理来管理LEO卫星星座场景中的所有DTN节点。A2 C代理的目标是在考虑节点内存利用率的同时，最大限度地提高交付成功率并最小化网络资源消耗成本。智能代理可以动态地调整无线电数据率并基于束优先级执行丢弃操作。为了衡量A2 C技术应用于LEO卫星星座DTN节点管理问题的有效性，本文将训练智能代理策略与其他两种非RL策略（包括随机策略和标准策略）进行了比较。实验表明，A2 C策略平衡了投递成功率和代价，提供了最高的回报和最低的节点内存利用率。
2022-09-27 cs.AI cs.LG cs.NI
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Safe and Efficient Off-Policy Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
在这项工作中，我们重新审视了一些旧的和新的算法，用于基于返回的强化学习。表达这些在一个共同的形式，我们得到一个新的算法，Retrace（$λ$），具有三个所需的属性：（1）它具有低方差;（2）它安全地使用从任何行为策略收集的样本，无论其程度的“关闭政策”;和（3）它是有效的，因为它使最好地利用收集的样本从近的政策行为政策。我们分析的收缩性质的相关运营商下的政策评估和控制设置，并获得在线基于样本的算法。我们相信这是第一个基于返回的离线策略控制算法收敛a.s.到$Q^*$，而没有GLIE假设（贪婪的极限与无限探索）。作为推论，我们证明了Watkins的Q（$λ$）的收敛性，这是自1989年以来的一个公开问题。我们说明了Retrace（$λ$）的雅达利2600游戏的标准套件的好处。
2016-11-07 cs.AI cs.LG stat.ML
DisCoRL: Continual Reinforcement Learning via Policy Distillation
ENSTA Paris（巴黎高等先进技术学院）；Institute Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
在多任务强化学习中，有两个主要的挑战：在训练时，使用单个模型学习不同策略的能力;在测试时，在没有外部信号的情况下推断哪些策略适用。在持续强化学习的情况下，第三个挑战出现了：顺序学习任务而不忘记前面的任务。在本文中，我们通过提出DisCoRL来应对这些挑战，这是一种结合状态表示学习和策略蒸馏的方法。我们使用3轮全方位机器人进行了一系列三个模拟2D导航任务的实验。此外，我们测试了我们的方法的鲁棒性，将最终的政策转移到现实生活中的设置。该策略可以解决所有任务，并自动推断运行哪一个。
2019-07-11 cs.AI cs.LG stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Iterative Policy-Space Expansion in Reinforcement Learning
University of Bath（巴斯大学）
当人类和动物面对一系列问题时，他们更容易解决一个困难的问题，这些问题开始很简单，然后慢慢增加难度。我们在强化学习的背景下探索这个想法。而不是提供代理与外部提供的课程，逐步更困难的任务，代理解决了一个单一的任务，利用递减约束的政策空间。我们提出的算法首先学习将特征分类为积极和消极，然后逐渐学习更精细的策略。在俄罗斯方块的实验结果表明，优越的学习率，我们的方法相比，现有的算法。
2019-12-05 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Real-time Policy Distillation in Deep Reinforcement Learning
University of South Carolina（南卡罗来纳大学）；San Francisco State University（旧金山州立大学）
深度强化学习中的策略蒸馏提供了一种有效的方法，可以将控制策略从较大的网络转移到较小的未经训练的网络，而不会显着降低性能。然而，策略蒸馏在深度强化学习中探索不足，现有方法计算效率低，导致蒸馏时间长。此外，蒸馏过程的有效性仍然受限于模型容量。我们提出了一种新的蒸馏机制，称为实时的策略蒸馏，其中训练教师模型和蒸馏策略的学生模型同时发生。相应地，教师的最新策略实时的转移到学生模型。这将蒸馏时间减少到原来时间的一半甚至更少，并且还使非常小的学生模型能够学习专家级别的技能。我们评估了该算法在Atari 2600域。结果表明，我们的方法可以在大多数游戏中实现完全蒸馏，即使压缩率高达1.7%。
2019-12-29 cs.AI cs.LG stat.ML
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Robust and Smooth Policy
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Northwestern University（西北大学）
深度强化学习（RL）在各个领域都取得了巨大的成功。然而，神经网络的大搜索空间需要大量的数据，这使得目前的RL算法的采样效率不高。由于许多具有连续状态空间的环境具有平滑过渡的事实，我们建议学习一种平滑策略，该策略在状态方面表现平滑。我们开发了一个新的框架-- \textbf{S} mooth \textbf{R} egulatized \textbf{L} earning（$\textbf{SR}^2\textbf{L}$），其中的策略是用平滑诱导正则化来训练的。这样的正则化有效地约束了搜索空间，并在学习的策略中强制平滑。此外，我们提出的框架还可以提高对状态空间中的测量误差的策略的鲁棒性，并可以自然地扩展到分布鲁棒设置。我们将所提出的框架应用于策略（TRPO）和策略算法（DDPG）。通过大量的实验，我们证明了我们的方法实现了改进的样本效率和鲁棒性。
2020-08-15 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
强化学习中的非策略评估（OPE）允许人们评估新的决策策略，而不需要进行探索，这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程（MDP），行动，奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比，我们称之为双强化学习（DRL）。我们表明，DRL是有效的，当两个组件估计在四根率，也是双重的强大时，只有一个组件是一致的。我们调查这些属性的经验，并证明了性能的好处，由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
An Energy-aware and Fault-tolerant Deep Reinforcement Learning based approach for Multi-agent Patrolling Problems
The University of Melbourne（墨尔本大学）
针对多智能体巡逻中环境复杂、车辆故障/续航有限、需协同的问题，提出基于无模型深度多智能体强化学习的分布式同构方法，支持自主充电与容错补员，经仿真验证多维度性能有效。
2023-06-09 cs.AI cs.LG cs.MA
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning
UC Santa Barbara（加州大学圣巴巴拉分校）；Salesforce Research（赛富时研究院）
强化学习（RL）中的离线策略评估（OPE）问题是将RL应用于实际应用的关键一步。现有的OPE工作主要集中在评估一个固定的目标策略$π$，这并不提供有用的离线策略学习的界限，因为$π$将依赖于数据。我们解决这个问题，同时评估所有的政策在一个政策类$Π$ -统一收敛OPE -并获得近最佳的误差范围的一些全球/本地的政策类。我们的研究结果意味着，基于模型的规划实现了最佳的情节复杂性$\widetilde{O}(H^3/d_mε^2)$在确定一个$ε$ -最佳的政策下的时间不均匀的情节MDP模型（$H$是规划的视野，$d_m$是一个数量，反映了探索的日志记录政策$μ$）。据我们所知，这是第一次最优速率被证明是可能的离线RL设置和文件是第一个系统地研究一致收敛OPE。
2020-12-01 cs.AI cs.LG stat.ML
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
如何在离线强化学习（RL）中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估（OPE）的方法通常需要额外的函数近似，因此需要超参数，从而造成鸡和蛋的情况。在本文中，我们设计了超参数无算法的基础上BVFT [XJ 21]，价值函数选择的最新理论进展的政策选择，并证明其有效性在离散行动基准，如雅达利。为了解决性能下降，由于穷人的批评，在连续的行动领域，我们进一步结合BVFT与OPE得到最好的两全其美，并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning
Caltech（加州理工学院）；Argo AI；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们为强化学习中的政策外政策评估（OPE）提供了实验基准和实证研究，这是许多安全关键应用中的关键问题。由于越来越多的兴趣部署学习为基础的方法，有一系列的OPE方法的建议，导致需要标准化的实证分析。我们的工作非常注重实验设计的多样性，以实现OPE方法的压力测试。我们提供了一个全面的基准测试套件来研究不同属性对方法性能的相互作用。我们将结果提炼成一套总结的指导方针，供OPE在实践中使用。我们的软件包，加州理工学院的OPE基准套件（COBS），是开源的，我们邀请感兴趣的研究人员进一步为基准作出贡献。
2021-11-27 cs.AI cs.LG cs.RO
Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
针对联邦强化学习缺乏容错保证或依赖中心节点的问题，提出首个去中心化拜占庭容错策略梯度算法，结合鲁棒聚合与弹性协议消除中心依赖，并验证其加速效果与抗攻击能力。
2024-01-07 cs.AI cs.DC cs.LG
Robust On-Policy Sampling for Data-Efficient Policy Evaluation in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
强化学习（RL）算法通常被分类为策略上或策略外，这取决于它们是使用来自感兴趣的目标策略还是来自不同行为策略的数据。在本文中，我们研究了政策评估的RL子问题的上下文中的政策数据和政策抽样之间的微妙区别。我们观察到，在政策抽样可能无法匹配的政策数据的预期分布后，只观察到有限数量的轨迹，这种失败阻碍了数据有效的政策评估。为了提高数据效率，我们展示了非i.i.d.策略外采样可以产生更紧密地匹配期望的策略内数据分布的数据，并且因此增加用于策略评估的蒙特卡罗估计器的准确性。我们介绍了一种称为鲁棒的政策抽样的方法，并从理论上和经验上证明，它产生的数据，收敛速度更快，预期的政策分布相比，政策抽样。从经验上讲，我们表明，这种更快的收敛导致较低的均方误差政策价值的估计。
2022-10-10 cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Doubly Optimal Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对强化学习策略评估方差大、数据需求高的问题，本文提出数据收集策略与处理基线最优组合的双重最优方法，理论证明其无偏且方差更低，实验验证了降方差效果与性能优势。
2025-03-20 cs.LG
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Learning Routines for Effective Off-Policy Reinforcement Learning
King’s College London（伦敦国王学院）
强化学习的性能取决于设计一个适当的动作空间，其中每个动作的效果是可测量的，但粒度足以允许灵活的行为。到目前为止，这个过程涉及到用户在可用操作及其执行频率方面的重要选择。我们提出了一个新的强化学习框架，有效地解除了这些限制。在我们的框架内，代理学习有效的行为在一个常规空间：一个新的，更高层次的动作空间，其中每个例程代表一组“等效”序列的粒度动作与任意长度。我们的常规空间是端到端学习的，以促进实现底层的非策略强化学习目标。我们将我们的框架应用于两个最先进的非策略算法，并表明所产生的代理获得相关的性能改进，同时需要更少的交互与环境每集，提高计算效率。
2021-06-05 cs.LG
