Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta（阿尔伯塔大学）
策略梯度方法被广泛用于强化学习中的控制，特别是用于连续动作设置。由于策略梯度定理的存在，提供了一个简化的形式的梯度，已经有大量的理论上合理的算法提出的策略设置。然而，在离策略学习中，行为策略不一定试图学习和遵循给定任务的最优策略，这样的定理的存在是难以捉摸的。在这项工作中，我们解决了这个开放的问题，提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重（ACE）$\unicode{x2014}$，近似的简化梯度提供的定理。我们证明了在一个简单的反例，以前的政策外的策略梯度方法$\unicode{x2014}$，特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案，而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们表明，对政策的策略梯度（PG）和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样（IS）家庭的政策外评估（OPE）。从双重稳健（DR）估计量（Jiang & Li，2016）开始，我们提供了一种非常通用和灵活的PG形式的简单推导，其中包含了最先进的方差缩减技术（Cheng et al.，2019年）作为其特例，并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差，将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较，并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology（代尔夫特理工大学）
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap，首次从理论分析给出缩小该差距的条件，并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；East China Normal University（华东师范大学）；University of Science and Technology of China（中国科学技术大学）；Shandong University（山东大学）；Georgia Institute of Technology（佐治亚理工学院）
当轨迹数据由多个行为策略生成时，我们考虑了非策略策略评估。最近的工作表明，在无限水平的背景下，状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略（EMP），一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析，我们发现，EMP产生的估计减少方差估计的状态平稳分布校正，同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中，我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Robust Offline Policy Learning with Observational Data from Multiple Sources
Stanford University（斯坦福大学）
针对多源异构观测数据下的个性化决策策略学习问题，提出一种结合双重鲁棒离线策略评估与无遗憾学习的极小化极大遗憾优化算法，确保在源分布混合下实现一致较低的遗憾并达到最小最坏情况混合遗憾。
2024-10-11 cs.LG stat.ML
Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model
Tsinghua University（清华大学）；UT Austin（德克萨斯大学奥斯汀分校）
在医疗和自动驾驶等高风险场景中，在线收集实验数据来训练智能体是有风险的，甚至是不可行的。基于模拟的训练可以缓解这个问题，但可能会受到模拟器和真实环境的固有不匹配的影响。因此，必须利用模拟器来学习真实世界部署的强大策略。在这项工作中，我们考虑策略学习的鲁棒马尔可夫决策过程（RMDP），代理试图寻求一个强大的政策，对环境的意外扰动。具体来说，我们专注于训练环境可以被描述为生成模型的设置，并且在测试期间可以向模型添加约束扰动。我们的目标是确定一个接近最优的鲁棒性政策的扰动测试环境，这引入了额外的技术困难，因为我们需要同时估计样本的训练环境的不确定性，并找到最坏情况下的扰动测试。为了解决这个问题，我们提出了一个通用的方法，形式化的扰动作为一个对手，以获得一个两个玩家的零和游戏，并进一步表明，纳什均衡对应的鲁棒政策。我们证明了，从生成模型的多项式数量的样本，我们的算法可以找到一个接近最优的鲁棒策略，具有很高的概率。我们的方法是能够处理一般的扰动下，一些温和的假设，也可以扩展到更复杂的问题，如鲁棒的部分可观测马尔可夫决策过程，由于博弈论的制定。
2022-03-15 cs.LG stat.ML
Offline RL Without Off-Policy Evaluation
New York University（纽约大学）
离线强化学习（RL）的大多数现有方法都采用了一种涉及离线评估的迭代演员-评论家方法。在本文中，我们表明，简单地做一个步骤的约束/正则化的政策改进使用的政策Q估计的行为政策执行得出奇的好。这种一步算法在D4 RL基准测试的大部分上击败了以前报道的迭代算法的结果。一步基线实现了这种强大的性能，同时比以前提出的迭代算法更简单，对超参数更鲁棒。我们认为，迭代方法的相对较差的性能是在做关闭政策评估固有的高方差的结果，并放大了对这些估计的政策的反复优化。此外，我们假设一步算法的强大性能是由于环境和行为政策的有利结构的组合。
2021-12-03 cs.LG stat.ML
Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters
Cambridge University（剑桥大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Imperial College London（帝国理工学院）
在这项工作中，我们考虑的问题，估计的行为政策用于政策外的政策评估（OPE）时，真正的行为政策是未知的。通过一系列的实证研究，我们证明了如何准确的OPE是强烈依赖于校准估计的行为政策模型：如何准确地从数据中估计的行为政策。我们展示了如何强大的参数模型，如神经网络可以导致高度未校准的行为政策模型在现实世界的医疗数据集，并说明如何一个简单的，非参数，k-近邻模型产生更好的校准行为政策估计，并可用于获得优越的重要性采样为基础的OPE估计。
2018-07-10 cs.LG stat.ML
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science（印度科学学院）
从不同策略（行为策略）获得的数据样本中学习给定策略（目标策略）的价值函数是强化学习（RL）中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分（TD）学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时，产生的目标政策（称为对政策的预测）。然而，在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中，我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式，以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算，进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
Learning Robust Policy against Disturbance in Transition Dynamics via State-Conservative Policy Optimization
CAS Key Laboratory of Technology in GIPAS, University of Science and Technology of China（中国科学院空间信息处理与应用系统技术重点实验室，中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
由于源环境和目标环境之间的差异，深度强化学习算法在现实世界的任务中可能表现不佳。这种差异通常被视为过渡动力学中的扰动。许多现有的算法学习鲁棒策略建模的干扰，并将其应用到源环境在训练过程中，这通常需要先验知识的干扰和控制的模拟器。然而，这些算法可能会失败的情况下，来自目标环境的干扰是未知的或难以在模拟器中建模。为了解决这个问题，我们提出了一种新的无模型的演员-评论家算法-即，状态保守的策略优化（SCPO）-学习鲁棒的政策，而无需建模的干扰提前。具体来说，SCPO减少了在过渡动力学的状态空间中的干扰，然后近似它由一个简单的基于梯度的正则化。SCPO的吸引人的特点包括，它是简单的实施，不需要额外的知识，干扰或专门设计的模拟器。在几个机器人控制任务的实验表明，SCPO学习鲁棒的政策对过渡动力学的干扰。
2021-12-20 cs.LG stat.ML
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法，并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间，并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Optimistic Distributionally Robust Policy Optimization
University of Washington（华盛顿大学）
信任域策略优化（TRPO）和近端策略优化（PPO）作为广泛使用的基于策略的强化学习（RL）方法，由于将策略表示限制在特定的参数分布类，容易收敛到次优解。为了解决这个问题，我们开发了一个创新的乐观分布鲁棒策略优化（ODRPO）算法，它有效地利用乐观分布鲁棒优化（DRO）方法来解决信任域约束优化问题，而无需参数化的政策。我们的算法改进TRPO和PPO具有更高的样本效率和更好的性能的最终政策，同时获得学习稳定性。此外，它实现了一个全局最优的策略更新，这是不承诺在流行的基于策略的RL算法。跨表域和机器人运动任务的实验证明了我们的方法的有效性。
2020-06-14 cs.LG math.OC stat.ML
Stable Policy Optimization via Off-Policy Divergence Regularization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
信任域策略优化（TRPO）和近端策略优化（PPO）是深度强化学习（RL）中最成功的策略梯度方法之一。虽然这些方法在广泛的挑战性任务中实现了最先进的性能，但在策略学习的稳定性和如何使用非策略数据方面仍有改进的空间。在本文中，我们重新审视这些算法的理论基础，并提出了一个新的算法，通过一个邻近项，约束连续政策的折扣状态-动作的访问分布，以接近彼此稳定的政策改善。这个接近项，表示在访问分布之间的分歧，是在一个关闭政策和对抗的方式学习。我们的经验表明，我们提出的方法可以有一个有益的影响，稳定性和提高最终性能的基准高维控制任务。
2020-06-19 cs.LG stat.ML
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）；University of California, Riverside（加州大学河滨分校）；University of Virginia（弗吉尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究针对强化学习在线策略评估的高方差问题，提出双循环梯度算法学习鲁棒行为策略，其对转移扰动敏感性更低，可降低真实环境评估成本。
2026-08-26 cs.LG stat.ML
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty
Texas A&M University（德克萨斯大学）；University of Minnesota（明尼苏达大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Northeastern University（东北大学）
针对鲁棒强化学习计算昂贵且策略保守的问题，提出自适应秩表示（AdaRL）双层优化框架，通过动态调整策略秩平衡偏差-方差，在MuJoCo基准上超越现有方法并收敛至任务内在秩。
2025-10-13 cs.LG stat.ML
Off-policy evaluation for MDPs with unknown structure
Technion（以色列理工学院）
动态决策问题中的非策略学习对于提供强有力的证据证明新策略优于使用中的策略是必不可少的。但是我们怎么能在不测试新政策的情况下证明自己的优越性呢？为了回答这个问题，我们引入了G-SCOPE算法，该算法根据现有策略生成的数据评估新策略。我们的算法是计算和样本效率，因为它greenly学习利用因子结构的动态环境。我们提出了一个有限的样本分析，我们的方法，并通过实验表明，该算法规模以及高维问题的样本少。
2015-02-11 cs.LG stat.ML
Finite-Sample Analysis of Policy Evaluation for Robust Average Reward Reinforcement Learning
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔）
本文提出了一种基于多级蒙特卡洛技术的鲁棒策略评估方法，实现了最优样本复杂度，解决了鲁棒平均奖励强化学习中的样本复杂度问题。
2025-12-09 cs.LG stat.ML
Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce Research（Salesforce研究院）
最近的理论工作在两种环境中广泛研究了样本有效的强化学习（RL）：在环境中交互式学习（在线RL）或从离线数据集学习（离线RL）。然而，现有的算法和理论学习接近最优的政策，在这两个设置是相当不同的和断开。为了弥补这一差距，本文提出了政策微调的理论研究，即在线强化学习，学习者有额外的访问“参考政策”$μ$接近最优政策$π_\star$在一定意义上。研究了具有$S$状态、$A$动作和水平长度$H$的情景马尔可夫决策过程（MDP）的策略微调问题.我们首先设计了一个尖锐的离线约简算法-它简单地执行$μ$并在收集的数据集上运行离线策略优化-在$\widetilde{O}(H^3SC^\star/\varepsilon^2)$事件中找到$\varepsilon$接近最优的策略，其中$C^\star$是$μ$和$π_\star$之间的单策略集中系数。这个离线结果是第一个匹配此设置中的样本复杂度下限的结果，并解决了离线RL中最近的一个未决问题。然后，我们建立了一个$Ω(H^3S\min\{C^\star, A\}/\varepsilon^2)$样本复杂度下限的任何政策微调算法，包括那些可以自适应地探索环境。这意味着--也许令人惊讶的是--最优策略微调算法要么是离线约简，要么是不使用$μ$的纯在线RL算法。最后，我们设计了一个新的混合离线/在线算法的政策微调，实现更好的样本复杂度比香草离线减少和纯在线R…
2022-02-11 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
设计非策略强化学习算法通常是一项非常具有挑战性的任务，因为期望的迭代更新通常涉及对策略分布的期望。现有的非策略行动者-批评者（AC）算法已经引入了一种新的批评者，该批评者使用密度比来调节分布失配以稳定收敛，但是由于密度比和价值函数两者的估计误差而潜在地引入高偏差。在本文中，我们开发了一个双重强大的关闭政策AC（DR-关闭PAC）折扣MDP，它可以利用学习滋扰功能，以减少估计误差。此外，DR-Off-PAC采用单时间尺度结构，其中演员和评论家都以恒定的步长同时更新，因此比采用两个时间尺度或嵌套循环结构的现有算法更具样本效率。研究了DR-Off-PAC算法的有限时间收敛速度和样本复杂度，以获得$ε$ -精确的最优策略.我们还表明，DR-Off-PAC的整体收敛性对仅取决于逼近函数的表达能力的逼近误差具有双重鲁棒性。据我们所知，我们的研究建立了第一个整体样本复杂性分析一个单一的时间尺度的政策外AC算法。
2021-07-18 cs.LG stat.ML
Adaptive Trade-Offs in Off-Policy Learning
DeepMind
文献中存在各种各样的离策略学习算法，并且在该领域继续取得新的突破，提高理论理解并产生最先进的强化学习算法。在本文中，我们采取统一的观点，这个空间的算法，并考虑他们的权衡的三个基本数量：更新方差，定点偏差，收缩率。这导致了现有方法的新视角，也自然产生了新的算法，离政策的评估和控制。我们开发了一种这样的算法，C-跟踪，证明它能够更有效地使这些权衡比现有的方法在使用中，它可以扩展到产生最先进的性能在大规模的环境中。
2020-07-30 cs.LG stat.ML
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；ENSAE Paris（巴黎高等经济商业学院）
本文提出首个保守且可证明高效的免模型强化学习算法，利用重要性采样反事实评估保守条件，确保学习过程中性能不低于基线策略，并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
非策略强化学习旨在利用从先前策略中收集的经验进行样本有效学习。然而，在实践中，常用的非策略近似动态规划方法的基础上Q-学习和actor-critic方法是高度敏感的数据分布，只能取得有限的进展，而不收集额外的政策上的数据。作为迈向更强大的离线策略算法的一步，我们研究了离线策略体验是固定的并且没有与环境进一步交互的设置。我们确定自举错误的一个关键来源，在目前的方法不稳定。自举错误是由于从位于训练数据分布之外的动作进行自举，并且它通过Bellman备份操作符累积。我们从理论上分析了自举错误，并论证了如何在备份中仔细地约束动作选择来减轻它。基于我们的分析，我们提出了一个实用的算法，自举错误累积减少（BEAR）。我们证明了BEAR能够在一系列连续控制任务中从不同的非策略分布（包括随机和次优演示）中鲁棒地学习。
2019-11-25 cs.LG stat.ML
Doubly robust off-policy evaluation with shrinkage
Cornell University（康奈尔大学）；Netflix（奈飞）；Microsoft Research（微软研究院）
我们提出了一个新的框架，设计估计的政策外评价上下文土匪。我们的方法是基于渐近最优的双重鲁棒估计，但我们收缩的重要性权重，以最小化上的均方误差，从而在有限的样本中，在一个更好的偏差方差权衡的约束。我们使用这个基于优化的框架来获得三个估计：（a）一个权重裁剪估计，（b）一个新的权重收缩估计，（c）第一个基于收缩的组合动作集估计。在标准和组合强盗基准问题的广泛实验表明，我们的估计是高度自适应的，通常优于国家的最先进的方法。
2020-09-18 cs.LG stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
离线强化学习，其中使用由固定行为策略记录的非策略数据来评估和学习新策略，在实验有限的应用中至关重要，例如医学。本文研究了当行为连续时，确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的，因为最佳策略总是确定性的（直到领带）。在这种情况下，标准的重要性采样和双稳健估计策略值和梯度失败，因为密度比不存在。为了避免这个问题，我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差，这些温和的利率条件下滋扰估计。具体来说，我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Deep Reinforcement Learning with Robust and Smooth Policy
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Northwestern University（西北大学）
深度强化学习（RL）在各个领域都取得了巨大的成功。然而，神经网络的大搜索空间需要大量的数据，这使得目前的RL算法的采样效率不高。由于许多具有连续状态空间的环境具有平滑过渡的事实，我们建议学习一种平滑策略，该策略在状态方面表现平滑。我们开发了一个新的框架-- \textbf{S} mooth \textbf{R} egulatized \textbf{L} earning（$\textbf{SR}^2\textbf{L}$），其中的策略是用平滑诱导正则化来训练的。这样的正则化有效地约束了搜索空间，并在学习的策略中强制平滑。此外，我们提出的框架还可以提高对状态空间中的测量误差的策略的鲁棒性，并可以自然地扩展到分布鲁棒设置。我们将所提出的框架应用于策略（TRPO）和策略算法（DDPG）。通过大量的实验，我们证明了我们的方法实现了改进的样本效率和鲁棒性。
2020-08-15 cs.AI cs.LG stat.ML
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
非策略深度强化学习（RL）算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习，这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为，大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题，然后提出了一种约束状态分布偏移的离线策略优化方法。为此，我们首先使用密度估计器基于状态的特征来估计状态分布，然后开发一种新的约束非策略梯度目标，其最小化状态分布偏移。我们的连续控制任务的实验结果表明，最大限度地减少这种分布不匹配，可以显着提高性能，在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Soft-Robust Actor-Critic Policy-Gradient
Technion（以色列理工学院）；Google Deepmind（谷歌DeepMind）
鲁棒强化学习的目标是获得最佳行为，说明动态系统中的模型不确定性。然而，先前的研究表明，考虑到最坏的情况，稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中，我们提出了一种新的软鲁棒Actor-Critic算法（SR-AC）。它学习关于不确定性集合上的分布的最优策略，并对模型的不确定性保持鲁棒性，但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性，并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Robust Batch Policy Learning in Markov Decision Processes
George Washington University（乔治华盛顿大学）；Harvard University（哈佛大学）
在马尔可夫决策过程（MDP）框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力，我们建议通过一组平均奖励来评估每个策略，这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集，我们的目标是在预先指定的策略类中学习一个鲁棒的策略，该策略类可以最大化这个集合的最小值。利用半参数统计理论，我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Q($λ$) with Off-Policy Corrections
VU Brussel（布鲁塞尔自由大学）；Google DeepMind（谷歌DeepMind）
我们提出并分析了一种替代方法，关闭政策的多步时间差学习，其中关闭政策的回报与当前Q函数的奖励，而不是与目标政策的转移概率。我们证明了这种近似修正是足够的政策评估和控制，提供一定的条件下，离政策收敛。这些条件将目标策略和行为策略之间的距离、资格跟踪参数和折扣因子联系起来，并在非策略TD（$λ$）中形式化了底层的权衡。我们说明了这种理论关系的经验上的连续状态控制任务。
2016-08-11 cs.AI cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Entropic Risk Constrained Soft-Robust Policy Optimization
University of New Hampshire（新罕布什尔大学）
在强化学习中，拥有一个完美的模型来计算最优策略通常是不可行的。在高风险领域，量化和管理由模型不确定性引起的风险是非常重要的。熵风险测度是一种基于指数效用的凸风险测度，它满足许多合理的性质。在本文中，我们提出了一个熵风险约束的策略梯度和演员评论家算法，是风险厌恶的模型的不确定性。我们证明了我们的算法在几个问题域的有用性。
2020-06-20 cs.LG math.OC stat.ML
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University（波士顿大学）
为了使强化学习技术在现实世界的决策过程中发挥作用，它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果，但它们在现实世界中的应用仍然有限，因为它们通常需要大量数据才能成功。当与小样本量相结合时，这些方法可能会导致不稳定的学习，因为它们依赖于基于高维样本的估计。在这项工作中，我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法，旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法，不确定性感知的信任域策略优化，生成强大的策略更新，以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Robust On-Policy Sampling for Data-Efficient Policy Evaluation in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
强化学习（RL）算法通常被分类为策略上或策略外，这取决于它们是使用来自感兴趣的目标策略还是来自不同行为策略的数据。在本文中，我们研究了政策评估的RL子问题的上下文中的政策数据和政策抽样之间的微妙区别。我们观察到，在政策抽样可能无法匹配的政策数据的预期分布后，只观察到有限数量的轨迹，这种失败阻碍了数据有效的政策评估。为了提高数据效率，我们展示了非i.i.d.策略外采样可以产生更紧密地匹配期望的策略内数据分布的数据，并且因此增加用于策略评估的蒙特卡罗估计器的准确性。我们介绍了一种称为鲁棒的政策抽样的方法，并从理论上和经验上证明，它产生的数据，收敛速度更快，预期的政策分布相比，政策抽样。从经验上讲，我们表明，这种更快的收敛导致较低的均方误差政策价值的估计。
2022-10-10 cs.LG
Fingerprint Policy Optimisation for Robust Reinforcement Learning
University of Oxford（牛津大学）
策略梯度方法忽略了调整环境变量的潜在价值：在物理设置中由环境随机确定的不可观察的状态特征，但在模拟器中是可控的。如果环境变量对过渡动态有很大的影响，这可能导致学习缓慢或收敛到次优策略。在本文中，我们提出了指纹策略优化（FPO），它找到了一个政策，是最佳的预期分布的环境变量。其中心思想是使用贝叶斯优化（BO）来主动选择环境变量的分布，使策略梯度方法的每次迭代产生的改进最大化。为了使这个BO实用，我们贡献了两个易于计算的低维指纹的当前政策。我们的实验表明，FPO可以有效地学习对重大罕见事件具有鲁棒性的策略，这些事件在随机抽样下不太可能被观察到，但却是学习良好策略的关键。
2019-05-27 cs.AI cs.LG stat.ML
Chaining Value Functions for Off-Policy Learning
DeepMind；University College London（伦敦大学学院）
为了积累知识并改进其行为策略，强化学习代理可以学习与用于生成其经验的策略不同的策略的“非策略”。这对学习反事实很重要，或者因为经验是在它自己的控制之外产生的。然而，离策略学习是不平凡的，标准的学习算法可能是不稳定和发散的。在本文中，我们讨论了一个新的家庭的政策外预测算法是收敛的建设。这个想法是首先学习关于数据生成行为的on-policy，然后在这个on-policy估计上引导一个off-policy值估计，从而构建一个部分off-policy的值估计。可以重复该过程以构建价值函数的链，每次在链中的先前估计上引导新的估计。链中的每一步都是稳定的，因此完整的算法保证是稳定的。在温和的条件下，当我们增加链的长度时，这任意地接近于非政策TD解。因此，即使在偏离策略TD发散的情况下，它也可以计算解。我们证明了该方案是收敛的，对应于逆密钥矩阵的迭代分解。此外，它可以被解释为估计一个新的目标-我们称之为“k步远征”-在无限期地继续执行行为政策之前，先执行目标政策200多步。经验上，我们评估的想法，挑战MDPs，如贝尔德的反例，并观察到有利的结果。
2022-02-02 cs.AI cs.LG stat.ML
First-order Policy Optimization for Robust Policy Evaluation
Georgia Institute of Technology（佐治亚理工学院）
针对鲁棒马尔可夫决策过程的策略评估问题，提出首个统一框架一阶策略评估（FRPE），支持离线与在线环境及通用函数逼近，并证明了其线性收敛性与样本复杂度。
2023-07-29 cs.LG math.OC
Policy Gradient in Robust MDPs with Global Convergence Guarantee
School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）；Department of Computer Science, University of New Hampshire（新罕布什尔大学计算机科学系）
针对鲁棒马尔可夫决策过程（RMDPs）适配策略梯度方法难、实际应用受限的问题，提出首个通用双环鲁棒策略梯度算法DRPG，通过参数化转移核与梯度法求解内环策略，可单调降误差保证表格RMDP全局收敛，实验验证了其效用与收敛性。
2023-06-07 cs.LG
Distributionally Robust Policy Evaluation under General Covariate Shift in Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）；Caltech（加州理工学院）
针对上下文赌博机在上下文与策略分布同时偏移时的离线评估问题，提出基于稳健回归奖励模型的直接与双重稳健估计量，并给出有限样本偏差界和显著优于基线的实验结果。
2024-08-09 cs.LG
Learning Robust Controllers Via Probabilistic Model-Based Policy Search
University of Glasgow（格拉斯哥大学）
基于模型的强化学习通过一个世界模型来估计真实的环境，以近似最优策略。这类算法通常比无模型算法具有更好的样本效率。我们调查是否控制器以这样的方式学习是强大的，并能够在环境的小扰动下推广。我们的工作受到PILCO算法的启发，PILCO算法是一种概率策略搜索方法。我们表明，强制执行的似然噪声的高斯过程动力学模型的下限规则化的政策更新，并产生更强大的控制器。我们证明了我们的方法在模拟基准的经验优势。
2021-10-26 cs.LG
Representation Balancing MDPs for Off-Policy Policy Evaluation
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；Cambridge University（剑桥大学）；Imperial College London（帝国理工学院）
研究了强化学习中的政策外政策评估问题。与以往的工作相比，我们考虑如何准确地估计单个保单价值和平均保单价值。我们从因果推理的最新工作中得到启发，并提出了一个新的有限样本泛化误差界的MDP模型的价值估计。使用这个上限为目标，我们开发了一个学习算法的MDP模型与平衡的表示，并表明，我们的方法可以产生显着降低MSE在常见的合成基准和艾滋病毒治疗模拟域。
2019-04-17 cs.AI cs.LG stat.ML
The Adaptive Doubly Robust Estimator for Policy Evaluation in Adaptive Experiments and a Paradox Concerning Logging Policy
CyberAgent Inc.（CyberAgent公司）；Temple University（天普大学）
双鲁棒（DR）估计，其中包括两个讨厌的参数，条件平均结果和日志记录政策（选择一个动作的概率），是至关重要的因果推理。本文提出了一种用于自适应实验中相依样本的DR估计器。为了得到一个渐近正态的半参数估计从相依样本与非Donsker滋扰估计，我们提出了自适应拟合作为一个变量的样本分裂。我们还报告了一个经验悖论，我们提出的DR估计往往表现出更好的性能相比，其他估计利用真正的日志记录政策。虽然类似的现象是已知的估计与i.i.d.样本，传统的解释的基础上渐近效率不能阐明我们的情况下，依赖样本。我们通过模拟研究证实了这一假设。
2021-06-18 cs.LG econ.EM stat.ME
Statistically Efficient Off-Policy Policy Gradients
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
强化学习中的策略梯度方法通过在策略值的估计梯度的方向上采取步骤来更新策略参数。在本文中，我们考虑统计有效的估计政策梯度从政策外的数据，估计是特别不平凡的。我们推导出可行的均方误差在马尔可夫和非马尔可夫决策过程的渐近下界，并表明现有的估计无法实现它在一般设置。我们提出了一个元算法，实现了下界没有任何参数假设，并表现出独特的3路双鲁棒性。我们讨论了如何估计算法所依赖的干扰。最后，我们建立保证的速度，我们接近一个稳定的点，当我们采取步骤，我们的新估计的政策梯度的方向。
2020-02-20 cs.LG math.OC stat.ML
