Provably Correct Optimization and Exploration with Non-linear Policies
Microsoft Research（微软研究院）
策略优化方法仍然是经验强化学习（RL）中强大的主力，重点是可以轻松推理复杂和连续状态和/或动作空间的神经策略。然而，在基于政策的方法与非线性函数逼近的战略探索的理论理解，在很大程度上是缺失的。在本文中，我们通过设计ENIAC来解决这个问题，ENIAC是一种演员-评论家方法，允许在评论家中进行非线性函数逼近。我们表明，在某些假设下，例如，一个有界的逃避者维度$d$的评论家类，学习者发现一个接近最优的政策，在$O(\poly(d))$探索轮。该方法对模型误设定具有鲁棒性，并严格扩展了线性函数逼近的现有工作。我们还对我们的方法进行了一些计算优化，其中统计保证略差，并且基于现有的深度RL工具进行了经验适应。我们实证评估这种适应，并表明它优于线性方法启发的先验知识，通过正确推理代理的非线性函数近似下的不确定性来建立价值。
2021-03-22 cs.LG stat.ML
Provably efficient RL with Rich Observations via Latent State Decoding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, New York（微软研究院（纽约））；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
我们研究的探索问题，在情节MDP丰富的观测产生的少量的潜在状态。在一定的可识别性假设下，我们演示了如何通过一系列回归和聚类步骤（以前解码的潜在状态为以后的回归问题提供标签）来估计从观测到潜在状态的映射，并使用它来构建良好的探索策略。我们提供有限样本保证学习状态解码功能和探索政策的质量，并补充我们的理论与一类硬探索问题的经验评估。我们的方法指数地改进了$Q$ -学习与天真的探索，即使当$Q$ -学习有欺骗访问潜在状态。
2021-09-09 cs.LG stat.ML
Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs
Peking University（北京大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）；DeepMind；University of Alberta（阿尔伯塔大学）
研究非平稳线性核MDPs中的情景式强化学习，提出带有滑动窗口评估和周期性重启改进的乐观策略优化算法PROPO及值迭代算法，并证明其动态上界和近最优性。
2024-12-23 cs.LG stat.ML
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington（华盛顿大学）；ETH Zrich（苏黎世联邦理工学院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO，通过拉格朗日对偶推导闭式更新，理论上证明了单调提升与全局收敛，并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）；Yale University（耶鲁大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文首次在平均奖励设定下研究方差约束的风险敏感深度强化学习，通过拉格朗日对偶与Fenchel对偶将原问题转化为无约束鞍点优化问题，提出行动者-评论家算法，并证明其能以次线性速率找到全局最优策略。
2023-09-17 cs.LG math.OC stat.ML
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University（东北大学）；Texas A&M University（德克萨斯A&M大学）
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法，通过引入次优性间隙，证明其在O(1/ε)次迭代内达到ε-纳什均衡，改进了此前O(1/ε^2)的结果，并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration
Stanford University（斯坦福大学）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
在具有线性函数近似的MDP中可证明有效学习的理论分析方面取得了越来越大的进展，但现有的许多工作都做出了强有力的假设，以使传统的探索框架能够进行探索。通常，这些假设比在批量设置中找到好的解决方案所需的假设更强。在这项工作中，我们将展示如何在一个更标准的概念，低固有贝尔曼错误，通常采用最小二乘值迭代式算法，我们可以提供强大的PAC保证学习一个接近最佳的价值函数提供的线性空间是足够的“探索”。我们提出了一个计算上易于处理的算法的奖励免费设置，并显示它如何可以用来学习一个接近最优的政策，任何（线性）奖励函数，这是揭示一旦学习已经完成。如果这个奖励函数也是从纯探索过程中收集的样本中估计的，那么我们的结果还提供了相同顺序的PAC保证，保证了此设置下所产生的策略的性能。
2020-10-22 cs.LG stat.ML
Provably Efficient Maximum Entropy Exploration
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）；Google AI（谷歌人工智能）
假设一个智能体在没有奖励信号的情况下处于一个（可能是未知的）马尔可夫决策过程中，我们希望智能体能够有效地学习做什么？这项工作研究了广泛的一类目标，仅定义为功能的状态访问频率是由代理的行为如何引起的。例如，一个自然的、内在定义的客观问题是，智能体学习一个策略，该策略在状态空间上诱导尽可能均匀的分布，这可以在熵的意义上测量。我们提供了一个有效的算法来优化这样的内在定义的目标，当访问一个黑盒规划预言（这是强大的功能近似）。此外，当限制到表格设置，我们有样本为基础的访问MDP，我们提出的算法是证明有效的，无论是在其样本和计算复杂性。我们的算法方法的关键是利用条件梯度法（a.k.a. Frank-Wolfe算法），其利用近似MDP求解器。
2019-01-26 cs.AI cs.LG stat.ML
A Provably Efficient Sample Collection Strategy for Reinforcement Learning
Facebook AI Research（Facebook AI研究院）；Inria Lille（里尔法国国家信息与自动化研究所）；DeepMind
在线强化学习（RL）的挑战之一是智能体需要在环境探索和样本利用之间进行权衡，以优化其行为。无论我们是针对遗憾、样本复杂度、状态空间覆盖还是模型估计进行优化，我们都需要在探索与利用之间做出不同的权衡。在本文中，我们提出了一种解耦的方法来解决探索-利用问题，该方法由以下组成：1）一种“目标特定”算法，该算法（自适应地）规定在哪些状态下收集多少样本，就好像它可以访问生成模型（即，环境的模拟器）; 2）负责尽可能快地生成规定样本的“客观不可知”样本收集探索策略。最近的方法探索在随机最短路径问题的基础上，我们首先提供了一个算法，作为输入的样本数$b(s,a)$需要在每个状态-动作对，需要$\tilde{O}(B D + D^{3/2} S^2 A)$时间步长收集$B=\sum_{s,a} b(s,a)$所需的样本，在任何未知的通信MDP与$S$状态，$A$行动和直径$D$。然后，我们展示了这种通用的探索算法如何与“特定目标”的策略配对，这些策略规定了样本要求，以解决各种设置-例如，模型估计，稀疏奖励发现，无目标无成本的探索在沟通MDP-我们获得改进或新的样本复杂性保证。
2021-11-18 cs.LG stat.ML
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin（得克萨斯大学奥斯汀分校）
我们提出了Revel，一个部分神经强化学习（RL）框架，用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是，在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战：一个是具有近似梯度的一般神经符号类，另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策：在每次迭代中，它安全地提升到神经符号空间的符号政策，执行安全的梯度更新所产生的政策，并项目更新后的政策到安全的符号子集，所有这些都不需要明确的验证神经网络。我们的实证结果表明，Revel在许多情况下强制执行安全探索，其中约束策略优化没有，并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法，在无限 horizon 折扣线性马尔可夫决策过程（MDPs）中实现最优 regret 保证，结合乐观探索技术与正则化近似动态规划方案，达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret，适用于模仿学习。
2026-03-13 cs.LG
Combining Model-Based and Model-Free Methods for Nonlinear Control: A Provably Convergent Policy Gradient Approach
Caltech（加州理工学院）；Tsinghua University（清华大学）
基于无模型学习的控制方法最近取得了巨大的成功。然而，这样的方法通常遭受差的样本复杂度和有限的收敛保证。这与经典的基于模型的控制形成鲜明对比，后者具有丰富的理论，但通常需要强大的建模假设。在本文中，我们将这两种方法结合起来，以实现两全其美。我们考虑一个动力系统的线性和非线性组件，并开发了一种新的方法，使用线性模型来定义一个无模型的，政策梯度法的热启动。我们表明，这种混合方法优于基于模型的控制器，同时避免了与无模型的方法，通过数值实验和理论分析，其中我们推导出充分条件的非线性组件，使我们的方法是保证收敛到（近）全局最优控制器的收敛问题。
2020-06-12 cs.LG cs.SY eess.SY
Is Q-Learning Provably Efficient? An Extended Analysis
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
这项工作扩展了论文中提出的理论结果的分析是Q学习证明有效？我们包括相关研究的调查，以说明加强与无模型强化学习最重要的线程相关的理论保证的必要性。我们还阐述了证明中使用的推理，以突出导致主要结果的关键步骤，表明使用UCB探索的Q学习实现了样本效率，该效率与任何基于模型的方法都可以实现的最佳遗憾相匹配。
2020-09-22 cs.AI cs.LG math.OC
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University（宾厄姆顿大学）；Yantai University（烟台大学）
我们解决的挑战，有效的勘探，同时保持良好的性能，在策略梯度方法。作为一种解决方案，我们提出了通过共轭政策的多样性探索（DE）。DE学习和部署一组共轭策略，这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明，DE在实现探索，提高政策绩效的有效性，DE的优势，探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
本文提出SafeAdapt方法，通过引入Rashomon集在连续强化学习中提供安全策略更新的正式保证，确保在下游适应过程中源任务的安全性。
2026-04-10 cs.AI cs.LG
Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究分散的策略学习在马尔可夫博弈中，我们控制一个单一的代理人发挥非平稳和可能的敌对对手。我们的目标是开发一个无遗憾的在线学习算法，（i）根据代理观察到的本地信息采取行动，（ii）能够在事后找到最佳策略。对于这样的问题，由于变化的对手的非平稳状态转换构成了一个重大的挑战。鉴于最近的硬度结果\citep{liu2022learning}，我们专注于设置对手的以前的政策是透露给代理决策。有了这样的信息结构，我们提出了一个新的算法，\underline{D} ecentralized \underline{O}乐观炒作\underline{R} policy m \underline{I} rror de \underline{S} cent（DORIS），它实现了$\sqrt{K}$ -遗憾的背景下，一般函数近似，其中$K$是情节的数量。此外，当所有的代理商采用DORIS，我们证明了他们的混合策略构成一个近似的粗相关均衡。特别地，DORIS维护\textit{hyperpolicy}，其是策略空间上的分布。超策略通过镜像下降更新，其中更新方向通过最小二乘策略评估的乐观变体获得。此外，为了说明我们的方法的力量，我们将DORIS应用于约束和向量值的MDP，它可以被制定为零和马尔可夫游戏与一个虚构的对手。
2022-06-03 cs.LG stat.ML
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼默斯数据科学学院）；Tilburg University（蒂尔堡大学）
针对无限视野无折扣通信型 CMDP，提出基于后验采样的探索算法，获得接近最优的贝叶斯遗憾界，并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
Optimistic Exploration even with a Pessimistic Initialisation
University of Oxford（牛津大学）
乐观初始化是强化学习（RL）中有效探索的一种策略。在表格的情况下，所有可证明有效的无模型算法都依赖于它。然而，无模型深度强化学习算法并不使用乐观初始化，尽管它们从这些可证明有效的表格算法中获得了灵感。特别是，在只有正奖励的情况下，由于常用的网络初始化方案，Q值被初始化为它们的最低可能值，这是一种悲观的初始化。仅仅初始化网络以输出乐观的Q值是不够的，因为我们不能确保它们对新的状态-动作对保持乐观，这对探索至关重要。我们提出了一个简单的基于计数的增强悲观初始化的Q值，分离的乐观的来源从神经网络。我们证明了该方案在表格设置中是可证明有效的，并将其扩展到深度RL设置。我们的算法，乐观悲观初始化Q学习（OPIQ），增加了Q值估计的DQN为基础的代理与计数派生奖金，以确保在行动选择和引导过程中的乐观。我们表明，OPIQ优于非乐观的DQN变种，利用伪计数为基础的内在动机在硬探索任务，它预测乐观的估计新的状态-动作对。
2020-02-26 cs.AI cs.LG stat.ML
Provably Efficient Exploration in Quantum Reinforcement Learning with Logarithmic Worst-Case Regret
Peking University（北京大学）
本文提出融合惰性更新与量子估计的UCRL及UCRL-VTR风格量子RL算法，在表格型和线性混合MDP中实现可证明的对数最坏情形遗憾。
2024-06-13 cs.AI cs.LG quant-ph
Provably Efficient Exploration in Inverse Constrained Reinforcement Learning
School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Stony Brook University, New York（石溪大学）
针对逆约束强化学习现有采样策略效率不明的问题，提出带效率保证的策略探索框架，基于误差分析设计两种算法，兼具理论样本复杂度保障与多环境实验验证。
2025-05-16 cs.AI cs.LG
Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了自适应约束下线性函数逼近的强化学习。我们考虑了两个流行的有限自适应模型：批学习模型和罕见的策略切换模型，并提出了两个有效的在线RL算法的情节线性马尔可夫决策过程，其中的转移概率和奖励函数可以表示为一些已知的特征映射的线性函数。具体而言，对于批量学习模型，我们提出的LSVI-UCB-Batch算法实现了$\tilde O(\sqrt{d^3H^3T} + dHT/B)$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$T$是交互次数，$B$是批量次数。我们的结果表明，仅使用$\sqrt{T/dH}$批次就足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾。对于罕见策略切换模型，我们提出的LSVI-UCB-RareSwitch算法具有$\tilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$遗憾，这意味着$dH\log T$策略切换足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾.我们的算法实现了与LSVI-UCB算法相同的遗憾（Jin等人，2019年），但适应性大大减少。我们还建立了批处理学习模型的下限，这表明在我们的遗憾界中对$B$的依赖是紧密的。
2022-01-03 cs.LG math.OC stat.ML
Provably Efficient Imitation Learning from Observation Alone
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Aurora Innovation（Aurora创新公司）
我们研究了大规模MDP中的模仿学习。虽然大多数IL算法依赖于专家直接向学习者提供动作，但在这种情况下，专家只提供观察序列。我们设计了一个新的无模型算法ILFO，前向对抗模仿学习（FAIL），它学习一系列的时间依赖的政策，通过最小化的积分概率度量之间的观察分布的专家政策和学习者。FAIL是ILFO设置中第一个可证明有效的算法，它学习了一个接近最优的策略，其中所有相关参数都是多项式的，但与唯一观测的数量无关。由此产生的理论将可证明的样本有效学习算法的领域扩展到现有结果之外，现有结果通常仅考虑表格式强化学习设置或需要访问接近最佳重置分布的设置。我们还调查了在基于模型的设置失败的扩展。最后，我们展示了FAIL在多个OpenAI Gym控制任务上的有效性。
2019-06-11 cs.LG stat.ML
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）；University of Michigan（密歇根大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注，但当有多个智能体在潜在竞争环境中玩耍时，理论上知之甚少。我们采取措施，提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化，但未知的过渡。我们考虑两类转移结构：因子独立转移和单控制器转移。对于这两种情况下，我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后，$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后，在事后观察整个政策序列。我们的算法结合了上置信界（UCB）型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时，他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Causality Meets Locality: Provably Generalizable and Scalable Policy Learning for Networked Systems
King’s College London（伦敦国王学院）；Eindhoven University of Technology（埃因霍温理工大学）；University of California, San Diego（加州大学圣地亚哥分校）；The Alan Turing Institute（艾伦·图灵研究所）
针对大规模网络化系统的规模与环境变化问题，提出GSAC框架，结合因果表示学习与元Actor-Critic，通过局部因果掩码和紧致表示实现可扩展性与领域泛化，并证明其快速适应且性能优于基线。
2025-10-24 cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Learning Efficient and Effective Exploration Policies with Counterfactual Meta Policy
Nankai University（南开大学）；Microsoft Research Asia（微软亚洲研究院）
强化学习算法中的一个基本问题是对环境的探索和对代理已经获得的信息的利用之间的平衡。特别是，探究对于学习过程的效率和有效性都起着至关重要的作用。然而，现有的探索工作涉及任务不可知的设计，这是在一个环境中表现良好，但不适合另一个。目的是以自动化的方式学习有效和高效的勘探策略。我们形式化了一个可行的度量标准，用于测量基于反事实意识形态的探索效用。在此基础上，提出了一种基于元学习的端到端探索策略学习算法。我们证明，我们的方法取得了良好的效果相比，以前的作品在高维控制任务的MuJoCo模拟器。
2019-05-28 cs.LG stat.ML
Safe Policy Improvement Approaches and their Limitations
Ludwig-Maximilians University（路德维希-马克西米利安大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子技术研究院）
安全策略改进（SPI）是安全关键应用中离线强化学习的重要技术，因为它以高概率改进行为策略。我们将文献中的各种SPI方法分为两组，基于它们如何利用状态-动作对的不确定性。专注于软SPIBB（安全策略改进与软基线引导）算法，我们表明，他们的索赔被证明是安全的并不成立。基于这一发现，我们开发的适应，先进的软SPIBB算法，并证明他们是可证明的安全。一个启发式的适应，低近似软SPIBB，产生最好的性能在所有SPIBB算法在两个基准广泛的实验。我们还检查了可证明安全的算法的安全保证，并表明，大量的数据是必要的，这样的安全界限在实践中变得有用。
2022-08-01 cs.LG
Traversing Pareto Optimal Policies: Provably Efficient Multi-Objective Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；University of Chicago（芝加哥大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究多目标强化学习，提出基于Tchebycheff标量化的min-max-max重构算法，设计了单偏好UCB算法和无偏好探索框架，并扩展至平滑Tchebycheff标量化，实现了可证明高效的帕累托最优策略学习。
2024-07-24 cs.LG math.OC stat.ML
Provably Safe, Yet Scalable Reinforcement Learning
MIT（麻省理工学院）
提出PS2-RL框架，通过两阶段架构（学习备份策略隐式构造控制不变集，再通过可微投影层训练RL策略）实现可证明安全且可扩展的强化学习，在高达10维状态空间中保持性能与安全性。
2026-11-05 cs.LG cs.RO cs.SY
Provably Robust Blackbox Optimization for Reinforcement Learning
Google Brain Robotics（谷歌大脑机器人团队）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
最近，强化学习（RL）社区对无衍生优化（DFO）和“进化策略”（ES）的兴趣激增，越来越多的证据表明它们可以与机器人技术中政策优化问题的最新方法相媲美。然而，众所周知，DFO方法具有过高的采样复杂度。它们也可能对噪声奖励和随机动态非常敏感。在本文中，我们提出了一类新的算法，称为鲁棒黑箱优化（RBO）。值得注意的是，即使所有测量值中多达$23\%$被任意损坏，RBO也可以证明将梯度恢复到高精度。RBO依赖于使用鲁棒回归方法来学习梯度流，以实现偏离策略的更新。在几个MuJoCo机器人控制任务中，当所有其他RL方法在对抗性噪声存在下崩溃时，RBO能够有效地训练策略。我们还表明，RBO可以应用于腿运动任务，包括路径跟踪四足机器人。
2019-07-08 cs.LG stat.ML
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；ENSAE Paris（巴黎高等经济商业学院）
本文提出首个保守且可证明高效的免模型强化学习算法，利用重要性采样反事实评估保守条件，确保学习过程中性能不低于基线策略，并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate
Politecnico di Milano（米兰理工大学）
在一个无奖励的环境中，什么是一个合适的内在目标的代理追求，使它可以学习一个最佳的任务不可知的探索政策？在本文中，我们认为，熵的状态分布引起的有限视界轨迹是一个明智的目标。特别是，我们提出了一种新的和实用的策略搜索算法，最大熵策略优化（MEPOL），学习的政策，最大化的非参数，$k$ -最近邻估计的状态分布熵。与已知方法相比，MEPOL是完全无模型的，因为它既不需要估计任何策略的状态分布，也不需要对过渡动态进行建模。然后，我们经验表明，MEPOL允许学习最大熵的探索政策，在高维，连续控制域，以及这种政策如何促进学习各种有意义的奖励为基础的任务下游。
2021-02-26 cs.LG stat.ML
Provably Good Batch Reinforcement Learning Without Great Exploration
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
批量强化学习（RL）是将RL算法应用于许多高风险任务的重要方法。以在大型域中产生可靠的新策略的方式进行批量RL是具有挑战性的：新决策策略可能会访问批量数据支持之外的状态和动作，并且有限样本的函数近似和优化可以进一步增加对未来性能过于乐观的学习策略的潜力。最近的算法已经显示出了希望，但在其预期结果中仍然过于乐观。理论工作，提供了强有力的保证，输出政策的性能依赖于一个强大的集中性假设，这使得它不适合的情况下，行为政策和一些候选政策的状态-动作分布之间的比例是大的。这是因为在传统的分析中，误差界随着该比率而增大。我们表明，一个小的修改贝尔曼最优性和评估备份采取更保守的更新可以有更强的保证。在某些情况下，他们可以找到近似最好的政策内的状态-动作空间探索的批量数据，而不需要先验假设的集中性。我们强调了我们的保守更新的必要性和以前的算法和分析的局限性说明MDP的例子，并展示了我们的算法和其他国家的最先进的批RL基线在标准基准的实证比较。
2020-07-22 cs.AI cs.LG stat.ML
Provably Efficient Q-Learning with Low Switching Cost
Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们采取初步措施，在研究PAC-MDP算法有限的适应性，即算法，改变其探索政策，尽可能不频繁地在遗憾最小化。这是出于在现实世界的应用程序（如医疗领域）中运行完全自适应算法的困难，我们建议使用本地切换成本的概念来量化自适应性。我们的主要贡献，Q-Learning与UCB 2探索，是一个无模型算法的H步情节MDP，实现次线性遗憾，其本地切换成本在K集是$O(H^3SA\log K)$，我们提供了一个下界的$Ω(HSA)$的本地切换成本的任何无遗憾算法。我们的算法可以很自然地适应并发设置，从而产生非平凡的结果，在某些方面改善以前的工作。
2020-02-10 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法，特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想，给出了一种高效的策略梯度方法：（a）具有基于参数的探索的策略梯度，这是最近提出的具有低梯度估计方差的策略搜索方法，（b）重要性采样技术，其允许我们以一致的方式重新使用先前收集的数据，以及（c）最优基线，其最小化梯度估计的方差，同时保持它们的无偏性。对于所提出的方法，我们给出了理论分析的梯度估计的方差，并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Provably Efficient Exploration in Reward Machines with Low Regret
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文针对具有未知动态的概率奖励机和非马尔可夫奖励的强化学习问题，提出一种利用奖励机结构的基于模型算法，并给出遗憾上界、下界及相对忽略结构算法的增益证明。
2024-12-26 cs.AI cs.LG
Provably Efficient Offline Goal-Conditioned Reinforcement Learning with General Function Approximation and Single-Policy Concentrability
UC Berkeley（加州大学伯克利分校）；Meta AI；UT Austin（德克萨斯大学奥斯汀分校）
本文针对离线目标条件强化学习，提出首个在通用函数逼近和单策略集中性假设下可证明高效且无需极小极大优化的算法，通过利用目标函数强凸性实现样本复杂度保证，并在真实环境中验证了优越性。
2023-10-11 cs.AI cs.LG
Strategic Decision-Making in the Presence of Information Asymmetry: Provably Efficient RL with Algorithmic Instruments
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究离线强化学习下的一种新的模型称为战略MDP，它的特点是一个主要的和一个序列的近视代理与私人类型之间的战略相互作用。由于企业的双层结构和私有类型，战略MDP涉及到委托人和代理人之间的信息不对称。我们专注于离线RL问题，其目标是基于由历史交互组成的预先收集的数据集，学习主体关于目标代理群体的最优策略。未观察到的私有类型会混淆这样的数据集，因为它们会影响主体收到的奖励和观察。我们提出了一种新的算法，悲观策略学习与学习工具（Pessimic），它利用工具变量回归和悲观主义原则的思想，学习一个接近最优的校长的政策，在一般函数逼近的背景下。我们的算法是基于关键的观察，主要的行动作为有效的工具变量。特别是，在离线数据集上的部分覆盖假设下，我们证明了该算法输出一个$1 / \sqrt{K}$ -最优策略，其中$K$是收集到的轨迹的数量。我们进一步将我们的框架应用到一些特殊的策略MDP情况，包括策略回归，策略强盗和不遵守推荐系统。
2022-08-23 cs.IT cs.LG math.IT
Off-Policy Deep Reinforcement Learning with Analogous Disentangled Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
非策略强化学习（RL）涉及通过执行收集经验样本的另一个策略来学习奖励策略。虽然前一个策略（即目标策略）是有回报的，但在表达（在大多数情况下，确定性），在后一个任务中做得好，相反，需要一个表达策略（即行为策略），提供指导和有效的探索。与大多数在最优性和表现力之间进行权衡的方法相反，解纠缠框架明确地将这两个目标解耦，每个目标都由一个不同的单独策略处理。虽然能够自由地设计和优化这两个策略，但天真地将它们分开可能会导致低效的学习或稳定性问题。为了缓解这个问题，我们提出的方法模拟解开演员评论家（ADAC）设计类似的演员和评论家对。具体地说，ADAC利用Stein变分梯度下降（SVGD）的一个关键属性来约束基于表达能量的行为策略相对于目标的有效探索。此外，引入了一个类似的批评家对，以原则性的方式纳入内在奖励，理论上保证了整体学习的稳定性和有效性。我们在14个连续控制任务上实证评估了环境奖励ADAC，并报告了其中10个任务的最新进展。我们进一步证明了ADAC，当与内在奖励配对时，在探索挑战性任务中表现优于替代品。
2020-02-27 cs.LG stat.ML
Behind the Myth of Exploration in Policy Gradients
Montefiore Institute（蒙费伊尔研究所）；University of Liège（利耶大学）
本文从数值优化角度分析策略梯度中的探索项，提出学习目标和随机梯度估计的评价标准，揭示其平滑目标消除局部最优、优化梯度估计提升最优策略获取概率的作用，并通过熵奖励策略实证验证。
2025-08-20 cs.LG stat.ML
Provably Efficient Lifelong Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
我们研究终身强化学习（RL）在后悔最小化设置的线性上下文马尔可夫决策过程（MDP），其中代理需要学习的多任务策略，同时解决一个流序列的任务。我们提出了一种算法，称为UCB终身价值蒸馏（UCBlvd），可证明实现次线性遗憾的任何序列的任务，这可能是自适应选择的基础上代理的过去的行为。值得注意的是，我们的算法只使用了次线性数量的规划调用，这意味着智能体最终会学习到一个对多个任务（可见或不可见）接近最优的策略，而不需要刻意规划。这个属性的关键是一个新的结构假设，使计算共享任务在探索。具体来说，对于$K$任务情节的地平线$H$，我们的算法有一个遗憾界$\tilde{\mathcal{O}}(\sqrt{(d^3+d^\prime d)H^4K})$的基础上$\mathcal{O}(dH\log(K))$规划调用的数量，其中$d$和$d^\prime$的动态和奖励的特征维度，分别。这种理论保证意味着我们的算法可以使终身学习代理积累经验，并学习快速解决新任务。
2022-06-01 cs.LG stat.ML
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration
The Chinese University of Hong Kong（香港中文大学）
传统的强化学习（RL）算法通常由单个智能体独立学习来解决任务。因此，智能体只能探索状态-动作空间的有限部分，而学习到的行为与智能体先前的经验高度相关，使得训练容易陷入局部最小值。在这项工作中，我们赋予RL团队合作的能力，并提出了一种新的非局部策略优化框架，称为多样性正则化协作探索（DiCE）。DiCE利用一组异构代理同时探索环境并共享收集的经验。并设计了一个正则化机制，以保持团队的多样性，调节探索。我们实现的框架，在政策和关闭政策的设置和实验结果表明，DiCE可以实现实质性的改善，在MuJoCo运动任务的基线。
2020-06-14 cs.LG stat.ML
Provably Efficient and Agile Randomized Q-Learning
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出了一种结合基于采样的探索和敏捷策略更新的随机Q学习算法，实现了可证明的高效和敏捷的回合制表格强化学习性能。
2026-02-04 cs.LG
Provably Efficient $Q$-learning with Function Approximation via Distribution Shift Error Checking Oracle
Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
$Q$ -learning with function approximation is one of the most popular methods in reinforcement learning . Though the idea of using function approximation was proposed at least 60 years ago, even in the simplest setup, i.e, approximating $Q$ -functions with linear functions, it is still an open problem on how to design a provably efficient algorithm that learns a near-optimal policy. The key challenges are how to efficiently explore the state space and how to decide when to stop exploring in conjunction with the function approximation scheme. The current paper presents a provably efficient algor…
2019-11-04 cs.AI cs.LG math.OC
Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcement Learning: Generic Algorithm and Robust Partial Coverage
Stanford University（斯坦福大学）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
本文提出适用于分布鲁棒离线强化学习的双重悲观原理及通用算法框架$P^2MPO$，证明其在鲁棒部分覆盖数据下样本高效，还拓展至鲁棒马尔可夫博弈求解鲁棒纳什均衡。
2023-08-22 cs.AI cs.LG math.OC
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center Silicon Valley（日产先进技术研发中心硅谷）
本文为自动机条件强化学习提供理论框架，证明其可学习性，并提出可证明正确的自动机嵌入方法，保证最优多任务策略学习，实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Multi-Path Policy Optimization
IIIS, Tsinghua University（清华大学交叉信息研究院）；Alibaba Group（阿里巴巴集团）
近年来，深度强化学习取得了巨大的进步。然而，一个具有挑战性的问题是，代理可能会遭受低效的探索，特别是对政策的方法。以往的探测方法要么依赖于复杂的结构来估计状态的新颖性，要么引入敏感的超参数导致不稳定。我们提出了一种有效的探索方法，多路径策略优化（MPPO），它不会产生很高的计算成本，并确保稳定性。MPPO维护了一种有效的机制，可以有效地利用各种策略来实现更好的探索，特别是在稀疏环境中。并给出了稳定性能的理论保证。我们的方案建立在两个广泛采用的策略上的方法，信任区域策略优化算法和近端策略优化算法。我们对几个MuJoCo任务及其稀疏化变体进行了广泛的实验，以公平地评估所提出的方法。结果表明，MPPO显着优于国家的最先进的勘探方法在样本效率和最终性能。
2020-02-14 cs.LG stat.ML
