Provably Efficient Multi-Task Reinforcement Learning with Model Transfer
University of Arizona（亚利桑那大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文研究了多任务强化学习（RL）在表格式情景马尔可夫决策过程（MDP）中的应用。我们制定了一个异构的多玩家强化学习问题，其中一组玩家同时面临类似的，但不一定相同的MDP，通过玩家间的信息共享，以提高他们的集体表现的目标。我们设计和分析了一个算法的基础上的模型转移的想法，并提供了间隙相关和间隙无关的上限和下限，表征问题的内在复杂性。
2022-01-16 cs.LG
Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient
UC Santa Barbara（加州大学圣巴巴拉分校）；Princeton（普林斯顿大学）
离线强化学习是一种利用历史数据优化序列决策策略的学习方法，在实际应用中得到了广泛的应用。最先进的算法通常利用强大的函数逼近器（例如神经网络）来减轻样本复杂性障碍，以获得更好的经验性能。尽管取得了成功，但仍然缺乏对函数近似的统计复杂性的更系统的理解。为了弥合这一差距，我们采取了一个步骤，考虑离线强化学习与可微函数类近似（DFA）。这个函数类自然包含了广泛的非线性/非凸结构的模型。最重要的是，我们通过分析悲观拟合Q学习（PFQL）算法，证明了具有可微函数近似的离线RL是有效的，我们的结果为理解依赖于拟合Q迭代风格设计的各种实用算法提供了理论基础。此外，我们进一步提高了我们的保证与更严格的实例相关的特征。我们希望我们的工作能引起人们对可微函数逼近的强化学习研究的兴趣。
2022-11-23 cs.AI cs.LG stat.ML
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology（麻省理工学院）
强化学习在合作多智能体设置最近取得了显着进展，在广告，动态治疗制度，分布式控制和联邦学习的合作估计的应用。在本文中，我们讨论的问题，合作多代理RL函数逼近，其中一组代理相互通信，共同解决一个情节MDP。我们证明，通过仔细的消息传递和合作的价值迭代，它是可以实现接近最优的无遗憾学习，即使是一个固定的恒定的通信预算。接下来，我们证明，即使在异构的合作设置，它是可能的，以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法，以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Provably Efficient Reinforcement Learning with Aggregated States
Stanford University（斯坦福大学）；New York University（纽约大学）
我们建立了一个乐观的Q-学习的变体应用于一个固定的地平线情节马尔可夫决策过程的聚合状态表示招致遗憾$\tilde{\mathcal{O}}(\sqrt{H^5 M K} + εHK)$，其中$H$是地平线，$M$是聚合状态的数量，$K$是情节的数量，和$ε$是任何一对最佳状态动作值之间的最大差异与一个共同的聚合状态。值得注意的是，这个遗憾界不依赖于状态或动作的数量，并表明渐近每周期遗憾不大于$ε$，独立于地平线。据我们所知，这是第一个这样的结果，适用于强化学习与非平凡值函数近似没有任何限制的转移概率。
2020-02-19 cs.LG math.OC stat.ML
Bellman Unbiasedness: Toward Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation
Seoul National University（首尔大学）
本文研究通用值函数逼近下分布式强化学习的样本效率，提出 Bellman 无偏性并证明矩泛函的独特性，进而给出达到紧遗憾界的 SF-LSVI 算法。
2025-05-13 cs.AI cs.LG stat.ML
Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension
Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
价值函数逼近在强化学习（RL）中已经取得了惊人的经验成功。然而，尽管最近在开发具有线性函数逼近的RL理论方面取得了一些进展，但对一般函数逼近方案的理解在很大程度上仍然缺失。本文建立了一个具有一般价值函数逼近的可证明有效的RL算法。我们证明了，如果价值函数允许函数类$\mathcal{F}$的近似，则我们的算法实现了$\widetilde{O}(\mathrm{poly}(dH)\sqrt{T})$的遗憾界，其中$d$是$\mathcal{F}$的复杂性度量，取决于逃避维度[Russo和Van Roy，2013]和日志覆盖数，$H$是规划范围，$T$是与环境的交互次数。我们的理论概括了RL的线性价值函数近似的最新进展，并没有明确的假设上的环境模型。此外，我们的算法是无模型的，并提供了一个框架，以证明在实践中使用的算法的有效性。
2020-06-19 cs.LG math.OC stat.ML
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-05-07 cs.AI cs.LG stat.ML
Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
受使用无监督学习进行强化学习（RL）问题有效探索的流行范式的启发[tang 2017 exploration，bellemare 2016 unifying]，我们调查了这种范式何时被证明是有效的。我们研究情节马尔可夫决策过程与丰富的意见，从少量的潜在状态。我们提出了一个通用的算法框架，它是建立在两个组件：一个无监督学习算法和一个无遗憾的表格RL算法。从理论上证明了只要无监督学习算法具有多项式样本复杂度保证，就可以找到一个样本复杂度多项式的近似最优策略，其潜在状态数显著小于观测数.经验上，我们实例化我们的框架上一类困难的探索问题，以证明我们的理论的实用性。
2020-12-01 cs.AI cs.LG math.OC
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
针对联邦强化学习的线性函数近似场景，提出Fed-LSVI算法，通过压缩统计量实现对数通信成本，达到最优遗憾界，解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University（普林斯顿大学）；LinkedIn（领英）；Penn State University（宾夕法尼亚州立大学）
在线影响力最大化是指在网络模型未知的情况下，通过选择少量种子节点，最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置，其中在扩散过程开始之前选择种子节点，并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中，我们将该问题表示为线性扩散过程下的无限时域折扣MDP，并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计，并自适应地选择种子用户，探索社会网络，同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
Provably Efficient Reinforcement Learning with Linear Function Approximation
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
现代强化学习（RL）通常应用于具有大量状态的实际问题，其中必须部署函数逼近来逼近价值函数或策略。函数近似的引入提出了一系列涉及计算和统计效率的基本挑战，特别是考虑到需要管理探索/开发权衡。因此，一个核心的RL问题仍然是开放的：我们如何设计可证明有效的RL算法，包括函数近似？这个问题仍然存在，即使在一个基本的设置与线性动态和线性奖励，其中只有线性函数近似是必要的。本文提出了第一个可证明的RL算法，在这种线性设置中具有多项式运行时间和多项式样本复杂度，而不需要“模拟器”或额外的假设。具体地说，我们证明了最小二乘值迭代（LSVI）--一个经典的算法经常在线性设置研究-实现$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾，其中$d$是特征空间的环境维数，$H$是每个情节的长度，和$T$是总步骤数的乐观修改。重要的是，这种遗憾与国家和行动的数量无关。
2019-08-08 cs.LG math.OC stat.ML
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出融合人类反馈的迭代CVaR风险敏感强化学习框架，在线性与一般函数逼近下实现逐步安全保证，并给出样本高效算法及其最优性理论证明。
2023-12-04 cs.LG
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center Silicon Valley（日产先进技术研发中心硅谷）
本文为自动机条件强化学习提供理论框架，证明其可学习性，并提出可证明正确的自动机嵌入方法，保证最优多任务策略学习，实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning
Google Research（谷歌研究院）；NYU（纽约大学）；HKUST（香港科技大学）
汤普森抽样是上下文强盗最有效的方法之一，并已推广到某些MDP设置的后验抽样。然而，现有的用于强化学习的后验采样方法受到基于模型的限制，或者缺乏线性MDP之外的最坏情况理论保证。本文提出了一种新的无模型后验抽样公式，适用于更一般的情节强化学习问题的理论保证。我们引入了新的证明技术，以表明在适当的条件下，我们的后验抽样方法的最坏情况下的遗憾匹配的最佳已知的优化方法的结果。在线性MDP设置与尺寸，我们的算法的遗憾尺度与尺寸线性相比，现有的后验采样为基础的探索算法的二次依赖。
2022-08-23 cs.LG
Provably Safe Reinforcement Learning for Stochastic Reach-Avoid Problems with Entropy Regularization
Section of Automation \& Control, Aalborg University, 9220 Aalborg East, Denmark
本文提出一种基于熵正则化的安全强化学习算法，用于解决随机到达-避免问题，通过优化策略并控制学习过程中的安全约束。
2026-01-19 cs.LG
Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文对可证明安全的强化学习方法进行分类、概念分析与基准测试，依据动作调整方式分为动作替换、投影和掩码，实验表明动作替换性能最佳，并提供了方法选择的实用指导。
2023-11-18 cs.LG
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Provably Efficient Reinforcement Learning via Surprise Bound
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）
值函数逼近在现代强化学习（RL）问题中非常重要，特别是当状态空间（无限）大时。尽管价值函数逼近的重要性和广泛的适用性，它的理论理解仍然不像它的经验成功，特别是在一般函数逼近的背景下复杂。在本文中，我们提出了一个可证明有效的RL算法（计算和统计）与一般值函数近似。我们表明，如果价值函数可以近似的函数类，满足贝尔曼完备性假设，我们的算法实现了$\widetilde{O}(\text{poly}(ιH)\sqrt{T})$遗憾界$ι$是产品的惊喜界和日志覆盖数，$H$是规划视野，$K$是情节和$T = HK$是总的步骤数的代理与环境相互作用。我们的算法实现合理的遗憾界时，适用于线性设置和稀疏高维线性设置。而且，我们的算法只需要求解$O(H\log K)$经验风险最小化（ERM）问题，远比以往需要求解$Ω(HK)$次ERM问题的算法效率高。
2023-02-22 cs.LG
Full Gradient DQN Reinforcement Learning: A Provably Convergent Scheme
INRIA Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本研究针对DQN强化学习算法的理论缺陷，基于常微分方程方法分析其随机逼近特性，提出了具备可靠理论基础的改进方案FG-DQN，实验验证其在样本问题上性能优于原始DQN。
2021-05-04 cs.LG math.OC math.PR
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼默斯数据科学学院）；Tilburg University（蒂尔堡大学）
针对无限视野无折扣通信型 CMDP，提出基于后验采样的探索算法，获得接近最优的贝叶斯遗憾界，并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley（加州大学伯克利分校）
我们考虑基于原始-对偶的强化学习（RL）在具有非平稳目标和约束的情景约束马尔可夫决策过程（CMDPs）中的应用，它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中，奖励/效用函数和状态转换函数都允许随时间任意变化，只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性，因为需要集成约束违反减少，安全探索和适应非平稳性。为此，我们确定了两个可供选择的条件下，我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略（PROPD-PPO）算法，该算法可以协调这两种情况。此外，在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下，分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin（得克萨斯大学奥斯汀分校）
我们提出了Revel，一个部分神经强化学习（RL）框架，用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是，在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战：一个是具有近似梯度的一般神经符号类，另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策：在每次迭代中，它安全地提升到神经符号空间的符号政策，执行安全的梯度更新所产生的政策，并项目更新后的政策到安全的符号子集，所有这些都不需要明确的验证神经网络。我们的实证结果表明，Revel在许多情况下强制执行安全探索，其中约束策略优化没有，并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
针对离线RL中OOD动作的值估计不可靠问题，提出多样化随机化值函数与多样性正则化，以更少网络实现LCB悲观惩罚，并在理论和实验上验证其性能与参数效率。
2024-04-09 cs.AI cs.LG
Replicable Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
本文首次研究可复现强化学习，提出了并行值迭代和回合制 R-max 的可证明可复现算法，填补了控制问题在算法可复现性方面的空白。
2023-10-31 cs.LG
Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward
The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
针对轨迹级奖励导致策略评估偏差和方差较大的问题，提出离线RL算法PARTED，通过奖励重分配与悲观值迭代及不确定性惩罚，在一般MDP和线性MDP中获得可证明的次优性保证。
2023-04-19 cs.LG stat.ML
Provably Good Batch Reinforcement Learning Without Great Exploration
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
批量强化学习（RL）是将RL算法应用于许多高风险任务的重要方法。以在大型域中产生可靠的新策略的方式进行批量RL是具有挑战性的：新决策策略可能会访问批量数据支持之外的状态和动作，并且有限样本的函数近似和优化可以进一步增加对未来性能过于乐观的学习策略的潜力。最近的算法已经显示出了希望，但在其预期结果中仍然过于乐观。理论工作，提供了强有力的保证，输出政策的性能依赖于一个强大的集中性假设，这使得它不适合的情况下，行为政策和一些候选政策的状态-动作分布之间的比例是大的。这是因为在传统的分析中，误差界随着该比率而增大。我们表明，一个小的修改贝尔曼最优性和评估备份采取更保守的更新可以有更强的保证。在某些情况下，他们可以找到近似最好的政策内的状态-动作空间探索的批量数据，而不需要先验假设的集中性。我们强调了我们的保守更新的必要性和以前的算法和分析的局限性说明MDP的例子，并展示了我们的算法和其他国家的最先进的批RL基线在标准基准的实证比较。
2020-07-22 cs.AI cs.LG stat.ML
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法，在无限 horizon 折扣线性马尔可夫决策过程（MDPs）中实现最优 regret 保证，结合乐观探索技术与正则化近似动态规划方案，达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret，适用于模仿学习。
2026-03-13 cs.LG
Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了自适应约束下线性函数逼近的强化学习。我们考虑了两个流行的有限自适应模型：批学习模型和罕见的策略切换模型，并提出了两个有效的在线RL算法的情节线性马尔可夫决策过程，其中的转移概率和奖励函数可以表示为一些已知的特征映射的线性函数。具体而言，对于批量学习模型，我们提出的LSVI-UCB-Batch算法实现了$\tilde O(\sqrt{d^3H^3T} + dHT/B)$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$T$是交互次数，$B$是批量次数。我们的结果表明，仅使用$\sqrt{T/dH}$批次就足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾。对于罕见策略切换模型，我们提出的LSVI-UCB-RareSwitch算法具有$\tilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$遗憾，这意味着$dH\log T$策略切换足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾.我们的算法实现了与LSVI-UCB算法相同的遗憾（Jin等人，2019年），但适应性大大减少。我们还建立了批处理学习模型的下限，这表明在我们的遗憾界中对$B$的依赖是紧密的。
2022-01-03 cs.LG math.OC stat.ML
Provably Efficient Causal Model-Based Reinforcement Learning for Systematic Generalization
Politecnico di Milano（米兰理工大学）；ETH Zurich（苏黎世联邦理工学院）；Imperial College London（伦敦帝国理工学院）；Twitter（推特公司）；University of Oxford（牛津大学）
在顺序决策设置中，代理的目标是在一个大的，可能是无限的环境集上实现系统的泛化。这种环境被建模为离散马尔可夫决策过程的状态和动作表示通过一个特征向量。环境的基本结构允许将过渡动态因素分解为两个部分：一个是特定于环境的，另一个是共享的。考虑一组共享运动定律的环境作为示例。在这种情况下，代理可以从这些环境的子集中获取有限数量的无奖励交互。然后，智能体必须能够近似地解决在原始集合中的任何环境上定义的任何规划任务，仅依赖于上述交互。我们能否设计出一种可证明有效的算法来实现系统化推广这一雄心勃勃的目标？本文对此问题给出了部分肯定的回答。首先，我们提供了一个易于处理的系统推广的制定采用因果的观点。然后，在特定的结构假设下，我们提供了一个简单的学习算法，保证任何所需的规划误差到一个不可避免的次优项，同时展示一个多项式样本的复杂性。
2023-03-30 cs.LG
Online Robustness Training for Deep Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在深度强化学习（RL）中，对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN（RS-DQN）的系统，该系统允许与Q网络一起进行在线鲁棒性训练，同时保持竞争性能。我们表明，RS-DQN可以与（i）最先进的对抗训练和（ii）可证明的鲁棒训练相结合，以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
Provably Safe PAC-MDP Exploration Using Analogies
Carnegie-Mellon University（卡内基梅隆大学）
将强化学习应用于安全关键领域的一个关键挑战是理解如何平衡探索（需要在任务上获得良好的性能）与安全（需要避免灾难性故障）。虽然强化学习中越来越多的工作已经研究了“安全探索”的这一领域，但大多数现有技术要么1）在实际探索过程中不保证安全;和/或2）将问题限制在先验已知和/或具有强平滑假设的确定性过渡动态。针对这一差距，我们提出了类似的安全状态探索（ASE），一种算法，可证明安全的探索未知的，随机动态的MDP。我们的方法利用状态-动作对之间的类比来安全地学习PAC-MDP意义上的接近最优的策略。此外，ASE还引导探索最相关的任务状态，这在经验上导致显着改善样本效率方面，与现有的方法相比。
2021-03-22 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa（爱荷华大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击，通过随机扰动观测使智能体获得零或有限信息，并推导了奖励遗憾下界，验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
针对部分可观测马尔可夫决策过程中存在混杂的离线强化学习问题，本文提出P3O算法，通过近端因果推断构造悲观置信区域，在局部覆盖假设下首次实现n^{-1/2}次优性的可证明高效学习。
2024-04-01 cs.AI cs.LG math.ST
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich（慕尼黑工业大学）；Stony Brook University（石溪大学）
虽然强化学习在许多应用中产生了非常有前途的结果，但其主要缺点是缺乏安全保证，这阻碍了其在安全关键系统中的使用。在这项工作中，我们解决这个问题的安全盾的非线性连续系统，解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影，并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析，使用多项式zonotopes，这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比，我们的安全防护罩可以有效地处理输入约束和动态障碍物，简化将空间机器人尺寸纳入安全约束，尽管有过程噪声和测量误差，但仍能保证鲁棒的安全性，并且非常适合高维系统，正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Provably Efficient Offline Reinforcement Learning with Perturbed Data Sources
University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对离线强化学习实际数据多来自异构扰动源的问题，提出HetPEVI算法同时处理样本与源不确定性，证明其在数据覆盖充足时可高效求解目标任务且接近最优，并可扩展至博弈与鲁棒RL场景。
2023-06-14 cs.IT cs.LG math.IT
RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Oregon State University（俄勒冈州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对单回合奖励下的安全关键场景，论文提出 RA-PbRL，以优化嵌套与静态分位数风险目标，并证明其次线性遗憾上界且得到实验支持。
2025-01-09 cs.LG
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出动态模型预测屏蔽（DMPS），通过局部规划器与神经策略协同优化恢复动作，在保证可证明安全的同时减少保守性，收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
本文提出SafeAdapt方法，通过引入Rashomon集在连续强化学习中提供安全策略更新的正式保证，确保在下游适应过程中源任务的安全性。
2026-04-10 cs.AI cs.LG
Instrumental Variable Value Iteration for Causal Offline Reinforcement Learning
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）；University of Michigan（密歇根大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对离线强化学习中未观测变量导致的动作混淆问题，本文利用工具变量导出条件矩约束以识别转移动态，并提出首个可证明有效的工具变量辅助值迭代（IVVI）算法。
2024-10-14 cs.LG stat.ML
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究了具有轨迹偏好的人在回路强化学习（RL），其中代理只从人类监督者那里接收轨迹对的偏好，而不是在每一步接收数字奖励。智能体的目标是学习人类监督者最喜欢的最优策略。尽管经验上的成功，基于偏好的强化学习（PbRL）的理论理解仅限于表格的情况下。在本文中，我们提出了第一个乐观的基于模型的算法PbRL与一般函数近似，估计模型使用值为目标的回归和计算的探索性政策，通过解决一个乐观的规划问题。我们的算法实现了遗憾的$\tilde{O} (\operatorname{poly}(d H) \sqrt{K} )$，其中$d$是过渡和偏好模型的复杂性度量取决于Eluder维数和日志覆盖数，$H$是规划视野，$K$是情节的数量，和$\tilde O(\cdot)$省略对数项。我们的下限表明，我们的算法是接近最优的，当专门的线性设置。此外，我们扩展了PbRL问题，制定了一个新的问题，称为RL与$n$明智的比较，并提供了第一个样本有效的算法，这个新的设置。据我们所知，这是PbRL与（一般）函数近似的第一个理论结果。
2022-05-24 cs.LG
Provably Efficient Exploration in Quantum Reinforcement Learning with Logarithmic Worst-Case Regret
Peking University（北京大学）
本文提出融合惰性更新与量子估计的UCRL及UCRL-VTR风格量子RL算法，在表格型和线性混合MDP中实现可证明的对数最坏情形遗憾。
2024-06-13 cs.AI cs.LG quant-ph
Provably Efficient Online RLHF with One-Pass Reward Modeling
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术实验室，南京大学）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）
针对在线RLHF中历史数据存储与重训练成本高的问题，提出单次奖励建模方法，实现常数时间更新，并在多种设置下提升统计与计算效率，实验验证有效。
2025-10-25 cs.LG stat.ML
Provably Safe Model-Based Meta Reinforcement Learning: An Abstraction-Based Approach
University of California, Irvine（加利福尼亚大学尔湾分校）
虽然传统的强化学习专注于设计可以执行一项任务的代理，但元学习的目标是解决设计可以概括为不同任务的代理的问题（例如，环境、障碍和目标），这些因素在设计或训练这些智能体时没有考虑到。本着这种精神，在本文中，我们考虑训练一个可证明安全的神经网络（NN）控制器的不确定非线性动力系统，可以推广到新的任务，不存在的训练数据，同时保持强大的安全保证的问题。我们的方法是在训练阶段学习一组NN控制器。当任务在运行时可用时，我们的框架将仔细选择这些NN控制器的子集，并将它们组合成最终的NN控制器。我们的方法的关键是计算非线性动力系统的有限状态抽象的能力。这个抽象模型捕获闭环系统在所有可能的NN权重下的行为，并用于训练NN，并在任务可用时组合它们。我们提供了理论保证，管理所产生的NN的正确性。我们评估了我们的方法控制轮式机器人在杂乱的环境中，不存在的训练数据的问题。
2021-09-03 cs.LG cs.RO cs.SY
Provably Efficient Exploration in Inverse Constrained Reinforcement Learning
School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Stony Brook University, New York（石溪大学）
针对逆约束强化学习现有采样策略效率不明的问题，提出带效率保证的策略探索框架，基于误差分析设计两种算法，兼具理论样本复杂度保障与多环境实验验证。
2025-05-16 cs.AI cs.LG
Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
针对连续时间情节式MDP，在泊松决策时段和Lipschitz平滑假设下，扩展UCRL和Q-learning，证明$\widetilde{O}(T^{2/3})$遗憾界及匹配下界，实现最优速率。
2026-09-22 cs.LG
Agentic Transformers Provably Learn to Search via Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；The Ohio State University（俄亥俄州立大学）；Yale University（耶鲁大学）
本文通过构建双头Transformer实现随机深度优先搜索，并分析策略梯度训练动力学，证明该搜索机制能从稀疏强化反馈中分阶段涌现，且具备深度泛化能力。
2026-05-29 cs.AI cs.LG math.OC
Provably Efficient Reward Transfer in Reinforcement Learning with Discrete Markov Decision Processes
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习中利用源行为适配目标奖励效率低的问题，提出Q-M方法，通过Q函数界的迭代收紧实现学习前动作剪枝，证明离散域下策略最优性与样本高效性，实验验证其有效实用。
2025-10-22 cs.AI cs.LG
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
