X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Towards Formalizing Reinforcement Learning Theory: A Robbins-Siegmund Approach
Department of Computer Science, University of Virginia（计算机科学系，弗吉尼亚大学）
该研究基于Lean 4定理证明器与Mathlib库，采用Robbins-Siegmund定理，形式化验证了马尔可夫样本下Q学习与线性TD学习的几乎必然收敛性，为形式化收敛的RL结果奠定了基础。
2026-08-21 cs.LG stat.ML
DARLING: Detection Augmented Reinforcement Learning with Non-Stationary Guarantees
ECE and CSL, The Grainger College of Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系和计算机科学实验室，伊利诺伊大学厄巴纳-香槟分校）
本文研究了在无先验知识的非平稳有限时间episodic马尔可夫决策过程中的模型无关强化学习，提出DARLING方法，通过模块化包装实现对表格和线性MDP的适应，并在非平稳基准测试中超越现有方法。
2026-05-11 cs.LG stat.ML
Non-Asymptotic Best Policy Identification Guarantees in Online Reinforcement Learning
Imperial College London（伦敦帝国学院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）
研究在线表格强化学习中的最优策略识别问题，通过为导航与停止（NaS）算法提供非渐近样本复杂度保证，揭示其样本复杂度不仅依赖特征时间，还与MDP连通性等有关，填补了相关空白。
2026-07-21 cs.LG stat.ML
CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee
The Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
在安全强化学习（SRL）问题中，智能体探索环境以最大化期望的总回报，同时避免违反对若干期望总成本的某些约束。一般来说，这样的SRL问题有非凸目标函数受到多个非凸约束，因此是非常具有挑战性的解决，特别是提供一个全局最优的政策。许多流行的SRL算法采用原始-对偶结构，利用对偶变量的更新来满足约束。相比之下，我们提出了一个原始的方法，称为约束校正策略优化（CRPO），更新的政策之间的目标改进和约束满足交替。CRPO提供了一个原始类型的算法框架来解决SRL问题，其中每个策略更新可以采取任何策略优化步骤的变体。为了证明CRPO的理论性能，我们采用自然策略梯度（NPG）的每个政策更新步骤，并表明CRPO实现了$\mathcal{O}(1/\sqrt{T})$收敛速度的全局最优政策的约束政策集和约束满足的$\mathcal{O}(1/\sqrt{T})$误差界。这是第一次有限时间分析的原始SRL算法的全局最优性保证。我们的实证结果表明，CRPO可以优于现有的原始-对偶基线算法显着。
2021-05-31 cs.LG stat.ML
Offline Reinforcement Learning Under Value and Density-Ratio Realizability: The Power of Gaps
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了离线强化学习（RL）中一个具有挑战性的理论问题：仅在函数逼近器的可实现性假设下，在缺乏足够覆盖的数据集上获得样本效率保证。虽然现有的理论已经解决了学习下的可实现性和非探索性数据分别，没有工作已经能够同时解决这两个问题（除了并发工作，我们详细比较）。在附加间隙假设下，基于边缘化重要性采样（MIS）形成的版本空间，对一个简单的悲观算法提供了保证，该保证只要求数据覆盖最优策略，函数类实现最优值和密度比函数.虽然类似的间隙假设已被用于RL理论的其他领域，我们的工作是第一个确定的实用程序和离线RL与弱函数近似间隙假设的新机制。
2022-06-14 cs.LG stat.ML
Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）
研究了线性函数逼近的强化学习（RL）。现有的算法只具有高概率后悔和/或可能近似正确（PAC）样本复杂度保证，不能保证收敛到最优策略。为了克服现有算法的局限性，本文提出了一种新的算法FLUTE，该算法具有一致PAC收敛性，并以较高的概率收敛到最优策略。一致PAC保证是文献中强化学习最强的可能保证，它可以直接隐含PAC和高概率后悔界，使我们的算法优于所有现有的线性函数逼近算法。该算法的核心是一种新的极小极大价值函数估计器和一种从历史观测值中选择训练样本的多级划分方案。这两种技术都是新的，具有独立的意义。
2021-12-31 cs.LG math.OC stat.ML
Conservative Exploration in Reinforcement Learning
当在未知的马尔可夫决策过程（MDP）中学习时，Agent应该权衡探索以发现关于MDP的新信息和利用现有知识以最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但不能保证中间策略的质量。这种控制的缺乏在现实世界的应用中是不期望的，在现实世界的应用中，最低要求是保证执行的策略至少与现有基线一样好。在本文中，我们引入了平均报酬和有限时域问题的保守探索的概念。我们提出了两个乐观的算法，保证（w.h.p.）在学习过程中，保守约束永远不会被违反。我们得出的遗憾界显示，保守并不妨碍这些算法的学习能力。
2020-07-15 cs.LG stat.ML
Instance-Dependent Confidence and Early Stopping for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习（RL）的各种算法表现出显着的变化，其收敛速度作为问题结构的函数。这种问题相关的行为是不捕获的最坏情况下的分析，因此激发了越来越多的努力，在获得实例相关的保证和RL问题的实例优化算法。然而，这项研究主要是在理论的范围内进行的，为解释\textit{ex post}观察到的性能差异提供了保证。自然的下一步是将这些理论保证转化为实践中有用的指导方针。我们解决的问题，获得尖锐的实例相关的置信区域的政策评估问题和最佳值估计问题的MDP，访问实例最优算法。因此，我们提出了一个数据依赖停止规则的实例优化算法。建议的停止规则适应于特定实例的问题的难度，并允许提前终止的问题，有利的结构。
2022-01-21 cs.LG stat.ML
Probabilistic Performance Guarantees for Multi-Task Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
提出一种结合每任务有限 rollout 置信下界与任务级泛化的新泛化界，为未见任务提供高置信度性能保证。
2026-05-31 cs.AI cs.LG
Safety-guaranteed Reinforcement Learning based on Multi-class Support Vector Machine
Purdue University（普渡大学）
一些工作已经解决了在强化学习（RL）框架中加入约束的问题，但是大多数工作只能保证软约束的满足。在这项工作中，我们解决的问题，满足硬状态约束的无模型RL设置与确定性系统动力学。该算法是针对离散的状态和动作空间开发的，并利用多类支持向量机（SVM）来表示策略。将状态约束纳入SVM优化框架中，以获得用于确定策略参数的解析解。这个最终的政策收敛到一个解决方案，这是保证满足的约束。此外，所提出的配方坚持Q学习框架，因此，也保证收敛到最优解。该算法是证明了多个例子的问题。
2020-06-12 cs.AI cs.LG
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin（得克萨斯大学奥斯汀分校）
我们提出了Revel，一个部分神经强化学习（RL）框架，用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是，在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战：一个是具有近似梯度的一般神经符号类，另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策：在每次迭代中，它安全地提升到神经符号空间的符号政策，执行安全的梯度更新所产生的政策，并项目更新后的政策到安全的符号子集，所有这些都不需要明确的验证神经网络。我们的实证结果表明，Revel在许多情况下强制执行安全探索，其中约束策略优化没有，并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）
基于模型的强化学习（RL）被认为是一种很有前途的方法，可以降低阻碍无模型强化学习的样本复杂度。然而，对这种方法的理论理解相当有限。本文介绍了一种新的算法框架，设计和分析基于模型的强化学习算法的理论保证。我们设计了一个元算法的理论保证单调改善的局部最大值的预期回报。元算法基于估计的动态模型和样本轨迹迭代地构建期望回报的下限，然后在策略和模型上联合最大化下限。该框架扩展了乐观面对不确定性的原则，非线性动态模型的方式，需要\textit{no explicit}不确定性量化。通过简化实例化我们的框架，给出了基于模型的RL算法的一种变体随机下限优化（SLBO）。实验表明，SLBO达到国家的最先进的性能时，只有一百万或更少的样本被允许在一系列连续控制基准任务。
2021-02-15 cs.AI cs.LG stat.ML
KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems
California Institute of Technology（加州理工学院）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
学习一个动态系统需要稳定未知的动态，以避免状态爆破。然而，目前的强化学习（RL）方法缺乏稳定性保证，这限制了它们对安全关键系统控制的适用性。我们提出了一个基于模型的RL框架，正式的稳定性保证，Krasovskii约束RL（KCRL），采用Krasovskii的家庭的李雅普诺夫函数作为稳定性约束。所提出的方法使用特征表示（例如，随机傅立叶特征）来学习系统动态直到置信区间。然后，它解决了一个受约束的政策优化问题的稳定性约束的基础上Krasovskii的方法使用原始对偶方法恢复稳定的政策。我们表明，KCRL是保证学习稳定的政策，在有限数量的相互作用与潜在的未知系统。我们还通过KCRL框架导出了未知非线性动力系统镇定的样本复杂性上界。
2022-06-03 cs.LG cs.SY eess.SY
Preference-based Reinforcement Learning with Finite-Time Guarantees
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
基于偏好的强化学习（PbRL）通过偏好取代传统强化学习中的奖励值，以更好地引起人们对目标目标的意见，特别是当数字奖励值难以设计或解释时。尽管在应用中取得了可喜的成果，但对PbRL的理论理解仍处于起步阶段。在本文中，我们提出了一般PbRL问题的第一个有限时间分析。我们首先表明，一个独特的最优策略可能不存在，如果偏好轨迹是确定性的PbRL。如果偏好是随机的，偏好概率与隐藏的奖励值有关，我们提出的算法PbRL，无论有没有模拟器，能够确定最佳的政策，以高概率的准确性$\varepsilon$。我们的方法通过导航到探索不足的状态来探索状态空间，并使用决斗强盗和策略搜索的组合来解决PbRL。实验表明，我们的方法是有效的，当它被应用到现实世界中的问题。
2020-10-23 cs.AI cs.LG stat.ML
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（Deep Reinforcement Learning，DRL）在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而，安全性和稳定性仍然是主要的问题，阻碍了日间行车灯的应用，安全关键的自治系统。为了解决这些问题，我们提出了Phy-DRL：一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的：i）类似于Lyapunov的奖励，以及ii）剩余控制（即，基于物理模型控制和数据驱动控制的集成）。并发的物理奖励和剩余控制赋予Phy-DRL（数学上）可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验，验证了Phy-DRL在保证安全性和稳定性的同时，具有较强的鲁棒性，并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees
逆强化学习（IRL）的目标是恢复奖励函数和相关的最优策略，最适合观察到的状态序列和由专家执行的动作。IRL的许多算法具有固有的嵌套结构：内部循环找到给定参数化奖励的最优策略，而外部循环更新估计以优化拟合度量。对于高维环境，这样的嵌套循环结构需要一个显着的计算负担。为了减少嵌套循环的计算负担，SQIL [1]和IQ-Learn [2]等新方法强调策略估计，但牺牲了奖励估计的准确性。然而，如果没有准确的估计奖励，就不可能进行反事实分析，例如预测不同环境动态下的最优策略和/或学习新任务。在本文中，我们开发了一种新的单循环算法的IRL不妥协的奖励估计精度。在所提出的算法中，每个策略改进步骤之后是一个随机梯度步骤的似然最大化。我们证明了该算法可证明收敛到一个固定的解决方案，有限时间的保证。如果奖励是线性参数化的，我们确定的解决方案对应的最大熵IRL问题的解决方案。最后，通过使用MuJoCo机器人控制问题及其传输设置，我们表明，该算法实现了优越的性能相比，其他IRL和模仿学习基准。
2022-10-31 cs.LG stat.ML
Representation of Reinforcement Learning Policies in Reproducing Kernel Hilbert Spaces
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Facebook AI Research（Facebook人工智能研究）；CIFAR AI chair（CIFAR人工智能主席职位）；DeepMind；Université de Montréal（蒙特利尔大学）
我们提出了一个一般的框架政策表示的强化学习任务。这个框架涉及到找到一个低维嵌入的再生核希尔伯特空间（RKHS）的政策。使用RKHS为基础的方法，使我们能够得到强有力的理论保证的预期回报的重建政策。这种保证在黑盒模型中通常是缺乏的，但在需要稳定性的任务中是非常可取的。我们在经典的RL域上进行了几个实验。结果表明，该策略可以鲁棒地嵌入到一个低维空间中，而嵌入的策略几乎不会导致收益减少。
2020-10-15 cs.LG stat.ML
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
QTRAN是一种多智能体强化学习（MARL）算法，能够学习最大类的联合作用价值函数。然而，尽管它有很强的理论保证，它在复杂环境中表现出很差的经验性能，如星际争霸多智能体挑战赛（SMAC）。在本文中，我们确定的性能瓶颈的QTRAN，并提出了一个大大改进的版本，创造QTRAN++。我们的收益来自（i）稳定QTRAN的训练目标，（ii）消除QTRAN的动作值估计器之间的严格角色分离，以及（iii）引入多头混合网络进行值转换。通过广泛的评估，我们确认我们的诊断是正确的，并且QTRAN++成功地弥合了经验性能和理论保证之间的差距。特别是，QTRAN++在SMAC环境中新实现了最先进的性能。代码将被释放。
2020-10-06 cs.LG stat.ML
Reinforcement Learning for Orientation Estimation Using Inertial Sensors with Performance Guarantee
Delft University of Technology（代尔夫特理工大学）；University of Essex（埃塞克斯大学）
本文提出了一种深度强化学习（DRL）算法，用于惯性传感器与磁强计相结合的方位估计。利用控制理论中的李雅普诺夫方法证明了方位估计误差的收敛性。基于理论结果，估计器增益和李雅普诺夫函数通过深度神经网络参数化并从样本中学习。的DRL估计进行了比较与三个著名的方向估计方法的数值模拟和真实的数据集收集从商业上可用的传感器。结果表明，该算法对任意初始估计都有很好的适应性，并且可以适应其他算法难以适应的大角速度。据我们所知，这是第一个基于DRL的方向估计方法与估计误差有界性保证。
2021-06-10 cs.LG cs.RO
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
Infinitesimal Operator World Models: Finite-Sample Guarantees for Offline Reinforcement Learning
TU Munich（慕尼黑工业大学）；ShanghaiTech University（上海交通大学）
针对连续时间系统离线强化学习近似误差统计理解有限的问题，提出基于算子理论的算法，利用再生核希尔伯特空间学习受控扩散过程的无穷小生成元，建立价值函数全局收敛性并推导有限样本保证，为解决该问题提供新方向。
2026-10-12 cs.LG cs.SY eess.SY
A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo（滑铁卢大学）
标准的强化学习（RL）公式考虑了（折扣）累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中，我们介绍了微观目标强化学习-一种替代RL形式主义，克服了这个问题。在这个新的公式中，RL任务由一组微观目标指定，这些微观目标是指定事件的可取性或不可取性的构造。此外，微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性，其关系到单/多目标RL，和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；Cornell University（康奈尔大学）
短视的探索策略，如ε-greedy，softmax或高斯噪声，在某些强化学习任务中无法有效地探索，但在许多其他任务中表现良好。事实上，在实践中，由于它们的简单性，它们经常被选为首选。但是，这些政策在哪些方面取得了成功？我们能为它们的良好表现提供理论保证吗？尽管这些政策具有突出的实际重要性，但这些关键问题几乎没有得到研究。本文对这种策略进行了理论分析，并给出了带有近视探索的强化学习的第一遗憾和样本复杂度界限。我们的研究结果适用于基于值函数的算法在情节MDP与有界贝尔曼Eluder维数。我们提出了一个新的复杂性措施，称为近视勘探差距，由阿尔法表示，捕获的MDP，勘探政策和给定的价值函数类的结构属性。我们发现近视探索的样本复杂度与这个量的倒数1 /α ^2成二次方关系。我们进一步通过具体的例子证明，近视的探索差距确实是有利的，在近视的探索成功的几个任务，由于相应的动力学和奖励结构。
2022-06-19 cs.LG
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley（加州大学伯克利分校）
在设计有限时间范围情景强化学习问题的算法时，一种常见的方法是引入一个虚构的折扣因子，并使用静态策略进行近似。经验上，它已被证明，虚构的折扣因子有助于减少方差，和固定的政策，以节省每次迭代的计算成本。然而，从理论上讲，目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步，对这些算法进行分析。它侧重于两个香草策略梯度（VPG）的变种：第一个是一个广泛使用的变种与折扣优势估计（DAE），第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证，这两种算法建立，和额外的折扣因子，以减少在DAE中引入的偏差，从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程（MDP）的三个设置：有限的时间范围，平均奖励和折扣设置。据我们所知，这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP，这也导致了（第一）全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC
Reinforcement Learning for Reachability: Guaranteeing Asymptotic Optimality
Institute of Science and Technology, Austria（奥地利科学与技术研究所）；Georgia Institute of Technology, USA（美国佐治亚理工学院）；Dartmouth College, USA（美国达特茅斯学院）
针对可达性规格的强化学习，提出一种基于PAC学习的迭代方法，在无需已知MDP内部参数的情况下实现渐近最优策略，并通过实验验证收敛动态。
2026-05-23 cs.GT cs.LG
Variational Regret Bounds for Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）
我们考虑马尔可夫决策过程（MDP）中的非折扣强化学习，其中奖励函数和状态转移概率都可能随时间变化（逐渐或突然）。对于这个问题的设置，我们提出了一个算法，并提供性能保证的最佳非平稳政策评估的遗憾。遗憾的上限是在MDP的总变化方面。这是一般强化学习设置的第一个变分遗憾界。
2019-09-10 cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability
University of Padova（帕多瓦大学）；EPFL（洛桑联邦理工学院）；SYCAMORE
针对部分可观测带约束强化学习的挑战，提出基于有限历史窗口近似的原-对偶算法，获首个联合约束奖励次优性与约束违反的非渐近保证，实验验证其有效性。
2026-10-16 cs.LG
Safe Model-based Reinforcement Learning with Stability Guarantees
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
本文提出一种考虑安全性的强化学习算法，通过Lyapunov稳定性验证理论，利用动态统计模型获得具有证明稳定性的高性能控制策略，并在模拟倒立摆中展示其安全优化神经网络策略的能力。
2017-11-13 cs.AI cs.LG cs.SY
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程，提出统计高效的框架，分离正则化原始-对偶动力学与演员近似及统计误差，实现无模型最后迭代收敛，并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习（FL）的文献越来越多，最近启发了联邦强化学习（FRL），以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管FRL有很好的应用前景，但现有的FRL工作未能提供I）其收敛性的理论分析，II）考虑随机系统故障和对抗攻击。为此，我们提出了第一个FRL框架的收敛性是有保证的，并容忍不到一半的参与代理随机系统故障或对抗性攻击者。我们证明了所提出的框架的样本效率是保证提高与代理的数量，并能够考虑到这种潜在的故障或攻击。所有的理论结果都在各种RL基准任务上得到了经验验证。
2022-11-03 cs.AI cs.LG
Guaranteeing Control Requirements via Reward Shaping in Reinforcement Learning
University of Naples Federico II（那不勒斯费德里科二世大学）；Scuola Superiore Meridionale（南方高等学院）；University of Salerno（萨勒诺大学）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对强化学习解决控制问题时的性能和稳定性保证需求，提出一种系统性的奖励塑形流程，确保最优策略符合指定控制要求并支持策略评估，经OpenAI Gym环境实验验证有效。
2024-03-20 cs.LG cs.SY eess.SY
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
R2L: Reliable Reinforcement Learning: Guaranteed Return & Reliable Policies in Reinforcement Learning
Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学 Cosys-Grettia）
本文提出可靠强化学习建模，通过状态增广将最大化累积回报达标概率的问题转化为标准RL，并理论证明等价性，实验显示其可在路径规划中平衡效率与可靠性。
2025-10-20 cs.AI cs.LG math.OC
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Spectral-Risk Safe Reinforcement Learning with Convergence Guarantees
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
针对风险度量非线性导致的风险约束强化学习收敛困难问题，提出基于双层优化的谱风险约束策略优化算法（SRCPO），在表格型设置中首次保证收敛到最优解，并在连续控制任务中表现最佳。
2024-05-29 cs.AI cs.LG
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Model-Based Offline Reinforcement Learning with Reliability-Guaranteed Sequence Modeling
Shenghong He（谢圣红）；Chao Yu（岳超）；Qian Lin（林倩）；Yile Liang（梁毅）；Donghui Li（李东辉）；Xuetao Ding（丁旭涛）
本文提出可靠性保障Transformer（RT）算法，通过计算轨迹累积可靠性消除不可靠轨迹并采样高奖励动作，在离线强化学习中实现高效策略学习。
2025-05-03 cs.AI cs.LG
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
On The Expressivity of Objective-Specification Formalisms in Reinforcement Learning
AI Safety Hub（AI安全中心）；Columbia University（哥伦比亚大学）；University of Oxford（牛津大学）
本文全面比较了强化学习中17种目标规范形式语言的表达能力，将其置于预序哈斯图中，发现没有任何形式语言兼具主导表达能力与易优化性，并指出了现有奖励学习方法的局限及未来研究方向。
2024-02-17 cs.LG
Reinforcement Learning Control of Constrained Dynamic Systems with Uniformly Ultimate Boundedness Stability Guarantee
Harbin Institute of Technology（哈尔滨工业大学）；Delft University of Technology（代尔夫特理工大学）；University College London（伦敦大学学院）
强化学习（RL）是解决复杂随机非线性控制问题的一种有效方法。在不使用数学模型的情况下，可以通过试错法从由某些性能标准评估的数据中学习最优控制器。然而，基于数据的学习方法因不能保证稳定性而臭名昭著，而稳定性是任何控制系统的最基本属性。本文利用经典的李雅普诺夫方法，在不使用数学模型的情况下，仅根据数据分析系统的一致最终有界稳定性。它进一步表明如何RL与UUB保证可以应用于控制动态系统的安全约束。在理论分析的基础上，分别提出了非策略学习算法和策略学习算法。因此，可以学习最优控制器以保证闭环系统在收敛时和学习期间的UUB。所提出的算法进行了评估一系列的机器人连续控制任务的安全约束。与现有的强化学习算法相比，该方法可以在保持安全性方面取得优异的性能。作为稳定性的定性评估，我们的方法即使在存在外部干扰的情况下也表现出令人印象深刻的弹性。
2020-11-13 cs.LG cs.RO cs.SY
Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam（阿姆斯特丹大学）
本文提出一种结合公平性保证的多目标强化学习算法，通过洛伦兹支配识别公平奖励分布，提升多目标问题的可扩展性，在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
Offline Reinforcement Learning with Differential Privacy
UC Santa Barbara（加州大学圣巴巴拉分校）
离线强化学习（RL）问题通常是由金融、法律和医疗保健应用中学习数据驱动的决策策略的需求所驱动的。然而，所学习的策略可以在训练数据中保留个体的敏感信息（例如，患者的治疗和结果），因此容易受到各种隐私风险的影响。我们设计离线RL算法与差分隐私保证，可证明防止这种风险。这些算法在表格和线性马尔可夫决策过程（MDP）设置下也具有很强的实例相关学习边界。我们的理论和模拟表明，与中等规模数据集的非私有对应物相比，隐私保证的效用（几乎）没有下降。
2023-01-03 cs.AI cs.CR cs.LG
Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside（加州大学河滨分校）；CUHK Shenzhen（香港中文大学（深圳））；Caltech（加州理工学院）
本文提出ACRL算法，解决随时竞争马尔可夫决策过程，在保证每轮成本有界的同时优化期望奖励，并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
Reinforcement Learning for Temporal Logic Control Synthesis with Probabilistic Satisfaction Guarantees
University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）
强化学习（RL）已成为解决自动控制、计算机科学、经济学和生物学中复杂序列决策问题的一种有效方法。在本文中，我们提出了一个无模型的RL算法来合成控制策略，最大限度地满足高层次的控制目标的概率作为线性时序逻辑（LTL）公式。不确定性被认为是在工作空间的属性，工作空间的结构，和代理的行动，从而产生一个概率标记的马尔可夫决策过程（PL-MDP）与未知的图形结构和随机行为，这是更一般的情况下，比一个完全未知的MDP。我们首先将LTL规范转换为极限确定性Buchi自动机（LDBA），然后将其用于PL-MDP的即时产品中。此后，我们定义了一个同步的奖励功能的基础上接受条件的LDBA。最后，我们表明，RL算法提供了一个政策，最大限度地满足概率渐近。我们提供的实验结果表明，所提出的方法的效率。
2019-09-11 cs.LG cs.LO cs.SY
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University（纽约大学）；Northeastern University（东北大学）
本文提出理论框架分析元强化学习的泛化界限与收敛保证，揭示算法设计与任务复杂度关系，并证明收敛条件，评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
$H_\infty$ Model-free Reinforcement Learning with Robust Stability Guarantee
Harbin Institute of Technology（哈尔滨工业大学）；Delft University of Technology（代尔夫特理工大学）；University College London（伦敦大学学院）
强化学习在自动驾驶、机器人操作和机器人运动等机器人领域显示出巨大的应用潜力。然而，由于现实环境中存在复杂的不确定性，理论上很难保证学习策略的成功推广和仿真到现实迁移。在本文中，我们引入并扩展了鲁棒稳定性和$H_\infty$控制的思想，以设计同时具有稳定性和鲁棒性保证的策略。具体而言，基于样本的方法分析的李雅普诺夫稳定性和性能鲁棒性的学习为基础的控制系统。在此基础上，提出了一种最大熵算法，用于搜索李雅普诺夫函数，设计具有可证明鲁棒稳定性保证的策略。没有任何特定的领域知识，我们的方法可以找到一个政策，是强大的各种不确定性，以及推广到不同的测试环境。在我们的实验中，我们表明，我们的方法实现了更好的鲁棒性，大的脉冲干扰和参数变化的环境比最先进的结果，在鲁棒性和通用RL，以及经典的控制。匿名代码可在https://github.com/RobustStabilityGuaranteeRL/RobustStabilityGuaranteeRL上复制实验结果。
2020-07-25 cs.LG cs.RO cs.SY
Dynamic Multichannel Access via Multi-agent Reinforcement Learning: Throughput and Fairness Guarantees
Hanyang University（汉阳大学）
我们考虑一个多信道随机接入系统，其中每个用户在每个时隙访问一个单一的信道与接入点（AP）进行通信。用户随机到达系统，并在一定的时隙内被激活，然后从系统中消失。在这样的动态网络环境下，我们提出了一个分布式多通道接入协议的基础上，多代理强化学习（RL），以提高吞吐量和活跃用户之间的公平性。与以前的方法调整信道接入概率在每个时隙，建议RL算法确定性地选择一组信道接入策略，为几个连续的时隙。为了有效地降低所提出的RL算法的复杂性，我们采用了分支决斗Q网络架构，并提出了一种有效的训练方法，用于在时变用户集上产生适当的Q值。我们进行了广泛的模拟现实的交通环境，并证明了所提出的在线学习提高了吞吐量和公平性相比，传统的RL方法和集中式调度策略。
2021-05-10 cs.LG eess.SP
Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees
Nanyang Technological University（南洋理工大学）
针对强化学习策略对转移扰动敏感导致不安全行为的问题，提出使用变分自编码器近似状态空间分布，通过构造上下界屏障证书并采样非鲁棒区域状态来收紧概率安全保证。
2026-06-05 cs.AI cs.LG
Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning
ETH（苏黎世联邦理工学院）
在现实世界的任务中，强化学习（RL）代理经常会遇到在训练期间不存在的情况。为了确保可靠的性能，RL代理需要表现出对最坏情况的鲁棒性。强大的RL框架通过代理和对手之间的最坏情况优化来解决这一挑战。以前的鲁棒RL算法要么是样本效率低，缺乏鲁棒性保证，要么不能扩展到大问题。我们提出了鲁棒幻觉上置信RL（RH-UCRL）算法来可证明地解决这个问题，同时获得接近最佳的样本复杂度保证。RH-UCRL是一种基于基于模型的强化学习（MBRL）算法，它能有效区分认知和任意的不确定性，并在策略学习过程中有效探索代理和对手的决策空间。我们通过神经网络集成模型以及神经网络策略将RH-UCRL扩展到复杂任务。在实验中，我们证明了RH-UCRL在各种对抗环境中优于其他强大的深度RL算法。
2021-03-18 cs.AI cs.LG stat.ML
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University（山东大学）；The George Washington University（乔治·华盛顿大学）
本文提出一种去中心化强化学习中的协同后门攻击方法，将后门行为按状态空间分解到多个恶意智能体策略中，实现隐蔽注入，并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
