Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Multi-CALF: A Policy Combination Approach with Statistical Guarantees
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）
本研究提出Multi-CALF算法，基于相对价值提升智能组合标准RL策略与有理论支撑的替代策略，兼具稳定性保证与更优性能，还给出收敛概率、偏差及时间界，控制任务实验验证了其效果。
2025-05-18 cs.AI cs.LG cs.RO
Convergence Guarantees for Deep Epsilon Greedy Policy Learning
University of Maryland, College Park（马里兰大学帕克分校）；Department of Mathematics, University of Maryland, College Park（马里兰大学帕克分校数学系）
策略学习是一个快速发展的领域。随着机器人和计算机控制日常生活，它们的出错率需要被最小化和控制。有许多策略学习方法和bandit方法都伴随着可证明的出错率。我们显示了一个错误或遗憾界和收敛性的深度Epperiment贪婪方法，选择行动与神经网络的预测。我们还表明，Eppery Greedy方法遗憾上限最小化与立方根探索。在真实世界数据集MNIST的实验中，我们构建了一个非线性强化学习问题。我们见证了无论是高噪声还是低噪声，有些方法收敛，有些不收敛，这与我们的收敛性证明一致。
2022-01-27 cs.IT cs.LG math.IT
A universal policy wrapper with guarantees
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）
本研究提出一种强化学习通用策略包装器，通过价值函数监督在高性能基础策略与有收敛保证的后备策略间切换，在继承目标达成保证的同时保持或提升性能，无需额外知识即可广泛部署。
2025-05-18 cs.AI cs.LG cs.RO
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix（奈飞）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
经验风险最小化（ERM）是机器学习的主力，无论是用于分类和回归还是用于离线策略学习，但当我们使用自适应收集的数据时，其模型不可知的保证可能会失败，例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法，使用自适应收集的数据，以最小化损失函数的平均假设类，并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式，仔细利用重要性抽样结构，以获得正确的依赖于数据中的勘探率的利率。对于回归，我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习，我们提供了速率最优的遗憾保证，关闭现有文献中的一个开放的差距，每当勘探衰减到零，是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee
The Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
在安全强化学习（SRL）问题中，智能体探索环境以最大化期望的总回报，同时避免违反对若干期望总成本的某些约束。一般来说，这样的SRL问题有非凸目标函数受到多个非凸约束，因此是非常具有挑战性的解决，特别是提供一个全局最优的政策。许多流行的SRL算法采用原始-对偶结构，利用对偶变量的更新来满足约束。相比之下，我们提出了一个原始的方法，称为约束校正策略优化（CRPO），更新的政策之间的目标改进和约束满足交替。CRPO提供了一个原始类型的算法框架来解决SRL问题，其中每个策略更新可以采取任何策略优化步骤的变体。为了证明CRPO的理论性能，我们采用自然策略梯度（NPG）的每个政策更新步骤，并表明CRPO实现了$\mathcal{O}(1/\sqrt{T})$收敛速度的全局最优政策的约束政策集和约束满足的$\mathcal{O}(1/\sqrt{T})$误差界。这是第一次有限时间分析的原始SRL算法的全局最优性保证。我们的实证结果表明，CRPO可以优于现有的原始-对偶基线算法显着。
2021-05-31 cs.LG stat.ML
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；ENSAE Paris（巴黎高等经济商业学院）
本文提出首个保守且可证明高效的免模型强化学习算法，利用重要性采样反事实评估保守条件，确保学习过程中性能不低于基线策略，并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
Policy-Guided Heuristic Search with Guarantees
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
使用策略和启发式函数来引导搜索在对抗性问题中非常有效，正如AlphaGo及其后继者所证明的那样，它们基于PUCT搜索算法。虽然PUCT也可以用来解决单智能体确定性问题，但它缺乏对搜索工作的保证，并且在实践中计算效率低下。将A* 算法与学习的启发式函数相结合往往在这些领域中工作得更好，但A* 及其变体不使用策略。此外，使用A* 的目的是找到最小成本的解决方案，而我们则寻求最小化搜索损失（例如，搜索步骤的数量）。LevinTS由策略指导，并提供与策略质量相关的搜索步骤数量的保证，但它不使用启发式函数。在这项工作中，我们介绍了政策指导的启发式搜索（PHS），一种新的搜索算法，使用一个启发式函数和一个政策，并有理论保证的搜索损失，涉及的启发式和政策的质量。我们经验表明，从商业游戏“见证人”的PHS，使快速学习的政策和启发式功能，并与A*，加权A*，贪婪的最佳优先搜索，LevinTS和PUCT的问题解决的数量和搜索时间在所有三个域测试方面相比毫不逊色的滑块难题，推箱子，和一个难题。
2021-03-21 cs.AI cs.LG
Policy Gradient in Robust MDPs with Global Convergence Guarantee
School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）；Department of Computer Science, University of New Hampshire（新罕布什尔大学计算机科学系）
针对鲁棒马尔可夫决策过程（RMDPs）适配策略梯度方法难、实际应用受限的问题，提出首个通用双环鲁棒策略梯度算法DRPG，通过参数化转移核与梯度法求解内环策略，可单调降误差保证表格RMDP全局收敛，实验验证了其效用与收敛性。
2023-06-07 cs.LG
Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL
Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
本文研究了平均回报MDP中的离线强化学习，提出基于目标策略的精确样本复杂度界，并首次处理一般弱连通MDP，引入改进的悲观折扣价值迭代算法。
2026-04-21 cs.IT cs.LG math.IT
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee
Duke University（杜克大学）
针对连续时间随机最优控制问题，提出策略梯度方法，分析其连续时间极限的梯度流，在正则性假设下证明全局收敛性并建立收敛速率，引入局部最优控制函数刻画迭代局部最优性。
2025-04-14 cs.LG cs.SY eess.SY
More for Less: Safe Policy Improvement With Stronger Performance Guarantees
Technische Universität Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心（CeTI））；Radboud University（拉德堡德大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对离线强化学习中的安全策略改进（SPI）问题，提出一种通过隐式变换数据集与环境模型来推导更紧改进界限的新方法，显著降低SPIBB算法的样本复杂度。
2023-05-13 cs.AI cs.LG
Policy-Gradient Algorithms Have No Guarantees of Convergence in Linear Quadratic Games
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
我们通过反例表明，策略梯度算法没有保证，甚至局部收敛到纳什均衡在连续的行动和状态空间多智能体设置。要做到这一点，我们分析梯度发挥N-玩家一般和线性二次游戏，一个经典的游戏设置，最近出现的多智能体学习领域的基准。在这种博弈中，状态空间和行动空间是连续的，全局纳什均衡可以通过求解耦合的Ricatti方程来找到。此外，LQ博弈中的梯度博弈等价于多智能体策略梯度。我们首先表明，这些游戏是令人惊讶的不是凸的游戏。尽管如此，我们仍然能够证明梯度动力学的唯一临界点是全局纳什均衡。然后，我们给出了充分条件下，策略梯度将避免纳什均衡，并产生大量的一般和线性二次博弈，满足这些条件。在这样的博弈中，我们凭经验观察到参与者收敛到极限环，对于极限环，时间平均值不符合纳什均衡。这种游戏的存在表明，在经典的强化学习设置中解决强化学习问题的最流行的方法之一在多智能体设置中没有局部收敛保证。此外，我们可以很容易地生成这些反例，这表明这种情况不仅仅是边缘情况，实际上是很常见的。
2019-12-16 cs.LG stat.ML
POLAR: A Pessimistic Model-based Policy Learning Algorithm for Dynamic Treatment Regimes
Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰霍普金斯大学应用数学与统计学系）；School of Business, The George Washington University（乔治华盛顿大学商学院）
POLAR是一种新型悲观模型基于策略学习算法，为动态治疗方案优化提供统计和计算保证，通过量化不确定性并抑制高不确定动作，实现更优的策略学习。
2026-01-28 cs.IT cs.LG math.IT
Conformal Off-Policy Prediction in Contextual Bandits
University of Oxford（牛津大学）；Bytedance AI Lab（字节跳动人工智能实验室）
大多数情境强盗的非政策评估方法都集中在政策的预期结果上，这是通过最好的方法来估计的，最多只能提供渐近保证。然而，在许多应用中，期望可能不是性能的最佳度量，因为它没有捕获结果的可变性。此外，特别是在安全关键设置中，可能需要比渐近正确性更强的保证。为了解决这些局限性，我们考虑一种新的应用共形预测的上下文土匪。鉴于收集的数据下的行为政策，我们提出了\emph{conformal off-policy prediction}（COPP），它可以输出可靠的预测区间的结果下，一个新的目标政策。我们提供了理论上的有限样本保证，而不做任何额外的假设超出标准的上下文土匪设置，并实证证明了实用的COPP与现有的方法相比，对合成和真实世界的数据。
2022-10-26 cs.LG stat.ML
Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees
National Yang Ming Chiao Tung University（阳明交通大学）；Meta AI
我们从坐标上升的角度重新审视了RL中的非策略优化域。一种常用的方法是利用偏离策略的策略梯度来优化代理目标--目标策略的预期回报相对于行为策略的状态分布的总折扣。然而，这种方法已被证明遭受分布失配问题，因此需要通过状态分布校正或反事实方法来校正这种失配。在本文中，我们重新思考离策略学习通过协调上升策略优化（CAPO），脱离策略的演员-评论家算法，从行为策略的状态分布，而不使用策略梯度的策略改进。这种设计消除了在非策略策略梯度的策略改进步骤中对分布校正或重要性采样的需要。我们建立了全局收敛的一般坐标选择的CAPO，然后进一步量化的几个实例的CAPO流行的坐标选择规则，包括循环和随机变量的CAPO的收敛速度。然后，我们将CAPO扩展到神经政策，以实现更实际的实施。通过实验，我们证明了CAPO在实践中为RL提供了一种有竞争力的方法。
2022-12-10 cs.LG
Policy Search: Any Local Optimum Enjoys a Global Performance Guarantee
LORIA（洛林信息学及其应用研究实验室）；Supélec（高等电力学院）
局部策略搜索是一种用于处理大型状态空间的流行强化学习方法。形式上，它在参数化策略空间中进行本地搜索，以最大化在某些预定义分布上平均的关联价值函数。人们可能普遍认为，一般来说，从这种方法中所能希望的最好结果是得到该准则的局部最优值。在本文中，我们给出了以下令人惊讶的结果：\emph{any}（近似）\emph{local optimum}享有一个\emph{global performance guarantee} .我们比较这个guarantee与直接策略迭代，一个近似的动态规划算法，做一些形式的政策搜索满足：如果局部策略搜索的近似误差可能一般较大（因为局部搜索需要考虑一个空间的随机策略），我们认为，集中系数出现在性能界是更好的。最后，我们讨论了我们的分析的几个实际和理论后果。
2013-06-06 cs.AI cs.LG cs.RO
Theoretical guarantees on the best-of-n alignment policy
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文推翻了文献中关于 best-of-n 策略与参考策略间 KL 散度解析式的等价性，证明其仅为上界，并提出紧密的估计器；同时推导了胜率上界，分析了在 n<1000 时胜率与 KL 散度的优异权衡。
2025-05-29 cs.CL cs.IT cs.LG
Conformal Policy Learning with Distribution-Free Safety Guarantees
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
提出保形策略学习（CPL），通过阈值化保形p值控制处理分配对个体造成伤害的概率，在随机实验和观察性研究中提供无分布安全保证，并实证应用于减少阴谋信念的AI干预。
2026-09-16 cs.LG econ.EM math.ST
Guaranteed Trust Region Optimization via Two-Phase KL Penalization
University of Southern California（南加州大学）
本文提出 FixPO，通过 KL 惩罚与 fixup 阶段以低于 5% 的额外梯度步数保证每次策略更新满足信赖域约束，并在多种架构和动作空间上取得竞争力。
2023-12-08 cs.LG
Derivative-Free Methods for Policy Optimization: Guarantees for Linear Quadratic Systems
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
我们研究了线性策略类的无导数策略优化方法。我们专注于表征这些方法的收敛速度时，适用于线性二次系统，并研究各种设置的驱动噪声和奖励反馈。我们证明，这些方法可证明收敛到任何预先指定的公差内的最优策略与零阶评价，这是一个明确的多项式的误差容限，尺寸和曲率的问题。我们的分析揭示了加性驱动噪声和随机初始化设置之间的一些有趣的差异，以及一点和两点奖励反馈的设置。我们的理论是证实了这些系统上的衍生自由的方法进行了广泛的模拟。一路上，我们推导出收敛速度随机零阶优化算法时，应用到某一类非凸问题。
2020-05-18 cs.LG math.OC stat.ML
An Online Gradient-Based Caching Policy with Logarithmic Complexity and Regret Guarantees
University of Verona（维罗纳大学）；Inria（法国国家信息与自动化研究所）
针对具有遗憾保证的在线缓存策略计算复杂度过高的问题，本文提出一种相对目录规模为对数复杂度的基于梯度的新变体，并在百万级请求与项目的真实轨迹上验证其实用收益。
2024-06-17 cs.LG cs.NI cs.OS
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索，证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性，给出收敛速率保证，并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
Learning to Search Better Than Your Teacher
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Maryland, College Park（马里兰大学帕克分校）
学习搜索结构化预测的方法通常模仿参考策略，与该参考相比，现有的理论保证表现出较低的遗憾。这在许多应用中是不令人满意的，其中引用策略是次优的，并且学习的目标是改进它。我们提供了一个新的学习搜索算法，LOLS，它做得很好相对于参考政策，但另外保证低遗憾相比，偏离学习的政策：局部最优性保证。因此，LOLS可以改善的参考政策，不同于以前的算法。这使我们能够开发结构化的上下文强盗，部分信息结构化的预测设置与许多潜在的应用。
2015-05-20 cs.LG stat.ML
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Smoothing Policies and Safe Policy Gradients
Universitat Pompeu Fabra（庞培法布拉大学）；Meta；Politecnico di Milano（米兰理工大学）
策略梯度（PG）算法是强化学习在现实世界控制任务（如机器人）中备受期待的应用的最佳候选者之一。然而，每当学习过程本身必须在物理系统上执行或涉及任何形式的人机交互时，这些方法的试错性质就会带来安全问题。在本文中，我们解决了一个特定的安全配方，其中目标和危险都编码在一个标量奖励信号和学习代理的约束，永远不会恶化其性能，衡量为预期的奖励总和。通过研究演员只有策略梯度从随机优化的角度来看，我们建立了改善保证一类参数的政策，推广现有的结果高斯政策。这一点，再加上新的上界的方差的策略梯度估计，使我们能够确定元参数的时间表，保证单调改善的概率很高。两个关键元参数是参数更新的步长和梯度估计的批量大小。通过联合，自适应选择这些元参数，我们得到了一个策略梯度算法的单调改善保证。
2022-06-17 cs.LG stat.ML
SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
本文提出SafeAdapt方法，通过引入Rashomon集在连续强化学习中提供安全策略更新的正式保证，确保在下游适应过程中源任务的安全性。
2026-04-10 cs.AI cs.LG
Policy Learning with Abstention
本文提出了一种具有退却机制的策略学习方法，通过两阶段学习者识别近最优策略并构建退却规则，从而在高风险场景中提高决策安全性。
2026-01-28 cs.LG econ.EM stat.ML
Compositional Policy Learning in Stochastic Control Systems with Formal Guarantees
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；Massachusetts Institute of Technology（麻省理工学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出在随机环境中学习神经网络策略组合并利用可达-避障上鞅提供形式化概率保证的方法，通过更紧的概率下界支持复杂任务，并在随机九房间环境中验证了有效性。
2023-12-03 cs.LG cs.SY eess.SY
Stochastic first-order methods for average-reward Markov decision processes
School of Industrial and Systems Engineering（工业与系统工程学院）；School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对平均奖励马尔可夫决策过程提出平均奖励随机策略镜像下降和方差缩减时序差分方法，解决策略优化与评估中的探索不足和样本复杂度问题，并建立两种噪声模型下的样本复杂度保证。
2024-09-28 cs.LG math.OC stat.ML
A Policy Gradient Primal-Dual Algorithm for Constrained MDPs with Uniform PAC Guarantees
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙SINIC X公司）；Mizuho–DL Financial Technology（瑞穗-DL金融科技公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）；Osaka University（大阪大学）；Kyoto University（京都大学）
本文提出首个具有Uniform-PAC保证的策略梯度原始-对偶算法，用于在线约束MDP，同时实现收敛到最优策略、次线性遗憾和多项式样本复杂度，并在实验中验证其优于基线算法。
2024-07-01 cs.LG
SNPL: Simultaneous Policy Learning and Evaluation for Safe Multi-Objective Policy Improvement
Cornell University（康奈尔大学）；Meta；Netflix（网飞（Netflix））
针对离线多目标策略学习中策略类别大、信噪比低导致的选择不稳定和统计功效不足问题，提出SNPL方法，基于算法稳定性实现全数据同步学习与高置信安全保证，在真实个性化短信场景中大幅提升检测率与策略增益。
2025-03-21 cs.LG econ.EM stat.ML
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley（加州大学伯克利分校）
在设计有限时间范围情景强化学习问题的算法时，一种常见的方法是引入一个虚构的折扣因子，并使用静态策略进行近似。经验上，它已被证明，虚构的折扣因子有助于减少方差，和固定的政策，以节省每次迭代的计算成本。然而，从理论上讲，目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步，对这些算法进行分析。它侧重于两个香草策略梯度（VPG）的变种：第一个是一个广泛使用的变种与折扣优势估计（DAE），第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证，这两种算法建立，和额外的折扣因子，以减少在DAE中引入的偏差，从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程（MDP）的三个设置：有限的时间范围，平均奖励和折扣设置。据我们所知，这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP，这也导致了（第一）全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research（微软研究院）；Facebook AI Research（Facebook 人工智能研究院）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
用于强化学习的直接策略梯度方法是一种成功的方法，原因有很多：它们是无模型的，它们直接优化感兴趣的性能指标，并且它们允许丰富的参数化策略。它们的主要缺点是，由于是地方性的，它们无法充分探索环境。相比之下，虽然基于模型的方法和Q学习直接通过使用乐观来处理探索，但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度（PC-PG）算法，该算法可证明使用学习策略（策略覆盖）的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP，更一般地说，线性MDP在无限维RKHS。此外，PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证，以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
Easy Monotonic Policy Iteration
UC Berkeley（加州大学伯克利分校）
在使用一般函数逼近器（如深度神经网络和其他非线性函数）进行控制的强化学习中，一个关键问题是，对于实践中使用的许多算法，对策略或$Q$函数的更新可能无法提高性能，或者更糟的是，实际上会导致策略性能下降。以前的工作已经解决了这个问题，政策迭代，得到严格的政策改善界限，通过优化政策改善的下限，一个更好的政策得到保证。然而，现有的方法遭受的界限是难以优化的，在实践中，因为它们包括超范数项，不能有效地估计或区分。在这项工作中，我们得到了一个更好的政策改进的界限，其中的超级规范的政策分歧已被替换为平均分歧，这导致了一个算法，简单单调的政策迭代，生成序列的政策，保证非递减的回报，是很容易实现的样本为基础的框架。
2016-02-29 cs.AI cs.LG stat.ML
Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
Indian Institute of Science (IISc)（印度科学学院）；Purdue University（普渡大学）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
针对联邦强化学习中的对抗智能体问题，提出一种鲁棒的策略梯度方法，首次给出一般参数化下的全局收敛保证，并达到最优样本复杂度。
2024-11-05 cs.AI cs.LG math.OC
Generalized Policy Improvement Algorithms with Theoretically Supported Sample Reuse
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一类结合on-policy策略改进保证与样本重用效率的无模型深度强化学习算法，解决了真实世界控制中性能保证与数据效率的权衡问题，并在大量模拟任务中验证了其优势。
2024-10-11 cs.AI cs.LG stat.ML
Distributional Offline Policy Evaluation with Predictive Error Guarantees
Cornell University（康奈尔大学）
针对离线策略评估中回报分布估计问题，提出拟合似然估计（FLE）算法，通过序列最大似然估计集成生成模型，在有限与无限时域下分别保证总变差与Wasserstein距离误差，实验验证高斯混合与扩散模型的有效性。
2023-12-29 cs.LG
PAC Off-Policy Prediction of Contextual Bandits
本文针对上下文赌博机离线策略评估问题，提出一种基于PAC有效共形预测框架的新算法，构建以给定离线数据集为条件的概率近似正确预测区间，并给出有限样本与渐近理论保证及模拟验证。
2025-07-22 cs.LG stat.ML
Online Learning with Off-Policy Feedback
Universitat Pompeu Fabra（庞培法布拉大学）
研究了在一个称为非策略反馈的部分可观测性模型下对抗性强盗问题的在线学习问题。在这个顺序决策问题中，学习者不能直接观察到它的回报，而是看到另一个未知策略并行运行（行为策略）所获得的回报。在这种情况下，学习者面临的不是标准的探索-利用困境，而是另一个挑战：由于他们无法控制的有限观察，学习者可能无法同样好地估计每个策略的价值。为了解决这个问题，我们提出了一套算法，保证遗憾的界限，规模与任何比较器的政策和行为政策之间的不匹配的自然概念，实现对比较器的观察覆盖良好的性能提高。我们还提供了一个扩展的设置对抗线性上下文土匪，并通过一组实验验证了理论保证。我们的关键算法思想是适应最近在非策略强化学习背景下流行的悲观奖励估计器的概念。
2022-07-18 cs.LG stat.ML
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Safety-guaranteed Reinforcement Learning based on Multi-class Support Vector Machine
Purdue University（普渡大学）
一些工作已经解决了在强化学习（RL）框架中加入约束的问题，但是大多数工作只能保证软约束的满足。在这项工作中，我们解决的问题，满足硬状态约束的无模型RL设置与确定性系统动力学。该算法是针对离散的状态和动作空间开发的，并利用多类支持向量机（SVM）来表示策略。将状态约束纳入SVM优化框架中，以获得用于确定策略参数的解析解。这个最终的政策收敛到一个解决方案，这是保证满足的约束。此外，所提出的配方坚持Q学习框架，因此，也保证收敛到最优解。该算法是证明了多个例子的问题。
2020-06-12 cs.AI cs.LG
Sample Efficient Model-free Reinforcement Learning from LTL Specifications with Optimality Guarantees
University of Oxford（牛津大学）
本文提出一种无模型强化学习方法，通过新颖的乘积MDP、奖励结构和折扣机制，结合概率模型检测器PRISM评估，在未知随机系统中高效学习满足LTL规范的最优策略，并提供了改进的理论保证与实验验证。
2023-05-03 cs.AI cs.FL cs.LG
Conformal Sequential Decision Making With Cost and Sublinear Policy Regret Guarantees
Chalmers University of Technology（查尔姆斯理工大学）；EURECOM（欧洲通信研究院）；Northeastern University London（伦敦东北大学）
该研究针对需满足硬成本约束的序贯决策场景，提出在线共形每轮智能体（OCEA），证明其满足每轮成本约束且实现次线性策略遗憾，并将其应用于风险规避控制与在线压缩。
2026-10-14 cs.LG
Constrained Policy Optimization
UC Berkeley（加州大学伯克利分校）；OpenAI
对于强化学习的许多应用，指定奖励函数和约束可能更方便，而不是试图通过奖励函数设计行为。例如，与人类或人类周围进行物理交互的系统应该满足安全约束。策略搜索算法的最新进展（Mnih等人，2016年，Schulman等人，2015年，Lillicrap等人，2016年，Levine等人，2016）已经在高维控制中启用了新的功能，但不考虑约束设置。我们提出了约束策略优化（CPO），约束强化学习的第一个通用策略搜索算法，保证在每次迭代时接近约束满足。我们的方法使我们能够训练神经网络政策的高维控制，同时保证政策的行为在整个培训。我们的保证是基于一个新的理论结果，这是独立的利益：我们证明了一个绑定的预期回报的两个政策之间的平均分歧。我们证明了我们的方法在模拟机器人运动任务的有效性，代理必须满足安全性的约束。
2017-05-30 cs.LG
Policy Optimization Achieves Data-Dependent Regret Bounds in MDPs with Unknown Transitions
针对在线表格马尔可夫决策过程，提出基于乐观跟随正则化领导者的算法，通过设计乐观Q函数估计器和数据依赖转移奖励，在未知转移下实现一阶、二阶和路径长度遗憾界，并达到随机情形下的间隙相关polylog(T)遗憾。
2026-07-01 cs.LG stat.ML
High-probability sample complexities for policy evaluation with linear function approximation
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
本文为线性函数近似下的策略评估建立了TD和TDC算法的高概率样本复杂度界，在在策略和离策略设置下均达到容差水平的最优依赖，并在关键参数上与极小极大下界匹配。
2024-05-02 cs.IT cs.LG math.IT
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands；Ruhr University\,\&\,Radboud University Bochum Germany；Radboud University；Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法，结合安全策略改进与防护机制，在离线强化学习中确保策略性能与安全，实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
Offline Reinforcement Learning in Large State Spaces: Algorithms and Guarantees
本文介绍大状态空间离线强化学习的理论框架，梳理函数近似表达性、数据覆盖性等核心假设，以及对应不同假设与复杂度要求的各类算法和结果，并探讨开放问题与邻域关联。
2025-10-05 cs.AI cs.LG stat.ML
Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees
逆强化学习（IRL）的目标是恢复奖励函数和相关的最优策略，最适合观察到的状态序列和由专家执行的动作。IRL的许多算法具有固有的嵌套结构：内部循环找到给定参数化奖励的最优策略，而外部循环更新估计以优化拟合度量。对于高维环境，这样的嵌套循环结构需要一个显着的计算负担。为了减少嵌套循环的计算负担，SQIL [1]和IQ-Learn [2]等新方法强调策略估计，但牺牲了奖励估计的准确性。然而，如果没有准确的估计奖励，就不可能进行反事实分析，例如预测不同环境动态下的最优策略和/或学习新任务。在本文中，我们开发了一种新的单循环算法的IRL不妥协的奖励估计精度。在所提出的算法中，每个策略改进步骤之后是一个随机梯度步骤的似然最大化。我们证明了该算法可证明收敛到一个固定的解决方案，有限时间的保证。如果奖励是线性参数化的，我们确定的解决方案对应的最大熵IRL问题的解决方案。最后，通过使用MuJoCo机器人控制问题及其传输设置，我们表明，该算法实现了优越的性能相比，其他IRL和模仿学习基准。
2022-10-31 cs.LG stat.ML
Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside（加州大学河滨分校）；CUHK Shenzhen（香港中文大学（深圳））；Caltech（加州理工学院）
本文提出ACRL算法，解决随时竞争马尔可夫决策过程，在保证每轮成本有界的同时优化期望奖励，并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
