Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Global Optimality and Finite Sample Analysis of Softmax Off-Policy Actor Critic under State Distribution Mismatch
University of Virginia（弗吉尼亚大学）；Microsoft Research Montreal（微软研究院蒙特利尔分）
本文在状态分布不匹配且不使用密度比校正的条件下，证明了表格设定中离策略Softmax Actor-Critic算法的全局最优性和收敛速率，核心贡献是基于一致压缩性质对时间非齐次马尔可夫链上随机逼近算法进行有限样本分析。
2025-02-06 cs.LG
On the Optimality of Batch Policy Optimization Algorithms
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）；Google Research, Brain Team（谷歌研究院，大脑团队）；DeepMind；Amazon（亚马逊）
批量策略优化考虑在与环境交互之前利用现有数据进行策略构建。虽然近年来对这个问题的兴趣显著增加，但其理论基础仍然不发达。为了提高对这个问题的理解，我们提供了三个结果，其特点的限制和可能性的批处理策略优化的有限武装随机土匪设置。首先，我们介绍了一类信心调整的指数算法，统一的乐观和悲观的原则，在一个共同的框架，这使得一般的分析。对于这个家庭，我们表明，任何信心调整指数算法是最小最大最优的，无论是乐观的，悲观的或中立的。我们的分析表明，依赖于实例的最优性，通常用于建立在线随机强盗算法的最优性，不能实现任何算法在批量设置。特别是，对于在某些环境中表现最佳的任何算法，存在另一种环境，在这种环境中，相同的算法遭受任意更大的遗憾。因此，为了建立一个框架，区分算法，我们引入了一个新的加权极大极小准则，认为固有的困难的最优值预测。我们演示了如何使用这个标准来证明常用的批处理策略优化的悲观原则。
2021-04-06 cs.LG
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna（维也纳大学）；The Ohio State University（俄亥俄州立大学）
本文提出Matryoshka策略梯度（MPG）算法，证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性，给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
为了在强化学习中对风险厌恶进行建模，一种新兴的研究方法采用了熟悉的算法来优化相干风险泛函，这是一个包括条件风险价值（CVaR）的类。由于在马尔可夫决策过程中优化相关风险是困难的，最近的工作往往集中在马尔可夫相关风险（MCR），一个时间一致的代理。虽然，策略梯度（PG）的更新已得出这一目标，它仍然不清楚（i）PG是否找到一个全球最佳的MCR;（ii）如何估计梯度在一个易于处理的方式。在本文中，我们证明，在一般情况下，MCR目标（不同于预期收益）不是梯度主导的，驻点一般不能保证是全局最优的。此外，我们提出了一个严格的上界的次优学习政策，其依赖于目标的非线性和风险规避程度的特点。解决（ii），我们提出了一个实际的实现PG，使用状态分布重新加权，以克服以前的限制。通过实验，我们证明了当最优性差距很小时，PG可以学习风险敏感的政策。然而，我们发现，具有较大次优差距的实例是丰富的，易于构建，概述了未来研究的一个重要挑战。
2021-03-05 cs.AI cs.LG stat.ML
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
策略梯度方法已被频繁地应用于控制和强化学习中的问题，并取得了巨大的成功，然而现有的收敛分析仍然依赖于非直观的，不切实际的，往往是不透明的条件。特别是，现有的比率是在有限的环境中，在严格的规律性条件下实现的。在这项工作中，我们建立了明确的策略梯度方法的收敛速度，扩展的收敛制度，弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是，我们的分析还表明，在这些假设下，标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后，我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
Issues concerning realizability of Blackwell optimal policies in reinforcement learning
N-折扣最优性是作为政策和价值函数最优性的一种层次形式引入的，布莱克威尔最优性位于层次结构的顶层。我们形式化近视折扣因子，价值函数和政策的概念，在MDPs的Blackwell最优性，我们提供了一个新的概念，后悔，称为Blackwell后悔，措施的遗憾相比，Blackwell最优政策。我们的主要分析集中在长期的MDPs稀疏奖励。我们发现，选择折扣因子下，零布莱克威尔遗憾可以实现变得任意困难。此外，即使利用可以实现Blackwell无遗憾价值函数的这种折扣因子的预言知识，$ε$ -Blackwell最优价值函数甚至可能不是增益最优的。与这类问题的困难进行了讨论，和政策差距的概念被定义为一个给定的政策和任何其他政策，不同的状态之间的预期收益的差异，我们证明了某些属性与此差距。最后，我们提供了实验结果，进一步支持我们的理论结果。
2019-05-20 cs.AI cs.LG stat.ML
Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
本文提出多智能体PPO算法，利用局部动作价值函数作为下降方向，在合作马尔可夫博弈中证明其以次线性速率收敛至全局最优，并扩展至离策略设置。
2023-05-08 cs.GT cs.LG cs.MA
Policy Optimality Measurement for Multi-Vehicle Decision-Making: From Extrinsic Indicators to Intrinsic Quality
School of Automotive Studies, Tongji University（同济大学汽车学院）
该研究针对自动驾驶多智能体强化学习策略的黑箱评估问题，提出基于MCTS的信息论诊断框架，构建策略最优性评分以精准暴露策略缺陷，为内在多智能体策略质量提供严格基准标准。
2026-08-04 cs.AI cs.LG
Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对传统逆强化学习依赖线性奖励、嵌套结构计算效率低的问题，提出首个神经网络参数化奖励下的双时间尺度单循环IRL算法，证明过参数化下其非渐近收敛且能在特定网络结构下实现全局最优。
2025-03-22 cs.LG stat.ML
On the Global Optimality of Policy Gradient Methods in General Utility Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）；University of Maryland-College Park（马里兰大学-College Park分校）；University of Central Florida（佛罗里达中央大学）
本文为一般效用强化学习中的策略梯度方法建立了全局最优性保证，覆盖表格和大规模设置，并提出了基于函数逼近的样本复杂度改进。
2025-10-23 cs.AI cs.LG
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索，证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性，给出收敛速率保证，并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
Towards Instance-Optimality in Online PAC Reinforcement Learning
UMPA, ENS Lyon（里昂高等师范学校 UMPA）；Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 - CRIStAL（里尔大学，国家科学研究中心，国家信息与自动化研究所，中央里尔，UMR 9189 - CRIStAL）
本文提出首个适用于表格情节式MDP的PAC识别近最优策略的实例相关样本复杂度下界，并证明PEDEL算法接近该下界，同时提出计算高效算法能否达到此下界的开放问题。
2023-10-31 cs.LG stat.ML
Sample Efficient Model-free Reinforcement Learning from LTL Specifications with Optimality Guarantees
University of Oxford（牛津大学）
本文提出一种无模型强化学习方法，通过新颖的乘积MDP、奖励结构和折扣机制，结合概率模型检测器PRISM评估，在未知随机系统中高效学习满足LTL规范的最优策略，并提供了改进的理论保证与实验验证。
2023-05-03 cs.AI cs.FL cs.LG
Linear-Quadratic Zero-Sum Mean-Field Type Games: Optimality Conditions and Policy Optimization
Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了无限时间折扣效用函数下具有线性动态和二次费用的零和平均场型对策。ZSMFTG是一类博弈，其中两个效用总和为零的决策者竞争影响大量不可区分的代理人。特别是，在这种情况下，过渡和效用函数依赖于状态，控制器的动作，和状态和动作的平均值，进行了研究。分析了开环控制和闭环控制下博弈的最优性条件，并给出了纳什均衡策略的显式表达式。此外，两个策略最优化方法，依赖于策略梯度提出了基于模型和基于样本的框架。在基于模型的情况下，使用模型精确地计算梯度，而在基于样本的情况下，使用蒙特卡罗模拟来估计梯度。数值实验表明，效用函数的收敛性以及两个球员的控制。
2020-09-01 cs.GT cs.LG math.OC
Performative Policy Gradient: Optimality in Performative Reinforcement Learning
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL F-59000 Lille, France（里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工大学、UMR 9189 – CRIStAL）；ACMU, Indian Statistical Institute, Kolkata - 700108, India（ACMU、印度统计研究所）
本文提出PePG算法，首次在强化学习中考虑表现性因素，证明其收敛于表现性最优策略，优于现有稳定性导向的算法。
2026-02-02 cs.AI cs.LG math.OC
Multi-Access Communications with Energy Harvesting: A Multi-Armed Bandit Model and the Optimality of the Myopic Policy
Imperial College London（伦敦帝国学院）
研究了一个具有N个发射节点的多址无线网络，每个发射节点配备有能量收集（EH）设备和有限容量的可充电电池。在每个时隙（TS），节点以特定概率操作，该概率可以取决于数据的可用性或其信道的状态。每个节点处的能量到达过程被建模为独立的两状态马尔可夫过程，使得在每个TS处，节点要么收获一个单位的能量，要么不收获。在每个TS处，节点的子集由接入点（AP）调度。假设AP不知道EH过程或电池的状态，最大化总吞吐量的调度策略进行了研究。将该问题归结为一个不安分多臂强盗（RMAB）问题，给出了最优调度策略的上界，并在关于EH过程和电池容量的一定假设下，证明了近视策略（MP）的最优性.对于一般情况下，MP的性能进行了比较数值上限。
2015-01-01 cs.IT cs.LG math.IT
Neural PPO-Clip Attains Global Optimality: A Hinge Loss Perspective
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）
策略优化是设计强化学习算法的基本原则，一个示例是具有剪切代理目标的近端策略优化算法（PPO-Clip），由于其简单性和有效性，其已被广泛用于深度强化学习。尽管其优越的经验性能，PPO剪辑尚未通过理论证明，直到今天。在神经函数逼近下，我们建立了PPO-Clip的第一全局收敛速度。我们确定了分析PPO-Clip的基本挑战，并以两个核心思想解决这些挑战：（i）我们从铰链损失的角度重新解释PPO-Clip，将政策改进与解决铰链损失的大利润分类问题联系起来，并提供了PPO-Clip目标的广义版本。(ii)基于上述观点，我们提出了一个两步的政策改进计划，这有利于通过解耦政策搜索的复杂的神经政策参数化的帮助下，熵镜像下降和基于回归的政策更新计划的收敛性分析。此外，我们的理论结果提供了第一个表征的剪裁机制的PPO-Clip的收敛效果。通过实验，我们经验验证的重新解释的PPO剪辑和广义目标与各种分类器上的各种RL基准任务。
2022-09-01 cs.LG
A Note on KL-UCB+ Policy for the Stochastic Bandit
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究了随机K臂强盗问题的一个经典情形。在这个问题中，它已被称为KL-UCB政策实现渐近最优后悔界和KL-UCB+政策的经验表现优于KL-UCB政策，虽然后悔界的KL-UCB+政策的原始形式一直是未知的。本文证明了KL-UCB+策略的渐近最优性的一个简单证明可以用与分析其他已知策略相同的方法给出。
2019-03-20 cs.LG stat.ML
Near Optimal Policy Optimization via REPS
UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）；Google Research（谷歌研究院）
自十年前推出以来，\emph{relative entropy policy search}（REPS）已经在许多模拟和真实世界的机器人领域展示了成功的策略学习，更不用说提供了许多最近提出的强化学习（RL）算法所使用的算法组件。虽然REPS在社区中广为人知，但在使用随机和基于梯度的求解器时，其性能没有保证。在本文中，我们的目标是填补这一空白，提供保证和收敛速度的次最优的政策学习使用一阶优化方法应用于REPS目标。我们首先考虑的设置中，我们被赋予访问精确的梯度，并演示如何接近最优的目标转化为接近最优的政策。然后，我们考虑随机梯度的实际设置，并介绍了一种技术，使用\emph{generative}访问底层马尔可夫决策过程计算参数更新，保持良好的收敛到最佳的正则化政策。
2021-03-17 cs.AI cs.LG
Optimality-based Analysis of XCSF Compaction in Discrete Reinforcement Learning
The University of Queensland（昆士兰大学）
学习分类器系统（LCS）是基于群体的预测系统，其最初被设想为在强化学习（RL）环境中起作用的代理。这些系统可能会遭受人口膨胀，因此适合压缩技术，试图在人口规模和性能之间取得平衡。XCSF是一个研究得很好的LCS架构，它在RL设置中充当Q函数近似器。我们将XCSF应用于OpenAI Gym的FrozenLake 8x8环境的确定性和随机变体，并将其性能在函数近似误差和策略准确性方面与通过动态规划解决环境产生的最优Q函数和策略进行了比较。然后，我们介绍了一种新的压缩算法（贪婪小生境质量压缩- GNMC），并研究其操作XCSF的训练人口。结果表明，给定一个合适的参数化，GNMC保留或甚至略有改善的函数逼近误差，同时产生显着减少人口规模。还可以合理保留策略准确性，并且我们将此指标与迷宫式环境中常用的目标步骤指标联系起来，说明这些指标是互补的而不是竞争的。
2020-09-03 cs.LG stat.ML
Achieving Exponential Asymptotic Optimality in Average-Reward Restless Bandits without Global Attractor Assumption
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对无限时间跨度平均奖励非静息多臂老虎机问题，提出双集合策略，在非周期单链、非退化与局部稳定性温和假设下首次实现指数渐近最优性，并证明局部稳定性的关键作用。
2026-11-03 cs.LG math.OC math.PR
Safe Reinforcement Learning via Projection on a Safe Set: How to Achieve Optimality?
Norwegian University of Technology, NTNU（挪威科技大学）；IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
尽管强化学习（RL）取得了巨大的成功，但它仍然很难为学习策略的闭环行为提供正式的保证。除此之外，保证RL相对于安全关键系统的安全性是一个非常活跃的研究课题。最近的一些贡献建议依赖于学习策略提供的输入到安全集的预测，确保系统安全性永远不会受到危害。不幸的是，目前还不清楚是否可以在不中断学习过程的情况下执行此操作。本文探讨了这一问题。这个问题进行了分析的上下文中的$Q$ -学习和政策梯度技术。我们表明，投影方法通常是破坏性的背景下，$Q$ -学习虽然一个简单的替代方案解决了这个问题，而简单的校正可以使用的政策梯度方法的背景下，以确保政策梯度是公正的。所提出的结果扩展到安全的预测鲁棒MPC技术的基础上。
2020-04-02 cs.AI cs.LG cs.SY
Action-Dependent Optimality-Preserving Reward Shaping
针对现有基于势函数的奖励塑形方法不适用于长情节复杂稀疏奖励环境的问题，提出依赖动作的最优性保持塑形ADOPS，可在动作依赖内在回报下仍保持最优策略，在《蒙特祖玛的复仇》等极端稀疏环境中更有效。
2025-05-19 cs.LG
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
非策略深度强化学习（RL）算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习，这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为，大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题，然后提出了一种约束状态分布偏移的离线策略优化方法。为此，我们首先使用密度估计器基于状态的特征来估计状态分布，然后开发一种新的约束非策略梯度目标，其最小化状态分布偏移。我们的连续控制任务的实验结果表明，最大限度地减少这种分布不匹配，可以显着提高性能，在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Offline Stochastic Shortest Path: Learning, Evaluation and Towards Optimality
UC Santa Barbara（加州大学圣巴巴拉分校）；Texas A&M University（德州农工大学）；Princeton University（普林斯顿大学）
面向目标的强化学习，其中代理需要达到目标状态，同时最小化成本，在现实世界的应用中受到了极大的关注。它的理论公式，随机最短路径（SSP），已深入研究在线设置。然而，当这种在线互动被禁止而只提供历史数据时，对这一问题的研究仍然不足。本文考虑了状态空间和动作空间均为有限时的离线随机最短路问题。我们设计了简单的基于值迭代的算法来处理离线策略评估（OPE）和离线策略学习任务。值得注意的是，我们对这些简单算法的分析产生了很强的依赖于实例的边界，这可能意味着最坏情况下的边界是近极大极小最优的。我们希望我们的研究可以帮助阐明离线SSP问题的基本统计限制，并激励超出当前考虑范围的进一步研究。
2022-06-10 cs.AI cs.LG stat.ML
Constrained Exploration in Reinforcement Learning with Optimality Preservation
National University of Singapore（新加坡国立大学）
针对受限探索导致强化学习智能体只能找到次优策略的问题，提出保持最优性的约束探索方法，通过引入监督器扩展反馈控制结构，并证明在已知确定性环境下保持最优性的充要条件。
2023-04-05 cs.LG cs.SY eess.SY
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Conservative Dual Policy Optimization for Efficient Model-Based Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
通过引入模型的复杂性测度，保证了基于乐观或后验采样（PSRL）的基于模型的强化学习（MBRL）能够渐近地达到全局最优.然而，对于最简单的非线性模型，复杂性可能呈指数增长，其中在有限迭代内不可能全局收敛。当模型遭受大的泛化误差时，不确定性可能很大，所述泛化误差由模型复杂性定量地测量。因此，当前策略所基于的采样模型将是不稳定的，从而导致积极的策略更新和过度探索。在这项工作中，我们提出了保守的双重政策优化（CDPO），涉及一个参考更新和保守更新。该策略首先在参考模型下进行优化，该模型模仿PSRL的机制，同时提供更高的稳定性。通过最大化模型值的期望值来保证随机性的保守范围。如果没有有害的抽样程序，CDPO仍然可以实现与PSRL相同的遗憾。更重要的是，CDPO同时具有单调的政策改进和全局最优性。实证结果也验证了CDPO的勘探效率。
2022-09-16 cs.LG
On the Near-Optimality of Local Policies in Large Cooperative Multi-Agent Reinforcement Learning
Purdue University（普渡大学）
我们表明，在一个合作的$N$代理网络，可以设计本地可执行的代理政策，使所得到的平均奖励（值）的折扣和很好地近似于所有（包括非本地）的政策计算的最优值。具体地说，我们证明，如果$|\mathcal{X}|, |\mathcal{U}|$表示状态的大小，和行动空间的个体代理，然后充分小的折扣因子，近似误差是由$\mathcal{O}(e)$其中$e\triangleq \frac{1}{\sqrt{N}}\left[\sqrt{|\mathcal{X}|}+\sqrt{|\mathcal{U}|}\right]$。此外，在奖励和状态转移函数独立于群体的动作分布的特殊情况下，误差改进为$\mathcal{O}(e)$，其中$e\triangleq \frac{1}{\sqrt{N}}\sqrt{|\mathcal{X}|}$。最后，我们还设计了一个算法来显式地构造一个本地策略。借助于我们的近似结果，我们进一步建立了所构造的局部策略是在最优策略的$\mathcal{O}(\max\{e,ε\})$距离内，并且对于任何$ε>0$，实现这样的局部策略的样本复杂度是$\mathcal{O}(ε^{-3})$。
2022-09-07 cs.LG cs.MA
Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research Asia（微软亚洲研究院）
部署效率是强化学习（RL）在现实世界中应用的一个重要标准。尽管社会的兴趣越来越大，但缺乏一个正式的理论公式的问题。在本文中，我们提出了这样一个配方部署高效的RL（DE-RL）从“优化约束”的角度来看：我们有兴趣探索MDP和获得一个接近最优的政策内最小的\emph{deployment complexity}，而在每个部署的政策可以采样一大批数据。使用有限时域线性MDP作为一个具体的结构模型，我们揭示了在实现部署效率的基本限制，通过建立信息理论的下限，并提供算法，实现最佳的部署效率。此外，我们制定的DE-RL是灵活的，可以作为其他实际相关的设置的积木，我们给出了“安全DE-RL”和“样本效率DE-RL”作为两个例子，这可能是值得未来的调查。
2022-08-31 cs.AI cs.LG stat.ML
Post-Training with Policy Gradients: Optimality and the Base Model Barrier
本文研究了训练后使用策略梯度方法在序列预测中的最优性和基础模型限制，提出通过过程奖励模型克服支持范围障碍，并展示了自适应学习率的SGD和PG在统计学习和在线学习中的有效性。
2026-08-13 cs.AI cs.LG stat.ML
Strongly-polynomial time and validation analysis of policy gradient methods
H. Milton Stewart School of Industrial & Systems Engineering（赫尔曼·米勒工业与系统工程学院）
本文提出优势间隙函数作为终止准则，证明策略梯度方法能在强多项式时间内解决MDP，并提供验证方法。
2026-03-21 cs.AI cs.DS cs.LG
Global Optimality for Constrained Exploration via Penalty Regularization
Florian Wolf: , Ilyas Fatkhullin: , Niao He: 1The Computing \& Mathematical Sciences Department, California Institute of Technology, Pasadena, CA. 2Department of Computer Science, ETH Zurich, Switzerland. 3ETH AI Center, ETH Zurich, Switzerland.
本文提出Policy Gradient Penalty方法，通过二次惩罚正则化解决约束下的探索问题，实现全局收敛性和近优策略。
2026-09-30 cs.LG math.OC
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL（洛桑联邦理工学院风险分析与优化教席）；Department of Economics, University of St.Gallen（圣加仑大学经济系）
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP，提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法，并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Bi-Level Reinforcement Learning Pathway for Sim-to-Real Optimality
针对仿真到真实RL的目标不匹配问题，提出双层RL方法，通过分析策略对仿真参数的敏感性，结合真实策略性能梯度调整仿真模型，提升真实环境下的策略性能。
2026-08-06 cs.AI cs.LG
Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization
Faculty of Engineering and Computer Science, University of Victoria（维多利亚大学工程与计算机科学学院）
本研究提出基于多目标策略优化的无模型安全强化学习算法SORL，无需约束策略搜索空间即可平衡安全与最优性，经理论分析给出安全保证条件与调节参数，在七个机器人环境中优于六种前沿方法，适配安全关键场景。
2024-02-23 cs.AI cs.LG cs.RO
Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对平均奖励下的不安分老虎机问题，提出基于仿真的“跟随虚拟建议”框架，将单臂策略转化为 N 臂策略，首次在离散和连续时间设定下摆脱 UGAP 假设并实现 O(1/√N) 最优性差距。
2024-01-16 cs.LG math.OC math.PR
A Simple and Optimal Policy Design with Safety against Heavy-Tailed Risk for Stochastic Bandits
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
本研究提出一种随机多臂老虎机策略，在期望遗憾上达到最坏情况最优，同时保证遗憾分布的轻尾风险，并扩展到线性老虎机设置。
2024-07-22 cs.LG math.ST stat.ML
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
A General Markov Decision Process Framework for Directly Learning Optimal Control Policies
IBM Research（IBM研究院）
我们考虑一种新形式的强化学习（RL），这是基于直接学习的机会，最优控制政策和一般马尔可夫决策过程（MDP）的框架，旨在支持这些机会。我们的控制为基础的强化学习方法的一般类的推导，连同形式的探索和开发学习和应用的最优控制政策随着时间的推移。我们的一般MDP框架扩展了经典的贝尔曼算子和最优性准则，概括了任何给定状态的政策的定义和范围。我们建立了收敛性和最优性--无论是在一般情况下还是在各种控制范例中（例如，分段线性控制策略）-我们的基于控制的方法，通过这个一般的MDP框架，包括收敛的$Q$ -学习的上下文中，我们的MDP框架。我们的实证结果证明和量化我们的方法的显着好处。
2021-04-01 cs.LG math.OC stat.ML
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Greedy-Step Off-Policy Reinforcement Learning
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
大多数策略评估算法都是基于Bellman期望和最优性方程的理论，由此衍生出两种流行的策略评估方法--策略迭代（PI）和值迭代（VI）。然而，由于多步偏离策略校正的大的方差，多步自举经常与基于PI的方法中的离策略学习处于交叉目的。相比之下，基于VI的方法是自然的off-policy，但受到one-step learning.本文中，我们推导出一个新的多步Bellman最优性方程，利用多步自举的最优价值函数的潜在结构。通过这个新方程，我们得到了一个新的多步数值迭代方法，该方法收敛于指数收缩率为$\mathcal{O}(γ^n)$的最优价值函数，但计算复杂度仅为线性计算复杂性.实验表明，本文提出的方法可靠、易于实现，在一系列标准基准数据集上的性能达到了最佳水平。
2021-12-15 cs.AI cs.LG cs.MA
Distributionally Robust Policy Evaluation under General Covariate Shift in Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）；Caltech（加州理工学院）
针对上下文赌博机在上下文与策略分布同时偏移时的离线评估问题，提出基于稳健回归奖励模型的直接与双重稳健估计量，并给出有限样本偏差界和显著优于基线的实验结果。
2024-08-09 cs.LG
Gradual Transition from Bellman Optimality Operator to Bellman Operator in Online Reinforcement Learning
The University of Tokyo（东京大学）
针对连续动作空间RL算法样本效率低的问题，提出一种从Bellman最优算子退火过渡到Bellman算子的退火方法，结合TD3和SAC，在加速学习的同时减轻过估计偏差，显著提升了性能与超参数鲁棒性。
2025-08-13 cs.AI cs.LG cs.RO
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University（得克萨斯农工大学）
我们解决的问题，找到一个有约束的马尔可夫决策过程（CMDP）使用梯度下降为基础的算法的最优策略。以前的结果表明，原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶（PMD-PD）算法，可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始（策略）更新，PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤，其等效于具有适当正则化的镜像下降步骤。对于双重更新，PMD-PD算法使用修改的拉格朗日乘子，以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明，与现有的基于策略梯度的算法相比，PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Towards Global Optimality for Practical Average Reward Reinforcement Learning without Mixing Time Oracles
University of Maryland（马里兰大学）；U.S. Army Research Laboratory（美国陆军研究实验室）；JP Morgan AI Research（摩根大通人工智能研究院）；Purdue University（普渡大学）；University of Central Florida（中佛罗里达大学）
针对平均奖励强化学习中策略梯度方法需依赖难估计的混合时间预言机的问题，提出融入多级蒙特卡洛梯度估计器的MAC框架，首次实现无需该知识的全局收敛且依赖关系更紧，实验验证其性能优于现有方法。
2024-06-20 cs.LG
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
Alibaba Cloud Computing（阿里云计算）
Waypoint-OPD通过门控在线策略蒸馏，利用教师模型训练中早期与后期策略偏移的方向一致性优化端点偏移，在数学与代码推理的6种设置下均优于对比蒸馏方法。
2026-10-16 cs.CL cs.LG
Tractable Optimality in Episodic Latent MABs
Wisconsin Institute for Discovery, UW-Madison（威斯康星大学麦迪逊分校威斯康星发现研究所）；Meta；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Technion（以色列理工学院）；NVIDIA（英伟达（NVIDIA））
我们考虑一个多臂强盗问题与$M$潜在的背景下，代理与环境的$H$时间步长的插曲。根据情节的长度，学习者可能无法准确地估计潜在的上下文。由此产生的对环境的部分观察使学习任务更具挑战性。没有任何额外的结构假设，现有的技术来解决部分观察到的设置意味着决策者可以学习一个接近最优的政策与$O(A)^H$情节，但不承诺更多。在这项工作中，我们证明了在$A$中使用{ \em多项式}样本进行学习是可能的。我们通过使用实验设计的技术来实现这一点。然后，通过矩量法的方法，我们设计了一个程序，可证明学习一个接近最优的政策与$O(\texttt{poly}(A) + \texttt{poly}(M,H)^{\min(M,H)})$的相互作用。在实践中，我们表明，我们可以制定矩匹配通过最大似然估计。在我们的实验中，这明显优于最坏情况下的保证，以及现有的实用方法。
2022-10-05 cs.IT cs.LG math.IT
Convergence of Finite Memory Q-Learning for POMDPs and Near Optimality of Learned Policies under Filter Stability
University of Michigan（密歇根大学）；Queen’s University（女王大学）
在本文中，POMDPs，我们提供了一个Q学习算法的收敛性的控制策略，使用有限的历史，过去的观察和控制行动，因此，我们建立了近最优性的限制Q功能下明确的过滤器稳定性条件。我们提出了明确的误差界的近似误差的有限历史窗口的长度。我们在探索阶段的状态过程中，在温和的遍历性假设下，建立了这样的Q-学习迭代的收敛性。我们进一步证明了极限不动点方程给出了一个近似置信MDP的最优解。然后，我们提供使用限制Q值的POMDP，在那里我们也提出了明确的条件，使用最近的结果在控制POMDP的过滤器稳定性的最优策略的性能相比，获得的政策的性能上的界限。虽然存在许多实验结果，（i）严格的渐近收敛（近似MDP价值函数），这样的有限记忆Q-学习算法，和（ii）的近最优性与显式收敛速度（在内存大小）是新的文献，据我们所知。
2022-10-25 cs.LG cs.SY eess.SY
Achieving an $O(1/N)$ Optimality Gap in Average-Reward Weakly-Coupled MDPs
Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
本文针对平均奖励弱耦合MDP，提出一种非优先级策略，在特定条件下实现$O(1/N)$最优性差距，优于先前$1/\sqrt{N}$的结果。
2026-09-30 cs.LG math.OC math.PR
Towards Blackwell Optimality: Bellman Optimality Is All You Can Get
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LIG实验室）；IRIT, Université de Toulouse, CNRS, Toulouse INP, Toulouse（图卢兹信息与计算技术研究所、图卢兹大学、法国国家科学研究中心、图卢兹INP）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL（里尔大学、法国国家科学研究中心、里尔中央理工大学、UMR 9189-CRIStAL）
本文研究马尔可夫决策过程中从平均增益到 Blackwell 最优性的策略识别问题，提出错误概率趋于零的学习算法，刻画可有限时间停止的 MDP 类别，并提供可计算的停止规则。
2025-10-15 cs.LG
