Incremental Policy Iteration for Unknown Nonlinear Systems with Stability and Performance Guarantees
针对未知非线性系统的无模型鲁棒最优控制问题，提出融合递归最小二乘与线性 ADP 的增量策略迭代算法，并证明其鲁棒稳定性、近最优性及非镇定初始策略下的学习条件。
2025-08-29 cs.SY eess.SY math.OC
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley（加州大学伯克利分校）
在设计有限时间范围情景强化学习问题的算法时，一种常见的方法是引入一个虚构的折扣因子，并使用静态策略进行近似。经验上，它已被证明，虚构的折扣因子有助于减少方差，和固定的政策，以节省每次迭代的计算成本。然而，从理论上讲，目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步，对这些算法进行分析。它侧重于两个香草策略梯度（VPG）的变种：第一个是一个广泛使用的变种与折扣优势估计（DAE），第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证，这两种算法建立，和额外的折扣因子，以减少在DAE中引入的偏差，从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程（MDP）的三个设置：有限的时间范围，平均奖励和折扣设置。据我们所知，这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP，这也导致了（第一）全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC
2-Approximation Algorithms for Perishable Inventory Control When FIFO Is an Optimal Issuing Policy
研究了一类具有固定寿命周期的易逝品库存控制问题，其中需求是一般随机过程。由于“维数灾难”的存在，该问题的最优解是难以求解的。在本文中，我们首先提出了一个计算效率高的算法，我们称之为边际成本双平衡策略的易逝品库存控制问题。然后，我们证明了一个短视的政策下，所谓的边际成本会计计划提供了一个下界的最优订货量。通过结合特定的下界，我们得到的最优订货量的任何上界与边际成本双重平衡政策，我们提出了一个更一般的算法，我们称之为截断平衡政策。我们证明，当先进先出（FIFO）是一个最佳的发行政策，我们提出的算法承认最坏情况下的性能保证为2，即我们的政策的预期总成本是最多的两倍，最佳的订购政策。进一步给出了保证FIFO发行策略最优的充分条件。最后，我们进行了数值分析的基础上，真实的数据和表明，我们的算法表现得更好，比最坏情况下的性能保证，截断平衡政策有一个显着的性能改善的平衡政策。
2016-05-09 math.OC
Policy Search: Any Local Optimum Enjoys a Global Performance Guarantee
LORIA（洛林信息学及其应用研究实验室）；Supélec（高等电力学院）
局部策略搜索是一种用于处理大型状态空间的流行强化学习方法。形式上，它在参数化策略空间中进行本地搜索，以最大化在某些预定义分布上平均的关联价值函数。人们可能普遍认为，一般来说，从这种方法中所能希望的最好结果是得到该准则的局部最优值。在本文中，我们给出了以下令人惊讶的结果：\emph{any}（近似）\emph{local optimum}享有一个\emph{global performance guarantee} .我们比较这个guarantee与直接策略迭代，一个近似的动态规划算法，做一些形式的政策搜索满足：如果局部策略搜索的近似误差可能一般较大（因为局部搜索需要考虑一个空间的随机策略），我们认为，集中系数出现在性能界是更好的。最后，我们讨论了我们的分析的几个实际和理论后果。
2013-06-06 cs.AI cs.LG cs.RO
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索，证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性，给出收敛速率保证，并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
Indian Institute of Science (IISc)（印度科学学院）；Purdue University（普渡大学）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
针对联邦强化学习中的对抗智能体问题，提出一种鲁棒的策略梯度方法，首次给出一般参数化下的全局收敛保证，并达到最优样本复杂度。
2024-11-05 cs.AI cs.LG math.OC
Derivative-Free Methods for Policy Optimization: Guarantees for Linear Quadratic Systems
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
我们研究了线性策略类的无导数策略优化方法。我们专注于表征这些方法的收敛速度时，适用于线性二次系统，并研究各种设置的驱动噪声和奖励反馈。我们证明，这些方法可证明收敛到任何预先指定的公差内的最优策略与零阶评价，这是一个明确的多项式的误差容限，尺寸和曲率的问题。我们的分析揭示了加性驱动噪声和随机初始化设置之间的一些有趣的差异，以及一点和两点奖励反馈的设置。我们的理论是证实了这些系统上的衍生自由的方法进行了广泛的模拟。一路上，我们推导出收敛速度随机零阶优化算法时，应用到某一类非凸问题。
2020-05-18 cs.LG math.OC stat.ML
An analytical study of participating policies with minimum rate guarantee and surrender option
我们对一类参与保单的价值进行了详细的理论研究，该保单具有四个关键特征：$(i)$，保单持有人获得保单准备金最低利率保证; $(ii)$，持有人可以随时终止合同，直至到期（退保选择权）;到期时的$(iii)$（或在退保时）如果支持保单的投资组合表现优于当前保单储备，则可向持有人发放奖金; $(iv)$由于偿付能力要求，如果基础资产组合的价值低于保单准备金，则合同终止。我们的分析是概率的，它依赖于最优停时和自由边界理论。我们发现了一个结构的最佳投降策略，这是未被发现的以前（主要是数值）的研究相同的主题。合约的最佳放弃是由两个“止损”边界和一个“太好而不能持续”边界（用\cite{EV20}的语言）触发的。这一战略的财政影响进行了详细讨论，并支持广泛的数值实验。
2021-11-11 math.OC math.PR q-fin.MF
An Agency-Transferring Model-Free Policy Enhancement Technique
Center for Engineering Systems and Sciences（工程系统与科学中心）；Central University（中央大学）；Sirius University of Science and Technology（天狼星科技大学）
提出一种将次优基线策略嵌入强化学习训练的方法，通过逐步从基线策略向可学习策略转移代理权，提升训练效率并最终获得超越基线的独立策略。
2026-06-08 cs.AI cs.LG cs.SY
Stochastic first-order methods for average-reward Markov decision processes
School of Industrial and Systems Engineering（工业与系统工程学院）；School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对平均奖励马尔可夫决策过程提出平均奖励随机策略镜像下降和方差缩减时序差分方法，解决策略优化与评估中的探索不足和样本复杂度问题，并建立两种噪声模型下的样本复杂度保证。
2024-09-28 cs.LG math.OC stat.ML
Static Pricing: Universal Guarantees for Reusable Resources
我们考虑一个基本的定价模型，其中一个固定数量的单位的可重复使用的资源被用来为客户服务。客户根据随机过程到达系统，并在到达时决定是否购买服务，这取决于他们的支付意愿和当前价格。客户使用资源的服务时间是随机的，企业可能产生服务成本。该模型代表了可重复使用资源的各种市场，如云计算、共享车辆、可旋转部件和酒店客房。在本文中，我们分析这个定价问题时，公司试图最大限度地提高三个核心指标的加权组合：利润，市场份额和服务水平。根据泊松到达，指数服务时间，和支付意愿分布的标准假设，我们建立了一系列的结果，在这样的环境中的静态定价的性能特征。特别是，虽然最优策略是完全动态的，在这样的背景下，我们证明了一个静态的定价政策，同时保证78.9%的利润，市场份额和服务水平的最优政策。值得注意的是，这一结果适用于公司运营的任何服务率和单位数量。我们的证明技术依赖于一个明智的静态价格，直接来自最优动态定价政策的建设。在有两个机组且诱导需求是线性的特殊情况下，我们还证明了静态策略保证了最优策略利润的95.5%。我们在一个大型测试平台上的数值研究结果表明，后一个结果是非常指示的静态定价政策在所有参数所获得的利润。
2020-02-11 cs.DS cs.GT math.OC
String stability and a delay-based spacing policy for vehicle platoons subject to disturbances
Johann Bernoulli Institute for Mathematics and Computer Science, University of Groningen（格罗宁根大学约翰·伯努利数学与计算机科学研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出基于延迟的车群控制策略，并定义了受扰动的字符串稳定性，通过空间域控制设计实现跟踪和保证稳定性，通过仿真验证结果。
2017-02-03 cs.SY eess.SY math.OC
Monotone and Conservative Policy Iteration Beyond the Tabular Case
Indian Institute of Science, Bengaluru, India（印度科学研究所，班加罗尔，印度）；NVIDIA Research, Israel（英伟达研究院，以色列）
本文提出RPI和CRPI，通过贝尔曼约束优化在函数逼近中保留表格保证，恢复价值估计的单调性并提供下界，同时改进策略更新以应对函数逼近误差，从而解决强化学习中函数逼近导致的收敛问题。
2026-04-01 cs.AI cs.LG math.OC
Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability
LAAS–CNRS, Université de Toulouse, CNRS（LAAS–CNRS，图卢兹大学，CNRS）；Eindhoven University of Technology（埃因霍温理工大学）；LAAS-CNRS, IRIT, and Université de Toulouse（LAAS-CNRS，IRIT，图卢兹大学）
本文提出了适用于基于模型的强化学习的分数感知梯度估计器SAGE，无需值函数估计即可估计策略梯度，证明了其局部收敛性与遗憾界，实验显示其比actor-critic方法更快找到近优策略。
2025-10-29 cs.LG cs.PF math.OC
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡-大东部大区中心）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下，它是已知的，总是存在一个最佳的政策是固定的，我们表明，当使用值函数近似，寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种，统一了广泛的家庭的近似DP算法的文献。对于该算法，我们提供了一个错误传播分析的形式，所得到的政策，可以提高通常的性能约束的一个因素$O(1-γ)$，这是显着的折扣因子$γ$接近1。这样做，我们的方法统一了最近的结果价值和政策迭代。此外，我们表明，通过构建一个特定的确定性MDP，我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Fast Regularized Policy Mirror Descent with One-Step TD Updates
Fudan University（复旦大学）
本研究分析结合单步TD更新的策略镜像下降算法，证明其在有限折扣MDP中全局线性收敛，并在随机设置下给出无需轨迹重置的样本复杂度保证。
2026-10-01 cs.LG math.OC
Baseline-Free Policy Optimization for Neural Combinatorial Optimization
Facultad de Ingeniería y Ciencias, Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学工程与科学学院）；Dirección de Programas, Investigación y Desarrollo, Armada de Chile（智利海军计划、研究与发展局）；Millennium Nucleus for Social Data Science (SODAS)（千禧年社会数据科学核心（SODAS））；Millennium Nucleus in Data Science for Plant Resilience (PhytoLearning)（千禧年植物韧性数据科学核心（PhytoLearning））
提出使用GRPO算法消除神经组合优化中的基线依赖，避免训练崩溃，在TSP和CVRP上达到接近POMO的性能。
2026-06-09 cs.AI cs.LG cs.RO
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略优化（PO）是强化学习（RL）的关键组成部分。对于控制设计，通常对策略施加某些约束以进行优化，考虑系统的稳定性，鲁棒性或安全性问题。因此，PO在大多数情况下本质上是一个约束（非凸）优化，其整体收敛通常很难分析。更重要的是，一些安全关键的约束，例如，保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近，政策梯度法已被证明收敛到线性二次型调节器（LQR）的全局最优值，一个经典的最优控制问题，没有正则化/投影的控制迭代到稳定集，其（隐式）的可行集。这个惊人的结果是建立在成本的强制属性上的，确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性，即，成本在可行集边界附近可能具有有限值，打破了现有的LQR分析。有趣的是，我们证明了两种PO方法具有隐式正则化性质，即，迭代保持$\mathcal{H}_\infty$鲁棒性约束，就好像它们被算法正则化一样。此外，尽管问题的非凸性，我们表明，这些算法收敛到全局最优的政策与全局次线性率，避免所有次优驻点/局部极小值，并与局部（超）线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY
Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL
Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
本文研究了平均回报MDP中的离线强化学习，提出基于目标策略的精确样本复杂度界，并首次处理一般弱连通MDP，引入改进的悲观折扣价值迭代算法。
2026-04-21 cs.IT cs.LG math.IT
Robust Conformal CBF and CLF Controllers via Iterative Policy Updates
Automatic Control Laboratory, ETH Zürich（瑞士苏黎世联邦理工学院自动控制实验室）；Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）；Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
针对共形预测嵌入鲁棒控制时因分布偏移导致安全/稳定性保证失效的问题，提出迭代更新策略框架，结合对抗鲁棒共形预测与分布偏移预算，实现跨回合保证。
2026-06-16 cs.RO cs.SY eess.SY
Statistical guarantees for continuous-time policy evaluation: blessing of ellipticity and new tradeoffs
University of Toronto（多伦多大学）
本文针对连续时间马尔可夫扩散过程，利用单条离散观测轨迹研究LSTD价值函数估计，证明在轨迹长度与混合时间及基函数数量近线性缩放时可达$O(1/\sqrt{T})$收敛速率，并揭示椭圆性带来的稳健性及近似与统计误差的新权衡。
2025-02-06 cs.LG math.OC math.PR
Krylov-Bellman boosting: Super-linear policy evaluation in general state spaces
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
我们提出并分析了Krylov-Bellman Boosting（KBB）算法在一般状态空间的政策评估。它交替使用非参数回归拟合Bellman残差（如boosting），并通过最小二乘时间差（LSTD）程序估计值函数，该程序应用了随时间自适应增长的特征集。通过利用Krylov方法的连接，我们配备了两个有吸引力的保证，这种方法。首先，我们提供了一个通用的收敛界，允许单独的估计误差在残差拟合和LSTD计算。与我们的数值实验相一致，这个界限表明收敛速度取决于限制的谱结构，并且是典型的超线性。其次，通过将此元结果与残差拟合和LSTD计算的样本大小相关保证相结合，我们获得了具体的统计保证，这些保证取决于样本量以及用于拟合残差的函数类的复杂性。我们说明了KBB算法的各种类型的政策评估问题的行为，并通常发现大量减少样本的复杂性相对于标准的方法拟合值iterationn。
2022-10-20 cs.LG math.OC math.ST
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside（加州大学河滨分校）
在这项工作中，我们提出了一个框架来学习反馈控制政策，保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的，包含在状态控制输入对的数据集中，而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略，其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是，我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界（对抗性）的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析，并证明了我们的鲁棒反馈策略学习框架的有效性。最后，我们的研究结果表明，标称闭环性能和对抗性鲁棒性之间存在潜在的权衡，并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
High-probability sample complexities for policy evaluation with linear function approximation
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
本文为线性函数近似下的策略评估建立了TD和TDC算法的高概率样本复杂度界，在在策略和离策略设置下均达到容差水平的最优依赖，并在关键参数上与极小极大下界匹配。
2024-05-02 cs.IT cs.LG math.IT
