Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Continuous Policy and Value Iteration for Stochastic Control Problems with Inhomogeneous Synchronous Coupling
Florida State University（佛罗里达州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
针对带非齐次同步耦合的随机控制问题，提出连续策略-价值迭代框架，避免每次迭代求解偏微分方程，证明其指数收缩性，经数值实验验证其策略改进性与收敛性。
2026-11-05 math.OC
Policy iteration using Q-functions: Linear dynamics with multiplicative noise
本文提出了一种新的无模型和完全数据驱动的政策迭代计划的二次调节的线性动态状态和输入的乘性噪声。该实现类似于马尔可夫决策过程的最小二乘时间差分格式，通过求解工具变量的最小二乘问题来估计Q函数。通过数值实验将该方案与基于模型的系统辨识方案和自然策略梯度进行了比较。
2022-12-02 math.OC
On-line Policy Iteration with Policy Switching for Markov Decision Processes
基于Bertsekas最近对在线求解无限时域折扣马尔可夫决策过程（MDP）问题的策略迭代（PI）的研究，我们提出了一种结合多策略改进的策略切换方法的离线PI算法，并将其异步变体应用到在线PI算法中，在线PI算法生成一个随时间变化的策略序列。通过仅在当前状态下切换动作，同时确保序列中策略的值函数的单调性，将当前策略更新为下一个策略。依赖于MDP的状态转换结构，序列收敛在有限的时间内为相关的本地MDP的最优策略。当MDP通信时，序列收敛到原始MDP的最优策略。
2021-12-03 math.OC
Split optimal policy iteration for LQR problems
本技术报告关注耦合LQR问题的分裂最优策略迭代的收敛特性;见手稿第3.1节。有趣的是，迭代显示了连续和离散时间系统的不同收敛行为：虽然整体收敛在两种情况下都成立，但连续时间情况下我们有局部平方收敛，但离散时间情况下只有线性收敛-即使当子系统之间的耦合消失时，平方收敛仍保持在极限。
2014-04-21 math.OC
Data-driven policy iteration algorithm for continuous-time stochastic linear-quadratic optimal control problems
本文研究了无限时域连续时间随机线性二次型（SLQ）最优控制问题。提出了一种数据驱动的策略迭代算法来解决SLQ问题。该算法在不知道三个系统系数矩阵的情况下，利用采集的数据迭代逼近相应的随机代数Riccati方程（SARE）的解。仿真算例验证了算法的有效性和适用性。
2022-09-29 math.OC
Rates of convergence for the policy iteration method for Mean Field Games systems
离散和连续最优控制问题的策略迭代法的收敛性在一般假设下成立。此外，在某些情况下，还可以显示算法的二次收敛速率。对于平均场对策，最近在[9]中证明了策略迭代法的收敛性。在这里，我们提供了它的收敛速率的估计。
2022-03-01 math.AP math.OC
Inexact Policy Iteration Methods for Large-Scale Markov Decision Processes
本文提出参数化停止条件控制的非精确策略迭代框架，分析其收敛与收缩保证及多种内部求解器，并在传染病防控的大规模 MDP 中验证数值性能。
2024-04-09 math.OC
Approximative Policy Iteration for Exit Time Feedback Control Problems driven by Stochastic Differential Equations using Tensor Train format
考虑了一类随机最优退出时间反馈控制问题。Bellman方程是通过一系列线性方程在多项式空间上的策略迭代算法近似求解的。由于需要高次多项式，相应的方程即使在中等维数下也会遭受维数灾难。我们采用张量训练方法来解决这个问题。策略迭代中的近似过程是通过最小二乘法完成的，积分是通过蒙特卡罗方法完成的。给出了（多维）双阱势和三孔势的数值证据。
2020-10-09 math.OC
A Mixed Value and Policy Iteration Method for Stochastic Control with Universally Measurable Policies
我们考虑具有博雷尔空间和普遍可测策略的随机控制模型。对于这样的模型，标准的政策迭代是已知的，有困难的可测量性问题，不能在一般情况下进行。我们提出了一个混合值和策略迭代法，绕过这个困难。该方法允许在计算最优费用函数时以类似于策略迭代的方式使用平稳策略。它也可以用来解决类似的困难，政策迭代上下连续模型的背景下。我们分析了该方法的收敛性在无限地平线的总成本问题，贴现的情况下，一个阶段的成本是有界的，和未贴现的情况下，一个阶段的成本是非正或非负的。对于非负单阶段费用的未贴现总费用问题，我们给出了一个新的值迭代收敛定理，证明了只要初始化函数在最优费用函数之上，且以最优费用函数的倍数为界，值迭代就收敛.这个条件类似于Whittle的桥接条件，部分是由它所激发的。这个定理也部分是由Maitra和Sudderth的结果所激发的，该结果表明，当初始化为常数函数0时，值迭代可能需要超限次数的迭代才能收敛。我们使用新的收敛定理的价值迭代建立我们的混合价值和策略迭代法的非负成本的情况下的收敛性。
2014-12-10 math.OC
Online Algorithms for the Multi-Armed Bandit Problem with Markovian Rewards
University of Michigan（密歇根大学）
考虑了经典的具有马尔可夫报酬的多臂强盗问题。当一只手臂被使用时，它会以马尔可夫的方式改变状态，而当它不被使用时，它会保持冻结状态。参与者每次使用一只手臂时都会得到一个与状态相关的奖励，而手臂的状态数和状态转移概率对参与者来说是未知的。玩家的目标是随着时间的推移学习最好的手臂，以最大限度地提高其长期总回报。我们表明，在一定的条件下的状态转移概率的武器，一个样本均值为基础的指数政策实现对数遗憾一致的试验总数。结果表明，基于样本均值的索引策略可以应用于剩余马尔可夫强盗模型下的学习问题，而不会损失序的最优性。此外，Anantharam指数策略与UCB策略的比较表明，UCB策略在选择较小的勘探参数时，其损失小于Anantharam指数策略。
2022-11-12 cs.LG math.OC
Policy iteration for perfect information stochastic mean payoff games with bounded first return times is strongly polynomial
Ye和Hansen，Miltersen和Zwick的最新结果表明，一个或两个玩家（完美信息）零和随机对策的政策迭代，限制在一个固定的折扣率的情况下，是强多项式。我们表明，平均支付零和随机对策的策略迭代也是强多项式时，限制到给定状态的第一个有界的平均返回时间的情况下。证明是基于非线性Perron-Frobenius理论的方法，使我们能够减少平均支付问题的状态依赖贴现率的贴现问题。我们的分析还表明，政策迭代仍然是强多项式的贴现问题，其中的贴现率可以在某些状态下的状态依赖（甚至是负的），提供的非负矩阵的谱半径相关的所有战略是有界的从上面严格小于1的固定常数。
2013-10-18 math.OC
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文提出双重平滑策略迭代框架，将自然策略梯度等方法统一为贝尔曼算子形式，证明其分布无关的几何收敛性，且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
A Policy Iteration Algorithm for N-player General-Sum Linear Quadratic Dynamic Games
本文提出一种用于N玩家一般和线性二次动态博弈的策略迭代算法，证明其不同于高斯-牛顿策略梯度方法，并通过数值实验表明其收敛更快且对初始策略和玩家数量变化更鲁棒。
2024-10-04 cs.SY eess.SY math.OC
Analysis of Lower Bounds for Simple Policy Iteration
IIT Bombay（印度理工学院孟买分校）
策略迭代是一系列算法，用于为给定的马尔可夫决策问题（MDP）找到最优策略。简单策略迭代（SPI）是一种策略迭代，其策略是在每一步都在一个可改进的状态下更改策略。Melekopoglou和Condon [1990]表明，对于2个动作的MDP，SPI所采取的迭代次数具有指数下限。此后，该结果未推广至$k-$作用MDP。在本文中，我们回顾了Melekopoglou和Condon的算法和分析。我们推广了以前的结果，并证明了一个新的指数下界的政策迭代$N-$状态，$k-$行动MDP的迭代次数。我们构造了一个MDP族，并给出了一个基于索引的切换规则，该规则产生了$\mathcal{O}\big((3+k)2^{N/2-3}\big)$的一个强下界。
2019-11-28 cs.LG math.OC stat.ML
A Policy Iteration Scheme for Semilinear Stochastic Hamilton-Jacobi-Bellman Equations with Exponential Convergence
Department of Mathematics & Statistics, University of Calgary（卡尔加里大学数学与统计系）
针对非马尔可夫随机最优控制问题中的半线性SHJB方程，提出基于逐次线性化的策略迭代算法，证明其近似序列以指数速率单调收敛到值函数。
2026-08-03 math.OC q-fin.MF
Max-Policy Iteration, Revisited
CNRS/VERIMAG, Université Grenoble Alpes（法国国家科学研究中心/VERIMAG，格勒诺布尔阿尔卑斯大学）；School of CIT, TU Munich（慕尼黑工业大学信息学院）
提出用值迭代替代数学优化实现最大策略迭代，保证终止性，并扩展到有理数域，通过最小策略迭代求解优化问题，证明有界系统的最小解收敛性。
2026-06-09 cs.PL math.OC
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Convergence Analysis of Policy Iteration
South Dakota School of Mines and Technology（南达科他矿业与技术学院）
本文研究了确定性已知动态系统的非线性自适应最优控制问题，分析了基于稳定初始控制的策略迭代方案的收敛性及极限函数的最优性，并比较了策略迭代与价值迭代的收敛速度。
2015-05-20 cs.SY eess.SY math.OC
Robust Policy Iteration for Continuous-time Linear Quadratic Regulation
研究了连续时间无限时域线性二次调节（LQR）问题中策略迭代的鲁棒性。结果表明，Kleinman策略迭代算法对小扰动具有内在的鲁棒性，并具有Sontag意义下的局部输入到状态稳定性.更准确地说，每当在每次迭代中的扰动引起的输入项是有界的和小的，策略迭代算法的解决方案也是有界的，并进入LQR问题的最优解的一个小邻域。在此基础上，当系统动态受到小的加性未知有界扰动时，LQR问题的非策略数据驱动策略迭代算法是鲁棒的。数值算例验证了理论分析的正确性。
2020-08-31 cs.NA cs.SY eess.SY
Policy iteration for discrete-time systems with discounted costs: stability and near-optimality guarantees
本文针对具有折扣代价的离散时间系统，提出策略迭代的新近最优性界，并证明在温和条件下经过有限次迭代即可实现闭环镇定。
2024-03-27 math.OC
Policy Iteration Reinforcement Learning Method for Continuous-Time Linear-Quadratic Mean-Field Control Problems
针对无限时域连续时间线性二次平均场控制问题，提出基于策略迭代的强化学习方法，通过李雅普诺夫递推分析算法性能，无需求解耦合Riccati方程即可得到最优控制，并用数值算例验证理论结果。
2024-11-04 math.OC
Deep Policy Iteration for High-Dimensional Mean Field Games
针对传统策略迭代受维数灾难限制难以求解高维平均场博弈的问题，提出融合神经网络与策略迭代优势的深度策略迭代方法，通过迭代训练三个网络求解迭代方程，实现与MFDGM相当的收敛效果，拓展了策略迭代的适用场景。
2024-07-11 math.OC
Learning optimal policies in potential Mean Field Games: Smoothed Policy Iteration algorithms
本文提出两种平滑策略迭代算法，用于求解二阶势平均场博弈的纳什均衡，并在Lasry Lions单调性条件下证明全局收敛性，同时揭示其与虚拟对局算法的联系。
2023-04-17 math.OC
Approximate policy iteration using neural networks for storage problems
Lancaster University（兰卡斯特大学）；Loughborough University（拉夫堡大学）
我们考虑随机单节点能量存储问题（SNES）和近似策略迭代（API）解决SNES。我们表明，API的性能可以通过使用神经网络作为近似架构在政策评估阶段。为了实现这一目标，我们使用不同的模型，在文献中的聚合变量减少的决策向量的维数，这反过来又使得它可行的使用神经网络预测的政策改进阶段。我们表明，神经网络的性能改善是更显着的情况下，当充电效率的存储系统是低的。
2019-10-04 cs.LG math.OC
Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning
Georgia Institute of Technology（佐治亚理工学院）
本文的重点是研究马尔可夫噪声下的随机变分不等式（VI）。我们算法开发的一个突出应用是强化学习中的随机策略评估问题。文献中的先前调查集中在时间差（TD）学习采用非光滑有限时间分析的动机随机次梯度下降导致一定的限制。这些包括分析修改的TD算法的要求，该算法涉及到投影到先验定义的欧几里德球，实现非最佳的收敛速度，并且没有明确的方式来获得并行实现的有益效果。我们的方法弥补了这些缺点，在更广泛的背景下，特别是当它涉及到随机的政策评估的随机VI。我们开发了各种简单的TD学习型算法，其原始版本的动机，保持其简单性，同时提供从非渐近分析的角度来看，明显的优势。我们首先提供了一个改进的分析标准TD算法，可以受益于并行实现。然后，我们提出了一个有条件的TD算法（CTD）的版本，涉及定期更新的随机迭代，从而减少了偏见，因此表现出改进的迭代复杂性。这给我们带来了快速TD（FTD）算法，它结合了CTD和随机算子外推法的同伴文件的元素。对于一个新的索引重置策略，FTD表现出最好的收敛速度。我们还设计了一个强大的版本的算法，特别适合于贴现因子接近1。
2021-08-13 cs.AI cs.LG math.OC
Scaling policy iteration based reinforcement learning for unknown discrete-time linear systems
针对策略迭代需要初始稳定控制策略的限制，本文提出缩放策略迭代（SPI）算法，通过逐步逼近原始系统获取稳定控制增益，无需初始稳定增益即可在已知或未知动态下实现离散时间线性系统的最优控制。
2024-11-12 math.OC
Policy Iteration for Multiplicative Noise Output Feedback Control
提出了一种求解乘性噪声线性二次输出反馈设计问题的策略迭代算法。该算法求解一类线性动态控制策略下部分可观测马尔可夫决策过程（POMDP）的估计和控制的耦合Riccati方程组。我们在数值实验中显示出更快的收敛速度比值迭代算法，以前唯一已知的算法解决这类问题。结果表明，在更一般的POMDPs的政策优化算法，包括潜在的开发新的近似数据驱动的方法时，模型参数不可用的未来研究方向。
2022-03-31 cs.SY eess.SY math.OC
A note on the policy iteration algorithm for discounted Markov decision processes for a class of semicontinuous models
针对半连续折扣 MDP 中标准 PI 因可测性问题失效的情况，提出带平滑步骤的替代策略迭代算法，并证明其线性收敛及存在连续代价的最优改进策略。
2023-07-13 math.OC
Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Melbourne（墨尔本大学）
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题，包括基于模型和无模型两种情况。该算法是一个变化的牛顿法，我们表明，在基于模型的设置，它实现立方收敛，这是优于标准的政策迭代和政策梯度算法，实现二次和线性收敛，分别。我们还表明，该算法可以近似实现的动力学模型的知识，通过使用最小二乘估计的状态动作值函数的轨迹数据，从该政策的改进，可以得到。有了足够的轨迹数据，策略迭代立方收敛到近似最优策略，并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
Policy iteration for Hamilton-Jacobi-Bellman equations with control constraints
策略迭代是求解Hamilton Jacobi Bellman（HJB）方程的一种广泛使用的技术，它源于非线性最优反馈控制理论。在无约束条件下，其收敛性分析引起了人们的广泛关注。在这里，我们分析的情况下，控制约束的HJB方程中出现的确定性和随机控制的情况下。每步迭代中的线性方程采用隐式迎风格式求解。数值例子进行求解HJB方程的控制约束和比较显示与无约束的情况。
2020-05-18 cs.NA math.NA math.OC
Least Squares Policy Iteration with Instrumental Variables vs. Direct Policy Search: Comparison Against Optimal Benchmarks Using Energy Storage
Princeton University（普林斯顿大学）
本文研究了近似策略迭代（API）方法，使用最小二乘贝尔曼误差最小化的策略评估。我们解决它的几个增强，即贝尔曼误差最小化使用工具变量，最小二乘投影贝尔曼误差最小化，投影贝尔曼误差最小化使用工具变量。我们证明了对于一般的离散时间随机控制问题，使用工具变量的Bellman误差最小化等价于投影Bellman误差最小化的两个变体。这些API方法的替代方案是基于知识梯度的直接策略搜索。这三个近似的动态规划方法的实际性能，然后在能量存储的应用程序的上下文中进行了研究，集成了间歇性的风能供应，以充分服务于随机时变的电力需求。我们使用真实世界的数据创建一个测试问题库，并应用值迭代来找到它们的最优策略。然后，这些基准被用来比较制定的政策。我们的分析表明，API与工具变量贝尔曼误差最小化显着优于API与最小二乘贝尔曼误差最小化。然而，这些方法不如我们的直接策略搜索实现。
2014-01-04 cs.LG math.OC
Robust policy iteration for continuous-time stochastic $H_\infty$ control problem with unknown dynamics
本文针对动态未知的连续时间随机H∞控制问题，提出一种基于强化学习的策略迭代算法，仅需一次数据采集即可迭代求解随机博弈代数Riccati方程，并证明了算法的鲁棒收敛性，最终通过仿真验证其有效性。
2024-10-01 math.OC
A learning-based approach to stochastic optimal control under reach-avoid constraint
EPFL（洛桑联邦理工学院）
针对有限时域reach-avoid约束下的随机马尔可夫系统控制，本文利用状态增广将其转化为扩展状态空间上的CMDP，并提出仅依赖轨迹数据的无模型对数障碍策略梯度方法，证明参数可收敛至最优且高概率满足约束。
2025-09-27 cs.LG math.OC
Probabilistic Framework of Howard's Policy Iteration: BML Evaluation and Robust Convergence Analysis
本文用FBSDEs构建Howard策略迭代的概率框架，提出BML准则以支持on-policy/off-policy评估，并证明其在理想与实际条件下的收敛及鲁棒性。
2022-10-14 math.OC
Overapproximating the Reachable Values Set of Piecewise Affine Systems Coupling Policy Iterations with Piecewise Quadratic Lyapunov Functions
Institut de Recherche en Informatique de Toulouse (IRIT)（图卢兹研究所）；Université Paul Sabatier（图卢兹第三大学）
本文基于混合策略迭代与分段二次李雅普诺夫函数，改进了分段仿射系统可达值集的上界估计方法。
2016-03-03 cs.NA math.NA math.OC
Tailoring Reproducing Kernels for Optimal Control via Policy Iteration
Virginia Tech（弗吉尼亚理工大学）；The Oden Institute for Computational Engineering & Sciences, University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；The Daniel Guggenheim School of Aerospace Engineering, Georgia Institute of Technology（佐治亚理工学院丹尼尔·古根海姆航空航天工程学院）
本文通过将策略迭代置于再生核希尔伯特空间，定制核函数以匹配非线性最优控制动力学，首次为演员-评论家网络的基函数选择提供闭式误差界，并数值验证了其性能。
2025-10-26 math.OC
Policy iteration method for time-dependent Mean Field Games systems with non-separable Hamiltonians
本文介绍了两种基于策略迭代法的算法来数值求解具有不可分哈密顿量的偏微分方程的不定常均场博弈系统。利用Banach不动点方法证明了这类算法在充分小的时间区间内的收敛性。此外，我们证明了收敛速度是线性的。我们通过数值例子来说明我们的理论结果，我们讨论了所提出的算法的性能。
2022-09-30 cs.NA math.NA math.OC
On-Line Policy Iteration for Infinite Horizon Dynamic Programming
ASU（亚利桑那州立大学）；MIT（麻省理工学院）
在本文中，我们提出了一个在线的政策迭代（PI）算法的有限状态无限地平线折扣动态规划，其中的政策改进操作是在线进行的，只有在系统运行过程中遇到的状态。这允许当前策略的持续更新/改进，从而导致在线PI的形式，该在线PI在新的状态和控制生成时将改进的控制并入当前策略中。该算法收敛在一个有限的阶段，一种类型的局部最优的政策，并建议PI和多智能体PI的变体的可能性，其中的政策改进是简化的。此外，该算法可以用于在线重新规划，也非常适合在线PI算法的价值和政策的近似。
2021-06-01 cs.AI cs.SY eess.SY
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；Google DeepMind（谷歌DeepMind）
线性二次型调节器（LQR）是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略，近年来，在强化学习场景（如无模型或基于模型的设置）方面，LQR被重新审视和分析。在本文中，我们介绍了\textit{Structured Policy Iteration}（S-PI）的LQR，一种方法能够推导出一个结构化的线性政策。这种具有（块）稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势：更可解释，内存效率更高，并且非常适合分布式设置。为了得到这样的政策，我们首先铸造一个正则化的LQR问题时，模型是已知的。然后，我们的结构化策略迭代（S-PI）算法，它需要一个策略评估步骤和策略改进步骤，在迭代的方式，可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下，我们证明了在适当的参数选择下的收敛性分析。最后，通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Constant Approximation for Network Revenue Management with Markovian-Correlated Customer Arrivals
本文针对顾客到达相关的网络收益管理问题，提出马尔可夫相关到达模型及新的线性规划近似，并开发投标价格策略，保证达到最优策略总奖励的1/(1+L)比例。
2023-10-13 cs.DS math.OC
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界，排除其强多项式性，并与单纯形法形成指数分离，揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Convergence of Policy Iteration for Entropy-Regularized Stochastic Control Problems
University of Colorado Boulder（科罗拉多大学博尔德分校）；Iowa State University（爱荷华州立大学）；University of Sydney（悉尼大学）
本文研究熵正则化随机控制问题中策略迭代算法的收敛性，通过精细的Hölder与Sobolev空间估计，获得价值函数的统一Hölder界，从而证明算法收敛，并推导出最优价值函数作为探索型哈密顿-雅可比-贝尔曼方程的唯一解。
2024-12-19 math.OC
Finite Horizon Robust Impulse Control in a Non-Markovian Framework and Related Systems of Reflected BSDEs
考虑有限时间内的鲁棒脉冲控制问题，其中潜在的不确定性来源于由布朗运动驱动的脉冲和连续控制的泛函随机微分方程.我们假设控制器通过脉冲作用于系统，而对手玩家（自然）通过连续控制作用。我们寻找一个弱解，使我们考虑一个系统的顺序互连，斜反射向后随机微分方程（RBSDES）随机Lipschitz系数。我们的RBSDES系统的解决方案的存在性，通过应用皮卡德迭代方法。然后，uniform将极限与辅助脉冲控制问题联系起来。
2021-03-30 math.OC
Invariantly Admissible Policy Iteration for a Class of Nonlinear Optimal Control Problems
本文提出了一种迭代求解一类输入仿射非线性最优控制问题的广义逐次逼近法（SAM），称为不变容许策略迭代法（PI）。与现有的SAM不同，所提出的方法更新了下一个策略和值函数的域，以获得容许性（和不变性）。在现有的SAM中，所生成的政策的容许性得到保证的两个隐含的假设下，关于李雅普诺夫定理和不变性，这两个提出和讨论在本文中，一般是不正确的。相反，所提出的不变容许PI以更精细的方式保证了容许性，而没有这样的假设。在特定的不变可容许更新规则下，从数学上证明了更新区域相对于相应策略的可容许性和不变性。在一定条件下，我们还证明了值函数序列的单调递减性和一致收敛性。最后，通过数值模拟验证了PI控制方法的有效性.
2014-05-26 math.OC
Policy Iteration for Domain Randomized Linear Quadratic Systems
Linköping University（林雪平大学）
该研究针对线性二次控制的域随机化问题，提出带稳定步长规则的策略迭代算法，证明其样本平均目标单调改进，在平滑假设下子收敛至驻点，梯度主导条件下全局线性收敛。
2026-09-10 cs.SY eess.SY math.OC
Continuous Policy and Value Iteration for Relaxed Stochastic Control Problems and Its Convergence
Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Mathematical Sciences, Worcester Polytechnic Institute（沃斯特理工学院数学科学系）
介绍连续策略-值迭代算法，用于随机控制问题，通过朗之万型动力学同时更新值函数和最优控制近似值，适用于两类控制问题，在哈密顿量单调性条件下收敛，可利用相关技术同时优化值函数与确定最优控制。
2026-10-05 cs.LG math.OC
An Efficient Policy Iteration Algorithm for Dynamic Programming Equations
Universität Hamburg（汉堡大学）；SAPIENZA - Università di Roma（罗马第一大学）；Johann Radon Institute for Computational and Applied Mathematics（约翰·拉德纳计算与应用数学研究所）
本文提出一种加速算法，用于求解与最优控制问题相关的静态Hamilton-Jacobi-Bellman方程，通过结合策略迭代和价值迭代方法，提高收敛速度并减少计算时间。
2014-07-02 cs.NA math.NA math.OC
Self-Consistent Adjoint Policy Iteration for Constrained Dynamic Portfolio Choice
Sungkyunkwan University（成均馆大学）；Seoul National University of Science and Technology（首尔科学技术大学）；Chonnam National University（全南国立大学）
该研究针对带可预测收益和凸约束的连续时间投资组合选择问题，提出自洽伴随策略迭代方法，经理论证明和数值实验验证其收敛性与性能优势。
2026-09-09 math.OC q-fin.CP q-fin.PM
Koopman-based Policy Iteration for Robust Optimal Control
传统上，对手存在时的最优控制问题被表述为两个玩家的零和微分对策或$H_\infty$控制问题。这些问题的解可以通过求解Hamilton-Jacobi-Issac方程（HJIE）得到。我们提供了一个新的Koopman为基础的表达HJIE，其中的解决方案可以通过Koopman算子本身的近似。特别是，我们开发了一个数据驱动的和基于模型的政策迭代算法，用于近似的最优值函数使用有限维近似的Koopman算子和发电机。
2022-04-23 cs.SY eess.SY math.OC
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Value and Policy Iteration in Optimal Control and Adaptive Dynamic Programming
M.I.T.（麻省理工学院）
本文研究了最优控制中终端状态集的无限 horizon 问题，通过一般性假设证明了Bellman方程的唯一性，并给出了价值迭代和策略迭代的收敛性结果。
2015-10-01 cs.DS cs.NA cs.SY
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法，用于马尔可夫决策过程，通过引入Hessian矩阵的近似和线性约束，提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
Incremental Policy Iteration for Unknown Nonlinear Systems with Stability and Performance Guarantees
针对未知非线性系统的无模型鲁棒最优控制问题，提出融合递归最小二乘与线性 ADP 的增量策略迭代算法，并证明其鲁棒稳定性、近最优性及非镇定初始策略下的学习条件。
2025-08-29 cs.SY eess.SY math.OC
