Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Melbourne（墨尔本大学）
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题，包括基于模型和无模型两种情况。该算法是一个变化的牛顿法，我们表明，在基于模型的设置，它实现立方收敛，这是优于标准的政策迭代和政策梯度算法，实现二次和线性收敛，分别。我们还表明，该算法可以近似实现的动力学模型的知识，通过使用最小二乘估计的状态动作值函数的轨迹数据，从该政策的改进，可以得到。有了足够的轨迹数据，策略迭代立方收敛到近似最优策略，并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
On-Line Policy Iteration for Infinite Horizon Dynamic Programming
ASU（亚利桑那州立大学）；MIT（麻省理工学院）
在本文中，我们提出了一个在线的政策迭代（PI）算法的有限状态无限地平线折扣动态规划，其中的政策改进操作是在线进行的，只有在系统运行过程中遇到的状态。这允许当前策略的持续更新/改进，从而导致在线PI的形式，该在线PI在新的状态和控制生成时将改进的控制并入当前策略中。该算法收敛在一个有限的阶段，一种类型的局部最优的政策，并建议PI和多智能体PI的变体的可能性，其中的政策改进是简化的。此外，该算法可以用于在线重新规划，也非常适合在线PI算法的价值和政策的近似。
2021-06-01 cs.AI cs.SY eess.SY
Policy Iteration for Domain Randomized Linear Quadratic Systems
Linköping University（林雪平大学）
该研究针对线性二次控制的域随机化问题，提出带稳定步长规则的策略迭代算法，证明其样本平均目标单调改进，在平滑假设下子收敛至驻点，梯度主导条件下全局线性收敛。
2026-09-10 cs.SY eess.SY math.OC
Koopman-based Policy Iteration for Robust Optimal Control
传统上，对手存在时的最优控制问题被表述为两个玩家的零和微分对策或$H_\infty$控制问题。这些问题的解可以通过求解Hamilton-Jacobi-Issac方程（HJIE）得到。我们提供了一个新的Koopman为基础的表达HJIE，其中的解决方案可以通过Koopman算子本身的近似。特别是，我们开发了一个数据驱动的和基于模型的政策迭代算法，用于近似的最优值函数使用有限维近似的Koopman算子和发电机。
2022-04-23 cs.SY eess.SY math.OC
Incremental Policy Iteration for Unknown Nonlinear Systems with Stability and Performance Guarantees
针对未知非线性系统的无模型鲁棒最优控制问题，提出融合递归最小二乘与线性 ADP 的增量策略迭代算法，并证明其鲁棒稳定性、近最优性及非镇定初始策略下的学习条件。
2025-08-29 cs.SY eess.SY math.OC
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法，用于马尔可夫决策过程，通过引入Hessian矩阵的近似和线性约束，提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
Output-Feedback Stabilizing Policy Iteration for Convergence Assurance of Unknown Discrete-Time Systems with Unmeasurable States
本文提出了一种基于输入输出数据的输出反馈稳定化策略迭代方法，用于未知离散时间系统中状态不可测情况下的稳定化控制策略学习。
2025-11-27 cs.SY eess.SY
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
On-Line Policy Iteration with Trajectory-Driven Policy Generation
Fulton School of Engineering, Arizona State University（亚利桑那州立大学富尔顿工程学院）；Department of Aeronautics and Astronautics and Laboratory for Information and Decision Systems, MIT（麻省理工学院航空航天系与信息决策系统实验室）
本文提出一种在线策略迭代方法，通过轨迹数据逐步改进策略，适用于重复性任务的优化问题，提供了一种基于轨迹的策略训练框架。
2026-11-05 cs.SY eess.SY math.OC
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Policy Iteration for Linear-Quadratic Stochastic Differential Games with State- and Control-Dependent Noise
Institute of Control Systems (IRS), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院控制研究所）
本文针对含状态与控制依赖噪声的线性二次随机微分博弈，提出序列PI算法与同伦初始化方法，推导弗雷歇导数闭式表达式，验证了算法及分析结果的有效性。
2026-08-19 cs.SY eess.SY
Data-Driven LQR with Finite-Time Experiments via Extremum-Seeking Policy Iteration
本文提出EXP-LQR迭代算法，仅需有限时间实验获取的截断LQR代价、无需系统与代价矩阵，通过极值搜索扰动策略结合Lyapunov与平均理论证明其指数收敛到最优增益邻域，并经感应电机控制仿真验证。
2025-06-12 cs.SY eess.SY math.OC
Critic-Free Policy Iteration for Continuous-Time Zero-Sum Games: A Policy-Space Riccati Approach
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工业技术国家级重点实验室、 cyber-系统与控制中心）
本文提出一种无评论家的策略迭代方法，通过策略空间Riccati方程直接求解连续时间零和博弈的鞍点策略，并利用数据驱动算法实现未知动力学下的策略恢复，显著降低计算与内存开销。
2026-09-11 cs.SY eess.SY
Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control
我们介绍了一个压缩抽象动态规划框架和相关的政策迭代算法，专门设计的顺序零和游戏和极大极小问题的一般结构。除了更大的一般性，我们的算法优于替代方案的优点是，它们解决了一些长期存在的收敛困难的“自然”的政策迭代算法，这是已知的，因为Pollatschek和Avi-Itzhak方法[PoA 69]有限状态马尔可夫博弈。在数学上，这种“自然”算法是牛顿方法的一种形式，用于求解贝尔曼方程，但牛顿方法，与单人DP问题的情况相反，在极大极小问题的情况下不是全局收敛的，因为贝尔曼算子可能具有既不是凸也不是凹的分量。我们的算法通过引入交替的玩家选择来解决这个困难，并通过使用具有统一超范数收缩属性的策略依赖映射，类似于Bertsekas和Yu的早期作品[BeY 10]，[BeY 12]，[YuB 13]。此外，我们的算法允许一个收敛和高度并行化的实现，这是基于状态空间分区，和分布式异步策略评估和策略改进操作内的每一组分区。我们的框架也适合使用基于聚合的强化学习方法，这可能对大规模问题实例有用。
2021-10-20 cs.GT cs.SY eess.SY
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Bootstrap Policy Iteration for Stochastic Linear Quadratic Tracking with Multiplicative Noise
Institute of Science Tokyo（东京科学大学）；University of Science and Technology of China（中国科学技术大学）
本文针对带乘性噪声的连续时间随机系统线性二次跟踪问题，提出自举策略迭代算法，结合离策略强化学习与数据驱动计算，给出无模型解决方案，数值实验验证了方法有效性。
2026-08-04 cs.SY eess.SY
Policy iteration: for want of recursive feasibility, all is not lost
研究了策略迭代（PI）的递归可行性、递归鲁棒稳定性和近优性。为此，我们考虑确定性非线性离散时间系统的输入产生的PI为未贴现的费用函数。我们首先假设PI是递归可行的，在这个意义上，在每次迭代解决的最优化问题承认一个解决方案。在这种情况下，我们提供了新的条件，建立递归的鲁棒稳定性的一般吸引子，这意味着在每次迭代产生的政策，确保一个强大的\KL稳定性的一般状态测量。然后，我们推导出新的显式边界之间的不匹配（次优）值函数返回PI在每次迭代和最佳的。之后，动机的反例表明，PI可能无法递归可行的，我们修改PI，使递归可行性的先验保证在温和的条件下。这种改进的算法，称为PI+，保持递归的鲁棒稳定性时，吸引子是紧的。此外，在相同的假设下，PI+与其PI对应物具有相同的近最优性。因此，PI+是一个有吸引力的工具，用于产生确定性离散时间非线性系统的近最优镇定控制。
2022-10-26 cs.SY eess.SY math.OC
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Adaptive Optimal Control of Linear Periodic Systems: An Off-Policy Value Iteration Approach
本文针对连续时间线性周期系统，提出一种基于价值迭代的离轨自适应动态规划算法，无需系统动态精确知识即可从数据中获取近似最优解，并证明了其一致收敛性，在倒立摆实验中验证了有效性。
2020-01-20 cs.SY eess.SY math.OC
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Cooperative Optimal Output Tracking for Discrete-Time Multiagent Systems: Stabilizing Policy Iteration Frameworks
State Key Laboratory of Synthetical Automation of Process Industries, Northeastern University（东北大学流程工业综合自动化国家重点实验室）
本文提出两种基于策略迭代的算法，用于离散时间多智能体系统的协同最优输出跟踪，通过稳定化策略迭代框架和Q学习框架实现高效稳定的控制方案。
2026-01-26 cs.SY eess.SY
The Role of Identification in Data-driven Policy Iteration: A System Theoretic Study
本文研究未知系统间接与直接数据驱动控制机制，通过系统理论分析线性二次型调节器中两种策略迭代的收敛性、鲁棒性及激励要求，比较了各自优劣。
2024-04-29 cs.SY eess.SY
Data-Driven Critic-Free Policy Iteration for Continuous-Time Linear Quadratic Regulation
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University（浙江大学工业控制技术国家重点实验室、 cyber-系统与控制中心）
研究连续时间线性二次调节中系统矩阵未知时的数据驱动策略迭代，提出无评论家方法，通过特定投影去除价值矩阵项，直接从输入 - 状态数据计算更新，降低重复最小二乘维度，经模拟验证算法有效。
2026-07-10 cs.SY eess.SY
Data-Enabled Policy and Value Iteration for Continuous-Time Linear Quadratic Output Feedback Control
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）
本文提出了一种数据驱动的连续时间线性二次调节器问题的高效政策迭代和价值迭代算法，通过重新审视输入输出滤波向量的数据特性并引入QR分解，改进了替代状态构造方法，从而消除冗余信息，确保数据矩阵的满行秩，并实现反馈控制器的参数化表示。
2026-03-15 cs.SY eess.SY math.OC
Classification-based Approximate Policy Iteration: Experiments and Extended Discussions
McGill University（麦吉尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）；INRIA Lille（法国里尔信息与自动化研究院）
本文提出基于分类的近似策略迭代框架，通过价值函数和策略空间的规律性来提升算法性能，并在HIV控制等任务中验证了其有效性。
2014-07-02 cs.LG cs.SY eess.SY
Incremental Sampling-based Motion Planners Using Policy Iteration Methods
Jet Propulsion Laboratory（喷气推进实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于策略迭代的运动规划算法，利用动态规划思想在随机图中求解最短路径问题，通过改进策略加速计算过程，适用于大规模并行化。
2016-09-19 cs.AI cs.RO cs.SY
AssistMe: Policy iteration for the longitudinal control of a non-holonomic vehicle
在本文中，我们设计了一种基于物理模型的按需辅助半自主控制（ASC）算法，以解决在有静态障碍物的环境中安全驾驶车辆（电动轮椅）的问题。一旦实现在线，所提出的算法需要有限的计算能力，并依赖于预先计算（离线）的地图（查找表）。这些都是很容易通过实施政策迭代，最大限度地减少预期的时间终止（安全地停止附近的障碍物），考虑到：（i）车辆动力学;（ii）驾驶员的意图建模为三个独立的随机过程。我们称他们为专家司机，顽皮的孩子和盲人司机模型。一项对健康参与者的研究证实，ASC优于基于规则的基线对照（统计学显著结果）。
2022-02-05 cs.SY eess.SY
Convergence and Robustness of Value and Policy Iteration for the Linear Quadratic Regulator
本文针对离散时间线性二次调节器，扩展了值迭代和策略迭代的指数收敛区域，并在模型参数不确定时给出输入到状态稳定性结果，揭示了算法的收敛性与鲁棒性。
2025-04-10 cs.SY eess.SY
Learning Robust Regions of Attraction Using Rollout-Enhanced Physics-Informed Neural Networks with Policy Iteration
本文提出一种结合滚动策略迭代的物理信息神经网络框架，用于求解广义Zubov方程并学习受扰动系统的鲁棒吸引域，通过引入价值估计锚点避免奇异性，数值仿真验证了其有效性。
2025-08-26 cs.SY eess.SY
Feasible Policy Iteration for Safe Reinforcement Learning
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对安全强化学习缺乏基础动态规划算法的问题，提出FPI，通过策略评估、区域识别与分区域策略改进，保证可行区域扩张、价值提升及几何收敛，并在低维与高维任务中验证安全性和性能优势。
2025-03-13 cs.LG cs.SY eess.SY
Data-Based Efficient Off-Policy Stabilizing Optimal Control Algorithms for Discrete-Time Linear Systems via Damping Coefficients
针对未知离散时间线性系统无模型最优控制中初始稳定控制依赖已知模型的问题，提出两种结合可变阻尼系数的离策略强化学习算法，可有限步获取初始稳定控制，兼具数据驱动和收敛快的优势，经仿真验证有效。
2025-03-19 cs.SY eess.SY
Learning-Based Adaptive Optimal Control of Linear Time-Delay Systems: A Policy Iteration Approach
研究了一类由时滞微分方程描述的线性时滞系统的自适应最优控制问题。一个关键的策略是利用强化学习和自适应动态规划的最新发展，并开发新的方法，从有限的输入和状态数据样本中学习自适应最优控制器。在缺乏精确模型知识的情况下，提出了一种基于数据驱动的策略迭代算法（PI）来迭代求解无穷维代数Riccati方程（ARE）.有趣的是，所提出的递归PI算法是新的连续时间时滞系统的背景下，即使当模型知识是假设已知的。通过金属切削和自动驾驶的实际应用验证了所提出的基于学习的控制方法的有效性。
2022-10-01 cs.SY eess.SY
Data-Driven Policy Iteration Without an Initial Stabilizing Policy: A Finite-Horizon Bootstrap Method
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
本文提出一种有限时域自举方法，使数据驱动策略迭代无需初始稳定策略即可启动，通过移位系统评估和离策略数据实现，并验证了其在连续时间线性系统中的有效性。
2026-09-16 cs.SY eess.SY
Minimax Least-Square Policy Iteration for Cost-Aware Defense of Traffic Routing against Unknown Threats
针对并行交通链路中攻击者策略未知且攻防均有成本的路由安全问题，提出最小二乘策略迭代与 minimax 策略改进方法，以求得威胁自适应防御及 Markov perfect equilibrium，并给出误差界。
2024-04-07 cs.SY eess.SY
Exact Model-Free Policy Iteration for Co-safe LTL Planning
University of Florida（佛罗里达大学）
针对有限马尔可夫决策过程中sc-LTL目标的无模型强化学习问题，提出两步法无模型策略迭代算法，经理论证明与随机网格世界实验验证可收敛至最优策略。
2026-08-06 cs.FL cs.RO cs.SY
Simulation-Based Optimistic Policy Iteration For Multi-Agent MDPs with Kullback-Leibler Control Cost
Texas A&M University（德克萨斯农工大学）
本文提出一种基于仿真的乐观策略迭代方案，利用KL控制代价的可分离结构使多智能体独立进行策略改进，并证明同步与异步版本均渐近收敛到最优策略，通过Stag-Hare博弈变体验证了其最小化代价回报的有效性。
2024-10-19 cs.AI cs.MA cs.SY
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University（纽约大学）
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说，我们重新审视离散时间线性二次调节（LQR）的基准问题，并研究长期存在的开放问题：在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看？利用控制理论中的先进稳定性结果，证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性，并且具有小干扰输入-状态稳定性：只要每次迭代中的误差有界且小，策略迭代算法的解也有界，并且进入并停留在最优LQR解的一个小邻域内.作为应用，当系统动态受到加性随机干扰时，提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
A Policy Iteration Approach for Flock Motion Control
University of Ottawa（渥太华大学）；Bowling Green State University（鲍灵格林州立大学）
群集运动控制涉及管理多智能体系统的局部目标和团队目标之间可能发生的冲突。整个控制过程指导代理人，同时监测羊群的凝聚力和本地化。潜在的机制可能会退化，由于忽略了未建模的不确定性与羊群的动态和形成。另一方面，各种控制设计的效率取决于它们实时适应不同动态情况的速度。本文提出了一种在线的无模型策略迭代机制，引导一群智能体在时变图拓扑结构上遵循一个独立的命令生成器。任何两个代理之间的连接或图的边的权重的强度决定使用的位置邻接依赖函数。采用在线递推最小二乘方法来调整制导策略，而不需要知道代理或命令发生器的动态。它与另一种强化学习方法从文献中，这是基于值迭代技术进行比较。仿真结果表明，该策略迭代机制具有快速学习和收敛特性，且计算量较小。
2023-03-17 cs.LG cs.MA cs.RO
