The Role of Identification in Data-driven Policy Iteration: A System Theoretic Study
本文研究未知系统间接与直接数据驱动控制机制，通过系统理论分析线性二次型调节器中两种策略迭代的收敛性、鲁棒性及激励要求，比较了各自优劣。
2024-04-29 cs.SY eess.SY
Data-Driven Critic-Free Policy Iteration for Continuous-Time Linear Quadratic Regulation
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University（浙江大学工业控制技术国家重点实验室、 cyber-系统与控制中心）
研究连续时间线性二次调节中系统矩阵未知时的数据驱动策略迭代，提出无评论家方法，通过特定投影去除价值矩阵项，直接从输入 - 状态数据计算更新，降低重复最小二乘维度，经模拟验证算法有效。
2026-07-10 cs.SY eess.SY
AssistMe: Policy iteration for the longitudinal control of a non-holonomic vehicle
在本文中，我们设计了一种基于物理模型的按需辅助半自主控制（ASC）算法，以解决在有静态障碍物的环境中安全驾驶车辆（电动轮椅）的问题。一旦实现在线，所提出的算法需要有限的计算能力，并依赖于预先计算（离线）的地图（查找表）。这些都是很容易通过实施政策迭代，最大限度地减少预期的时间终止（安全地停止附近的障碍物），考虑到：（i）车辆动力学;（ii）驾驶员的意图建模为三个独立的随机过程。我们称他们为专家司机，顽皮的孩子和盲人司机模型。一项对健康参与者的研究证实，ASC优于基于规则的基线对照（统计学显著结果）。
2022-02-05 cs.SY eess.SY
Convergence and Robustness of Value and Policy Iteration for the Linear Quadratic Regulator
本文针对离散时间线性二次调节器，扩展了值迭代和策略迭代的指数收敛区域，并在模型参数不确定时给出输入到状态稳定性结果，揭示了算法的收敛性与鲁棒性。
2025-04-10 cs.SY eess.SY
Lambda-Policy Iteration with Randomization for Contractive Models with Infinite Policies: Well-Posedness and Convergence (Extended Version)
抽象动态规划模型用于分析$λ$ -策略迭代与随机算法。特别是，收缩模型与无限的政策被认为是它示出的适定性的$λ$ -运营商在算法中起着核心作用。该算子对于有限状态的问题是适定的，但我们的分析表明，对于无限状态的压缩模型，该算子也是适定的。同样，我们分析的算法已知对于有限策略的问题会收敛，但我们确定了当策略空间无限时（无论状态数量如何）保证以概率一收敛所需的条件。在分析的指导下，我们提出了一个数据驱动的近似实现算法的约束线性和非线性控制问题的最优成本估计。数值结果表明了该方法在实际应用中的潜力。
2020-06-11 cs.SY eess.SY
Learning Robust Regions of Attraction Using Rollout-Enhanced Physics-Informed Neural Networks with Policy Iteration
本文提出一种结合滚动策略迭代的物理信息神经网络框架，用于求解广义Zubov方程并学习受扰动系统的鲁棒吸引域，通过引入价值估计锚点避免奇异性，数值仿真验证了其有效性。
2025-08-26 cs.SY eess.SY
Convergence Analysis of Policy Iteration
South Dakota School of Mines and Technology（南达科他矿业与技术学院）
本文研究了确定性已知动态系统的非线性自适应最优控制问题，分析了基于稳定初始控制的策略迭代方案的收敛性及极限函数的最优性，并比较了策略迭代与价值迭代的收敛速度。
2015-05-20 cs.SY eess.SY math.OC
Policy Iteration for Multiplicative Noise Output Feedback Control
提出了一种求解乘性噪声线性二次输出反馈设计问题的策略迭代算法。该算法求解一类线性动态控制策略下部分可观测马尔可夫决策过程（POMDP）的估计和控制的耦合Riccati方程组。我们在数值实验中显示出更快的收敛速度比值迭代算法，以前唯一已知的算法解决这类问题。结果表明，在更一般的POMDPs的政策优化算法，包括潜在的开发新的近似数据驱动的方法时，模型参数不可用的未来研究方向。
2022-03-31 cs.SY eess.SY math.OC
Data-Based Efficient Off-Policy Stabilizing Optimal Control Algorithms for Discrete-Time Linear Systems via Damping Coefficients
针对未知离散时间线性系统无模型最优控制中初始稳定控制依赖已知模型的问题，提出两种结合可变阻尼系数的离策略强化学习算法，可有限步获取初始稳定控制，兼具数据驱动和收敛快的优势，经仿真验证有效。
2025-03-19 cs.SY eess.SY
Learning-Based Adaptive Optimal Control of Linear Time-Delay Systems: A Policy Iteration Approach
研究了一类由时滞微分方程描述的线性时滞系统的自适应最优控制问题。一个关键的策略是利用强化学习和自适应动态规划的最新发展，并开发新的方法，从有限的输入和状态数据样本中学习自适应最优控制器。在缺乏精确模型知识的情况下，提出了一种基于数据驱动的策略迭代算法（PI）来迭代求解无穷维代数Riccati方程（ARE）.有趣的是，所提出的递归PI算法是新的连续时间时滞系统的背景下，即使当模型知识是假设已知的。通过金属切削和自动驾驶的实际应用验证了所提出的基于学习的控制方法的有效性。
2022-10-01 cs.SY eess.SY
Data-Driven Policy Iteration Without an Initial Stabilizing Policy: A Finite-Horizon Bootstrap Method
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
本文提出一种有限时域自举方法，使数据驱动策略迭代无需初始稳定策略即可启动，通过移位系统评估和离策略数据实现，并验证了其在连续时间线性系统中的有效性。
2026-09-16 cs.SY eess.SY
Minimax Least-Square Policy Iteration for Cost-Aware Defense of Traffic Routing against Unknown Threats
针对并行交通链路中攻击者策略未知且攻防均有成本的路由安全问题，提出最小二乘策略迭代与 minimax 策略改进方法，以求得威胁自适应防御及 Markov perfect equilibrium，并给出误差界。
2024-04-07 cs.SY eess.SY
Robust Policy Iteration for Continuous-time Linear Quadratic Regulation
研究了连续时间无限时域线性二次调节（LQR）问题中策略迭代的鲁棒性。结果表明，Kleinman策略迭代算法对小扰动具有内在的鲁棒性，并具有Sontag意义下的局部输入到状态稳定性.更准确地说，每当在每次迭代中的扰动引起的输入项是有界的和小的，策略迭代算法的解决方案也是有界的，并进入LQR问题的最优解的一个小邻域。在此基础上，当系统动态受到小的加性未知有界扰动时，LQR问题的非策略数据驱动策略迭代算法是鲁棒的。数值算例验证了理论分析的正确性。
2020-08-31 cs.NA cs.SY eess.SY
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Policy Iteration for Domain Randomized Linear Quadratic Systems
Linköping University（林雪平大学）
该研究针对线性二次控制的域随机化问题，提出带稳定步长规则的策略迭代算法，证明其样本平均目标单调改进，在平滑假设下子收敛至驻点，梯度主导条件下全局线性收敛。
2026-09-10 cs.SY eess.SY math.OC
Koopman-based Policy Iteration for Robust Optimal Control
传统上，对手存在时的最优控制问题被表述为两个玩家的零和微分对策或$H_\infty$控制问题。这些问题的解可以通过求解Hamilton-Jacobi-Issac方程（HJIE）得到。我们提供了一个新的Koopman为基础的表达HJIE，其中的解决方案可以通过Koopman算子本身的近似。特别是，我们开发了一个数据驱动的和基于模型的政策迭代算法，用于近似的最优值函数使用有限维近似的Koopman算子和发电机。
2022-04-23 cs.SY eess.SY math.OC
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Incremental Policy Iteration for Unknown Nonlinear Systems with Stability and Performance Guarantees
针对未知非线性系统的无模型鲁棒最优控制问题，提出融合递归最小二乘与线性 ADP 的增量策略迭代算法，并证明其鲁棒稳定性、近最优性及非镇定初始策略下的学习条件。
2025-08-29 cs.SY eess.SY math.OC
Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Melbourne（墨尔本大学）
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题，包括基于模型和无模型两种情况。该算法是一个变化的牛顿法，我们表明，在基于模型的设置，它实现立方收敛，这是优于标准的政策迭代和政策梯度算法，实现二次和线性收敛，分别。我们还表明，该算法可以近似实现的动力学模型的知识，通过使用最小二乘估计的状态动作值函数的轨迹数据，从该政策的改进，可以得到。有了足够的轨迹数据，策略迭代立方收敛到近似最优策略，并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
On-Line Policy Iteration for Infinite Horizon Dynamic Programming
ASU（亚利桑那州立大学）；MIT（麻省理工学院）
在本文中，我们提出了一个在线的政策迭代（PI）算法的有限状态无限地平线折扣动态规划，其中的政策改进操作是在线进行的，只有在系统运行过程中遇到的状态。这允许当前策略的持续更新/改进，从而导致在线PI的形式，该在线PI在新的状态和控制生成时将改进的控制并入当前策略中。该算法收敛在一个有限的阶段，一种类型的局部最优的政策，并建议PI和多智能体PI的变体的可能性，其中的政策改进是简化的。此外，该算法可以用于在线重新规划，也非常适合在线PI算法的价值和政策的近似。
2021-06-01 cs.AI cs.SY eess.SY
Robustness of Online Identification-based Policy Iteration to Noisy Data
本文研究噪声数据下基于在线辨识的间接数据驱动LQR控制，结合RLS与策略迭代，建立闭环算法动力学系统框架并给出收敛到最优控制器的保证。
2025-04-11 cs.SY eess.SY
On-Line Policy Iteration with Trajectory-Driven Policy Generation
Fulton School of Engineering, Arizona State University（亚利桑那州立大学富尔顿工程学院）；Department of Aeronautics and Astronautics and Laboratory for Information and Decision Systems, MIT（麻省理工学院航空航天系与信息决策系统实验室）
本文提出一种在线策略迭代方法，通过轨迹数据逐步改进策略，适用于重复性任务的优化问题，提供了一种基于轨迹的策略训练框架。
2026-11-05 cs.SY eess.SY math.OC
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法，用于马尔可夫决策过程，通过引入Hessian矩阵的近似和线性约束，提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Feasible Policy Iteration for Safe Reinforcement Learning
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对安全强化学习缺乏基础动态规划算法的问题，提出FPI，通过策略评估、区域识别与分区域策略改进，保证可行区域扩张、价值提升及几何收敛，并在低维与高维任务中验证安全性和性能优势。
2025-03-13 cs.LG cs.SY eess.SY
Data-Driven LQR with Finite-Time Experiments via Extremum-Seeking Policy Iteration
本文提出EXP-LQR迭代算法，仅需有限时间实验获取的截断LQR代价、无需系统与代价矩阵，通过极值搜索扰动策略结合Lyapunov与平均理论证明其指数收敛到最优增益邻域，并经感应电机控制仿真验证。
2025-06-12 cs.SY eess.SY math.OC
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Value and Policy Iteration in Optimal Control and Adaptive Dynamic Programming
M.I.T.（麻省理工学院）
本文研究了最优控制中终端状态集的无限 horizon 问题，通过一般性假设证明了Bellman方程的唯一性，并给出了价值迭代和策略迭代的收敛性结果。
2015-10-01 cs.DS cs.NA cs.SY
Incremental Sampling-based Motion Planners Using Policy Iteration Methods
Jet Propulsion Laboratory（喷气推进实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于策略迭代的运动规划算法，利用动态规划思想在随机图中求解最短路径问题，通过改进策略加速计算过程，适用于大规模并行化。
2016-09-19 cs.AI cs.RO cs.SY
Lambda-Policy Iteration: A Review and a New Implementation
M.I.T.（麻省理工学院）
本文综述了lambda-策略迭代方法，探讨其在动态规划中的应用，提出新的实现方式以改进传统策略迭代方法的性能。
2015-07-03 cs.DS cs.NA cs.SY
Policy iteration: for want of recursive feasibility, all is not lost
研究了策略迭代（PI）的递归可行性、递归鲁棒稳定性和近优性。为此，我们考虑确定性非线性离散时间系统的输入产生的PI为未贴现的费用函数。我们首先假设PI是递归可行的，在这个意义上，在每次迭代解决的最优化问题承认一个解决方案。在这种情况下，我们提供了新的条件，建立递归的鲁棒稳定性的一般吸引子，这意味着在每次迭代产生的政策，确保一个强大的\KL稳定性的一般状态测量。然后，我们推导出新的显式边界之间的不匹配（次优）值函数返回PI在每次迭代和最佳的。之后，动机的反例表明，PI可能无法递归可行的，我们修改PI，使递归可行性的先验保证在温和的条件下。这种改进的算法，称为PI+，保持递归的鲁棒稳定性时，吸引子是紧的。此外，在相同的假设下，PI+与其PI对应物具有相同的近最优性。因此，PI+是一个有吸引力的工具，用于产生确定性离散时间非线性系统的近最优镇定控制。
2022-10-26 cs.SY eess.SY math.OC
Adaptive Optimal Control of Linear Periodic Systems: An Off-Policy Value Iteration Approach
本文针对连续时间线性周期系统，提出一种基于价值迭代的离轨自适应动态规划算法，无需系统动态精确知识即可从数据中获取近似最优解，并证明了其一致收敛性，在倒立摆实验中验证了有效性。
2020-01-20 cs.SY eess.SY math.OC
Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control
我们介绍了一个压缩抽象动态规划框架和相关的政策迭代算法，专门设计的顺序零和游戏和极大极小问题的一般结构。除了更大的一般性，我们的算法优于替代方案的优点是，它们解决了一些长期存在的收敛困难的“自然”的政策迭代算法，这是已知的，因为Pollatschek和Avi-Itzhak方法[PoA 69]有限状态马尔可夫博弈。在数学上，这种“自然”算法是牛顿方法的一种形式，用于求解贝尔曼方程，但牛顿方法，与单人DP问题的情况相反，在极大极小问题的情况下不是全局收敛的，因为贝尔曼算子可能具有既不是凸也不是凹的分量。我们的算法通过引入交替的玩家选择来解决这个困难，并通过使用具有统一超范数收缩属性的策略依赖映射，类似于Bertsekas和Yu的早期作品[BeY 10]，[BeY 12]，[YuB 13]。此外，我们的算法允许一个收敛和高度并行化的实现，这是基于状态空间分区，和分布式异步策略评估和策略改进操作内的每一组分区。我们的框架也适合使用基于聚合的强化学习方法，这可能对大规模问题实例有用。
2021-10-20 cs.GT cs.SY eess.SY
Data-Enabled Policy and Value Iteration for Continuous-Time Linear Quadratic Output Feedback Control
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）
本文提出了一种数据驱动的连续时间线性二次调节器问题的高效政策迭代和价值迭代算法，通过重新审视输入输出滤波向量的数据特性并引入QR分解，改进了替代状态构造方法，从而消除冗余信息，确保数据矩阵的满行秩，并实现反馈控制器的参数化表示。
2026-03-15 cs.SY eess.SY math.OC
Exact Model-Free Policy Iteration for Co-safe LTL Planning
University of Florida（佛罗里达大学）
针对有限马尔可夫决策过程中sc-LTL目标的无模型强化学习问题，提出两步法无模型策略迭代算法，经理论证明与随机网格世界实验验证可收敛至最优策略。
2026-08-06 cs.FL cs.RO cs.SY
Simulation-Based Optimistic Policy Iteration For Multi-Agent MDPs with Kullback-Leibler Control Cost
Texas A&M University（德克萨斯农工大学）
本文提出一种基于仿真的乐观策略迭代方案，利用KL控制代价的可分离结构使多智能体独立进行策略改进，并证明同步与异步版本均渐近收敛到最优策略，通过Stag-Hare博弈变体验证了其最小化代价回报的有效性。
2024-10-19 cs.AI cs.MA cs.SY
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而，直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略，以最小化闭环$\mathcal{H}_\infty$范数，可以说是最基本的鲁棒控制范例。在这项工作中，我们表明，直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意，最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题，其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题，所有的Clarke平稳点都是全局最小值.其次，我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性，并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质，我们表明，Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集，并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制，导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Classification-based Approximate Policy Iteration: Experiments and Extended Discussions
McGill University（麦吉尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）；INRIA Lille（法国里尔信息与自动化研究院）
本文提出基于分类的近似策略迭代框架，通过价值函数和策略空间的规律性来提升算法性能，并在HIV控制等任务中验证了其有效性。
2014-07-02 cs.LG cs.SY eess.SY
A Policy Iteration Approach for Flock Motion Control
University of Ottawa（渥太华大学）；Bowling Green State University（鲍灵格林州立大学）
群集运动控制涉及管理多智能体系统的局部目标和团队目标之间可能发生的冲突。整个控制过程指导代理人，同时监测羊群的凝聚力和本地化。潜在的机制可能会退化，由于忽略了未建模的不确定性与羊群的动态和形成。另一方面，各种控制设计的效率取决于它们实时适应不同动态情况的速度。本文提出了一种在线的无模型策略迭代机制，引导一群智能体在时变图拓扑结构上遵循一个独立的命令生成器。任何两个代理之间的连接或图的边的权重的强度决定使用的位置邻接依赖函数。采用在线递推最小二乘方法来调整制导策略，而不需要知道代理或命令发生器的动态。它与另一种强化学习方法从文献中，这是基于值迭代技术进行比较。仿真结果表明，该策略迭代机制具有快速学习和收敛特性，且计算量较小。
2023-03-17 cs.LG cs.MA cs.RO
Data-Driven Structured Policy Iteration for Homogeneous Distributed Systems
本文提出数据驱动结构化策略迭代算法，利用临时辅助通信链路学习分布式反馈策略，在尊重交互网络稀疏性的同时保证全局稳定性与收敛性。
2023-11-16 cs.MA cs.SY eess.SY
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索，证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性，给出收敛速率保证，并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
Ternary Policy Iteration Algorithm for Nonlinear Robust Control
对象动态的不确定性是非线性控制问题的一个挑战。提出了一种求解具有有界不确定性的非线性鲁棒控制问题的三元策略迭代（TPI）算法。将控制器和系统的不确定性视为博弈者，将鲁棒控制问题转化为两人零和微分对策。为了求解微分对策，相应的Hamilton-Jacobi-Isaacs（HJI）方程，然后推导。设计了三个损失函数和三个更新阶段，分别与HJI方程的恒等式、最小化和最大化相匹配。这些损失函数由生成的状态集中的近似哈密顿量的期望来定义，以防止同时操作整个状态集中的所有状态。通过梯度下降法对设计的损失函数进行递减，直接更新价值函数和策略的参数。此外，零初始化可以应用于控制策略的参数。所提出的TPI算法的有效性证明了通过两个仿真研究。仿真结果表明，TPI算法对线性对象能收敛到最优解，对非线性对象具有较强的抗干扰能力。
2020-07-14 cs.GT cs.LG cs.SY
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University（纽约大学）
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说，我们重新审视离散时间线性二次调节（LQR）的基准问题，并研究长期存在的开放问题：在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看？利用控制理论中的先进稳定性结果，证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性，并且具有小干扰输入-状态稳定性：只要每次迭代中的误差有界且小，策略迭代算法的解也有界，并且进入并停留在最优LQR解的一个小邻域内.作为应用，当系统动态受到加性随机干扰时，提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
