Time-Certified and Efficient NMPC via Koopman Operator
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）；Tsinghua University（清华大学）；Kyoto University（京都大学）
本文提出利用Koopman算子学习线性模型，通过动态松弛构造方法生成结构化BoxQP，并利用其结构减少求解线性系统的维度，从而实现NMPC的时序认证和高效执行。
2026-02-17 cs.SY eess.SY
An Execution-time-certified Riccati-based IPM Algorithm for RTI-based Input-constrained NMPC
本文将仅依赖维度的浮点运算次数可认证的输入约束MPC算法扩展到基于RTI的输入约束NMPC，并采用计算成本随预测时域线性增长的因子化Riccati递推求解牛顿系统，通过Lorenz混沌系统非线性控制案例验证了执行时间可认证能力。
2024-02-25 cs.SY eess.SY
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种基于强化学习的鲁棒非线性模型预测控制（RL-RNMPC）框架，用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制（RNMPC），其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似，并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人（WMR）跟踪所需的轨迹，同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
Progressive Smoothing for Motion Planning in Real-Time NMPC
针对实时 NMPC 运动规划中非光滑障碍物导致局部极小值、光滑过近似过于保守的问题，提出沿预测时域由末端向起始端递减的渐进平滑同伦公式，在不增加计算时间的前提下改善性能。
2024-03-04 cs.SY eess.SY math.OC
Two-Timescale Reinforcement Learning for Real-Time Optimization and Economic NMPC: Experimental Validation
SINTEF Industry（辛特夫工业）；KU Leuven（荷语鲁汶大学）；Norwegian University of Science and Technology（挪威科技大学）
提出一种双时间尺度强化学习框架，同时调整RTO和ENMPC参数以应对模型失配，实验验证表明其经济利润比标称ENMPC高8.6%，并保持可行性。
2026-09-29 cs.SY eess.SY
A Gauss-Newton-Like Hessian Approximation for Economic NMPC
经济模型预测控制（EMPC）由于能够控制受约束的非线性系统，同时显式优化给定的性能指标，近年来受到广泛的关注。大的性能增益已被报道为许多应用和闭环稳定性最近已被调查。然而，计算性能仍然是一个悬而未决的问题，只有很少的贡献提出了实时算法量身定制的EMPC。我们提出了一个新的正定Hessian近似，它不妨碍快速收敛，并适合于被用于实时迭代（RTI）计划的计算成本低廉的算法EMPC的一步。我们提供了两个仿真例子来证明基于RTI的EMPC的有效性依赖于建议的海森近似。
2020-10-28 cs.SY eess.SY
Large problems are not necessarily hard: A case study on distributed NMPC paying off
针对大规模系统集中式MPC计算效率问题，研究协作式DMPC的计算性能，将定制分散实时迭代方案应用于电力系统频率控制，结果显示其迭代次数不依赖子系统数量且与多线程集中式求解器性能相当。
2025-04-15 cs.SY eess.SY math.OC
A Framework and a python-package for Real-time NMPC parameters settings
提出一种面向实时 NMPC 的参数选择框架及开源 Python 包，综合实时性、收敛性与约束满足来设置控制器参数，并通过 PVTOL 飞行器示例验证。
2023-09-29 cs.SY eess.SY
Time-certified Input-constrained NMPC via Koopman Operator
本文利用库普曼算子和压缩MPC技术，将具有精确迭代复杂度的输入约束MPC算法从线性情形扩展至非线性模型预测控制，并在高维非线性PDE控制案例中验证了求解时间可认证地小于采样时间。
2024-02-26 cs.SY eess.SY math.OC
RTI-NMPC for Control of Autonomous Vehicles Using Implicit Discretization Methods
针对自动驾驶车辆刚性动力学系统计算效率低的问题，提出基于实时迭代和隐式离散化的非线性模型预测控制方法，仿真证明其在轨迹跟踪上具有高精度和低计算成本。
2024-10-16 cs.SY eess.SY
Real-time Projected Gradient-based Nonlinear Model Predictive Control with an Application to Anesthesia Control
医疗药物输注问题带来了一系列挑战，例如生理模型的非线性、患者间和患者内变异性导致的模型不确定性以及严格的安全规范。考虑到这些挑战，我们提出了一种新的实时非线性模型预测控制（NMPC）计划的基础上投影梯度下降迭代。在每次迭代中，沿着NMPC成本的梯度采取少量步骤，生成次优输入，其渐近收敛到最优输入。我们检索经典的李雅普诺夫稳定性保证进行足够数量的梯度迭代，直到满足停止标准。这种实时控制方法允许更高的采样率和更快的反馈，这对于高度可变和不确定的药物输注问题的类别是有利的。为了证明控制器的潜力，我们将其应用于两种相互作用的药物麻醉的催眠控制。该控制器成功地调节催眠，即使在干扰和不确定性，并满足基准性能标准。
2022-11-14 cs.SY eess.SY
Experimental Validation of Linear and Nonlinear MPC on an Articulated Unmanned Ground Vehicle
Massachusetts Institute of Technology（麻省理工学院）；University of Leuven (KU Leuven)（鲁汶大学（KU Leuven））；Boston University（波士顿大学）；Iowa State University（爱荷华州立大学）
研究铰接式无人地面车辆的轨迹跟踪控制问题。我们提出并比较两种方法的性能和计算复杂度。第一种方法使用一个非线性的数学模型，从第一原理，并结合了非线性模型预测控制器（NMPC）与非线性滚动时域估计（NMHE），以产生一个控制策略。第二种是基于输入状态线性化（ISL）的原始模型，其次是线性模型预测控制（LMPC）。提出了一种快速实时迭代方案，实现了NMHE-NMPC框架，并对ISL-LMPC框架进行了基准测试，这是一种传统且廉价的方法。基于时间的轨迹的实验结果表明，所提出的实时迭代方案的NMHE-NMPC框架给出了更好的轨迹跟踪性能比ISL-LMPC框架和所需的计算时间是可行的实时应用。此外，ISL-LMPC以显著降低的计算成本产生与NMHE-NMPC框架相当的质量的结果。
2021-03-25 cs.RO cs.SY eess.SY
Energy-Aware Path Following: Comparative Analysis of Reinforcement Learning and NMPC for Electric Vehicles
Najran University（纳吉兰大学）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
本研究对比了电动汽车路径跟踪中NMPC与PPO等四种控制器，利用VT-CPEM能量模型，验证了PPO策略可零样本迁移至新轨迹和动态模型，并兼顾路径偏差与能量回收。
2026-10-07 cs.LG cs.RO cs.SY
Optimal Design of Experiment for Electrochemical Parameter Identification of Li-ion Battery via Deep Reinforcement Learning
本文提出结合深度强化学习与最优实验设计的方法，利用TD3算法优化激励，以提升锂离子电池电化学参数辨识的精度和效率，相比NMPC和常规测试具有更高信息量和更低误差。
2025-06-23 cs.SY eess.SY
Re4MPC: Reactive Nonlinear MPC for Multi-model Motion Planning via Deep Reinforcement Learning
Northeastern University（东北大学）；Institute for Experiential Robotics（体验机器人研究所）；Toyota Research Institute (TRI)（丰田研究院）；Amazon Scholar（亚马逊学者）
本文提出 Re4MPC，用深度强化学习根据任务和状态反应式选择 NMPC 的模型、代价与约束，在移动操作机器人仿真中提升了计算效率和末端执行器目标到达成功率。
2025-06-10 cs.AI cs.LG cs.RO
GPU-Accelerated Direct Transcription-Based Nonlinear Model Predictive Control
University of Waterloo（滑铁卢大学）
提出一种基于直接转录和二阶内点法的GPU加速框架，通过参数化内点公式重用结构相关计算，实现非线性模型预测控制（NMPC）的显著加速。
2026-06-03 cs.SY eess.SY math.OC
An NMPC Approach using Convex Inner Approximations for Online Motion Planning with Guaranteed Collision Avoidance
University of Freiburg（弗莱堡大学）；Robert Bosch GmbH（罗伯特·博世股份有限公司）
尽管移动机器人已经存在了几十年，但轨迹优化和连续时间碰撞避免仍然是积极研究的主题。现有的方法在路径质量、计算复杂性和运动动力学可行性之间进行权衡。这项工作的方法的问题，使用非线性模型预测控制（NMPC）的框架，这是基于一种新的凸内近似的避碰约束。所提出的凸内近似（CIAO）方法发现kinodynamically可行的和连续的时间无碰撞的轨迹，在几个迭代，通常一个。对于可行的初始化，该方法保证找到可行的解决方案，即它保持可行性。我们的实验评估表明，CIAO优于最先进的基线规划效率和路径质量方面。在具有12个状态的机器人上的实验表明，它也可以扩展到高维系统。此外，真实世界的实验表明，它的能力，统一的轨迹优化和跟踪的安全运动规划在动态环境中。
2020-03-01 cs.RO cs.SY eess.SY
Model Predictive Control with Environment Adaptation for Legged Locomotion
IMT School for Advanced Studies Lucca（卢卡高等研究院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università di Genova（热那亚大学）
腿部运动的重新规划对于跟踪期望的用户速度同时适应地形并拒绝外部干扰至关重要。在这项工作中，我们提出了一个实时的非线性模型预测控制（NMPC），并在实验中测试量身定制的足式机器人实现动态运动的各种地形。我们引入了一个基于移动性的标准来定义一个NMPC成本，提高了四足机器人的运动，同时最大限度地提高腿部的流动性，并提高适应地形特征。我们的NMPC基于实时迭代方案，该方案允许我们以$2$秒的预测范围在$25\,\mathrm{Hz}$上在线重新规划。为了提高计算效率，采用了质心系下的单刚体动力学模型。在模拟中，NMPC被测试穿过一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上移动。在真实的实验中，我们证明了我们的NMPC的有效性与流动性功能，使IIT的$87\, \mathrm{kg}$四足机器人HyQ实现全方位的步行平坦的地形，遍历静态托盘，并适应在步行过程中重新定位托盘。
2021-11-25 cs.RO cs.SY eess.SY
An Efficient Real-Time NMPC for Quadrotor Position Control under Communication Time-Delay
Sapienza Università di Roma（罗马一大（萨皮恩扎大学））；KU Leuven（鲁汶大学）；University of Freiburg（弗莱堡大学）
计算机处理器技术的进步使得非线性模型预测控制（NMPC）能够应用于敏捷系统，例如四旋翼。这些系统的特点是欠驱动，非线性，有界输入，和时间延迟。传统的控制解决方案无法克服这些困难，并充分利用这些平台提供的功能。提出了一种基于实时的【形】NMPC的四旋翼位置控制器的设计与实现方法，该控制器具有时滞补偿和执行机构边界约束。针对星上有限的计算资源，提出了一种星外控制结构。它是使用高性能软件包acados，解决最优控制问题，并实现了一个实时的【形】迭代（RTI）变量的序列二次规划（SQP）计划与高斯-牛顿海森近似。SQP方案中的二次子问题（QP）使用HPIPM解决，HPIPM是一种基于线性代数库BLASFEO的边界点方法求解器，可针对多个CPU架构进行微调。通过使用HPIPM中实现的高效部分压缩算法重新制定QP，进一步减少了求解时间。我们展示了我们的架构使用Crazyflie 2.1纳米四旋翼的能力。
2020-10-23 cs.RO cs.SY eess.SY
Reinforcement Learning-based Control via Y-wise Affine Neural Networks: Comparative Case Studies for Chemical Processes
Department of Chemical and Biomedical Engineering（化学与生物医学工程系）
本文提出了一种高效且实用的强化学习控制方法，用于化学过程系统，通过Y-wise Affine Neural Network (YANN)-RL算法解决信任RL算法和训练可靠智能体的挑战，并在三个公开的化学工程案例研究中展示了其在减少训练时间和数据需求方面的优势。
2026-05-20 cs.LG cs.SY eess.SY
Online Adaptive Optimal Control Algorithm Based on Synchronous Integral Reinforcement Learning With Explorations
本文提出了一种基于同步策略迭代的同步积分Q学习算法，用于求解输入仿射系统动态连续时间无限时域最优控制问题。在该方法中，整体钢筋被测量为激励信号，以估计Hamilton-Jacobi-Bellman方程的解。此外，所提出的方法是完全无模型的，即不需要系统的先验知识。通过策略迭代，执行器和批评神经网络可以同时逼近最优值函数和策略。为了保证两个网络的收敛性，需要激励条件的持续性。与传统的策略迭代算法不同，该方法放宽了对初始容许策略的限制。通过数值仿真验证了该算法的有效性。
2021-05-19 cs.SY eess.SY
Real-time nonlinear model predictive control framework for event-triggered switching in industrial batch polymerization process
KU Leuven（荷语鲁汶大学）；Zhejiang University of Technology（浙江工业大学）
针对间歇聚合过程的多阶段切换问题，提出结合平滑模式混合、先进步热启动、变量缩放和迭代预算限制的实时NMPC框架，实现无启发式切换的实时可行性，并通过工业气液聚合基准验证了改进的约束满足和缩短的批次时间。
2026-06-16 cs.SY eess.SY math.OC
An Adaptive Partial Sensitivity Updating Scheme for Fast Nonlinear Model Predictive Control
University of Padova（帕多瓦大学）
本文提出了一种自适应部分灵敏度更新方案，用于减少非线性模型预测控制中的在线计算时间，通过曲率非线性度量来适应系统运行条件，从而降低计算负担。
2018-08-02 cs.SY eess.SY
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Feasible Policy Iteration for Safe Reinforcement Learning
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对安全强化学习缺乏基础动态规划算法的问题，提出FPI，通过策略评估、区域识别与分区域策略改进，保证可行区域扩张、价值提升及几何收敛，并在低维与高维任务中验证安全性和性能优势。
2025-03-13 cs.LG cs.SY eess.SY
Model-Free Design of Stochastic LQR Controller from Reinforcement Learning and Primal-Dual Optimization Perspective
为了更好地理解各种强化学习（RL）算法的内在机制，并更好地利用优化理论推动RL的进一步发展，许多研究者开始重新审视线性二次型调节器（LQR）问题，其设置简单，但却捕捉到了RL的特点。受此启发，本文从RL和原-对偶优化的角度出发，研究了高斯噪声下线性系统的随机LQR控制器的无模型设计问题。从强化学习的角度出发，我们首先提出了一种新的无模型的策略外迭代算法（MF-OPPI），该算法通过重复使用采样数据来更新策略，从而在一定程度上缓解了数据饥渴问题。然后，我们提供了一个严格的分析算法的收敛性表明，所涉及的迭代是等价的，在经典的策略迭代（PI）算法的迭代。从优化的角度，我们首先将随机LQR问题转化为一个约束非凸优化问题，并证明了它具有很强的对偶性。然后，为了解决这个非凸优化问题，我们提出了一个基于模型的原始-对偶（MB-PD）算法的基础上产生的Karush-Kuhn-Tucker（KKT）条件的性质。我们还通过求解变换后的对偶可行性条件，给出了MB-PD算法的无模型实现。更重要的是，我们表明，在MB-PD算法的双重和原始更新步骤可以被解释为PI算法的政策评估和政策改进的步骤，分别。最后，我们提供了一个仿真例子来展示所提出的算法的性能。
2021-03-17 cs.SY eess.SY
A Convex Programming Approach to Data-Driven Risk-Averse Reinforcement Learning
针对离散时间非线性系统的风险规避最优控制问题，提出了一种无模型强化学习算法。虽然已经提出了成功的RL算法来学习认知不确定性下的最优控制解决方案（即，缺乏系统动力学知识），他们通过优化结果的预期效用来这样做，这忽略了偶然不确定性下的成本方差（即，随机性）。然而，性能关键的系统，不仅要优化预期的性能，但也减少其方差，以避免性能波动期间RL的操作过程中。为了解决RAOC问题，本文提出了以下三种RL算法的变体，并分析了它们在不同情况/系统下的优势和偏好：1）基于一次性静态凸规划的RL，2）迭代值迭代（VI）算法，其在每次迭代时求解线性规划（LP）优化，以及3）迭代策略迭代（PI）算法，其在每次迭代时求解凸优化并且保证连续控制策略的稳定性。收敛的精确优化问题，这是无限维的所有三种情况下，最佳的风险厌恶的价值函数。为了将这些优化问题转化为具有有限决策变量和约束的标准优化问题，利用了用于值估计的函数逼近以及约束采样。这些算法的数据驱动实现提供了基于Q函数，使学习的最佳值，而无需任何知识的系统动态。近似解的性能也通过加权上范数界和李雅普诺夫界进行了验证。仿真算例验证了该方法的有效性。
2021-03-26 cs.SY eess.SY
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Reinforcement Learning Control of Robotic Knee with Human in the Loop by Flexible Policy Iteration
Arizona State University（亚利桑那州立大学）；North Carolina State University（北卡罗来纳州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们受到人类-机器人系统中存在的真正挑战的激励，开发出在数据层面高效的新设计，并在系统层面提供稳定性和最优性等性能保证。现有的近似/自适应动态规划（ADP）的结果，考虑系统性能理论上并不容易提供实际有用的学习控制算法，这个问题和强化学习（RL）算法，解决数据效率的问题，通常不具有性能保证的控制系统。这项研究填补了这些重要的空白，通过引入创新功能的政策迭代算法。我们引入了灵活策略迭代（FPI），它可以灵活，有机地集成经验重放和补充值从以前的经验到RL控制器。我们显示系统级的性能，包括收敛的近似值函数，（次）最优的解决方案，和系统的稳定性。我们证明了FPI的有效性，通过逼真的模拟人-机器人系统。值得注意的是，我们在这项研究中面临的问题可能很难解决的经典控制理论的基础上的设计方法，因为它几乎是不可能的，以获得一个定制的数学模型的人-机器人系统无论是在线或离线。我们得到的结果也表明了RL控制解决高维控制输入的现实和具有挑战性的问题的巨大潜力。
2021-01-17 cs.LG cs.SY eess.SY
A Novel Policy Iteration Algorithm for Nonlinear Continuous-Time H$\infty$ Control Problem
针对非线性连续时间H∞控制中HJI方程难以求解的问题，提出α策略迭代（α-PI）强化学习方法，通过广义贝尔曼方程迭代，无需系统动力学知识，并验证了其有效性。
2024-01-23 cs.SY eess.SY
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University（纽约大学）
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说，我们重新审视离散时间线性二次调节（LQR）的基准问题，并研究长期存在的开放问题：在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看？利用控制理论中的先进稳定性结果，证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性，并且具有小干扰输入-状态稳定性：只要每次迭代中的误差有界且小，策略迭代算法的解也有界，并且进入并停留在最优LQR解的一个小邻域内.作为应用，当系统动态受到加性随机干扰时，提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Data-Based Efficient Off-Policy Stabilizing Optimal Control Algorithms for Discrete-Time Linear Systems via Damping Coefficients
针对未知离散时间线性系统无模型最优控制中初始稳定控制依赖已知模型的问题，提出两种结合可变阻尼系数的离策略强化学习算法，可有限步获取初始稳定控制，兼具数据驱动和收敛快的优势，经仿真验证有效。
2025-03-19 cs.SY eess.SY
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Finite-Time Analysis of Q-Value Iteration for General-Sum Stackelberg Games
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文从控制理论视角研究了双玩家一般和解马尔可夫博弈中Stackelberg Q值迭代的收敛性，提出放松的策略条件并建模学习动态为切换系统，通过构造上下比较系统，建立了Q函数的有限时间误差界并刻画其收敛特性。
2026-04-06 cs.LG cs.SY eess.SY
Policy Iterations for Reinforcement Learning Problems in Continuous Time and Space -- Fundamental Theory and Methods
University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
策略迭代（PI）是用于解决最优决策/控制问题的策略评估和改进的递归过程，或者换句话说，是强化学习（RL）问题。PI也是开发RL方法的基础。在本文中，我们提出了两种PI方法，称为微分PI（DPI）和积分PI（IPI），以及它们的变体，用于连续时间和空间（CTS）中的一般RL框架，其中环境由常微分方程（ODE）系统建模。所提出的方法继承了PI在经典RL和最优控制中的思想，并在理论上支持CTS中现有的RL算法：TD学习和基于值梯度（VGB）的贪婪策略更新。我们还提供了案例研究，包括1）折扣RL和2）最优控制任务。基本的数学性质--Bellman方程（BE）的解的可容许性、唯一性、Hamilton-Jacobi-Bellman方程（HJBE）的解的单调性改进、收敛性和最优性--都从现有的理论出发进行了深入的研究和改进，以及一般和案例研究。最后，建议的模拟与倒立摆模型及其基于模型和部分无模型的实现，以支持理论，并进一步研究他们超越。
2020-10-31 cs.AI cs.LG cs.SY
Encrypted Value Iteration and Temporal Difference Learning over Leveled Homomorphic Encryption
我们考虑了一种基于同态加密（HE）的机密云控制合成架构。我们的研究是由最近激增的数据驱动控制，如深度强化学习，其繁重的计算需求往往需要外包给第三方服务器。为了实现比部分同态加密（PHE）更大的灵活性和比完全同态加密（FHE）更少的计算开销，我们考虑了基于分层同态加密（LHE）的强化学习（RL）架构。我们首先表明，在基于模型的表格值迭代（VI）的收敛性的千金金宋（CKKS）加密方案的加密噪声的影响，可以解析有界。我们还考虑了TD（0）、SARSA（0）和Z-学习算法在CKKS方案上的安全实现，其中我们用数值方法证明了加密噪声对这些算法的影响也是最小的。
2021-03-20 cs.CR cs.SY eess.SY
Reinforcement Learning with Unbiased Policy Evaluation and Linear Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；C3.ai Digital Transformation Institute（C3.ai数字化转型研究院）
我们提供性能保证的一个变种的基于模拟的策略迭代控制马尔可夫决策过程，涉及使用随机近似算法以及国家的最先进的技术，是非常大的MDPs，包括前瞻，函数逼近，和梯度下降。具体来说，我们分析了两种算法，第一种算法涉及一个最小二乘方法，其中一组新的权重与特征向量通过最小二乘最小化在每次迭代和第二种算法涉及两个时间尺度的随机近似算法，采取几个步骤的梯度下降到最小二乘解之前，获得下一个随机近似算法。
2022-10-13 cs.LG cs.SY eess.SY
Digital Twin of Autonomous Surface Vessels for Safe Maritime Navigation Enabled through Predictive Modeling and Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（SINTEF数字研究院）
本文在现有ASV数字孪生框架上，结合AIS与合成Lidar目标跟踪、NMPC预测安全滤波器和Unity实现，赋予自主水面船预测、情景推演与最优控制决策能力，以提升海上导航安全。
2024-03-30 cs.RO cs.SY eess.SY
Newton's Lantern: A Reinforcement Learning Framework for Finetuning AC Power Flow Warm Start Models
Pravah（普拉瓦）
本文提出牛顿之灯框架，通过结合分组相对策略优化与学习奖励模型，有效解决热启动误差方向对牛顿迭代次数的影响，实现高效收敛。
2026-05-11 cs.AI cs.LG cs.SY
Data-Driven Continuous-Time Linear Quadratic Regulator via Closed-Loop and Reinforcement Learning Parameterizations
Institute of Control Systems, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院控制系统研究所）
本文研究了基于闭环和积分强化学习参数化的数据驱动连续时间线性二次调节器问题，提出数据驱动的连续时间代数黎卡提方程和凸优化方法。
2026-04-30 cs.SY eess.SY math.OC
Impact of Computation in Integral Reinforcement Learning for Continuous-Time Control
University of Manchester（曼彻斯特大学）；Tsinghua University（清华大学）
本文研究积分强化学习中求积规则的计算误差对控制性能的影响，将其类比为牛顿法中的误差项，并提出基于再生核希尔伯特空间的贝叶斯求积方法，给出局部收敛速率理论并实验验证。
2024-02-27 cs.LG cs.SY eess.SY
A Subgame Perfect Equilibrium Reinforcement Learning Approach to Time-inconsistent Problems
Nanyang Technological University（南洋理工大学）
针对时间不一致问题，建立了一个子博弈完美均衡强化学习（SPERL）框架.在强化学习的背景下，TIC问题面临两个主要挑战：不存在自然的递归关系之间的价值函数在不同的时间点和违反贝尔曼的最优性原则，提出了标准的政策迭代算法的适用性问题，无法证明的政策改进定理。我们采用了扩展的动态规划理论，并提出了一类新的算法，称为向后策略迭代（BPI），可以解决SPERL并解决这两个挑战。为了证明BPI作为训练框架的实际用途，我们采用标准的RL模拟方法，并推导出两个基于BPI的训练算法。我们研究了我们的衍生训练框架上的均值-方差投资组合选择问题，并评估了一些性能指标，包括收敛性和模型可识别性。
2021-10-27 cs.GT cs.LG cs.SY
Learning Time Reduction Using Warm Start Methods for a Reinforcement Learning Based Supervisory Control in Hybrid Electric Vehicle Applications
Clemson University（克莱姆森大学）；University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）
强化学习（Reinforcement Learning，RL）广泛应用于机器人领域，并逐渐应用于混合动力汽车（Hybrid Electric Vehicle，HEV）的监控。尽管RL在仿真中表现出优异的燃油消耗最小化性能，但大量的学习迭代次数需要很长的学习时间，使其几乎不适用于现实世界的车辆。此外，初始学习阶段的燃料消耗比基线控制差得多。本研究旨在减少混合动力汽车应用中Q学习的学习迭代次数，并利用热启动方法改善初始学习阶段的燃油消耗。与以往的研究不同的是，该研究采用零Q值或随机Q值启动Q学习，本研究采用不同的监督控制（即，等效消耗最小化策略控制和启发式控制），并进行了详细的分析。结果表明，所提出的热启动Q学习需要比冷启动Q学习少68.8%的迭代次数。在两个不同的驾驶循环中验证了训练的Q学习，结果显示与等效消耗最小化策略控制相比，MPG提高了10 - 16%。并对实时可行性进行了分析，为车载实施提供了指导。本研究的结果可用于促进RL在车辆监控应用中的部署。
2020-10-27 cs.LG cs.RO cs.SY
Exact Model-Free Policy Iteration for Co-safe LTL Planning
University of Florida（佛罗里达大学）
针对有限马尔可夫决策过程中sc-LTL目标的无模型强化学习问题，提出两步法无模型策略迭代算法，经理论证明与随机网格世界实验验证可收敛至最优策略。
2026-08-06 cs.FL cs.RO cs.SY
Reinforcement Learning to Initialize Newton-Raphson for AC Power Flow with Quantum Annealing-Based Environment Updates
Delft University of Technology（代尔夫特理工大学）；Leiden University（莱顿大学）；Alliander N.V.（Alliander公司）；Eindhoven University of Technology（埃因霍温理工大学）
本文利用量子增强的强化学习优化牛顿-拉夫森初始化，加速电力流分析中的收敛速度并提升鲁棒性。
2026-09-29 cs.ET cs.LG cs.SY
