Transfer Learning for LQR Control
本文提出一种LQR控制的迁移学习框架，通过利用N个源系统的脉冲响应数据识别可迁移模式集并重建目标系统响应，在目标系统动态未知的情况下将合成控制器的样本复杂度降低50%。
2025-05-01 cs.SY eess.SY
Sample-Efficient Model-Free Policy Gradient Methods for Stochastic LQR via Robust Linear Regression
Institute for Systems Theory and Automatic Control, University of Stuttgart（斯图加特大学系统与自动控制研究所）；Norwegian University of Science and Technology（挪威科技大学）
本文研究了自然策略梯度和牛顿法在未知随机线性系统LQR问题中的应用，通过鲁棒线性回归解决噪声数据中的梯度估计问题，证明了算法在样本复杂度O(1/epsilon)下的收敛性。
2026-08-20 cs.SY eess.SY
Optimistic Online LQR via Intrinsic Rewards
ETH Zürich（苏黎世联邦理工学院）
本文提出IR-LQR算法，通过内在奖励和方差正则化提升不确定性驱动探索，实现最优最坏情况后悔率√T，实验验证其在飞行器pitch角控制中的有效性。
2026-08-24 cs.LG cs.SY eess.SY
Observation-based Optimal Control Law Learning with LQR Reconstruction
本文提出仅基于轨迹观测重构LQR优化问题的方法，估计目标状态、权重矩阵和控制时域，实现自主学习最优控制律，具有低计算消耗和强泛化能力，仿真与硬件实验验证有效。
2023-12-27 cs.SY eess.SY
FRIDAY: Real-time Learning DNN-based Stable LQR controller for Nonlinear Systems under Uncertain Disturbances
针对不确定扰动下非线性系统动态变化导致固定模型失效的问题，提出用实时更新数据集训练 DNN 逼近未知非线性，并经逐时步谱归一化将其稳定嵌入 LQR，实现可证明局部指数稳定且跟踪性能更优的控制器。
2024-12-02 cs.SY eess.SY
Impact of packet dropouts on the performance of optimal controllers and observers
我们调查的影响，由于在通信网络中的非理想性的最优导出的控制器和观察员的性能在极大极小意义上的数据包丢失。这些数据包丢失的离散约束切换信号通过有向图建模。我们考虑时间最优控制和估计，最小能量和燃料优化和LQR问题的系统受到丢包，原来是组合的，并计算算法的最坏情况下的性能，这些优化问题。为了减少求解这些组合问题的计算负担，对开关信号施加了偏序。验证所提出的方法是在一组随机生成的系统。最后，通过将每个最优控制问题的最坏情况性能与底层网络相关联，可以在可用通信网络的集合中进行优化。
2020-06-21 cs.SY eess.SY math.OC
Regret Analysis of Online LQR Control via Trajectory Prediction and Tracking: Extended Version
The Australian National University（澳大利亚国立大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出并分析了一种新的在线线性二次型调节器（LQR）控制方法。成本矩阵按顺序显示，并有可能在很短的时间内预览未来的值。我们的新方法包括使用可用的成本矩阵来预测的最优轨迹，和跟踪控制器来驱动系统走向it.We采用动态后悔的概念来衡量这种建议的在线LQR控制方法的性能，我们的主要结果是，我们的方法的（动态）遗憾的上限由一个常数。此外，遗憾上界与预览窗口的长度呈指数衰减，是可扩展的干扰系统。我们在模拟中表明，我们提出的方法提供了改进的性能相比，其他先前提出的在线LQR方法。
2023-02-21 cs.LG cs.SY eess.SY
Learning from similar systems and online data-driven LQR using iterative randomised data compression
本文提出一种基于随机子空间压缩与秩一更新的在线数据驱动滚动时域 LQR 算法，利用相似系统的历史数据合成初始解并迭代学习当前数据，实现低成本同步学习与控制，适用于未知、建模不良和时变系统。
2023-11-22 cs.SY eess.SY
Almost Surely $\sqrt{T}$ Regret for Adaptive LQR
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
本文提出了一种具有几乎必然 $\tilde{\mathcal{O}}(\sqrt{T})$ 遗憾上界的自适应 LQR 控制器，其熔断机制可保障安全并保证参数估计收敛，且对渐近性能影响可忽略，经 TEP 仿真验证有效。
2025-01-27 cs.LG cs.SY eess.SY
A model free approach for continuous-time optimal tracking control with unknown user-define cost and constrained control input via advantage function
本文提出一种基于优势函数的离策略连续时间Q学习方法，在无模型且输入受约束条件下求解LQR和LQT问题，无需奖励权重、状态重置或可容许控制器先验知识，并通过F-16仿真验证了有效性。
2025-09-20 cs.SY eess.SY
Quantized Online LQR
California Institute of Technology（加州理工学院）
本文研究在通信速率限制下未知动态的在线线性二次调节问题，提出量化置信等价算法，在信息论下限基础上实现最优控制性能。
2026-04-13 cs.IT cs.SY eess.SY
Minimax Q-learning Control for Linear Systems Using the Wasserstein Metric
随机最优控制通常需要一个具有概率分布的显式动力学模型，而这在实际中是很难获得的。本文研究了未知线性系的线性二次型调节器（LQR）问题，并采用Wasserstein罚函数来处理加性随机扰动的分布不确定性。通过构造惩罚LQR问题的一个等价的确定性博弈，我们提出了一种具有收敛保证的Q-学习方法来学习最优极小极大控制器。
2023-01-16 cs.SY eess.SY math.OC
LQ-OCP: Energy-Optimal Control for LQ Problems
本研究针对LQ系统提出能量最优控制方法LQ-OCP，推导最优运动基元及切换条件，在水下机器人实验中收敛速度比LQR权重优化快6400%、能效高350%，无约束解不可行时仍更高效。
2023-09-29 cs.SY eess.SY
Distributionally Robust Regret Optimal LQR with Common Stage-Law Ambiguity
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）
本文研究了首个可解的多阶段事前分布鲁棒后悔优化框架，针对有限时间 horizon LQR 在共同阶段律不确定性下的控制问题，提出通过半正定规划求解的精确方法，并展示其在保留后悔保证的同时比传统DRO控制器更少保守。
2026-09-25 cs.SY eess.SY math.OC
A Bayesian Perspective on the Data-Driven LQR
ETH Zürich（苏黎世联邦理工学院）
本文从贝叶斯视角提出数据驱动LQR的间接和直接方法，将后验不确定性纳入控制设计，通过分解期望成本揭示正则化原理，并展示两种方法在低数据情况下提升最优性与闭环稳定性。
2026-04-10 cs.SY eess.SY math.OC
Hierarchical Control of Multi-Agent Systems using Online Reinforcement Learning
针对具有未知状态空间模型和分离控制目标的异构线性多智能体系统，提出了一种新的基于强化学习的分层线性二次型调节器（LQR）控制器设计方法.这种分离源于将代理分组为多个不重叠的组，并将控制目标定义为两个不同的目标。第一个目标是最小化一个组明智的块分散LQR函数，模型组级任务。另一方面，第二个目标试图最小化组的平均状态（质心）之间的LQR函数。利用这种分离，我们重新定义的加权矩阵的LQR功能的方式，他们允许我们解耦各自的代数Riccati方程。此后，我们开发了一种强化学习策略，使用在线测量的代理状态和平均状态学习各自的控制器的基础上近似Riccati方程。由于第一个控制器是块分散的，因此可以并行学习，而第二个控制器由于平均而降低了维度，因此与集中式强化学习相比，整体设计的学习时间显着减少。
2020-07-28 cs.SY eess.SY math.DS
The Distributionally Robust Infinite-Horizon LQR
针对扰动分布未知且时序相关的无限时域 DR-LQR，本文给出非有理最优控制器的最优性条件，并提出频域不动点算法与有限阶 $H_\infty$ 有理逼近方法。
2024-08-12 cs.SY eess.SY math.OC
Finite-horizon Linear Quadratic Control for Networked Control Systems with non-distributed plants
针对以离散线性时不变（LTI）系统为被控对象，传感器与控制器、控制器与执行器之间均为网络的网络化控制系统，提出了一种最优控制律。该控制器是通过求解一个优化问题来设计的，该优化问题是用于获得确定性离散时间LTI系统的线性二次型调节器（LQR）的优化问题的推广。网络由传输数据包的随机延迟和丢失表示。
2020-05-13 cs.SY eess.SY
Optimal Rates for Bandit Nonstochastic Control
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
本文研究了带半对抗扰动和时变对抗bandit损失的LQR与LQG控制问题，提出了一种针对已知和未知系统均实现最优regret的算法，解决了$\sqrt{T}$紧凑率的开放问题，并引入了独立有价值的带记忆bandit凸优化新方案。
2023-10-25 cs.LG cs.SY eess.SY
Robust Policy Iteration for Continuous-time Linear Quadratic Regulation
研究了连续时间无限时域线性二次调节（LQR）问题中策略迭代的鲁棒性。结果表明，Kleinman策略迭代算法对小扰动具有内在的鲁棒性，并具有Sontag意义下的局部输入到状态稳定性.更准确地说，每当在每次迭代中的扰动引起的输入项是有界的和小的，策略迭代算法的解决方案也是有界的，并进入LQR问题的最优解的一个小邻域。在此基础上，当系统动态受到小的加性未知有界扰动时，LQR问题的非策略数据驱动策略迭代算法是鲁棒的。数值算例验证了理论分析的正确性。
2020-08-31 cs.NA cs.SY eess.SY
Reinforcement Learning of Structured Control for Linear Systems with Unknown State Matrix
Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文针对状态矩阵未知且控制受结构约束的连续线性系统，提出将结构约束嵌入LQR的强化学习策略迭代算法，并给出稳定性与收敛性保证，可应用于分布式学习控制等场景。
2020-11-02 cs.LG cs.SY eess.SY
Learning robust control for LQR systems with multiplicative noise via policy gradient
Control, Optimization, and Networks lab, UT Dallas（控制、优化与网络实验室，UT Dallas）；Delft Center for Systems and Control, TU Delft（代尔夫特系统与控制中心，TU Delft）
本文研究了具有乘性噪声的LQR系统，通过策略梯度方法实现鲁棒控制，证明了在非凸成本函数下策略梯度算法的全局收敛性。
2020-05-01 cs.LG cs.SY eess.SY
A Data-Driven Algorithm for Model-Free Control Synthesis
Department of Electrical and Computer Engineering, Auburn University（电气与计算机工程系，阿伯杜大学）；Physics and Computational Sciences Division, Naval Air Warfare Center Weapons Division（物理与计算科学分部，海军航空武器中心武器分部）
本文提出一种数据驱动的无模型控制算法，通过有限长度输入输出数据合成最优LQR控制器，并展示实际应用验证。
2026-08-17 cs.RO cs.SY eess.SY
Design of Hybrid Regrouping PSO-GA based Sub-optimal Networked Control System with Random Packet Losses
Jadavpur University（贾达普大学）；University of Southampton（南安普顿大学）
本文提出了一种新的方法，用于设计具有随机丢包的网络控制系统中的子优化状态反馈调节器，通过Lyapunov技术设计最优调节器增益，结合GA和内点法减少BMIs计算复杂性，并利用RegPSO优化加权矩阵以提高稳定性和跟踪性能。
2013-06-16 cs.SY eess.SY math.OC
Fast Online Reinforcement Learning Control using State-Space Dimensionality Reduction
在本文中，我们提出了一种快速强化学习（RL）控制算法，使大规模网络化动态系统的在线控制。RL是设计线性时不变（LTI）网络无模型线性二次型调节器（LQR）控制器的一种有效方法，该网络具有未知的状态空间模型。然而，当网络规模很大时，传统的RL可能会导致不可接受的长学习时间。所提出的方法是通过一个投影矩阵投影的测量状态来构造一个压缩的状态向量。这个矩阵是从在线测量的状态，它捕获的开环网络模型的主导可控子空间的方式构建的。接下来，RL控制器学习使用降维状态而不是原始状态，使得所得成本接近最优LQR成本。数值的好处，以及该方法的网络物理实现的好处进行了验证，使用说明性的例子，包括IEEE 68总线基准电力系统的广域控制的例子。
2020-09-15 cs.SY eess.SY
Optimal Output Feedback Learning Control for Discrete-Time Linear Quadratic Regulation
School of Automation, Beijing Institute of Technology, Beijing 100081, China（自动化学院，北京理工大学，北京）；Department of Chemical Engineering, Queen’s University, Kingston, ON K7L 3N6, Canada（化学工程系，皇后大学，加拿大）
本文针对未知离散时间系统的LQR问题，提出一种保证收敛、稳定和最优的广义动态输出反馈学习控制方法，通过等效状态反馈设计、自适应动态规划迭代及无模型稳定性判据求解最优控制增益，并经数值实验验证。
2025-05-27 cs.AI cs.MA cs.SY
Duality-Based Stochastic Policy Optimization for Estimation with Unknown Noise Covariances
控制和估计的双重性允许将数据引导控制的最新进展映射到估计设置。本文形式化，并利用这样的映射，考虑学习的最佳（稳态）卡尔曼增益过程和测量噪声统计是未知的。具体而言，建立在合成最优控制和估计增益之间的对偶性，滤波器设计问题被形式化为直接策略学习。在这个方向上，对偶性是用来扩展现有的理论保证的直接政策更新线性二次型调节器（LQR）建立全局收敛的梯度下降（GD）算法的估计问题-同时解决两个合成问题之间的细微差别。随后，采用随机梯度下降（SGD）方法来学习最优卡尔曼增益，而无需噪声协方差的知识。通过几个数值例子说明了结果。
2023-03-06 cs.SY eess.SP eess.SY
Direct Data Driven Control Using Noisy Measurements
Michigan State University（密歇根州立大学）；Ford Motor Company（福特汽车公司）
针对未知动态且状态含噪的LQR问题，提出仅用单条含噪轨迹、基于LMI与SDP直接综合控制器的框架，保证均方稳定与最优性能。
2025-05-09 cs.LG cs.RO cs.SY
Thompson Sampling Achieves $\tilde O(\sqrt{T})$ Regret in Linear Quadratic Control
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
汤普森抽样（Thompson Sampling，TS）是一种有效的不确定性决策方法，它从一个精心设计的分布中抽样，并根据观测数据进行更新。在这项工作中，我们研究了问题的自适应控制的稳定线性二次型调节器（LQR）使用TS，其中系统的动态是未知的。以前的工作已经建立了$\tilde O(\sqrt{T})$频率后悔是最优的LQR的自适应控制。然而，现有的方法要么只工作在限制性的设置，需要先验已知的稳定控制器，或利用计算棘手的方法。我们提出了一种有效的TS算法用于LQR的自适应控制，基于TS的自适应控制，TSAC，即使对于多维系统，也可以达到$\tilde O(\sqrt{T})$遗憾，从而解决了Abeille和Lazaric（2018）中提出的开放问题。TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效地探索环境来实现底层系统的快速稳定。我们的结果取决于开发一个新的下限的概率，TS提供了一个乐观的样本。通过仔细规定的早期探索策略和政策更新规则，我们表明，TS实现订单最优后悔多维稳定LQR的自适应控制。我们经验证明的性能和效率的TSAC在几个自适应控制任务。
2022-06-17 cs.LG cs.SY eess.SY
Data-driven Emergency Frequency Control for Multi-Infeed Hybrid AC-DC System
随着大规模复杂交直流混合电网的不断发展，电网对直流输电系统的快速调节能力提出了更高的要求，以提供频率调节服务。本文提出了一种完全数据驱动的线性二次型调节器（LQR），为HVDC提供时间频率支持。主要的技术挑战是多馈入混合AC-DC（MIDC）系统动态的复杂性和非线性，使得LQR难以处理。基于Koopman算子（KO）理论，提出了一种Koopman特征对构造方法来拟合MIDC系统的全局线性动力学模型。一旦离线获得不受控系统动态的全局线性表示，则控制项由所识别的特征函数的梯度和控制矩阵$\mathbf{B}$构成。在$\mathbf{B}$未知的情况下，我们提出了一种方法来识别它的基础上验证Koopman特征函数。在LCC-HVDC系统中，有功功率参考以移动时域的方式在线优化，以提供频率支持，仅使用本地频率和传输功率测量。所提出的控制方法对逼近误差的线性表示在特征函数坐标的鲁棒性进行了分析。仿真结果表明了所提出的紧急控制策略的有效性、鲁棒性和适应性。
2022-12-02 cs.SY eess.SY
Estimating unknown dynamics and cost as a bilinear system with Koopman-based Inverse Optimal Control
Royal Institute of Technology (KTH)（皇家理工学院）；Aalto University（阿尔托大学）
提出基于Koopman的逆最优控制框架，利用改进的扩展动态模态分解构建双线性系统，通过庞特里亚金最大值原理实现未知动力学与代价函数的准确估计。
2026-07-03 cs.SY eess.SY math.DS
Leveraging Offline Data from Similar Systems for Online Linear Quadratic Control
Embry-Riddle Aeronautical University（埃默里航空大学）；Purdue University（普渡大学）
本文研究LQR中的仿真到现实差距，提出利用相似系统离线轨迹的Thompson sampling算法，并证明其贝叶斯遗憾随系统不相似性降低而改善。
2026-11-06 cs.SY eess.SY
Sparse Wide-Area Control of Power Systems using Data-driven Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）
本文提出了一种基于强化学习的在线广域振荡阻尼控制设计，用于不确定电力系统模型。通过使用名义模型和在线测量的发电机状态和控制输入，快速收敛到最小化给定二次能量成本的状态反馈控制器，同时通过梯度支持追求算法在学习过程中对控制增益矩阵施加稀疏性约束，以降低通信成本。
2018-09-29 cs.SY eess.SY
A Secure Learning Control Strategy via Dynamic Camouflaging for Unknown Dynamical Systems under Attacks
Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对未知线性时不变网络物理系统（CPS）遭受窃听和隐蔽攻击等组合攻击的问题，提出了一种基于强化学习（RL）的安全控制方法.我们认为攻击者的攻击场景中学习的动态模型在探索阶段的学习进行的设计师学习一个线性二次型调节器（LQR），此后，使用这些信息进行隐蔽攻击的动态系统，我们称之为基于双重学习的控制和攻击（DLCA）框架。我们提出了一种基于动态学习的攻击弹性强化学习（ARRL）算法，该算法可以学习动态系统所需的最优控制器，同时可以在攻击者对系统动态的估计中注入足够的错误信息。该算法是伴随着理论保证和广泛的数值实验的共识多智能体系统和基准电网模型。
2021-02-01 cs.LG cs.SY eess.SY
Learning Robust Data-based LQG Controllers from Noisy Data
针对未知线性时不变系统的联合状态估计与控制问题，提出基于半定规划的含噪数据驱动LQG控制器设计方法，证明其稳定性并通过数值测试验证了有效性。
2023-05-02 cs.SY eess.SY
Learning Stabilizing Controllers of Linear Systems via Discount Policy Gradient
稳定性是系统综合最基本的要求之一。本文利用策略梯度（PG）方法研究了未知线性系的镇定问题。我们利用PG的一个关键特性用于线性二次型调节器（LQR），即，该策略在初始策略成本有限的情况下，沿下降方向使策略远离不稳定区域的边界。为此，我们折扣的LQR成本的一个因素，自适应地增加梯度导致的政策，同时保持有限的成本稳定集。基于李雅普诺夫理论，我们设计了一个更新规则的折扣因子，可以直接计算出的数据，使我们的方法纯粹的无模型。最近的工作相比，\citep{perdomo2021stabilizing}，我们的算法允许的政策，每个折扣因子只更新一次。此外，对于期望的精度$ε$，用于梯度下降的采样轨迹的数量和模拟时间被显著地减少到$\mathcal{O}(\log(1/ε))$。最后，我们进行模拟的小规模和大规模的例子，以显示我们的折扣PG方法的效率。
2021-12-17 cs.SY eess.SY math.OC
Remote Estimation over Packet-Dropping Wireless Channels with Partial State Information
本文研究丢包无线信道上远程状态估计的最优传输策略，通过将问题建模为部分可观测 Markov 决策过程，结合信息年龄与信道状态，利用动态规划与基于点的值迭代算法求解，以最小化估计误差与能耗。
2025-05-02 cs.SY eess.SY
Improving the Region of Attraction of a Multi-rotor UAV by Estimating Unknown Disturbances
Faculty of Engineering, Memorial University of Newfoundland（纽芬兰纪念大学工程学院）
本文提出用神经网络估计未知扰动并融入标称模型，结合图形化技术计算LQR控制下多旋翼无人机的吸引域，实验表明该方法比传统Lyapunov方法更准确且更少保守。
2024-08-30 cs.LG cs.RO cs.SY
On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty
Northeastern University（东北大学）
比较自适应量化控制(AQC)与深度确定性策略梯度(DDPG)在输入量化、丢包及动态切换下的性能，AQC因李雅普诺夫稳定性保证而鲁棒性更优。
2026-11-03 cs.SY eess.SY
Designing Experiments for Data-Driven Control of Nonlinear Systems
在最近的一篇论文中，我们已经表明，在低复杂度的实验中，从持续激励输入激励的线性系统中收集的数据，可以用来设计状态和输出反馈控制器，包括最优线性二次型调节器（LQR），通过求解线性矩阵不等式（LMI）和半定规划。我们还展示了如何使用数据在第一近似下稳定未知非线性系统。然而，与线性系统的情况相反，在非线性系统的情况下，即使在使用持续激励输入执行的实验中收集数据时，也可能不满足直接从数据学习控制器的条件。在本文中，我们将展示如何设计实验，导致这些条件的履行。
2021-03-30 cs.SY eess.SY
A complex spatial frequency approach to optimal control of finite-extent linear evolution systems
本文提出一种基于复空间频率的统一变换方法，用于求解有限区间上一维线性演化偏微分方程的LQR最优控制问题，通过频域分解和围道变形消除非因果性，并给出反应-扩散方程的卷积反馈形式及数值优势。
2025-05-23 cs.SY eess.SY
A Data-Enabled Primal-Dual Approach for Policy Learning with SDP Formulations
Automatic Control Laboratory (IfA), ETH Zürich（苏黎世联邦理工学院自动控制实验室）
提出一种数据驱动的原始-对偶框架，通过在线数据学习未知线性离散系统的最优控制策略，利用轻量级原始-对偶迭代更新策略，适用于LQR、H∞控制和安全关键控制等目标。
2026-07-02 cs.SY eess.SY math.OC
Data-Driven Inverse Reinforcement Learning of Linear Systems with Model Uncertainty: A Convex Optimization View
Hanoi University of Science and Technology（河内科学技术大学）；Lund University（隆德大学）
本文提出一种基于凸优化的数据驱动逆强化学习框架，用于具有模型不确定性的离散时间线性系统，通过半正定松弛和通用LQR成本设计提升鲁棒性和计算效率。
2026-05-09 cs.SY eess.SY
Deterministic policy gradient based optimal control with probabilistic constraints
本文提出基于DDPG的演员-评论家强化学习方法，用于带概率约束的线性二次控制，通过切尔诺夫界或指示函数期望处理约束，仿真验证优于LQR和机会约束MPC。
2023-12-21 cs.SY eess.SY
Data-Driven Control Design with LMIs and Dynamic Programming
本文的目标是开发基于线性矩阵不等式（LMI）和动态规划的数据驱动控制设计和评估策略。我们考虑确定性离散时间LTI系统，其中系统模型未知。我们提出了有效的数据收集计划，从状态输入轨迹与数据驱动的LMI设计状态反馈控制器的稳定和线性二次调节（LQR）问题。此外，我们研究理论上保证的勘探计划，以获得有效的数据，从不同的情况下的轨迹。特别是，我们证明，随着越来越多的数据积累，收集的数据变得有效的算法具有更高的概率。最后，讨论了具有收敛保证的数据驱动的动态规划算法。
2021-06-16 cs.SY eess.SY math.OC
Sample Complexity of Linear Quadratic Regulator Without Initial Stability
针对动力学未知的LQR问题，提出无需稳定初始策略的后退时域算法，通过精细化Riccati算子误差传播分析提升样本复杂度与收敛保证，且无需两点梯度估计。
2026-09-03 cs.LG cs.SY eess.SY
Linear Dynamics meets Linear MDPs: Closed-Form Optimal Policies via Reinforcement Learning
针对电力系统等领域中动态系统与难建模随机环境交互的问题，结合线性二次调节器（LQR）和线性马尔可夫决策过程（MDPs）框架，推导闭式最优策略并提供稳定性保证与样本复杂度分析，数值示例验证其有效性。
2025-08-24 cs.SY eess.SY math.OC
Sample Complexity of the Robust LQG Regulator with Coprime Factors Uncertainty
针对潜在不稳定的线性时不变（LTI）系统，研究了学习具有未知动态的H2最优控制器（线性二次高斯（LQG）问题）的端到端样本复杂度界。鲁棒LQG综合过程中考虑有界可加模型不确定性互质因素的对象。通过使用Sarkar等人（2020）的普通最小二乘算法，从噪声有限长度输入-输出数据的单个时间序列构建Hankel类矩阵，来执行真实设备标称模型的闭环识别。接下来，提供了估计模型误差的H ∞界，并通过凸优化设计鲁棒控制器，这与Boczar et al.（2018）和Zheng et al.（2020 a）的精神非常相似，同时允许模型互质因子上的有界加性不确定性。我们的结论是一致的学习LQG和LQR控制器与以前的结果。
2022-07-02 cs.SY eess.SY
On the Effectiveness of Iterative Learning Control
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）；Aurora Innovation
迭代学习控制（ILC）是一种在存在建模误差的情况下进行高性能跟踪的强大技术，适用于最优控制应用。有大量的先前工作表明其在化学反应器，工业机器人和四轴飞行器等应用中的经验有效性。然而，很少有以前的理论工作，解释的有效性ILC即使在存在大的建模误差，其中最优控制方法使用的误指定模型（MM）往往表现不佳。我们的工作提出了这样一个理论研究的性能ILC和MM的线性二次型调节器（LQR）的问题与未知的过渡动态。我们表明，次优差距，作为测量相对于最优的LQR控制器，ILC是低于MM的高阶项，成为显着的制度中的高建模误差。我们分析的一个关键部分是离散Ricatti方程在有限时域设置，其中的解决方案是不是一个固定点，并需要跟踪使用递归边界的错误的扰动界。我们回到我们的理论研究结果与经验实验的玩具线性动力系统的近似模型，非线性倒立摆系统与错误指定的质量，和非线性平面四旋翼系统在风的存在下。实验表明，ILC优于MM显着，在计算轨迹的成本方面，当建模误差高。
2021-12-08 cs.LG cs.RO cs.SY
Robust Learning-based Predictive Control for Discrete-time Nonlinear Systems with Unknown Dynamics and State Constraints
National University of Defense Technology（国防科技大学）；Jilin University（吉林大学）
鲁棒模型预测控制（MPC）是一种众所周知的用于具有约束和不确定性的基于模型的控制的控制技术。在经典的鲁棒基于管的MPC方法中，通过周期性地求解在线标称MPC问题来计算开环控制序列，这需要先验模型信息和频繁访问板载计算资源。针对具有状态约束和干扰的未知非线性系统，提出了一种基于滚动时域强化学习的鲁棒预测控制算法（r-LPC）。建议的r-LPC利用Koopman算子为基础的预测模型获得离线从预先收集的输入输出数据集。与经典的基于管的MPC不同，在r-LPC的每个预测时间间隔内，我们使用一个actor-critic结构来学习一个接近最优的反馈控制策略，而不是一个控制序列。所得到的闭环控制策略可以离线学习并在线部署，或者以异步方式在线学习。在后一种情况下，可以在必要时激活在线学习;例如，部署的策略违反了安全约束。在函数逼近误差下证明了该网络的闭环递归可行性、鲁棒性和渐近稳定性。对两个具有未知动态和干扰的非线性系统的仿真和实验结果表明，与基于管的MPC和LQR相比，我们的方法具有更好或相当的性能，并且优于最近开发的actor-critic学习方法。
2022-01-15 cs.LG cs.SY eess.SY
Policy Gradient-based Model Free Optimal LQG Control with a Probabilistic Risk Constraint
本文提出三种基于策略梯度的无模型最优LQG控制算法，在概率风险约束下最小化二次成本，并通过数值模拟与LQR和MPC比较，验证了算法的收敛性和准确性。
2024-11-08 cs.SY eess.SY
Stabilizing Dynamical Systems via Policy Gradient Methods
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT（麻省理工学院）
镇定未知控制系统是控制系统工程中最基本的问题之一。在本文中，我们提供了一个简单的，无模型的算法，用于稳定完全观测的动力系统。虽然无模型方法由于其简单性和灵活性而在实践中越来越受欢迎，但通过直接策略搜索的稳定性却很少受到关注。我们的算法通过解决一系列的折扣LQR问题，其中的折扣因子是逐渐增加。我们证明了这种方法有效地恢复一个稳定控制器的线性系统，光滑，非线性系统在其平衡点的邻域内。我们的方法克服了以前的工作，即需要一个预先给定的稳定控制政策的一个显着的限制。我们实证评估我们的方法对共同控制基准的有效性。
2021-10-13 cs.LG cs.SY eess.SY
Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens
该研究针对参数未知的折扣离散时间线性二次调节器问题，从强化学习视角提出无需两点梯度估计的算法，实现了O~(1/ε)的样本复杂度，显著优于现有非两点梯度估计类方法的性能。
2025-06-16 cs.LG cs.SY eess.SY
Imposing Robust Structured Control Constraint on Reinforcement Learning of Linear Quadratic Regulator
Pacific Northwest National Laboratory (PNNL)（太平洋西北国家实验室）
研究了状态矩阵未知的线性动态系统的结构反馈控制器的学习问题。控制器的结构约束是必要的许多信息物理系统，我们的方法提出了一个设计任何通用的结构，为分布式学习控制铺平了道路。强化学习（RL）的思想结合控制理论的充分稳定性和性能保证被用来开发的方法。首先，一个基于模型的框架，制定使用动态规划嵌入结构约束的线性二次型调节器（LQR）设置以及充分的鲁棒性条件。此后，我们将这些条件转化为基于数据驱动的学习框架-鲁棒结构化强化学习（RSRL），它在稳定性和收敛性方面具有控制理论保证。我们验证了我们的理论结果与模拟上的多智能体网络与6代理。
2021-02-19 cs.LG cs.SY eess.SY
