On the Robustness of Derivative-free Methods for Linear Quadratic Regulator
本文研究未知动态下无限时域LQR问题中无导数策略优化方法的鲁棒性，证明小扰动下可收敛至最优策略邻域，并给出扰动显式界与样本复杂度。
2025-06-14 math.OC
A max-plus based fundamental solution for a class of discrete time linear regulator problems
有效的Riccati方程为基础的技术的近似解的离散时间线性调节器问题的限制，在其应用程序的问题与二次终结支付。在需要非二次终结支付的情况下，这些技术由于所涉及的伴随的非二次值函数而失败。为了计算这些非二次值函数，通常需要直接求助于动态规划，其形式为值函数的基于网格或基于元素的迭代。这些迭代在问题维度和时间范围方面具有较差的可扩展性。本文提出了一种新的基于最大加的方法，用于求解具有非二次型支付的离散时间线性调节器问题的近似解。这种新方法的基础是新的基本解的发展，这样的线性调节器的问题，通过最大加对偶。与典型的基于网格的方法相比，在应用这种新的最大加方法中观察到计算工作量的大幅减少。一些简单的例子来说明这一点和其他意见。
2014-04-30 math.OC
Model-free Learning for Risk-constrained Linear Quadratic Regulator with Structured Feedback in Networked Systems
针对无限时域线性二次型调节器（LQR）问题，提出了一种无模型学习算法。具体而言，（风险）约束和结构化的反馈被认为是为了减少状态偏差，同时允许在实践中的稀疏通信图。通过将对偶问题转化为一个非凸-凹极大极小问题，我们采用梯度下降极大预言（GDmax），对于无模型设置，使用零阶策略梯度的随机（S）GDmax。通过使用特定定义的子水平集来限制LQR成本的Lipschitz和平滑常数，我们可以设计步长和相关参数以建立收敛到平稳点（以高概率）。在网络化微电网控制问题中的数值试验验证了我们提出的SGDmax算法的收敛性，同时证明了风险约束的有效性。与经典的LQR控制相比，SGDmax算法获得了令人满意的最优性间隙，特别是对于全反馈情况。
2022-04-04 math.OC
Asynchronous Parallel Policy Gradient Methods for the Linear Quadratic Regulator
本文针对连续时间线性二次调节问题，提出异步并行零阶策略梯度方法，并从理论和仿真两方面证明了其线性加速特性。
2024-07-03 math.OC
Game representations for state constrained continuous time linear regulator problems
提出了凸障碍型约束的二次上确界表示，并应用于一类连续时间状态约束线性调节器问题。使用这种表示，它表明，线性调节器的问题受到这样的凸障碍型约束，可以等价地制定为一个无约束的两个玩家的线性二次博弈。通过证明这个游戏的上限和下限值的等价性，状态反馈的最优策略的两个球员的发展。这些特征随后通过示例来说明。
2019-04-11 math.OC
(Cheap) Stochastic Policy Gradient Converges with High Probability for Linear Quadratic Regulator
Texas A&M University（德克萨斯农工大学）
研究随机策略梯度方法在线性二次调节器问题中的高概率收敛性，提出廉价方法，每次迭代仅需少量交互，且交互次数对置信度呈多对数依赖，具有推广潜力。
2026-09-18 math.OC
Logarithmic Regret in Adaptive Control of Noisy Linear Quadratic Regulator Systems Using Hints
研究线性二次系统在线适应控制的遗憾最小化问题。在这个问题中，真正的系统过渡参数（矩阵$A$和$B$）是未知的，目标是设计和分析算法，产生控制策略与次线性遗憾。最近的研究表明，当系统参数是完全未知的，存在这些参数的选择，使得任何算法，只使用过去的系统轨迹的数据，最好达到平方根的时间范围的遗憾界，提供了一个硬的基本限制，可实现的遗憾一般。然而，还已知的是，当仅矩阵$A$或仅矩阵$B$未知时，可实现（多）-对数遗憾。我们提出了一个结果，包括这两种情况下，表明（聚）-对数遗憾是可以实现的，当这两个矩阵是未知的，但提示定期给予控制器。
2022-10-28 math.OC
Decay rate estimations for linear quadratic optimal regulators
设$u(t)=-Fx(t)$是开环系统$x'(t)=Ax(t)+Bu(t)$在线性二次型最优化问题中的最优控制。通过使用不同复变数参数，我们给出了闭环系统$x'(t)=(A-BF)x(t)$指数衰减率的几个上下估计。主要关注的情况下，斜埃尔米特矩阵$A$。给定一个算子$A$，对于一类情况，我们找到一个矩阵$B$，它提供了一个几乎最优的衰减率。我们展示了我们的研究结果可以应用于优化的问题的衰减率为一个大的有限收集的控制系统$(A, B_j)$，$j=1, \dots, N$，并说明这一点上的一个例子，一个具体的机械系统。在文章的最后，我们提出了几个问题的衰减率的线性二次优化的背景下，在更一般的情况下，极点配置问题。
2013-09-10 math.OC
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
Solution of the Continuous Time Bilinear Quadratic Regulator Problem by Krotov's Method
本文的工作对双线性系统的最优控制领域有一定的贡献。它涉及一个连续时间，有限维，双线性状态方程的二次性能指标被最小化。状态方程是非自治的，并且包括确定性的、先验已知的激励。控制轨迹被约束到一个容许集，没有特定的结构。性能指标是状态变量和控制信号的二次函数。Krotov的方法是用来解决这个问题的一个改进的序列。为此，制定了改进功能的所需序列。最后，以算法的形式给出了结构控制问题的数值算例。
2022-04-29 math.OC
Regret Bounds for Episodic Risk-Sensitive Linear Quadratic Regulator
The Chinese University of Hong Kong（香港中文大学）
本文研究有限时域场景下风险敏感线性二次调节器的在线自适应控制，提出最小二乘贪心算法及引入探索噪声的改进算法，分别证明其遗憾界，并通过扰动分析和性能损失分析支撑结果。
2025-02-13 cs.LG math.OC
The quadratic regulator problem and the Riccati equation for a process governed by a linear Volterra integrodifferential equations
Politecnico di Torino（都灵理工大学）
本文研究由线性Volterra积分方程过程支配的二次调节问题，证明可关联Riccati微分方程以得到最优控制的反馈形式，与以往仅研究Fredholm积分方程的研究不同。
2016-10-23 cs.SY eess.SY math.OC
A model-free first-order method for linear quadratic regulator with $\tilde{O}(1/\varepsilon)$ sampling complexity
研究了在无限水平平均阶段费用下的经典随机线性二次型调节器（LQR）问题。通过利用最近的政策梯度法从强化学习，我们得到一个一阶方法，找到一个稳定的反馈法，其目标函数的差距最多是$\varepsilon$与高概率使用$\tilde{O}(1/\varepsilon)$样本，其中$\tilde{O}$隐藏多对数依赖于$\varepsilon$。我们所提出的方法似乎有最好的依赖$\varepsilon$在无模型的文献中，没有假设，算法产生的所有政策几乎肯定是稳定的，它匹配的最知名的速率从基于模型的文献，对数因子。对$\varepsilon$的改进依赖性是通过显示具有梯度估计误差的方差而不是标准差的精度尺度来实现的。我们的发展，导致这种改进的采样复杂性属于演员评论家算法的类别。演员的一部分涉及到一个变分不等式制定的随机LQR问题，而在评论家的一部分，我们利用了条件随机原始对偶方法，并表明该算法具有最佳的收敛速率时，配对收缩多历元计划。
2025-02-20 math.OC
Inverse Continuous-Time Linear Quadratic Regulator: From Control Cost Matrix to Entire Cost Reconstruction
Department of Mathematics, KTH Royal Institute of Technology（皇家理工学院数学系）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学科学学院国家重点实验室）；School of Information Science and Technology, Fudan University（复旦大学信息科学与技术学院）
本文针对有限时间连续时间线性二次调节器逆最优控制问题，提出两种代价矩阵重构方法，分析可控性对问题适定性的影响并推导两类情形下的解析解，还刻画了不同先验条件下逆问题的结构关系。
2025-10-05 math.OC
On Approximating Polynomial-Quadratic Regulator Problems
涉及自治多项式系统的反馈控制问题是普遍存在的，然而用于近似其解的算法和软件有限。本文通过考虑调节器问题的特殊情况向前迈进了一步，其中状态方程具有多项式非线性，控制成本是二次的，并且反馈控制由低次多项式近似。由于这代表了线性二次调节器（LQR）和二次二次调节器（QQR）问题的自然扩张，因此我们将此类问题表示为多项式二次调节器（PQR）问题。本方法适用于低次多项式的反馈近似和适度模型维数的问题。这种设置可以在许多问题中使用现代模型降阶法来实现。Al'Brekht算法，当应用于多项式非线性表示为克罗内克产品导致一个优雅的配方。反馈控制的项导致大的线性系，其可以用Bartels-Stewart算法的N路推广来有效地求解。我们证明了我们的算法与数值例子，包括洛伦兹方程，一个环的范德波尔振荡器，和离散版本的伯格斯方程。这里描述的软件可在Github上使用。
2020-09-22 cs.NA math.NA math.OC
Guaranteed Stability Margins for Decentralized Linear Quadratic Regulators
本文研究有向无环图上多决策者分散式LQR的稳定裕度问题，证明在子控制器输入代价解耦时其具有与经典LQR类似的保证稳定裕度，而引入代价耦合后该保证消失。
2023-05-25 cs.SY eess.SY math.OC
Safely Learning to Control the Constrained Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了具有未知动态的约束线性二次型调节器，解决了数据驱动控制技术中安全性和探索性之间的紧张关系。我们提出了一个框架，它允许通过持续激励的系统辨识，同时保持安全，保证状态和输入约束的满足。该框架涉及到一种新的方法来合成鲁棒约束满足反馈控制器，利用新开发的工具，从系统级合成。我们将统计结果与成本次优界连接起来，以给出估计和控制器性能的非渐近保证。
2019-07-07 cs.LG math.OC stat.ML
The Mixed-Observable Constrained Linear Quadratic Regulator Problem: the Exact Solution and Practical Algorithms
本文研究了线性定常系统在状态和输入约束条件下的目标控制问题，该目标控制只能通过部分观测值来推断。我们假设混合可观测设置，其中系统的状态是完全可观测的，而定义目标位置的环境状态仅部分可观测。在这些设置中，规划问题是无限维的最优化问题，其目标是使期望成本最小化。我们展示了如何重新制定的控制问题作为一个有限维的确定性问题，通过优化的轨迹树。利用这一结果，我们表明，当环境是静态的，观测模型分段，和费用函数凸，原来的控制问题可以重新制定为一个混合凸凸规划（MICP），可以解决全局最优使用分支定界算法。所提出的方法的有效性证明了导航任务，系统必须达到一个目标位置确定的部分观测。
2022-11-20 math.OC
Continuous-Time Constrained Linear Quadratic Regulator for Switched Linear Systems
Universita’ di Pisa（比萨大学）；Centro di Ricerca “Enrico Piaggio”（恩里科·皮亚杰研究中心）；Dipartimento di Ingegneria dell’Informazione（信息工程系）
针对切换线性系统的连续时间约束线性二次调节器问题，提出通过固定切换序列并优化区间持续时间来间接优化切换序列，推导代价函数及其梯度的解析表达式，实现高效优化并提升计算效率。
2026-11-10 cs.SY eess.SY math.OC
Regret Bounds for Robust Adaptive Control of the Linear Quadratic Regulator
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们考虑线性二次型调节器（LQR）的自适应控制，其中一个未知的线性系统被控制的二次成本。利用线性系统估计和鲁棒控制器综合方面的最新发展，我们提出了第一个可证明的多项式时间算法，该算法为该问题的次线性遗憾提供了高概率保证。我们进一步研究了遗憾最小化和参数估计之间的相互作用，通过证明任何算法使用的探索时间表的预期遗憾的下限。最后，我们进行了数值研究比较我们的鲁棒自适应算法的自适应LQR文献的其他方法，并证明了我们提出的方法的灵活性，将其扩展到一个需求预测问题的状态约束。
2018-05-23 cs.LG math.OC stat.ML
Policy Gradient Methods for Discrete Time Linear Quadratic Regulator With Random Parameters
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）
针对参数随时间独立同分布的离散时间线性二次控制问题，提出无需参数统计知识的策略梯度方法，证明状态次高斯性与全局线性收敛，并通过数值实验验证。
2024-03-01 cs.LG math.OC
Revisiting Strong Duality, Hidden Convexity, and Gradient Dominance in the Linear Quadratic Regulator
University of California San Diego（加州大学圣地亚哥分校）
本文通过原始-对偶分析和凸重构，结合Riccati方程、SDP对偶及扩展凸提升框架，重新审视LQR中强对偶性、梯度优势和全局最优性，明确了其成立条件并扩展了梯度优势的表征。
2026-09-24 math.OC
Sample Complexity of Linear Quadratic Regulator Without Initial Stability
针对动力学未知的LQR问题，提出无需稳定初始策略的后退时域算法，通过精细化Riccati算子误差传播分析提升样本复杂度与收敛保证，且无需两点梯度估计。
2026-09-03 cs.LG cs.SY eess.SY
Distributionally Robust Linear Quadratic Gaussian Regulator with Stationary Distributions
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）；Caltech（加州理工学院）
针对平稳噪声分布不确定的线性二次高斯调节问题，提出基于Wasserstein距离的分布鲁棒方法，通过零和博弈纳什均衡证明线性输出反馈策略最优性，并设计迭代最佳响应算法求解。
2026-06-26 math.OC
A Note on Linear Quadratic Regulator and Kalman Filter
本文针对现代控制理论中的控制器设计与状态估计两大核心问题，系统阐述了线性二次调节器（LQR）与卡尔曼滤波（KF）的基本概念、推导、稳态分析及数值实现方法。
2023-08-30 cs.SY eess.SY math.OC
Continuous-time iterative linear-quadratic regulator
本研究提出连续时间迭代线性二次调节器，含新型正则化方法与回溯线搜索，兼容高阶自适应步长数值积分器，可高效求解非凸轨迹优化问题并平衡计算量与离散误差。
2025-05-21 cs.SY eess.SY math.OC
On the Sample Complexity of the Linear Quadratic Gaussian Regulator
本文针对LQG调节器，基于有限含噪轨迹数据给出LQR、卡尔曼滤波器和LQG控制器的直接数据驱动表达式，并证明其一致性、刻画收敛速率与误差界，从而无需系统建模即可求解控制与估计问题。
2023-09-19 cs.SY eess.SY math.OC
On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator
Northwestern University（西北大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）
研究了线性二次型调节器的生成对抗模仿学习的全局收敛性，该问题被描述为极小极大优化问题。为了解决非凹凸几何所带来的挑战，我们分析了交替梯度算法，并建立了其Q-线性收敛到一个唯一的鞍点，同时恢复全局最优的策略和奖励函数。我们希望我们的结果可以作为理解和驯服模仿学习中的不稳定性的一小步，以及来自强化学习和生成对抗学习的更一般的非凸-凹交替极大极小优化。
2019-01-11 cs.AI cs.LG math.OC
Asynchronous Heterogeneous Linear Quadratic Regulator Design
针对分布式LQR控制器设计中异构数据与同步聚合拖慢运行、引入偏差的问题，提出带陈旧度控制的异步策略梯度算法，证明其可收敛至各系统ε-近优控制器且实现次线性速率精确局部收敛。
2024-04-13 math.OC
Design of Optimal Regulators
目前的研究建议使用线性二次型性能指标的最优控制的调节器在各种应用。一些例子包括校正火箭和航空器的轨迹、柔性结构的振动抑制和飞机稳定性。在所有这些情况下，重点是快速抑制/减少系统偏差。然而，如果将线性二次调节器（LQR）解决方案与最优解（最小时间）进行比较，可以看出，LQR解决方案在某些情况下比使用最小时间解决方案获得的最优解决方案小小于倍。此外，LQR的解决方案有时是不可接受的，在实践中，由于控制的值超出了允许的限制，因此，设计者必须选择系数的线性二次型，这是未知的。作者提出的方法，允许找到一个准最优的LQR解决方案，有界控制，这是接近最小时间的解决方案。他们还发回了最短时间决定的过程。关键词：最佳调节器，最小时间控制器，线性二次型调节器。--本文被宣布为美国政府的作品，在美国不受版权保护。该手稿作为论文AIAA-2003-6638被2003年9月15-18日在美国加利福尼亚州圣地亚哥举行的第二届AIAA无人驾驶无限系统、技术和操作-航空航天、陆地和See会议和研讨会-展览会接受。
2007-01-19 math.GM math.OC
Natural Actor-Critic Converges Globally for Hierarchical Linear Quadratic Regulator
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
多智能体强化学习已成功应用于许多具有挑战性的问题。尽管这些经验的成功，不同的算法的理论理解是缺乏的，主要是由于灾难的维数所造成的指数增长的状态动作空间的代理人的数量。研究了多智能体线性二次型调节器（LQR）的一个基本问题。在这种情况下，我们开发了一个分层的演员-评论家算法，其计算复杂性是独立的代理的总数，并证明了其全局线性收敛到最优策略。由于LQR经常被用来近似一般的动态系统，本文提供了一个重要的一步，更好地理解一般的分层平均场多智能体强化学习。
2021-12-24 cs.LG math.OC stat.ML
Meta-Learning Linear Quadratic Regulators: A Policy Gradient MAML Approach for Model-free LQR
Columbia University（哥伦比亚大学）
研究多任务异构无模型环境下的 LQR 学习问题，提出基于策略梯度的 MAML-LQR 算法，证明了其在有模型和无模型场景下的稳定性、个性化保证及线性收敛速率，实现了对未知任务的高效适应。
2024-05-31 cs.LG math.OC
Control of the Fluidic Pinball using the Quadratic-Quadratic Regulator
Virginia Tech（弗吉尼亚理工大学）
本文提出结合插值模型降阶（IMOR）与二次-二次调节器（QQR）的框架，用于稳定流体保龄球的不稳稳态解，通过对比线性反馈控制，证明QQR在Re_D=30和50时均能有效抑制涡旋脱落。
2026-05-14 math.OC physics.flu-dyn
Infinite-horizon Risk-constrained Linear Quadratic Regulator with Average Cost
随机动力系统的行为可能在很大程度上受到这些低概率但极端事件的影响。为了解决这种情况，本文提出了一种具有时间平均成本的无限时域风险约束线性二次型调节器（LQR）框架。除了标准的LQR目标，状态惩罚的平均一阶段预测方差被限制在用户指定的水平内。通过利用对偶性，它的最优解首先被证明在状态中是平稳的和仿射的，即，$u(x,λ^*) = -K(λ^*)x + l(λ^*)$，其中$λ^*$是用于解决风险约束的最优乘数。然后，我们建立所得到的闭环系统的稳定性。此外，我们提出了一个原始-对偶方法与次线性收敛速度找到一个最优的政策$u(x,λ^*)$。最后，数值例子证明了所提出的框架和原始-对偶方法的有效性。
2021-03-29 cs.SY eess.SY math.OC
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）
尽管行动者-批评者算法在经验上取得了成功，但它的理论理解却落后了。在更广泛的背景下，演员评论家可以被视为一个在线交替更新算法的双层优化，其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性，我们将重点放在它在线性二次调节器中的应用上，这是强化学习的一个简单而基本的设置。在这种情况下，我们建立了一个非渐近收敛分析的演员批评。特别是，我们证明了演员-评论家找到一个全局最优的演员（政策）和评论家（行动-价值函数）的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题，这是NP-难的最坏情况下，往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
Tsallis Entropy Regularization for Linear Quadratic Regulator and Kullback-Leibler Control
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文提出基于Tsallis熵的正则化方法用于线性二次调节器和Kullback-Leibler控制，推导出闭式解和高效算法，并展示了其在平衡探索与稀疏性方面的优势。
2026-09-22 cs.LG cs.SY eess.SY
Real Time Motion Planning Using Constrained Iterative Linear Quadratic Regulator for On-Road Self-Driving
Tencent Technology (Beijing) Company Limited（腾讯科技（北京）有限公司）
避免碰撞是人们在开发自动驾驶技术时需要考虑的最具挑战性的任务之一。在本文中，我们提出了一种新的时空运动规划算法，有效地解决了约束非线性最优控制问题，使用迭代线性二次型调节器（iLQR），该方法考虑了交通车辆的不确定驾驶行为，并将自动驾驶车辆之间的碰撞风险降至最低，（称为“自我”车辆）和交通车辆之间的距离，使得自我车辆能够与所有周围车辆保持足够大的距离，以实现交通中期望的防撞操纵。为此，我们引入了“碰撞多边形”的概念，用于计算自我车辆和交通车辆之间的最小距离，并提供了两种不同的解决方案，设计的运动规划问题的约束条件，通过适当建模的交通车辆的行为，以评估碰撞风险。最后，利用仿真器和3级自动驾驶测试平台，对iLQR运动规划算法在多个实时避碰任务中进行了验证。
2022-02-17 cs.RO math.OC
Policy Gradient Converges to the Globally Optimal Policy for Nearly Linear-Quadratic Regulators
University of Southern California（南加州大学）
本文研究部分信息下近线性二次调节器的强化学习最优策略问题，通过刻画代价函数在全局最优附近的局部强凸性与光滑性，并提出初始化机制和策略梯度算法，保证以线性速率收敛到全局最优策略。
2025-04-09 cs.LG math.OC stat.ML
Boundary Control of the Beam Equation by Linear Quadratic Regulation
提出并求解了一种线性二次型调节器（LQR）用于梁方程的边界控制。我们使用简单的平方补技术来得到显式解。通过解耦空间频率，我们能够减少一个无限维LQR的两个二维LQR，其中每一个都可以显式求解的一个无限的家庭。
2021-02-19 math.OC
Rate-Optimal Regret for the Safe Learning-based Control of the Constrained Linear Quadratic Regulator
Department of Electrical and Computer Engineering, University of California Santa Barbara（加州大学圣芭芭拉分校电气与计算机工程系）
研究了具有时间步必须满足的约束的随机线性二次调节器（LQR）自适应控制问题，提出通过SDP选择乐观策略并进行缩放以确保安全，证明了在约束LQR设置中可实现O(√T)的后悔和概率约束。
2026-05-07 cs.LG math.OC
On the Strong Duality in Continuous-time and Discrete-time Linear Quadratic Regulators
University of California San Diego（加州大学圣地亚哥分校）
本文通过秩约束半定规划松弛建立连续和离散时间LQR的强对偶性，并揭示其与经典代数Riccati方程和最优反馈增益的联系。
2026-06-17 cs.SY eess.SY math.OC
On the Sample Complexity of Decentralized Linear Quadratic Regulator with Partially Nested Information Structure
University of Notre Dame（圣母大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了部分嵌套信息结构下分散状态反馈线性二次型控制器在系统模型未知时的控制策略设计问题。我们提出了一个基于模型的学习解决方案，它包括两个步骤。首先，我们估计未知的系统模型从一个单一的系统轨迹的有限长度，使用最小二乘估计。接下来，基于估计的系统模型，我们设计了一个控制策略，满足所需的信息结构。我们表明，我们的控制策略和最优分散控制策略（使用系统模型的准确知识设计）的次优差距与系统模型的估计误差呈线性关系。使用这个结果，我们提供了一个端到端的样本复杂性结果学习分散控制器的线性二次控制问题的部分嵌套的信息结构。
2022-05-27 cs.LG cs.SY eess.SY
Gradient Dominance in the Linear Quadratic Regulator: A Unified Analysis for Continuous-Time and Discrete-Time Systems
University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种统一的梯度主导性性质，适用于连续时间和离散时间LQR系统，在温和的稳定性和可检测性假设下，揭示了两种动态之间的结构对称性。
2026-02-26 cs.SY eess.SY math.OC
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；Google DeepMind（谷歌DeepMind）
线性二次型调节器（LQR）是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略，近年来，在强化学习场景（如无模型或基于模型的设置）方面，LQR被重新审视和分析。在本文中，我们介绍了\textit{Structured Policy Iteration}（S-PI）的LQR，一种方法能够推导出一个结构化的线性政策。这种具有（块）稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势：更可解释，内存效率更高，并且非常适合分布式设置。为了得到这样的政策，我们首先铸造一个正则化的LQR问题时，模型是已知的。然后，我们的结构化策略迭代（S-PI）算法，它需要一个策略评估步骤和策略改进步骤，在迭代的方式，可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下，我们证明了在适当的参数选择下的收敛性分析。最后，通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Data-Driven Continuous-Time LQR: Linking Reinforcement Learning and Behavioral System Theory
Institute of Control Systems, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院控制系统研究所）
本文研究了基于闭环和积分强化学习参数化的数据驱动连续时间线性二次调节器问题，提出数据驱动的连续时间代数黎卡提方程和凸优化方法。
2026-11-09 cs.SY eess.SY math.OC
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了线性二次调节器（LQR）的近似策略迭代（PI）的样本复杂性，建立在最近的工作线上，使用LQR作为测试平台，以了解强化学习（RL）算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系，并认为政策评估是样本复杂性的主导因素。具体而言，我们表明，要获得一个控制器，最优的LQR控制器的$\varepsilon$内，每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本，其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面，只有$\log(1/\varepsilon)$策略改进步骤就足够了，导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程，并获得$T^{2/3}$遗憾，改善后，最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
Computing Solutions to the Polynomial-Polynomial Regulator Problem
本文针对多项式控制仿射系统与多项式代价提出PPR，给出值函数多项式逼近的显式公式和可扩展实现，并通过飞机失速与n=129半离散化PDE验证其更大镇定范围和约75%的代价降低。
2024-10-29 math.OC
Inverse optimal control for averaged cost per stage linear quadratic regulators
研究“每阶段平均代价”线性二次调节器的逆最优控制问题，证明代价识别的不适定性并给出不可识别条件，构造基于凸优化的统计一致估计器，在康复机器人仿真中验证其有效性。
2023-05-24 cs.SY eess.SY math.OC
Sparse and Constrained Stochastic Predictive Control for Networked Systems
针对输入有界的Lyapunov稳定线性系的网络控制问题，提出了一类新的控制策略。假设控制信道具有i.i.d.伯努利数据包丢失，系统被假定为受加性随机噪声的影响。我们提出的政策类是仿射在过去的辍学和饱和值的过去的干扰。我们进一步考虑在二次性能指标中加入正则化项，以提高控制的稀疏性。我们演示了如何增加基本的最优化问题与一个恒定的负漂移约束，以确保闭环状态的均方有界性，得到一个凸二次规划定期在线求解。对于控制的任何正界和成功传输的任何非零概率，在所提出的一类政策的滚动时域实施下，闭环工厂的状态都是均方有界的。
2017-06-06 math.OC
Data-driven Estimation of the Algebraic Riccati Equation for the Discrete-Time Inverse Linear Quadratic Regulator Problem
针对未知离散时间系统，提出直接从观测数据估计代数Riccati方程的方法，无需系统辨识，利用先验信息减少数据需求，并通过数值实验验证其高效性。
2024-02-09 cs.SY eess.SY math.OC
The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint
University of California, Berkeley（加利福尼亚大学伯克利分校）
基于模型与无模型方法的有效性是强化学习（RL）中一个长期存在的问题。受最近RL在连续控制任务上的经验成功的启发，我们研究了线性二次调节器（LQR）上流行的基于模型和无模型算法的样本复杂度。我们表明，对于政策评估，一个简单的基于模型的插件方法需要渐近更少的样本比经典的最小二乘时间差（LSTD）估计，以达到相同的质量的解决方案，这两种方法之间的样本复杂性差距可以至少是一个因素的状态维度。对于政策评估，我们研究了一个简单的家庭的问题的情况下，表明标称（确定性等价原则）控制也需要几个因素的状态和输入维更少的样本比策略梯度方法，以达到相同的水平，这些情况下的控制性能。此外，即使采用常用的基线，差距仍然存在。据我们所知，这是第一个理论结果，它表明了分离的样本复杂性之间的基于模型的方法和无模型的连续控制任务。
2019-02-03 cs.LG math.OC stat.ML
Safe Adaptive Learning-based Control for Constrained Linear Quadratic Regulators with Regret Guarantees
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；SEAS Harvard University（哈佛大学工程与应用科学学院）
研究了具有二次型代价函数的未知线性系统的自适应控制问题。这个问题的挑战来自于安全、探索、性能和计算之间的紧张关系。为了解决这些挑战，我们提出了一个多项式时间的算法，保证可行性和约束满足在适当的条件下具有高概率。我们的算法是在一个单一的轨迹上实现的，不需要系统重新启动。此外，我们分析了遗憾的学习算法相比，最优安全的线性控制器与已知的模型信息。所提出的算法可以实现一个$\tilde O(T^{2/3})$遗憾，其中$T$是阶段的数量和$\tilde O(\cdot)$吸收一些对数项的$T$。
2021-10-31 cs.LG cs.SY eess.SY
Data-enabled Policy Optimization for the Linear Quadratic Regulator
针对线性二次型调节器（LQR）中策略优化数据需求过大的问题，提出数据使能策略优化（DeePO）方法，利用持续激励数据计算策略梯度并证明其全局收敛性，同时通过正则化增强控制器鲁棒性。
2023-09-15 cs.SY eess.SY math.OC
Risk-Constrained Linear-Quadratic Regulators
我们提出了一个新的风险约束的标准线性二次型调节器（LQR）问题的重新制定。我们的框架是出于这样一个事实，即经典的（风险中性）LQR控制器，虽然在预期中是最优的，可能是无效的，在相对罕见的，但统计上显着的（风险）事件。为了有效地在平均和极端事件性能之间进行交易，我们引入了一个新的风险约束，该约束通过用户指定的水平明确限制了状态惩罚的总预期预测方差。我们表明，在相当小的条件下的过程噪声（即，有限的四阶矩），最优的风险感知控制器可以显式地评估，并在封闭的形式。事实上，它是仿射的状态，并始终是内部稳定的参数调整无关。我们新的风险感知控制器：i）通过利用噪声的三阶矩（偏斜度）将状态推离噪声呈现重尾的方向; ii）在噪声协方差和状态惩罚两者同时大的风险方向上膨胀状态惩罚。建议的风险意识LQR框架的属性也说明了通过指示性的数值例子。
2020-10-29 cs.SY eess.SY math.OC
