Episodic Linear Quadratic Regulators with Low-rank Transitions
Duke University（杜克大学）；UCLA（加州大学洛杉矶分校）
线性二次型调节器（LQR）在实际应用中取得了巨大的成功。近年来，人们一直致力于研究动态未知时LQR的有效学习算法。现有的结果有效地学习控制未知的系统使用多项式依赖于系统参数，包括环境维度的状态的情节的数量。然而，这些传统方法在常见情况下变得低效，例如，当状态是高分辨率图像时。在本文中，我们提出了一种算法，利用内在系统的低秩结构进行有效的学习。对于秩- $m$问题，我们的算法得到了$\widetilde{O}(m^{3/2} K^{1/2})$阶的$K$ -情节后悔界.因此，我们的算法的样本复杂度只取决于秩，$m$，而不是周围的维度，$d$，它可以是数量级更大。
2021-02-12 cs.LG
Regret Bounds for Robust Adaptive Control of the Linear Quadratic Regulator
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们考虑线性二次型调节器（LQR）的自适应控制，其中一个未知的线性系统被控制的二次成本。利用线性系统估计和鲁棒控制器综合方面的最新发展，我们提出了第一个可证明的多项式时间算法，该算法为该问题的次线性遗憾提供了高概率保证。我们进一步研究了遗憾最小化和参数估计之间的相互作用，通过证明任何算法使用的探索时间表的预期遗憾的下限。最后，我们进行了数值研究比较我们的鲁棒自适应算法的自适应LQR文献的其他方法，并证明了我们提出的方法的灵活性，将其扩展到一个需求预测问题的状态约束。
2018-05-23 cs.LG math.OC stat.ML
Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem
University of Southern California（南加州大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
无模型强化学习试图通过直接搜索控制器的参数空间来为未知的动力系统找到最优控制动作。由于底层最优化问题的非凸性质和缺乏精确的梯度计算，这些方法的收敛行为和统计特性往往知之甚少。在本文中，我们采取了一个步骤，以揭开神秘的性能和效率的方法，专注于标准的无限时域线性二次调节器问题的连续时间系统未知的状态空间参数。我们建立指数稳定的常微分方程（ODE），控制的梯度流动力学的一组稳定的反馈增益，并表明类似的结果适用于梯度下降法，所产生的相应的ODE的前向欧拉离散。我们还提供了理论界的收敛速度和样本复杂度的随机搜索方法与两点梯度估计。我们证明，实现$ε$所需的模拟时间-在无模型设置和功能评估的总数都规模为$\log \, (1/ε)$的准确性。
2021-03-15 cs.AI cs.LG cs.SY
Model-Free Learning for the Linear Quadratic Regulator over Rate-Limited Channels
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学电气与计算机工程系）；The Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文针对速率受限信道下的无模型LQR问题，提出自适应量化梯度下降（AQGD）算法，保证在阈值比特率以上实现指数快速收敛至全局最优策略，并展示了自适应量化在保持线性收敛速率中的优势。
2024-09-19 cs.LG cs.SY eess.SY
On the Sample Complexity of the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）；California Institute of Technology（加州理工学院）
本文讨论动态未知情况下的线性二次型调节器的最优控制问题。我们提出了一个多阶段的过程，称为粗ID控制，估计模型从几个实验试验，估计该模型中的错误相对于真理，然后设计一个控制器使用的模型和不确定性估计。我们的技术使用随机矩阵理论的当代工具来限制估计过程中的误差。我们还采用了最近开发的方法，控制合成称为系统级综合，使鲁棒控制设计通过解决一个凸优化问题。我们提供了端到端的控制成本的相对误差的界限，接近最佳的参数的数量，并突出了显着的性能的系统控制，如闭环灵敏度和最优控制幅度。我们的实验表明，粗ID的方法，使有效的计算稳定控制器的制度，简单的控制方案，不考虑模型的不确定性无法稳定的真实系统。
2018-12-13 cs.LG math.OC stat.ML
Learning the Linear Quadratic Regulator from Nonlinear Observations
Microsoft（微软）
我们引入了一个新的问题设置连续控制称为LQR丰富的观察，或RichLQR。在我们的设置中，环境由具有线性动力学和二次成本的低维连续潜在状态概括，但代理操作高维非线性观测，例如来自相机的图像。为了实现样本高效学习，我们假设学习器可以访问一类解码器函数（例如，神经网络），其足够灵活以捕获从观察到潜在状态的映射。我们引入了一个新的算法，RichID，它学习一个接近最优的政策，RichLQR与样本复杂度缩放只与潜在状态空间的维度和解码器功能类的容量。RichID是Oracle高效的，并且仅通过调用最小二乘回归Oracle来访问解码器类。我们的结果构成了第一个可证明的样本复杂性保证连续控制系统模型中的未知非线性和一般函数逼近。
2020-10-08 cs.LG math.OC math.ST
Accelerated Optimization Landscape of Linear-Quadratic Regulator
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
本文针对线性二次调节器（LQR）的非凸矩阵优化问题，提出一阶加速优化框架，分别为状态反馈和输出反馈LQR设计了具备最优收敛阶或更低复杂度的加速算法，并提供收敛性与二阶平稳性保证。
2024-04-14 cs.LG math.OC
On the Sample Complexity and Optimization Landscape for Quadratic Feasibility Problems
Arizona State University（亚利桑那州立大学）
我们考虑从$m$二次测量值$\{\langle A_i\mathbf{x}, \mathbf{x}\rangle\}_{i=1}^m$恢复复向量$\mathbf{x}\in \mathbb{C}^n$的问题。这个问题，被称为二次可行性，包括众所周知的相位恢复问题，并在广泛的重要领域，包括电力系统状态估计和X射线晶体学的应用。一般来说，二次可行性问题不仅NP-难解决，而且实际上可能无法识别。在本文中，我们建立了条件下，这个问题成为{可识别}，并进一步证明等距性质的情况下，矩阵$\{A_i\}_{i=1}^m$是厄米特矩阵采样的复高斯分布。此外，我们探讨了这个问题的非凸{优化}制定，并建立相关的优化景观，使梯度算法与任意初始化收敛到一个\emph{globally optimal}点的概率很高的显着特点。我们的研究结果还揭示了在这些情况下成功识别可行解决方案的样本复杂性要求。
2020-12-14 cs.IT cs.LG eess.SP
Beyond the Quadratic Approximation: the Multiscale Structure of Neural Network Loss Landscapes
Stanford University（斯坦福大学）；Peking University（北京大学）
神经网络损失景观的二次近似已被广泛用于研究这些网络的优化过程。虽然它通常在最小值的一个非常小的邻域内成立，但它不能解释在优化过程中观察到的许多现象。在这项工作中，我们研究了神经网络的结构损失函数和它的影响，在一个区域的优化超出了一个很好的二次近似。在数值上，我们观察到神经网络损失函数具有多尺度结构，表现在两个方面：（1）在最小值的邻域内，损失混合了连续的尺度，并以次二次的方式增长;（2）在更大的区域内，损失清楚地显示出几个独立的尺度。使用次二次增长，我们能够解释在梯度下降（GD）方法中观察到的稳定边缘现象[5]。利用分离尺度，通过简单的例子解释了学习率衰减的工作机理。最后，我们研究了多尺度结构的起源，提出模型的非凸性和训练数据的非均匀性是造成多尺度结构的原因之一。通过构造一个两层神经网络问题，我们表明，训练数据具有不同的幅度引起不同规模的损失函数，产生次二次增长和多个单独的规模。
2022-06-22 cs.LG
Quadratic integrate-and-fire neurons exhibit less fragmented loss landscapes and outperform leaky integrate-and-fire neurons in spike-based gradient descent
University of Bonn（波恩大学）；University of Tübingen（图宾根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过对比LIF和QIF神经元在Spiking Heidelberg Digits数据集上的表现，发现QIF神经元具有更平滑的损失景观和梯度，从而在脉冲神经网络训练中表现更优。
2026-06-02 cs.LG cs.NE
Imposing Robust Structured Control Constraint on Reinforcement Learning of Linear Quadratic Regulator
Pacific Northwest National Laboratory (PNNL)（太平洋西北国家实验室）
研究了状态矩阵未知的线性动态系统的结构反馈控制器的学习问题。控制器的结构约束是必要的许多信息物理系统，我们的方法提出了一个设计任何通用的结构，为分布式学习控制铺平了道路。强化学习（RL）的思想结合控制理论的充分稳定性和性能保证被用来开发的方法。首先，一个基于模型的框架，制定使用动态规划嵌入结构约束的线性二次型调节器（LQR）设置以及充分的鲁棒性条件。此后，我们将这些条件转化为基于数据驱动的学习框架-鲁棒结构化强化学习（RSRL），它在稳定性和收敛性方面具有控制理论保证。我们验证了我们的理论结果与模拟上的多智能体网络与6代理。
2021-02-19 cs.LG cs.SY eess.SY
Scalar Federated Learning for Linear Quadratic Regulator
University of California, Irvine（加州大学尔湾分校）；University of California, Los Angeles（加州大学洛杉矶分校）
ScalarFedLQR通过分解投影梯度机制，实现高效联邦学习LQR控制，降低通信开销，提升高维下的收敛速度与稳定性。
2026-10-05 cs.LG cs.SY eess.SY
Tsallis Entropy Regularization for Linear Quadratic Regulator and Kullback-Leibler Control
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文提出基于Tsallis熵的正则化方法用于线性二次调节器和Kullback-Leibler控制，推导出闭式解和高效算法，并展示了其在平衡探索与稀疏性方面的优势。
2026-09-22 cs.LG cs.SY eess.SY
Learning Stabilizing Controllers for Unstable Linear Quadratic Regulators from a Single Trajectory
ETH Zürich（苏黎世联邦理工学院）
控制动力系统的主要任务是保证系统的稳定性。当系统是未知的，鲁棒方法是有前途的，因为他们的目标是同时稳定一个大的合理的系统。本文研究二次型成本模型下的线性控制器，也称为线性二次型调节器（LQR）。我们提出了两种不同的半定方案（SDP），其结果是在一个控制器，稳定所有系统的椭球不确定性集。我们进一步证明了所提出的SDP的可行性条件是\emph{equivalent}。使用派生的鲁棒控制器综合，我们提出了一个有效的数据依赖算法- \textsc{eXploration} -，以高概率快速确定稳定控制器。我们的方法可以用来初始化现有的算法，需要一个稳定控制器作为输入，同时添加常数的遗憾。我们进一步提出了不同的算法，经验减少了步骤的数量由\textsc{eXploration}和减少所遭受的成本，同时寻找一个稳定的控制器。
2020-11-23 cs.LG cs.RO cs.SY
Model-Agnostic Zeroth-Order Policy Optimization for Meta-Learning of Ergodic Linear Quadratic Regulators
Tandon School of Engineering, New York University（纽约大学坦登工程学院）
本文提出一种模型无关的零阶元学习算法，用于遍历线性二次调节器，通过省略Hessian估计实现异构相似系统的有效优化，并给出收敛性证明与数值验证。
2024-05-27 cs.LG cs.SY eess.SY
Learning Linear-Quadratic Regulators Efficiently with only $\sqrt{T}$ Regret
Google Tel Aviv（谷歌特拉维夫）；Google Brain（谷歌大脑）；Tel-Aviv University（特拉维夫大学）
我们提出了第一个计算效率高的算法与$\widetilde O(\sqrt{T})$遗憾学习线性二次控制系统的动态未知。通过这一点，我们解决了Abbasi-Yadkori和Szepesvári（2011）以及Dean，Mania，Matni，Recht和Tu（2018）的一个未决问题。
2019-02-23 cs.LG stat.ML
Safe Adaptive Learning-based Control for Constrained Linear Quadratic Regulators with Regret Guarantees
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；SEAS Harvard University（哈佛大学工程与应用科学学院）
研究了具有二次型代价函数的未知线性系统的自适应控制问题。这个问题的挑战来自于安全、探索、性能和计算之间的紧张关系。为了解决这些挑战，我们提出了一个多项式时间的算法，保证可行性和约束满足在适当的条件下具有高概率。我们的算法是在一个单一的轨迹上实现的，不需要系统重新启动。此外，我们分析了遗憾的学习算法相比，最优安全的线性控制器与已知的模型信息。所提出的算法可以实现一个$\tilde O(T^{2/3})$遗憾，其中$T$是阶段的数量和$\tilde O(\cdot)$吸收一些对数项的$T$。
2021-10-31 cs.LG cs.SY eess.SY
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens
该研究针对参数未知的折扣离散时间线性二次调节器问题，从强化学习视角提出无需两点梯度估计的算法，实现了O~(1/ε)的样本复杂度，显著优于现有非两点梯度估计类方法的性能。
2025-06-16 cs.LG cs.SY eess.SY
Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）；Google Research（谷歌研究院）
我们考虑的任务是学习控制一个线性动态系统下固定的二次成本，被称为线性二次调节器（LQR）的问题。虽然无模型方法在实践中通常是有利的，但到目前为止，只有依赖于昂贵的系统辨识的基于模型的方法已被证明可以实现与时间范围T的最佳依赖性成比例的遗憾。我们提出了第一个无模型算法，实现了类似的遗憾保证。我们的方法依赖于一个有效的策略梯度计划，和一个新的和更严格的分析，在政策空间的探索在这种情况下。
2021-02-25 cs.LG stat.ML
Safely Learning to Control the Constrained Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了具有未知动态的约束线性二次型调节器，解决了数据驱动控制技术中安全性和探索性之间的紧张关系。我们提出了一个框架，它允许通过持续激励的系统辨识，同时保持安全，保证状态和输入约束的满足。该框架涉及到一种新的方法来合成鲁棒约束满足反馈控制器，利用新开发的工具，从系统级合成。我们将统计结果与成本次优界连接起来，以给出估计和控制器性能的非渐近保证。
2019-07-07 cs.LG math.OC stat.ML
Probabilistic Robust Linear Quadratic Regulators with Gaussian Processes
RWTH Aachen University（亚琛工业大学）；Ingenieurgesellschaft Auto und Verkehr (IAV)（IAV汽车与交通工程公司）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
高斯过程（GP）等概率模型是从数据中学习未知动力系统的有力工具，用于随后的控制设计。虽然基于学习的控制有可能在要求苛刻的应用中产生卓越的性能，但对不确定性的鲁棒性仍然是一个重要的挑战。由于贝叶斯方法量化了学习结果的不确定性，因此将这些不确定性纳入鲁棒设计是很自然的。与大多数考虑最坏情况估计的最先进方法相比，我们利用学习方法在控制器合成中的后验分布。其结果是在性能和鲁棒性之间实现了更明智、更有效的权衡。我们提出了一种新的控制器合成线性化GP动态，产生鲁棒控制器的概率稳定裕度。该公式是基于最近提出的线性二次型控制综合算法，我们扩展了概率鲁棒性保证的形式的可信界系统的stability.Comparison现有的方法的基础上最坏情况下和确定性等价设计显示优越的性能和鲁棒性所提出的方法。
2022-09-21 cs.LG cs.SY eess.SY
Deep Reinforcement Learning with Linear Quadratic Regulator Regions
University of California Los Angeles（加利福尼亚大学洛杉矶分校）
从业者通常依赖于计算密集型域随机化来确保在模拟中训练的强化学习策略可以稳健地转移到现实世界中。然而，由于真实系统中未建模的非线性，即使这样的模拟策略仍然不能足够稳定地执行以获得真实环境中的经验。在本文中，我们提出了一种新的方法，保证了一个稳定的吸引力区域的输出的政策训练模拟，即使是高度非线性系统。我们的核心技术是使用“偏置移位”神经网络来构造控制器并在模拟器中训练网络。修改后的神经网络不仅捕捉系统的非线性，但也可证明保持在一定区域的状态空间的线性，因此可以调整类似于一个线性二次调节器，已知是稳定的真实系统。我们已经测试了我们的新方法，将模拟政策的摆动倒立摆到真实系统，并证明了其有效性。
2020-02-26 cs.AI cs.LG cs.RO
Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator
University of Southern California（南加州大学）；T.U. Kaiserslautern（凯泽斯劳滕工业大学）
我们研究了REINFORCE策略梯度估计器在连续状态和动作空间、线性动态、二次成本和高斯噪声环境中的方差。这些简单的环境使我们能够根据环境和噪声参数推导出估计方差的界限。我们比较了我们的边界的预测模拟实验中的经验方差。
2019-10-02 cs.LG stat.ML
Rate-matching the regret lower-bound in the linear quadratic regulator with unknown dynamics
Department of Statistics, Harvard University（哈佛大学统计系）
强化学习的理论目前受到其经验性能与其性能的理论表征之间的不匹配的困扰，其后果是，例如，对样本效率、安全性和耐用性的理解。具有未知动态的线性二次型调节器是一种基本的强化学习设置，其动态和成本函数具有重要的结构，但即使在这种设置中，$Ω_p(\sqrt{T})$的最佳已知遗憾下限和$O_p(\sqrt{T}\,\text{polylog}(T))$的最佳已知上限之间也存在差距。本文的贡献是通过建立一个新的$O_p(\sqrt{T})$后悔上限来缩小这一差距。我们的证明是建设性的，因为它分析了一个具体的算法的遗憾，同时建立一个估计误差界上的动态$O_p(T^{-1/4})$这也是第一个匹配率的一个已知的下限。我们改进的证明技术的两个关键是（1）一个更精确的上限和下限的系统格拉姆矩阵和（2）的最优控制器的预期估计误差的自约束参数。
2022-02-11 cs.LG cs.SY eess.SY
On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator
Northwestern University（西北大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）
研究了线性二次型调节器的生成对抗模仿学习的全局收敛性，该问题被描述为极小极大优化问题。为了解决非凹凸几何所带来的挑战，我们分析了交替梯度算法，并建立了其Q-线性收敛到一个唯一的鞍点，同时恢复全局最优的策略和奖励函数。我们希望我们的结果可以作为理解和驯服模仿学习中的不稳定性的一小步，以及来自强化学习和生成对抗学习的更一般的非凸-凹交替极大极小优化。
2019-01-11 cs.AI cs.LG math.OC
Efficient Optimistic Exploration in Linear-Quadratic Regulators via Lagrangian Relaxation
Criteo AI Lab（Criteo人工智能实验室）；Facebook AI Research（Facebook人工智能研究院）
我们研究了线性二次型调节器（LQR）设置中的探索-开发困境。受有限MDP乐观算法中的扩展值迭代算法的启发，我们提出将\ofulq的乐观优化问题放松，并将其转化为一个约束\textit{extended} LQR问题，其中一个额外的控制变量隐式地选择系统动态在一个置信区间内.然后，我们移动到相应的拉格朗日公式，我们证明强对偶。结果表明，$ε$乐观控制器可以有效地通过求解最多$O\big(\log(1/ε)\big)$ Riccati方程来计算。最后，我们证明了放松原来的\ofu问题不影响学习性能，从而恢复\ofulq的$\tilde{O}(\sqrt{T})$遗憾。据我们所知，这是第一个计算效率高的信心为基础的算法LQR最坏情况下的最佳遗憾保证。
2020-07-13 cs.LG stat.ML
Policy Gradient Methods for Discrete Time Linear Quadratic Regulator With Random Parameters
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）
针对参数随时间独立同分布的离散时间线性二次控制问题，提出无需参数统计知识的策略梯度方法，证明状态次高斯性与全局线性收敛，并通过数值实验验证。
2024-03-01 cs.LG math.OC
Natural Actor-Critic Converges Globally for Hierarchical Linear Quadratic Regulator
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
多智能体强化学习已成功应用于许多具有挑战性的问题。尽管这些经验的成功，不同的算法的理论理解是缺乏的，主要是由于灾难的维数所造成的指数增长的状态动作空间的代理人的数量。研究了多智能体线性二次型调节器（LQR）的一个基本问题。在这种情况下，我们开发了一个分层的演员-评论家算法，其计算复杂性是独立的代理的总数，并证明了其全局线性收敛到最优策略。由于LQR经常被用来近似一般的动态系统，本文提供了一个重要的一步，更好地理解一般的分层平均场多智能体强化学习。
2021-12-24 cs.LG math.OC stat.ML
Latent Linear Quadratic Regulator for Robotic Control Tasks
University of Freiburg（弗赖堡大学）；EPFL（苏黎世联邦理工学院）；Kyoto University（京都大学）
本文提出隐式线性二次调节器（LaLQR），通过将状态空间映射到隐空间，使动态模型线性化并使成本函数二次化，从而高效应用LQR。实验表明其在效率和泛化能力上优于其他基线方法。
2026-04-21 cs.LG cs.RO
Logarithmic Regret for Learning Linear Quadratic Regulators Efficiently
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了过渡参数初始未知的线性二次型控制系统的学习问题。最近的结果表明，在这种情况下，有效的学习算法与遗憾的决策步骤的数量的平方根增长。我们提出了新的高效的算法，实现，也许令人惊讶的是，遗憾的是，规模只有（多）数学的步骤数在两种情况下：当只有状态转移矩阵$A$是未知的，当只有状态-动作转移矩阵$B$是未知的，最优策略满足一定的非退化条件。另一方面，我们给出了一个下界，表明当后一个条件被违反时，平方根后悔是不可避免的。
2020-07-01 cs.LG stat.ML
Least-Squares Temporal Difference Learning for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）已成功地用于解决许多连续控制任务。尽管其令人印象深刻的结果，但是，关于RL在连续问题上的样本复杂性的基本问题仍然是开放的。我们研究RL的性能，在这种情况下，考虑的行为最小二乘时间差（LSTD）估计的经典线性二次型调节器（LQR）的问题，从最优控制。我们给出了第一个有限时间分析的样本数量需要估计的价值函数为固定的静态状态反馈政策内$\varepsilon$ -相对误差。在推导结果的过程中，我们给出了沿快速混合随机过程样本路径形成的经验协方差矩阵的最小特征值集中于零以上时的一般特征，推广了Koltchinskii和Mendelson在独立协变量情形下的结果.最后，我们提供的实验证据表明，我们的分析正确地捕捉定性行为的LSTD在几个LQR实例。
2017-12-22 cs.LG stat.ML
Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: Generalized Baselines
Department of Statistics, Harvard University（哈佛大学统计系）
本文研究了带安全约束的线性二次调节器在线强化学习问题，提出了一个通用框架来分析非线性控制器基线，并证明了在特定噪声条件下可实现$\tilde{O}_T(\sqrt{T})$和$\tilde{O}_T(T^{2/3})$的遗憾界。
2025-04-29 cs.LG cs.SY eess.SY
On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）
尽管行动者-批评者算法在经验上取得了成功，但它的理论理解却落后了。在更广泛的背景下，演员评论家可以被视为一个在线交替更新算法的双层优化，其收敛性是众所周知的脆弱。为了理解行动者-批评者的不稳定性，我们将重点放在它在线性二次调节器中的应用上，这是强化学习的一个简单而基本的设置。在这种情况下，我们建立了一个非渐近收敛分析的演员批评。特别是，我们证明了演员-评论家找到一个全局最优的演员（政策）和评论家（行动-价值函数）的线性收敛速度。我们的分析可以作为一个完整的理论理解的两层优化与非凸子问题，这是NP-难的最坏情况下，往往是解决使用启发式算法的初步步骤。
2019-07-14 cs.LG math.OC stat.ML
Near-Optimal Distributed Linear-Quadratic Regulator for Networked Systems
Mathematics and Computer Science Division, Argonne National Laboratory（阿贡国家实验室数学与计算机科学部）；California Institute of Technology（加州理工学院）；Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了在线性二次控制设置中，去中心化程度与控制器性能之间的权衡。通过分析图上相互关联的智能体系统及一种称为κ-分布式控制的控制器，展示了在温和假设下，κ-分布式控制与集中最优控制的性能差异随κ指数级减小，表明适度去中心化可实现近最优性能。
2022-09-12 cs.LG cs.SY eess.SY
Global Convergence of Policy Gradient Methods for the Linear Quadratic Regulator
University of Washington（华盛顿大学）；Duke University（杜克大学）
用于强化学习和连续控制问题的直接策略梯度方法是一种流行的方法，原因有很多：1）它们很容易实现，无需明确了解底层模型; 2）它们是一种“端到端”方法，直接优化感兴趣的性能指标; 3）它们固有地允许丰富的参数化策略。一个显着的缺点是，即使在最基本的连续控制问题（线性二次调节器），这些方法必须解决一个非凸优化问题，其中很少有人了解他们的效率从计算和统计的角度。相比之下，系统辨识和基于模型的规划在最优控制理论有一个更坚实的理论基础，在那里知道很多关于他们的计算和统计特性。这项工作弥合了这一差距，表明（无模型）策略梯度方法全局收敛到最优解，是有效的（多项式，所以在相关的问题依赖量），其样本和计算复杂性。
2019-03-23 cs.LG stat.ML
Meta-Learning Linear Quadratic Regulators: A Policy Gradient MAML Approach for Model-free LQR
Columbia University（哥伦比亚大学）
研究多任务异构无模型环境下的 LQR 学习问题，提出基于策略梯度的 MAML-LQR 算法，证明了其在有模型和无模型场景下的稳定性、个性化保证及线性收敛速率，实现了对未知任务的高效适应。
2024-05-31 cs.LG math.OC
Policy Gradient Converges to the Globally Optimal Policy for Nearly Linear-Quadratic Regulators
University of Southern California（南加州大学）
本文研究部分信息下近线性二次调节器的强化学习最优策略问题，通过刻画代价函数在全局最优附近的局部强凸性与光滑性，并提出初始化机制和策略梯度算法，保证以线性速率收敛到全局最优策略。
2025-04-09 cs.LG math.OC stat.ML
Global Convergence of Two-timescale Actor-Critic for Solving Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）；The Ohio State University（俄亥俄州立大学）
演员-评论家（AC）强化学习算法已经成为许多具有挑战性的应用背后的动力。然而，总体而言，这种趋同是脆弱的。为了研究其不稳定性，现有的工作大多考虑不常见的双回路变体或基本模型，有限的状态和行动空间。我们研究了更实用的单样本两时标AC用于解决规范线性二次调节器（LQR）问题，其中演员和评论家在无界连续状态和动作空间上的每次迭代中仅更新一次。现有的分析不能得出这样一个具有挑战性的情况下的收敛。我们开发了一个新的分析框架，允许建立全球收敛到$ε$ -最佳的解决方案，最多一个$\mathcal{O}(ε^{-2.5})$样本的复杂性。据我们所知，这是第一个有限时间收敛性分析的单样本两时标AC求解LQR全局最优。样本复杂度按顺序提高了其他变体的复杂度，这揭示了单样本算法的实用智慧。我们还通过全面的模拟比较进一步验证了我们的理论研究结果。
2023-02-27 cs.LG
Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon
University of Oxford（牛津大学）
我们探讨强化学习方法，以寻找最佳的政策，在线性二次型调节器（LQR）的问题。特别地，我们考虑了策略梯度方法在已知和未知参数下的收敛性。我们能够产生一个全球性的线性收敛保证这种方法在有限的时间范围和随机状态动力学的设置下弱的假设。为了处理有约束的问题，还建立了投影策略梯度方法的收敛性。我们用两个例子说明了算法的性能。第一个例子是资产持有的最优清算。我们显示的情况下，我们假设一个模型的基本动力学，我们直接将该方法应用于数据的结果。经验证据表明，策略梯度方法可以学习全局最优解的一个较大的类随机系统包含LQR框架，它是更强大的模型误指定相比，基于模型的方法。第二个例子是在具有合成数据的高维设置中的LQR系统。
2021-06-23 cs.LG q-fin.ST
Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: $\sqrt{T}$-Regret
Department of Statistics, Harvard University（哈佛大学统计系）
本文研究未知动态的一维线性系统安全约束强化学习问题，提出了首个实现$\tilde{O}_T(\sqrt{T})$遗憾的安全算法，并引入截断线性控制器基准，证明了其最优控制器的连续性及受约束时更快的非线性学习速率。
2025-04-25 cs.LG cs.SY eess.SY
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了线性二次调节器（LQR）的近似策略迭代（PI）的样本复杂性，建立在最近的工作线上，使用LQR作为测试平台，以了解强化学习（RL）算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系，并认为政策评估是样本复杂性的主导因素。具体而言，我们表明，要获得一个控制器，最优的LQR控制器的$\varepsilon$内，每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本，其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面，只有$\log(1/\varepsilon)$策略改进步骤就足够了，导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程，并获得$T^{2/3}$遗憾，改善后，最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
QRnet: optimal regulator design with LQR-augmented neural networks
Naval Postgraduate School（美国海军研究生院）
本文提出了一种新的计算方法来设计高维非线性系统的最优调节器。所提出的方法利用物理信息机器学习来解决最优反馈控制中出现的高维Hamilton-Jacobi-Bellman方程。具体地说，我们增加线性二次调节器与神经网络来处理非线性。我们训练增强模型的数据生成而不离散的状态空间，使应用程序的高维问题。我们使用所提出的方法来设计一个不稳定的Burgers方程的候选最优调节器，并通过这个例子，证明改进的鲁棒性和准确性相比，现有的神经网络配方。
2020-11-16 cs.LG cs.SY eess.SY
Global Optimality of Single-Timescale Actor-Critic under Continuous State-Action Space: A Study on Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）
本文研究连续状态-动作空间下单时间尺度actor-critic求解LQR的全局最优性，证明其能以ε^{-2}量级样本复杂度达到ε-最优解，为理论与实践架起桥梁。
2025-05-02 cs.LG
The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint
University of California, Berkeley（加利福尼亚大学伯克利分校）
基于模型与无模型方法的有效性是强化学习（RL）中一个长期存在的问题。受最近RL在连续控制任务上的经验成功的启发，我们研究了线性二次调节器（LQR）上流行的基于模型和无模型算法的样本复杂度。我们表明，对于政策评估，一个简单的基于模型的插件方法需要渐近更少的样本比经典的最小二乘时间差（LSTD）估计，以达到相同的质量的解决方案，这两种方法之间的样本复杂性差距可以至少是一个因素的状态维度。对于政策评估，我们研究了一个简单的家庭的问题的情况下，表明标称（确定性等价原则）控制也需要几个因素的状态和输入维更少的样本比策略梯度方法，以达到相同的水平，这些情况下的控制性能。此外，即使采用常用的基线，差距仍然存在。据我们所知，这是第一个理论结果，它表明了分离的样本复杂性之间的基于模型的方法和无模型的连续控制任务。
2019-02-03 cs.LG math.OC stat.ML
Rate-Optimal Regret for the Safe Learning-based Control of the Constrained Linear Quadratic Regulator
Department of Electrical and Computer Engineering, University of California Santa Barbara（加州大学圣芭芭拉分校电气与计算机工程系）
研究了具有时间步必须满足的约束的随机线性二次调节器（LQR）自适应控制问题，提出通过SDP选择乐观策略并进行缩放以确保安全，证明了在约束LQR设置中可实现O(√T)的后悔和概率约束。
2026-05-07 cs.LG math.OC
Avoiding Spurious Local Minima in Deep Quadratic Networks
Stanford University（斯坦福大学）
尽管它们在实践中取得了成功，但由于这种模型的高维、非凸和高度非线性结构，对神经网络的损失景观的理论理解已被证明是具有挑战性的。在本文中，我们刻画了训练景观的均方误差损失的神经网络与二次激活函数。当神经元个数大于或等于输入维数，且训练样本的范数作为回归量时，证明了伪局部极小值和鞍点的存在，这些极小值和鞍点可以以概率1很容易地逃脱.我们证明了具有二次激活的深度超参数化神经网络也受益于类似的良好景观特性。我们的理论结果与数据分布无关，填补了现有的两层二次神经网络的理论空白。最后，我们实证证明这些问题的收敛到全局最小值。
2020-07-20 cs.LG math.OC stat.ML
