A Moreau Envelope Approach for LQR Meta-Policy Estimation
Centre for Systems and Control, IIT Bombay(印度理工学院孟买分校系统与控制中心);Rice University(莱斯大学)
针对离散时间线性时不变不确定系统的LQR策略估计问题,提出基于莫罗包络的代理LQR代价函数与求近似一阶驻点的算法,性能优于朴素平均法且样本复杂度优于MAML方法。
2024-10-07 cs.LG cs.SY eess.SY
Revisiting LQR Control from the Perspective of Receding-Horizon Policy Gradient
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究从滚动时域策略梯度(RHPG)视角重新审视离散时间LQR问题,给出RHPG的细粒度样本复杂度分析,验证其无需初始稳定策略即可学习近最优稳定策略,并论证了RHPG在线性控制与估计领域的普遍适用性。
2024-01-31 cs.AI cs.LG cs.SY
Training Dynamics and Induced Preconditioning of ReLU Policy Gradient for Scalar LQR
Rice University(莱斯大学)
研究基于模型的策略梯度在确定性、标量、折扣线性二次调节中的收敛性,针对无偏单隐藏层ReLU网络控制器,通过有效增益分析证明在合适初始化、宽度和小步长下策略梯度稳定且能几何收敛至最优LQR增益。
2026-09-29 cs.SY eess.SY math.OC
Split optimal policy iteration for LQR problems
本技术报告关注耦合LQR问题的分裂最优策略迭代的收敛特性;见手稿第3.1节。有趣的是,迭代显示了连续和离散时间系统的不同收敛行为:虽然整体收敛在两种情况下都成立,但连续时间情况下我们有局部平方收敛,但离散时间情况下只有线性收敛-即使当子系统之间的耦合消失时,平方收敛仍保持在极限。
2014-04-21 math.OC
Convergence and Sample Complexity of Policy Gradient Methods for Stabilizing Linear Systems
本文研究了策略梯度方法稳定线性时不变系统的收敛性与样本复杂度,提出基于折扣LQR交替更新策略与折扣因子的方法,并证明其样本复杂度仅略增对数项。
2023-09-14 cs.SY eess.SY math.OC
Hidden Star-Convexity in Policy Optimization for Gain-Scheduled LQR: Extended Version
该研究针对增益调度LQR策略优化,建立了代价关于极小值点的星形凸性恒等式,明确了收敛的无量纲比率阈值,通过实验验证了阈值为代价景观的活跃边界,扩展版本补充了完整证明和数值研究。
2026-08-04 cs.SY eess.SY math.OC
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);Google DeepMind(谷歌DeepMind)
线性二次型调节器(LQR)是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略,近年来,在强化学习场景(如无模型或基于模型的设置)方面,LQR被重新审视和分析。在本文中,我们介绍了\textit{Structured Policy Iteration}(S-PI)的LQR,一种方法能够推导出一个结构化的线性政策。这种具有(块)稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势:更可解释,内存效率更高,并且非常适合分布式设置。为了得到这样的政策,我们首先铸造一个正则化的LQR问题时,模型是已知的。然后,我们的结构化策略迭代(S-PI)算法,它需要一个策略评估步骤和策略改进步骤,在迭代的方式,可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下,我们证明了在适当的参数选择下的收敛性分析。最后,通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Robust Policy Iteration for Continuous-time Linear Quadratic Regulation
研究了连续时间无限时域线性二次调节(LQR)问题中策略迭代的鲁棒性。结果表明,Kleinman策略迭代算法对小扰动具有内在的鲁棒性,并具有Sontag意义下的局部输入到状态稳定性.更准确地说,每当在每次迭代中的扰动引起的输入项是有界的和小的,策略迭代算法的解决方案也是有界的,并进入LQR问题的最优解的一个小邻域。在此基础上,当系统动态受到小的加性未知有界扰动时,LQR问题的非策略数据驱动策略迭代算法是鲁棒的。数值算例验证了理论分析的正确性。
2020-08-31 cs.NA cs.SY eess.SY
Learning robust control for LQR systems with multiplicative noise via policy gradient
Control, Optimization, and Networks lab, UT Dallas(控制、优化与网络实验室,UT Dallas);Delft Center for Systems and Control, TU Delft(代尔夫特系统与控制中心,TU Delft)
本文研究了具有乘性噪声的LQR系统,通过策略梯度方法实现鲁棒控制,证明了在非凸成本函数下策略梯度算法的全局收敛性。
2020-05-01 cs.LG cs.SY eess.SY
Power-Constrained Policy Gradient Methods for LQR
本文研究在平均功率约束和噪声信道下,利用策略梯度求解未知系统矩阵的LQR问题,提出最优功率分配算法以最小化期望最优性误差上界,并证明自适应功率分配相比均匀功率分配能提升收敛速率。
2025-07-21 math.OC
Meta-Learning Linear Quadratic Regulators: A Policy Gradient MAML Approach for Model-free LQR
Columbia University(哥伦比亚大学)
研究多任务异构无模型环境下的 LQR 学习问题,提出基于策略梯度的 MAML-LQR 算法,证明了其在有模型和无模型场景下的稳定性、个性化保证及线性收敛速率,实现了对未知任务的高效适应。
2024-05-31 cs.LG math.OC
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York(纽约市哥伦比亚大学)
本文针对无模型LQR问题,提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法,将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
The Power of Linear Controllers in LQR Control
Caltech(加州理工学院)
线性二次型调节器(LQR)框架考虑了受环境噪声干扰的线性动力系统的调节问题。我们计算三种不同的控制策略之间的政策遗憾:i)最优的在线政策,其线性结构由Ricatti方程给出; ii)最优的离线线性政策,这是最好的线性状态反馈政策的噪声序列;和iii)最优的离线政策,它选择全局最优控制行动的噪声序列。我们充分刻画了最优离线策略,并表明它具有递归形式的最优在线策略和未来的干扰。我们还表明,成本的最佳离线线性政策收敛到成本的最佳在线政策的时间跨度变大,因此,最佳离线线性政策招致线性遗憾相对于最佳离线政策,即使在乐观的设置中,噪声是从一个已知的分布独立同分布。虽然我们专注于设置噪声是随机的,我们的研究结果也意味着新的下界的政策遗憾时,可实现的噪声是由自适应对手。
2020-02-07 cs.LG math.OC
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University(纽约大学)
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说,我们重新审视离散时间线性二次调节(LQR)的基准问题,并研究长期存在的开放问题:在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看?利用控制理论中的先进稳定性结果,证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性,并且具有小干扰输入-状态稳定性:只要每次迭代中的误差有界且小,策略迭代算法的解也有界,并且进入并停留在最优LQR解的一个小邻域内.作为应用,当系统动态受到加性随机干扰时,提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
Analyzing the Impact of Computation in Adaptive Dynamic Programming for Stochastic LQR Problem
本文研究了自适应动态规划在随机LQR问题中计算误差对控制性能的影响,发现采样周期显著影响算法收敛性,并证明了使用Euler-Maruyama方法的收敛率为O(h)。
2024-02-14 cs.SY eess.SY math.OC
Policy Evaluation in Distributional LQR
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Oxford(牛津大学);Technical University of Munich(慕尼黑工业大学);Duke University(杜克大学)
分布式强化学习(DRL)通过让代理学习随机回报的分布,而不是标准RL中的期望值,增强了对环境中随机性影响的理解。与此同时,DRL的一个主要挑战是,DRL的政策评估通常依赖于回报分布的表示,这需要仔细设计。在本文中,我们解决这一挑战的一类特殊的DRL问题,依赖于线性二次调节器(LQR)的控制,倡导一种新的分布式方法,我们称之为\emph{distributional LQR}的LQR。具体来说,我们提供了一个封闭形式的随机回报率的分布,值得注意的是,是适用于所有的外源性干扰的动态,只要它们是独立的,同分布(i.i.d.)。虽然建议的确切回报分布由无穷多个随机变量,我们表明,这个分布可以近似由有限数量的随机变量,和相关的近似误差可以在温和的假设下解析有界。利用近似的收益分布,我们提出了一个零阶的政策梯度算法的风险厌恶的LQR使用的条件风险价值(CVaR)作为风险的度量。数值实验来说明我们的理论结果。
2023-03-23 cs.LG math.OC
Primal-dual policy learning for mean-field stochastic LQR problem
Shandong University of Science and Technology(山东科技大学);City University of Hong Kong(香港城市大学)
本文提出基于对偶优化的策略学习方法,用于解决均值场随机线性二次调节问题,通过构建非凸约束优化问题并结合广义李雅普诺夫方程,实现部分模型无关的控制器设计。
2025-12-09 math.OC
Separation is Optimal for LQR under Intermittent Feedback
本文证明了在独立同分布零均值扰动下,通信受限LQR问题中分离原理成立,并展示了最优调度策略为基于累积扰动的对称阈值规则,控制器为与调度策略无关的折扣线性反馈律。
2026-06-27 cs.IT cs.MA cs.RO
LQR with Tracking: A Zeroth-order Approach and Its Global Convergence
Harvard University(哈佛大学)
无模型线性二次型调节器(LQR)问题的理论研究取得了很大的进展。当目标是使状态接近于零目标时的特殊情况已经引起了很大的注意。在这项工作中,我们考虑的一般情况下,允许的目标是任意的,我们称之为LQR跟踪问题。我们研究了这个问题的优化景观,并表明,类似于零目标LQR问题,LQR跟踪问题也满足梯度优势和局部光滑性质。这使我们能够开发一个零阶策略梯度算法,实现整体收敛。我们支持我们的论点与数值模拟上的线性系。
2021-04-12 cs.LG cs.SY eess.SY
Harnessing Data from Clustered LQR Systems: Personalized and Collaborative Policy Optimization
Department of Electrical and Computer Engineering(电气与计算机工程系);North Carolina State University(北卡罗来纳州立大学);The Elmore Family School of Electrical and Computer Engineering(埃尔莫尔家族电气与计算机工程学院);Purdue University(普渡大学)
本文提出一种基于聚类的LQR系统策略优化方法,通过同时进行聚类和学习,为每个聚类生成个性化策略,提高样本效率并避免次优问题。
2025-11-21 cs.LG cs.SY eess.SY
Optimistic Online LQR via Intrinsic Rewards
ETH Zürich(苏黎世联邦理工学院)
本文提出IR-LQR算法,通过内在奖励和方差正则化提升不确定性驱动探索,实现最优最坏情况后悔率√T,实验验证其在飞行器pitch角控制中的有效性。
2026-08-24 cs.LG cs.SY eess.SY
On Uninformative Optimal Policies in Adaptive LQR with Unknown B-Matrix
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文给出了自适应线性二次型调节器(LQR)的局部渐近极小极大遗憾下界。我们认为affiliate参数化的$B$ -矩阵和已知的$A$ -矩阵,并旨在了解当对数后悔是不可能的,即使在存在结构边信息。在定义了Fisher信息的奇异性条件下的无信息最优策略的内在概念之后,我们通过诉诸van Trees不等式(Bayesian Cramér-Rao)和二次型(Bellman误差)的遗憾表示来获得LQR的这种无信息实例的局部极小极大遗憾下界。结果表明,如果参数化导致一个无信息的最优策略,对数后悔是不可能的,在时间范围内的速率至少是平方根的顺序。我们明确地描述了一个无信息的最优策略的概念系统理论量的零空间和特定的实例参数化。
2021-04-30 cs.LG math.OC stat.ML
Learning Stabilizing Controllers of Linear Systems via Discount Policy Gradient
稳定性是系统综合最基本的要求之一。本文利用策略梯度(PG)方法研究了未知线性系的镇定问题。我们利用PG的一个关键特性用于线性二次型调节器(LQR),即,该策略在初始策略成本有限的情况下,沿下降方向使策略远离不稳定区域的边界。为此,我们折扣的LQR成本的一个因素,自适应地增加梯度导致的政策,同时保持有限的成本稳定集。基于李雅普诺夫理论,我们设计了一个更新规则的折扣因子,可以直接计算出的数据,使我们的方法纯粹的无模型。最近的工作相比,\citep{perdomo2021stabilizing},我们的算法允许的政策,每个折扣因子只更新一次。此外,对于期望的精度$ε$,用于梯度下降的采样轨迹的数量和模拟时间被显著地减少到$\mathcal{O}(\log(1/ε))$。最后,我们进行模拟的小规模和大规模的例子,以显示我们的折扣PG方法的效率。
2021-12-17 cs.SY eess.SY math.OC
Ergodic-Risk Constrained Policy Optimization: The Linear Quadratic Case
本文提出遍历风险约束策略优化,将遍历风险准则引入LQR框架,并用原始-对偶方法在满足风险约束下优化平均性能,提升闭环系统对重尾过程噪声波动的鲁棒性。
2025-02-10 cs.SY eess.SY math.OC
Model-free Learning with Heterogeneous Dynamical Systems: A Federated LQR Approach
Columbia University(哥伦比亚大学);North Carolina State University(北卡罗来纳州立大学)
本文提出FedLQR算法,解决异构动态系统的无模型联邦LQR问题,实现稳定公共策略学习并降低样本复杂度。
2026-09-29 math.OC
Policy Gradient-based Algorithms for Continuous-time Linear Quadratic Control
我们考虑连续时间线性二次型调节器(LQR)问题,在反馈增益集上优化实值矩阵函数。所得结果与Bu等人[1]中离散时间LTI系统的结果一致。在这个方向上,我们描述了几个分析性质(平滑度,二次增长),这是至关重要的基于梯度的算法的分析。我们还指出了连续时间设置的相似之处和独特的功能相比,其离散时间模拟。首先,我们研究了三种类型的适定性流直接政策更新的LQR:梯度流,自然梯度流和拟牛顿流。相应的代价函数的强制属性表明,这些流量承认唯一的解决方案,而梯度占主导地位的属性表明,底层的李雅普诺夫泛函衰减指数率;二次增长的另一方面,保证这些流量的轨迹是指数稳定的意义上的李雅普诺夫。然后,我们讨论了这些流的前向欧拉离散化,实现为梯度下降,自然梯度下降和拟牛顿迭代。我们提出了梯度下降和自然梯度下降的步长标准,保证这两种算法线性收敛到全局最优。还提出了拟牛顿迭代的最佳步长,保证了$Q$ -二次收敛速度-同时-恢复Kleinman-Newton迭代。最后,我们研究了LQR状态反馈综合与稀疏模式。在这种情况下,我们为投影梯度下降开发了必要的形式主义和见解,使我们能够保证收敛到一阶稳定点的次线性速度。
2020-06-12 cs.SY eess.SY math.OC
Gradient Dominance in the Linear Quadratic Regulator: A Unified Analysis for Continuous-Time and Discrete-Time Systems
University of California San Diego(加州大学圣地亚哥分校)
本文提出了一种统一的梯度主导性性质,适用于连续时间和离散时间LQR系统,在温和的稳定性和可检测性假设下,揭示了两种动态之间的结构对称性。
2026-02-26 cs.SY eess.SY math.OC
Data-enabled Policy Optimization for the Linear Quadratic Regulator
针对线性二次型调节器(LQR)中策略优化数据需求过大的问题,提出数据使能策略优化(DeePO)方法,利用持续激励数据计算策略梯度并证明其全局收敛性,同时通过正则化增强控制器鲁棒性。
2023-09-15 cs.SY eess.SY math.OC
(Cheap) Stochastic Policy Gradient Converges with High Probability for Linear Quadratic Regulator
Texas A&M University(德克萨斯农工大学)
研究随机策略梯度方法在线性二次调节器问题中的高概率收敛性,提出廉价方法,每次迭代仅需少量交互,且交互次数对置信度呈多对数依赖,具有推广潜力。
2026-09-18 math.OC
Global Convergence of Policy Gradient Algorithms for Indefinite Least Squares Stationary Optimal Control
我们考虑不定最小二乘平稳最优控制的策略梯度算法,例如,具有不定状态和输入惩罚矩阵的线性二次型调节器(LQR)。这样的设置在具有冲突目标的控制设计中具有重要的应用,例如线性二次动态博弈。我们证明了这类不定最小二乘问题的梯度、自然梯度和拟牛顿策略的整体收敛性。
2020-02-10 cs.SY eess.SY math.OC
A Data-Enabled Primal-Dual Approach for Policy Learning with SDP Formulations
Automatic Control Laboratory (IfA), ETH Zürich(苏黎世联邦理工学院自动控制实验室)
提出一种数据驱动的原始-对偶框架,通过在线数据学习未知线性离散系统的最优控制策略,利用轻量级原始-对偶迭代更新策略,适用于LQR、H∞控制和安全关键控制等目标。
2026-07-02 cs.SY eess.SY math.OC
Policy Evaluation in Distributional LQR (Extended Version)
本文针对折扣线性二次调节器(LQR)的分布型强化学习问题,推导了随机回报分布的闭式表达式,证明了其方差有界性及对模型扰动的敏感性,并提出了有限随机变量近似与无模型估计方法,最后扩展至部分可观测系统。
2024-03-23 math.OC
Small-Disturbance Input-to-State Stability of Perturbed Gradient Flows: Applications to LQR Problem
该研究针对数据驱动优化中梯度估计误差等扰动问题,证明了满足条件的非线性规划扰动梯度流具备小扰动输入-状态稳定性,并验证了标准、自然、牛顿三种梯度流算法在LQR问题策略优化中的鲁棒性。
2024-04-16 cs.SY eess.SY math.OC
Data-Driven Continuous-Time LQR: Linking Reinforcement Learning and Behavioral System Theory
Institute of Control Systems, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院控制系统研究所)
本文研究了基于闭环和积分强化学习参数化的数据驱动连续时间线性二次调节器问题,提出数据驱动的连续时间代数黎卡提方程和凸优化方法。
2026-11-09 cs.SY eess.SY math.OC
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley(加州大学伯克利分校)
我们研究了线性二次调节器(LQR)的近似策略迭代(PI)的样本复杂性,建立在最近的工作线上,使用LQR作为测试平台,以了解强化学习(RL)算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系,并认为政策评估是样本复杂性的主导因素。具体而言,我们表明,要获得一个控制器,最优的LQR控制器的$\varepsilon$内,每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本,其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面,只有$\log(1/\varepsilon)$策略改进步骤就足够了,导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程,并获得$T^{2/3}$遗憾,改善后,最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
Remarks on the Polyak-Lojasiewicz inequality and the convergence of gradient systems
Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院)
本文推广了Polyak-Lojasiewicz不等式(PLI),分析了不同变体对梯度流收敛行为的影响,并证明CT-LQR策略优化问题无法满足最强形式的PLI。
2025-03-31 cs.AI cs.SY eess.SY
Linear Dynamics meets Linear MDPs: Closed-Form Optimal Policies via Reinforcement Learning
针对电力系统等领域中动态系统与难建模随机环境交互的问题,结合线性二次调节器(LQR)和线性马尔可夫决策过程(MDPs)框架,推导闭式最优策略并提供稳定性保证与样本复杂度分析,数值示例验证其有效性。
2025-08-24 cs.SY eess.SY math.OC
Linear Convergence of Data-Enabled Policy Optimization for Linear Quadratic Tracking
本研究将数据驱动策略优化(DeePO)框架拓展至带离线数据的线性二次跟踪问题,通过策略协方差参数化得到数据驱动表述,用梯度下降迭代求解最优策略,证明了该迭代的线性收敛性并经数值实验验证,为直接自适应LQT研究奠定基础。
2024-10-08 cs.SY eess.SY math.OC
A New Approach to the Data-Driven Output-Based LQR Problem of Continuous-Time Linear Systems
本文针对连续时间线性系统的数据驱动输出反馈LQR问题,提出一种基于辅助系统的新方法,消除了未知参数化矩阵的秩条件限制,并通过减少线性方程未知变量数量提高计算效率,同时将PI和VI算法推广到Riccati方程仅存在唯一半正定解的情形。
2025-09-23 math.OC
On the Robustness of Derivative-free Methods for Linear Quadratic Regulator
本文研究未知动态下无限时域LQR问题中无导数策略优化方法的鲁棒性,证明小扰动下可收敛至最优策略邻域,并给出扰动显式界与样本复杂度。
2025-06-14 math.OC
Revisiting Strong Duality, Hidden Convexity, and Gradient Dominance in the Linear Quadratic Regulator
University of California San Diego(加州大学圣地亚哥分校)
本文通过原始-对偶分析和凸重构,结合Riccati方程、SDP对偶及扩展凸提升框架,重新审视LQR中强对偶性、梯度优势和全局最优性,明确了其成立条件并扩展了梯度优势的表征。
2026-09-24 math.OC
Rate-Optimal Regret for the Safe Learning-based Control of the Constrained Linear Quadratic Regulator
Department of Electrical and Computer Engineering, University of California Santa Barbara(加州大学圣芭芭拉分校电气与计算机工程系)
研究了具有时间步必须满足的约束的随机线性二次调节器(LQR)自适应控制问题,提出通过SDP选择乐观策略并进行缩放以确保安全,证明了在约束LQR设置中可实现O(√T)的后悔和概率约束。
2026-05-07 cs.LG math.OC
Infinite-horizon Risk-constrained Linear Quadratic Regulator with Average Cost
随机动力系统的行为可能在很大程度上受到这些低概率但极端事件的影响。为了解决这种情况,本文提出了一种具有时间平均成本的无限时域风险约束线性二次型调节器(LQR)框架。除了标准的LQR目标,状态惩罚的平均一阶段预测方差被限制在用户指定的水平内。通过利用对偶性,它的最优解首先被证明在状态中是平稳的和仿射的,即,$u(x,λ^*) = -K(λ^*)x + l(λ^*)$,其中$λ^*$是用于解决风险约束的最优乘数。然后,我们建立所得到的闭环系统的稳定性。此外,我们提出了一个原始-对偶方法与次线性收敛速度找到一个最优的政策$u(x,λ^*)$。最后,数值例子证明了所提出的框架和原始-对偶方法的有效性。
2021-03-29 cs.SY eess.SY math.OC
Escaping High-order Saddles in Policy Optimization for Linear Quadratic Gaussian (LQG) Control
一阶策略优化在强化学习中有着广泛的应用。它保证了状态反馈线性二次型调节器(LQR)的最优策略。然而,政策优化的性能仍然不清楚的线性二次高斯(LQG)控制的LQG成本有虚假的次优平稳点。在本文中,我们引入了一种新的扰动策略梯度(PGD)方法,以逃避一大类坏的稳定点(包括高阶鞍)。特别是,基于LQG的特定结构,我们引入了一种新的重新参数化过程,将高阶鞍点转换为严格鞍点,从而有效地逃避PGD中的标准随机扰动。我们进一步刻画了高阶鞍,可以逃脱我们的算法。
2022-04-02 cs.SY eess.SY math.DS
On the Global Optimality of Direct Policy Search for Nonsmooth $H_\infty$ Output-Feedback Control
本文研究了输出反馈系统非光滑 $H_\infty$ 鲁棒控制中直接策略搜索的全局最优性,证明非退化稳定控制器的所有 Clarke 平稳点均全局最优且无虚假局部极小值。
2023-04-03 math.OC
Policy Transfer for Continuous-Time Reinforcement Learning: A (Rough) Differential Equation Approach
UC Berkeley, IEOR(伯克利大学,工业工程与运筹学系)
本文提出了一种基于粗糙路径理论的连续时间强化学习策略迁移方法,通过利用高斯结构和黎卡提方程的稳定性,实现了策略迁移的理论证明,并提出了新的策略学习算法,实现了全局和局部收敛。
2026-03-03 cs.LG math.OC
Duality-Based Stochastic Policy Optimization for Estimation with Unknown Noise Covariances
控制和估计的双重性允许将数据引导控制的最新进展映射到估计设置。本文形式化,并利用这样的映射,考虑学习的最佳(稳态)卡尔曼增益过程和测量噪声统计是未知的。具体而言,建立在合成最优控制和估计增益之间的对偶性,滤波器设计问题被形式化为直接策略学习。在这个方向上,对偶性是用来扩展现有的理论保证的直接政策更新线性二次型调节器(LQR)建立全局收敛的梯度下降(GD)算法的估计问题-同时解决两个合成问题之间的细微差别。随后,采用随机梯度下降(SGD)方法来学习最优卡尔曼增益,而无需噪声协方差的知识。通过几个数值例子说明了结果。
2023-03-06 cs.SY eess.SP eess.SY
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略优化(PO)是强化学习(RL)的关键组成部分。对于控制设计,通常对策略施加某些约束以进行优化,考虑系统的稳定性,鲁棒性或安全性问题。因此,PO在大多数情况下本质上是一个约束(非凸)优化,其整体收敛通常很难分析。更重要的是,一些安全关键的约束,例如,保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近,政策梯度法已被证明收敛到线性二次型调节器(LQR)的全局最优值,一个经典的最优控制问题,没有正则化/投影的控制迭代到稳定集,其(隐式)的可行集。这个惊人的结果是建立在成本的强制属性上的,确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性,即,成本在可行集边界附近可能具有有限值,打破了现有的LQR分析。有趣的是,我们证明了两种PO方法具有隐式正则化性质,即,迭代保持$\mathcal{H}_\infty$鲁棒性约束,就好像它们被算法正则化一样。此外,尽管问题的非凸性,我们表明,这些算法收敛到全局最优的政策与全局次线性率,避免所有次优驻点/局部极小值,并与局部(超)线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY
Discounted LQR: stabilizing (near-)optimal state-feedback laws
针对折扣因子较小时最优LQR控制器无法镇定离散线性时不变系统的问题,提出基于最优值函数的稳定性充分条件,以及基于LMI和策略迭代变体的可镇定近最优状态反馈律设计方法。
2025-09-03 math.OC
Direct Adaptive Control of Grid-Connected Power Converters via Output-Feedback Data-Enabled Policy Optimization
本文提出一种仅利用在线输入输出数据的输出反馈数据驱动策略优化(DeePO)方法,将输出反馈控制重构为状态反馈LQR问题,实现并网功率变换器的自适应稳定控制。
2025-04-08 cs.SY eess.SY math.OC
Model-free Learning for Risk-constrained Linear Quadratic Regulator with Structured Feedback in Networked Systems
针对无限时域线性二次型调节器(LQR)问题,提出了一种无模型学习算法。具体而言,(风险)约束和结构化的反馈被认为是为了减少状态偏差,同时允许在实践中的稀疏通信图。通过将对偶问题转化为一个非凸-凹极大极小问题,我们采用梯度下降极大预言(GDmax),对于无模型设置,使用零阶策略梯度的随机(S)GDmax。通过使用特定定义的子水平集来限制LQR成本的Lipschitz和平滑常数,我们可以设计步长和相关参数以建立收敛到平稳点(以高概率)。在网络化微电网控制问题中的数值试验验证了我们提出的SGDmax算法的收敛性,同时证明了风险约束的有效性。与经典的LQR控制相比,SGDmax算法获得了令人满意的最优性间隙,特别是对于全反馈情况。
2022-04-04 math.OC
A homotopic approach to policy gradients for linear quadratic regulators with nonlinear controls
研究了在连续状态空间和动作空间中,当搜索空间不局限于线性策略族时,线性二次型调节器(LQR)问题的确定性策略梯度算法的收敛性.我们首先提供了一个反例表明,扩展策略类分段线性函数的结果在局部极小的策略梯度算法。为了解决这个问题,我们开发了一种新的方法,包括顺序增加原始策略梯度算法的迭代之间的折扣因子。最后,我们证明了这种同伦变体的政策梯度法收敛到全局最优值的非贴现线性二次调节器问题的一大类Lipschitz,非线性政策。
2021-12-14 math.OC
Direct Data-Driven Discounted Infinite Horizon Linear Quadratic Regulator with Robustness Guarantees
针对随机线性系统LQR控制,本文提出基于Bellman不等式的单次自适应动态规划数据驱动方法,可直接学习控制增益和值函数,并在噪声下保证鲁棒稳定与次优性能。
2024-10-25 cs.SY eess.SY math.OC
A Fully Data-Driven Value Iteration for Stochastic LQR: Convergence, Robustness and Stability
University of New Mexico(新墨西哥大学);Tandon School of Engineering, New York University(纽约大学坦登工程学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
本文研究了数据驱动控制中价值迭代算法在随机线性二次系统中的收敛性、鲁棒性和稳定性,提出无需初始控制策略的鲁棒自适应动态规划算法,并通过数据中心冷却和动态投资组合分配实验验证其有效性。
2026-03-17 math.OC