Stabilizability of parabolic equations by switching controls based on point actuators
针对非自治抛物型方程,本文提出基于有限个 Dirac delta 点执行器、每时刻至多激活一个的切换控制,并通过无限时域最优控制与滚动时域框架实现镇定。
2024-06-12 math.OC
A Hybrid Finite-Dimensional RHC for Stabilization of Time-Varying Parabolic Equations
研究了一类时变线性抛物型方程的有限维滚动时域控制镇定问题。研究了无约束滚动时域框架的稳定性和次优性。分析允许选择平方$\ell_1$ -范数作为控制成本。这导致了一个非光滑的无限时域问题,它提供了稳定的最优控制与低数量的主动执行器随着时间的推移。数值实验验证了理论结果,并说明了$\ell_1$ -和$\ell_2$ -控制成本之间的定性差异。
2019-01-08 math.OC
Optimal Output Feedback Architecture for Triangular LQG Problems
在某些特定信息约束下的分布式控制问题可以表示为(可能是无穷维的)凸优化问题。这项工作的根本动机是发展这样的问题的最佳决策架构的理解。在本文中,我们特别关注的N-玩家三角LQG问题,并表明,最优输出反馈控制器有吸引力的状态空间实现。最优控制器可以合成使用一组稳定的解决方案,2N线性耦合代数Riccati方程,这是很容易解决的合理假设下。
2014-03-18 math.OC
No Spurious Local Minima in Full-Order Linear Quadratic Gaussian Control
University of California San Diego(加州大学圣地亚哥分校);Peking University(北京大学)
本文证明全阶LQG控制中所有局部极小值均为全局最优,次优驻点可通过增广策略转化为严格鞍点,揭示了良性景观。
2026-09-29 cs.SY eess.SY math.OC
Linearly Solvable Stochastic Control Lyapunov Functions
针对一类非线性随机控制系统,提出了一种综合随机控制李雅普诺夫函数的新方法。该技术依赖于一个经典的非线性Hamilton-Jacobi-Bellman偏微分方程的一个线性偏微分方程的一类问题的一个特殊的约束随机强迫的转换。然后,该线性偏微分方程可以松弛为线性微分包含,允许使用平方和编程生成松弛解。由此产生的松弛的解决方案,实际上是粘性的上/下解决方案,并通过最大值原理是逐点的上下界的基本值函数,即使是粗糙的多项式逼近。此外,逐点上界被证明是一个随机控制李雅普诺夫函数,产生一个方法,用于生成非线性控制器的逐点有界距离时,使用最优控制器的最优成本。这些近似解可以通过半定最优化问题的层次以不增加的误差来计算。最后,本文开发了先验界限的轨迹次优时,使用这些近似值功能,以及证明这些方法,和界限,可以应用到更一般的一类非线性系统不服从随机强迫的约束。模拟例子说明的方法。
2017-09-05 math.OC
Model predictive control with stage cost shaping inspired by reinforcement learning
本文提出了一种基于强化学习思想的具有阶段成本成形的特定模型预测控制的次优性研究。次优性研究的重点是导出在模型预测控制的所述变型下的无限时域费用函数与相应的无限时域值函数相关的量。基础控制方案涉及通常的稳定约束,包括终端集和终端成本的形式的本地李雅普诺夫函数。阶段成本使用Q学习的原理进行调整,Q学习是强化学习的一种特殊方法。这项工作的结论是广泛的初始条件下的两个系统的案例研究。
2020-04-27 cs.SY eess.SY math.DS
Model Predictive Control for Regular Linear Systems
目前的工作扩展了已知的有限维约束最优控制实现的领域,适定的定期线性无限维系统建模的偏微分方程。该方法利用保持结构的Cayley-Tustin变换,在不进行空间离散化或模型降阶的情况下,通过离散时间模型表示来逼近连续时间系统.利用离散时间模型的最优性,稳定性,输入和输出/状态约束的明确的方式占模型预测控制器的设计。所提出的模型预测控制器是双模的意义上说,预测控制器的状态转向一组指数稳定无约束反馈可以利用不违反约束。模型预测控制器的构造导致有限维约束的二次最优化问题易于通过标准数值方法求解。考虑了偏微分方程的两个典型例子。
2020-05-20 math.OC
Asymptotic Optimal Strategy for Portfolio Optimization in a Slowly Varying Stochastic Environment
本文研究了标的资产收益率和波动率均为缓变的一般效用函数下的投资组合优化问题。在这个问题的设置下,在一个特定的类容许控制的渐近最优策略。具体地说,我们首先建立与固定的零阶次优交易策略相关的价值函数的严格一阶近似,这是由[J. -]中的启发式论证给出的。福克河Sircar和T. Zariphopoulou,{ \it金融数学},2016].然后,我们证明了这种零阶次优策略在一个特定的容许交易策略族中是渐近最优的。最后,我们证明了我们的假设是满足一个特定的完全可解模型。
2016-11-07 math.OC math.PR q-fin.MF
Analysis of the Optimization Landscape of Linear Quadratic Gaussian (LQG) Control
本文从现代优化的角度重新审视了经典的线性二次高斯(LQG)控制。我们分析两个方面的LQG问题的优化景观:1)连接的稳定控制器$\mathcal{C}_n$的集合;和2)结构的驻点。已知相似变换不改变动态控制器的输入输出行为或LQG成本。这种由相似变换产生的固有对称性使得LQG的景观非常丰富。证明了:1)稳定化控制器$\mathcal{C}_n$至多有两个路径连通分量,并且它们在相似变换下是同构的; 2)$\mathcal{C}_n$上可能存在多个LQG费用函数的\emph{strictly suboptimal stationary points},并且这些不动点总是\emph{non-minimal} ; 3)所有\emph{minimal}不动点都是全局最优的,并且直到相似变换为止它们是相同的.这些结果为直接策略梯度法求解LQG问题的性能分析提供了参考。
2021-02-08 cs.SY eess.SY math.DS
Stabilization of underactuated linear coupled reaction-diffusion PDEs via distributed or boundary actuation
本文提出一种基于模态分解和广义Sylvester方程的构造性镇定算法,解决具有不同扩散系数的级联线性反应-扩散PDE系统的欠驱动镇定问题,适用于分布式和边界控制。
2023-10-18 math.OC
On Piecewise Quadratic Terminal Costs for MPC
IMT School for Advanced Studies Lucca(卢卡高等研究院);ShanghaiTech University, School of Information Science and Technology(上海科技大学信息科学与技术学院)
本文提出了一种新的方法,用于合成线性模型预测控制(MPC)方案的稳定终端成分,旨在扩大吸引区域同时减少与无限时间最优控制问题解的次优性。该方法基于构造新的终端区域,结合了配置约束多边形计算领域的技术,并采用等于无限时间线性二次调节器成本的终端成本,在稳态非平凡邻域内。
2026-05-18 cs.SY eess.SY math.OC
Adaptive Optimal Control of Linear Periodic Systems: An Off-Policy Value Iteration Approach
本文针对连续时间线性周期系统,提出一种基于价值迭代的离轨自适应动态规划算法,无需系统动态精确知识即可从数据中获取近似最优解,并证明了其一致收敛性,在倒立摆实验中验证了有效性。
2020-01-20 cs.SY eess.SY math.OC
Sparse Structure Design for Stochastic Linear Systems via a Linear Matrix Inequality Approach
本文针对带乘性噪声的随机线性系,提出了一种稀疏提升反馈控制器的设计方法。我们的目标是确定一个稀疏的控制架构,优化闭环性能,同时稳定系统的均方意义上。所提出的方法近似的非凸组合最优化问题通过最小化各种矩阵范数的线性矩阵不等式(LMI)稳定性条件。我们提出了两个设计问题,以减少通过静态状态反馈和低维输出的致动器的数量。提出了带乘性噪声的正则化线性二次型调节器(LQRm)最优控制问题及其凸松弛,以证明闭环系统次优性能与控制结构稀疏度之间的折衷.广域电网频率控制的案例研究表明,所提出的稀疏促进控制可以大大减少执行器的数量,而不会显着损失系统性能。稀疏控制架构是强大的大量系统级干扰,同时实现均方稳定。
2022-08-19 cs.SY eess.SY math.OC
Predictive Control with Learning-Based Terminal Costs Using Approximate Value Iteration
模型预测控制(MPC)方案下的稳定性通常由终端成分来确保。采用(控制)李雅普诺夫函数作为终端成本构成了一个共同的选择。基于学习的方法可以用于通过将终端成本与例如无限时域最优控制问题相关联来构造终端成本,其中最优成本是李雅普诺夫函数。值迭代是一种近似动态规划(ADP)方法,是一种特殊的成本近似技术。在这项工作中,我们合并终端无约束预测控制和近似值迭代的结果,从这两个领域的利益。一个预测范围是根据不同的因素,如近似相关的错误,使闭环渐近稳定,进一步允许一个次优估计相比,一个无限的地平线上的最佳成本。结果扩展了最近的研究预测控制与ADP为基础的终端成本,不需要一个本地的初始稳定控制器。我们比较这个控制器在模拟与其他终端成本选项,表明所提出的方法导致一个较短的最小地平线相比,以前的结果。
2022-12-01 cs.SY eess.SY math.OC
Precise Insulin Delivery for Artificial Pancreas: A Reinforcement Learning Optimized Adaptive Fuzzy Control Approach
Ecole Nationale Polytechnique(国立高等理工学院)
本文提出用强化学习实时优化Type-1 Takagi-Sugeno模糊控制器的27个参数,实现人工胰腺对进餐量和时间变化的鲁棒自适应胰岛素输注,以最少外源性胰岛素稳定血糖。
2025-03-09 cs.LG cs.SY eess.SY
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略优化(PO)是强化学习(RL)的关键组成部分。对于控制设计,通常对策略施加某些约束以进行优化,考虑系统的稳定性,鲁棒性或安全性问题。因此,PO在大多数情况下本质上是一个约束(非凸)优化,其整体收敛通常很难分析。更重要的是,一些安全关键的约束,例如,保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近,政策梯度法已被证明收敛到线性二次型调节器(LQR)的全局最优值,一个经典的最优控制问题,没有正则化/投影的控制迭代到稳定集,其(隐式)的可行集。这个惊人的结果是建立在成本的强制属性上的,确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性,即,成本在可行集边界附近可能具有有限值,打破了现有的LQR分析。有趣的是,我们证明了两种PO方法具有隐式正则化性质,即,迭代保持$\mathcal{H}_\infty$鲁棒性约束,就好像它们被算法正则化一样。此外,尽管问题的非凸性,我们表明,这些算法收敛到全局最优的政策与全局次线性率,避免所有次优驻点/局部极小值,并与局部(超)线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY