Output-feedback Synthesis Orbit Geometry: Quotient Manifolds and LQG Direct Policy Optimization
针对LQG动态输出反馈控制器优化中退化驻点阻碍梯度方法的问题,本文引入坐标不变黎曼度量与商流形结构,提出带局部线性收敛保证的黎曼梯度下降法,数值性能优于普通梯度下降。
2024-08-15 cs.SY eess.SY math.OC
Direct Adaptive Control of Grid-Connected Power Converters via Output-Feedback Data-Enabled Policy Optimization
本文提出一种仅利用在线输入输出数据的输出反馈数据驱动策略优化(DeePO)方法,将输出反馈控制重构为状态反馈LQR问题,实现并网功率变换器的自适应稳定控制。
2025-04-08 cs.SY eess.SY math.OC
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索,证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性,给出收敛速率保证,并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback
University of Science and Technology Beijing(北京科技大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
本文分析了离散时间LTI系统静态输出反馈控制中策略梯度方法的优化景观,利用代价函数的强制性、L-光滑性和Lipschitz连续Hessian性质,证明了三种策略梯度方法的收敛性及普通策略梯度在局部极小值附近的线性收敛。
2023-10-29 cs.LG cs.SY eess.SY
Zeroth-Order Nonsmooth Nonconvex Optimization with Convex Liftings and Its Application to State-Feedback $H_\infty$ Policy Optimization
Peking University(北京大学)
本文提出一种基于凸提升的零阶近端点算法,用于求解具有凸提升结构的非光滑非凸优化问题,并将其应用于离散时间状态反馈$H_\infty$策略优化,取得了理论复杂度保证。
2026-08-25 cs.SY eess.SY math.OC
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而,直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略,以最小化闭环$\mathcal{H}_\infty$范数,可以说是最基本的鲁棒控制范例。在这项工作中,我们表明,直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意,最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题,其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题,所有的Clarke平稳点都是全局最小值.其次,我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性,并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质,我们表明,Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集,并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制,导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
Parallel Policy-Gradient Methods for Parameter Optimization of Nonlinear Feedback Controllers
University of New Mexico(新墨西哥大学)
本文提出一种时间并行策略梯度框架,用于非线性反馈控制器的参数优化,通过残差最小化和高斯-牛顿迭代加速梯度评估,并在惯性轮摆示例中验证了性能提升与计算优势。
2026-09-15 cs.SY eess.SY math.OC
Exact SDP Formulation for Discrete-Time Covariance Steering with Wasserstein Terminal Cost
在本文中,我们提出了新的结果与Wasserstein距离终端成本的协方差导向问题。我们表明,状态历史反馈控制政策参数化,这已经被用来解决这类问题,需要一个不必要的大量的变量,可以被替换为一个随机的状态反馈政策,导致更容易处理的问题配方没有任何性能损失。特别地,我们证明了在后一种策略下,该问题可以等价地表示为一个半定规划(SDP),这与我们以前的结果形成了鲜明的对比,我们以前的结果只能保证随机最优控制问题可以归结为一个凸函数差规划.然后,我们表明,通过解决相关的SDP找到的最优策略对应于一个确定性的状态反馈策略。最后,我们提出了非平凡的数值模拟,这表明我们提出的随机状态反馈政策的好处来自SDP制定的问题在该领域的计算效率和控制器性能方面的现有方法。
2022-05-22 cs.SY eess.SY math.OC
Explicit feedback synthesis for nonlinear robust model predictive control driven by quasi-interpolation
提出QuIFS算法,基于拟插值离线综合显式非线性鲁棒极小极大MPC反馈策略,保证ε-逼近最优解,并建立闭环稳定性与递归可行性。
2024-04-19 cs.SY eess.SY math.OC
Policy Optimization over Submanifolds for Linearly Constrained Feedback Synthesis
本文研究了Schur稳定控制器流形上的线性约束策略优化问题,提出了一种不依赖指数映射或回缩的Newton型算法,并证明了其局部收敛性,最后通过数值实验验证了算法性能。
2023-10-26 cs.SY eess.SY math.DG
Distributionally Robust System Level Synthesis With Output Feedback Affine Control Policy
STAR Lab, TU Delft(TU Delft STAR 实验室)
本文提出一种基于输出反馈仿射控制策略的分布鲁棒系统级综合方法,以应对模型失配和随机扰动,并通过数值实验验证其鲁棒性。
2025-10-08 cs.SY eess.SY math.OC
Model-Free Output Feedback Stabilization via Policy Gradient Methods
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(人工智能与自动化学院,华中科技大学);College of Automation, Nanjing University of Posts and Telecommunications(自动化学院,南京邮电大学)
本文提出了一种无模型学习方法,用于部分可观测线性动态系统的输出反馈稳定化,通过策略梯度方法解决稳定问题并验证了算法的有效性。
2026-09-29 cs.LG cs.SY eess.SY
Data-Enabled Policy and Value Iteration for Continuous-Time Linear Quadratic Output Feedback Control
College of Artificial Intelligence, Nankai University(南开大学人工智能学院);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能重点实验室)
本文提出了一种数据驱动的连续时间线性二次调节器问题的高效政策迭代和价值迭代算法,通过重新审视输入输出滤波向量的数据特性并引入QR分解,改进了替代状态构造方法,从而消除冗余信息,确保数据矩阵的满行秩,并实现反馈控制器的参数化表示。
2026-03-15 cs.SY eess.SY math.OC
Policy Gradient Method for LQG Control via Input-Output-History Representation: Convergence to $O(ε)$-Stationary Points
The University of Electro-Communications(电气通信大学);Purdue University(普渡大学)
该研究针对LQG动态输出反馈控制问题,利用输入输出历史表示将其转化为部分状态反馈增益优化问题,通过引入小幅过程噪声构造松弛问题,证明普通策略梯度方法可收敛到$O(ε)$-平稳点,数值实验验证其能收敛到全局最优解邻域。
2025-10-22 cs.SY eess.SY math.OC
Closed-loop Parameter Identification of Linear Dynamical Systems through the Lens of Feedback Channel Coding Theory
University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究了具有高斯过程噪声的线性标量系统的闭环辨识问题,其中系统输入由确定性状态反馈策略确定。采用正则化最小二乘估计(LSE)算法,寻求基于无噪声状态测量的未知模型参数的最佳估计。我们感兴趣的是未知参数可以学习的速率的基本限制,在这个意义上的D-最优标量化标准受到二次控制成本。我们首先建立了一个新的连接之间的闭环识别问题的兴趣和信道编码问题,涉及加性高斯白噪声(AWGN)信道反馈和一定的结构约束。基于这种连接,我们表明,学习率从根本上是由相应的AWGN信道的容量上界。虽然反馈策略的最优设计仍然具有挑战性,我们得出的条件下,达到上限。最后,我们表明,得到的上界意味着超线性收敛是无法实现的任何选择的政策。
2020-03-27 cs.LG cs.SY eess.SY
Revolution-Spaced Output-Feedback Model Predictive Control for Station Keeping on Near-Rectilinear Halo Orbits
针对近直线晕轨道定点保持,提出一种隔圈多机动模型预测控制策略,实现全状态跟踪,递归可行,数值验证表明成本与现有方法相当且避免相位偏差。
2025-10-16 cs.SY eess.SY math.OC
Multi-agent Reach-avoid MDP via Potential Games and Low-rank Policy Structure
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文通过局部反馈策略和低秩结构优化多智能体可达-回避MDP,降低通信和计算复杂度,保证收敛到纳什均衡。
2026-04-09 cs.GT cs.MA cs.RO
Amortized Feedback Planning: Turning Model-Based Rollouts into Executable Policies
SKKU(韩国科学技术院)
本文提出摊销反馈规划方法,通过贝尔曼梯度细化将模型展开转化为可执行策略,在非LQG和推力任务中显著降低计算成本并保持性能。
2026-09-29 cs.SY eess.SY math.OC
Globally Convergent Policy Gradient Methods for Linear Quadratic Control of Partially Observed Systems
针对部分观测线性系统的LQ控制,本文提出基于有限历史输入输出轨迹的策略参数化,证明梯度优势与全局收敛,并通过仿真验证。
2023-04-22 cs.SY eess.SY math.OC
MAD: A Magnitude And Direction Policy Parametrization for Stability Constrained Reinforcement Learning
Institute of Mechanical Engineering, École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院机械工程学院);Department of Engineering Science, University of Oxford(牛津大学工程科学系);Institute for Data Science Foundations, Hamburg University of Technology (TUHH)(汉堡技术大学数据科学基础研究所);School of Electrical Engineering and Computer Science and Digital Futures, KTH Royal Institute of Technology(皇家理工学院电气工程与计算机科学学院及数字未来学院)
本研究提出一种面向稳定性约束强化学习的MAD策略参数化方法,通过幅值由扰动反馈Lp稳定算子描述、方向由状态特征逼近的设计,在兼容无模型RL流程的同时保证闭环稳定,泛化性能匹配标准神经网络策略。
2025-10-05 cs.LG cs.SY eess.SY
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside(加州大学河滨分校)
在这项工作中,我们提出了一个框架来学习反馈控制政策,保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的,包含在状态控制输入对的数据集中,而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略,其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是,我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界(对抗性)的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析,并证明了我们的鲁棒反馈策略学习框架的有效性。最后,我们的研究结果表明,标称闭环性能和对抗性鲁棒性之间存在潜在的权衡,并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
Separation is Optimal for LQR under Intermittent Feedback
本文证明了在独立同分布零均值扰动下,通信受限LQR问题中分离原理成立,并展示了最优调度策略为基于累积扰动的对称阈值规则,控制器为与调度策略无关的折扣线性反馈律。
2026-06-27 cs.IT cs.MA cs.RO
On the Optimization Landscape of Dynamic Output Feedback Linear Quadratic Control
本文研究了动态输出反馈线性二次调节(dLQR)的优化景观,证明了可观测dLQR平稳点的唯一性,并建立了其与LQG控制的等价条件,为策略梯度算法求解动态控制器提供了理论保证。
2023-10-29 cs.SY eess.SY math.OC
Synthesis of constrained robust feedback policies and model predictive control
本文提出一种基于鲁棒控制的方法,用于综合受凸二次约束的有限、无限及滚动时域控制问题的鲁棒时变状态反馈策略,利用初始状态到峰值增益技术确保约束满足,并构建线性矩阵不等式条件,实验证明其保守性低于标准基于管的鲁棒模型预测控制方法。
2023-10-18 cs.SY eess.SY math.OC
Policy Optimization in Control: Geometry and Algorithmic Implications
本文从黎曼几何视角综述反馈控制中的策略优化,分析LQR、LQG和H∞控制中稳定化策略的拓扑与几何结构及其对非凸性能度量和局部搜索算法的影响。
2024-06-06 cs.SY eess.SY math.DG
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近,由于对强化学习的兴趣越来越大,用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先,我们研究了MJLS的直接策略优化的优化景观,静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性,我们仍然能够确定几个有用的属性,如bandwidth,梯度优势,几乎光滑。基于这些性质,我们证明了三种策略最优化方法的整体收敛:梯度下降法,高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度,如果初始化在一个控制器,这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解,了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY