A Modified Riccati Transformation for Decentralized Computation of the Viability Kernel Under LTI Dynamics
University of British Columbia(不列颠哥伦比亚大学);University of California at Berkeley(加州大学伯克利分校);University of New Mexico(新墨西哥大学)
针对LTI系统,提出一种修正Riccati变换将系统分解为低维子系统,实现生存核的分散保守计算,显著降低复杂度。
2013-02-25 cs.SY eess.SY math.OC
Voronoi Partition-based Scenario Reduction for Fast Sampling-based Stochastic Reachability Computation of LTI Systems
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of New Mexico(新墨西哥大学);University of Washington(华盛顿大学)
本文针对具有加性随机不确定性的线性系统提出了一种随机可达性问题的求解方法,通过采样方法计算在有限时间范围内保持安全集并最终到达目标集的最大概率,并利用Voronoi划分减少计算复杂度以提高效率。
2018-11-08 cs.SY eess.SY math.OC
Regret Analysis of Distributed Online LQR Control for Unknown LTI Systems
Northeastern University(东北大学)
在线优化最近开辟了途径,研究最优控制的时变费用函数是事先未知的。受此启发,我们研究了动态未知的线性时不变(LTI)系统的分布式在线线性二次型调节器(LQR)问题。考虑一个多智能体网络,其中每个智能体都被建模为一个LTI系统。该网络具有全局时变二次成本,可以逆向演化,并且每个代理只能部分地顺序观察。该网络的目标是共同(i)估计未知的动态和(ii)计算本地控制序列竞争的最佳集中式政策在事后,这最小化网络成本随时间的总和。这个问题被公式化为后悔最小化。我们提出了一个分布式的在线LQR算法的变体,代理计算他们的系统估计在探索阶段。然后,每个代理应用分布式在线梯度下降的半定规划(SDP)的可行集是基于代理系统的估计。我们证明了我们提出的算法的遗憾界的比例为$O(T^{2/3}\log T)$,这意味着随着时间的推移,所有代理的共识的概率很高。我们还提供了仿真结果验证我们的理论保证。
2022-02-06 cs.LG cs.SY eess.SY
Time-Varying Optimization of LTI Systems via Projected Primal-Dual Gradient Flows
研究了线性动力系统实时调整到时变约束凸优化问题解轨线的问题。建议的反馈控制器是基于鞍流动态的适应,修改,以考虑到约束集和输出反馈的植物上的投影。我们推导出充分条件的可调参数的控制器(本质上与植物和控制器动态之间的时标分离),以保证指数和输入到状态的闭环系统的稳定性。分析是针对时变强凸费用函数和多面体输出约束的情况。最后,以交通路网中的匝道控制问题为例,验证了理论分析的正确性。
2021-09-10 math.OC
AReN: Assured ReLU NN Architecture for Model Predictive Control of LTI Systems
University of California, Irvine(加州大学欧文分校)
在本文中,我们考虑的问题,自动设计一个整流线性单元(ReLU)神经网络(NN)架构,足以实现最佳的模型预测控制(MPC)策略的LTI系统的二次成本。具体来说,我们提出了AReN,一种生成Assured ReLU架构的算法。AReN将具有二次成本规范的LTI系统作为输入,并输出一个ReLU NN架构,确保存在精确实现相关MPC控制器的网络权重。因此,AReN为控制LTI系统的ReLU NN架构的设计提供了新的见解:而不是在数据上训练一个经过选择的NN架构-或者迭代许多架构直到找到合适的架构- AReN可以在训练开始之前建议一个适当的NN架构。虽然之前的几项工作受到ReLU NN控制器和最优MPC控制器都是连续分段线性(CPWL)函数的启发,但利用这种相似性来设计具有正确性保证的NN架构仍然是难以捉摸的。AReN使用两个新特性实现了这一点。首先,我们重新解释了最近关于通过ReLU NN实现CPWL函数的结果,以表明CPWL函数可以由ReLU架构实现,该架构由函数中不同仿射区域的数量确定。其次,我们表明,我们可以有效地过近似的仿射区域的数量在最优MPC控制器没有解决MPC问题。总之,这些结果将MPC问题与ReLU NN实现联系起来,而没有明确解决MPC,并直接将此功能转换为ReLU NN架构,从而确保它可以实现MPC控制器。我们通过数值结果表明,在设计一个NN架构的有效性AReN。
2019-11-05 cs.LG cs.SY eess.SY
Performance Analysis and Non-Quadratic Lyapunov Functions for Linear Time-Varying Systems
线性定常系统的性能分析与二次李雅普诺夫函数有着密切的联系,因为线性定常系统的稳定性等价于二次李雅普诺夫函数的存在。然而,LTI系统的一些度量已经抵制了通过二次李雅普诺夫函数的处理。其中,使用这些技术不能准确地捕获诸如峰值范数的逐点时间度量,并且该缺点已经阻止了通过例如时域仿真之外的手段来分析系统行为的工具的开发。这项工作演示了如何更一般的类齐次多项式李雅普诺夫函数可以用来近似逐点的时间行为的LTI系统具有更高的精度,我们扩展到线性时变(LTV)系统的情况下,以及。我们的研究结果依赖于最近的观察,寻找齐次多项式李雅普诺夫函数的LTV系统可以重铸为二次李雅普诺夫函数的相关层次的时变李雅普诺夫微分方程的搜索,因此,LTV系统的性能保证是不需要大量的计算。提供了许多例子来证明这项工作的结果。
2020-09-11 cs.SY eess.SY math.OC
Detection and Isolation of Failures in Directed Networks of LTI Systems
University of Pennsylvania(宾夕法尼亚大学)
研究针对有向网络中多输入多输出LTI系统故障检测与隔离方法,基于输出导数的跳跃不连续性进行故障识别,并提出传感器布置算法及性能保证。
2014-11-06 cs.SI cs.SY eess.SY
Regret Analysis of Distributed Online Control for LTI Systems with Adversarial Disturbances
Northeastern University(东北大学)
本文针对对抗扰动下动力学已知/未知的LTI系统网络分布式在线控制问题,分别提出分布式扰动反馈控制器和分布式探索后执行方法,推导得到不同场景下的悔度上界。
2023-10-04 cs.LG cs.SY eess.SY
Neural Observer with Lyapunov Stability Guarantee for Uncertain Nonlinear Systems
Zhejiang University(浙江大学);Ningbo University(宁波大学);Ningbo Artificial Intelligence Institute, Shanghai Jiao Tong University(上海交通大学宁波人工智能研究院);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
针对线性定常系统和不确定非线性系统的观测问题,提出了一种基于神经网络的非线性观测器--神经观测器。特别地,针对不确定性系统设计的神经元观测器受到自抗扰控制的启发,可以实时测量系统的不确定性。稳定性分析(例如,指数收敛速度),证明了观测问题只能用线性矩阵不等式(LMI)来解决.此外,它揭示了系统矩阵的能观性和能控性,以证明线性矩阵不等式的解的存在性。最后,在X-29 A飞机模型、非线性摆和四轮转向车辆三个仿真算例上验证了神经观测器的有效性。
2023-01-17 cs.LG math.OC
Data-driven model predictive control: closed-loop guarantees and experimental results
我们提供了一个全面的审查和实际执行最近开发的模型预测控制(MPC)框架,用于控制未知的系统,只使用测量数据,没有明确的模型知识。我们的方法依赖于一个隐式的系统参数化从行为系统理论的基础上测量的输入输出轨迹。所提出的MPC计划保证闭环稳定的未知线性时不变(LTI)系统,即使数据受到噪声的影响。此外,我们扩展此MPC框架控制未知的非线性系统,通过不断更新的数据驱动的系统表示使用新的测量。通过非线性四容系统的仿真和实验证明了我们的方法简单而直观的适用性。
2021-07-02 cs.SY eess.SY math.OC
Convergence Analysis of Natural Power Method and Its Applications to Control
Graduate School of Informatics, Kyoto University(京都大学大学院信息学研究科);Department of Applied Computer Engineering, Tokai University(东海大学应用计算机工程系)
本文分析离散时间自然幂法的收敛性,证明其收敛到绝对值最大的r个特征值对应的主导r维子空间,并利用该性质开发离散时间LTI系统的模型降阶和低秩控制器综合方法,同时扩展到慢变LTV系统。
2026-05-29 cs.SY eess.SY math.OC
Score Matching Diffusion Based Feedback Control and Planning of Nonlinear Systems
T-5 Applied Mathematics and Plasma Physics Group, Los Alamos National Laboratory(T-5应用数学与等离子体物理组,洛斯阿拉莫斯国家实验室);Department of Mechanical Engineering, University of California, Riverside(加州大学河滨分校机械工程系);Electrical Engineering and Computer Science, University of California, Irvine(加州大学欧文分校电气工程与计算机科学)
本文提出基于分数匹配扩散的非线性系统反馈控制与规划方法,通过确定性反向过程实现可控无漂移和LTI系统的密度控制。
2026-03-10 cs.LG cs.RO cs.SY
Data-Driven Control Design with LMIs and Dynamic Programming
本文的目标是开发基于线性矩阵不等式(LMI)和动态规划的数据驱动控制设计和评估策略。我们考虑确定性离散时间LTI系统,其中系统模型未知。我们提出了有效的数据收集计划,从状态输入轨迹与数据驱动的LMI设计状态反馈控制器的稳定和线性二次调节(LQR)问题。此外,我们研究理论上保证的勘探计划,以获得有效的数据,从不同的情况下的轨迹。特别是,我们证明,随着越来越多的数据积累,收集的数据变得有效的算法具有更高的概率。最后,讨论了具有收敛保证的数据驱动的动态规划算法。
2021-06-16 cs.SY eess.SY math.OC
Globally monotonic tracking control of multivariable systems
在本文中,我们提出了一种方法来设计一个线性时不变(LTI)的状态反馈控制器,单调跟踪一个恒定的步骤参考在任何期望的收敛速率,任何指定的初始条件。给出了从所有初始条件出发,得到单调阶跃响应的充分必要构造性条件。该方法是为多输入多输出(MIMO)系统而开发的,并且可以应用于平方和非平方系统,严格适当和双适当系统,并且重要的是,还可以应用于最小和非最小相位系统。这里提出的控制方法表明,对于MIMO LTI系统,实现快速稳定时间的目标,同时避免过冲和/或下冲,不一定是竞争目标。
2014-02-21 math.OC
Online Optimization as a Feedback Controller: Stability and Tracking
本文提出并分析了基于反馈的在线最优化方法,用于将线性时不变(LTI)动力系统的输出调节到时变凸优化问题的最优解。该算法的设计是基于连续时间的原始-对偶动力学,适当修改,以纳入反馈的LTI动力系统,适用于近端增广拉格朗日函数。所得到的闭环算法跟踪时变最优化问题的解,而不需要动力系统中的(时变)干扰的知识。分析利用积分二次约束提供线性矩阵不等式(LMI)条件,保证全局指数稳定性和有界跟踪误差。分析结果表明,当线性时不变动力系统的动力学行为与算法具有充分的时间尺度分离时,线性矩阵不等式条件总是能够满足。本文进一步提出了一种改进的算法,该算法可以在较少的限制性假设下跟踪约束最优化问题的近似解轨迹。作为一个说明性的例子,所提出的算法展示了电力传输系统,压缩二级和三级控制之间的时间尺度,并允许同时功率再平衡和跟踪直流最佳功率流点。
2018-05-29 math.OC
Distributed Stability Certification and Control from Local Data
University of Groningen(格罗宁根大学)
本文提出分布式算法,通过本地数据集体计算全局系统证书,解决分布式稳定性认证与控制问题。
2026-03-11 cs.SY eess.SY math.OC
A structural solution to the monotonic tracking control problem
在本文中,我们提出了一种方法来设计一个线性时不变(LTI)的状态反馈控制器,单调跟踪一个恒定的步骤参考在任何所需的收敛速率的任何初始条件。给出了从所有初始条件出发,得到单调阶跃响应的充分必要构造性条件。该方法是为多输入多输出(MIMO)系统而开发的,并且可以应用于平方和非平方系统、严格适当和非严格适当系统,并且重要的是,还可以应用于最小和非最小相位系统。这里提出的框架表明,对于MIMO LTI系统,实现快速建立时间的目标,同时避免过冲和/或下冲,不一定是竞争目标。
2014-12-05 math.DS math.OC
On the design of persistently exciting inputs for data-driven control of linear and nonlinear systems
针对数据驱动控制中非线性系统持续激励输入缺乏先验设计准则的问题,证明离散脉冲对可控LTI系统满足持续激励,进而仅通过物理输入设计实现特定非线性系统基函数序列的先验持续激励保证。
2023-06-19 cs.SY eess.SY math.OC
Sparsity Invariance for Convex Design of Distributed Controllers
我们解决的问题,设计最优的线性时不变(LTI)稀疏控制器的LTI系统,这对应于最小化的控制器结构上的稀疏约束的闭环系统的范数。这个问题一般是NP难的,并促使发展易于处理的近似。我们刻画了一类凸约束的基础上的稀疏不变性(SI)的新概念。SI的基本思想是为传递矩阵Y(s)和X(s)设计稀疏模式,使得任何相应的控制器K(s)=Y(s)X(s)^-1表现出期望的稀疏模式。对于稀疏性约束,SI方法超越了二次不变性(QI)的概念:1)SI方法总是产生凸约束; 2)当QI保持并且至少考虑最近的QI子集时,通过SI方法的解保证是全局最优的。此外,SI的概念自然适用于设计结构化的静态控制器,而QI是不可利用的。数值例子表明,即使对于非QI的情况下,SI可以恢复的解决方案是1)全局最优的,2)严格比以前的方法更好。
2020-07-11 cs.SY eess.SY math.OC
Convergence guarantees for adaptive model predictive control with kinky inference
本文分析了控制未知非线性系统的鲁棒自适应模型预测控制算法,证明采用二次稳定代价函数并通过kinky inference递归更新标称模型可确保系统在模型不确定性下收敛至原点,并经数值仿真验证。
2024-05-30 cs.SY eess.SY math.OC
Notes on data-driven output-feedback control of linear MIMO systems
Leibniz University Hannover(汉诺威莱布尼茨大学)
针对离散时间LTI系统,通过构建由过去输入输出组成的非最小状态向量,提出一种处理一般MIMO情况(pℓ≥n)的数据驱动动态输出反馈控制方法,保证持续激励下的秩条件,扩展了原有方法。
2026-06-08 cs.SY eess.SY math.OC
Suboptimal Control of Unknown Second-order Nonlinear Systems with Guaranteed Global Convergence
针对具有未知时变非线性动态的二阶系统,提出了一种次优自抗扰控制器(S-ADRC)。输出反馈控制器通过动态控制增益保证整体收敛到最优解附近,基于通过高增益观测器获得的估计的主要和扩展状态变量。三个数值例子比较所提出的控制方案适用于线性和非线性系统的固定增益的传统ADRC以及几个基于模型的最优和次优控制器的性能。
2022-06-20 cs.SY eess.SY math.OC
Streaming Linear System Identification with Reverse Experience Replay
Google AI Research Lab(谷歌人工智能研究实验室);MIT(麻省理工学院)
我们考虑通过流算法从单个轨迹估计线性时不变(LTI)动力系统的问题,这在包括强化学习(RL)和时间序列分析在内的几个应用中都会遇到。虽然在{ \em offline}设置中充分研究了LTI系统估计问题,但实际上重要的流/在线设置很少受到关注。像随机梯度下降(SGD)这样的标准流方法不太可能工作,因为流点可能高度相关。在这项工作中,我们提出了一种新的流媒体算法,SGD与反向经验重放($\mathsf{SGD}-\mathsf{RER}$),这是受RL文献中流行的经验重放(ER)技术的启发。$\mathsf{SGD}-\mathsf{RER}$将数据划分到小的缓冲区中,并对存储在各个缓冲区中的数据反向运行SGD。我们表明,该算法完全解构的依赖结构,并获得信息理论上的最佳保证参数误差和预测误差。因此,我们提供了第一-我们所知的-最佳SGD式算法的线性系统辨识的经典问题的一阶预言。此外,$\mathsf{SGD}-\mathsf{RER}$可以应用于更一般的设置,如具有已知稀疏模式的稀疏LTI识别和非线性动力系统。我们的工作表明,数据依赖结构的知识可以帮助我们设计统计和计算效率高的算法,可以“去相关”流样本。
2021-12-01 cs.LG math.OC stat.ML
Paving the Way for Consensus: Convergence of Block Gossip Algorithms
Gossip协议是分布式计算中解决平均一致性问题的常用方法。我们证明了新的收敛保证各种这样的协议,包括路径,集团,和同步成对的八卦。这些都是通过利用这些协议和块随机Kaczmarz方法解决线性系之间的连接。此外,我们扩展现有的块随机Kaczmarz的收敛结果,允许更一般的选择块,秩亏系统,并提供更严格的收敛速度保证。我们进一步将这种分析应用于不一致的共识模型,并获得类似的保证。这些方法提供了一个广泛的实证分析各种合成网络。
2021-10-27 cs.DC cs.MA cs.SY
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee
Duke University(杜克大学)
针对连续时间随机最优控制问题,提出策略梯度方法,分析其连续时间极限的梯度流,在正则性假设下证明全局收敛性并建立收敛速率,引入局部最优控制函数刻画迭代局部最优性。
2025-04-14 cs.LG cs.SY eess.SY
An integral quadratic constraint framework for real-time steady-state optimization of linear time-invariant systems
The Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一个反馈控制器设计框架,用于实时实现线性时不变系统的最优稳态性能,通过积分二次约束将优化组件的输入输出特性转化为线性矩阵不等式条件,确保全局指数渐近稳定性。
2017-10-27 cs.SY eess.SY math.OC
A Method to Guarantee Local Convergence for Sequential Quadratic Programming with Poor Hessian Approximation
序列二次规划(SQP)是求解非线性最优化问题的一类强有力的算法。当用于每个二次规划子问题的Hessian逼近接近于真Hessian时,SQP算法的局部收敛性得到保证。然而,一个好的海森近似计算起来可能很昂贵。低代价Hessian近似在某些假设下只能保证局部收敛,而实际情况并不总是满足这些假设。为了解决这个问题,本文提出了一种简单的方法来保证局部收敛的SQP与不良的Hessian逼近。数值算例表明了该算法的有效性。
2017-04-10 math.OC
Robust Control Barrier and Control Lyapunov Functions with Fixed-Time Convergence Guarantees
本文研究一类非线性控制仿射动力系统在加性干扰和状态估计误差下的控制综合问题。我们强制执行静态和动态安全集的前向不变性,并在用户定义的时间内收敛到一个给定的目标集的输入约束的存在。我们使用控制障碍函数(CBF)和固定时间控制李雅普诺夫函数(FxT-CLF)的强大的变种,将一类添加剂的干扰系统动态,状态估计误差。为了解决潜在的约束控制问题,我们制定了一个二次规划,并使用所提出的鲁棒CBF-FxT-CLF条件来计算控制输入。我们展示了所提出的方法的数值案例研究,涉及多个欠驱动海洋车辆的有效性。
2021-04-13 cs.SY eess.SY math.OC
Noise Resilience and Robust Convergence Guarantees for the Variational Quantum Eigensolver
Institute for Systems Theory and Automatic Control, University of Stuttgart(斯图加特大学系统理论与自动控制研究所);Center for Integrated Quantum Science and Technology (IQST), University of Stuttgart(斯图加特大学集成量子科学与技术中心)
针对含噪声量子电路,推导变分量子本征求解器最优参数误差上界,证明算法对扰动参数的稳健收敛性,并通过数值模拟验证。
2026-07-03 cs.SY eess.SY math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees
Northwestern University(西北大学)
在本文中,我们考虑的问题,分布式位姿图优化(PGO),在多机器人同时定位和地图(SLAM)中有着广泛的应用。我们提出了优化最小化方法的分布式PGO和我们提出的方法是保证收敛到一阶临界点在温和的条件下。此外,由于我们所提出的方法依赖于分布式PGO的邻近算子,因此使用Nesterov方法可以显著加快收敛速度,更重要的是,加速不会导致理论保证的妥协。此外,我们还提出了加速优化最小化方法的分布式弦初始化,具有平方收敛,它可以用来计算初始猜测分布式PGO。通过在一些2D和3D SLAM数据集上的应用以及与现有最先进的方法的比较,验证了这项工作的有效性,这表明我们提出的方法具有更快的收敛速度,并且可以更好地解决分布式PGO问题。
2021-05-04 cs.LG cs.RO math.OC
A Two-level ADMM Algorithm for AC OPF with Global Convergence Guarantees
提出了一种求解具有收敛保证的交流最优潮流问题的两级分布式算法框架。最优潮流中高度非凸约束的存在对基于乘子交替方向法的分布式算法提出了重大挑战。特别地,对于非凸网络最优化问题,如AC OPF,收敛性不能被证明保证。为了克服这一困难,我们提出了一个新的分布式交流OPF和两级ADMM算法,超越了标准的ADMM框架。在适当的假设下证明了算法的整体收敛性和迭代复杂性。通过对NESTA和PGLib-OPF(最多30,000个总线系统)的一些最大测试用例进行大量数值实验,证明了该算法在收敛性、可扩展性和鲁棒性方面优于现有ADMM变体。此外,在适当的并行实现下,该算法具有快速收敛可比或甚至优于最先进的集中式求解器。
2021-06-11 math.OC
A Low-Power Hardware-Friendly Optimisation Algorithm With Absolute Numerical Stability and Convergence Guarantees
提出双反馈广义近端梯度下降法(DFGPGD)和广义近端ADMM,证明了其收敛性与绝对数值稳定性,并在FPGA ZCU106上验证了其低功耗与高能效优势。
2023-06-29 cs.PF cs.SY eess.SP
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
ABB Corporate Research(ABB企业研究院);KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出了异步迭代的新收敛结果,明确了异步程度对收敛速率的影响,加强了现有异步优化算法的理论保证,并改进了多种流行算法的复杂度界限与收敛分析。
2023-04-03 cs.DC cs.LG cs.SY
Lyapunov Functions for First-Order Methods: Tight Automated Convergence Guarantees
本文提出了一种新的构造李雅普诺夫函数的方法,用于证明一阶最优化方法的线性收敛速率。我们的方法可证明获得最快的线性收敛速率,可以验证由二次李雅普诺夫函数(与给定的状态),只依赖于解决一个小规模的半定规划。我们的方法结合了性能估计问题(PEP,由于Drori & Teboulle(2014))和积分二次约束(IQC,由于Lessard等人(2016))的优点,并依赖于凸插值(由于Taylor等人(2017 c;b))。
2018-06-11 math.OC
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University(杜克大学)
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器(LQR)问题。最小二乘时间差(LSTD)方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
A note on the convergence guarantees of RLT-based algorithms for polynomial optimization
University of Vigo(维戈大学);CITMAga (Galician Center for Mathematical Research and Technology)(加利西亚数学研究与技术中心);University of Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本文指出并修正了多项式优化中RLT方法基础结果的一个数学疏漏,通过添加自然假设恢复收敛性保证。
2026-10-06 math.OC
Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees
EPFL(洛桑联邦理工学院);Inria Grenoble(法国国家信息与自动化研究所格勒诺布尔研究中心);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
该研究针对梯度裁剪收敛保证依赖特定阈值与强噪声假设的问题,推导了其与任意裁剪阈值相关的紧收敛界,证明随机场景下标准假设无法保证收敛到最优解,并通过实验验证了理论结果。
2023-11-09 cs.DC cs.LG math.OC
Shuffling Heuristic in Variational Inequalities: Establishing New Convergence Guarantees
针对变分不等式随机求解中独立采样的局限,本文研究洗牌启发式方法,首次给出其理论收敛估计与严格收敛速率,并通过基准实验证明其收敛更快。
2025-10-21 cs.LG math.OC
PL conditions do not guarantee convergence of gradient descent-ascent dynamics
Department of Mathematics, ENS Lyon and CNRS(里昂高等师范学院数学系与法国国家科学研究中心)
本文通过例子说明满足双侧Polyak-Lojasiewicz条件的函数,其梯度下降-上升流线可能无法收敛至鞍点,而是在其周围循环。函数在某一变量强凸,另一变量满足PL条件。
2026-09-09 math.OC
Optimal Primal-Dual Algorithm with Last iterate Convergence Guarantees for Stochastic Convex Optimization Problems
针对带函数约束的复合非光滑随机凸优化,提出基于增广拉格朗日和约束线性化的Aug-ConEx算法,首次在最后迭代上取得无额外log K因子的最优及加速收敛保证。
2024-10-24 math.OC
Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(Mohamed bin Zayed大学人工智能学院);Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术研究所);Innopolis University(Innopolis大学);Skoltech
本文提出一种简单步长调度,使拟牛顿方法在凸函数上获得 ${O}(1/k)$ 全局收敛速度,并在Hessian近似精度受控时达到 ${O}(1/k^2)$ 加速收敛,同时开发了保持全局收敛保证的自适应变体。
2025-08-27 cs.LG math.OC
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Université Paris Cité(巴黎西岱大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Flatiron Institute(熨斗研究所)
本文针对黑盒变分推断缺乏收敛保证的问题,利用重参数化梯度估计器的二次噪声界,为近端和投影随机梯度下降提供了新的收敛证明,从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
From Consensus-Based Optimization to Particle Swarm Optimization: Convergence Guarantees under Drift-Diffusion Coupling
California Institute of Technology(加州理工学院);Brown University(布朗大学)
本文分析粒子群优化(PSO)参数耦合对基于共识优化(CBO)收敛保证的影响,通过显式构造证明存在非空参数集使保证成立,但范围缩小,故CBO保证不能直接扩展至经典PSO,并用数值模拟验证。
2026-09-16 cs.NA math.NA math.OC
Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
针对高维非凸优化问题,本文提出随机子空间均匀化信赖域(RSHTR)方法,在随机子空间类算法中实现最优收敛理论保证,并通过真实数据集实验验证了其有效性。
2025-03-23 math.OC
Modified Line Search Sequential Quadratic Methods for Equality-Constrained Optimization with Unified Global and Local Convergence Guarantees
本文提出一种改进线搜索序列二次规划方法用于非线性等式约束优化,利用二阶信息缓解Maratos效应,具备全局与局部超线性收敛保证,并扩展至随机目标函数及无矩阵变体,数值实验验证其高效性。
2024-07-26 math.OC
Subsampled online matrix factorization with convergence guarantees
Inria(法国国家信息与自动化研究所)
我们提出了一种矩阵分解算法,该算法可以扩展到两个维度都很大的输入矩阵(即,包含超过1TB的数据)。该算法在对矩阵列进行二次采样的同时对矩阵列进行流处理,从而降低了每次迭代的复杂度,并节省了合理的内存。与以前的在线矩阵分解方法相比,我们的方法依赖于过去迭代的低维统计数据来控制由子采样引入的额外方差。我们提出了一个收敛性分析,保证我们达到一个固定点的问题。与以前的在线算法相比,可以获得大的速度提升,这要归功于高维设置中经常存在的特征冗余。
2016-11-30 cs.LG math.OC stat.ML
Geometry-dependent matching pursuit: a transition phase for convergence on linear regression and LASSO
本文提出依据问题几何结构生成正则化匹配追踪算法的原则性方法,给出收敛保证,并揭示其从欠参数化到过参数化情形的收敛过渡现象。
2024-03-05 math.OC
Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
Department of Engineering Science, University of Oxford(牛津大学工程科学系)
本文提出通过学习在线更新松弛参数来提升ADMM在特定问题类上的性能,证明了在弱假设下ADMM在时间变化惩罚和松弛参数下的收敛性,并在基准二次程序中验证了学习策略在迭代次数和运行时间上的优势。
2026-10-06 cs.LG math.OC
A stochastic gradient algorithm for non-separable optimization with convergence guarantee
Fudan University(复旦大学)
针对损失依赖数据集整体量的非可分目标,提出一种SGD框架,利用理想批量梯度G和缓存代理H,在温和光滑性假设下证明局部线性/次线性收敛,并给出步长范围显式界。
2026-11-10 cs.NA math.NA math.OC
Affine-Invariant Global Non-Asymptotic Convergence Analysis of BFGS under Self-Concordance
UT Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院)
本文在严格凸强自和谐条件下,无需强凸或Lipschitz假设,证明了BFGS在弱Wolfe线搜索下具有仿射不变的全局线性与超线性收敛,扩展了其非渐近理论。
2025-10-25 cs.NA math.NA math.OC
Convergence and Recovery Guarantees of the K-Subspaces Method for Subspace Clustering
K-subspaces(KSS)方法是子空间聚类的K-means方法的推广。在这项工作中,我们提出了局部收敛分析和恢复保证KSS,假设数据产生的半随机联盟的子空间模型,其中$N$点随机采样从$K \ge 2$重叠的子空间。我们表明,如果KSS方法的初始分配位于一个真正的聚类邻域内,它以超线性速度收敛,并以高概率在$Θ(\log\log N)$迭代内找到正确的聚类。此外,我们提出了一个阈值内积为基础的谱方法的初始化,并证明它产生一个点在这个邻域。我们还提出了所研究的方法,以支持我们的理论发展的数值结果。
2022-06-19 math.OC stat.ML
Successive Convexification with Feasibility Guarantee via Augmented Lagrangian for Non-Convex Optimal Control Problems
本文提出一种融合逐次凸化与增广拉格朗日法的新算法,通过对优化变量和拉格朗日乘子交替迭代,在保留SCvx优良特性的同时保证了对非凸最优控制问题可行局部解的全局收敛性。
2024-10-11 math.OC
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley(加州大学伯克利分校)
在设计有限时间范围情景强化学习问题的算法时,一种常见的方法是引入一个虚构的折扣因子,并使用静态策略进行近似。经验上,它已被证明,虚构的折扣因子有助于减少方差,和固定的政策,以节省每次迭代的计算成本。然而,从理论上讲,目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步,对这些算法进行分析。它侧重于两个香草策略梯度(VPG)的变种:第一个是一个广泛使用的变种与折扣优势估计(DAE),第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证,这两种算法建立,和额外的折扣因子,以减少在DAE中引入的偏差,从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程(MDP)的三个设置:有限的时间范围,平均奖励和折扣设置。据我们所知,这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP,这也导致了(第一)全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC