Switching Network System Identification via Convex Optimizations
本文提出凸优化框架,从采样数据中辨识切换网络系统的节点动力学与图拓扑,无需模式标签,数值实验验证了其准确性。
2025-10-27 cs.SY eess.SY math.OC
Convex Parameterizations and Fidelity Bounds for Nonlinear Identification and Reduced-Order Modelling
Massachusetts Institute of Technology(麻省理工学院);Australian Centre for Field Robotics(澳大利亚现场机器人中心);University of Sydney(悉尼大学)
本文提出基于凸优化的非线性识别方法,通过拉格朗日松弛、耗散不等式和半正定规划解决模型不稳定和长期预测问题,应用于电子电路降阶和气动执行器识别。
2017-01-23 cs.LG cs.SY eess.SY
Stable Nonlinear Identification From Noisy Repeated Experiments via Convex Optimization
University of Sydney(悉尼大学);Massachusetts Institute of Technology(麻省理工学院)
提出利用凸优化拟合输入输出数据到稳定非线性动力学模型的方法,通过重复实验消除噪声影响,保证模型稳定性且无需对数据做假设。
2013-03-18 cs.SY eess.SY math.OC
Feasible Path Identification in Optimal Power Flow with Sequential Convex Restriction
非线性交流潮流方程的非凸性给交流最优潮流(OPF)问题的求解带来了挑战。虽然大量的研究工作集中在可靠地计算高质量的OPF解决方案,但并不总是清楚是否存在达到所需操作点的可行路径。由于OPF问题的可行空间是非凸的,并且可能是不连通的,因此在避免违反约束的同时在操作点之间进行转换可能具有挑战性。为了解决这个问题,我们提出了一个算法,计算一个可证明可行的路径从初始操作点到所需的操作点。给定一个初始可行点,该算法在OPF可行空间的保守凸内逼近上求解一系列凸二次约束最优化问题。在每次迭代中,我们获得一个新的,改进的操作点和一个可行的过渡,从操作点在前一次迭代。除了计算到已知期望操作点的可行路径之外,该算法还可以用于局部地改进操作点。对各种测试用例的大量数值研究证明了该算法和在几次迭代中获得高质量解决方案的能力。
2020-02-15 math.OC
Identification of Structured LTI MIMO State-Space Models
Delft University(代尔夫特理工大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种基于差分凸规划的算法,通过将双变量优化转换为低秩约束优化问题,以高效求解结构状态空间模型的全局最优解。
2015-09-29 cs.SY eess.SY math.OC
A Class of Convex Optimization-Based Recursive Algorithms for Identification of Stochastic Systems
本文提出一类含最小二乘、Huber、Log-cosh等特例的凸优化辨识准则及递推算法,证明其估计以概率1收敛,并通过数值算例验证强一致性、鲁棒性与在线效率。
2024-05-13 cs.SY eess.SY math.OC
Identification of Nonlinear Systems with Stable Limit Cycles via Convex Optimization
Australian Centre for Field Robotics, School of Aerospace, Mechanical and Mechatronic Engineering, University of Sydney(悉尼大学航空航天、机械与机电工程学院);Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(麻省理工学院电气与计算机工程系);Center for Human Genetics Research, Massachusetts General Hospital(麻省总医院人类遗传学研究中心)
提出一种凸优化方法用于黑箱识别具有稳定极限环的非线性状态空间模型,通过松弛稳定性约束并利用横向动力学和轨道稳定性概念,实现自激振荡系统的辨识。
2013-03-20 cs.SY eess.SY math.OC
On continuation and convex Lyapunov functions
EPFL(洛桑联邦理工学院)
该研究证明了在特定条件下,不同向量场之间可通过同伦保持原点稳定性,并探讨了其在稳定性证书和切换系统中的应用。
2024-03-21 math.DS math.OC
Online non-convex learning for river pollution source identification
The University of Hong Kong(香港大学);JD.com, Inc.(京东集团);Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
在本文中,新的基于梯度的在线学习算法的发展,调查一个重要的环境应用:实时河流污染源识别,其目的是估计释放的质量,位置和时间的河流污染源下游传感器数据监测污染浓度的基础上。污染被假定为瞬间释放一次。该问题可以被公式化为统计学习中的非凸损失最小化问题,并且我们的在线算法具有向量化和自适应步长,以确保在具有不同幅度的三维中的高估计精度。为了避免算法陷入非凸损失的鞍点,推导了逃逸鞍点模块和多起点设置,通过搜索损失函数的全局最小值,进一步提高估计精度。这可以从理论上和实验上证明为$O(N)$局部遗憾的算法和高概率累积遗憾界$O(N)$在特定的错误界条件下的损失函数。一个实际的河流污染源识别的例子表明,我们的算法相比,现有的方法在估计精度方面的优越性能。还提供了决策者使用算法的管理见解。
2022-03-11 cs.LG math.OC stat.ML
Stable interior-point method for convex quadratic programming with strict error bounds
提出了求解一类二次目标函数为非线性规划问题的一种短步长内点法。凸二次规划问题可以转化为这类问题。该方法具有弱多项式时间复杂度。给出了该方法数值稳定性的完整证明。没有要求的可行性,行秩的约束雅可比矩阵,严格互补性,或条件的问题。不可行的问题被解决到一个最优的内部最小二乘解。
2018-05-10 math.OC
Generalized Alternating Projections on Manifolds and Convex Sets
本文将广义交替投影方法的收敛性结果从子空间推广到光滑流形和非空闭凸集,基于有限识别性质证明其保持相同的局部渐近收敛速率,并给出示例与反例。
2023-03-30 math.OC
Contraction-Based Methods for Stable Identification and Robust Machine Learning: a Tutorial
本教程介绍了最近开发的机器学习工具,特别是学习动力系统(系统辨识),具有稳定性和鲁棒性约束。主要思想来自收缩分析和鲁棒控制,但适用于大规模模型可以学习行为保证的问题。我们举例说明的方法与鲁棒图像识别和系统辨识中的应用。
2021-10-01 cs.SY eess.SY math.OC
Regularization in Data-driven Predictive Control: A Convex Relaxation Perspective
University of California San Diego(加利福尼亚大学圣地亚哥分校)
本文通过凸松弛视角探讨数据驱动预测控制中正则化的作用,提出A-DDPC方法,通过迭代算法解决内层问题,实验表明其在减少偏差和方差误差方面优于现有方法。
2026-10-19 cs.SY eess.SY math.OC
Stable Linear System Identification with Prior Knowledge by Riemannian Sequential Quadratic Optimization
本文研究含噪观测下带先验知识的稳定线性系统辨识,将其建模为黎曼非线性优化问题,并应用黎曼序列二次优化算法求解,证明了该方法比竞争算法更有效。
2023-09-15 math.OC
A Generalization of the Passivity Theorem and the Small Gain Theorem Based on $ρ$-Stability, with Application to a Parameter Adaptation Algorithm for Recursive Identification
SATIE, CNAM-ENS Paris-Saclay(SATIE, 法国国家艺术与工艺学院-巴黎萨克雷高等师范学院)
本文基于ρ-稳定性推广了无源性定理与小增益定理,将其应用于递推辨识参数自适应算法,可解释近期辨识论文的相关结果。
2026-11-13 math.OC
Pyramidal Polytopes in the Stability Region
每个$n th$阶首一多项式对应于$n$维向量。如果给定的多项式是稳定的,即它的所有根都在开左半平面内,则称它是Hurwitz多项式,相应的向量称为稳定向量。稳定向量的集合是非凸的。本文定义了特殊的$(n+1) $稳定向量,使得它们的凸包是稳定的.
2018-10-04 math.CO math.DS math.OC
An irreducible linear switching system whose unique Barabanov norm is not strictly convex
我们构造了一个在连续时间、四维空间中具有三个切换状态的边缘稳定线性切换系统,该系统对于常数切换律是指数稳定的,并且具有唯一的Barabanov范数,但使得Barabanov范数不能是严格凸的.这就解决了Y的问题。Chitour,M.盖伊和P.梅森。
2023-01-24 math.OC
Generalized system identification with stable spline kernels
正则化最小二乘方法已成功地应用于线性系统辨识。最近的方法使用二次惩罚项对由稳定样条核定义的未知脉冲响应,通过利用正则性和有界输入有界输出稳定性来控制模型空间的复杂性。本文将线性系统辨识扩展到一类广泛的非光滑稳定样条估计,其中正则化泛函和数据失配可以从一组丰富的分段线性二次(PLQ)惩罚中选择。除了最小二乘罚分之外,此类还包括1-norm、Huber和Vapnik。通过将罚函数表示为共轭罚函数,建模者可以为失配和正则化函数指定任何分段线性二次罚函数,以及对响应的不等式约束。我们实现的边界点求解器(IPsolve)是局部二次收敛的,每次迭代进行$O(\min(m,n)^2(m+n))$算术运算,其中$n$是未知脉冲响应系数的数量,$m$是观察到的输出测量的数量。IPsolve与系统识别的可用替代方案相比具有竞争力。通过与TFOCS、libSVM和FISTA算法的比较,可以看出这一点。代码是开源的(https://github.com/saravkin/IPsolve)。系统识别的方法的影响示出了具有强大的配方污染的数据,松弛系统,非负性和单峰约束的脉冲响应,稀疏性促进正则化的数值实验。消除约束产生特别显著的改进。
2018-07-25 math.OC stat.ML
Input Design for System Identification via Convex Relaxation
Massachusetts Institute of Technology(麻省理工学院)
提出一种基于凸松弛的框架,在时域幅度约束下最大化Fisher信息矩阵,实现系统辨识激励输入的优化,并保证近似最优性。
2010-09-28 cs.SY eess.SY math.OC
Online Modeling and Sequential Convex Programming for Lunar Landing Trajectory Optimization
The University of Tennessee(田纳西大学)
研究月球动力下降和着陆的制导框架,结合序列凸规划与实时在线模型识别。将非凸能量最优着陆问题转化为凸二阶锥规划序列,用在线识别层估计扰动并注入修正项,开发算法并探索理论基础,数值模拟验证算法效果。
2026-07-07 cs.SY eess.SY math.OC
Linear system identification using stable spline kernels and PLQ penalties
线性系统辨识的经典方法是参数预测误差法(PEM)。在这种情况下,模型复杂性通常是未知的,因此需要模型阶数选择步骤来适当地权衡偏差和方差。最近,一种不同的方法来线性系统识别已被引入,其中模型阶确定是避免使用正则化最小二乘框架。特别地,脉冲响应上的惩罚项由所谓的稳定样条核定义。它们嵌入了正则性和BIBO稳定性的信息,并且依赖于可以从数据中估计的少量参数。在本文中,我们提供了新的非光滑公式的稳定样条估计。特别是,我们认为线性系统识别问题在一个非常广泛的背景下,正则化泛函和数据失配可以来自一组丰富的分段线性二次函数。此外,我们的分析包括多面体不等式约束的未知脉冲响应。对于任何制定在这个类中,我们表明,内点方法可以用来解决系统识别问题,在每次迭代的复杂性为O(n3)+O(mn2),其中n和m是脉冲响应系数和测量的数量,分别。的有用性的框架说明通过一个数值实验,输出测量被污染的离群值。
2013-03-12 math.OC stat.CO stat.ML
A Sparse Bayesian Approach to the Identification of Nonlinear State-Space Systems
本技术说明考虑了具有加性过程噪声但没有测量噪声的非线性离散时间系统的识别。特别是,我们提出了一种方法及其相关算法来识别系统的非线性函数形式和它们的相关参数从有限数量的时间序列数据点。为此,我们把这个识别问题转化为一个稀疏的线性回归问题,并采用贝叶斯的观点来解决它。我们提出了一个凸化过程依赖于一个有效的迭代重新加权$\ell_1$ -最小化算法,使用一般稀疏诱导先验的系统参数和边际似然最大化。使用这种方法,我们还展示了如何凸约束的参数可以很容易地添加到我们提出的迭代重新加权$\ell_1$最小化算法。在补充材料\cite{appendix}中,我们说明了所提出的识别方法在生物学和物理学中的两个经典系统上的有效性,即遗传抑制子网络和大规模互连的Kuramoto振荡器网络。
2015-04-23 math.OC
Drift Identification for Lévy alpha-Stable Stochastic Systems
University of California, Merced(加州大学默塞德分校)
研究了一类随机系统辨识问题:给定Lévy $α$ -稳定噪声驱动的随机微分方程的时间序列观测值,估计其漂移场.对于间隔$[1,2)$中的$α$,噪声是重尾的,导致计算物理空间中的转变密度和/或似然性的方法的计算困难。我们提出了一种傅立叶空间方法,该方法以计算时间相关的特征函数为中心,即,含时密度的傅里叶变换。使用傅立叶级数参数化未知的漂移场,我们制定了一个损失的预测和经验特征函数之间的平方误差。我们通过伴随方法计算梯度来最小化这种损失。对于各种一维和二维的问题,我们证明了这种方法是能够学习漂移场的定性和/或定量协议与地面真理字段。
2022-12-06 cs.LG math.OC stat.CO
Finite-time System Identification and Adaptive Control in Autoregressive Exogenous Systems
California Institute of Technology(加州理工学院);Purdue University(普渡大学)
自回归外生(ARX)系统是一类输入输出动态系统,用于建模随机线性动态系统(LDS),包括部分可观测的LDS,如LQG系统。本文研究了一类未知ARX系统的系统辨识和自适应控制问题。我们提供有限时间学习保证的ARX系统下的开环和闭环数据汇集。利用这些保证,我们设计了具有任意强凸或凸二次调节成本的未知ARX系统的自适应控制算法。在强凸代价函数下,我们设计了一种基于在线梯度下降的自适应控制算法来设计和更新通过凸控制器重新参数化构造的控制器。我们表明,我们的算法有$\tilde{\mathcal{O}}(\sqrt{T})$遗憾通过探索和提交的方法,如果模型估计更新的时代使用闭环数据汇集,它达到最佳的遗憾$\text{polylog}(T)$后,$T$的时间步长的相互作用。对于凸二次型代价函数的情形,我们提出了一种自适应控制算法,利用不确定性乐观原理设计控制器。在这种情况下,我们发现,探索和提交的方法有一个遗憾的$\tilde{\mathcal{O}}(T^{2/3})$上限,自适应控制与连续的模型估计更新达到$\tilde{\mathcal{O}}(\sqrt{T})$遗憾后,$T$时间步长。
2021-08-26 cs.LG cs.SY eess.SY
Optimal Control Via Neural Networks: A Convex Approach
复杂系统的控制涉及到系统辨识和控制器设计。深度神经网络已被证明在许多识别任务中是成功的,然而,从基于模型的控制角度来看,这些网络很难使用,因为它们通常是非线性和非凸的。因此,许多系统仍然是基于简单的线性模型的识别和控制,尽管他们的穷人的代表性能力。在本文中,我们弥合模型精度和控制易处理性之间的差距所面临的神经网络,通过明确构建网络,是凸的关于他们的输入。我们证明了这些输入凸网络可以被训练以获得复杂物理系统的精确模型。特别地,我们设计了输入凸递归神经网络来捕捉动力系统的时间行为。然后通过求解凸模型预测控制问题得到最优控制器。实验结果表明,良好的潜力,建议的输入凸神经网络为基础的方法在各种控制应用。特别是,我们表明,在MuJoCo运动任务中,与最先进的基于模型的强化学习方法相比,我们可以使用5* 更少的时间实现超过10%的性能提高;在建筑物HVAC控制示例中,与经典的线性模型相比,我们的方法实现了高达20%的能耗降低。
2019-02-26 math.OC
Diagonally Square Root Integrable Kernels in System Identification
近年来,再生核希尔伯特空间(RKHS)理论在线性系统辨识中发挥了重要作用。RKHS的核心是表征其属性的相关内核。相应地,本文研究了对角平方根可积核。我们证明,各种著名的稳定内核引入系统辨识属于这一类。此外,它表明,任何DSRI核也是稳定的和可积的。我们期待与DSRI内核相关的RKHS的某些拓扑特征,特别是在各自的RKHS上定义的线性算子的连续性。对于以稳定脉冲响应为中心的高斯过程的稳定性,我们证明了其充分必要条件是相应核的对角平方根可积。此外,我们详细阐述了这一结果,提供适当的解释。
2023-02-24 cs.SY eess.SY math.OC
Activity Identification and Local Linear Convergence of Douglas--Rachford/ADMM under Partial Smoothness
凸优化在大多数定量科学学科中已经变得无处不在,包括变分图像处理。近似分裂算法是解决此类结构化凸优化问题的常用算法。在这类算法中,道格拉斯-Rachford(DR)和交替方向法的乘法器(ADMM)的设计,以最小化两个正常的下半连续凸函数的邻近算子是容易计算的和。这项工作的目标是了解的局部收敛行为的DR(resp。ADMM)时所涉及的功能(分别为它们的Legendre-Fenchel共轭)此外是部分光滑的。更准确地说,当两个功能(分别)。他们的共轭)是部分光滑相对于各自的流形,我们表明,DR(resp. ADMM)在有限时间内识别这些流形。当这些流形是仿射流形或线性流形时,我们证明了DR/ADMM是局部线性收敛的。当$J$和$G$是局部多面体时,我们证明了最优收敛半径是由所识别流形的切空间之间的Friedrichs角的余弦给出的.这是说明了几个具体的例子和支持的数值实验。
2015-07-31 math.OC
LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments
Tarbiat Modares University(塔里亚特莫达雷斯大学);Shahid Beheshti University(沙希德贝赫沙迪大学);Institute for Cognitive and Brain Sciences(认知与脑科学研究所)
针对深度神经网络训练中噪声梯度与不稳定收敛的问题,提出结合Adam与Lyapunov稳定性机制的新型优化器LyAm,理论证明其非凸收敛性,并在CIFAR等数据集上验证了其优于现有方法的准确率与稳定性。
2025-07-15 cs.LG math.OC
Parallel block coordinate descent methods with identification strategies
本文提出一种并行块坐标下降方法,利用识别非零坐标的策略和非均匀概率分布选择块,以高效求解部分可分离光滑凸函数与非光滑块可分离凸函数之和的最小化问题,并通过数值实验验证了其收敛性和效率。
2025-08-04 math.OC
A variational approach to stable principal component pursuit
我们引入了一个新的稳定的主成分追踪(SPCP)的凸公式分解成低秩和稀疏表示的噪声信号。对于我们的SPCP公式的数值解,我们首先开发了一个凸变分框架,然后用拟牛顿法加速它。我们表明,通过合成和真实的数据实验,我们的方法提供了优势,在可扩展性和实用的参数选择的经典SPCP配方。
2014-06-04 math.OC stat.ML
Uniform non-convex optimisation via Extremum Seeking
通过证明抖动信号和费用函数的幅度的均匀性,本文讨论了一个著名的极值搜索方案。这些属性,然后使用表明,该计划保证全球极小是半全球实际稳定的,尽管存在局部极小。在全局Lipschitz费用函数的假设下,证明了该方案通过高通滤波器的改进,使得全局极小值点具有全局吸引区域的稳定性.
2022-06-06 math.OC
On Fenchel c-conjugate dual problems for DC optimization: characterizing weak, strong and stable strong duality
本文针对DC优化问题提出两类基于c-共轭格式的Fenchel型对偶问题,刻画了其弱对偶、强对偶与稳定强对偶的条件,并建立了两类对偶对强对偶性质的关联。
2025-01-14 math.OC
A Stable High-order Tuner for General Convex Functions
Massachusetts Institute of Technology(麻省理工学院)
基于迭代梯度的算法已经越来越多地应用于训练各种各样的机器学习模型,包括大型神经网络。特别是,动量为基础的方法,加速学习的保证,已经收到了很多关注,由于其可证明的保证快速学习在某些类别的问题和多个算法已经得出。但是,这些方法的属性仅适用于常数回归量。当发生时变回归时,这在动态系统中很常见,许多基于动量的方法不能保证稳定性。最近,一种新的高阶调谐器(HT)被开发用于线性回归问题,并被证明具有1)时变回归量的稳定性和渐近收敛性,以及2)常数回归量的非渐近加速学习保证。在本文中,我们推广并讨论了一般凸损失函数的相同HT的结果。通过利用凸性和光滑性的定义,我们建立了类似的稳定性和渐近收敛保证。最后,我们提供了数值模拟支持令人满意的行为的HT算法,以及加速学习性能。
2021-06-08 cs.LG math.OC
Non-asymptotic Identification of Linear Dynamical Systems Using Multiple Trajectories
研究了利用输入输出数据的线性时不变(LTI)系统辨识问题。最近的工作提供了非渐近的结果,部分可观察的LTI系统辨识使用一个单一的轨迹,但只适用于稳定的系统。我们提供有限时间分析学习马尔可夫参数的基础上,普通最小二乘(OLS)估计使用多个轨迹,其中包括稳定和不稳定的系统。对于不稳定的系统,我们的研究结果表明,马尔可夫参数更难估计过程噪声的存在。在没有过程噪声的情况下,我们的估计误差的上界是独立的谱半径的系统动力学具有高概率。这两个特点是从充分观察到的LTI系统,最近的工作表明,不稳定的系统与更大的谱半径更容易估计。大量的数值实验证明了我们的OLS估计的性能。
2020-11-08 cs.SY eess.SY math.DS
Non-convex potential games for finding global solutions to sensor network localization
针对非凸传感器网络定位问题,本文构建非凸多人势博弈,利用对偶规范理论转化为互补对偶问题,并开发基于共轭的算法,提出全局纳什均衡的识别条件,最后通过仿真验证了理论有效性。
2024-03-23 cs.GT cs.MA math.OC
Nonlinear System Identification with Prior Knowledge of the Region of Attraction
研究了当平衡点的吸引域(ROA)上存在先验知识时的非线性系统辨识问题。我们提出了一种识别方法的形式的最优化问题,最大限度地减少拟合误差,并保证所需的稳定性。通过联合辨识系统的动态特性和验证系统稳定性的李雅普诺夫函数来解决该问题。在这种情况下,假设集是一个再生核希尔伯特空间,并且相对于ROA的给定子集的每个点,李雅普诺夫函数的李导数不等式施加了约束。该问题是一个具有无穷多个约束的非凸无穷维优化问题。为了获得一个易于处理的配方,只有一个适当设计的有限子集的约束被认为是。由此产生的问题承认一个解决方案的形式的线性组合的部分内核及其衍生物。推导了一个等价的具有二次费用函数的线性和双线性约束的最优化问题。适当的变量变量变换给出了该问题的凸变换形式。为了减少超参数的数量,最优化问题适用于对角核的情况。通过实例说明了该方法。
2020-03-27 cs.SY eess.SP eess.SY
Specialized Interior Point Algorithm for Stable Nonlinear System Identification
Australian Centre for Field Robotics(澳大利亚机器人场实验室);The University of Sydney(悉尼大学)
本文提出了一种专用内点算法,通过利用问题中的特殊结构,将计算复杂度从数据集长度的三次方降低到线性增长,从而提高了非线性系统辨识的效率,并展示了其在新数据上的优越泛化能力。
2018-03-02 cs.LG cs.SY eess.SY
Convex duality for stochastic singular control problems
我们为某些奇异控制问题发展了一个一般的凸对偶理论,把Kramkov和Schachermayer(1999)关于非负随机变量的最优期望效用的抽象结果推广到增加的自适应控制的最优期望效用水平。主要贡献是制定一个合适的对偶框架,识别问题的对偶功能以及充分的对偶性的原始和对偶值函数及其优化。我们的结果的范围说明了一个不可逆的投资问题和Hindy-Huang-Kreps效用最大化问题的不完全金融市场。
2014-07-29 math.OC q-fin.PM
Maximum independent set (stable set) problem: Computational testing with binary search and convex programming using a bin packing approach
针对最大独立集问题,研究基于装箱方法的凸规划求解思路,在暂未构造出合适凸函数的情况下引入新函数,实验显示提供少量部分解时得到最优整数解的频率显著提升。
2023-12-19 cs.DS math.OC
A necessary and sufficient condition on the stability of the infimum of convex functions
设凸集C \subseteq \R上的凸函数f \colon C \to [- \infty,\infty ]是无穷稳定的,如果对点态收敛于f的凸函数f_n \colon C \to [- \infty,\infty ]的任何序列(f_n),有\inf_C f_n \to \inf_C f.给出了凸函数下确界稳定的一个简单的充要条件。如果用Moore-Smith网(f_v)代替序列(f_n),同样的条件仍然是必要和充分的。本说明的动机是金融/经济学中风险/不平等度量的稳定性的某些应用。
2013-08-01 math.CA math.OC
Generic identifiability and second-order sufficiency in tame convex optimization
本文证明,对于半代数(或更一般地“驯服”)的紧凸可行域,线性优化问题的最优解在通用意义下唯一且位于唯一流形上,该流形周围可行域“部分光滑”,从而确保许多优化算法能有限识别该流形,同时二阶最优性条件成立,保证目标微小扰动下最优解的平滑行为。
2009-01-20 cs.NA math.NA math.OC
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies(IMT高等研究院)
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数,包括$\ell_1$ -正则化。我们表明,学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY