Stabilization of Itô Stochastic T-S Models via Line Integral and Novel Estimate for Hessian Matrices
本文提出了一种线积分李雅普诺夫函数方法来分析Itô随机T-S模型的稳定性和镇定。与确定性情形不同,该模型的稳定性分析需要线性积分李雅普诺夫函数的Hessian矩阵信息,该信息与基函数的偏导数有关。通过引入一种新的偏导数处理方法,并利用状态相关矩阵秩为1的性质,利用线性积分李雅普诺夫函数建立了系统的稳定性条件.这些条件比基于二次李雅普诺夫函数的条件更一般。基于稳定性条件,利用锥互补线性化算法设计控制器。因此,一个非二次李雅普诺夫函数方法的Itô随机T-S模型的镇定问题。证明了该问题可以通过优化一组具有线性约束的矩阵变量乘积的迹和来解决。数值例子说明了所提出的控制方案的有效性。
2020-04-01 cs.SY eess.SY math.DS
A new framework for the computation of Hessians
本文研究了用自动微分法计算黑塞矩阵的方法,分别采用图模型和代数模型。图模型揭示了计算Hessian所涉及的固有对称性。代数模型,基于Griewank和Walther的状态变换,综合计算的海森公式。这些双重观点,图形和代数,导致一个新的框架海森计算。这是通过开发edge_pushing来说明的,edge_pushing是一种新的完全利用Hessian对称性的真正反向Hessian计算算法。计算实验比较了CUTE集合中的16个函数与ADOL-C软件驱动程序中的两种算法的边缘推进性能,结果非常有希望。
2020-07-29 cs.MS math.OC
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University(北京大学);Stevens Institute of Technology(史蒂文斯理工学院)
子采样牛顿法通过子采样技术近似海森矩阵,减少了形成海森矩阵的成本,但使用足够的曲率信息。然而,以前的结果需要$Ω(d)$样本来近似Hessians,其中$d$是数据点的维数,这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时,情况恶化,这需要考虑整个数据集,使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说,我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本,其中$d^γ_{\rm eff}$是$γ$ -岭杠杆,只要$nγ\gg 1$,它就可以比$d$小得多.此外,我们扩展了这一结果,使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
Northeastern University(东北大学)
本文提出一种基于 Hessian 惩罚的二点噪声注入估计方法,有效正则化神经网络损失表面的 Hessian 矩阵以寻找平坦极小值,显著提升了模型泛化能力并在多种任务上取得优异实验结果。
2024-09-23 cs.DS cs.LG math.OC
A New Multipoint Symmetric Secant Method with a Dense Initial Matrix
在大规模优化中,当形成或存储黑塞矩阵的成本过高时,通常使用拟牛顿法代替牛顿法,因为它们只需要一阶信息来近似真实的Hessian矩阵。多点对称割线法(MSS)可以被认为是拟牛顿法的推广,因为它们试图对Hessian的近似施加额外的要求。在给定初始Hessian逼近的情况下,MSS方法通过秩2更新生成一系列可能不定矩阵,从而求解非凸无约束最优化问题。由于实际原因,到目前为止,初始化一直是单位矩阵的常数倍。在本文中,我们提出了一个新的有限内存MSS方法的大规模非凸优化,允许密集的初始化。CUTEst测试问题的数值结果表明,MSS方法使用密集初始化优于标准初始化。数值结果还表明,这种方法是竞争的基本L-SR 1信赖域方法和L-PSB方法。
2022-08-09 cs.NA math.NA math.OC
Polyhedral Analysis of Quadratic Optimization Problems with Stieltjes Matrices and Indicators
针对 Hessian 为 Stieltjes 矩阵的带指示变量凸二次优化问题,本文利用 Stieltjes 多面体与极点集合函数的超模性提出显式凸松弛,可在大整数间隙实例上获得精确最优解。
2024-04-05 math.OC
Variable Metric Method for Unconstrained Multiobjective Optimization Problems
本文提出了一种求解无约束多目标最优化问题的变度量法。首先,在一般框架中使用不同的正定矩阵生成点序列。证明了序列的聚点是Pareto临界点。然后,没有凸性假设,强收敛性所提出的方法。此外,我们使用一个公共矩阵来逼近所有目标函数的黑塞矩阵,并由此提出了一种新的非单调线搜索技术,以获得局部超线性收敛速率.最后,数值结果验证了该方法的有效性.
2022-07-15 math.OC
Stochastic Hessian Fittings with Lie Groups
Xi-Lin Li(利西林)
本研究通过分析李群中的Hessian拟合问题,揭示了其在不同几何设置下的强凸性,并提出了高效的李群稀疏预条件器拟合方法。
2025-11-30 cs.LG math.OC stat.ML
Fast convergence of trust-regions for non-isolated minima via analysis of CG on indefinite matrices
本文针对非孤立极小值下信赖域方法收敛慢的问题,从理论上证明了TR-tCG在PŁ条件下的超线性收敛性,并开发了分析不定矩阵上CG动力学的新工具。
2024-09-23 cs.NA math.NA math.OC
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中,我们提出了一个统一的两阶段计划的凸优化加速:(1)自适应三次正则化方法与精确/不精确黑塞矩阵,(2)自适应梯度方法,没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的,这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下,我们建立了三个新算法的总体迭代复杂度界,以获得$ε$ -近似解.具体来说,我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度,这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配,假设精确Hessian信息和Lipschitz常数的可用性,并且子问题被求解为最优。在相同的两阶段自适应加速框架下,梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度,这是已知的最佳可能的(参见图1)。Nesterov-2013-Introductory)。我们的数值实验结果表明,在一组正则化的逻辑斯谛回归的情况下,三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University(香港理工大学)
本文提出复合优化器 SGD-PH,对逐通道参数使用可精确提取的对角部分 Hessian,其余参数采用 SGD 更新,从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
A variation of Broyden Class methods using Householder adaptive transforms
在这项工作中,我们介绍和研究新的拟牛顿最小化方法的基础上的Hessian近似Broyden类- \textit{type}更新计划,其中一个合适的矩阵$\tilde{B}_k$更新,而不是当前的Hessian近似$B_k$。我们确定的条件,这意味着算法的收敛性,如果选择精确的线搜索,其二次终止。通过投影操作和Krylov空间之间的显著联系,可以使用通过将$B_k$投影到由逐步自适应地选择的两个或三个豪斯霍尔德矩阵的乘积对角化的矩阵的代数上而获得的低复杂度矩阵$\tilde{B}_k$来确保这样的条件。扩展的实验测试表明,自适应准则,从理论上保证收敛,大大提高了鲁棒性的最小化方案相比,非自适应的选择,此外,他们表明,所提出的方法可能特别适合于解决大规模的问题,$L$ - $BFGS$执行不佳。
2020-01-21 cs.NA math.NA math.OC
Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis(加州大学戴维斯分校);Rice University(莱斯大学)
针对去中心化随机双层优化,本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法,在保持最优样本复杂度的同时避免计算完整矩阵,降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Optimization over covariance matrices with a parameterized metric
Nanyang Technological University(南洋理工大学);Microsoft India(微软印度);Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出一个两参数黎曼度量族用于协方差矩阵优化,统一了欧几里得、Bures-Wasserstein和仿射不变度量,并分析其Hessian条件数下界,实验验证了调整参数可提升收敛性能。
2026-09-16 cs.LG math.OC
Optimization Methods for Joint Eigendecomposition
针对联合对角化这一非凸优化问题,本文提出利用海森矩阵结构的高效算法,可精准确估计参数并设计优化方法,其性能优于现有技术且有数值证据支持。
2025-02-11 math.OC
Optimal Hessian/Jacobian-Free Nonconvex-PL Bilevel Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
针对非凸-PL双层优化问题计算复杂度高的问题,提出一种无Hessian/Jacobian的高效方法HJFBiO,在温和条件下证明了其最优收敛速率和梯度复杂度,并通过实验验证了有效性。
2024-07-25 cs.LG math.OC
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds
Marchuk Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院马尔丘克计算数学研究所);HSE University(高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
在科学计算和机器学习应用中,矩阵和更一般的多维数组(张量)通常可以在低秩分解的帮助下近似。由于固定秩的矩阵和张量形成光滑的黎曼流形,所以寻找低秩近似的流行工具之一是使用黎曼优化。然而,在黎曼优化算法中需要的黎曼梯度和海森的有效实现在实践中可能是一个不平凡的任务。此外,在某些情况下,甚至没有解析公式。在本文中,我们建立在自动微分,并提出了一种方法,给定的实现的功能,以最小化,有效地计算黎曼梯度和矩阵之间的近似黎曼海森和给定的向量向量的矢量产品。
2021-10-23 cs.LG cs.MS cs.NA
On joint eigen-decomposition of matrices
针对工程与信号处理中的矩阵近似联合对角化优化问题,本文开展代价泛函理论研究,证明其在秩亏矩阵邻域以概率1趋于无穷大以验证问题适定性,给出高阶导数、梯度及海森矩阵的表达式,为改进数值求解方案提供支撑,并讨论自伴矩阵情形。
2024-09-16 cs.NA math.NA math.OC
Newton Meets Marchenko-Pastur: Massively Parallel Second-Order Optimization with Hessian Sketching and Debiasing
针对通信受限的大规模并行凸优化,提出基于 Marchenko-Pastur 定律自适应选择 Hessian 草图维度并对下降方向去偏平均的近似 Newton 方法,并给出维度无关的非渐近与自协调收敛保证。
2024-10-02 cs.IT eess.SP math.IT
Bounding Computational Complexity under Cost Function Scaling in Predictive Control
Imperial College London(帝国理工学院)
本文提出了一种框架,用于上界估计由实现约束LQR控制器的一阶优化算法所需的迭代次数。通过推导新的条件数和极值特征值的上界,当成本函数被缩放时,原问题和对偶Hessian矩阵的条件数和极值特征值的上界。这些上界与时间 horizon无关,允许其用于递减、可变和递减时间 horizon控制器。我们大大放松了对权重矩阵结构的先前假设,仅假设系统是Schur稳定的,并且二次规划(QP)的原Hessian是正定的。分析利用QP矩阵的Toeplitz结构,将它们的谱与系统的传递函数相关联,从而允许使用系统理论技术来计算上界。使用这些上界,我们可以计算在权衡输入能量使用与状态偏差时对计算复杂性的影响。一个示例系统显示,在两个极端之间,算法迭代次数增加了三倍,尽管状态2-范数仅减少了5%,但状态偏差惩罚大大增加。
2019-02-06 cs.SY eess.SY math.OC
Riemannian Optimization for Hadamard Products of Low-Rank Matrices
Centre for Machine Intelligence and Data Science, Indian Institute of Technology Bombay, India(机器智能与数据科学中心,印度班加罗尔理工学院,印度);Microsoft India(微软印度)
针对低秩矩阵Hadamard积因子的耦合缩放对称性,提出一种基于黎曼商流形的块对角度量,并开发了线性复杂度的梯度下降算法。
2026-09-01 cs.LG math.OC
Scalable Gaussian Process Computations Using Hierarchical Matrices
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
本文提出了一种不依赖核的方法,利用分层矩阵解决高斯过程的最大似然估计问题,通过准线性复杂度O(n log²n)高效计算梯度、Hessian和期望Fisher信息矩阵。
2019-03-22 cs.NA math.NA math.OC
Computer-assisted local maximality of regular polygons for torsional rigidity
Faculty of Exact Sciences, Aurel Vlaicu University of Arad(阿拉德奥雷尔·弗拉伊库大学精确科学学院)
本文通过有限元与区间算术,计算机辅助证明正多边形在扭转刚度除以面积平方的尺度不变泛函下,对5至25边均为严格局部极大值点。
2026-10-05 cs.NA math.NA math.OC
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法,如深度学习和深度强化学习(RL),通常限于一阶算法,如随机梯度下降(SGD)。虽然SGD迭代的计算成本很低,但它们的理论收敛速度很慢。此外,它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而,计算大型问题的海森矩阵在计算上是不实际的。或者,拟牛顿方法构造海森矩阵的近似,以构建目标函数的二次模型。拟牛顿方法,如SGD,只需要一阶梯度信息,但它们可以导致超线性收敛,这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno(L-BFGS)方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中,我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新,从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果,例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明,一个强大的收敛与首选的泛化特性,以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
The Non-convex Geometry of Low-rank Matrix Optimization
本文研究了两个常见的极小化问题:(i)定义域为半正定矩阵的一般凸函数$f(\mathbf{X})$的极小化问题;(ii)定义域为一般矩阵的由矩阵核范数$\|\mathbf{X}\|_*$正则化的一般凸函数$f(\mathbf{X})$的极小化问题。尽管它们在文献中的最佳统计性能,这两个优化问题具有很高的计算复杂性,即使使用定制的快速凸解算器解决。为了开发更快和更可扩展的算法,我们遵循Burer和Monteiro的建议,将低秩变量$\mathbf{X} = \mathbf{U}\mathbf{U}^\top $(半定矩阵)或$\mathbf{X}=\mathbf{U}\mathbf{V}^\top $(一般矩阵)分解,并将核范数$\|\mathbf{X}\|_*$替换为$(\|\mathbf{U}\|_F^2+\|\mathbf{V}\|_F^2)/2$。尽管所得到的因子制剂的非凸性,我们证明,每个临界点要么对应于原来的凸问题的全局最优值,或者是一个严格的鞍Hessian矩阵具有严格的负特征值。这样一个很好的几何结构的因子公式允许许多本地搜索算法找到一个全局优化器,即使随机初始化。
2019-02-21 cs.IT math.IT math.OC
Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds
Ohio State University(俄亥俄州立大学)
我们提出了一个L-BFGS优化算法在黎曼流形使用小批量随机方差减少技术的快速收敛与恒定的步长,而不诉诸线搜索方法设计,以满足沃尔夫条件。给出了流形上强凸函数的一个新的收敛性证明,并讨论了非凸函数的收敛性。我们讨论了几种方法来获得用于计算梯度与逆Hessian的乘积的校正对,并实证地证明了它们在计算对称正定矩阵的Karcher均值和大规模数据矩阵的前导特征值的合成实验中的使用。我们将我们的方法与VR-PCA进行了比较,对于后一个实验,以及两种情况下的黎曼SVRG,并在一系列数据集上显示了强收敛结果。
2017-05-22 cs.LG math.DG math.OC
A distributed semismooth Newton based augmented Lagrangian method for distributed optimization
School of Mathematics, Southwest Jiaotong University(西南交通大学数学学院);School of Computer and Computing Science, Hangzhou City University(杭州城市大学计算机与计算科学学院);Institute of Mathematics, Zhejiang Wanli University(浙江万里大学数学学院)
本文提出了一种分布式半光滑牛顿基于增广拉格朗日方法,用于高效解决网络上的优化问题,通过分布式加速近端梯度方法提升计算效率。
2026-02-27 cs.LG cs.NA math.NA