Secant Penalized BFGS: A Noise Robust Quasi-Newton Method Via Penalizing The Secant Condition
在本文中,我们介绍了一种新的变体的BFGS方法,旨在执行良好的梯度测量时,被噪声破坏。我们表明,通过处理割线条件与惩罚方法的方法,由正则化最小二乘估计的动机,可以顺利地更新与原来的BFGS更新公式和不更新的逆Hessian近似之间的插值。此外,我们发现,曲率条件是顺利放宽的插值走向不更新逆Hessian近似,完全消失时,逆Hessian近似不更新。这些发展使我们能够开发一种方法,我们称之为割线惩罚BFGS(SP-BFGS),它允许人们放松割线条件的基础上的梯度测量中的噪声量。SP-BFGS提供了一种增量更新新的逆Hessian近似的方法,其具有朝向先前的逆Hessian近似的受控量的偏置,这允许人们用抵抗噪声的破坏性影响并且可以应对负曲率测量的平均性质来替换原始BFGS更新的非线性性质。我们讨论了SP-BFGS的理论性质,包括在一致有界噪声的存在下极小化强凸函数的收敛性。最后,我们提出了广泛的数值实验,使用超过30个问题的CUTEst测试问题集,证明了优越的性能SP-BFGS相比,BFGS的存在下,噪声函数和梯度评估。
2021-07-11 cs.NA math.NA math.OC
On optimal control of free boundary problems of obstacle type
对椭圆型变分不等式形状最优化问题的最优控制公式进行了数值研究。将形状最优化问题转化为固定区域内的边界控制问题。离散最优控制问题是一个非光滑、非凸的数学规划问题。测试了标准BFGS拟牛顿法和非精确线搜索BFGS法的性能。
2018-01-19 math.OC
BFGS-ADMM for Large-Scale Distributed Optimization
考虑一类分布式最优化问题,其中目标函数由强凸函数和光滑函数以及(可能非光滑)凸正则化子组成。假设一个多智能体网络,其中每个智能体拥有一个私有的费用函数,并与它的邻居合作,以计算最优的聚合目标。本文提出了一种准牛顿乘子交替方向法(ADMM),其中原始更新是用近似曲率信息不精确求解的。通过引入一个中间一致性变量,我们实现了一个块对角Hessian,它消除了在计算更新方向时网络内部通信环路的需要。我们建立了全局线性收敛的最佳原始-对偶解决方案,而不需要回溯线搜索,假设组件费用函数是强凸的Lipschitz连续梯度。真实数据集上的数值模拟表明了所提出的方法优于现有技术。
2021-09-30 math.OC
On the Acceleration of L-BFGS with Second-Order Information and Stochastic Batches
Tencent AI Lab(腾讯人工智能实验室);Lehigh University(理海大学)
本文提出了一种基于近似二阶信息的L-BFGS算法框架,作为求解有限和极小化问题的一种新方法。与经典的L-BFGS不同,随机批次导致不稳定,我们使用平滑估计的梯度差的评估,同时通过良好的缩放初始海森实现加速。我们提供了理论分析,凸和非凸的情况下。此外,我们证明,在流行的应用程序中的最小二乘和交叉熵损失,该算法承认在分布式环境中的一个简单的实现。数值实验证明了算法的有效性。
2018-07-14 cs.LG math.OC stat.ML
Global Linear Convergence of the Proximal Bundle Method under Unknown Piecewise Smoothness and Quadratic Growth
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
研究近端束方法在保留足够多切割平面时,能利用目标函数的分段光滑结构,实现全局线性收敛,并给出理论解释。
2026-09-11 math.OC
A seven-point algorithm for piecewise smooth univariate minimization
在本文中,我们构造了一个算法,用于最小化分段光滑函数的导数信息是不可用的。该算法构造一对二次函数,在具有最小已知函数值的点的每一侧上一个,并选择这些二次函数的交点作为下一个测试点。该算法依赖于在特定范围内低估真实函数的二次函数,这是使用随着算法进行而修改的调整项来实现的。
2020-12-11 math.OC
LM-CMA: an Alternative to L-BFGS for Large Scale Black-box Optimization
Liu和Nocedal(1989)的有限记忆BFGS方法(L-BFGS)通常被认为是当一阶和/或二阶信息可用时用于连续优化的选择方法。然而,L-BFGS的使用可能是复杂的,在黑盒的情况下,梯度信息是不可用的,因此应该进行数值估计。通过有限差分方法获得的这种估计的准确性通常取决于问题,这可能导致算法的过早收敛。在本文中,我们展示了L-BFGS的替代方案,Loshchilov(2014)提出的有限记忆协方差矩阵自适应演化策略(LM-CMA)。LM-CMA是一种用于非线性、非凸优化问题数值优化的随机无导数算法。受L-BFGS的启发,LM-CMA根据从在优化过程期间选择的$m$方向向量再现的协方差矩阵对候选解进行采样。将协方差矩阵分解成Cholesky因子允许将存储器复杂度降低到$O(mn)$,其中$n$是决策变量的数量。对一个候选解进行采样的时间复杂度也是$O(mn)$,但实际上仅为约25次标量-向量乘法。该算法有一个重要的性质,w.r.t.严格地增加目标函数的变换,这样的变换不损害其接近最优的能力。LM-CMA优于原来的CMA-ES及其大规模版本的不可分离的病态问题的一个因素增加的问题的维数。该算法的不变性并不妨碍它在非平凡的大规模光滑和非光滑优化问题上表现出与L-BFGS相当的性能。
2015-11-01 cs.NE math.OC
Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods
优化在机器学习问题中是重要的,并且拟牛顿法被认为是光滑无约束优化的最有效的数值方案。本文研究了拟牛顿法的显式超线性收敛速率,并解决了Rodomanov和Nesterov提出的两个公开问题.首先,我们将Rodomanov和Nesterov的结果推广到随机拟牛顿法,包括常用的DFP,BFGS,SR 1方法。这种随机方法采用随机方向来在每次迭代中更新近似黑塞矩阵。其次,我们重点研究了特殊的拟牛顿法:SR 1和BFGS方法。我们提供了改进版本的贪婪和随机方法,可证明更好的显式(本地)超线性收敛速率。我们的分析是密切相关的一个给定的黑塞矩阵,无约束的二次目标,以及一般的强凸,光滑,强自协调函数的逼近。
2022-09-11 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University(普渡大学)
本文提出重启式惩罚APEX算法,用于求解未知分段光滑的凸函数约束优化问题,该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度,还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
Statistical and Computational Complexities of BFGS Quasi-Newton Method for Generalized Linear Models
针对广义线性模型参数估计,提出使用BFGS拟牛顿法,在低信噪比下线性收敛且每次迭代成本为$O(d^2)$,收缩系数与牛顿法相当,统计半径达到$O((d/n)^{1/(2p+2)})$。
2024-03-14 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化,而最近的随机凸优化主要居住在光滑,无约束,强凸制度。自然,有一个迫切需要解决的非光滑性,缺乏强凸性,并存在约束。因此,本文提出了一个拟牛顿框架,可以处理仅仅是凸和可能的非光滑(但光滑)的随机凸问题。我们提出了一个框架,结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新(rsL-BFGS),生成一个序列的海森近似,可以容纳非光滑凸目标,利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下,所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度,而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$,其中$κ$是条件数,$m\geq 1$。在非平滑(但可平滑)区域,使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数,我们还提供了次线性率;(iii)在仅仅凸,但光滑的设置,正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时,正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Counterexamples for BFGS-type methods under arbitrary strong Wolfe constants
本文针对任意强Wolfe参数构造了BFGS类方法在二维光滑非凸函数上发散的反例,证明其失效并非参数限制所致。
2026-09-10 math.OC
A Linearly-Convergent Stochastic L-BFGS Algorithm
University of California, Berkeley(加州大学伯克利分校)
本文提出一种新的随机L-BFGS算法,证明了其在强凸和光滑函数上的线性收敛性,并展示了其在大规模凸优化问题中的高效性能。
2016-04-13 cs.LG cs.NA math.NA
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization I: Convex Optimization
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
针对未知分段光滑凸函数在二次增长条件下的优化问题,提出加速近端水平方法APEX,实现最优一阶复杂度并提供可验证终止证书。
2026-06-02 math.OC
Piecewise smooth functions and conservative fields: calculus for nonsmooth nonconvex optimization beyond stratification
Toulouse School of Economics, Toulouse Capitole University(图卢兹经济学院,图卢兹卡皮托尔大学)
研究局部Lipschitz、分段光滑函数相关梯度与保守场的联系,证明相关集合沿Lipschitz曲线有链式法则性质,调和两个非光滑自动微分理论框架,给出随机次梯度方法在有界性假设下的收敛性。
2026-08-11 math.OC
A Piecewise Smooth Control-Lyapunov Function Framework for Switching Stabilization
研究一般切换非线性系统的切换镇定问题。提出了一种分段光滑控制-李雅普诺夫函数(PSCLF)方法,并给出了一种设计稳定切换律的构造性方法。通过PSCLF的方向导数构造了开关律,并详细讨论了非光滑表面上可能出现的各种技术问题。充分条件导出,以确保闭环Filippov解决方案,包括可能的滑动运动的稳定性。建议PSCLF方法包含了许多现有的结果作为特例,并提供了一个统一的框架来研究非线性切换稳定问题,系统地考虑滑动运动。该框架的应用切换线性系与二次和分段二次控制-李雅普诺夫函数进行了讨论和结果强于文献中现有的方法。通过一个数值例子说明了该方法在控制切换非线性系统中的应用。
2015-03-06 math.OC
Strong growth and Goldstein subgradients in piecewise smooth optimization
Cornell University(康奈尔大学)
该研究针对分段光滑优化问题,探讨了Lipschitz函数局部极小值点附近的新增长条件,明确了强凸与非凸情形下该条件的成立情况,并通过计算实验验证了假设的重要性。
2026-08-24 math.OC
Technical results on the convergence of quasi-Newton methods for nonsmooth optimization
Technical University of Munich(慕尼黑工业大学)
本文研究非光滑优化中拟牛顿方法的收敛性,分析了非光滑情况下Secant方程对拟牛顿矩阵特征值的影响,并基于数值实验提出收敛性条件,探讨了拟牛顿方法如何利用分段可微结构。
2025-11-05 math.OC
Complete Integrability for Piecewise-Smooth Distributions
Department of Mathematics, University of Hawai‘i at Manoa(夏威夷大学马诺阿分校数学系)
针对分段C1但不一定连续的分布,证明了Frobenius可积性定理的两个推广,给出了在bi-Lipschitz坐标下完全可积的充分条件。
2026-07-03 math.DG math.OC
Decay for the Kelvin-Voigt damped wave equation: Piecewise smooth damping
研究了多维区域上具有分段光滑阻尼的Kelvin-Voigt阻尼波动方程的能量衰减率。在适当的几何假设下的阻尼的支持,我们得到的最佳多项式衰减率,原来是从\cite{LR05}中研究的一维情况下不同。这种最佳的衰减率是饱和的高能量准模式局部化的几何光学射线击中界面沿非正交的切向方向。证明使用半经典分析的边值问题。
2021-12-20 math.AP math.OC
Optimization of piecewise smooth shapes under uncertainty using the example of Navier-Stokes flow
本文融合乘积形状流形微分几何与多形状微积分,构建分段光滑形状优化框架,并用于含不确定性的稳态不可压缩 Navier-Stokes 绕流障碍问题,通过随机增广 Lagrangian 数值实验分析参数选择。
2023-08-15 math.DG math.OC
A semi-smooth Newton method for a special piecewise linear system with application to positively constrained convex quadratic programming
IME/UFG(联邦大学戈亚斯州理工学院);The University of Birmingham(伯明翰大学)
本文提出一种半光滑牛顿方法用于求解特殊分段线性系统,证明其收敛性并应用于正约束凸二次规划问题,展示了该方法在大规模问题中高效求解的能力。
2015-11-12 cs.NA math.NA math.OC