A non-monotone smoothing Newton algorithm for solving the system of generalized absolute value equations
针对广义绝对值方程组（GAVE）求解问题，本文提出带非单调线搜索的光滑牛顿算法，在更弱假设下实现全局和局部二次收敛，数值实验验证了其可行性与高效性。
2021-11-27 cs.NA math.NA math.OC
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
Multigrid preconditioning of linear systems for semismooth Newton methods applied to optimization problems constrained by smoothing operators
Department of Mathematics and Statistics, University of Maryland, Baltimore County（马里兰大学巴尔的摩分校数学与统计系）
针对控制变量带盒约束的平滑算子约束线性二次优化问题，提出一种多重网格预处理器，使得半光滑牛顿法迭代次数随网格细化而减少。
2013-11-07 cs.NA math.NA math.OC
Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
本文提出了一种自相容平滑方法，用于大规模凸复合优化问题，通过变量度量选择和步长规则提升 proximal 反向牛顿算法的效率，并在过参数化模型中有效应用。
2025-11-27 cs.LG math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Optimization Outperforms Unscented Techniques for Nonlinear Smoothing
本文将优化型卡尔曼平滑器 OKS 与无迹卡尔曼平滑技术比较，证明在高度非线性及含噪场景下优化方法性能更优。
2025-10-04 math.OC
Solving Nonsmooth Bi-Objective Environmental andEconomic Dispatch Problem using Smoothing Techniques
环境经济调度问题（EEDP）是一个同时满足多个矛盾准则的非线性多目标最优化问题（MOP），并且考虑了阀点效应、多燃料效应和禁止运行区等因素，是一个非光滑问题。在满足所有运行约束条件的前提下，如何在发电机组之间进行发电量分配，使燃料成本和污染（排放水平）同时得到优化，是火电厂运行中的一项重要优化任务。本文利用具有梯度一致性的光滑函数来逼近非光滑多目标最优化问题。我们的方法是基于平滑方法。实际上，我们用近似的Karush-Kuhn-Tucker条件解释了光滑方法的收敛性分析，该条件是局部弱有效解的必要条件，在凸性假设下也是充分条件.最后，我们给出了我们的方法求解双目标EEDP的应用。
2020-03-12 math.OC
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
An Approximate Newton Method for Markov Decision Processes
基于马尔可夫链的算法是马尔可夫决策过程优化的首选方法之一。在这篇文章中，我们将提出一种新的近似牛顿算法优化这些模型。该算法比单纯的牛顿法具有各种理想的性质。首先，在控制器参数为对数凹的情况下，保证了近似Hessian在整个参数空间上是负半定的。此外，我们的近似牛顿法所需的推理通常与一阶方法所需的推理相同，例如最陡梯度上升法。近似Hessian还具有许多Hessian中不存在的良好稀疏性属性，并且在许多感兴趣的情况下使其反演有效。我们还提供了一个分析，突出了我们的近似牛顿法和期望最大化和自然梯度上升之间的关系。实验结果表明，该算法具有良好的收敛性和鲁棒性。
2015-08-04 math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Decentralized Approximate Newton Methods for Convex Optimization on Networked Systems
本文提出了一类求解网络系统上凸优化的分散近似牛顿（DEAN）方法，网络系统中的节点仅通过局部相互作用寻求使各自目标函数之和最小的一致性.所提出的DEAN算法允许每个节点重复执行局部近似牛顿更新，这利用跟踪全局牛顿方向和消散节点之间的差异。与大多数现有的二阶方法相比，在较少限制的问题假设下，DEAN算法使节点能够达成共识，可以任意接近最优。此外，对于一个特定的DEAN算法，节点线性收敛到一个显式的误差界的共同的次优解。最后，仿真结果表明DEAN在收敛速度，精度和效率方面具有竞争力的性能。
2020-11-28 math.OC
Convergence of Newton's method in shape optimisation via approximate normal functions
在本文中，我们提出了一个牛顿方法的形状函数定义的图像集所产生的（Micheletti）度量组。我们回顾了度量群的基本性质以及度量群与固定整环的商。考虑到二阶形状导数及其对称部分的特殊结构，我们可以区分两种海森，域形状海森和边界形状海森。使用域Hessian，我们定义了一个牛顿方法的度量组离散的切空间的商通过近似正规函数，使用再生核。在适当的假设下，我们能够证明牛顿迭代的超线性收敛和度量群中形状的收敛性。最后，我们验证了我们的研究结果在一些数值实验，包括一个彻底的数值研究的离散化的收敛速度的影响。
2018-09-05 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Distributed Approximate Newton Algorithms and Weight Design for Constrained Optimization
针对经济调度和线性约束资源分配问题，提出了一类新的近似牛顿最优化方法的分布式近似牛顿算法。我们首先开发的概念，代理实现二阶算法的通信图的最佳边缘加权，并提出了一个凸近似的非凸权重设计问题。接下来，我们建立在最优权重设计开发一个离散的分布式近似牛顿算法，该算法线性收敛到最优解的经济调度问题的未知费用函数和放松的局部框约束。对于满箱约束问题，我们开发了一个连续的分布式近似牛顿算法，该算法受到一阶鞍点方法的启发，并严格证明了其收敛到原始和对偶优化器。这些分布式算法的一个主要特性是，它们只需要代理交换恒定大小的通信消息，这有助于可扩展的实现。仿真结果表明，与一阶鞍点法和梯度下降法的加权策略相比，采用我们的加权设计的分布式近似牛顿算法具有更好的收敛性能.
2019-11-19 math.OC
Variable Smoothing Alternating Proximal Gradient Algorithm for Coupled Composite Optimization
Chongqing Technology and Business University（重庆工商大学）；RMIT University（皇家墨尔本理工大学）；Yunnan Normal University（云南师范大学）
针对含非光滑弱凸复合项的非凸优化问题，提出变平滑交替近端梯度算法，证明了 $\mathcal{O}(\varepsilon^{-3})$ 迭代复杂度，并在稀疏信号恢复和图像去噪实验中验证了其优越性。
2025-10-31 math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题，其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题，通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地，我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数，并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数，我们表明，所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
Approximate solution of system of equations arising in interior-point methods for bound-constrained optimization
针对界约束优化内点法的牛顿系统求解权衡问题，提出基于有效/无效约束启发式估计的部分与完全近似解，及两种含部分近似解中间步骤的类牛顿法，给出理论误差界与数值验证结果。
2020-11-15 math.OC
Combining Sobolev Smoothing with Parameterized Shape Optimization
一方面，Sobolev梯度平滑可以大大提高气动外形优化的性能，并防止规则性问题。另一方面，Sobolev平滑也可以解释为形状Hessian的近似。本文演示了如何Sobolev平滑，解释为形状Hessian近似，提供了相当大的好处，虽然参数化本身已经是光滑的。这种方法在同时分析和设计的情况下特别有益，在这种情况下，我们处理不精确的流和伴随解，也称为一次优化。此外，参数化的结合允许直接应用于工程测试用例，其中形状总是由CAD模型描述。本文提出的新方法用于参考测试情况下，从气动外形优化和性能改进相比，一个经典的拟牛顿计划。
2022-03-19 cs.CE math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种统一框架，用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长，分析了其全局收敛性及收敛速率，并通过数值结果验证了其有效性。
2026-04-22 math.OC
Zeroth-Order Non-smooth Non-convex Optimization via Gaussian Smoothing
Indian Institute of Science（印度科学学院）
针对仅含噪声函数值的Lipschitz连续非光滑非凸优化问题，提出一种双时间尺度零阶投影随机次梯度方法，利用高斯平滑逼近Clarke次微分，并证明迭代几乎必然收敛到Clarke驻点邻域。
2026-06-01 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
A Learning-boosted Quasi-Newton Method for AC Optimal Power Flow
电网运营商通常全天解决大规模非凸最优潮流（OPF）问题，以确定发电机的最优设定点，同时遵守物理约束。尽管是许多OPF求解器的核心，但Newton-Raphson可能很慢并且数值不稳定。为了减少与计算完整雅可比矩阵及其逆矩阵相关联的计算负担，许多拟牛顿法试图通过利用近似雅可比矩阵来找到最优性条件的解。本文提出了一种基于机器学习的拟牛顿法，该方法无需计算雅可比矩阵或近似雅可比矩阵，即可对候选最优解进行迭代更新。所提出的基于学习的算法利用具有反馈的深度神经网络。通过选择适当的权值和激活函数，模型成为一个压缩映射，可以保证收敛性。对多达1,354个节点的网络的计算结果表明，所提出的方法能够非常快地找到AC最优潮流的近似解。
2020-11-02 math.OC
Smoothing SQP methods for solving degenerate nonsmooth constrained optimization problems with applications to bilevel programs
我们考虑退化的非光滑和非凸最优化问题的标准约束规格，如广义Mangasarian Fromovitz约束规格（GMFCQ）可能不成立。利用具有梯度一致性的光滑函数逼近非光滑函数，在精确罚框架下提出了一种光滑序列二次规划（SQP）算法.证明了在乘子序列和精确罚参数序列有界的条件下，由光滑SQP算法生成的迭代序列的一个选定子序列的任何聚点都是Clarke平稳点.此外，我们提出了一个新的条件称为弱广义Mangasarian Fromovitz约束规格（WGMFCQ），是弱于GMFCQ。我们证明了WGMFCQ的扩展版本保证了乘子序列和精确罚参数序列的有界性，从而保证了光滑SQP算法的整体收敛。我们证明了WGMFCQ可以满足GMFCQ从来没有举行的双层计划。初步的数值实验表明，该算法对求解退化非光滑最优化问题（如简单双层规划）是有效的。
2014-06-03 math.OC
A Quasi-Newton Subspace Trust Region Algorithm for nonmonotone variational inequalities in adversarial learning over box constraints
针对盒约束非凸非凹极小-极大优化对应的非单调变分不等式问题，提出拟牛顿子空间信赖域算法，证明其全局收敛性，并通过眼部图像分割的混合GAN实验验证了其求解大规模问题的效率与有效性。
2024-04-16 math.OC
Convergence Analysis of the Approximate Newton Method for Markov Decision Processes
最近提出了两种近似牛顿法用于马尔可夫决策过程的优化。虽然这些方法被证明具有理想的属性，如保证预条件是负半定的政策时，是$\log$ -凹的政策参数，并被证明有很强的经验表现在具有挑战性的领域，如俄罗斯方块的游戏，没有收敛性分析。本文的目的就是提供这样一种分析。首先，我们提供了一个详细的分析的Hessian的马尔可夫决策过程，它是由一个负半定的组件，一个正半定的组件和一个剩余项。我们分析的第一部分详细说明了负半定和正半定分量如何相互关联，以及这两个项如何对海森函数做出贡献。我们的分析的下一部分表明，在一定的条件下，与丰富的政策类，在海森的剩余项消失在附近的局部最优值。最后，我们绑定的行为，这一剩余项的马尔可夫链的混合时间引起的政策参数，这部分的分析是适用于整个参数空间。给出Hessian的这种分析，然后我们提供近似牛顿框架的局部收敛分析。
2015-08-04 math.OC
Smoothing operators in multi-marginal Optimal Transport
给定$N$在$\mathbb{R}^d$上具有Sobolev正则性的绝对连续概率$ρ_1, \dotsc, ρ_N$，以及给定一个具有边值$ρ_1, \dotsc, ρ_N$的运输计划$P$，我们给出了一个用具有相同边值的Sobolev正则运输计划逼近$P$的通用方法.此外，我们证明了一个尖锐的控制的能量和一些连续性的逼近家庭。
2019-03-25 math.OC math.PR
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿（PD-QN）方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新，以找到增广拉格朗日的最优点。通过优化增广拉格朗日量，PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新，近似二阶信息，以减少相对于对偶方法的计算负担，并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率，数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
A Projected Variable Smoothing for Weakly Convex Optimization and Supremum Functions
本文研究闭子空间上光滑与弱凸复合函数之和的优化问题，提出投影变平滑算法并证明O(ε^-3)复杂度界，同时推导弱凸上确界函数的邻近算子，成功应用于分布鲁棒优化、带约束LASSO及最大离散问题。
2025-02-01 math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
Enhanced Barrier-Smoothing Technique for Bilevel Optimization with Nonsmooth Mappings
针对带约束双层优化因下层解映射非光滑导致的计算难题，提出融合增广拉格朗日框架与梯度技术的增强障碍平滑算法EBSA，通过平滑近似转化为光滑单层问题，提升收敛性，经理论与实验验证其鲁棒高效。
2024-08-20 math.OC
Riemannian Newton-type methods for joint diagonalization on the Stiefel manifold with application to independent component analysis
非交换对称矩阵的联合对角化是独立分量分析中的一个重要过程。这个问题可以表述为Stiefel流形上的一个最优化问题，可以使用黎曼优化技术来解决。在现有的优化技术中，本研究利用黎曼牛顿法求解Stiefel流形上的联合对角化问题，该方法具有平方收敛。特别地，所得到的牛顿方程可以通过Kronecker积和vec和veck算子有效地求解，这将方程的维数降低到Stiefel流形的维数。数值实验表明，该方法提高了该问题近似解的精度。所提出的方法也适用于独立分量分析的图像分离问题。所提出的牛顿方法进一步导致了一个新的和快速的黎曼信赖域牛顿方法的联合对角化问题。
2022-02-25 math.OC
Gaussian smoothing gradient descent for minimizing functions (GSmoothGD)
本文提出GSmoothGD方法，利用Gaussian smoothing定义非局部梯度以减少噪声并保留损失结构，有效避免局部极小值；提供了严格的收敛速率理论估计，结合Monte Carlo采样克服维数灾难，并给出平滑参数更新策略，数值实验验证了其在非凸优化中的有效性。
2024-03-26 math.OC
Sigma-Point Filtering and Smoothing Based Parameter Estimation in Nonlinear Dynamic Systems
本文研究非线性状态空间模型的近似极大似然参数估计。我们讨论了直接优化的可能性和期望最大化（EM）。对于EM，我们也给出了封闭形式的表达式的最大化步骤中的一类模型，是线性的参数，并具有加性噪声。为了获得近似的滤波和平滑的分布中所需的似然最大化方法，我们专注于使用高斯滤波和平滑算法，采用西格玛点近似所需的积分。我们讨论了不同的西格玛点计划的基础上，第三，第五，第七，第九阶无迹变换和高斯-厄米求积规则。我们比较了两个模拟实验的方法的性能：一个单变量的非线性增长模型，以及跟踪机动目标。在实验中，我们还比较了粒子滤波和扩展卡尔曼滤波的方法获得的近似似然估计。实验表明，高阶无迹变换在某些情况下可以提供更准确的估计
2015-11-02 math.DS math.OC stat.CO
Approximate Newton policy gradient algorithms
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
本文为带熵正则化的策略梯度提出近似 Newton 方法，统一自然策略梯度并产生新算法，证明其二次收敛与梯度流全局收敛，且在实验中以个位数迭代显著超越现有方法。
2023-06-08 cs.LG math.OC
Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization
NTT Research Inc（NTT研究公司）；Stanford University（斯坦福大学）
本文提出动态各向异性平滑算法，通过自适应调整平滑核形状以近似目标函数Hessian，从而降低含噪梯度估计误差，并在组合优化求解器调优中优于现有方法。
2024-05-02 cs.LG math.OC
An Efficient Inexact Newton-CG Algorithm for the Smallest Enclosing Ball Problem of Large Dimensions
本文研究了在积$mn$较大的情况下，计算$\mathbb{R}^n,$中的一组$m$球的最小包围球（SEB）的问题.我们首先近似的不可微SEB问题的对数指数聚集函数，然后提出了一个计算效率高的不精确牛顿CG算法的平滑逼近问题，利用其特殊的（近似）稀疏结构。与经典Newton-CG算法的主要区别在于，该算法对梯度和Hessian向量积的计算是不精确的，这使得该算法能够求解大规模的SEB问题.我们给出了一个不精确计算梯度/Hessian的自适应准则，并证明了算法的整体收敛性。我们使用经典的Newton-CG算法以及[Zhou. {et al.}在Comput。Opt.\& Appl. 30，147- 160（2005）]作为基准。
2015-09-22 cs.CG math.OC
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab（字节跳动人工智能实验室）；University of Science and Technology China（中国科学技术大学）；Tsinghua University（清华大学）
二阶最优化方法具有理想的收敛性质。然而，精确牛顿法需要昂贵的计算海森及其逆。在本文中，我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明，SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外，我们提供了一个理论分析的每次迭代的复杂性，近似误差，和收敛速度。理论分析和实验结果都表明，该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Communication Efficient Distributed Optimization using an Approximate Newton-type Method
Toyota Technological Institute（丰田工业大学）；Technion（以色列理工学院）；Rutgers University（罗格斯大学）；Baidu（百度）
我们提出了一种新的牛顿型方法的分布式优化，这是特别适合于随机优化和学习问题。对于二次型目标，该方法具有线性收敛速度，可证明\emph{improves}与数据大小，在合理的假设下，需要一个基本上恒定的迭代次数。我们提供了理论和经验证据的优势，我们的方法相比，其他方法，如单次参数平均和ADMM。
2014-05-13 cs.LG math.OC stat.ML
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
ISAAC Newton: Input-based Approximate Curvature for Newton's Method
University of Konstanz（康斯坦茨大学）；University of Salzburg（萨尔茨堡大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；University of Frankfurt（法兰克福大学）
本研究提出ISAAC牛顿法，通过仅基于层输入计算近似曲率调节梯度，在小批量场景下计算开销渐近可忽略，兼具一阶与二阶方法的训练竞争力。
2023-05-01 cs.CV cs.LG math.OC
Weight Design of Distributed Approximate Newton Algorithms for Constrained Optimization
University of California, San Diego（加州大学圣迭戈分校）
本文提出一种分布式近似牛顿算法，用于解决约束优化问题，通过优化通信拓扑和权重提升收敛性能。
2017-03-22 cs.MA cs.NA math.NA
A variable smoothing algorithm for solving convex optimization problems
Chemnitz University of Technology（开姆尼茨工业大学）
针对凸且Lipschitz连续的目标函数，提出一种基于Moreau包络的变平滑和常平滑方法，结合加速一阶算法，达到变平滑O(ln k/k)和常平滑O(1/k)的收敛速率，并在图像处理和分类中验证。
2012-07-13 cs.NA math.NA math.OC
GIANT: Globally Improved Approximate Newton Method for Distributed Optimization
University of California at Berkeley（加州大学伯克利分校）；University of Queensland（昆士兰大学）；Stanford University（斯坦福大学）
针对分布式计算环境，考虑经验风险最小化问题，提出了一种分布式通信高效的牛顿型优化方法。在每一次迭代中，每个worker都在本地找到一个近似牛顿（ANT）方向，并将其发送给主驱动程序。然后，主驱动程序对从工作程序接收到的所有ANT方向进行平均，以形成{ \it全局改进的ANT}（GIANT）方向。GIANT是高度通信效率的，并且自然地利用了本地计算和全局通信之间的权衡，因为更多的本地计算导致更少的总通信轮次。理论上，我们表明，GIANT享有一个改进的收敛速度相比，一阶方法和现有的分布式牛顿型方法。此外，与许多现有的分布式牛顿型方法以及流行的一阶方法形成鲜明对比，GIANT的一个非常有利的实用功能是它只涉及一个调谐参数。我们进行大规模的计算机集群上的实验，并根据经验，证明了卓越的性能的巨人。
2018-09-11 cs.DC cs.LG math.OC
Information Newton's flow: second-order optimization method in probability space
Stanford University（斯坦福大学）；University of California（加利福尼亚大学）
我们介绍了一个框架，牛顿流在概率空间与信息度量，命名为信息牛顿流。这里考虑两个信息度量，包括Fisher-Rao度量和Wasserstein-2度量。一个已知的事实是，过阻尼Langevin动力学对应于Kullback-Leibler（KL）发散的Wasserstein梯度流。将这一事实推广到瓦瑟斯坦牛顿流，我们得到牛顿的朗之万动力学。我们提供的例子牛顿的朗之万动力学在一维空间和高斯家庭。在数值实现方面，我们设计了仿射模型和再生核希尔伯特空间（RKHS）中的采样有效变分方法来逼近Wasserstein牛顿方向。我们还建立了所提出的信息牛顿法与近似方向的收敛结果。贝叶斯抽样问题的几个数值例子证明了所提出的方法的有效性。
2020-08-05 cs.LG math.OC stat.ML
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Approximate Newton-based statistical inference using only stochastic gradients
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
我们提出了一个新的统计推断框架凸经验风险最小化，使用近似随机牛顿步骤。该算法是基于有限差分的概念，并允许从一阶信息的海森矢量积的近似。在理论上，我们的方法有效地计算的统计误差协方差$M$估计，无论是非正则凸学习问题和高维LASSO回归，而不使用精确的二阶信息，或重新搜索整个数据集。我们还提出了一个随机梯度抽样方案的统计推断非独立同分布。时间序列分析，其中我们对连续的索引块进行采样。在实践中，我们证明了我们的框架在大规模机器学习问题上的有效性，甚至超越了凸性：作为一个亮点，我们的工作可用于检测神经网络上的某些对抗攻击。
2019-02-05 cs.CV cs.LG math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
