Gradient Regularized Newton Boosting Trees with Global Convergence
Department of Mathematics, Imperial College London, UK（帝国理工学院伦敦数学系）；School of Computer Science, University of St. Gallen, Switzerland（圣加尔登大学计算机科学学院）；Department of Mathematics, Stockholm University, Sweden（斯德哥尔摩大学数学系）
本文提出受限牛顿下降法，通过研究在希尔伯特空间上使用牛顿法进行凸优化，证明了牛顿提升在满足Hessian主导条件的光滑强凸损失下的线性收敛率，并通过引入适应性ℓ2正则化项实现对一般凸损失的全局收敛。
2026-05-01 cs.LG math.OC stat.ML
PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport
Department of Mathematics（数学系）；University of Maryland（马里兰大学）；University of Tennessee（田纳西大学）；Department of Computer Science（计算机科学系）
PINS通过近端迭代结合稀疏牛顿和Sinkhorn算法，克服了最优传输中熵偏置 plateau 的限制，实现了更高的精度和效率。
2026-05-11 cs.LG math.OC
A globally convergent incremental Newton method
受大数据集上机器学习问题和网络上分布式优化问题的启发，我们提出并分析了一种新的方法，称为增量牛顿法，用于最小化大量强凸函数之和。我们表明，我们的方法是全局收敛的变步长规则。我们进一步证明了在梯度增长条件下，变步长和定步长规则的收敛速度都是线性的。通过一个例子，我们证明了没有梯度增长条件，增量牛顿法不能达到线性收敛。我们的分析可以扩展到研究其他增量方法：特别是，我们得到了一个线性收敛速率的增量高斯-牛顿算法下的变步长规则的结果。
2014-10-20 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond
Baidu Research（百度研究院）
DANE算法是一种近似牛顿方法，广泛用于通信高效的分布式机器学习。对DANE感兴趣的原因包括可扩展性和多功能性。然而，收敛的DANE，可以是棘手的，其吸引人的收敛速度是严格的二次目标，并为更一般的凸函数的已知结果是不强于经典的一阶方法。为了弥补这些缺点，本文提出了一些新的替代DANE更适合分析。我们首先介绍了一个简单的变种DANE配备回溯线搜索，全局渐近收敛和更尖锐的局部非渐近收敛速度的保证，可以证明二次和非二次强凸函数。然后我们提出了一个重球方法来加速DANE的收敛，证明了对于强凸函数可以建立近似紧的局部收敛速度，并且通过适当的算法修改，同样的结果也适用于线性预测模型。数值证据证实了我们的方法的理论和实践的优势。
2019-08-06 cs.LG stat.CO stat.ML
Convergence Properties of Newton's Method for Globally Optimal Free Flight Trajectory Optimization
本文研究牛顿法在自由飞行轨迹优化中的收敛性质，通过数值实验证明实际收敛半径远大于理论最坏情况界，并提出一种增强收敛性的区域分解方法来进一步改进算法。
2023-07-06 cs.NA math.NA math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
Convergence of gradient descent-ascent analyzed as a Newtonian dynamical system with dissipation
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；MIT（麻省理工学院）；Princeton University（普林斯顿大学）
一个动力系统被定义为一个支付函数的梯度。动力学变量有两种类型，上升和下降。上升变量沿梯度方向移动，而下降变量沿相反方向移动。这种形式的动力系统或非常相似的形式已经在不同的领域，如对策论，优化，神经网络和人口生物学进行了研究。梯度下降-上升被近似为保持总能量的牛顿动力系统，总能量被定义为动能和与支付函数成比例的势能的总和。近似的误差是违反能量守恒的残余力。如果剩余力是纯粹耗散的，那么能量作为李雅普诺夫函数，有界轨迹收敛到稳定状态是有保证的。由于Kose和Uzawa以前的收敛定理要求支付函数在下降变量中是凸的，在上升变量中是凹的。这里的假设是放松的，所以支付函数只需要在上升变量中比在下降变量中全局地“更不凸”或“更凹”。这样的相对凸性条件允许存在多个稳态，不同于凹凸假设。当结合充分条件，意味着存在一个极大极小均衡，有界的轨迹也保证。
2019-03-05 cs.GT cs.LG cs.NE
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用，如吉洪诺夫正则化的（非）线性反问题的稀疏约束。在（2015 Inverse Problems（31）025005）中，针对线性反问题的$\ell_1$ -Tikhonov正则化，提出了一种全局化的Bouligand-semismooth Newton方法。然而，为了证明整体收敛，必须对迭代序列的聚点进行技术假设。在这里，我们将这种方法推广到一般的非线性问题，并提出了一个修改的半光滑牛顿法的整体收敛证明，没有任何额外的要求。此外，在一个技术假设下，完整的牛顿步骤最终被接受，并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms
Stanford University（斯坦福大学）；University of Salzburg（萨尔茨堡大学）；University of Konstanz（康斯坦茨大学）；Tuebingen AI Center（蒂宾根人工智能中心）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对可微排序与最短路径损失的非凸及梯度消失、爆炸问题，本文提出 Newton Losses，仅利用损失的经验 Fisher 与 Hessian 二阶信息替换原损失，并在八种算法上验证其稳定提升。
2024-10-24 cs.LG
A block coordinate descent optimizer for classification problems exploiting convexity
Sandia National Laboratories（桑迪亚国家实验室）
二阶优化器对于深度学习具有有趣的潜力，但与基于梯度的方法相比，二阶优化器具有增加的成本和对损失表面的非凸性的敏感性。我们引入了一种坐标下降方法来训练用于分类任务的深度神经网络，该方法利用线性层权重中交叉熵损失的全局凸性。我们的混合牛顿/梯度下降（NGD）的方法是一致的解释隐藏层提供一个自适应的基础和线性层提供一个最佳的适合的基础数据。通过交替使用二阶方法找到线性层的全局最优参数和梯度下降来训练隐藏层，我们确保了自适应基在整个训练过程中与数据的最佳拟合。二阶步长中Hessian的大小仅与线性层中的权重数有关，而与隐藏层的深度和宽度无关;此外，该方法适用于任意隐藏层结构。以前的工作应用这种自适应基础的角度回归问题证明了显着的改进，在降低训练成本的准确性，这项工作可以被视为这种方法的扩展分类问题。我们首先证明了所得到的Hessian矩阵是对称半定的，并且牛顿步实现了全局极小。通过研究制造的二维点云数据的分类，我们证明了使用NGD训练时，验证误差的改善和隐藏层中编码的基函数的显着质的差异。应用于密集和卷积架构的图像分类基准测试表明，训练精度有所提高，表明二阶方法可能优于梯度下降。
2020-06-17 cs.LG stat.ML
Beyond CNNs: Exploiting Further Inherent Symmetries in Medical Images for Segmentation
Macquarie University（麦考瑞大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
肿瘤的自动分割是医学图像分析和计算机辅助诊断的关键步骤。虽然现有的基于卷积神经网络（CNN）的方法已经达到了最先进的性能，但在医学肿瘤分割中仍然存在许多挑战。这是因为常规CNN只能利用平移不变性，而忽略了医学图像中存在的其他固有对称性，如旋转和反射。为了克服这一缺点，我们提出了一种新的组等变分割框架，通过编码这些固有的对称性来学习更精确的表示。首先，在每个方向上设计了基于核的同变运算，可以有效地解决现有方法中学习对称性的差距。然后，为了保持分割网络全局等变，我们设计了具有逐层对称约束的独特组层。通过利用进一步的对称性，新的分割CNN可以大大降低样本复杂度和滤波器的冗余度（大约2/3）。更重要的是，基于我们的新框架，我们证明了新构建的GER-UNet在现实世界的临床数据上优于其常规的基于CNN的同行和最先进的分割方法。具体来说，我们的分割框架的组层可以无缝集成到任何流行的基于CNN的分割架构中。
2020-05-08 cs.CV cs.LG eess.IV
A globally convergent modified Newton method for the direct minimization of the Ohta-Kawasaki energy with application to the directed self-assembly of diblock copolymers
我们提出了一个快速和强大的计划，直接最小化的Ohta-Kawasaki能量的特点的微相分离的二嵌段共聚物熔体。该方案采用了一种全局收敛的修正牛顿法与线搜索被证明是质量守恒，能量下降，渐近二次收敛，和三个数量级的效率比常用的梯度流方法。分析了极小元的正则性和一阶条件。基于一种新的聚合物-基质相互作用模型和所提出的方案，对化学基质引导的二嵌段共聚物熔体定向自组装进行了数值研究。
2020-10-28 cs.CE cs.NA math.NA
Globally Convergent Coderivative-Based Generalized Newton Methods in Nonsmooth Optimization
本文提出两种基于余导数和广义 Hessian 的全局收敛广义 Newton 方法，分别处理正定与半正定情形，并在 Lasso 和箱约束二次规划上验证其性能。
2023-04-26 math.OC
Generalized Damped Newton Algorithms in Nonsmooth Optimization via Second-Order Subdifferentials
本文提出并发展了求解重要的非光滑最优化问题的新的全局收敛的广义阻尼牛顿型算法。这些算法是基于非光滑函数的二阶次微分的理论和计算，采用二阶变分分析和广义微分的机械。首先，我们发展了一类全局超线性收敛的阻尼牛顿型算法的连续可微函数的Lipschitz梯度，这是非光滑的二阶。然后，我们设计这样一个全局收敛的算法来解决一类结构化的非光滑二次组合问题的扩展实值费用函数，这通常出现在机器学习和统计。最后，我们提出了数值实验的结果，并比较我们的主要算法应用到一个重要的一类Lasso问题与其他一阶和二阶优化算法所取得的性能。
2022-01-18 math.OC
Sparsity-Exploiting Moment-Based Relaxations of the Optimal Power Flow Problem
非凸最优潮流（OPF）问题的凸松弛问题近年来引起了人们的极大兴趣。虽然现有的松弛全局解决了许多OPF问题，但存在现有松弛无法产生物理上有意义的解决方案的实际问题。本文采用矩松弛法来解决这些最优潮流问题。从Lasserre方程族出发，发展了求解广义矩问题的矩松弛法。在这个层次结构中增加松弛顺序导致在较大的半定程序的计算成本的“更紧”的松弛。低阶矩松弛能够全局解决许多现有松弛方法无法解决的小OPF问题。通过利用稀疏性和仅将高阶松弛应用于特定总线，通过使用由启发式告知的迭代算法来选择在何处应用高阶约束，较大问题的全局解决方案在计算上是可处理的。与标准的半定规划求解器，该算法在全球范围内解决了许多测试系统与多达300个总线，现有的半定松弛未能产生全球最优解。
2014-11-17 math.OC
Gauss-Newton meets PANOC: A fast and globally convergent algorithm for nonlinear optimal control
本研究提出一种结合高斯-牛顿方向的PANOC变体算法，将其高斯-牛顿步转化为LQR问题通过Riccati递推高效求解，在最优控制基准问题上速度是传统L-BFGS变体PANOC的两倍以上，且性能随时域长度增加有良好扩展性。
2022-12-08 cs.SY eess.SY math.OC
A Globally Convergent Third-Order Newton Method via Unified Semidefinite Programming Subproblems
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
ALMTON通过统一半定规划子问题实现了无约束非凸优化的全局收敛三次牛顿法，具有更稳定的收敛性和更广的吸引盆地。
2026-08-24 cs.NA math.NA math.OC
A Globally and Quadratically Convergent Algorithm with Efficient Implementation for Unconstrained Optimization
本文对非线性无约束最优化问题提出了一种有效的修正牛顿型算法。修正的Hessian矩阵是单位矩阵（用于最速下降算法）和黑塞矩阵（用于Newton算法）的凸组合。在每次迭代中动态地选择凸组合的系数。证明了该算法对（凸和非凸）非线性函数是全局收敛的和二次收敛的。高效的实施描述。对广泛应用的CUTE测试问题进行了数值试验。并将试验结果与MATLAB优化工具箱函数{ \tt fminunc}的结果进行了比较。测试结果也比较了一些既定的和国家的最先进的算法，如有限的记忆BFGS，下降和共轭梯度算法，和有限的记忆和下降共轭梯度算法。实验结果表明，该算法具有较好的性能.
2012-12-21 math.OC
Exploiting Chordal Sparsity for Globally Optimal Estimation with Factor Graphs
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算机学院）；Robotics Institute, University of Toronto（多伦多大学机器人研究所）；Department of Mechanical Engineering, Carnegie Mellon University（卡内基梅隆大学机械工程系）
本文提出在GTSAM框架中自动构建凸半定规划松弛，并利用贝叶斯树分解加速求解，实现因子图的全局最优估计。
2026-05-28 cs.RO math.OC
Sub-Sampled Newton Methods I: Globally Convergent Algorithms
International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
大规模最优化问题在机器学习和数据分析中普遍存在，并且存在大量用于解决此类问题的算法。这些算法中的许多采用子采样，作为加速计算和/或隐式实现统计正则化形式的一种方式。在本文中，我们考虑二阶迭代优化算法，我们提供的范围上的收敛的变种的牛顿法，将均匀子采样作为一种手段来估计梯度和/或海森。我们的界限是非渐近的和定量的。我们的算法是全球性的，并保证从任何初始收敛。使用随机矩阵浓度不等式，可以对Hessian进行子采样以保持曲率信息。我们的第一个算法结合了海森子采样，同时使用全梯度。我们还给出了额外的收敛结果时，通过修改其频谱或脊型正则化的子采样海森正则化。接下来，除了Hessian子采样之外，我们还考虑对梯度进行子采样，以进一步降低每次迭代的计算复杂性。我们使用随机数值线性代数的近似矩阵乘法结果来获得适当的采样策略。在所有这些算法中，计算更新归结为求解大规模线性系，这在计算上是昂贵的。作为一种补救措施，对于我们所有的算法，我们也给出了整体收敛结果的情况下，不精确的更新，这样的线性系只解决近似。本文有一个更先进的配套文件，[42]，其中我们证明，通过做更细粒度的分析，我们可以得到这些算法的局部收敛的问题无关的界限，并探索权衡，以改善本文的基本结果。
2016-02-26 cs.LG math.OC stat.ML
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析，并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
Structure-Exploiting Newton-Type Method for Optimal Control of Switched Systems
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文提出了一种有效的牛顿型方法，用于给定模式序列下切换系统的最优控制。利用网格加密方法对连续时间最优控制问题进行离散化，并构造非线性规划，保证牛顿型方法的局部收敛.一个专用的结构开发算法（Riccati递归），提出了执行牛顿型方法的NLP有效，因为它的稀疏结构是从一个标准的OCP不同。所提出的方法计算每个牛顿步骤的线性时间复杂度的离散化网格的总数作为标准的Riccati递归算法。另外，如果解足够接近于局部极小值，则计算总是成功的。相反，一般的二次规划（QP）求解器不能实现这一点，因为黑塞矩阵本质上是不确定的。此外，利用Riccati递归算法作为QP子问题的动态规划的性质，对约简黑塞矩阵进行了修正，提高了算法的收敛性.与现成的NLP求解器进行了数值比较，这表明所提出的方法快了两个数量级。四足步态的全身最优控制也证明了所提出的方法可以实现刚性接触机器人系统的全身模型预测控制（MPC）。
2021-12-20 cs.RO cs.SY eess.SY
A globally convergent matricial algorithm for multivariate spectral estimation
在本文中，我们首先描述了一个矩阵牛顿型算法，旨在解决多变量谱逼近问题。证明了算法的整体收敛。最后，我们将这种近似方法应用到多元谱估计中，并通过仿真验证了其有效性。仿真结果表明，在短观测记录的情况下，该方法可以提供一个有效的替代标准的多变量识别技术，如MATLAB的PEM和MATLAB的N4SID。
2008-09-29 math.OC
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Extended Gauss-Newton and ADMM-Gauss-Newton Algorithms for Low-Rank Matrix Optimization
在本文中，我们发展了一个著名的高斯-牛顿（GN）方法的变种，以解决一类涉及低秩矩阵变量的非凸最优化问题。相对于标准GN方法，我们的算法允许处理一般光滑凸目标函数。我们表明，在温和的条件下，该算法的全局和局部收敛到原问题的一个稳定点。我们还表明，经验GN算法实现更高的精度比交替最小化算法（AMA）的解决方案。然后，我们指定我们的GN计划来处理对称的情况下，并证明其收敛性，AMA是不适用的。接下来，我们将我们的GN计划到交替方向法的乘法器（ADMM）开发ADMM-GN算法。我们证明了，在温和的条件和适当的选择的罚参数，我们的ADMM-GN全局收敛到原问题的一个稳定点。最后，我们提供了几个数值实验来说明所提出的算法。我们的研究结果表明，新的算法有令人鼓舞的性能相比，现有的方法。
2020-10-26 math.OC stat.ML
Regularized Newton Method with Global $O(1/k^2)$ Convergence
CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）
我们提出了一个牛顿型的方法，收敛速度快，从任何初始化和任意凸目标Lipschitz海森。我们实现这一点合并的想法，立方正则化与一定的自适应Levenberg-马夸特罚款。特别是，我们表明，迭代由$x^{k+1}=x^k - \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$，其中$H>0$是一个常数，全局收敛的$\mathcal{O}(\frac{1}{k^2})$率。我们的方法是牛顿法的第一个变种，既有廉价的迭代和可证明的快速整体收敛。此外，我们证明了局部我们的方法超线性收敛时，目标是强凸的。为了提高该方法的性能，我们提出了一个线搜索过程，不需要$H$的先验知识，是证明有效的。
2023-03-01 cs.LG math.OC
Newton's Method for Global Free Flight Trajectory Optimization
本文针对全局自由飞行轨迹优化问题，研究离散与连续优化结合方案中牛顿法的局部收敛性，并证明其在特定假设下可于极小点的足够大邻域内收敛。
2024-04-07 math.CA math.FA math.OC
New numerical solutions to Newton's problem of least resistance via a convex hull approach
提出基于凸包方法的数值方法求解凸函数类牛顿最小阻力问题，通过利用解的对称及极值点曲线分布特性，得到高精度解。
2025-11-12 math.OC
Regularized Overestimated Newton
本研究提出正则化高估牛顿法（RON），兼具低迭代成本与强收敛保证，通过海森高估误差插值梯度下降与正则化牛顿法，结合随机秩-$k$近似实现高效变体，在熵最优输运等实验中验证了理论结论。
2025-09-30 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
A semi-smooth Newton method for projection equations and linear complementarity problems with respect to the second order cone
本文研究了一类特殊的二阶锥半光滑方程。结果表明，在适当的假设下，应用于该方程的半光滑牛顿方法是定义良好的，并且生成的序列是全局Q-线性收敛的。作为应用，将所得结果用于研究线性二阶锥互补性问题，特别是正定矩阵的特殊情况。此外，一些计算实验，旨在调查的实际可行性的方法。
2016-10-14 math.OC
Higher-Order Newton Methods with Polynomial Work per Iteration
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
提出结合任意阶导数、每迭代多项式成本的高阶 Newton 方法，利用 SDP 构造平方和凸 Taylor 逼近，实现 $d$ 阶局部收敛并给出全局收敛变体。
2024-06-12 cs.LG math.OC
Feasible Newton's methods for symmetric tensor Z-eigenvalue problems
找到一个对称张量的Z-特征对等价于找到一个球面约束极小化问题的KKT点。基于这一等价性，本文首先提出了一类求对称张量Z-特征对的迭代法。每种方法都可以生成一个可行点序列，使得函数求值的序列是递减的。这些方法可以看作是无约束最优化问题下降法的推广。我们特别注意牛顿法。我们证明了在适当的条件下，牛顿法是全局收敛和二次收敛的。此外，在多次迭代之后，单位步长将始终被接受。我们还提出了一个基于非线性方程组的牛顿法，并证明了它的全局收敛性和平方收敛性。最后，我们做了几个数值实验来检验所提出的牛顿法。结果表明，这两种牛顿法都是非常有效的。
2022-03-14 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
本文提出改进的块牛顿算法，用于解决ℓ0正则化稀疏优化问题，通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
A dual based semismooth Newton method for a class of sparse Tikhonov regularization
众所周知，Tikhonov正则化是求解不适定问题最常用的方法之一。最广泛应用的方法之一是基于构建一个新的数据集，其样本量大于原始数据集。扩大的样本量可能会带来额外的计算困难。本文的目的是充分利用Tikhonov正则化，在不破坏数据集结构的情况下，发展一种基于对偶的半光滑牛顿（DSSN）方法。从理论的角度，我们将表明，\blue{the DSSN method is a globally convergent method with at least R-superlinear rate of convergence.}在数值计算方面，我们评估的DSSN方法的性能，通过解决一类稀疏Tikhonov正则化与高维数据集。
2020-12-10 math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题，提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法，具备无正则性假设下的全局收敛性，数值实验验证了其效率。
2025-05-18 math.OC
A Semismooth Newton-Type Method for the Nearest Doubly Stochastic Matrix Problem
研究了Jacobi矩阵的可微性和非奇异性均失效的最近邻双随机阵问题的半光滑Newton型方法。该问题的最优性条件被表示为一个强半光滑函数组。我们表明，所谓的局部误差界条件不适用于这个系统。因此，牛顿型方法的保证收敛速度至多是超线性的。通过利用问题的结构，我们构造了一个修改的两步半光滑牛顿法，保证在每次迭代的非奇异雅可比矩阵，并收敛到最近的双随机阵二次。据我们所知，这是第一个牛顿型的方法，收敛$Q$ -二次在没有局部误差的限制条件。
2021-07-20 math.OC
Block BFGS Methods
我们介绍了一种块更新的拟牛顿法，称为块BFGS。我们表明，这种方法，进行不精确的Armijo-Wolfe线搜索，全局收敛和超线性BFGS相同的凸性假设下。我们还表明，块BFGS是全局收敛到一个稳定点时，适用于非凸函数有界Hessian，并讨论了其他修改的非凸极小化。数值实验比较块BFGS，BFGS和梯度下降。
2017-11-30 math.OC
A $\operatorname{prox}$-Based Semi-Smooth Newton Method for Convex Variational Problems
University of Freiburg（弗赖堡大学）；George Mason University（乔治梅森大学）；Technical University of Berlin（柏林工业大学）
提出一种基于近端算子的半光滑牛顿法，适用于有限元离散的广泛非光滑凸变分问题，具有全局适定性和局部超线性收敛性。
2026-06-25 math.OC
Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation
Center for Data Science, Peking University（北京大学数据科学中心）；National University of Singapore（新加坡国立大学）；Beijing International Center for Mathematical Research, Peking University（北京国际数学研究中心（北京大学））
本文提出高斯-牛顿时序差分学习方法，通过高斯-牛顿步骤优化均方贝尔曼误差变体，在非线性函数逼近下实现更优样本复杂度，并在多个强化学习基准上验证其收敛更快、奖励更高。
2024-04-01 cs.LG math.OC
Computational Analysis of Sparsity-Exploiting Moment Relaxations of the OPF Problem
由于有可能找到全局解，非凸最优潮流问题的凸松弛问题引起了广泛的研究兴趣。最近，从Lasserre层次多项式优化的“基于矩”松弛已被证明能够全局解决一类广泛的OPF问题。许多大规模的测试用例的全局解决方案是通过利用稀疏性和选择性地应用计算密集型高阶松弛约束。以前的工作描述了一个迭代算法，表明总线的高阶约束应强制执行。为了加快计算的时刻松弛，本文提供了一个研究的关键参数，在这个算法中应用到松弛从原来的Lasserre层次和最近的复杂扩展的Lasserre层次。
2016-03-16 math.OC
Gradient Projection Newton Algorithm for Sparse Collaborative Learning Using Synthetic and Real Datasets of Applications
探索来自同一组的多组数据之间的关系使从业者能够在医学科学和工程中做出更好的决策。在本文中，我们提出了一个稀疏协作学习（SCL）模型，一个优化与双稀疏约束，处理问题的两组数据和一个共享的响应变量。它能够处理依赖于响应变量的离散性的分类问题或回归问题，以及同时探索两个数据集之间的关系。为了求解SCL，我们首先给出了一些最优性的充分必要条件，然后设计了一个梯度投影牛顿算法，该算法已被证明以至少平方收敛速率全局收敛到唯一的局部最优解.最后，数值实验验证了该方法的有效性.
2022-11-13 math.OC
Newton-Raphson Consensus for Distributed Convex Optimization
本文研究了在可分性假设下的分布式无约束凸优化问题，该框架中，网络的每个代理被赋予局部私有多维凸成本，受到通信约束，并且想要协作以计算局部成本之和的最小化者。我们提出了一种设计方法，结合平均共识算法和时间尺度的想法分离。在适当的假设下，证明了该策略是全局收敛于真极小点的。直观地说，该程序让代理分布式计算和顺序更新的近似牛顿-拉夫森方向通过适当的平均共识比率。我们用数值模拟表明，这种策略的收敛速度与其他优化策略，如乘数的交替方向法。最后，我们提出了一些替代策略，权衡通信和计算的要求与收敛速度。
2015-11-04 math.OC
Adaptive Regularized Newton Method with Inexact Hessian
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
On the acceleration of forward-backward splitting via an inexact Newton method
提出了一种求解两个凸函数之和的前向后截断牛顿法（FBTN），其中一个凸函数是光滑的。与其他近端牛顿方法不同，我们的方法不涉及可变度量的就业，而是基于重新制定的原始问题的连续可微函数的无约束极小化，向前向后包络（FBE）。我们引入了一个广义Hessian的FBE对称的广义雅可比矩阵的非线性方程组的最优性条件的问题。这使得共轭梯度法（CG）的就业有效地解决所产生的（正则化）线性系，这可能是不精确的。CG的使用防止了完整的（广义）雅可比矩阵的计算，因为它只需要（广义）方向导数。所得到的算法是全局（渐进）收敛，$Q$ -线性误差界条件下，并高达$Q$ -超线性和$Q$ -二次在可能的非孤立极限点的正则性假设。
2018-11-07 math.OC
Enhance Curvature Information by Structured Stochastic Quasi-Newton Methods
在本文中，我们考虑随机二阶方法，以最小化有限和的非凸函数。一个重要的关键是找到一个巧妙的，但廉价的计划，纳入当地的曲率信息。由于真实黑塞矩阵往往是一个廉价部分和一个昂贵部分的组合，我们提出了一种结构化的随机拟牛顿法，尽可能多地使用部分Hessian信息。通过进一步利用拟牛顿近似的低秩结构或克罗内克积性质，计算拟牛顿方向是负担得起的。在适当的假设下，证明了算法的整体收敛和局部超线性收敛速率。逻辑斯谛回归、深度自动编码器网络和深度卷积神经网络的数值结果表明，我们提出的方法与最先进的方法相比具有相当的竞争力。
2021-03-25 math.OC stat.ML
BFGS convergence to nonsmooth minimizers of convex functions
BFGS拟牛顿极小化算法在一定条件下全局收敛于光滑凸函数。鲍威尔在1976年证明了这个结果：我们考虑了它对不光滑函数的影响。特别是，一个类似的收敛结果适用于函数，如欧几里得范数，在最小值处不光滑。
2017-03-20 math.OC
Efficient high-resolution RF pulse design applied to simultaneous multi-slice excitation
经由最优控制的RF脉冲设计通常基于梯度和拟牛顿方法，因此收敛缓慢。我们提出了一个灵活和高效的方法，使用精确的二阶信息内的全局收敛的信赖域CG牛顿方法，以产生一个改进的收敛速度。该方法适用于设计的RF脉冲的单和同时多切片（SMS）的激励和验证使用幻影和体内实验的3T扫描仪使用修改后的梯度回波序列。
2017-02-24 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
A Newton-Type Proximal Gradient Method for Nonlinear Multi-objective Optimization Problems
针对光滑与非光滑函数之和构成的无约束凸多目标优化问题，提出一种无需预设参数或目标排序的 Newton 型邻近梯度法，并证明其全局收敛性。
2022-05-09 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
