Bilinear control of semilinear elliptic PDEs: Convergence of a semismooth Newton method
本文针对半线性椭圆PDE的双线性控制问题，分析了半光滑牛顿方法，证明了状态方程解的存在唯一性、最优性条件，并证明了该方法在无间隙二阶充分条件和严格互补条件下的超线性收敛性。
2024-03-05 math.OC
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Semismooth Newton Method for Boundary Bilinear Control
针对边界双线性作用的半线性椭圆约束最优控制问题，分析状态方程与最优性条件，并证明半光滑 Newton 方法在严格互补和无间隙二阶充分条件下超线性收敛。
2024-03-02 math.OC
Optimal Control of the Linear Wave Equation by Time-Depending BV-Controls: A Semi-Smooth Newton Approach
研究了一类线性波动方程的最优控制问题，控制代价为时间上的BV半范数。该公式增强了分段常数最优控制并惩罚了跳跃次数。得到了最优解的存在性和最优性的必要最优性条件。考虑到数值实现，正则化的H1泛函进行了研究，并分析了这种正则化趋于零的渐近行为。对于H ~ 1正则化问题，半光滑牛顿算法可用于求解一阶最优性条件，具有超线性收敛速率。构造的例子表明，一个最优控制的分布导数可以是一个混合的绝对连续的措施相对于勒贝格测度，一个可数的线性组合的狄拉克措施，和康托措施。数值结果验证并支持了分析结果。
2018-08-30 math.OC
Quadratic Convergence of Smoothing Newton's Method for 0/1 Loss Optimization
0/1损失函数是对分类误差进行建模的最自然的选择之一，并且它具有广泛的应用，包括支持向量机和1位压缩感知。由于0/1损失函数的组合性质，基于凸松弛或平滑近似的方法已经主导了现有的研究，并且通常能够提供良好质量的近似解。然而，这些方法不是直接优化0/1损失函数，因此没有为原始问题建立最优性。本文研究0/1函数极小化的最优性条件，并首次提出了在合理的条件下直接优化0/1函数的局部平方收敛的牛顿法。大量的数值实验表明其优越的性能，因为人们会期望从牛顿型方法。大量的数值实验表明其优越的性能，因为人们会期望从牛顿型方法。
2021-12-17 math.OC
Finding global solutions of some inverse optimal control problems using penalization and semismooth Newton methods
针对一类特殊的椭圆型最优控制问题，提出了一种求解其参数辨识问题的方法。通过下层问题的最优值函数将双层问题重新表述。重新表述的问题是非凸的，违反了标准的正则性条件，如罗宾逊的CQ。通过放松约束，问题可以分解成一个家庭的凸问题，这是一个解决算法的基础。分析了算法的收敛性。结果表明，惩罚方法可以用来解决这个家庭的问题，同时保持收敛速度。对于一个例子的问题，使用的身份作为罚函数允许通过半光滑牛顿法的解决方案。数值结果。我们的方法来解决一个非凸问题的全局最优性的困难和局限性进行了讨论。
2022-03-01 math.OC
Efficient Gradient-Enhanced Bayesian Optimizer with Comparisons to Conjugate-Gradient and Quasi-Newton Optimizers for Unconstrained Local Optimization
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）；Amazon（亚马逊）
本文提出一种基于梯度增强的无约束局部贝叶斯优化框架，通过概率信任区域最小化获取函数，并在2至40维单峰问题中与共轭梯度和拟牛顿优化器对比，展示贝叶斯优化在准确梯度和不准确梯度下的优越性。
2026-05-13 math.OC
Convergence analysis of the semismooth Newton method for sparse control problems governed by semilinear elliptic equations
本文证明在二阶充分条件和严格互补条件下，半光滑牛顿法求解半线性椭圆方程稀疏最优控制问题具有超线性收敛性，允许盒式约束和稀疏项。
2024-02-27 math.OC
Active-set Newton methods and partial smoothness
不同的优化算法正确地识别，在有限的时间内，内在的约束，必须是积极的最优。类似的行为扩展到优化系统涉及部分光滑的运营商，特别是变分不等式部分光滑集。在经典的非线性规划中，这种有效集结构是牛顿型加速局部算法设计的基础。我们正式这个想法在广泛的一般性作为一个简单的线性化计划两个相交的流形。
2019-02-02 math.OC
Quasi-Newton Method for Set Optimization Problems with Set-Valued Mapping Given by Finitely Many Vector-Valued Functions
本文提出一种求解无约束集合优化问题弱极小解的拟牛顿法，通过划分构造向量优化问题族并随迭代切换，证明了算法的良定性、收敛性及局部超线性收敛。
2024-12-29 math.OC
Inexact Newton-CG Algorithms With Complexity Guarantees
我们考虑一个最近开发的牛顿CG算法的非凸问题\citep{royer2018newton}，其中不精确的估计的梯度和Hessian信息用于各种步骤的变种。在一定条件下的不精确措施，我们推导出迭代复杂性界实现$ε$ -近似二阶最优匹配最佳已知的下界。我们对梯度的不精确条件是自适应的，允许在具有大梯度的区域中的粗略精度。我们描述了我们的方法的两个变体，其中一个是自适应地选择沿计算搜索方向的步长，另一个是预定义的步长。为了获得二阶最优性，我们的算法将在某些步骤上使用负曲率方向。这些方向可以使用某种随机算法以高概率获得。从这个意义上说，我们所有的结果在算法的运行中具有很高的概率。我们在几个机器学习模型上根据经验评估了我们提出的算法的性能。
2022-04-11 math.OC
Learning optimal spatially-dependent regularization parameters in total variation image restoration
考虑了电视图像恢复模型中空间相关正则化参数选择的函数空间双层优化方法。当空间相关参数属于索伯列夫空间$H^1(Ω)$时，研究了双层问题的一阶和二阶最优性条件。提出了一种Schwarz区域分解-半光滑牛顿法的组合算法，并分析了半光滑牛顿法的局部超线性收敛。最后进行了详尽的数值计算，以显示该方法的适用性。
2016-10-16 math.OC
Constrained Optimization via Constraint-Induced Geometry: Implicit Feasible Dynamics and Optimality from Stationarity
该研究提出几何感知约束优化框架Gravidy，针对不同可行集设计适配几何与隐式算法，实验表明其收敛快且能保持迭代可行性，可利用稀疏性。
2026-08-04 math.OC
A Newton-CG Algorithm with Complexity Guarantees for Smooth Unconstrained Optimization
我们考虑最小化的光滑非凸目标函数使用迭代算法的基础上牛顿法和线性共轭梯度算法，明确检测和使用负曲率方向的Hessian的目标函数。该算法密切跟踪20世纪80年代开发的牛顿共轭梯度程序，但包括增强功能，允许证明最坏情况下的复杂性结果收敛到满足近似一阶和二阶最优性条件的点。的复杂性结果匹配的最佳已知的结果在文献中的二阶方法。
2018-11-12 math.OC
Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization
从最坏情况计算复杂性的角度建立或反驳了无约束非凸优化的不精确二阶方法的最优性，改进和推广了Cartis，Gould和Toint（2010，2011）的结果.为了这个目的，我们考虑一个新的一般类的不精确的二阶算法无约束优化，包括正则化和信赖域变化的牛顿法，以及他们的linesperson的变种。对于这类方法和任意精度阈值$ε\in (0,1)$，我们展示了一个具有有界范围的光滑目标函数，其梯度是全局Lipschitz连续的，其Hessian是$α-$ Hölder连续的（对于给定的$α\in [0,1]$），对于该方法，至少需要$\lfloorε^{-(2+α)/(1+α)}\rfloor$函数求值来生成第一个梯度小于$ε$的范数。此外，我们还构造了另一个函数，牛顿的$\lfloorε^{-2}\rfloor$评估，但其Hessian是Lipschitz连续的路径上的迭代。这些例子提供了最坏情况下的评估复杂性的方法，在我们的类时，应用到满足相关假设的光滑问题的下限。此外，对于$α=1$，该下限在$ε$中与Curtis，Robinson和samadi（2017）或Royer和Wright（2017）中提出的一类方法中的立方和其他方法的最坏情况评估复杂度的上限具有相同的顺序，因此意味着这些方法在更广泛的二阶方法中具有最佳的最坏情况评估复杂度，而牛顿法是次优的。
2017-09-21 math.OC
A Newton-Type Active Set Method for Nonlinear Optimization with Polyhedral Constraints
提出了一种求解多面体约束下大规模极小化问题的牛顿型有效集算法。该算法由梯度投影步骤、约束矩阵零空间中的二阶牛顿型步骤和两步之间的分支规则组成。我们表明，所提出的方法渐近牛顿步骤时，积极约束是线性无关和一个强的二阶充分最优性条件举行。我们还表明，该方法在标准条件下具有二次收敛速率。数值实验说明了该算法的性能CUTEst和一类特定的问题，找到二阶稳定点是至关重要的。
2021-01-09 math.OC
Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
University of Chicago（芝加哥大学）；Duke University（杜克大学）
本文针对含噪线性测量下的低 Tucker 秩张量估计问题，提出黎曼高斯-牛顿方法，首次证明其在含噪环境下的局部二次收敛性，并给出匹配的误差上下界以证明统计最优性，通过张量回归和张量 SVD 应用及仿真验证了理论结果。
2023-07-09 cs.LG cs.NA math.NA
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具，从最初的$\ell_1$正则化模型到稀疏约束模型，在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组，然后用牛顿法有效地求解。该方法具有相当低的计算复杂性，并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时，对七个国家的最先进的求解器。
2021-11-19 math.OC
A Stochastic Newton-type Method for Non-smooth Optimization
提出分析非光滑优化中随机牛顿型方法的新框架，利用停时Chernoff界推导迭代次数界限，无需无偏或有限方差假设，并在层析成像与图像去噪中验证。
2025-03-04 math.OC
A Semismooth Newton Method for Tensor Eigenvalue Complementarity Problem
本文研究了与多项式最优化最优性条件密切相关的张量特征值互补性问题，以及一类具有非凸过程的微分包含.通过引入一个NCP函数，我们将张量特征值互补性问题转化为一个非线性方程组。我们证明了该函数是强半光滑的，但不可微，在这种情况下经典的平滑方法无法适用。进一步，我们提出了求解张量特征值互补性问题的阻尼半光滑牛顿法。给出了一种新的求广义Jocobian中一个元的方法，在较弱的假设下，它是B-次微分的一个元。结果表明，阻尼半光滑牛顿法的收敛性得到了现有结果的保证。数值实验也表明我们的方法是有效的和有前途的。
2015-10-29 math.OC
Newton Method for Set Optimization Problems with Set-Valued Mapping of Finitely Many Vector-Valued Functions
本文针对由有限多个强凸二次连续可微向量值函数构成的无约束集优化问题，提出一种基于划分集和Gerstewitz标量化函数的牛顿法，用于求弱极小解，并证明了该方法在相应连续性条件下的局部超线性与二次收敛性。
2024-09-29 math.OC
Optimal Control of the Kirchhoff Equation
我们考虑了定态Kirchhoff方程的一个最优控制问题，它是非局部偏微分方程的一个原型，不同于闭算子的分数幂。建立了状态方程解的存在唯一性、全局最优解的存在性、控制-状态映射的可微性和一阶最优性必要条件最优性条件。上述结果要求控制是$H^1$中的函数，并服从逐点上界和下界。为了得到最优性条件的Newton可微性，我们采用Moreau-Yosida-型罚函数方法处理控制约束，并研究了其收敛性.证明了正则化问题的一阶最优性条件是Newton可微的，并给出了一种广义Newton方法。提出了用分段线性有限元离散最优控制问题的方法，并给出了数值结果。
2021-12-02 cs.NA math.NA math.OC
Newton Method for Soft Quadratic Surface Support Vector Machine with 0-1 Loss Function
School of Mathematical Sciences, Harbin Normal University（哈尔滨师范大学数学科学学院）
本文提出一种非凸不连续的核函数-free软二次曲面支持向量机模型，基于该模型建立了一阶和二阶最优性条件，并设计了基于 stationary 方程的牛顿法，证明其在二阶充分条件下的局部二次收敛性，实验表明其在分类准确性和计算效率上优于其他方法。
2026-05-10 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下，这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明，半光滑牛顿法适用于这个非光滑的方程组总是定义良好，并在一个温和的假设下，单纯锥的方法产生一个序列，线性收敛到它的解决方案。此外，我们还证明了生成序列对任意起点是有界的，并给出了该序列的任意聚点的计算公式。数值结果表明，这种方法实现了精确的解决方案，在几个迭代大的问题。
2015-03-10 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
Complexity of a Projected Newton-CG Method for Optimization with Bounds
本文融合梯度投影与 Newton-CG，提出一种界约束非凸光滑优化方法，并基于新的 $ε$-近似二阶最优性定义给出迭代与计算复杂度界。
2023-06-07 math.OC
On the acceleration of forward-backward splitting via an inexact Newton method
提出了一种求解两个凸函数之和的前向后截断牛顿法（FBTN），其中一个凸函数是光滑的。与其他近端牛顿方法不同，我们的方法不涉及可变度量的就业，而是基于重新制定的原始问题的连续可微函数的无约束极小化，向前向后包络（FBE）。我们引入了一个广义Hessian的FBE对称的广义雅可比矩阵的非线性方程组的最优性条件的问题。这使得共轭梯度法（CG）的就业有效地解决所产生的（正则化）线性系，这可能是不精确的。CG的使用防止了完整的（广义）雅可比矩阵的计算，因为它只需要（广义）方向导数。所得到的算法是全局（渐进）收敛，$Q$ -线性误差界条件下，并高达$Q$ -超线性和$Q$ -二次在可能的非孤立极限点的正则性假设。
2018-11-07 math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization
本文研究了凸复合优化问题的牛顿法和拟牛顿法的局部收敛理论：极小化f（x）：=h（c（x）），其中h是无穷值正常凸函数，c是C^2光滑的.我们专注于的情况下，h是无限值分段线性二次和凸。这些问题包括非线性规划、极小极大优化、非高斯噪声下的非线性动力学估计以及许多现代大规模数据分析和机器学习方法。我们的方法嵌入到一个广义方程的凸复合最优化问题的最优性条件。建立了相应的集值映射的强度量次正则性和强度量正则性的条件。这使我们能够扩展牛顿和拟牛顿法的经典收敛到更广泛的一类非有限值分段线性二次凸复合最优化问题。特别是，我们建立了局部平方收敛的牛顿法的条件下，平行于那些在非线性规划时，h是非有限值分段线性。
2018-06-17 math.OC
A path-following inexact Newton method for PDE-constrained optimal control in BV (extended version)
我们研究了一个偏微分方程约束的最优控制问题，该问题涉及有界变差函数作为控制，并在目标中包含控制的TV值。我们应用路径跟踪不精确牛顿方法平滑TV的时间和添加$H^1$正则化所产生的问题。我们证明了在无限维设置，首先，这些辅助问题的解决方案收敛到原问题的解决方案，第二，不精确牛顿法享有快速局部收敛时，应用到最优性系统，其中控制出现的伴随状态的隐函数的重新制定。我们证明了一个有限元近似的收敛性，提供了一个全球化的预处理不精确牛顿方法作为离散辅助问题的求解器，并将其嵌入到一个不精确的路径跟踪计划。我们构造了一个二维的测试问题与完全显式的解决方案，并提出了数值结果来说明该方法的准确性和鲁棒性。这是一个扩展版本的相应期刊文章出现在“计算优化和应用”。它包含了一些在期刊版本中被省略的证明。
2022-03-30 math.OC
A Distributed Newton Method for Large Scale Consensus Optimization
在本文中，我们提出了一个分布式牛顿算法的共识优化。我们的方法优于最先进的方法，包括ADMM。其核心思想是利用对偶Hessian的稀疏性，将牛顿步的计算转化为求解对称对角占优线性方程组的有效计算。我们验证我们的算法在理论上和经验。在理论方面，我们证明了我们的算法在最优邻域内具有超线性收敛性。经验上，我们展示了这种新方法在各种机器学习问题上的优越性。所提出的方法是可扩展的非常大的问题，并具有较低的通信开销。
2016-06-21 cs.DC math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是：i）许多著名的算子分裂方法，如前向后分裂（FBS）和Douglas-Rachford分裂（DRS），实际上定义了一个不动点映射; ii）复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的，但它们往往是半光滑的，并且由于单调性，它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术，我们提出了一种自适应半光滑牛顿法，并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明，我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
A Newton Interior-Point Method for $\ell_0$ Factor Analysis
本文针对因子分析中带有非凸 $\ell_0$ 范数正则化的协方差矩阵稀疏优化问题，提出一种结合 $\ell_0$ 近端算子与牛顿迭代的内点法，有效处理半正定约束并通过数值算例验证了其有效性。
2025-04-02 math.OC
The Sparse(st) Optimization Problem: Reformulations, Optimality, Stationarity, and Numerical Results
研究了一类带非线性约束的稀疏最优化问题，目标函数由一般光滑映射和由$ \ell_0 $ -拟范数定义的附加项之和给出.该项用于获得稀疏解，但由于其非凸性和非光滑性而难以处理（稀疏改进项甚至是不连续的）。本文的目的是提出两个重新作为一个光滑的非线性规划互补型约束的计划。我们表明，这些方案是等价的局部和全局极小值，并引入了问题定制的平稳性概念，这原来是符合标准的KKT条件的两个重新制定的问题。此外，还研究了稀疏最优化问题的约束规格和二阶条件。然后，这些被用来显示三个拉格朗日-牛顿型方法是局部快速收敛的。对不同类型测试问题的数值结果表明，这些方法可以用来大大改善稀疏最优化问题的稀疏解由其他一些（全局收敛）的方法。
2022-10-18 math.OC
A Quasi-Newton Subspace Trust Region Algorithm for nonmonotone variational inequalities in adversarial learning over box constraints
针对盒约束非凸非凹极小-极大优化对应的非单调变分不等式问题，提出拟牛顿子空间信赖域算法，证明其全局收敛性，并通过眼部图像分割的混合GAN实验验证了其求解大规模问题的效率与有效性。
2024-04-16 math.OC
Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions
Institute of Statistical Mathematics（统计数学研究所）；Graduate University for Advanced Studies, SOKENDAI（高等研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种适用于退化正则化优化问题的近似牛顿-类方法，实现了超线性收敛性，且无需预先了解问题参数。
2026-02-11 math.OC
Polynomial iteration complexity of a path-following smoothing Newton method for symmetric cone programming
Institute of Mathematics, Hebei University of Technology（河北工业大学数学研究所）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and the University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院、中国科学院大学数学科学学院）；School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院）
本文提出了一种路径跟踪平滑牛顿方法，通过引入缩减的障碍augmented Lagrangian函数，解决了对称锥编程中平滑牛顿方法的多项式迭代复杂性问题，证明了该方法的迭代复杂度与内点法一致。
2026-05-21 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法，具有低计算复杂度和局部二次收敛性，数值实验验证了其准确性与效率。
2025-10-08 math.OC
Senior Thesis for Haverford College Convex Optimization, Newton's Method and Interior Point Method
本文由四个一般部分组成：凸集、凸函数、凸优化和邻域点算法。首先介绍了凸集的定义，并给出了本文后面要用到的三个常见凸集的例子，然后证明了重要的分离定理和支撑超平面定理。进入凸函数，除了给出定义外，我还将证明函数凸性的一阶和二阶条件，然后介绍几个例子，这些例子将在后面的凸优化问题中使用。接下来，我将给出凸优化问题的正式定义，并证明它们所具有的一些特征，包括解的存在性（通过最优性准则）和唯一性。我还将生成两个凸优化问题，其中一个不能简单地解决，需要额外的技能。之后，我将引入对偶性，以便构造邻点法。在最后一节中，我将首先介绍下降法和牛顿法，它们是邻域点法的基础。然后，我将展示如何使用对数障碍函数和中心路径来建立通道点方法。
2020-09-24 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题，提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法，证明其全局收敛与超线性收敛速率，数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
Inexact and Implementable Accelerated Newton Proximal Extragradient Method for Convex Optimization
本文研究非精确 Hessian 下的加速牛顿近端 extragradient 方法（IA-NPE），通过动态平衡计算成本与收敛进度并证明线搜索鲁棒性，保持了近最优复杂度，且数值实验表明其优于现有二阶方法。
2024-02-19 math.OC
Linearly convergent bilevel optimization with single-step inner methods
本文提出一种介于牛顿型全系统求解与隐函数处理之间的双层优化新方法，通过预处理使内层、伴随方程和外层交替更新，证明了线性收敛性，并在图像去噪和去卷积任务中验证了有效性。
2023-05-29 math.OC
iNALM: An inexact Newton Augmented Lagrangian Method for Zero-One Composite Optimization
本文针对零一复合优化问题，首次提出其二阶最优性条件，结合活动集识别技术设计非精确牛顿增广拉格朗日方法iNALM，证明其收敛性并通过实验验证了该方法在速度和精度上的优势。
2023-06-15 math.OC
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数，该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法，通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效，必须不精确地执行这种内部最小化。在本文中，我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数，它代表了问题的最优性条件的（连续）度量，并且体现了软阈值迭代。我们仔细考虑的算法内部最小化，并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
Nonlinear Schwarz preconditioning for nonlinear optimization problems with bound constraints
本文提出一种非线性加性 Schwarz 右预处理子，用于 SQP 框架下带界约束优化问题的牛顿法，结合解依赖粗空间，数值实验表明其优于标准积极集方法。
2022-11-27 cs.NA math.NA math.OC
Faithful-Newton Framework: Bridging Inner and Outer Solvers for Enhanced Optimization
本文提出Faithful-Newton框架，通过紧密整合内层子问题求解与外层优化迭代，在保留简单线性系统子问题的同时，实现了强凸问题的全局超线性、条件数无关线性及局部二次收敛，并具有竞争力的迭代复杂度。
2025-10-17 cs.NA math.NA math.OC
Tropical Bi-Objective Pseudolinear Optimization as Parametric Mean-Payoff Games
Kano University of Science and Technology（卡诺科技大学）；Northwest University, Kano（卡诺西北大学）
研究将参数平均收益博弈框架扩展到双目标热带伪线性优化，通过参数博弈刻画帕累托前沿，给出联合分母界等结果，开发方向二分和牛顿方案两种算法，并进行数值实验验证算法复杂度。
2026-07-20 math.OC
Variable reduction as a nonlinear preconditioning approach for optimization problems
本文提出将非线性消元作为减少优化变量数量的预条件方法，通过约束变量满足部分最优性条件构造约化目标函数，改善问题条件数，并在右预条件梯度下降中验证了其有效性。
2024-09-02 cs.NA math.NA math.OC
Error-tolerant Multisecant Method for Nonlinearly Constrained Optimization
我们提出了一个基于导数的算法，非线性约束最优化问题是容忍的数据不准确。该算法求解一个半光滑的非线性方程组，相当于一阶最优性条件，它是无矩阵的意义上，它不需要显式的拉格朗日Hessian或雅可比的约束。求解方法是拟牛顿法，但不是仅近似Hessian或约束Jacobian，而是使用多割线法近似整个非线性方程组的Jacobian。我们展示了如何预处理可以被纳入多割线更新，以提高该方法的性能。对于非凸问题，我们提出了一个简单的修改割线条件正则化的海森。数值实验表明，该算法是一个很有前途的替代传统的基于梯度的算法，特别是当错误存在于数据中。
2017-09-20 math.OC
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University（俄亥俄州立大学）
三次正则化牛顿法（CR）是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而，现有的理解CR的收敛速度的条件下，特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz（KL）性质，研究了CR的渐近收敛速度.具体地，我们刻画了CR的各种最优性测度的渐近收敛速度，包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外，我们还证明了在KL性质下，CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
Image denoising: learning noise distribution via PDE-constrained optimization
Escuela Politécnica Nacional de Quito（基多国立理工学院）；University of Cambridge（剑桥大学）
提出一种PDE约束优化方法，用于确定全变分图像去噪中的噪声分布，并证明最优解的存在性、正则化一致性及解算子的可微性，通过拟牛顿法和半光滑牛顿算法数值计算最优参数。
2012-07-14 cs.NA math.AP math.NA
0/1 Constrained Optimization Solving Sample Average Approximation for Chance Constrained Programming
Beijing Jiaotong University（北京交通大学）；Shandong University of Technology（山东理工大学）；Imperial College London（伦敦帝国学院）
本文提出一种新的方法直接解决机会约束规划的样本平均近似问题，通过建立Bouligand切线和Fréchet正法锥，推导出最优性条件，并设计出具有局部超线性或二次收敛性的半光滑牛顿算法。
2026-04-16 math.OC
