Partial Smoothness, Subdifferentials and Set-valued Operators
针对部分光滑性可识别性依赖非退化条件和精确对偶收敛性的局限，本文仅通过次微分给出其新刻画，建立更强识别结果并推广到集值算子，还补充了相关算子定义。
2025-04-17 math.OC
On Partial Smoothness, Tilt Stability and the $\mathcal{VU}$--Decomposition
在正则性和存在倾斜稳定的局部极小值的假设下，我们证明了一个类似于$\mathcal{VU}$的分解导致了一个光滑流形的存在，在该流形上，所讨论的函数与一个光滑函数局部重合.
2017-04-06 math.OC
Local Linear Convergence of Forward-Backward under Partial Smoothness
本文考虑了求解两个正常凸函数之和的Forward-Backward邻近分裂算法，其中一个函数具有Lipschitz连续梯度，另一个函数相对于活动流形$\mathcal{M}$是部分光滑的.我们提出了一个通用的框架下，我们表明，向前-向后（i）正确地识别活动流形$\mathcal{M}$在有限数量的迭代，然后（ii）进入一个本地的线性收敛制度，我们精确地表征。这给出了一个接地和统一的解释，已经观察到的典型行为，在我们的框架中包含的许多问题，包括套索，组套索，融合套索和核规范正则化，仅举几例。这些结果可能有许多应用，包括在信号/图像处理处理，稀疏恢复和机器学习。
2015-03-10 math.OC
Inexact Newton method with feasible inexact projections for solving constrained smooth and nonsmooth equations
本文提出了一种新的方法，结合不精确牛顿法和一个程序，以获得一个可行的不精确投影求解约束光滑和非光滑方程。在定义方程的函数是光滑或半光滑的假设下，建立了方程的局部收敛定理及其在解处的正则性。特别是，我们表明，由该方法产生的序列收敛到一个解决方案的线性，超线性，或二次率，在适当的条件下。此外，一些数值实验报告，以说明所提出的方法的实际行为。
2019-03-15 math.OC
Nash equilibrium seeking under partial decision information: Monotonicity, smoothness and proximal-point algorithms
我们解决纳什均衡问题的部分决策信息的情况下，每个代理只能与一些邻居交换信息，而其费用函数可能取决于所有代理的策略。我们刻画了文献中假设的几个单调性和光滑性条件之间的关系。此外，我们证明了一个预处理的邻近点法的收敛性，在限制单调性属性，允许非Lipschitz，非连续对策映射。
2022-06-23 cs.GT cs.MA math.OC
A Newton-type Method for Non-smooth Under-determined Systems of Equations
本文提出一种基于一致牛顿可微性的牛顿型方法，用于求解非光滑欠定方程组，证明迭代收敛具有超线性速率，并通过数值示例展示其在工程中的潜力。
2025-04-24 math.OC
Activity Identification and Local Linear Convergence of Douglas--Rachford/ADMM under Partial Smoothness
凸优化在大多数定量科学学科中已经变得无处不在，包括变分图像处理。近似分裂算法是解决此类结构化凸优化问题的常用算法。在这类算法中，道格拉斯-Rachford（DR）和交替方向法的乘法器（ADMM）的设计，以最小化两个正常的下半连续凸函数的邻近算子是容易计算的和。这项工作的目标是了解的局部收敛行为的DR（resp。ADMM）时所涉及的功能（分别为它们的Legendre-Fenchel共轭）此外是部分光滑的。更准确地说，当两个功能（分别）。他们的共轭）是部分光滑相对于各自的流形，我们表明，DR（resp. ADMM）在有限时间内识别这些流形。当这些流形是仿射流形或线性流形时，我们证明了DR/ADMM是局部线性收敛的。当$J$和$G$是局部多面体时，我们证明了最优收敛半径是由所识别流形的切空间之间的Friedrichs角的余弦给出的.这是说明了几个具体的例子和支持的数值实验。
2015-07-31 math.OC
Transferability of Error Bounds and the Kurdyka-Łojasiewicz Property under $C^1$ Partial Smoothness
The University of Hong Kong（香港大学）；University of Tokyo（东京大学）
研究可识别性和部分光滑性在优化中的作用，基于斜率公式证明\(\mathbb{R}^n\)与可识别流形\(\mathcal{M}\)上局部误差界性质在特定条件下等价，还给出几何分析及应用，恢复\(\ell_1\)正则化优化的EB等价性。
2026-09-29 math.OC
A semi-smooth Newton method for the nonlinear conic problem with generalized simplicial cones
State University of Campinas（坎皮纳斯州立大学）；Northern Illinois University（北伊利诺伊大学）；University of São Paulo（圣保罗大学）
本文提出一种非光滑牛顿法解决非线性锥优化问题，针对广义单纯锥建立锥投影方程，证明其二次收敛性，并在低秩矩阵补全问题中进行数值实验。
2026-04-20 math.OC
Global and Quadratic Convergence of Newton Hard-Thresholding Pursuit
基于硬阈值原理的算法已经得到了很好的研究，在压缩感知和更一般的稀疏约束优化中具有合理的理论保证。在现有的经验研究中广泛观察到，当使用限制性牛顿步骤（作为去偏步骤）时，硬阈值算法倾向于在显著低的迭代次数中满足停止条件，并且非常有效。因此，由此获得的牛顿硬阈值算法要求更强的理论保证比他们简单的硬阈值对应。本文提供了一个理论上的理由，使用限制牛顿步骤。我们建立了稀疏约束优化的理论和算法-牛顿硬约束追踪算法（NHTP）。我们的主要结果表明，NHTP是二次收敛的限制强凸性和光滑的标准假设下。在一个较弱的假设条件下，我们证明了算法的整体收敛到一个稳定点.在压缩感知的特殊情况下，NHTP有效地减少了一些现有的硬阈值算法与牛顿步骤。因此，我们的快速收敛结果证明了为什么这些算法比没有牛顿步骤的性能更好。在压缩感知和稀疏逻辑斯谛回归中，NHTP在合成数据和真实数据上的有效性得到了证明。
2020-04-05 math.OC
Inertial Bregman Proximal Gradient under Partial Smoothness
本文提出了一种用于最小化两函数之和的惯性 Bregman 近端梯度算法（IBPG），在三角缩放性质和 KL 性质框架下证明了其全局收敛性，并在部分光滑性假设下确立了局部线性收敛速率。
2025-01-29 math.OC
Optimization in complex spaces with the Mixed Newton Method
提出混合牛顿法用于复变量函数的无条件最小化，利用混合Wirtinger导数计算搜索方向，并在全纯函数绝对值平方和上表现出优越的全局收敛性。
2024-12-23 math.OC
Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method
八边形收缩和聚类回归算法（OSCAR），配备了$\ell_1$ -范数和成对$\ell_{\infty}$ -范数正则化器，是高维数据分析中特征选择和分组的有用工具。由于所涉及的正则化子的非光滑性和不可分离性，OSCAR对高维和/或大样本量数据提出的计算挑战尚未得到很好的解决。在本文中，我们成功地解决了这个数值挑战，提出了一个稀疏的半光滑牛顿为基础的增广拉格朗日方法来解决更一般的SLOPE（排序L-one惩罚估计）模型。通过适当利用增广拉格朗日子问题中半光滑牛顿系统的广义雅可比矩阵的稀疏性和低秩性，我们证明了如何大大降低计算复杂性.我们的算法在高维统计回归环境中具有显著的优势。在真实数据集上进行的数值实验表明，该算法在速度和鲁棒性方面都远远优于现有的基于一阶迭代格式的最新算法，包括广泛使用的加速邻近梯度法（APG）和乘子的交替方向法（ADMM）.
2018-03-28 math.OC
Decentralized Inexact Cubic Newton Method with Consensus Procedure
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Trusted AI Research Center, RAS（俄罗斯科学院可信人工智能研究中心）；Innopolis University（因诺波利斯大学）
本文研究了去中心化的二次优化问题，提出了一种适用于凸优化的去中心化三次牛顿方法，并开发了能够准确跟踪共识和局部迭代不一致性的理论。该方法在L1梯度光滑性和L2Hessian Lipschitz连续性假设下，与精确三次牛顿方法具有相同的迭代复杂度，并通过额外的多项式对数通信轮次开销达到所需的共识精度。此外，还提出了适用于强凸目标的加速去中心化三次牛顿方法，其迭代复杂度与精确加速三次牛顿方法一致。最后，尽管通用方法需要交换完整的d×dHessian矩阵，但通过仅传输向量的方式实现了在高维情况下更实用的实现。
2026-05-21 math.OC
Second order semi-smooth Proximal Newton methods in Hilbert spaces
我们开发了一个全球化的近似牛顿方法的复合和可能的非凸极小化问题在希尔伯特空间。此外，我们对复合目标泛函的可微性和凸性的限制性假设比现有的理论少。至于可微的光滑部分的目标函数而言，我们引入了二阶半光滑的概念，并讨论为什么它构成了一个足够的框架，我们的近端牛顿法。然而，整体收敛以及局部加速仍然适用于我们的情况。最后，通过求解函数空间中的一个玩具模型问题，展示了算法的收敛性。
2021-10-31 cs.NA math.NA math.OC
Rescaling nonsmooth optimization using BFGS and Shor updates
BFGS拟牛顿法，流行的光滑最小化，也证明了令人惊讶的有效性，在非光滑最优化。通过各种简单的例子和计算实验，我们探讨了如何BFGS矩阵更新改善局部度量与凸函数，即使在没有平滑和不使用线搜索。我们比较的BFGS和Shor r算法更新的行为。
2018-02-18 math.OC
Partial smoothness of the numerical radius at matrices whose fields of values are disks
本文研究了涉及数值半径的优化问题中解矩阵的特殊性质，证明了“圆盘矩阵”集合在特定条件下构成流形且数值半径具有部分平滑性，并应用于 Jordan 块、Crabb 矩阵及任意复 3×3 矩阵。
2018-12-31 cs.NA math.NA math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题，提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法，证明其全局收敛与超线性收敛速率，数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和，这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件，特别是当它具有Lipschitz连续梯度，并且$h$是适当的下半连续时，我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下，我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下，命名为TR-PG，在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法，从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量，命名为R2，并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤，从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能，并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
Approximate solution of system of equations arising in interior-point methods for bound-constrained optimization
针对界约束优化内点法的牛顿系统求解权衡问题，提出基于有效/无效约束启发式估计的部分与完全近似解，及两种含部分近似解中间步骤的类牛顿法，给出理论误差界与数值验证结果。
2020-11-15 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法，并且具有很强的计算和统计保证。具体地，通过利用稀疏建模结构/假设的复杂表征（即，局部约束强凸性和Hessian光滑性），证明了在凸松弛的每一阶段，算法均达到（局部）二次收敛，并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
Local minima in Newton's aerodynamical problem and inequalities between norms of partial derivatives
针对Newton最小阻力曲面问题，本文将平面曲面的局部极小性归结为边界消失二元凹函数偏导数$L_2$范数的不等式，并给出依赖区域几何的完备判据。
2024-05-08 math.AP math.OC
Newton-type method for bilevel programs with linear lower level problem and application to toll optimization
本文考虑一个下层线性问题的左扰动双层规划。然后，我们考虑Karush-Kuhn-Tucker重新制定的问题，并随后建立一个易于处理的最优化问题的线性约束的部分精确惩罚。最后，我们将该算法应用于交通网络中的最优收费问题，证明了该算法的收敛性和实际实现。
2020-10-22 math.OC
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods
EPFL（洛桑联邦理工学院）
本文提出了一种通用的、自适应的二阶方法来极小化二阶光滑、凸函数。当预言机反馈是随机的且方差为$σ^2$时，该算法达到了$O(σ/ \sqrt{T})$收敛，当预言机反馈是确定性的时，该算法收敛到$O( 1 / T^3)$，其中$T$是迭代次数.我们的方法还内插这些速率，而不知道的性质的预言先验，这是使一个无参数的自适应步长，是无视的知识的平滑模量，方差界和直径的约束集。据我们所知，这是第一个通用的算法，这样的全球保证在二阶优化文献。
2022-12-12 cs.LG math.OC stat.ML
On Partly Smoothness, Activity Identification and Faster Algorithms of $L_1$ over $L_2$ Minimization
本文研究$L_1/L_2$最小化的部分光滑性，证明ADMM$_p$可有限步识别活动流形，提出结合半光滑牛顿法的混合算法，提升了稀疏恢复的收敛速度与性能。
2024-01-27 math.OC
Gradient-Normalized Smoothness for Optimization with Approximate Hessians
EPFL（洛桑联邦理工学院）
本研究提出梯度归一化平滑性新概念，构建结合近似二阶信息与梯度正则化的优化算法，为近似二阶算法提供通用全局收敛保证，适用于多类函数及逻辑回归、非凸优化等场景。
2025-06-16 cs.LG math.OC
On multivariate Newton-like inequalities
We study multivariate entire functions and polynomials with non-negative coefficients. A class of { \bf Strongly Log-Concave} entire functions, generalizing { \it Minkowski} volume polynomials, is introduced: an entire function $f$ in $m$ variables is called { \bf Strongly Log-Concave} if the function $(\partial x_1)^{c_1}...(\partial x_m)^{c_m} f$ is either zero or $\log((\partial x_1)^{c_1}...(\partial x_m)^{c_m} f)$ is concave on $R_{+}^{m}$ . We start with yet another point of view (via { \it propagation}) on the standard univarite (or homogeneous bivariate) { \bf Newton Inequlities}. We p…
2009-05-14 math.CO math.OC
A note on Newton's problem of minimal resistance for convex bodies
考虑如下问题：在凹函数类$u: Ω\to [0,M]$中极小化泛函$\int_Ωf(\nabla u(x))\, dx$，其中$Ω\subset \mathbb{R}^2$是凸体，$M > 0$是凸体.如果$f(x) = 1/(1 + |x|^2)$和$Ω$是一个圆，则该问题称为牛顿最小阻力问题。已知这个问题至少有一个解。我们证明了如果$\partialΩ$的所有点都是正则的，并且${|x|f(x)}/(|y|f(y)) \to +\infty$是$|x|/|y| \to 0$，则问题的解$u$满足$u\rfloor_{\partialΩ} = 0$。这个结果证明了1993年提出的关于牛顿问题的猜想。
2019-10-02 math.CA math.OC
An Online Newton's Method for Time-varying Linear Equality Constraints
针对时变线性等式约束的在线优化问题，提出在线投影等式约束牛顿法（OPEN-M），在仅需平滑性和逆Hessian有界性等温和条件下实现了次线性动态遗憾与约束违背界，并在网络流应用中优于现有算法。
2023-07-30 cs.SY eess.SY math.OC
A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
Department of Mathematics RWTH Aachen University（数学系RWTH亚琛大学）
本文从黎曼优化视角出发，研究了高斯-牛顿方法在前馈神经网络训练中的收敛性，提出自适应正则化方案以实现快速收敛。
2025-12-22 cs.AI cs.LG cs.SY
An inexact Newton-Krylov algorithm for constrained diffeomorphic image registration
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了解决大变形几何图像配准问题的数值算法。我们将非刚性图像配准问题转化为一个最优控制问题。这导致了一个无限维偏微分方程（PDE）约束的最优化问题。PDE约束，在其最简单的形式，一个双曲传输方程的图像强度的演变。控制变量是速度场。控制上的Tikhonov正则化确保适定性。我们考虑基于$H^1$ -或$H^2$ -范数的标准平滑正则化。我们增加了这个正则化方案的速度场的发散性的约束，使变形不可压缩，从而确保变形梯度的行列式等于一，直到数值误差。我们使用傅立叶伪谱离散空间和切比雪夫伪谱离散时间。我们使用预处理，全球化，矩阵自由，不精确的牛顿-克雷洛夫方法进行数值优化。设计了一种参数延拓方法来估计最优正则化参数。通过控制变形场的几何特性来确保规则性。总的来说，我们得到了一个黑盒解决方案。我们研究了Hessian格式的谱性质、网格收敛性、数值精度、计算效率和变形规律。我们比较设计的牛顿-克雷洛夫方法与全球化的预条件梯度下降。我们研究了不同数量的未知量的影响。报告的结果表明，优良的数值精度，保证局部变形规律，和计算效率与局部质量守恒的可选控制。如果需要高精度的反演，Newton-Krylov方法明显优于Picard方法。
2015-05-07 cs.CV cs.NA math.NA
Multiscale functions, Scale dynamics and Applications to partial differential equations
从实验数据建模现象，总是从观察到的动力学的\emph{choice of hypothesis}开始，如\emph{determinism}，\emph{randomness}，\emph{derivability}等。根据这些选择，可以观察到不同的行为。与建模问题相关的自然问题如下：\emph{"With a finite set of data concerning a phenomenon, can we recover its underlying nature ?}从这个问题出发，本文介绍了\emph{multi-scale functions}、\emph{scale calculus}和基于\emph{time-scale calculus}的\emph{scale dynamics}的定义（参见\cite{bohn}）。这些定义将在\emph{multi-scale Okamoto's functions}中说明。引入的形式主义解释了为什么存在不同的连续模型与不同的\emph{scale regimes}方程相关联，而方程是\emph{scale invariant}。这种方程的一个典型例子是\emph{Euler-Lagrange equation}，特别是将要讨论的\emph{Newton's equation}。值得注意的是，我们通过\emph{scale N…
2015-09-03 astro-ph.EP math-ph math.DS
