Second-order optimality conditions for general nonconvex optimization problems and variational analysis of disjunctive systems
本文对一个非常一般的非凸约束最优化问题提出了二阶充分最优性条件，它涵盖了许多著名的数学规划.与文献中已有的结果不同，我们的条件证明了对于二阶本质局部极小，在定义问题数据的基本光滑性和闭性假设下是充分的.在第二部分中，我们提出了一个全面的一阶和二阶变分分析的析取系统，并证明了如何二阶对象出现在最优性条件，可以有效地计算在这种情况下。
2022-11-22 math.OC
Strong Second-Order Karush--Kuhn--Tucker Optimality Conditions for Vector Optimization
本文研究了不等式约束的向量最优化问题，其中目标函数和约束函数都是Fréchet可微的，其梯度映射是开集上的局部Lipschitz.利用二阶对称次微分和二阶切集，给出了Abadie意义下的两类二阶正则性条件。然后建立了问题的Geoffrion真有效解的强二阶Karush-Kuhn-Tucker最优性最优性条件.并举例说明所得结果。
2017-05-05 math.OC
Second-order optimality conditions for non-convex set-constrained optimization problems
本文研究非凸集约束最优化问题的二阶最优性条件。对于凸集约束最优化问题，二阶最优性条件最优性条件涉及二阶切集的支撑函数。在本文中，我们提出了两种方法来建立二阶最优性条件的非凸情况。在第一种方法中，我们扩展了支撑函数的概念，使其适用于一般的非凸集约束问题，而在第二种方法中，我们引入了方向正则切锥的概念，并应用经典的凸对偶理论的结果。除了二阶最优性条件，我们的方法的新颖性在于系统的介绍和使用，分别从变分分析的著名概念的方向版本。
2020-01-14 math.OC
On the hardness of deterministic second-order optimization of functions with Lipschitz gradients
The Chinese University of Hong Kong（香港中文大学）
研究具有Lipschitz梯度函数的确定性二阶优化难度，证明不存在能在有限二阶预言机调用内计算Goldstein近似二阶驻点的确定性算法，揭示确定性二阶弱凸优化难处理。
2026-07-28 math.OC
Second-order optimality conditions for multiobjective optimization problems with constraints
本文引入了开集上Gâteaux可微且Gâteaux导数映射局部Lipschitz的函数的二阶次微分。基于这类二阶次微分的性质和变分分析技巧，我们得到了约束多目标规划问题弱Pareto有效解的二阶必要条件.
2019-09-21 math.OC
On second-order optimality conditions for $C^{1,1}$ optimization problems via Lagrangian functions
本文利用拉格朗日函数的极限二阶次微分，为带约束的 C^{1,1} 光滑优化问题建立了新的二阶最优性条件，并将其推广到多目标优化中，扩展和改进了已有结果。
2024-12-27 math.OC
Generating Linear, Semidefinite, and Second-order Cone Optimization Problems for Numerical Experiments
算法的数值性能可以使用测试集或生成此类问题的程序来研究。本文提出了生成线性、半定和二阶锥最优化问题的各种方法。具体来说，我们感兴趣的问题的情况下，需要一个已知的最优解，一个已知的最优分区，一个特定的内部解决方案，或所有这些在一起。在所提出的问题生成器中，可以选择最优化问题的不同特征，包括维数、大小、条件数、退化、最优划分和稀疏性，以便于进行全面的计算实验。我们还开发了程序，以生成具有预定的最佳分区的最大互补最优解的实例，以生成具有挑战性的半定和二阶锥最优化问题。生成的实例使我们能够评估有效的边界点方法的圆锥曲线最优化问题。
2023-02-01 math.OC
Second-Order Optimality Conditions for Sparse Differentiable Optimization Problems via Limiting Second-Order Subdifferentials
Hung Vuong University（胡越大学）；Hanoi Pedagogical University 2（河内师范大學第二分校）；Northeast Normal University（东北师范大学）
本文利用极限（Mordukhovich）二阶次微分，在温和假设下建立了稀疏可微优化问题的二阶必要和充分最优性条件，并推广到稀疏多目标优化问题。
2026-06-01 math.OC
Convergence to Second-Order Stationarity for Constrained Non-Convex Optimization
本文研究了一类带约束的非凸优化问题的近似二阶稳定点问题。我们首先表明，与无约束优化的梯度下降法，香草投影梯度下降算法可能会收敛到一个严格的鞍点，即使只有一个单一的线性约束。然后，我们提供了一个硬度的结果表明，检查$(ε_g,ε_H)$ -二阶平稳性是NP难的，即使在存在线性约束。尽管我们的硬度结果，我们确定的问题，检查二阶平稳性可以有效地完成的实例。对于这种情况，我们提出了一个动态的二阶Frank-Wolfe算法，它收敛到（$ε_g, ε_H$）-二阶平稳点的${\mathcal{O}}(\max\{ε_g^{-2}, ε_H^{-3}\})$迭代。只要能有效地求解约束二次子问题，该算法就可用于一般的约束非凸优化。
2020-06-02 math.OC
Second-order subdifferential calculus with applications to tilt stability in optimization
本文讨论变分分析的二阶广义微分理论及其在有限维空间约束优化问题中的新应用。主要研究了广义实值函数的二阶次微分（全次微分和部分次微分），它们是由一阶次微分映射的余导数生成的对偶结构.我们开发了一个扩展的二阶次微分，并分析了基本的二阶资格条件，确保履行的主要二阶链式法则强，完全顺从的组成。以这种方式获得的微积分结果和计算分段线性二次函数及其主要规格的二阶次微分，然后应用于研究的倾斜稳定性的局部极小的重要类的问题，在约束优化，特别是包括，问题的非线性规划和某些类的扩展非线性规划描述的复合条款。
2011-10-20 math.OC
"Second-Order Primal'' + "First-Order Dual'' Dynamical Systems with Time Scaling for Linear Equality Constrained Convex Optimization Problems
二阶动力系统是求解最优化问题的重要工具，现有的研究主要集中在无约束最优化问题上。针对线性等式约束凸优化问题，提出了一个具有常粘性阻尼和时间尺度的惯性原-对偶动力系统，它由原变量的二阶常微分方程和对偶变量的一阶常微分方程组成.当尺度变换满足一定条件时，在不假设强凸性的情况下，证明了它的收敛性。当缩放指数增长时，甚至收敛速度也可以变成指数。我们还证明了所得到的动力系统的收敛性在小扰动下是保持的。
2022-05-20 math.OC
Alternating Direction Method of Multipliers for Truss Topology Optimization with Limited Number of Nodes: A Cardinality-Constrained Second-Order Cone Programming Approach
本文讨论了柔度最小化桁架，其中可用节点的数量是有限的。结果表明，这个最优化问题可以转化为一个具有基数约束的二阶锥规划问题。我们提出了一个简单的启发式的基础上交替方向的乘数方法。所提出的方法的效率进行了比较与基于混合整数二阶锥规划的全局优化方法。数值实验表明，该方法往往找到一个解决方案，具有良好的目标值与小的计算成本。
2017-12-09 math.OC
OCP-GN: A Scalable Second-order Optimizer for Stochastic Optimization
JOURNAL OF LATEX CLASS FILES（LaTeX类文件期刊）
本文提出基于最优控制原理的OCP-GN算法，用于神经网络训练中的大规模优化问题，具有O(d)的计算复杂度和强鲁棒性，实验验证其显著优势。
2026-05-10 cs.CV math.OC
An Optimization Approach to Parameter Identification in Variational Inequalities of Second Kind -- II
本文继续以前的工作，并关注的参数识别的反问题的变分不等式的第二类，不仅要处理的参数连接到一个双线性形式，但重要的是，也连接到一个非线性非光滑函数的参数。使用输出最小二乘公式的反问题的早期工作中的优化方法涉及第二类变分不等式作为约束。本文利用不可微最优化的正则化技术，对变分不等式中的非光滑部分进行正则化，得到一个用正则化的变分方程代替约束变分不等式的最优化问题。对于这种情形，研究了参数-解映射的光滑性，给出了收敛性分析和最优性条件。
2020-12-30 math.OC
On second-order weak sharp minima of general nonconvex set-constrained optimization problems
本文针对一般非凸集合约束优化问题，利用渐近二阶切锥、外二阶切集及广义支撑函数提出新的二阶最优性条件，从而在无需凸性、非空性及一致正则性等传统强假设下刻画局部二阶弱尖锐极小值。
2025-07-16 math.OC
On the sensitivity of the optimal partition for parametric second-order conic optimization
本文利用最优分割方法研究了二阶锥曲线最优化问题的参数分析，其中目标函数沿固定方向扰动。我们刻画了所谓的不变集和非线性区间的概念，作为最优划分的稳定区域。在严格互补条件下，我们提出了一个迭代过程来计算最优划分的非线性区间。此外，在原始和对偶非退化条件下，我们证明了非线性区间的边界点可以从参数二阶锥最优化问题的非线性重构中数值识别。我们的理论结果得到了数值实验的支持。
2021-06-09 math.OC
Second-order optimality conditions for SDCMPCC and application to rank optimization problems
研究了半定锥补约束数学规划（SDCMPCC）的二阶最优性条件，首先利用投影算子在SDCC集上的二阶方向导数给出了SDCC集的二阶切集的一个精确刻画，然后在适当的次正则约束规格条件下，利用SDCC集的二阶正切集得到SDCMPCC的二阶充要条件.最后给出了半定秩正则化问题二阶最优性必要条件最优性条件的一个应用。
2019-11-24 math.OC
Fuzzy hyperparameters update in a second order optimization
LogicWizard EURL（逻辑巫师有限责任公司）；School of Computing（计算机学院）；University of Leeds（利兹大学）
本研究提出一种混合方法，通过在线有限差分近似对角 Hessian 矩阵并结合模糊推理更新超参数，有效加速了二阶优化的收敛并取得竞争力结果。
2024-03-08 cs.AI cs.LG math.OC
Second-Order Subdifferential Optimality Conditions in Nonsmooth Optimization
本文利用变分分析与二阶广义微分，针对 prox-regular 非光滑优化问题建立了新的二阶必要和充分最优性条件，并将其应用于非线性规划，得到了以 Hessian 矩阵表达的新结果。
2025-01-04 math.OC
Second-Order Bilevel Optimization with Accelerated Convergence Rates
University of California, Riverside（加州大学河滨分校）；The Chinese University of Hong Kong（香港中文大学）；IIIS, Tsinghua University（清华大学交叉信息研究院）
本文提出完全二阶双层近似方法FSBA，实现非凸强凸双层优化的加速收敛率，并引入懒惰变种LFSBA提升计算效率，同时应用于非凸强凹最小化最大优化，提出LMCN方法。
2026-05-07 math.OC
On the Impossibility of Statistically Improving Empirical Optimization: A Second-Order Stochastic Dominance Perspective
当随机最优化中的基本概率分布仅通过数据观察时，已经研究了各种数据驱动的公式以获得近似最优解。我们表明，没有这样的配方可以，在某种意义上说，从理论上提高统计质量的经验优化得到的解决方案。我们通过证明任何数据驱动解决方案的最优性差距对Oracle最佳解决方案的一阶行为（包括偏差和方差）是由经验优化主导的二阶随机性来论证这一点，只要相对于底层分布保持适当的平滑性。我们证明了这种不可能的改进，在一系列的例子，包括正则化优化，分布鲁棒优化，参数优化和贝叶斯推广。我们还讨论了半参数统计推断和数据驱动的优化文献中的其他观点，我们的结果的连接。
2021-05-27 math.OC stat.ME
Generalized Damped Newton Algorithms in Nonsmooth Optimization via Second-Order Subdifferentials
本文提出并发展了求解重要的非光滑最优化问题的新的全局收敛的广义阻尼牛顿型算法。这些算法是基于非光滑函数的二阶次微分的理论和计算，采用二阶变分分析和广义微分的机械。首先，我们发展了一类全局超线性收敛的阻尼牛顿型算法的连续可微函数的Lipschitz梯度，这是非光滑的二阶。然后，我们设计这样一个全局收敛的算法来解决一类结构化的非光滑二次组合问题的扩展实值费用函数，这通常出现在机器学习和统计。最后，我们提出了数值实验的结果，并比较我们的主要算法应用到一个重要的一类Lasso问题与其他一阶和二阶优化算法所取得的性能。
2022-01-18 math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法，一个单步二阶在线非凸优化方法。我们分析了它的性能，并得到了一个动态的遗憾界，是线性的轮最优值之间的累积变化。我们表明，如果轮最优值之间的变化是有限的，该方法导致一个恒定的遗憾界。在一般情况下，在线牛顿法优于在线凸优化算法的凸函数，并执行类似于一个专门的算法，强凸函数。我们模拟的性能在线牛顿法的非线性，非凸的移动目标定位的例子，发现它优于一阶的方法。
2020-06-09 math.OC
From Convex Optimization to MDPs: A Review of First-Order, Second-Order and Quasi-Newton Methods for MDPs
本文综述了求解马尔可夫决策过程的经典算法与凸优化中基于梯度的经典算法之间的联系。其中一些联系可以追溯到20世纪80年代，但近年来它们的发展势头越来越大，并导致了求解MDP的更快算法。特别地，用于求解MDP的两个最流行的方法，值迭代和策略迭代，可以链接到凸优化中的一阶和二阶方法。此外，最近的结果在拟牛顿法导致新的算法MDP，如安德森加速。通过将MDP的算法明确地分为一阶、二阶和拟牛顿法，我们希望能更好地理解这些算法，并进一步扩展这种类比，以帮助基于凸优化的最新进展开发新的MDP算法。
2021-11-25 math.OC
Optimization of System of Nonlinear Second Order Differential Inequalities
本文讨论了具有凸与非凸、离散与可微的二阶状态变量不等式约束的Bolza问题的最优化问题，给出了最优性的充要条件。根据所提出的离散化方法和次微分包含的等价定理，研究了离散逼近不等式组问题，该问题对导出由给定的非线性不等式约束产生的伴随离散包含有重要意义.在极限情形下，得到了连续问题最优性的充分条件。最后给出了一个数值例子来说明理论结果。
2020-09-16 math.OC
New second-order optimality conditions for directional optimality of a general set-constrained optimization problem
本文针对底层集合可非凸的一般集合约束优化问题，通过方向法锥、渐近二阶切锥和外二阶切集，推导了特定方向上局部最优的新一阶和二阶必要充分条件，且不要求外二阶切集的凸性与非空性。
2025-03-03 math.OC
Locally Lipschitz vector optimization problems: second-order constraint qualifications, regularity condition and KKT necessary optimality conditions
研究了一类约束向量最优化问题，其中目标函数和积极约束函数在参考点处均为局部Lipschitz.在非光滑情形下，给出了Zangwill型、Abadie型和Mangasarian~--~Fromovitz型的二阶约束规格以及Abadie型的正则性条件.建立了这些条件之间的联系。他们被应用于开发二阶Karush-库恩-塔克必要的最优性条件的本地（弱，Geoffrion正确）有效解所考虑的问题。最后给出了实例说明所得结果。
2019-05-13 math.OC
On second-order Karush--Kuhn--Tucker optimality conditions for $C^{1,1}$ vector optimization problems
本文研究带不等式约束的 $C^{1,1}$ 向量优化问题，通过极限二阶次微分和二阶切集引入 Abadie 意义下的二阶约束品性，建立了局部有效解的 Karush--Kuhn--Tucker 型二阶必要与充分最优性条件，改进了现有文献成果。
2025-03-02 math.OC
On Semidefinite Representations of Second-order Conic Optimization Problems
二阶锥优化（SOCO）可以看作是半定优化（SDO）的一种特殊情况。在文献中，有人建议，SOCO问题可以嵌入到SDO问题使用箭头矩阵变换。然而，原始-对偶解对不能使用箭头变换同时映射，因为在某些情况下我们可能会失去互补性和对偶性。为了解决这个问题，我们调查SOCO问题之间的关系，和他们的SDO对应。通过推导SOCO问题的标准半定表示，引入了容许映射。我们表明，建议的映射保持可行性和最优性。此外，我们讨论了SOCO问题的最优分区如何映射到其SDO对应的最优分区。
2023-01-27 math.OC
Oracle Complexity of Second-Order Methods for Smooth Convex Optimization
二阶方法利用梯度和海森函数来优化给定函数，在数学优化中具有重要意义。在这项工作中，我们证明了严格的边界上的预言复杂性，这种方法的光滑凸函数，或等价地，优化这些功能所需的最坏情况下的迭代次数，以给定的精度。特别是，这些界限表明，当这样的方法可以或不能改善基于梯度的方法，其预言的复杂性是更好地理解。我们还提供了我们的结果的高阶方法的推广。
2017-08-17 math.OC
A Primal-Dual Interior Point Method for a Novel Type-2 Second Order Cone Optimization Problem
本文定义了一种新的特殊二阶锥作为$k$型二阶锥。我们集中在$k=2$的情况下，它可以被视为SOCO与一个额外的{ \em复杂变量}。对于这个新的问题，我们制定了必要的先决条件，传统的SOCO以前的工作的基础上。然后，我们开发了一个原始-对偶内点算法求解2型二阶锥优化（SOCO）问题，基于一个家庭的核函数适合这种2型SOCO。最后，我们推导出我们的框架的以下迭代范围：\[\frac{L^γ}{θκγ} \left[2N ψ\left( \frac{\varrho \left(τ/4N\right)}{\sqrt{1-θ}}\right)\right]^γ\log \frac{3N}ε.\]
2019-12-18 math.OC
Optimal Shrinkage for Distributed Second-Order Optimization
针对分布式二阶优化中Hessian逆偏差问题，提出渐近无偏的收缩估计器并用于牛顿步偏差校正，显著提升收敛速率。
2024-02-02 math.OC
Generic identifiability and second-order sufficiency in tame convex optimization
本文证明，对于半代数（或更一般地“驯服”）的紧凸可行域，线性优化问题的最优解在通用意义下唯一且位于唯一流形上，该流形周围可行域“部分光滑”，从而确保许多优化算法能有限识别该流形，同时二阶最优性条件成立，保证目标微小扰动下最优解的平滑行为。
2009-01-20 cs.NA math.NA math.OC
No-gap second-order conditions for optimization problems involving transport distances
BTU Cottbus-Senftenberg（布兰登堡工业大学科特布斯-森夫滕贝格分校）；Technische Universität Dortmund（多特蒙德工业大学）
该研究针对测度空间中含运输距离正则项的优化问题，利用弱-⋆二阶次导数理论推导无间隙二阶最优性条件，证明相关可微性并将结果应用于测度空间最优控制问题。
2026-07-31 math.OC
An enriched second-order method for nonconvex composite sparse optimization problems
在本文中，我们提出了一个二阶方法解决\emph{linear composite sparse optimization problems}组成的可微（可能非凸函数）和不可微凸项的总和最小化。复合不可微凸惩罚器由矩阵的$\ell_1$ -范数乘以系数向量给出。我们提出的线性复合$\ell_1$问题的情况下的算法依赖于电源OESOM算法\cite{dlrlm07}的三个主要成分：最小范数次梯度，一个投影步骤，特别是，二阶相关的不可微项的信息。通过对这些装置的推广，我们得到了一个求解复合稀疏最优化问题的全二阶方法，它具有广泛的应用。例如，涉及一般类\emph{differential graph operators}的最小化的问题可以用所提出的算法来解决。我们提出了几个计算实验，以显示我们的方法为不同的应用实例的效率。
2021-02-11 math.OC
A feasible second order bundle algorithm for nonsmooth nonconvex optimization problems with inequality constraints: II. Implementation and numerical results
本文给出了求解带有不等式约束的非光滑非凸最优化问题的可行二阶聚束法\cite{HannesPaperB}的具体实现。它通过求解一个凸二次约束二次规划来计算搜索方向。此外，某些版本的搜索方向的问题进行了讨论，这种方法的适用性是合理的数值计算使用不同的求解器的搜索方向。最后，良好的性能的二阶聚束法证明了与其他求解器的测试结果比较的例子的霍克-Schittkowski集合，自定义的例子中出现的情况下，找到排除框的二次约束满足问题，和高维分段二次的例子。
2015-06-26 math.OC
Convex optimization based on global lower second-order models
本文提出了一种求解复合凸优化的新的二阶算法，称为收缩域牛顿法。这些算法是仿射不变的，并基于全局二阶下近似的光滑部分的目标。我们的方法有一个解释作为二阶推广的条件梯度法，或作为一个变体的信赖域计划。在问题域有界的假设下，证明了$\mathcal{O}(1/k^{2})$在函数残差下的全局收敛速度，其中$k$是迭代计数器，极小化具有Lipschitz连续Hessian的凸函数.这显著地改进了这种类型的算法的先前已知的界$\mathcal{O}(1/k)$。此外，我们提出了一个随机扩展我们的方法，并提出计算结果解决经验风险最小化问题。
2020-12-21 math.OC
Second-order methods for provably escaping strict saddle points in composite nonconvex and nonsmooth optimization
本文提出两种基于前向-后向包络的二阶方法，首次证明无论初始化如何均可逃离复合非凸优化中的非光滑严格鞍点，数值实验验证了其有效性。
2025-06-27 math.OC
Second-order cone optimization of the gradostat
我们最大限度地生产沼气在一个梯度恒定在稳定状态。物理决策变量是进入每个罐的水、基质和生物质以及通过互连管道的流量。我们的主要技术重点是描述微生物生长的非凸约束。我们推导了一个松弛公式，并证明了当梯度稳定器为流出连接、其系统矩阵不可约且增长率满足一个简单条件时，该松弛公式是准确的。松弛的Monod和Contois增长率的二阶锥表示。我们将稳态模型扩展到多个时间段的情况下，用数值逼近代替导数，而不是将它们设置为零。由此产生的优化是二阶圆锥程序，可以使用标准工业软件进行大规模求解。
2021-02-03 math.OC
Stochastic Augmented Lagrangian Framework with Second-Order Convergence Guarantees for Nonconvex Expectation-Constrained Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种随机增广拉格朗日框架，用于求解非凸期望约束优化问题，通过随机二阶方法非精确求解子问题，建立了获得近似二阶稳定点的迭代与样本复杂度保证，并在两个机器学习任务上验证了性能。
2026-09-24 math.OC
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa（爱荷华大学）
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛，即，收敛到近二阶最优平稳点。然而，现有的随机非凸优化的结果是有限的，特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤（命名为NCG-S），利用随机梯度和噪声的负曲率的随机Hessian，其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上，我们开发了两种算法，并建立了它们的高概率二阶收敛性。据我们所知，所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
Second-Order Characterizations of Tilt Stability in Composite Optimization
本文研究有限维复合优化问题局部极小值点的倾斜稳定性，在最弱的度量次正则性约束规范等条件下，通过二阶广义微分建立了统一邻域与基于点的刻画，为变分稳定性和数值算法提供了严格的理论基础。
2025-07-15 cs.NA math.NA math.OC
Second-Order Optimality Conditions in Cone-Constrained Vector Optimization with Arbitrary Nondifferentiable Functions
本文对任意不可微函数引入了一个新的二阶方向导数和Hadamard型二阶次微分。本文给出了无约束最优化问题的局部最优性条件、全局极小值性条件和孤立局部极小值性条件。特别地，我们得到了广义凸函数的两类结果。我们还将我们的条件与最近发表的论文[Bednavrik，D.，牧师，K.：无约束最优化中的二阶条件。数学课程。Ser A，{ \bf 113}，283- 291（2008）]和许多发表在高水平期刊上的其他作品，并证明它们是我们的必要和充分条件的特例。证明了最优性必要条件最优性条件涉及的函数不仅限于下Dini方向导数，甚至包括最后一阶导数在内的最优性条件最优性条件也适用于不属于某个特殊类的函数.最后，我们应用无约束问题的最优性准则，得到了锥约束向量问题的最优性的充分必要最优性条件。
2014-11-17 math.OC
Second-order orthant-based methods with enriched Hessian information for sparse $\ell_1$-optimization
我们提出了一个二阶算法，基于正交方向，解决涉及稀疏增强$\ell_1$ -范数的最优化问题。我们的方法的主要思想是修改下降orthawise方向通过使用二阶信息的正规项和（在弱意义上）的$\ell_1$ -范数。通过部分Huber正则化将$\ell_1$项后面的弱二阶信息合并。我们的算法的主要特点之一是在一个更快的识别活动集。我们还证明了我们的方法的简化版本是等价的半光滑牛顿算法适用于最优性条件，在一个特定的选择的算法参数。我们提出了几个计算实验，以显示我们的方法相比，其他国家的最先进的算法的效率。
2016-07-01 math.OC
Second-Order Optimality Conditions for Nonsmooth Constrained Optimization with Applications to Bilevel Programming
School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）；Institute of Mathematics, Hebei University of Technology（河北工业大学数学研究所）
本文针对目标与约束函数均 Lipschitz 连续且二阶方向可微的非光滑优化问题，提出无凸性假设的无间隙二阶最优性条件，并应用于双层优化，在无需下层乘子唯一性条件下导出最优性条件。
2025-11-04 math.OC
Distributionally robust second-order stochastic dominance constrained optimization with Wasserstein ball
研究了一类分布鲁棒二阶随机优势约束最优化问题。我们要求优势约束对于以经验分布为中心的Wasserstein球中的所有概率分布都成立。我们采用样本近似的方法来开发一个线性规划配方，提供了一个下界。我们提出了一种新的分裂和对偶分解框架，提供了一个上界。我们建立定量收敛的上下近似给定一些约束规格条件。为了有效地解决非凸的上界问题，我们使用一个顺序凸近似算法。最后通过一个证券投资组合问题的数值算例验证了所提出的两种近似方法的收敛性和有效性。
2021-10-19 math.OC
An Accelerated Second-Order Method for Distributed Stochastic Optimization
我们考虑分布式随机最优化问题，解决了主/工人计算架构。统计参数允许利用统计相似性和近似这个问题的有限和问题，为此，我们提出了一个不精确的加速的正则化牛顿法，实现了较低的通信复杂度的限制，这种设置，并改善现有的上界。我们进一步利用这个算法，以获得收敛速度界为原来的随机最优化问题，并比较我们的界限与现有的界限在几个政权时，目标是最大限度地减少通信轮数和增加的并行化，通过增加工人的数量。
2021-03-26 math.OC
Second-order sequential optimality conditions for nonlinear semidefinite optimization problems
Graduate School of Informatics, Kyoto University（京都大学研究生院情报科学）；Graduate School of Management, Tokyo Metropolitan University（东京都立大学大学院经营学研究科）
针对非线性半定优化问题，提出二阶近似Karush-Kuhn-Tucker条件（AKKT2）及其强变体CAKKT2，证明其无假设下为局部极小必要条件，且在特定条件下蕴含弱二阶必要条件，还提出生成满足该条件聚点的惩罚算法。
2026-10-30 math.OC
First- and Second-Order Analysis for Optimization Problems with Manifold-Valued Constraints
本文将经典等式与不等式约束推广到定义域和值域均为光滑流形的流形值约束优化问题，通过带角子流形原像刻画可行集，建立了一阶与二阶最优性条件并证明其局部表示不变性。
2022-04-29 math.OC
Twice epi-differentiability of extended-real-valued functions with applications in composite optimization
本文主要研究广义实值函数的二次上图可微性，重点研究满足某种复合表示的函数。这将在抛物正则性下进行，抛物正则性是最近在[13]中用于约束系统的二阶变分分析的二阶正则性条件。在度量次正则约束规格下，证明了复合函数的二次上可微性，并得到了复合函数的二阶导数的精确公式。后者使我们能够推导出一个大类的复合最优化问题的二阶最优性条件。
2020-04-13 math.OC
Convergence of Augmented Lagrangian Methods for Composite Optimization Problems
本文针对具有非唯一拉格朗日乘子的复合优化问题，在二阶充分条件下建立了增广拉格朗日方法的局部收敛性，提出二阶次导数半稳定性，并证明了非精确ALM的Q-线性收敛性。
2023-10-20 math.OC
Second-order optimization with lazy Hessians
EPFL（洛桑联邦理工学院）
该研究提出带惰性Hessian更新的牛顿法，通过复用Hessian、每步更新梯度降低二阶优化复杂度，证明了非凸下的快速全局收敛与凸问题的超线性收敛，将总算术复杂度提升√d倍。
2023-06-15 cs.LG math.OC
Stochastic Dimension-reduced Second-order Methods for Policy Optimization
Shanghai University of Finance and Economics（上海财经大学）；Fudan University（复旦大学）；Stanford University（斯坦福大学）
在本文中，我们提出了几个新的随机二阶算法的政策优化，只需要梯度和海森向量积在每次迭代，使他们的计算效率和政策梯度法。具体地说，我们提出了一个降维二阶方法（DR-SOPO），反复解决投影二维置信域子问题。我们证明了DR-SOPO在达到近似一阶平稳条件和一定的子空间二阶平稳条件时具有$\mathcal{O}(ε^{-3.5})$复杂度。此外，我们提出了一个增强的算法（DVR-SOPO），进一步提高了复杂性的$\mathcal{O}(ε^{-3})$的基础上减少方差技术。初步的实验表明，我们提出的算法表现良好的随机和方差减少的政策梯度法相比。
2023-01-28 cs.LG math.OC
Scalable Second Order Optimization for Deep Learning
Google Research（谷歌研究院）；Google Inc（谷歌公司）；Tel Aviv University（特拉维夫大学）；Princeton University（普林斯顿大学）
机器学习中的优化，无论是理论上的还是应用上的，目前都是由一阶梯度方法，如随机梯度下降。涉及数据的二阶导数和/或二阶统计量的二阶优化方法尽管具有强大的理论特性，但由于其高昂的计算，存储器和通信成本，因此远不那么普遍。为了弥合理论和实际优化之间的差距，我们提出了一种可扩展的二阶预处理方法（具体地说，全矩阵Adagrad的变体），以及几个关键的算法和数值改进，提供了显着的收敛性和挂钟时间的改进相比，传统的一阶方法对最先进的深度模型。我们的新设计有效地利用了流行的异构硬件架构来训练深度模型，包括一个多核CPU和多个加速器单元。我们在非常大的学习任务上表现出了与最先进技术相比的卓越性能，例如使用Transformers进行机器翻译，使用BERT进行语言建模，在Criteo上进行点击率预测，以及使用ResNet-50在ImageNet上进行图像分类。
2021-03-05 cs.LG math.OC stat.ML
