Potentialities of Nonsmooth Optimization
本文证明了对任意非光滑函数都可以得到高阶最优性条件。本文对给定的真扩张实函数引入了一个新的高阶方向导数和高阶Hadamard型次微分。这个导数与经典的高阶Fréchet方向导数是一致的，因为如果最后一个导数存在，则相同阶的两个导数重合。利用这些导数和次微分得到了局部极小值和孤立局部极小值的$n$阶为$n$（$n$为正整数）的充要条件.我们不需要对结果中的函数进行任何限制。定义了一类特殊的函数类$\mathcal F_n$，导出了函数$f\in\mathcal F_n$的$n$阶孤立局部极小值的最优性条件. $n$阶导数不出现在这些特征中。我们证明了必要和充分的标准，使每一个平稳点的顺序$n$是一个整体极小。我们比较我们的结果与以前的一些。
2013-11-11 math.OC
Structure-Aware Methods for Expensive Derivative-Free Nonsmooth Composite Optimization
本文提出了针对界约束非光滑复合最小化问题的结构感知方法，专为计算昂贵函数输出的已知映射设计，包含新型流形采样算法与更复杂子问题方法，并提供了严格收敛分析与开源实现。
2023-03-20 math.OC
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文研究了混合阶动态系统衍生的两种算法，用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题，提出新的双变量算法和分裂算法，并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
TRFD: A derivative-free trust-region method based on finite differences for composite nonsmooth optimization
本研究提出基于有限差分的无导数信赖域方法TRFD，用于复合非光滑优化，推导了其求近似驻点的评估次数复杂度界，并通过数值实验验证了其相对现有求解器的效率优势。
2024-10-11 math.OC
Second-Order Strong Optimality and Second-Order Duality for Nonsmooth Constrained Multiobjective Fractional Programming Problems
本文针对实巴拿赫空间中的非光滑多目标分数规划问题，提出了二阶强最优性条件与对偶性结果，通过广义方向导数建立了蕴含强KKT条件的必要性条件及充分性条件。
2024-03-15 math.OC
Optimality conditions for nonsmooth nonconvex-nonconcave min-max problems and generative adversarial networks
研究了机器学习和博弈中一类非光滑非凸-非凹极大极小问题。首先给出了全局极大极小点和局部极大极小点存在的充分条件。其次，我们利用方向导数建立了局部极小极大点的一阶和二阶最优性条件。这些条件减少到光滑的最小最大问题与Fr{é}chet导数。我们将我们的理论结果应用于生成对抗网络（GANs），其中两个神经网络在游戏中相互竞争。最后通过实例说明了新理论在GANs训练中的应用。
2022-03-21 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Generalized Newton's Method based on Graphical Derivatives
本文提出了一种求解非光滑连续函数所描述的非线性方程组的牛顿型数值方法。我们提出并证明了一个新的广义牛顿算法的基础上的图形导数，从来没有被用来推导出一个牛顿型方法求解非光滑方程。基于变分分析和广义微分的先进技术，我们建立了算法的适定性，其局部超线性收敛，其整体收敛的Kantorovich型。我们的收敛性结果保持没有半光滑的假设，这是由例子说明。将本文的算法和主要结果与求解非光滑Lipschitz方程的牛顿法的半光滑和$B$ -可微算法进行了比较。
2010-09-02 math.OC
Estimates of First and Second Order Shape Derivatives in Nonsmooth Multidimensional Domains and Applications
在本文中，我们研究的连续性的第一和第二阶形状导数的泛函依赖于二阶椭圆型偏微分方程的非光滑区域，基本上是Lipschitz或凸，或满足一致的外部球条件。我们证明，而尖锐的连续性结果，这些形状的衍生物相对于Sobolev规范的边界轨迹的位移。相对于以前的结果，这种方法是完全不同的，是有效的，在任何维度$N\geq 2$。它是基于在这样的非光滑域的泊松型方程的尖锐的正则性结果。我们还扩大了这些估计适用的泛函和偏微分方程类。应用于凸约束下的形状最优化问题的变域或其补域的定性性质。
2015-05-21 math.AP math.OC
An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien（维也纳大学）；Faculty of Engineering, Free University of Bozen–Bolzano（博岑-博尔扎诺自由大学）；Université Catholique de Louvain (UCLouvain)（天主教鲁汶大学）
提出一种无导数矩阵共轭次梯度方法，通过离散梯度采样和最小范数元素计算，结合矩阵记忆校正与线搜索，求解局部Lipschitz函数的无约束非光滑优化问题，数值实验表明算法鲁棒性强。
2026-06-27 math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法，通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题，该方法在执行具有恒定步长的$N$迭代之后，找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
Algorithmic construction of the subdifferential from directional derivatives
函数的次微分是梯度概念对非光滑函数的推广。它经常用于变分分析，特别是在非光滑最优化的上下文中。提出了一种通过计算多个方向导数来重构函数的多面体次微分的算法。我们提供上界所需的方向导数的数量时，空间是$\R^1$和$\R^2$，以及在$\R^n$次微分是已知的拥有最多三个顶点。
2016-09-09 math.OC
A derivative-free approach to mixed integer constrained multiobjective nonsmooth optimization
在这项工作中，我们考虑多目标最优化问题与约束约束的变量和一般的非线性约束，目标和约束函数值只能通过查询一个黑盒。此外，我们考虑的情况下，一个子集的变量只能采取整数值。我们提出了一个新的基于线搜索的解决方案的方法，并表明它收敛到一组固定点的问题。对于连续变量，我们采用了一种估计帕累托前沿最近提出的文献中，并利用密集序列的搜索方向的战略。必须假设离散值的变量的子集处理使用适当修改的原始方向，以考虑到存在一个以上的目标函数。一组测试问题的数值结果与其他解决方法的比较表明，所提出的方法的可行性和效率。
2022-04-14 math.OC
Automatic differentiation of nonsmooth iterative algorithms
Toulouse School of Economics, University of Toulouse Capitole（图卢兹经济学院，图卢兹第一大学）；IRIT, CNRS, Université de Toulouse, ANITI（图卢兹信息学研究所，法国国家科学研究中心，图卢兹大学，图卢兹人工智能与自然智能研究所）
沿算法的微分，即，导数的背负式传播现在常规地用于微分编程中的微分迭代求解器。许多光滑问题的渐近性都很好理解，但不可微的情况下，几乎没有考虑。非光滑背负式自动微分（AD）是否存在限制对象？它是否有任何变化的意义，它能有效地用于机器学习吗？与经典导数有什么联系吗？所有这些问题都是在适当的非膨胀性条件下解决的保守衍生物的框架，这已被证明是有用的理解非光滑AD。对于非光滑piggyback迭代，我们将非光滑piggyback迭代的吸引子集刻画为一个保持在保守框架下的集值不动点。这有各种后果，特别是几乎处处收敛的经典衍生物。我们的结果被证明在参数凸优化问题的向前向后，道格拉斯-Rachford和交替方向的乘子算法以及重球方法。
2022-05-31 cs.LG math.OC
A geometric integration approach to nonsmooth, nonconvex optimisation
不使用梯度的非光滑非凸函数的优化是一个特别具有挑战性的问题，经常遇到，例如在模型参数优化问题中。参数的双层优化是变分正则化问题和监督机器学习等领域的标准设置。我们提出了高效和强大的衍生工具的方法，称为随机伊藤-安倍晋三方法。这些都是概括的伊藤-安倍离散梯度法，一个著名的计划，从几何积分，以前只被认为是在顺利设置。我们证明了该方法及其有利的能量耗散特性是定义在非光滑设置。证明了当目标函数局部Lipschitz连续时，迭代几乎必然收敛于Clarke平稳点的连通集.我们提出了一个实现的方法，并将其应用到各种测试问题。数值结果表明，随机伊藤-安倍晋三的方法是优于国家的最先进的无导数优化方法在解决非光滑问题，同时保持竞争力的效率。
2018-07-19 math.OC
Nonsmooth Analysis and Optimization
这些研究生课程的课堂讲稿涵盖了广义导数概念，这些概念在推导逆问题、成像和偏微分方程约束优化中不可微优化问题的必要最优性条件和数值算法时非常有用。处理凸函数和次微分，Fenchel对偶，单调算子和预解式，Moreau-Yosida正则化，近点和（一些）一阶分裂方法，Clarke次微分，和半光滑牛顿方法。从功能分析和变分法所需的背景也简要概述。
2022-03-15 math.OC
Optimal Investment Stopping Problem with Nonsmooth Utility in Finite Horizon
在本文中，我们研究了一个有趣的和重要的停止问题混合随机控制和\textit{nonsmooth}实用程序在有限的时间范围内。本文的目的是开发新的方法，这是显着不同的混合动态最优控制和停止问题，在现有的文献中，找出一个管理者的决策。我们制定我们的模型完全\textit{nonlinear}方程的自由边界问题。然而，通过对偶变换，我们可以将上述问题转化为一个新的\textit{linear}方程的自由边界问题。最后，利用相应的逆对偶变换，我们应用新的自由边界问题的理论结果，得到了在有限投资时间内原问题达到一定水平的最优策略和最优停时的性质.
2015-07-03 math.OC
Retraction based Direct Search Methods for Derivative Free Riemannian Optimization
直接搜索法代表了一类用于解决黑盒最优化问题的鲁棒且可靠的算法。在本文中，我们将探讨这些策略的应用黎曼优化，其中最小化是相对于限制躺在流形上的变量进行。更具体地说，我们认为经典的和线搜索外推的直接搜索的变体，并通过使用撤回，我们设计定制的策略，最小化平滑和非平滑的功能。因此，我们分析，第一次在文献中，一类收缩为基础的算法，最小化非光滑目标的黎曼流形没有访问（子）衍生物。随着收敛的保证，我们提供了一套标准的一组问题的数值性能插图。
2022-02-22 math.OC
Optimality conditions in terms of Bouligand generalized differentials for a nonsmooth semilinear elliptic optimal control problem with distributed and boundary control pointwise constraints
针对含分布与边界逐点约束的非光滑半线性椭圆最优控制问题，利用Bouligand广义导数提出新最优性条件，并证明其与强平稳性等价。
2025-01-27 math.OC
A Newton-Like Dynamical System for Nonsmooth and Nonconvex Optimization
本文提出一种连续牛顿法的非光滑适配动力系统，利用局部 Lipschitz 映射的图像导数扩展二阶信息，分析解的存在唯一性、轨迹渐近性，并在强度量次正则性与 KL 不等式条件下给出收敛保证和速率。
2024-12-08 math.OC
A descent algorithm for the optimal control of ReLU neural network informed PDEs based on approximate directional derivatives
提出并分析了一类学习型半线性偏微分方程最优控制问题的数值算法。后者是一类PDE，其成分原则上是未知的，并且由非光滑ReLU神经网络近似。我们首先表明，为了利用经典的数值求解器而直接平滑ReLU网络可能会有某些缺点，即可能会为相应的状态方程引入多个解。这促使我们设计一个数值算法，直接对待非光滑最优控制问题，采用下降算法的启发，无故障的方法。数值算例表明了算法的有效性。
2022-10-14 math.OC
A derivative-free $\mathcal{VU}$-algorithm for convex finite-max problems
$\mathcal{VU}$ -算法是一种超线性收敛的方法，用于极小化非光滑的凸函数。在每次迭代中，该算法使用特定的$\mathcal{V}$ -空间及其正交的$\U$ -空间，使得目标函数的非光滑性集中在其到$\mathcal{V}$ -空间上的投影上，并且在$\mathcal{U}$ -空间上的投影是光滑的。这种结构允许在函数光滑的牛顿样步骤和用于找到具有有希望的$\mathcal{VU}$ -分解的迭代的邻近点步骤之间交替。我们建立了一个衍生物的自由变种的$\mathcal{VU}$ -算法凸有限极大目标函数。我们展示了整体收敛，并提供了一个概念验证的实现，这表明了该方法的可行性和实用价值的数值结果。我们还进行了一些测试，使用非凸函数和讨论的结果。
2019-03-26 math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响，强调了分段线性函数等目标，这些目标可能不是弱凸的。我们专注于维度无关分析，稍微修改了Zhang等人（2020）的黑盒算法，该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本，实现$O(ε^{-5})$的任何差异的凸目标，和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量，相关的，有趣的是，负的一部分，定向二阶导数的目标，理解的分布意义上。
2022-10-07 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
A fresh look at nonsmooth Levenberg--Marquardt methods with applications to bilevel optimization
本文提出基于Newton可微性的非光滑Levenberg–Marquardt方法，无需数据函数局部Lipschitz性，将其应用于超定混合非线性互补系统与双层优化问题，给出收敛条件并通过实验验证惩罚参数作为额外变量的效果。
2023-11-09 math.OC
Multiple nonsmooth solutions for nonconvex variational boundary value problems in $\mathbb{R}^n$
本文给出了一个具有双势阱的非凸变分问题的完全解。基于正则对偶理论，将Dirichlet/Neumann或混合边界条件下的非线性微分方程转化为代数方程，并在对偶空间内解析求解。整体和局部极值条件确定的triality理论。在应用部分，给出了$\mathbb{R}^2$中具有特定源和边界条件的典型力学模型。
2016-07-20 math.OC
Generalized Newton Algorithms for Tilt-Stable Minimizers in Nonsmooth Optimization
本文的目的是发展两个版本的广义牛顿法计算不仅是任意的局部极小值的非光滑最优化问题，但只是那些，它具有一个重要的稳定性称为倾斜稳定性。我们开始与无约束极小化的连续可微费用函数具有Lipschitzian梯度，并建议两个二阶算法的牛顿型：一个涉及的Lipschitzian梯度映射，和其他的基础上，后者的图形衍生物。然后，我们继续传播这些算法的最小化的扩展实值的prox-正则函数，同时以这种方式覆盖的问题的约束优化，通过使用Moreau算法。采用先进的技术，二阶变分分析和倾斜稳定性的特征，使我们能够建立在这两个算法的子问题的可解性，并证明其迭代的Q-超线性收敛。
2020-12-29 math.OC
On the role of semismoothness in the implicit programming approach to selected nonsmooth optimization problems
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息论与自动化研究所）；Johann Radon Institute for Computational and Applied Mathematics (RICAM), Austrian Academy of Sciences（奥地利科学院约翰·拉登计算与应用数学研究所）；School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文研究隐式规划方法求解一类具有平衡约束的数学规划（MPEC）和双层规划问题，采用非光滑优化的束方法，利用SCD映射提供易计算的伪次梯度，确保收敛到满足平稳条件的点，并通过三个算例验证方法的有效性。
2026-05-30 math.OC
An Inexact Trust-Region Method for Structured Nonsmooth Optimization with Application to Risk-Averse Stochastic Programming
Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种近似信任区域方法，用于解决包含光滑函数、非光滑凸函数及光滑函数与有限值支撑函数的组合的优化问题，并在风险厌恶随机规划中应用。方法允许使用不精确的函数值和导数信息，可解决由偏微分方程等约束的无限维问题，证明了方法的全局收敛性。
2026-10-22 math.OC
Kurdyka-Łojasiewicz Inequality and Error Bounds of D-Gap Functions for Nonsmooth and Nonmonotone Variational Inequality Problems
本文研究了一类非光滑非单调变分不等式问题的D-间隙函数。给出了D-间隙函数的次导数、正则次微分集和极限次微分集的精确公式。利用这些公式，我们给出了D-间隙函数具有Kurdyka-Kauojasiewicz不等式性质和误差界性质的一些充分和必要条件.作为我们的Kurdyka-Kazojasiewicz不等式结果和[Attouch，et al.，半代数和驯服问题的下降法的收敛性：近似算法、向前向后分裂和正则化高斯-赛德尔方法，数学程序，137（2013）91-129]，我们证明了由具有不精确线搜索的导数自由下降算法生成的序列线性地收敛到变分不等式问题的某个解。
2022-12-06 math.OC
New Outer Approximation Algorithms for Nonsmooth Convex MINLP Problems
Hebei Key Laboratory of Machine Learning and Computational Intelligence & College of Mathematics and Information Science, Hebei University（河北大学数学与信息科学学院）；College of Mathematics and Information Science, Hebei University（河北大学数学与信息科学学院）；Department of Industrial Engineering, University of Pittsburgh（匹兹堡大学工业工程系）
本文提出了一种针对非光滑凸MINLP问题的新外近似算法，通过生成有效的线性切割和等价的MILP主问题，提高松弛精度并拓展了算法的应用范围。
2026-02-04 math.OC
Radial Epiderivative Based Fritz John and KKT Conditions in Nonsmooth Nonconvex Optimization
Chongqing Normal University（重庆师范大学）；Eskisehir Technical University（埃斯基谢希尔理工大学）；China Medical University（中国医药大学）；Academy of Romanian Scientists（罗马尼亚科学家学院）
针对目标与约束均径向上图可微的非光滑非凸不等式约束优化问题，提出基于径向上图导数的FJ与KKT最优性条件理论框架，定义径向梯度等新概念，可适用于离散域并支持全局最小值分析。
2026-11-03 math.OC
Hamiltonian Primal-Dual Policy Reinforcement Learning for Derivative-Free Model-Based Control
The Pennsylvania State University（宾夕法尼亚州立大学）
针对无法获取导数的基于模型控制难题，提出HPDPO框架，通过前向模拟与哈密尔顿对偶结构结合，在多类控制问题上复现了参考结果，验证了其有效性。
2026-10-14 math.OC
Economic inexact restoration for derivative-free expensive function minimization and applications
本文将 Inexact Restoration 扩展到非光滑或不连续的昂贵目标函数最小化，结合无导数优化与正则化子问题求解，保留收敛和复杂度保证，并用于模拟大坝失效实验。
2021-06-03 math.OC
A Gradient Sampling Algorithm for Noisy Nonsmooth Nonconvex Optimization
University of Michigan（密歇根大学）；Lehigh University（利哈伊大学）
本文提出一种算法，用于最小化可能非凸或非光滑的局部Lipschitz目标函数，针对目标函数和广义梯度值可能存在的有界不可控误差，证明算法在概率意义上要么目标函数值无界下降，要么生成一个满足站定性阈值的迭代点。
2026-10-20 math.OC
Subgradient sampling for nonsmooth nonconvex minimization
本文针对非光滑非凸风险最小化问题，提出并分析了一阶次梯度采样（随机次梯度下降）的收敛性，利用保守微积分和ODE方法改进既有结果，并证明在可定义情形下以概率1避免人工临界点，适用于深度学习风险最小化。
2024-07-23 math.OC
Mixed-integer linearity in nonlinear optimization: a trust region approach
针对非线性优化结合多面体与整数约束的计算难题，提出带信赖域保障的序列混合整数线性化方法，可从任意起点收敛到可行关键点，并在非光滑最优控制、网络设计运营中验证了应用价值。
2024-10-07 math.OC
A Method of the Quasidifferential Descent in a Problem of Bringing a Nonsmooth System from One Point to Another
针对右侧拟可微系统的程序控制构造问题，提出将相轨迹及其导数视为独立变量并引入惩罚函数的技术思路，简化拟微分结构，应用拟微分下降法求解，为非光滑最优控制提供有效方法。
2025-11-13 math.OC
Distributed stochastic inertial-accelerated methods with delayed derivatives for nonconvex problems
随机梯度法是求解随机最优化问题的主要方法。在光滑非凸问题上，一些加速技术被用来提高SGM的收敛速度。然而，很少有人探索应用某种加速技术的随机次梯度方法（SsGM）的非光滑非凸问题。此外，很少有人努力分析（加速）SsGM与延迟衍生物。信息延迟自然发生在分布式系统中，其中计算工作者彼此不协调。本文提出了一种求解非光滑非凸随机最优化问题的惯性近似SsGM。该方法可以保证收敛，即使在分布式环境中的延迟导数信息。对三类非凸问题：弱凸非光滑凸正则化问题、复合非凸非光滑凸正则化问题和光滑非凸问题建立了收敛速度结果.对于每个问题类，对于$K$迭代，收敛速度是梯度范数平方的期望值的$O(1/K^{\frac{1}{2}})$。在分布式环境中，所提出的方法的收敛速度将被信息延迟减慢。然而，对于后两个问题类，慢化效果将随着迭代次数的增加而衰减。我们测试所提出的方法在三个应用程序。数值结果清楚地表明了使用基于惯性的加速度的优点。此外，我们观察到更高的并行化速度在异步更新同步对应，虽然前者使用延迟导数。我们的信源编码发布于https://github.com/RPI-OPT/Inertial-SsGM
2021-12-23 cs.DC cs.NA math.NA
Black-box Optimization Algorithms for Regularized Least-squares Problems
针对导数不可用的非凸光滑与凸非光滑函数之和的优化问题，提出自适应处理不精确平稳度量的无导数算法，并扩展 DFO-LS 求解器，实验验证其强性能。
2024-07-20 math.OC
Efficiency of higher-order algorithms for minimizing composite functions
针对非光滑聚合的复合最小化问题，提出了高阶主化算法框架，通过高阶替代函数替换分量，为非凸/凸及非光滑问题提供了稳定点收敛保证和基于KL性质的改进收敛速率。
2025-03-03 math.OC
A Hybrid Subgradient Method for Nonsmooth Nonconvex Bilevel Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen University（深圳大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文提出一种混合子梯度法，结合双时间尺度动量加速子梯度法和可行性恢复方案，解决非凸双层优化问题，实现全局收敛性和高效计算。
2026-09-01 math.OC
Noether's Theorem for Nonsmooth Extremals of Variational Problems with Time Delay
我们得到了时滞变元变分问题Noether对称性定理的一个非光滑推广。只要时滞Euler-Lagrange极值仅限于满足DuBois-Reymond必要最优性条件的极值，则该结果在Lipschitz函数类中是有效的.考虑了含高阶导数的时滞变分问题的重要情形。
2012-12-20 math-ph math.MP math.OC
Nonsmooth Implicit Differentiation for Machine Learning and Optimization
Univ. Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心信息与自动化研究所）
针对训练日益复杂的学习结构，我们用运算微积分建立了一个非光滑隐函数定理。我们的结果适用于大多数实际问题（即，可定义的问题），只要满足经典可逆性条件的非光滑形式。这种方法允许正式的次微分：例如，在通常的微分公式中，用克拉克雅可比矩阵取代导数对于广泛的一类非光滑问题是完全合理的。此外，该演算与算法微分（例如，反向传播）。我们提供了几个应用程序，例如训练深度平衡网络，训练具有圆锥优化层的神经网络，或非光滑Lasso型模型的超参数调整。为了显示我们的假设的尖锐性，我们提出了数值实验，展示了在没有任何假设的情况下应用隐式算法微分时可能遇到的极端病态梯度动力学。
2022-04-05 cs.AI cs.LG math.OC
Nonconvex and Nonsmooth Approaches for Affine Chance-Constrained Stochastic Programs
机会约束规划是一类困难的随机规划，即使是简单的线性随机泛函也可能是不可微和非凸的。现有的求解CCP的方法主要处理概率函数中的凸随机泛函。在本文中，我们考虑两个推广的类机会约束在文献中普遍研究;一个推广涉及的概率析取非凸函数事件和其他推广涉及混合符号仿射组合的概率;一起，我们硬币术语仿射机会约束（ACC）系统这些广义机会约束。我们提出的这种ACC系统的处理涉及几个单独已知的想法的融合：（a）概率的期望公式中的指示函数的参数化上下近似;（b）外部（即，固定的）与内部的（即，顺序）基于采样的期望算子近似;（c）作为可行性松弛的约束惩罚;以及（d）通过替代的非凸性和不可微性的凸化。集成这些技术解决仿射机会约束随机规划（ACC-SP）与不同程度的实用性和计算工作是本文的主要贡献。
2022-03-01 math.OC
Second-Order Optimality Conditions for Nonsmooth Constrained Optimization with Applications to Bilevel Programming
本文针对目标与约束函数均 Lipschitz 连续且二阶方向可微的非光滑优化问题，提出无凸性假设的无间隙二阶最优性条件，并应用于双层优化，在无需下层乘子唯一性条件下导出最优性条件。
2025-11-04 math.OC
Nonsmooth High-Order Averaging Theory with Application to Extremum Seeking Optimization and Control
University of Cincinnati（辛辛那提大学）；University of Maine（缅因大学）
本文提出适用于经典平均规范形式的非光滑系统的高阶平均理论，利用广义导数和词典式微分理论给出非光滑一阶和二阶平均的闭式公式，并推广到控制仿射极值搜索系统，通过数值仿真验证有效性。
2026-05-31 math.DG math.DS math.OC
Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates
Istituto Italiano di Tecnologia（意大利技术研究院）；UCL（伦敦大学学院）；Sapienza University of Rome（罗马大学）
研究参数化不可微压缩映射不动点导数的高效计算，分析了ITD和AID方法在确定性下的线性收敛速率，并提出新随机方法NSID，在随机环境下达到了与光滑场景最优相当的收敛速率。
2024-06-04 cs.LG math.OC stat.ML
Complexity of Linearized Perturbed Augmented Lagrangian Methods for Nonsmooth Nonconvex Optimization with Nonlinear Equality Constraints
针对非线性等式约束的非光滑非凸复合优化问题，提出线性化扰动增广拉格朗日方法，在 $\mathcal{O}(ε^{-3})$ 评估内收敛到 $ε$-一阶最优解，并验证了其有效性与改进的局部收敛性。
2025-03-02 math.OC
Mixed Integer Programming to Globally Minimize the Economic Load Dispatch Problem With Valve-Point Effect
在系统约束条件下，满足特定需求的发电机组间的功率优化分配是电力系统界正在进行的研究课题。由于考虑了阀点效应，使得费用函数非光滑和非凸，即使在静态设置下，该问题也很难用传统的最优化方法解决。这一困难导致了基于种群的全局规划的扩散，以解决多极值和非光滑问题。在本文中，我们解决的经济负荷分配问题（ELDP）的阀点效应在其经典的配方中，每个发电机的费用函数表示为一个二次项和整流正弦项的总和。我们提出了两种方法，采取分段二次代理费用函数，产生的代理问题，可以处理的混合整数二次规划（MIQP）求解器。第一种方法表明，ELDP的整体解决方案，往往可以找到通过使用一个固定的和非常有限的数量的二次件的代理费用函数。第二种方法自适应地建立分段二次代理欠估计的ELDP费用函数，产生一系列的代理MIQP问题。证明了MIQP解序列的任何极限点都是ELDP的整体解。此外，数值实验表明，所提出的方法优于国家的最小值和计算时间方面的最新算法的实际情况。
2014-07-16 math.OC
Model-Free $μ$-Synthesis: A Nonsmooth Optimization Perspective
本文从非光滑优化视角，将基于次梯度的策略搜索方法扩展至无模型设置，通过无导数采样和零阶策略搜索两种方法，有效解决了一般输出反馈$μ$-综合问题并提供了收敛性理论保证。
2024-02-18 cs.LG math.OC
Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Image Recovery
结构化凸优化问题通常涉及光滑和非光滑函数的混合。通常的做法是通过梯度激活光滑函数，通过邻近算子激活非光滑函数。我们表明，虽然直观自然，这种方法不一定是最有效的数值，特别是，激活所有的功能近端可能是有利的。为了使这一观点可行的计算，我们推导出一些新的例子，邻近算子的光滑凸函数在应用中产生的。一个新的变分模型放松不一致凸可行性问题也研究在所提出的框架。几个数值图像恢复的应用程序，比较完全接近与混合近端/梯度实现几个分裂算法的行为。
2019-09-09 math.OC
On radially epidifferentiable functions and regularity conditions in nonconvex optimization
本文研究了非凸函数的径向上导数概念，它推广了（经典的）方向导数概念。给出了径向上导数的新定义和新性质，建立了径向上导数与Clarke方向导数、Rockafellar次导数和方向导数之间的关系.径向上导数的概念被用来建立新的正则性条件没有凸性条件。利用本文研究的广义导数，分析了非凸优化问题全局最优值的充要条件。建立了径向上可微非凸函数有下降方向的一个充要条件。本文给出了计算径向上导数的弱次梯度和径向上导数的弱次梯度的显式公式，从发展求解非光滑和非凸优化问题的全局最优值的方法的角度来看，这是非常重要的。文中给出的所有性质和定理都用例子加以说明和解释。
2022-09-05 math.OC
Strong Evaluation Complexity Bounds for Arbitrary-Order Optimization of Nonconvex Nonsmooth Composite Functions
本文对非凸优化问题引入了强高阶近似极小的概念。这些都适用于标准平滑和复合非平滑设置，并且还允许凸约束或廉价约束。然后，提出了一种自适应正则化算法，以找到这样的近似极小。在适当的Lipschitz连续性假设下，只要可行集是凸的，它表明，使用模型的程度$p$，该算法将找到一个强大的近似q阶最小值在最多${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(p+1)/(p-j+1)}\right)$评估的问题的功能和他们的衍生物，其中$ε_j$是$j$阶精度公差;这个界限适用于当$q=1$或问题是不与$q \leq 2$复合。对于一般的非复合问题，即使当可行集是非凸的，界限成为${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-q(p+1)/p}\right)$评价。如果问题是复合的，并且$q > 1$或可行集都不是凸的，则边界是${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(q+1)}\right)$求值。这些结果不仅提供了，据我们所知，第一个已知的最优阶超过1（无约束或廉价约束）的复合问题的界限，但也给出了第一个尖锐的界限高阶强近似$q$ -阶极小的标准（无约束和廉价约束）光滑问题，从而补充了已知的弱极小的结果。
2020-01-29 math.OC
