A note on approximate Karush-Kuhn-Tucker conditions in locally Lipschitz multiobjective optimization
在Giorgi，Jiménez和Novo最近的论文（J Optim Theory Appl 171：70- 89，2016）中，作者引入了光滑多目标最优化问题的所谓近似Karush-Kuhn-Tucker（AKKT）条件，并获得了此类问题弱有效解的一些AKKT型必要最优性条件和充分最优性条件。在本文中，我们利用Mordukhovich次微分将这些最优性条件推广到局部Lipschitz多目标最优化问题。进一步证明了在适当的附加条件下，AKKT条件也是KKT条件。
2018-04-13 math.OC
Revisiting Linearized Bregman Iterations under Lipschitz-like Convexity Condition
线性化Bregman迭代（LBreI）及其变体在信号/图像处理和压缩感知中受到了相当大的关注。最近，LBreI已经扩展到更大的一类非凸函数，以及一些理论问题留给进一步研究。特别是，梯度Lipschitz连续性假设排除了它在许多实际应用中的使用。在这项研究中，我们提出了一个通用的算法框架，统一LBreI型方法。我们的主要发现是，梯度Lipschitz连续性假设可以取代的Lipschitz凸性条件在凸和非凸的情况下。所提出的框架和理论，然后应用到线性/二次反问题。
2022-03-04 math.OC
Online Optimization Problems with Functional Constraints under Relative Lipschitz Continuity and Relative Strong Convexity Conditions
最近，引入了相对光滑、相对连续和相对强凸优化问题的重要类别。这些概念显着扩大了一类问题，最佳复杂性估计的梯度型方法在高维空间发生。基于近年来对目标函数为相对Lipschitz连续和相对强凸的在线优化（遗憾极小化）问题的研究，本文提出了在线求解带不等式约束的强凸优化问题的算法.我们提出了一个计划与生产和非生产步骤之间的切换这类问题，并证明了其收敛速度的类相对Lipschitz和强凸极小化问题。我们还提供了一个实验比较所提出的方法和AdaMirr，最近提出的相对Lipschitz凸问题。
2023-03-05 math.OC
Newton method for finding a singularity of a special class of locally Lipschitz continuous vector fields on Riemannian manifolds
本文将非光滑分析的一些结果从欧氏环境推广到黎曼环境。特别地，我们讨论了黎曼空间上局部Lipschitz连续向量场的概念和一些性质，如Clarke广义共变导数，上连续性和Rademacher定理.我们还提出了一个版本的牛顿方法来寻找一个特殊的局部Lipschitz连续向量场的奇异性。在较弱的条件下，我们证明了该方法所产生的序列在奇点邻域内的良定性和局部收敛。特别地，给出了半光滑向量场的一个局部收敛结果。在Kantorovich型假设下，证明了Newton方法产生的序列的收敛性，并证明了该序列在起始点的适当邻域内的唯一性.
2019-03-15 math.OC
Optimal Subgradient Methods for Lipschitz Convex Optimization with Error Bounds
Purdue University（普渡大学）
本文提出了一种适用于具有误差界条件的Lipschitz凸优化问题的最优次梯度方法，通过新的下界论证实现了对最优解的最小最大收敛保证。
2025-12-15 math.OC
On Error Bound Moduli for Locally Lipschitz and Regular Functions
本文研究了局部Lipschitz正则函数通过其外极限次微分集的局部误差界模。我们表明，0的距离从外部限制次微分的支撑函数的次微分集，这本质上是0的距离从结束设置的次微分集，是一个上估计的局部误差界模。在一定的正则性条件下，对于凸函数，这个上估计是紧的。我们表明，0的距离从外部限制次微分集的一个较低的$\mathcal{C}^1$功能是等于局部误差界模。
2016-08-11 math.OC
Locally upper Lipschitz of the perturbed KKT system of Ky Fan $k$-norm matrix conic optimization problems
本文研究非线性Ky Fan $k$ -范数矩阵锥最优化问题，其中核范数正则化极小化问题是其特例.对于这类非多面体矩阵锥最优化问题，在平稳解满足二阶充分条件且相应的Lagrange乘子满足严格Robinson CQ的假设下，证明了两类扰动KKT系统在原点处是局部上Lipschitz的，这意味着从相应KKT点的邻域中的任何点到整个KKT点集合的距离的局部误差界限。
2016-02-28 math.OC
Geometric characterizations of Lipschitz stability for convex optimization problems
针对凸优化问题，提出倾斜稳定性与 Lipschitz 稳定性的几何、可计算刻画，并证明 group Lasso 与核范数最小化在解映射单值时稳定性自动成立。
2025-02-15 math.OC
Locally Lipschitz vector optimization problems: second-order constraint qualifications, regularity condition and KKT necessary optimality conditions
研究了一类约束向量最优化问题，其中目标函数和积极约束函数在参考点处均为局部Lipschitz.在非光滑情形下，给出了Zangwill型、Abadie型和Mangasarian~--~Fromovitz型的二阶约束规格以及Abadie型的正则性条件.建立了这些条件之间的联系。他们被应用于开发二阶Karush-库恩-塔克必要的最优性条件的本地（弱，Geoffrion正确）有效解所考虑的问题。最后给出了实例说明所得结果。
2019-05-13 math.OC
A non-smooth trust-region method for locally Lipschitz functions with application to optimization problems constrained by variational inequalities
提出了一种求解局部Lipschitz连续函数最优化问题的非光滑置信域方法，并将其应用于第二类变分不等式约束的优化问题.在对模型函数作适当假设的情况下，证明了一般算法收敛于C-平稳点。对于变分不等式约束问题，我们能够恰当地刻画约化费用函数的Bouligand次微分，并在此基础上，提出了一个满足一般算法收敛性假设的可计算置信域模型.文章最后通过两个不同的数值实例对所提出的方法的主要性能进行了实验研究。
2018-01-16 math.OC
A distributed proximal splitting method with linesearch for locally Lipschitz gradients
针对多智能体凸-凹 min-max 优化，提出带分布式回溯线搜索的原始-对偶邻近梯度一阶算法，无需全局 Lipschitz 常数即可自适应调整步长，并将分析放宽至局部 Lipschitz 梯度。
2025-05-13 math.OC
Adaptive Algorithms for Relatively Lipschitz Continuous Convex Optimization Problems
针对相对Lipschitz连续凸优化问题，引入人工不精确度提出自适应优化方法及通用自适应方法，具备最优收敛速率，适用范围更广，并给出数值实验结果。
2024-04-17 math.OC
An efficient descent method for locally Lipschitz multiobjective optimization problems
本文对局部Lipschitz连续多目标最优化问题（MOPs）提出了一种有效的下降法.该方法是通过结合一个理论结果，关于计算的下降方向的非光滑MOPs与一个实用的方法来近似的次微分的目标函数。我们证明了收敛到满足Pareto最优性的一个必要条件的点。使用一组测试问题，我们比较我们的方法的多目标近端束方法由Mäkelä。结果表明，我们的方法是有竞争力的，同时更容易实现。当目标函数评估的数量较大时，次梯度评估的总数较低。最后，我们表明，我们的方法可以结合细分算法来计算整个Pareto集的非光滑MOPs。
2020-04-24 math.OC
Forward-backward algorithm for functions with locally Lipschitz gradient: applications to mean field games
本文推广了前向-后向分裂算法以最小化梯度满足局部 Lipschitz 条件的函数之和，证明了其收敛性及局部强凸下的线性收敛率，并将其应用于逼近局部耦合的变分平均场博弈系统均衡，在计算时间上显著优于基准算法。
2023-06-28 math.OC
Lipschitz Continuity of Convex Functions
给出了实巴拿赫空间上的真下连续凸函数局部或整体Lipschitz连续的充要条件.我们的准则依赖于存在一个有界选择的次微分映射和交叉的次微分映射和正常的锥运营商的区域的给定功能。此外，我们还指出，给定函数在开有界（不一定是凸的）集上的Lipschitz连续性可以通过给定集的边界上的次微分映射的有界选择的存在性来刻画，从而它等价于该集的边界上每一点的局部Lipschitz连续性.我们的结果被应用于将Lipschitz和凸函数推广到整个空间，并研究了它的Moreau包络函数的Lipschitz连续性。
2019-11-12 math.FA math.OC
Fast adaptive by constants of strong-convexity and Lipschitz for gradient first order methods
工作致力于建设有效的和适用于实际任务的一阶方法的凸优化，也就是说，只使用值的目标函数及其衍生物。构造使用OGM-G，快速梯度法，其在复杂性方面是最优的，但需要知道梯度的Lipschitz常数和强凸性常数以确定步骤的数量和步长。这一要求使得实际使用成为不可能。提出了一种基于OGM-G重新启动并更新强凸性常数估计的强凸性常数自适应算法ACGM，以及一种基于Lipschitz常数自适应的梯度ALGM，其中在OGM-G重新启动的基础上，通过选择Lipschitz常数，验证了通用梯度下降法中的凸性条件.这消除了与需要知道这些常数相关的原始方法的缺点，这使得实际使用成为可能。证明了所构造算法的复杂性估计的最优性。为了验证所获得的结果，模型函数和机器学习的真实任务进行了实验。
2020-09-08 math.OC
High-Order Evaluation Complexity for Convexly-Constrained Optimization with Non-Lipschitzian Group Sparsity Terms
研究了非凸目标函数中包含非Lipschitz群稀疏项的部分可分凸约束优化问题的高阶计算复杂性.我们提出了一个使用$p$阶Taylor模型的部分可分离自适应正则化算法，并证明了该算法可以在至多O（<$^{-（p+1）/（p-q+1）}）个目标函数及其一阶p阶导数（无论它们是否存在）的求值中产生一个（Δ，δ）近似q阶稳定点。我们的模型使用了欧几里得范数函数的旋转对称性来建立非Lipschitz群稀疏项的Lipschitz近似，这些稀疏项由群ell_2-ell_a范数定义，a在（0，1）中。新的结果表明，部分可分离的结构和非Lipschitz群稀疏项的目标函数可能不会影响最坏情况下的评估复杂性顺序。
2019-02-27 math.OC
Lipschitz-Free Mirror Descent Methods for Relatively Strongly Convex Functions with/without Absolute and Relative Inexactness
Innopolis University（伊诺波利斯大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；V. I. Vernadsky Crimean Federal University（V·I·维尔纳茨基克里米亚联邦大学）
本文提出了一种无需Lipschitz连续性假设的镜像下降方法，用于解决相对强凸函数的非光滑优化问题，并通过实验验证了其有效性。
2026-01-30 math.OC
Adaptive algorithms for mirror descent in convex programming problems with Lipschitz constraints
对最近提出的求解多个凸泛函约束下凸极小化问题的镜像下降自适应算法进行了新的改进。两类问题的方法被认为是。第一类问题是Lipschitz连续的目标（一般来说，非光滑）泛函。第二类是目标光滑泛函具有Lipschitz连续梯度的问题。考虑一类目标泛函为非光滑泛函且梯度为Lipschitz连续的光滑泛函的极大值的问题。请注意，函数约束一般来说是非光滑和Lipschitz连续的。所提出的修改允许节省算法的运行时间，由于考虑到非生产性步骤的所有功能约束。估计的收敛速率的方法正在审议中获得。从较低的预言估计的角度来看，所提出的方法是最佳的。数值实验的结果说明了所提出的方法的优点，一些例子。
2018-05-27 math.OC
The Necessary and Sufficient Conditions for Representing Lipschitz Bivariate Functions as a Difference of Two Convex Functions(corrected)
本文研究二元Lipschitz函数表示为两个凸函数之差的问题，给出充要条件、构造性算法及几何解释，并证明算法生成的凸函数对在满足条件时一致收敛。
2025-02-06 math.DG math.OC
"Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent
开发和分析非光滑（随机或确定性）凸优化的一阶方法的常用方法假设目标函数是一致Lipschitz连续的参数$M_f$。然而，在许多设置中，不可微凸函数$f(\cdot)$不是一致Lipschitz连续的-例如（i）经典支持向量机（SVM）问题，（ii）最小化凸二次函数的最大值的问题，甚至（iii）具有$f(x) := \max\{0, x\} + x^2$的单变量设置。在这里，我们开发了一个概念“相对连续性”，这是相对于用户指定的“参考函数”$h(\cdot)$（这应该是计算上易于处理的算法），我们表明，许多不可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对连续的。我们也同样发展了一个“相对随机连续“的随机设置的概念。我们分析了两个标准的算法-（确定性）镜像下降算法和随机镜像下降算法-在这两个新的设置解决最优化问题，我们第一次开发的计算保证的情况下，目标函数是不一致的Lipschitz连续。本文是不可微凸优化的一个姊妹篇，是Lu、Freund和Nesterov最近的一篇论文的姊妹篇，他们对可微凸优化给出了类似的结果。
2018-08-14 math.OC
Structure-Preserving Reconstruction of Convex Lipschitz Functionals on Hilbert Spaces from Finite Samples
Anastasis Kratsios（安斯塔西斯·克拉斯托斯）
研究在Hilbert空间上如何通过有限样本重建凸Lipschitz函数，提出了一种保持凸性和Lipschitz正则性的显式公式，并引入了凸神经函数（CNFs）作为可训练架构。
2026-05-08 cs.LG cs.NA cs.NE
Regularly abstract convex functions with respect to the set of Lipschitz continuous concave functions
The goal of the paper is to study the particular class of regularly ${\mathcal{H}}$ - convex functions , when ${\mathcal{H}}$ is the set ${\mathcal{L}\widehat{C}}(X,{\mathbb{R}})$ of real-valued Lipschitz continuous classically concave functions defined on a real normed space $X$ . For an extended- real-valued function $f:X \mapsto \overline{\mathbb{R}}$ to be ${\mathcal{L}\widehat{C}}$ -convex it is necessary and sufficient that $f$ be lower semicontinuous and bounded from below by a Lipschitz continuous function ; moreover, each ${\mathcal{L}\widehat{C}}$ - convex function is regularly ${\ma…
2022-08-02 math.OC
Lipschitz estimates on the JKO scheme for the Fokker-Plack equation on bounded convex domains
给定凸有界区域$Ω$上的半凸势V，考虑具有势V的Fokker-Planck方程的Jordan-Kinderlehrer-Otto格式，它定义了对于固定时间步长$τ$ > 0，密度序列$ρ$ k $\in$ P（$Ω$）.设V是$α$ -凸的，即D2 V $\ge$ $α$ I，证明了log $ρ$ + V的Lipschitz常数满足如下不等式：Lip（log（$ρ$ k+1）+ V）（1 + $α$ $τ$）$\le$ Lip（log（$ρ$ k）+ V）.如果$α$ > 0，则这提供了指数衰减，Lipschitz在有界时间间隔上有界，这与连续时间方程的结果一致，并且扩展了Lee在周期情况下的先前分析。
2020-07-16 math.AP math.OC
Lipschitz modulus of linear and convex systems with the Hausdorff metric
本文分析了R^n中线性系统和凸系统的可行集在两种参数设置下的Lipschitz性态。首先，我们处理线性（有限/半无限）系统的参数空间，该系统由相应的系数向量集识别，这些系数向量集被假设为R^（n+1）的闭子集。在这个框架下，Hausdorff距离被用来衡量扰动的大小，一个明确的公式计算的Lipschitz模的可行集映射。作为直接的前件，我们呼吁其对应的参数空间的所有线性系与一个固定的指标集，T，其中切比雪夫（伪）距离被认为是衡量的扰动。事实上，在切比雪夫框架中的线性系的稳定性（特别是Lipschitz性质）已经在文献中得到了广泛的分析。在这里，通过一个适当的indeficiency策略，我们利用以前的结果，在豪斯多夫设置得到新的。在第二阶段，直接扰动的一组系数向量的线性系的可能性，使我们能够提供新的贡献，通过线性化技术的凸系统的Lipschitz行为。
2019-07-04 math.OC
Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出自适应正则化策略，使随机弱凸优化算法在无Lipschitz连续性假设下仍保持O(1/√K)收敛率，并放宽了Lipschitz参数的约束条件。
2024-11-05 cs.LG math.OC
Accelerated method of finding for the minimum of arbitrary Lipschitz convex function
本文提出一种针对非光滑凸函数的加速优化方法，通过基于集值映射（SVM）的逼近构造二次连续可微的凸函数，并应用二阶方法实现了超线性收敛速率。
2023-08-02 math.OC
One Method for Minimization a Convex Lipschitz-Continuous Function of 2 Variables on a Fixed Square
本文对Yu. E. Nesterov方法的最小化凸Lipschitz-连续函数的两个变量在一个正方形与一个固定的边。该方法是在解决辅助问题的一维最小化沿分离段，并不意味着计算的精确值的梯度的目标功能。实验表明，所考虑的方法可以达到所需的精度解决问题的时间比其他方法（梯度下降和椭球方法）考虑，在一个已知的精确解的情况下，并使用估计的方法的收敛速度。
2020-01-13 math.OC
Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient
本文对Nesterov的书中描述的具有Lipschitz连续梯度的强凸函数的常步长梯度法进行了修正。Nesterov表明，对于所有$k$，$f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$与$α_k = \sqrtρ$，其中$L$是Lipschitz梯度常数，$ρ$是$f(x)$的倒数条件数。因此，收敛速率为$1-\sqrtρ$。在这项工作中，我们试图加快Nesterov的方法，自适应搜索$α_k > \sqrtρ$在每次迭代。该方法每次迭代最多计算两次梯度函数，并具有一些额外的1级BLAS操作。理论上，在最坏的情况下，它需要与Nesterov方法相同的迭代次数，但梯度调用加倍。然而，在实践中，所提出的方法有效地加快收敛速度的许多问题，包括平滑基追踪去噪问题。
2011-09-27 math.OC
Representations of epi-Lipschitzian sets
Banach空间$E$的闭子集$M$是\ep，即，可以局部表示为Lipschitz函数的上图，当且仅当它是某个局部Lipschitz函数$f: E\to \R$的水平集，其中Clarke广义梯度在$M$的边界上的点处不包含0，即，使得：M=\{x \mid f（x）\leq 0\}，0 \not \in \partial f（x）{if} x \in \bd M.这扩展了以前已知的有限维的特征，并回答了一个悬而未决的问题
2009-03-04 math.OC
Randomized block proximal method with locally Lipschitz continuous gradient
Universidad de Chile（智利大学）；University of Alicante（阿利坎特大学）
本文提出一种具有局部Lipschitz连续梯度的随机块邻近梯度算法，将随机块坐标下降法适用性扩展到更一般问题，结合增强线搜索提升性能，在非负矩阵分解实验中表现具竞争力。
2026-08-12 math.OC
Lipschitz sub-actions for locally maximal hyperbolic sets of a $C^1$ flow
本文针对局部极大双曲流，利用受 Fathi 弱 KAM 理论启发的新工具 Lax-Oleinik 半群，证明了正 Livšic 定理中的上边界可以是 Lipschitz 的，改进了此前仅给出 Hölder 上边界的结果。
2024-06-26 math.DS math.OC
Lipschitz continuity of solution multifunctions of extended $\ell_1$ regularization problems
本文研究Lasso和基追踪中解多值映射对正则化参数、观测向量及数据矩阵扰动的Lipschitz连续性，给出完整刻画并证明Lipschitz连续性蕴含单值性。
2025-07-19 math.OC
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Algebraic Lipschitz and Subdifferential Calculus in General Vector Spaces
本文的主要贡献是在没有任何附加拓扑约束的情况下，证明了每个定义域的相对代数内部为非空的凸函数在某种代数意义下是Lipschitz次可微的.所提出的方法使用稍微修改克拉克的次微分定义的凸对称集和Lipschitz相对于闵可夫斯基功能的功能。在此之后，克拉克的次微分广义向量空间，连续性要求，拓扑向量空间。
2016-11-08 math.OC
On Some Adaptive Mirror Descent Algorithms for Convex and Strongly Convex Optimization Problems with Functional Constraints
本文研究了具有多个凸Lipschitz（一般为非光滑）函数约束的凸目标泛函极小化问题的自适应镜像下降算法。结果表明，该方法适用于各种光滑程度的目标泛函：利普希茨条件对目标泛函本身、其梯度或Hessian都成立（并且该泛函可能不满足利普希茨条件）.利用重新开始技术，提出了强凸极小化问题的新方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。数值实验说明了所提出的方法的优点，一些例子。
2018-12-18 math.OC
A Complete Characterization of Optimal Subgradient Methods for Lipschitz Convex Minimization
Johns Hopkins University（约翰斯·霍普金斯大学）
研究给定条件下 Lipschitz 凸优化的最优固定步长一阶方法，给出其完整刻画，证明可从构造法导出，还通过证明乘数给出最优方法集的多面体表示，并表明不存在随时最优固定步长子梯度方法。
2026-07-22 math.OC
All convex bodies are in the subdifferential of some everywhere differentiable locally Lipschitz function
本研究构造了$\u211d^N$上的可微局部Lipschitz函数，其次微分极限集可对应任意凸体，改进后可覆盖所有内部非空紧连通子集，且这类病态函数含无限维向量空间并在局部Lipschitz函数空间中一致稠密。
2024-09-12 math.CA math.FA math.OC
Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity
针对目标函数中含有$q\in (0,1)$的非Lipschitz $\ell_q$ -范数正则项的部分可分凸约束非线性最优化问题，提出了一种基于高阶模型的自适应正则化算法.它表明，该算法使用$p$-阶泰勒模型的$p$奇数一般需要在最多$O(ε^{-(p+1)/p})$评估的目标函数及其衍生物（在他们被定义的点），以产生一个$ε$ -近似一阶临界点。这一结果是在泰勒模型的代价是要求可行集是“核中心”（包括约束约束和许多其他情况下的利益），或非Lipschitz模型，在通过的代价困难的计算步骤。由于该复杂性界限与已知的凸约束条件下纯Lipschitz最小化的复杂性界限相同[CartGoulToin 2016]，因此新结果表明，在目标函数中引入非Lipschitz奇点可能不会影响最差情况下的评估复杂性顺序。结果还表明，使用问题的部分可分结构（如果存在）也不会影响复杂性顺序。一个最终的（更坏的）复杂性界的情况下，泰勒模型与一个一般的凸可行集。
2017-04-23 cs.CC math.OC
Multivariable Extremum Seeking for Locally Lipschitz Objectives
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对多变量非光滑目标的极值寻优问题，通过修改扰动-解调架构，利用一般平均理论推导了其全局稳定性条件，并通过数值示例验证了方法的有效性。
2026-09-07 math.OC
Proximal random reshuffling under local Lipschitz continuity
Columbia University（哥伦比亚大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究提出PRR算法，在不假设强制性或极限点存在的情况下，最小化局部利普希茨/光滑函数与真下半连续凸函数之和，通过新跟踪引理处理无界集值映射，将局部光滑时的收敛速率从近$O(k^{-1/4})$提升至近$o(k^{-1/2})$。
2026-08-13 math.OC
Differential Sensitivity Analysis of Variational Inequalities with Locally Lipschitz Continuous Solution Operators
研究Banach空间中解算子满足广义利普希茨条件的变分不等式的微分灵敏度分析.证明了解映射的方向可微性的一个充分判据，该判据对于希尔伯特空间中的椭圆型变分不等式也是必要的（即使存在非对称双线性型、非线性算子和非凸泛函）.与经典结果相反，我们的证明方法不依赖于Attouch定理的特征的Mosco收敛，但完全是小学。此外，我们的技术允许我们也研究这些情况下，变分不等式在手不是唯一可解的，方向可微只能获得w.r.t.基础空间的弱或弱- $\star$拓扑。作为具体的例子，我们考虑了弹塑性中的一个变分不等式，在正则集上的投影，以及一个bang-bang最优控制问题。
2017-11-07 math.FA math.OC
Monotone Lipschitz-Gradient Denoiser: Explainability of Operator Regularization Approaches Free From Lipschitz Constant Control
本文证明单调Lipschitz梯度去噪器等价于弱凸函数的单值邻近算子，并基于此提出无需控制Lipschitz常数的算子正则化框架，其算法弱收敛到隐式正则化代价函数的最小值点。
2025-09-25 eess.SP math.OC
Adaptive first-order methods revisited: Convex optimization without Lipschitz requirements
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；Criteo AI Lab（Criteo人工智能实验室）
我们提出了一个新的家庭的自适应一阶方法的一类凸最小化问题，可能无法Lipschitz连续或光滑的标准意义。具体来说，受最近一系列非Lipschitz（NoLips）优化活动的激励，我们考虑相对于参考Bregman函数连续或平滑的问题-而不是全局环境范数（欧几里得或其他）。这些条件包含了各种各样的奇异目标的问题，如Fisher市场，泊松层析成像，D-设计等。在这种情况下，现有的阶数最优自适应方法（如UnixGrad或AcceleGrad）的应用是不可能的，特别是在存在随机性和不确定性的情况下。所提出的方法-我们称之为自适应镜像下降（AdaMir）-旨在通过在相对连续或平滑的问题（包括随机问题）中同时实现最小-最大最优速率来缩小这一差距。
2021-07-16 cs.LG math.OC
Convergence of the Gradient Sampling Algorithm on Directionally Lipschitz Functions
将梯度采样算法的收敛性理论推广到方向Lipschitz函数。虽然方向性Lipschitz函数不一定是局部Lipschitz函数，但它们几乎处处可微，并且很好地近似于梯度，因此是梯度采样算法应用的自然候选者。这种扩展的主要障碍是潜在的无界性或空的克拉克次微分的兴趣点。我们提出的收敛性分析提供了一种解决这些问题的途径。特别是，我们恢复通常的收敛理论时，功能是局部Lipschitz。此外，如果算法不将临界性的某个度量驱动到零，则迭代必须收敛到一个点，在该点处，克拉克次微分为空，或者最速下降的方向退化，在这个意义上，它确实位于正则次导数的域的内部。
2021-07-10 math.OC
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Hypodifferentials of nonsmooth convex functions and their applications to nonsmooth convex optimization
本文建立了Banach空间上非光滑凸函数亚微分的完整理论，包括刻画、微积分规则及Lipschitz性质，并应用于非光滑凸优化，提出了收敛速率为O(1/k^2)的加速亚微分下降方法。
2024-07-17 math.OC
Equi-Lipschitz minimizing trajectories for non coercive, discontinuous, non convex Bolza controlled-linear optimal control problems
本文讨论了满足给定初始条件$y(t)=x$的$(y,u)$对中的\[J_t(y,u):=\int_t^TΛ(s,y(s), u(s))\,ds+g(y(T))\]形式的Bolza型控制泛函的“近似"极小元的Lipschitz正则性，其中状态$y$是绝对连续的，控制$u$是可和的，动态是$y'=b(y)u$形式的受控线性的.对于$b\equiv 1$，上述问题变成了变分法的问题。拉格朗日量$Λ(s,y,u)$被假设为在从原点开始的每半条线上的变量$u$中是凸的（$u$中的径向凸性），或者在控制变量中是偏可微的，并且在时间变量上满足局部Lipschitz正则性，称为条件（S）。它可以是扩展值，在$y$或$u$中是不连续的，在$u$中是非凸的。我们假设一个非常温和的增长条件，这是履行，如果拉格朗日是强制性的，以及在一些几乎线性的情况下。主要结果表明，给定任何容许对$(y,u)$，存在一个更方便的容许对$(\overline y, \overline u)$的$J_t$，其中$\overline u$是有界的，$\overline y$是Lipschitz，与边界和秩是均匀的，相对于$t,x$在紧凑的子集$[0,T[\times\mathbb R^n$。即使在超线性的情况下，结果也是新的。因此，存在由等Lipschitz轨线对和等界控制构成的极小化序列。一个新的存在性和正则性的结果如下，而…
2021-07-06 math.FA math.OC
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
在这篇文章中，我们考虑从Hamilton设置的对数凹分布采样，而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形（驯服）欧拉计划，从目标措施的样本，并提供非渐近2-Wasserstein距离界限之间的法律的过程中，每个算法和目标措施。最后，我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Partial Lipschitz regularity of the minimum time function for sub-Riemannian control systems
在二维或三维的欧几里得空间中，研究满足Hörmander括号生成条件的实解析向量场系统的最小时间问题，其中目标是非空的闭集.我们表明，在2维，最小的时间函数是局部Lipschitz连续的，而在3维，它是Lipschitz连续的一组措施零的补充。特别地，在这两种情况下，最小时间函数是a.e.在目标的互补性上可区分。在3维中，一般来说，没有希望得到与2维中相同的正则性结果。实际上，已知最小时间函数不能局部Lipschitz连续的例子。
2022-09-19 math.AP math.OC
Lipschitz regularity for orthotropic functionals with nonstandard growth conditions
考虑一类具有正交各向异性结构和超二次非标准增长条件的模型凸泛函。我们证明了有界局部极小是局部Lipschitz的，对最高和最低增长率之间的比率没有限制。
2018-10-09 math.AP math.OC
Muon Does Not Converge on Convex Lipschitz Functions
Center for Computational Mathematics, Flatiron Institute, Simons Foundation（计算数学中心，Flatiron研究所，Simons基金会）；Princeton University, Google DeepMind（普林斯顿大学，谷歌DeepMind）；George Mason University（乔治·梅森大学）；Université Paris Cité and Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation（巴黎cité大学和索邦大学，CNRS，概率、统计和建模实验室）
本文指出 Muon 在凸 Lipschitz 函数上不收敛，尽管误差反馈可恢复其收敛性，但性能在图像分类和语言模型任务中下降，表明 Muon 的成功可能源于该模型未包含的结构。
2026-05-09 cs.LG math.OC stat.ML
Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration
MIT（麻省理工学院）；Stanford University（斯坦福大学）
我们表明，标准的extragradiation方法（即镜像prox和双外推）恢复最佳的加速率为一阶最小化光滑凸函数。为了得到这个结果，我们提供了一个细粒度的表征的收敛速度的超梯度方法解决单调变分不等式的自然条件，我们称之为相对Lipschitz。我们进一步推广这个框架，以处理本地和随机的相对Lipschitz的概念，从而恢复率框约束$\ell_\infty$回归的基础上实现的面积凸性和复杂性边界的加速（随机）坐标下降平滑凸函数最小化。
2021-07-15 cs.DS cs.LG math.OC
