Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题，提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法，并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Lipschitz-Free Mirror Descent Methods for Relatively Strongly Convex Functions with/without Absolute and Relative Inexactness
Innopolis University（伊诺波利斯大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；V. I. Vernadsky Crimean Federal University（V·I·维尔纳茨基克里米亚联邦大学）
本文提出了一种无需Lipschitz连续性假设的镜像下降方法，用于解决相对强凸函数的非光滑优化问题，并通过实验验证了其有效性。
2026-01-30 math.OC
Fast adaptive by constants of strong-convexity and Lipschitz for gradient first order methods
工作致力于建设有效的和适用于实际任务的一阶方法的凸优化，也就是说，只使用值的目标函数及其衍生物。构造使用OGM-G，快速梯度法，其在复杂性方面是最优的，但需要知道梯度的Lipschitz常数和强凸性常数以确定步骤的数量和步长。这一要求使得实际使用成为不可能。提出了一种基于OGM-G重新启动并更新强凸性常数估计的强凸性常数自适应算法ACGM，以及一种基于Lipschitz常数自适应的梯度ALGM，其中在OGM-G重新启动的基础上，通过选择Lipschitz常数，验证了通用梯度下降法中的凸性条件.这消除了与需要知道这些常数相关的原始方法的缺点，这使得实际使用成为可能。证明了所构造算法的复杂性估计的最优性。为了验证所获得的结果，模型函数和机器学习的真实任务进行了实验。
2020-09-08 math.OC
Adaptive algorithms for mirror descent in convex programming problems with Lipschitz constraints
对最近提出的求解多个凸泛函约束下凸极小化问题的镜像下降自适应算法进行了新的改进。两类问题的方法被认为是。第一类问题是Lipschitz连续的目标（一般来说，非光滑）泛函。第二类是目标光滑泛函具有Lipschitz连续梯度的问题。考虑一类目标泛函为非光滑泛函且梯度为Lipschitz连续的光滑泛函的极大值的问题。请注意，函数约束一般来说是非光滑和Lipschitz连续的。所提出的修改允许节省算法的运行时间，由于考虑到非生产性步骤的所有功能约束。估计的收敛速率的方法正在审议中获得。从较低的预言估计的角度来看，所提出的方法是最佳的。数值实验的结果说明了所提出的方法的优点，一些例子。
2018-05-27 math.OC
Mirror frameworks for relatively Lipschitz and monotone-like variational inequalities
机器学习中的非凸非凹鞍点优化问题已经引起了人们对非单调变分不等式的大量研究。在这项工作中，我们介绍了两个镜像框架，称为镜像外梯度方法和镜像外推方法，近似的解决方案相对Lipschitz和单调的VI。前者包括著名的Nemirovski的镜像逼近法和Nesterov的对偶外推法，以及最近提出的Bregman外梯度法;所有这些方法都可以重新表述为与外梯度法的原始形式非常相似的方案。后者包括算子外推法和Bregman外推法作为其特例。建议的镜像框架，使我们能够提出一个统一的和改进的收敛性分析，所有这些现有的方法相对Lipschitzness和单调的条件下，可能是目前最弱的假设。
2022-12-30 math.OC
"Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent
开发和分析非光滑（随机或确定性）凸优化的一阶方法的常用方法假设目标函数是一致Lipschitz连续的参数$M_f$。然而，在许多设置中，不可微凸函数$f(\cdot)$不是一致Lipschitz连续的-例如（i）经典支持向量机（SVM）问题，（ii）最小化凸二次函数的最大值的问题，甚至（iii）具有$f(x) := \max\{0, x\} + x^2$的单变量设置。在这里，我们开发了一个概念“相对连续性”，这是相对于用户指定的“参考函数”$h(\cdot)$（这应该是计算上易于处理的算法），我们表明，许多不可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对连续的。我们也同样发展了一个“相对随机连续“的随机设置的概念。我们分析了两个标准的算法-（确定性）镜像下降算法和随机镜像下降算法-在这两个新的设置解决最优化问题，我们第一次开发的计算保证的情况下，目标函数是不一致的Lipschitz连续。本文是不可微凸优化的一个姊妹篇，是Lu、Freund和Nesterov最近的一篇论文的姊妹篇，他们对可微凸优化给出了类似的结果。
2018-08-14 math.OC
Regularly abstract convex functions with respect to the set of Lipschitz continuous concave functions
The goal of the paper is to study the particular class of regularly ${\mathcal{H}}$ - convex functions , when ${\mathcal{H}}$ is the set ${\mathcal{L}\widehat{C}}(X,{\mathbb{R}})$ of real-valued Lipschitz continuous classically concave functions defined on a real normed space $X$ . For an extended- real-valued function $f:X \mapsto \overline{\mathbb{R}}$ to be ${\mathcal{L}\widehat{C}}$ -convex it is necessary and sufficient that $f$ be lower semicontinuous and bounded from below by a Lipschitz continuous function ; moreover, each ${\mathcal{L}\widehat{C}}$ - convex function is regularly ${\ma…
2022-08-02 math.OC
Lipschitz modulus of linear and convex systems with the Hausdorff metric
本文分析了R^n中线性系统和凸系统的可行集在两种参数设置下的Lipschitz性态。首先，我们处理线性（有限/半无限）系统的参数空间，该系统由相应的系数向量集识别，这些系数向量集被假设为R^（n+1）的闭子集。在这个框架下，Hausdorff距离被用来衡量扰动的大小，一个明确的公式计算的Lipschitz模的可行集映射。作为直接的前件，我们呼吁其对应的参数空间的所有线性系与一个固定的指标集，T，其中切比雪夫（伪）距离被认为是衡量的扰动。事实上，在切比雪夫框架中的线性系的稳定性（特别是Lipschitz性质）已经在文献中得到了广泛的分析。在这里，通过一个适当的indeficiency策略，我们利用以前的结果，在豪斯多夫设置得到新的。在第二阶段，直接扰动的一组系数向量的线性系的可能性，使我们能够提供新的贡献，通过线性化技术的凸系统的Lipschitz行为。
2019-07-04 math.OC
Accelerated method of finding for the minimum of arbitrary Lipschitz convex function
本文提出一种针对非光滑凸函数的加速优化方法，通过基于集值映射（SVM）的逼近构造二次连续可微的凸函数，并应用二阶方法实现了超线性收敛速率。
2023-08-02 math.OC
One Method for Minimization a Convex Lipschitz-Continuous Function of 2 Variables on a Fixed Square
本文对Yu. E. Nesterov方法的最小化凸Lipschitz-连续函数的两个变量在一个正方形与一个固定的边。该方法是在解决辅助问题的一维最小化沿分离段，并不意味着计算的精确值的梯度的目标功能。实验表明，所考虑的方法可以达到所需的精度解决问题的时间比其他方法（梯度下降和椭球方法）考虑，在一个已知的精确解的情况下，并使用估计的方法的收敛速度。
2020-01-13 math.OC
Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient
本文对Nesterov的书中描述的具有Lipschitz连续梯度的强凸函数的常步长梯度法进行了修正。Nesterov表明，对于所有$k$，$f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$与$α_k = \sqrtρ$，其中$L$是Lipschitz梯度常数，$ρ$是$f(x)$的倒数条件数。因此，收敛速率为$1-\sqrtρ$。在这项工作中，我们试图加快Nesterov的方法，自适应搜索$α_k > \sqrtρ$在每次迭代。该方法每次迭代最多计算两次梯度函数，并具有一些额外的1级BLAS操作。理论上，在最坏的情况下，它需要与Nesterov方法相同的迭代次数，但梯度调用加倍。然而，在实践中，所提出的方法有效地加快收敛速度的许多问题，包括平滑基追踪去噪问题。
2011-09-27 math.OC
Lipschitz-like property relative to a set and the generalized Mordukhovich criterion
本文利用集值映射的限制图的正则法锥和极限法锥，分别建立了集值映射相对于闭集具有类Lipschitz性质的必要条件和充分条件.利用余导数在切锥上的投影，得到了集值映射相对于闭凸集具有Lipschitz性质的一个完全刻划.进一步，通过引入集值映射的投影余导数，建立了关于闭凸集的Lipschitz类性质的可验证的广义Mordukhovich判据.本文研究了集值映射相对于闭凸集的图模的表示，并利用相应的投影余导数值的外范数来表示。对于扩展的实值函数，我们将应用所得结果研究它相对于闭凸集的Lipschitz连续性和相对于射线的水平集映射的Lipschitz类性质.
2020-09-22 math.OC
Lipschitz continuity of solution multifunctions of extended $\ell_1$ regularization problems
本文研究Lasso和基追踪中解多值映射对正则化参数、观测向量及数据矩阵扰动的Lipschitz连续性，给出完整刻画并证明Lipschitz连续性蕴含单值性。
2025-07-19 math.OC
Algebraic Lipschitz and Subdifferential Calculus in General Vector Spaces
本文的主要贡献是在没有任何附加拓扑约束的情况下，证明了每个定义域的相对代数内部为非空的凸函数在某种代数意义下是Lipschitz次可微的.所提出的方法使用稍微修改克拉克的次微分定义的凸对称集和Lipschitz相对于闵可夫斯基功能的功能。在此之后，克拉克的次微分广义向量空间，连续性要求，拓扑向量空间。
2016-11-08 math.OC
On Some Adaptive Mirror Descent Algorithms for Convex and Strongly Convex Optimization Problems with Functional Constraints
本文研究了具有多个凸Lipschitz（一般为非光滑）函数约束的凸目标泛函极小化问题的自适应镜像下降算法。结果表明，该方法适用于各种光滑程度的目标泛函：利普希茨条件对目标泛函本身、其梯度或Hessian都成立（并且该泛函可能不满足利普希茨条件）.利用重新开始技术，提出了强凸极小化问题的新方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。数值实验说明了所提出的方法的优点，一些例子。
2018-12-18 math.OC
A Complete Characterization of Optimal Subgradient Methods for Lipschitz Convex Minimization
Johns Hopkins University（约翰斯·霍普金斯大学）
研究给定条件下 Lipschitz 凸优化的最优固定步长一阶方法，给出其完整刻画，证明可从构造法导出，还通过证明乘数给出最优方法集的多面体表示，并表明不存在随时最优固定步长子梯度方法。
2026-07-22 math.OC
Lipschitz Continuity of Convex Functions
给出了实巴拿赫空间上的真下连续凸函数局部或整体Lipschitz连续的充要条件.我们的准则依赖于存在一个有界选择的次微分映射和交叉的次微分映射和正常的锥运营商的区域的给定功能。此外，我们还指出，给定函数在开有界（不一定是凸的）集上的Lipschitz连续性可以通过给定集的边界上的次微分映射的有界选择的存在性来刻画，从而它等价于该集的边界上每一点的局部Lipschitz连续性.我们的结果被应用于将Lipschitz和凸函数推广到整个空间，并研究了它的Moreau包络函数的Lipschitz连续性。
2019-11-12 math.FA math.OC
The Necessary and Sufficient Conditions for Representing Lipschitz Bivariate Functions as a Difference of Two Convex Functions(corrected)
本文研究二元Lipschitz函数表示为两个凸函数之差的问题，给出充要条件、构造性算法及几何解释，并证明算法生成的凸函数对在满足条件时一致收敛。
2025-02-06 math.DG math.OC
Forward-backward algorithm for functions with locally Lipschitz gradient: applications to mean field games
本文推广了前向-后向分裂算法以最小化梯度满足局部 Lipschitz 条件的函数之和，证明了其收敛性及局部强凸下的线性收敛率，并将其应用于逼近局部耦合的变分平均场博弈系统均衡，在计算时间上显著优于基准算法。
2023-06-28 math.OC
The Fermat Rule for Set Optimization Problems with Lipschitzian Set-Valued Mappings
在本文中，我们考虑集合最优化问题的解决方案的概念是由集合方法。具体地说，我们处理的下少和上少集的关系。首先，在集值目标映射具有一定的凸性和Lipschitzianity性质的假设下，我们得到了合适的标量化泛函的凸性和Lipschitzianity。然后，我们得到了这些泛函的极限次微分的上估计。这些结果与标量化泛函的性质一起，使我们能够得到一个费马规则的集合最优化问题与Lipschitz数据。
2021-07-27 math.OC
Hypodifferentials of nonsmooth convex functions and their applications to nonsmooth convex optimization
本文建立了Banach空间上非光滑凸函数亚微分的完整理论，包括刻画、微积分规则及Lipschitz性质，并应用于非光滑凸优化，提出了收敛速率为O(1/k^2)的加速亚微分下降方法。
2024-07-17 math.OC
Lipschitz estimates on the JKO scheme for the Fokker-Plack equation on bounded convex domains
给定凸有界区域$Ω$上的半凸势V，考虑具有势V的Fokker-Planck方程的Jordan-Kinderlehrer-Otto格式，它定义了对于固定时间步长$τ$ > 0，密度序列$ρ$ k $\in$ P（$Ω$）.设V是$α$ -凸的，即D2 V $\ge$ $α$ I，证明了log $ρ$ + V的Lipschitz常数满足如下不等式：Lip（log（$ρ$ k+1）+ V）（1 + $α$ $τ$）$\le$ Lip（log（$ρ$ k）+ V）.如果$α$ > 0，则这提供了指数衰减，Lipschitz在有界时间间隔上有界，这与连续时间方程的结果一致，并且扩展了Lee在周期情况下的先前分析。
2020-07-16 math.AP math.OC
Frank-Wolfe algorithm for star-convex functions
本文研究紧凸集上星凸函数的 Frank-Wolfe 优化，证明在多种步长规则下目标值与对偶间隙均具有 O(1/k) 迭代复杂度。
2025-07-23 math.OC
Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出自适应正则化策略，使随机弱凸优化算法在无Lipschitz连续性假设下仍保持O(1/√K)收敛率，并放宽了Lipschitz参数的约束条件。
2024-11-05 cs.LG math.OC
Lispchitz modulus of the argmin mapping in convex quadratic optimization
The Kyoto College of Graduate Studies for Informatics（京都情报大学院大学）
针对参考点与投影目标多面体均受扰动的场景，本文研究凸二次优化中argmin映射的Lipschitz模计算问题，给出仅依赖标称数据的基于点的公式，将线性规划相关结果拓展至二次优化场景，并给出多面凸集度量投影Lipschitz模的对应公式。
2025-11-14 math.OC
Some Methods for Relatively Strongly Monotone Variational Inequalities
本文致力于发展求解具有较强单调算子的变分不等式的数值方法。考虑了两类与几年前出现的算子的利普希茨条件类似的变分不等式。其中一类与算子的相对有界性有关，另一类与类似的利普希茨条件（即相对光滑性）有关。对于具有相对有界和相对强单调算子的变分不等式，我们引入了一种改进的镜像下降法，它优化了收敛速度.我们还提出了自适应ProximalPirror算法及其重新启动的版本与线性收敛速率的问题相对光滑和相对较强的单调算子。
2022-05-24 math.OC
Stochastic Lipschitz Dynamic Programming
提出了一种求解具有完全连续资源的多阶段随机混合整数线性规划（MILP）问题的新算法。以类似于割平面法的方式，我们构造非线性Lipschitz割来构建非凸成本函数的下近似。这类截集的一个例子是使用MILP的增广拉格朗日对偶导出的截集。我们使用的Lipschitz割族是MILP可表示的，因此这些割的引入不会改变原始随机最优化问题的类。我们说明了两个简单的案例研究，比较我们的方法与凸松弛的问题，我们可以应用SDDP，并为离散近似，应用SDDiP的应用该算法的应用。
2019-05-23 math.OC
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Goldstein Stationarity in Lipschitz Constrained Optimization
该研究将无约束Lipschitz优化中达到Goldstein平稳点的次梯度法收敛结果推广至带Lipschitz不等式约束的场景，提出次梯度类方法，在对应约束规范成立与否的情况下分别给出达到两类Goldstein型平稳点的O(1/δε³)收敛保证，无需光滑或凸性假设。
2024-08-14 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
"Convex Until Proven Guilty": Dimension-Free Acceleration of Gradient Descent on Non-Convex Functions
我们开发并分析了Nesterov的加速梯度下降（AGD）的一个变种，用于光滑非凸函数的最小化。我们证明了两种情况之一发生：要么我们的AGD变体收敛迅速，如果函数是凸的，或者我们产生一个证书，该函数是“有罪”的非凸。这个非凸性证明使我们能够利用负曲率，并获得确定性，无量纲加速收敛的非凸函数。对于具有Lipschitz连续梯度和Hessian的函数$f$，我们在$O(ε^{-7/4} \log(1/ ε) )$梯度和函数求值中使用$\|\nabla f(x)\| \le ε$计算点$x$。另外假设三阶导数是Lipschitz，我们只需要计算$O(ε^{-5/3} \log(1/ ε) )$。
2017-05-08 math.OC
One Mirror Descent Algorithm for Convex Constrained Optimization Problems with non-standard growth properties
本文给出了求解函数约束凸极小化问题的一种特殊镜像下降算法。目标函数可能不满足利普希茨条件，但它必须具有利普希茨连续梯度。我们假设，功能约束可以是非光滑的，但满足利普希茨条件。特别是，这样的泛函出现在著名的桁架拓扑设计问题。此外，我们已经应用了技术的重新启动，在上述版本的镜像下降强凸问题。一些估计的收敛速率被认为是镜像下降算法。
2018-04-15 math.OC
Lipschitz stability of least-squares problems regularized by functions with $\mathcal{C}^2$-cone reducible conjugates
本文通过利用对偶问题的Robinson强正则性，仅用一阶信息刻画了由具有$\mathcal{C}^2$-锥可约共轭的正则化子正则化的最小二乘问题解映射的Lipschitz稳定性，并推广到凸加性复合问题的完全与倾斜稳定性。
2024-09-19 math.OC
Lipschitz Continuity of the Value Function in Mixed-Integer Optimal Control Problems
本文研究了巴拿赫空间上控制问题的最优值函数，它涉及连续和离散控制决策。对于具有混合控制不等式约束的半线性动力学问题，在相当自然的假设下，可以证明最优值局部Lipschitz连续依赖于初始数据的扰动和成本。我们证明了一个类似的结果扰动的初始数据，约束和成本的问题，涉及线性动力学，凸成本和凸约束下斯莱特型约束规格。我们通过一个例子表明，这些结果在某种意义上是尖锐的。
2017-01-10 math.OC
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值，只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中，利用本文所引入的非光滑条件（Lipschitz连续次梯度），得到了构造类似插值的可能性.作为应用，本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
Exploiting higher-order derivatives in convex optimization methods
本文综述凸优化中高阶张量方法的正则化Taylor子问题、复杂度上下界及可实现性，并指出三阶Lipschitz条件促成$1/k^5$二阶方法。
2024-03-12 math.OC
Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
Monotone Lipschitz-Gradient Denoiser: Explainability of Operator Regularization Approaches Free From Lipschitz Constant Control
本文证明单调Lipschitz梯度去噪器等价于弱凸函数的单值邻近算子，并基于此提出无需控制Lipschitz常数的算子正则化框架，其算法弱收敛到隐式正则化代价函数的最小值点。
2025-09-25 eess.SP math.OC
Adaptive first-order methods revisited: Convex optimization without Lipschitz requirements
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；Criteo AI Lab（Criteo人工智能实验室）
我们提出了一个新的家庭的自适应一阶方法的一类凸最小化问题，可能无法Lipschitz连续或光滑的标准意义。具体来说，受最近一系列非Lipschitz（NoLips）优化活动的激励，我们考虑相对于参考Bregman函数连续或平滑的问题-而不是全局环境范数（欧几里得或其他）。这些条件包含了各种各样的奇异目标的问题，如Fisher市场，泊松层析成像，D-设计等。在这种情况下，现有的阶数最优自适应方法（如UnixGrad或AcceleGrad）的应用是不可能的，特别是在存在随机性和不确定性的情况下。所提出的方法-我们称之为自适应镜像下降（AdaMir）-旨在通过在相对连续或平滑的问题（包括随机问题）中同时实现最小-最大最优速率来缩小这一差距。
2021-07-16 cs.LG math.OC
Lower Bound for Randomized First Order Convex Optimization
我们提供了一个明确的建设和直接证明的下界的随机算法，以尽量减少凸Lipschitz函数所需的一阶Oracle访问的数量。
2017-11-03 math.OC
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Structure-Preserving Reconstruction of Convex Lipschitz Functionals on Hilbert Spaces from Finite Samples
Anastasis Kratsios（安斯塔西斯·克拉斯托斯）
研究在Hilbert空间上如何通过有限样本重建凸Lipschitz函数，提出了一种保持凸性和Lipschitz正则性的显式公式，并引入了凸神经函数（CNFs）作为可训练架构。
2026-05-08 cs.LG cs.NA cs.NE
A mirror inertial forward-reflected-backward splitting: Global convergence and linesearch extension beyond convexity and Lipschitz smoothness
针对相对光滑性下的结构化非凸最小化问题，本文提出带对偶空间惯性步、允许负惯性值的Bregman惯性前向-反射-后向分裂算法，通过新乘积空间包络函数结合广义凹KL性质证明全局收敛性与速率，并给出线搜索扩展。
2022-12-03 math.OC
Convergence rate of the (1+1)-evolution strategy on locally strongly convex functions with lipschitz continuous gradient
本文分析 (1+1)-ES 在局部 L-强凸且梯度 U-Lipschitz 连续函数上的线性收敛速率，给出上下界，并证明无需目标函数先验性质。
2025-09-01 cs.NE math.OC
Equi-Lipschitz minimizing trajectories for non coercive, discontinuous, non convex Bolza controlled-linear optimal control problems
本文讨论了满足给定初始条件$y(t)=x$的$(y,u)$对中的\[J_t(y,u):=\int_t^TΛ(s,y(s), u(s))\,ds+g(y(T))\]形式的Bolza型控制泛函的“近似"极小元的Lipschitz正则性，其中状态$y$是绝对连续的，控制$u$是可和的，动态是$y'=b(y)u$形式的受控线性的.对于$b\equiv 1$，上述问题变成了变分法的问题。拉格朗日量$Λ(s,y,u)$被假设为在从原点开始的每半条线上的变量$u$中是凸的（$u$中的径向凸性），或者在控制变量中是偏可微的，并且在时间变量上满足局部Lipschitz正则性，称为条件（S）。它可以是扩展值，在$y$或$u$中是不连续的，在$u$中是非凸的。我们假设一个非常温和的增长条件，这是履行，如果拉格朗日是强制性的，以及在一些几乎线性的情况下。主要结果表明，给定任何容许对$(y,u)$，存在一个更方便的容许对$(\overline y, \overline u)$的$J_t$，其中$\overline u$是有界的，$\overline y$是Lipschitz，与边界和秩是均匀的，相对于$t,x$在紧凑的子集$[0,T[\times\mathbb R^n$。即使在超线性的情况下，结果也是新的。因此，存在由等Lipschitz轨线对和等界控制构成的极小化序列。一个新的存在性和正则性的结果如下，而…
2021-07-06 math.FA math.OC
On Lipschitzian properties of multifunctions defined implicitly by "split" feasibility problems
Università di Milano-Bicocca（米兰比可卡大学）
本文研究了由
2026-08-26 math.OC
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI（莫斯科信息检索与分析研究所）；Appied AI Institute（应用人工智能研究所）
本文提出一种去中心化POEM算法，通过双点平滑和自适应半径与步长规则，实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
Explicit bounds for Lipschitz constant of solution to basic problem in calculus of variations
本文给出了一类变分问题解的Lipschitz常数的显式估计。我们使用的方法是由于Gamkrelidze和基于等价的变分法的问题和时间最优控制问题。所得到的估计是用来计算复杂性边界的路径跟踪方法适用于凸问题的变分多面体端点约束。
2017-12-13 math.OC
Constrained, Global Optimization of Functions with Lipschitz Continuous Gradients
我们提出了两个一阶序列优化算法来解决约束最优化问题。我们考虑一个黑盒设置与先验未知的，非凸的目标和约束函数，具有Lipschitz连续梯度。所提出的算法平衡的先验未知的可行空间的探索与追求的全局最优性在一个预先指定的有限数量的一阶预言调用。第一个算法适应一个不可行的开始，并提供一个接近最优的全局解决方案或建立不可行性。然而，该算法可能会产生不可行的迭代过程中的搜索。对于一个强凸约束函数和一个可行的初始解猜测，第二个算法返回一个接近最优的全局解，没有任何约束违反。与现有的方法相比，这两种算法在每次迭代中都计算全局次优界。我们还表明，该算法可以满足用户指定的公差在计算的解决方案与接近最佳的复杂性，在甲骨文要求的一大类最优化问题。我们提出了易于处理的算法实现，利用Lipschitz连续梯度属性提供的结构。
2020-11-17 math.OC
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
在这篇文章中，我们考虑从Hamilton设置的对数凹分布采样，而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形（驯服）欧拉计划，从目标措施的样本，并提供非渐近2-Wasserstein距离界限之间的法律的过程中，每个算法和目标措施。最后，我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Muon Does Not Converge on Convex Lipschitz Functions
Center for Computational Mathematics, Flatiron Institute, Simons Foundation（计算数学中心，Flatiron研究所，Simons基金会）；Princeton University, Google DeepMind（普林斯顿大学，谷歌DeepMind）；George Mason University（乔治·梅森大学）；Université Paris Cité and Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation（巴黎cité大学和索邦大学，CNRS，概率、统计和建模实验室）
本文指出 Muon 在凸 Lipschitz 函数上不收敛，尽管误差反馈可恢复其收敛性，但性能在图像分类和语言模型任务中下降，表明 Muon 的成功可能源于该模型未包含的结构。
2026-05-09 cs.LG math.OC stat.ML
Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration
MIT（麻省理工学院）；Stanford University（斯坦福大学）
我们表明，标准的extragradiation方法（即镜像prox和双外推）恢复最佳的加速率为一阶最小化光滑凸函数。为了得到这个结果，我们提供了一个细粒度的表征的收敛速度的超梯度方法解决单调变分不等式的自然条件，我们称之为相对Lipschitz。我们进一步推广这个框架，以处理本地和随机的相对Lipschitz的概念，从而恢复率框约束$\ell_\infty$回归的基础上实现的面积凸性和复杂性边界的加速（随机）坐标下降平滑凸函数最小化。
2021-07-15 cs.DS cs.LG math.OC
All convex bodies are in the subdifferential of some everywhere differentiable locally Lipschitz function
本研究构造了$\u211d^N$上的可微局部Lipschitz函数，其次微分极限集可对应任意凸体，改进后可覆盖所有内部非空紧连通子集，且这类病态函数含无限维向量空间并在局部Lipschitz函数空间中一致稠密。
2024-09-12 math.CA math.FA math.OC
