Convergence of the Gradient Sampling Algorithm on Directionally Lipschitz Functions
将梯度采样算法的收敛性理论推广到方向Lipschitz函数。虽然方向性Lipschitz函数不一定是局部Lipschitz函数，但它们几乎处处可微，并且很好地近似于梯度，因此是梯度采样算法应用的自然候选者。这种扩展的主要障碍是潜在的无界性或空的克拉克次微分的兴趣点。我们提出的收敛性分析提供了一种解决这些问题的途径。特别是，我们恢复通常的收敛理论时，功能是局部Lipschitz。此外，如果算法不将临界性的某个度量驱动到零，则迭代必须收敛到一个点，在该点处，克拉克次微分为空，或者最速下降的方向退化，在这个意义上，它确实位于正则次导数的域的内部。
2021-07-10 math.OC
First Order Methods beyond Convexity and Lipschitz Gradient Continuity with Applications to Quadratic Inverse Problems
我们专注于非凸和非光滑最小化问题的复合目标，其中的可微部分的目标是从通常的和限制性的全局Lipschitz梯度连续性假设。这种长期存在的光滑性限制是普遍的一阶方法（FOM），最近规避凸复合优化的Bauschke，Bolte和Teboulle，通过一个简单而优雅的框架，捕捉，所有一次，几何的功能和可行集。在这项工作的基础上，我们解决真正的非凸问题。我们首先补充和扩展他们的方法，通过引入光滑适应函数的概念，得到一个完整的扩展下降引理。然后，我们考虑了一种基于Bregman的逼近梯度法，该方法适用于具有光滑适应函数的非凸复合模型，并证明了该方法在对问题数据的自然假设下全局收敛于一个临界点.为了说明我们的一般框架和结果的权力和潜力，我们考虑了广泛的一类二次反问题的稀疏性约束，出现在许多基本的应用，我们应用我们的方法来获得新的全局收敛计划，这一类。
2017-06-20 cs.NA math.NA math.OC
Convergence of the momentum method for semialgebraic functions with locally Lipschitz gradients
本文提出新的长度公式，证明动量法在极小化具有局部Lipschitz梯度的半代数函数时的局部与全局收敛性，无需全局Lipschitz等条件，并首次给出从任意初始点应用于主成分分析等问题的收敛保证。
2024-01-07 math.OC
On the hardness of deterministic second-order optimization of functions with Lipschitz gradients
The Chinese University of Hong Kong（香港中文大学）
研究具有Lipschitz梯度函数的确定性二阶优化难度，证明不存在能在有限二阶预言机调用内计算Goldstein近似二阶驻点的确定性算法，揭示确定性二阶弱凸优化难处理。
2026-07-28 math.OC
Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient
本文对Nesterov的书中描述的具有Lipschitz连续梯度的强凸函数的常步长梯度法进行了修正。Nesterov表明，对于所有$k$，$f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$与$α_k = \sqrtρ$，其中$L$是Lipschitz梯度常数，$ρ$是$f(x)$的倒数条件数。因此，收敛速率为$1-\sqrtρ$。在这项工作中，我们试图加快Nesterov的方法，自适应搜索$α_k > \sqrtρ$在每次迭代。该方法每次迭代最多计算两次梯度函数，并具有一些额外的1级BLAS操作。理论上，在最坏的情况下，它需要与Nesterov方法相同的迭代次数，但梯度调用加倍。然而，在实践中，所提出的方法有效地加快收敛速度的许多问题，包括平滑基追踪去噪问题。
2011-09-27 math.OC
Gradient Descent in the Absence of Global Lipschitz Continuity of the Gradients
针对梯度仅局部Lipschitz连续的非凸函数，提出递减步长梯度下降的全局收敛性分析，推广已知结果并揭示发散机制中的行为。
2023-06-24 math.OC
A distributed proximal splitting method with linesearch for locally Lipschitz gradients
针对多智能体凸-凹 min-max 优化，提出带分布式回溯线搜索的原始-对偶邻近梯度一阶算法，无需全局 Lipschitz 常数即可自适应调整步长，并将分析放宽至局部 Lipschitz 梯度。
2025-05-13 math.OC
Proximal Gradient Algorithms under Local Lipschitz Gradient Continuity: A Convergence and Robustness Analysis of PANOC
复合优化为各种应用提供了一个强大的建模工具，并且通常通过近端梯度法来数值求解。本文考虑了目标函数的光滑部分仅在局部Lipschitz梯度连续条件下的完全非凸复合问题。我们研究了PANOC类型方法的自适应方案（Stella等人，在IEEE第56届CDC会议论文集，1939- 1944，2017），即只需要简单的近似梯度预言的加速线性搜索算法。虽然包括经典的近端梯度法，我们的理论结果涵盖了更广泛的一类算法，并提供收敛保证加速方法可能不精确计算的近端映射。这些发现也有显着的实际影响，因为它们扩大了现有的范围和性能，并可能在未来，通用优化软件调用PANOC作为内部求解器。
2022-04-18 math.OC
A gradient sampling method with complexity guarantees for Lipschitz functions in high and low dimensions
Zhang等人介绍了Goldstein经典次梯度法的一种新的改进，并保证了$O(\varepsilon^{-4})$的效率，以最小化Lipschitz函数。然而，他们的工作使用了非标准的次梯度预言模型，并要求函数是方向可微的。在本文中，我们表明，这两个假设可以通过简单地添加一个小的随机扰动，在他们的算法的每一步下降。由此产生的方法适用于任何Lipschitz函数，其值和梯度可以在可微点进行评估。我们还提出了一个新的切割平面算法，实现更好的效率在低维：$O(d\varepsilon^{-3})$的Lipschitz函数和$O(d\varepsilon^{-2})$的那些是弱凸的。
2022-02-15 math.OC
Preconditioned accelerated gradient descent methods for locally Lipschitz smooth objectives with applications to the solution of nonlinear PDEs
我们开发的Nesterov的加速梯度下降法（AGD）的应用程序的广泛的一类偏微分方程（PDE）的近似解的理论基础。这是通过证明存在的不变集和指数收敛速度时，其预处理版本（PAGD）适用于最小化局部Lipschitz光滑，强凸目标泛函。我们引入了一个二阶常微分方程（ODE）与预条件内置，并表明PAGD是一个显式的时间离散化的常微分方程，这需要一个自然的时间步长限制的能量稳定性。在连续时间水平上，我们使用一个简单的能量参数显示指数收敛的常微分方程的解决方案，其稳定状态。在离散层次上，假设上述步长限制，不变集的存在性被证明和匹配的指数收敛速率的PAGD计划推导出通过模仿的能量参数和连续水平上的收敛。应用的PAGD方法的数值偏微分方程的某些非线性椭圆偏微分方程使用准谱方法的空间离散，并进行了几个数值实验。结果证实了全局几何和网格步长独立收敛的PAGD方法，与预条件梯度下降（PGD）方法相比，提高了加速率。
2021-02-01 cs.NA math.NA math.OC
Monotone Lipschitz-Gradient Denoiser: Explainability of Operator Regularization Approaches Free From Lipschitz Constant Control
Keio University（庆应义塾大学）；Institute of Science Tokyo（东京科学大学）
本文证明单调Lipschitz梯度去噪器等价于弱凸函数的单值邻近算子，并基于此提出无需控制Lipschitz常数的算子正则化框架，其算法弱收敛到隐式正则化代价函数的最小值点。
2025-09-25 eess.SP math.OC
Fast adaptive by constants of strong-convexity and Lipschitz for gradient first order methods
工作致力于建设有效的和适用于实际任务的一阶方法的凸优化，也就是说，只使用值的目标函数及其衍生物。构造使用OGM-G，快速梯度法，其在复杂性方面是最优的，但需要知道梯度的Lipschitz常数和强凸性常数以确定步骤的数量和步长。这一要求使得实际使用成为不可能。提出了一种基于OGM-G重新启动并更新强凸性常数估计的强凸性常数自适应算法ACGM，以及一种基于Lipschitz常数自适应的梯度ALGM，其中在OGM-G重新启动的基础上，通过选择Lipschitz常数，验证了通用梯度下降法中的凸性条件.这消除了与需要知道这些常数相关的原始方法的缺点，这使得实际使用成为可能。证明了所构造算法的复杂性估计的最优性。为了验证所获得的结果，模型函数和机器学习的真实任务进行了实验。
2020-09-08 math.OC
A nonmonotone extrapolated proximal gradient-subgradient algorithm beyond global Lipschitz gradient continuity
Sun Yat-sen University（中山大学）；University of Tsukuba（筑波大学）
本文提出一种无需问题参数的新型算法，通过精心设计的非单调线搜索和外推步骤，解决非全局Lipschitz梯度连续性问题，并在Kurdyka-Ł ojasiewicz性质下建立收敛分析。
2026-05-08 math.OC
First-Order Algorithms Without Lipschitz Gradient: A Sequential Local Optimization Approach
本文提出序贯局部优化框架，在局部Lipschitz梯度假设下，通过限制迭代间距使一阶算法无需全局Lipschitz条件，并给出复杂度保证，补充了BPG算法。
2024-02-06 math.OC
Convergence Analysis of the Proximal Gradient Method in the Presence of the Kurdyka-Łojasiewicz Property without Global Lipschitz Assumptions
针对复合优化问题中近端梯度法收敛分析依赖强全局Lipschitz假设的局限，本文证明仅需局部Lipschitz假设结合Kurdyka-Łojasiewicz性质，即可得到全局收敛与收敛速率结果，放宽了算法收敛的前提条件。
2023-04-28 math.OC
Randomized block proximal method with locally Lipschitz continuous gradient
Universidad de Chile（智利大学）；University of Alicante（阿利坎特大学）
本文提出一种具有局部Lipschitz连续梯度的随机块邻近梯度算法，将随机块坐标下降法适用性扩展到更一般问题，结合增强线搜索提升性能，在非负矩阵分解实验中表现具竞争力。
2026-08-12 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
Forward-backward algorithm for functions with locally Lipschitz gradient: applications to mean field games
本文推广了前向-后向分裂算法以最小化梯度满足局部 Lipschitz 条件的函数之和，证明了其收敛性及局部强凸下的线性收敛率，并将其应用于逼近局部耦合的变分平均场博弈系统均衡，在计算时间上显著优于基准算法。
2023-06-28 math.OC
Convergence Analysis of the Restarted Moving-Anchored Extra-Gradient Method in the Absence of Local Lipschitz Continuity
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
研究求解单调包含问题的MAEG方法，在有Lipschitz连续性时具有\(\mathcal{O}(1/k)\)非渐近迭代复杂度及\(o(1/k)\)渐近速率，通过利用锚点行为提出重启策略，能在缺乏局部Lipschitz连续性时确保收敛并保持复杂度保证。
2026-07-09 math.OC
A telescoping Bregmanian proximal gradient method without the global Lipschitz continuity assumption
The Technion - Israel Institute of Technology（技术Ion-以色列理工学院）
本文提出了一种无需全局Lipschitz连续性假设的近端梯度方法变体，通过在约束集上进行 telescoping 分解，并利用Bregman散度来改进收敛性分析。
2019-03-19 cs.LG cs.NA math.FA
Constrained, Global Optimization of Functions with Lipschitz Continuous Gradients
我们提出了两个一阶序列优化算法来解决约束最优化问题。我们考虑一个黑盒设置与先验未知的，非凸的目标和约束函数，具有Lipschitz连续梯度。所提出的算法平衡的先验未知的可行空间的探索与追求的全局最优性在一个预先指定的有限数量的一阶预言调用。第一个算法适应一个不可行的开始，并提供一个接近最优的全局解决方案或建立不可行性。然而，该算法可能会产生不可行的迭代过程中的搜索。对于一个强凸约束函数和一个可行的初始解猜测，第二个算法返回一个接近最优的全局解，没有任何约束违反。与现有的方法相比，这两种算法在每次迭代中都计算全局次优界。我们还表明，该算法可以满足用户指定的公差在计算的解决方案与接近最佳的复杂性，在甲骨文要求的一大类最优化问题。我们提出了易于处理的算法实现，利用Lipschitz连续梯度属性提供的结构。
2020-11-17 math.OC
Convergence of Nonmonotone Proximal Gradient Methods under the Kurdyka-Lojasiewicz Property without a Global Lipschitz Assumption
本文首次证明在Kurdyka-Łojasiewicz性质下，无需全局Lipschitz假设和迭代有界性先验知识，非单调近端梯度方法具有与单调方法相同的全局收敛性与收敛速率。
2024-11-19 math.OC
Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness
KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度算法在应用于不具有Lipschitz连续和/或有界梯度的函数时通常是不稳定的。梯度裁剪是一种简单而有效的技术，可以稳定训练过程，解决容易出现梯度爆炸问题的问题。尽管它的广泛流行，梯度裁剪启发式算法的收敛特性知之甚少，特别是对于随机问题。建立了次梯度快速增长的非光滑凸函数的剪裁随机（次）梯度法（SCD）的定性和定量收敛结果。我们的分析表明，裁剪增强了SGD的稳定性，裁剪SGD算法在许多情况下具有有限的收敛速度。在标准假设下，我们还研究了带动量的剪切方法的收敛性，其中包括剪切SGD作为特殊情况。与一个新的李雅普诺夫分析，我们表明，所提出的方法达到了最好的已知率所考虑的一类问题，证明了有效性的裁剪方法也在这一制度。数值结果证实了我们的理论发展。
2021-06-10 cs.LG math.OC
Frank-Wolfe Works for Non-Lipschitz Continuous Gradient Objectives: Scalable Poisson Phase Retrieval
研究了泊松噪声模型中的相位恢复问题。受PhaseLift方法的启发，我们通过求解具有核范数约束的凸规划来近似最大似然估计。而Frank-Wolfe算法，连同Lanczos方法，可以有效地处理核范数约束，我们的目标函数不具有Lipschitz连续梯度，因此现有的收敛保证Frank-Wolfe算法不适用。在本文中，我们证明了Frank-Wolfe算法适用于泊松相位恢复问题，并且具有O（1/t）的整体收敛速度，其中t是迭代计数器。我们提供了严格的理论保证和说明数值结果。
2016-02-01 math.OC stat.AP
Adaptive Lipschitz-Free Proximal Gradient Methods for Stochastic Composite Nonconvex Optimization
Shenzhen University of Advanced Technology（深圳先进技术大学）
针对复合非凸有限和最小化问题，提出融合自适应步长、Nesterov外推与SPIDER方差缩减的AEPG-SPIDER及全批量版本AEPG，是首个达最优迭代复杂度的无Lipschitz方法，且在KL假设下获非遍历收敛率，实验验证其性能优势。
2026-09-29 cs.CV cs.NA math.NA
General Derivative-Free Optimization Methods under Global and Local Lipschitz Continuity of Gradients
本文针对梯度不可用的光滑优化问题，提出两种基于自适应有限差分梯度近似的无导数方法，在全局或局部Lipschitz连续梯度条件下建立了全局与局部收敛性及收敛速率，并通过数值实验验证了其优于现有方法的性能。
2023-11-28 math.OC
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析，例如，[Kleinberg et al. 2008，Bubeck et al. 2011，Slivkins 2014]，他们提出的算法存在严重的实际问题，包括极端的时间复杂度和对oracle实现的依赖。有了这个动机，我们提出了一种新的算法与上置信界（UCB）的探索，即树UCB-Hoeffding，使用自适应分区。我们的分区方案很容易实现，不需要任何Oracle设置。使用基于树的搜索策略，对于第一次$T$迭代，总计算成本可以改进为$\mathcal{O}(T\log T)$。此外，我们的算法实现的遗憾下界的对数因子。
2019-05-15 cs.AI cs.LG math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras（马德拉斯印度理工学院）
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体，目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分，直到最近。在这项工作中，我们着眼于收敛性分析的一个属性，我们术语为concavifiability，而不是Lipschitz连续梯度。我们表明，凹性是一个充要条件，以满足上二次近似，这是关键证明，目标函数减少后，每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用，我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界，以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理）
本文提出双重核条件（DKC）正则性条件，结合相对光滑性，为梯度提供双重Lipschitz连续性，从而在非凸相对光滑问题中建立随机重洗镜像下降法的复杂度界和迭代收敛性。
2026-03-17 cs.LG math.OC stat.ML
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
Graph partitioning using matrix differential equations
Università degli Studi di L’ Aquila（拉奎拉大学）；Gran Sasso Science Institute（格兰萨索科学研究所）；Universität Tübingen（蒂宾根大学）
本文研究图划分问题，重点解决最小割问题及约束最小割问题，提出基于矩阵近邻问题的矩阵微分方程约束梯度系统方法。
2017-12-16 cs.NA math.NA math.OC
Revisiting Linearized Bregman Iterations under Lipschitz-like Convexity Condition
线性化Bregman迭代（LBreI）及其变体在信号/图像处理和压缩感知中受到了相当大的关注。最近，LBreI已经扩展到更大的一类非凸函数，以及一些理论问题留给进一步研究。特别是，梯度Lipschitz连续性假设排除了它在许多实际应用中的使用。在这项研究中，我们提出了一个通用的算法框架，统一LBreI型方法。我们的主要发现是，梯度Lipschitz连续性假设可以取代的Lipschitz凸性条件在凸和非凸的情况下。所提出的框架和理论，然后应用到线性/二次反问题。
2022-03-04 math.OC
Adaptive Lipschitz-Free Conditional Gradient Methods for Stochastic Composite Nonconvex Optimization
Shenzhen University of Advanced Technology（深圳先进技术大学）
ALFCG 提出了一种自适应投影自由方法，用于随机复合非凸优化，无需全局光滑常数或线搜索，通过估计局部光滑度并最小化二次近似模型，达到更优的迭代复杂度。
2026-03-06 cs.LG cs.NA math.NA
Muon meets Tamed Langevin: Momentum Preconditioning beyond Convex and gradient-Lipschitz Potentials
University of Edinburgh（爱丁堡大学）；National Technical University of Athens（雅典国立技术大学）；Athena/Archimedes Research Centre（Athena/Archimedes 研究中心）
针对非凸且非梯度-Lipschitz 势的矩阵空间 Gibbs 采样，提出非二次动能驱动的欠阻尼 Langevin 系统，实现动量预处理，证明测度不变性与指数收敛，并保证离散化算法的稳定性。
2026-10-02 cs.LG math.OC math.PR
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题，提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法，并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Accelerated first-order methods for convex optimization with locally Lipschitz continuous gradient
University of Minnesota（明尼苏达大学）
本文针对具有局部Lipschitz连续梯度的凸优化问题，提出加速近端梯度方法和一阶近端增广拉格朗日方法，给出可验证终止准则及新的运算复杂度保证，并通过数值实验验证其性能。
2023-04-10 cs.LG cs.NA math.NA
Convergence rate of the (1+1)-evolution strategy on locally strongly convex functions with lipschitz continuous gradient
本文分析 (1+1)-ES 在局部 L-强凸且梯度 U-Lipschitz 连续函数上的线性收敛速率，给出上下界，并证明无需目标函数先验性质。
2025-09-01 cs.NE math.OC
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Adaptive proximal algorithms for convex optimization under local Lipschitz continuity of the gradient
KU Leuven（鲁汶大学）；Kyushu University（九州大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
提出自适应近端梯度法adaPG和自适应原始-对偶算法adaPD及其变体，利用局部光滑模量估计实现无回溯步长自适应，处理非光滑项，数值实验验证其优于现有方法。
2024-03-13 cs.LG math.OC
Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems
Iowa State University（爱荷华州立大学）；IBM Research AI（IBM研究院人工智能部门）；IBM Thomas J. Waston Research Center（IBM托马斯·J·沃森研究中心）
在信号处理和数据分析的应用中，存在广泛的一类非凸问题，其目标函数不受常见的全局Lipschitz连续梯度假设的约束（例如，非负矩阵分解（NMF）问题。近年来，Bregman近似梯度法（BPG）解决了这类具有某些特殊结构的问题。这启发我们提出了一种新的逐块两参考Bregman近端梯度（B2B）方法，该方法采用两个参考函数，从而获得Bregman投影中的封闭形式解。基于相对光滑性，我们证明了所提出的算法的整体收敛的各种块选择规则。特别地，我们建立了B2B的贪婪和随机块更新规则的$O(\frac{\sqrt{s}}{\sqrt{k}})$的整体收敛速度，其比循环变量快$O(\sqrt{s})$倍，即，$O(\frac{s}{\sqrt{k}} )$，其中$s$是块数，$k$是迭代次数。多个数值结果表明，所提出的B2B相比，在解决NMF问题的最先进的作品的优越性。
2019-12-16 cs.LG math.OC
Escaping saddle points without Lipschitz smoothness: the power of nonlinear preconditioning
本文提出涵盖$(L_0,L_1)$-光滑性与各向异性光滑性的新充分条件，证明非线性预条件化（含梯度裁剪）在无Lipschitz光滑性假设下仍能规避鞍点，并以对数维度依赖高效达到二阶平稳性。
2025-09-19 math.OC
Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
Department of Computer Science, University of Maryland, College Park.（计算机科学系，马里兰大学 College Park 分校）；Department of Computer Science（计算机科学系）；Engineering, University of Texas Arlington（工程学院，德克萨斯大学阿灵顿分校）
针对常见机器学习模型不满足Lipschitz平滑性的问题，本文在不假设该条件下重新审视了Shuffling型梯度方法的收敛率，提出步长策略使其在较弱假设下匹配当前最佳收敛率，并在多种凸性条件下证明了收敛性，数值实验验证了其有效性。
2025-07-11 cs.LG math.OC stat.ML
Gradient Method for Optimization on Riemannian Manifolds with Lower Bounded Curvature
研究了在具有下界截面曲率的黎曼流形上极小化可微凸函数的梯度法。分析的方法提出了三种不同的有限程序确定的步长，即Lipschitz步长，自适应步长和Armijo的步长。第一个过程要求目标函数具有Lipschitz连续梯度，这是不必要的其他方法。证明了在没有任何水平集有界性假设的情况下，整个序列收敛到极小点。给出了具有Lipschitz连续梯度函数的迭代复杂性界。数值实验验证了该方法的有效性，并验证了理论结果。特别是，我们考虑的问题，找到黎曼中心的质量和所谓的Karcher的平均。我们的数值实验表明，自适应步长是一个有前途的计划，值得考虑。
2018-06-07 math.OC
Adaptive Algorithms for Coverage Control and Space Partitioning in Mobile Robotic Networks
École Polytechnique de Montréal（蒙特利尔综合理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文考虑的部署问题，移动机器人网络必须优化其配置在一个分布式的方式，以最小化的稳态费用函数，取决于空间分布的某些概率事件的利益。此外，假设事件位置分布是先验未知的，并且只能从实际事件发生的观察中逐步推断。详细讨论了三类问题：覆盖控制问题，空间划分问题和动态车辆路径问题。在每种情况下，分布式随机梯度算法优化性能目标。随机梯度视图简化和推广以前提出的解决方案，并适用于新的复杂的情况下，如自适应覆盖涉及异构代理。值得注意的是，这些算法通常采用简单的分布式规则的形式，可以在资源有限的平台上实现。
2012-08-17 cs.RO math.OC
A Riemannian smoothing steepest descent method for non-Lipschitz optimization on submanifolds
Beijing Jiaotong University（北京交通大学）；The Hong Kong Polytechnic University（香港理工大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出了一种黎曼光滑最速下降方法来极小化子流形上的非凸非Lipschitz函数。定义并讨论了黎曼流形上的广义次微分和黎曼梯度次相合性。证明了由黎曼光滑最速下降方法生成的序列的任何聚点都是与该方法中所用的光滑函数相关联的驻点，这是原非Lipschitz问题局部最优性所必需的.在黎曼梯度次相合条件下，我们还证明了任一聚点都是原非Lipschitz问题的黎曼极限稳定点。数值实验证明了该方法的有效性。
2021-04-09 cs.IT cs.LG eess.SP
Theoretical analysis of Adam using hyperparameters close to one without Lipschitz smoothness
Meiji University（明治大学）
自适应矩估计（Adam）及其变体等自适应方法的收敛性和收敛速度分析在非凸优化问题中得到了广泛的研究。分析基于预期或经验平均损失函数为Lipschitz平滑（即，其梯度是Lipschitz连续的），并且学习率取决于Lipschitz连续梯度的Lipschitz常数。同时，Adam及其变体的数值评估表明，使用小的常数学习率而不依赖于Lipschitz常数和接近1的超参数（$β_1$和$β_2$）对于训练深度神经网络是有利的。由于计算Lipschitz常数是NP困难的，Lipschitz光滑条件将是不切实际的。本文在不假设Lipschitz光滑性条件的情况下对Adam进行了理论分析，以弥合理论与实践之间的差距。主要的贡献是显示理论证据，亚当使用小学习率和超参数接近1表现良好，而以前的理论结果都是超参数接近零。我们的分析还导致发现Adam在大批量的情况下表现良好。此外，我们表明，亚当表现良好，当它使用递减的学习率和超参数接近1。
2022-06-27 cs.LG math.OC
Adaptive algorithms for mirror descent in convex programming problems with Lipschitz constraints
对最近提出的求解多个凸泛函约束下凸极小化问题的镜像下降自适应算法进行了新的改进。两类问题的方法被认为是。第一类问题是Lipschitz连续的目标（一般来说，非光滑）泛函。第二类是目标光滑泛函具有Lipschitz连续梯度的问题。考虑一类目标泛函为非光滑泛函且梯度为Lipschitz连续的光滑泛函的极大值的问题。请注意，函数约束一般来说是非光滑和Lipschitz连续的。所提出的修改允许节省算法的运行时间，由于考虑到非生产性步骤的所有功能约束。估计的收敛速率的方法正在审议中获得。从较低的预言估计的角度来看，所提出的方法是最佳的。数值实验的结果说明了所提出的方法的优点，一些例子。
2018-05-27 math.OC
An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems
本文提出了一种求解非凸光滑复合极小化问题的加速复合梯度（ACG）方法，简称AC-ACG方法。与基于已知Lipschitz梯度常数或最大观测曲率序列的众所周知的ACG变体相反，当前的ACG变体基于所有过去观测曲率的平均值。更具体地说，AC-ACG使用直到上一次迭代为止的所有观测到的曲率的平均值的正倍数作为估计当前点处的“函数曲率”的方式，然后使用两个预解式评估来计算下一个曲率。与其他变量Lipschitz估计变体相比，例如，基于最大曲率的那些，AC-ACG总是接受前述的误差，而不管Lipschitz估计结果有多差。最后，计算结果表明，AC-ACG的效率随机生成和现实世界的问题实例。
2020-10-29 math.OC
One Method for Minimization a Convex Lipschitz-Continuous Function of 2 Variables on a Fixed Square
本文对Yu. E. Nesterov方法的最小化凸Lipschitz-连续函数的两个变量在一个正方形与一个固定的边。该方法是在解决辅助问题的一维最小化沿分离段，并不意味着计算的精确值的梯度的目标功能。实验表明，所考虑的方法可以达到所需的精度解决问题的时间比其他方法（梯度下降和椭球方法）考虑，在一个已知的精确解的情况下，并使用估计的方法的收敛速度。
2020-01-13 math.OC
Lipschitz-inspired HALRECT Algorithm for Derivative-free Global Optimization
Vilnius University, Institute of Data Science and Digital Technologies（维尔纽斯大学，数据科学与数字技术研究所）
针对Lipschitz常数未知的带箱约束全局优化问题，提出结合对分与多点采样的HALRECT算法及变体，实验证明其性能优于现有前沿DIRECT类算法，鲁棒性更强。
2022-09-18 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题，通过简化子问题和放宽梯度连续性假设，实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
