Convergence Rates of Inertial Splitting Schemes for Nonconvex Composite Optimization
研究了求解非凸非光滑最优化问题的一般惯性一阶邻近分裂算法的收敛性。利用Kurdyka-Kangojaziewicz（KL）不等式，我们建立了新的收敛速度，适用于文献中的几个惯性算法。我们的基本假设是，目标函数是半代数的，这使得我们的结果在信号处理和机器学习领域的广泛适用性。其收敛速度依赖于KL不等式中“去奇异化函数”的指数。取决于该指数，收敛可以是有限的、线性的或次线性的，并且对于$p>1$具有$O(k^{-p})$的形式。
2016-09-12 math.OC
Inertial Bregman Proximal Gradient Algorithm For Nonconvex Problem with Smooth Adaptable Property
本文研究了两个非凸函数之和的极小化问题：一个是可微的且满足光滑适应性。光滑适应性，也称为相对光滑条件，比全局梯度Lipschitz连续性弱。我们分析了一个惯性版本的Bregman邻近梯度（BPG）算法，并证明其平稳收敛。此外，我们还证明了惯性算法的次线性收敛性。此外，如果目标函数满足Kurdyka-Schojasiewicz（KL）性质，还可以保证其整体收敛到目标函数的临界点.
2019-04-09 math.OC
Optimal Nonergodic Sublinear Convergence Rate of Proximal Point Algorithm for Maximal Monotone Inclusion Problems
我们建立了极大单调包含问题的邻近点法的最优非遍历次线性收敛速度。首先，利用性能估计框架构造最优界，得到无限维非凸最优化问题，然后将其等价转化为有限维半定规划（SDP）问题.通过构造对偶SDP的一个可行解，得到了最优非遍历次线性速率的一个上界。最后，构造了一个二维空间的例子，给出了最优非遍历次线性速率的一个下界。由于由示例提供的下界完全匹配的上界得到的对偶SDP，我们因此建立了最坏情况下的非遍历次线性收敛速度，这是最佳的阶数以及所涉及的常数。我们的结果加深了对基本邻近点法的理解。
2019-07-12 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题，其中目标函数为光滑函数和非光滑函数之和，约束函数为确定性函数，且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后，我们定制所提出的方法来解决随机非凸最优化问题与非线性约束，并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
Efficient random coordinate descent algorithms for large-scale structured nonconvex optimization
本文分析了几种求解非凸最优化问题的新方法，其中目标函数由两项之和构成：一项是非凸且光滑，另一项是凸但简单且结构已知。此外，我们考虑这两种情况：无约束和线性约束的非凸问题。对于上述结构的最优化问题，我们提出了随机坐标下降算法，并分析了它们的收敛性。在一般情况下，当目标函数为非凸复合函数时，我们证明了算法产生的序列对稳定点的渐近收敛，并证明了在某种最优性测度下的次线性收敛速率.此外，如果目标函数满足误差界条件，我们推导出局部线性收敛速率的期望值的目标函数。我们还提出了广泛的数值实验，以评估我们的算法的性能相比，国家的最先进的方法。
2014-06-24 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题（TRS）是在欧氏球上极小化一个可能非凸的二次函数。（TRS）通常有两种情况，即所谓的“简单情况”和“困难情况”。即使在"简单情况“下，当初始点是从非零测度可行集中任意选取时，经典投影梯度法（PG）产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是，当应用（PG）来解决一个廉价的和可能的非凸的（TRS）的重组，生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”，而不假设我们已经拥有的信息，“容易的情况”举行。我们还考虑了如何使用（PG）全局求解等式约束（TRS）。
2022-07-12 math.OC
Compressed Momentum-based Single-Point Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
Shanghai University（上海大学）；Tongji University（同济大学）
本文提出一种压缩动量单点零阶算法，旨在降低通信开销并解决显式梯度信息不可用问题，通过局部随机更新和压缩交换实现非凸优化。
2026-05-10 math.OC
A deterministic optimization algorithm for nonconvex and combinatorial bi-objective programming
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
本文提出SDNBI算法，通过有效探索非凸Pareto前沿区域并早期识别无解区域，在计算成本和Pareto最优集质量上优于改进NBI和SD算法，适用于非凸和组合双目标优化问题。
2026-09-30 math.OC
Optimization Over the Pareto Front of Nonconvex Multi-objective Optimal Control Problems
多个目标函数的同时优化导致一组折衷或帕累托解。从某种意义上说，在这个集合中选择一个最佳解通常是一项具有挑战性的任务：在三个或更多目标的情况下，帕累托前沿通常很难查看，如果不是不可能的话，即使在只有两个目标的情况下，构建整个帕累托前沿以便直观地检查它也可能非常昂贵。因此，帕累托（或有效）集上的优化一直是一个活跃的研究领域。虽然有丰富的文献涉及有限维最优化问题在这一领域，有一个缺乏的问题制定和数值方法的最优控制问题，除了凸的情况。本文将非凸约束时滞最优控制问题的Pareto前沿优化问题表示为一个双层最优化问题。基于已有的解的可微性结果，我们提出了一种算法，该算法结合了（i）Chebyshev标量化，（ii）权的本质区间的概念，以及（iii）简单而有效的对分法用于求解具有两个目标的最优控制问题.我们说明了两个例子的问题，涉及电路和治疗肺结核的算法的工作，并讨论了新的计算方法的未来研究路线。
2023-01-30 math.OC
A Unified Inexact Stochastic ADMM for Composite Nonconvex and Nonsmooth Optimization
提出统一的不精确随机ADMM框架以求解复合非凸非光滑优化，涵盖多种现有算法并设计新的加速混合随机ADMM，证明其次线性与线性收敛，实验验证了有效性。
2024-03-04 math.OC
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
Differentially Private and Communication-Efficient Distributed Nonconvex Optimization Algorithms
本文针对有限通信下的隐私保护分布式非凸优化问题，提出两种压缩通信差分隐私算法，证明其在光滑非凸情形下次线性收敛、在Polyak-Łojasiewicz条件下线性收敛，且隐私分析不依赖压缩器具体形式。
2024-05-01 math.OC
Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization
本文研究了利用局部信息交换极小化由局部费用函数之和构成的全局费用函数的分布式非凸最优化问题。我们首先考虑一个分布式的一阶原始对偶法。我们证明了，如果每个局部代价函数是光滑的，并且在全局费用函数满足Polyak-Striojasiewicz条件的条件下线性收敛到全局最优值，则它次线性收敛到一个稳定点.这个条件比强凸性弱，强凸性是证明分布式优化算法线性收敛的标准条件，全局最小值不一定唯一。出于梯度不可用的情况下，我们提出了一个分布式零阶算法，来自考虑的一阶算法通过使用确定性梯度估计，并表明它具有相同的收敛性能，考虑的一阶算法在相同的条件下。通过数值模拟说明了理论结果。
2021-08-25 math.OC
Communication Compression for Distributed Nonconvex Optimization
本文研究了费用函数分布在多个智能体上的分布式非凸优化问题。注意到信息压缩是一个关键的工具，以减少沉重的通信负载的分布式算法代理迭代与邻居进行通信，我们提出了三个分布式原始对偶法压缩通信。前两个算法适用于相对压缩误差有界的一般压缩器类，第三个算法适用于绝对压缩误差有界的一般压缩器类。我们表明，所提出的分布式算法与压缩通信具有可比的收敛性能，最先进的算法与精确的通信。具体地说，我们发现，他们可以找到一阶平稳点的次线性收敛速度$\mathcal{O}(1/T)$时，每个本地的成本函数是光滑的，其中$T$是迭代的总次数，并找到全局最优解的线性收敛速率的一个附加条件下，全球费用函数满足Polyak--Jasiewicz条件。通过数值模拟验证了理论结果的有效性。
2022-10-07 math.OC
A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization
本文提出一般高阶majorization-minimization算法框架，解决(非)凸(非)光滑优化问题，并证明了其从全局次线性到局部超线性的收敛速率及稳定点保证。
2025-03-03 math.OC
Gradient-Free Multi-Agent Nonconvex Nonsmooth Optimization
本文考虑了连通多智能体网络上非凸且可能非光滑函数之和的最小化问题，其中智能体对全局费用函数具有部分知识，并且只能访问零阶信息（即，函数值）的局部费用函数。我们提出并分析了一个分布式的原始-对偶无梯度算法这个具有挑战性的问题。我们证明了通过适当地选择参数，所提出的算法收敛到一阶平稳解的集合，并具有可证明的全局次线性收敛速度。数值实验表明，我们提出的方法优化网络上的非凸和非光滑问题的有效性。
2019-04-09 math.OC stat.CO
Distributed Nonconvex Optimization with Double Privacy Protection and Exact Convergence
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海能效与定制人工智能集成电路工程研究中心）；Engineering and Technology Institute (ENTEG), University of Groningen（格罗宁根大学工程与技术研究所）
针对分布式非凸优化中的隐私缺失问题，提出双重隐私保护分散式近端原始-对偶算法$\ ext{DPP}^2$，通过变量变换与随机扰动实现零信息泄露，在保证差分隐私的同时实现精确收敛。
2025-11-04 math.OC
Robust Distributed Nonconvex Optimization Enabling Communication Acceleration and Privacy Protection
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出鲁棒近端对偶算法RPP，通过引入随机噪声提升分布式非凸优化的隐私保护和通信效率。
2026-02-26 math.OC
A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems
针对可微部分缺乏全局Lipschitz连续梯度的非凸非光滑优化问题，提出带外推的Bregman近端随机梯度方法（BPSGE），在方差减少框架下分析其收敛性与复杂度，并通过实验验证其加速效果。
2024-01-04 math.OC
A Robust Compressed Push-Pull Method for Decentralized Nonconvex Optimization
针对去中心化非凸优化中的通信瓶颈，本文提出融合梯度跟踪与通信压缩的RCPP算法，可同时容纳相对与绝对压缩误差，并在一般有向网络上证明次线性及PL条件下的线性收敛。
2024-08-03 math.OC
Compressed Gradient Tracking Algorithms for Distributed Nonconvex Optimization
针对分布式非凸优化问题，本文引入三类压缩器并结合梯度跟踪算法提出三种压缩优化算法，证明其在光滑条件下亚线性收敛、P--Ł条件下线性收敛且部分参数无需P--Ł常数先验，数值结果显示算法通信负担低且性能优于现有方法。
2025-02-11 math.OC
Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization
Shanghai University of Finance and Economics（上海财经大学）
提出了一种新的坐标下降（CD）方法来最小化由三项组成的非凸函数：（i）连续可微项，（ii）简单凸项，（iii）凹连续项.首先，通过扩展随机CD到非光滑非凸设置，我们开发了一个坐标次梯度方法，通过使用块复合次梯度映射随机更新块坐标变量。该方法在一定的最优性测度下，以证明的次线性收敛速度渐近收敛到临界点。其次，我们开发了一个随机置换CD方法，它有两个交替的步骤：线性化凹部和循环通过变量。我们证明了渐近收敛到临界点和次线性复杂率的目标光滑和凹的部分。第三，我们扩展加速坐标下降（ACD）的非光滑和非凸优化，开发一种新的随机邻近DC算法，我们解决子问题不精确的ACD。对于每个DC子问题，最多只需要几次ACD迭代就可以保证收敛，并建立了收敛复杂度来确定一些近似的临界点。第四，我们进一步发展了第三种方法来最小化某些病态的非凸函数：具有高Lipschitz常数与负曲率比的弱凸函数。我们表明，在特定的标准下，ACD为基础的随机化方法具有优越的复杂性相比，传统的梯度法。最后，稀疏诱导学习模型的实证研究表明，CD方法优于基于梯度的方法，某些大规模的问题。
2019-09-03 cs.LG math.OC stat.ML
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
A Unifying Primal-Dual Proximal Framework for Distributed Nonconvex Optimization
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出了一种统一的对偶近似 proximal 框架，用于解决分布式非凸优化问题，并通过实验验证了其在收敛速度和通信效率上的优势。
2026-03-10 math.OC
Large-scale nonconvex optimization: randomization, gap estimation, and numerical resolution
针对含聚合项的大规模非凸优化问题，提出随机化松弛方法及随机构造近似解的策略，采用FW算法求解随机化问题并提出SFW算法解决内存溢出问题，证明了相关收敛性并通过数值实验验证了有效性。
2023-06-16 math.OC
Perturbed Proximal Gradient ADMM for Nonconvex Composite Optimization
PPG-ADMM通过引入扰动机制解决非凸复合优化问题，实现子线性收敛并提供更强的最优性保证。
2026-01-05 math.OC
Efficient Hessian-Free Methods for Multi-Objective Bilevel Optimization with Nonconvex Lower Level
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对下层非凸的多目标双层优化问题，提出MOMEHA及MB-MOMEHA算法，通过Moreau包络转化问题并结合平滑加权Tchebycheff标量化，在少样本元学习等任务上优于现有方法。
2026-09-09 cs.LG math.OC
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
非凸极大极小问题经常出现在新兴的机器学习应用中，例如生成对抗网络和对抗学习。简单的算法，如梯度下降上升（GDA）是解决这些非凸博弈的常见做法，并获得了大量的经验成功。然而，已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中，我们证明了，对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式，交替梯度下降上升（AGDA）算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法，达到一个可证明的速度比AGDA时，问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
Asynchronous Optimization over Graphs: Linear Convergence under Error Bound Conditions
我们考虑凸和非凸约束优化与一个部分可分离的目标函数：代理最小化的本地目标函数，其中每一个是已知的，只有相关的代理，并取决于该代理的变量和其他几个。这种分区设置出现在几个实际感兴趣的应用中。我们提出了什么是，据我们所知，第一个分布式的，异步算法与速率保证这类问题。当目标函数是非凸的，该算法可证明收敛到一个平稳的解决方案，在一个次线性的速度，而线性速度时，目标满足著名的Luo-Tseng误差界条件下（这是不太严格的强凸性）。对矩阵补问题和LASSO问题的数值结果表明了该方法的有效性。
2020-10-18 math.OC
An Accelerated Stochastic ADMM for Nonconvex and Nonsmooth Finite-Sum Optimization
本文提出加速随机ADMM算法ASVRG-ADMM，针对非凸非光滑有限和优化问题，建立了次线性收敛速率，并在KL性质下证明其线性收敛，实验验证其优于现有方法。
2023-07-03 math.OC
Decentralized Nonconvex Robust Optimization over Unsafe Multiagent Systems: System Modeling, Utility, Resilience, and Privacy Analysis
针对多智能体系统中隐私泄露与拜占庭故障问题，本文提出差分隐私分布式拜占庭韧性算法DP-SCC-PL，在P-Ł条件非凸优化中实现可靠智能体共识与次线性收敛，并通过实验验证其效用、韧性与隐私性。
2025-05-22 math.OC
Optimality conditions for robust nonsmooth multiobjective optimization problems in Asplund spaces
我们采用模糊最优性条件的Frechet次微分和一些先进的变分分析技术，如公式的次微分的一个无限的家庭的非光滑函数和余导数标量化研究鲁棒最优性条件和鲁棒对偶的非光滑/非凸多目标最优化问题处理不确定性约束在任意Asplund空间。我们建立必要的最优性条件弱和适当的鲁棒有效解的问题的Mordukhovich次微分的相关功能。进一步，通过引入广义凸性的新概念，给出了该问题弱鲁棒有效解和真鲁棒有效解的充分条件.最后，我们制定了一个Mond-Weir型的鲁棒对偶问题的参考问题，并检查弱，强，和逆对偶关系，它们之间的伪凸性假设。
2022-11-14 math.OC
Distributed Nonconvex Constrained Optimization over Time-Varying Digraphs
本文考虑网络上的非凸分布约束优化问题，模型为有向（可能是时变）图。我们介绍了第一个算法框架的总和最小化的光滑非凸（不可分）函数-代理的总和效用-加上一个差分凸（DC）函数（与非光滑凸部分）。这种通用公式出现在许多应用中，从统计机器学习到工程。所提出的分布式方法结合了连续凸逼近技术与明智设计的扰动推和共识机制，旨在跟踪局部的梯度（平滑部分）和效用。次线性收敛速度证明时，一个固定的步长（可能不同的代理），而渐近收敛到固定的解决方案证明使用递减的步长。数值结果表明，我们的算法与目前的计划相比，在凸和非凸问题。
2018-09-04 cs.DC cs.MA math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络，建模为静态（可能有向）图。最优化问题包括最小化一个（可能是非凸的）光滑函数--代理的局部成本之和--加上一个凸的（可能是非光滑的）正则化器，受凸约束。代理可以执行本地计算，以及与他们的近邻在任何时候进行通信，没有任何形式的协调或集中调度;此外，当解决他们的本地子问题，他们可以使用过时的信息，从他们的邻居。我们提出了第一个分布式异步算法，称为ASY-DSCA，收敛于R-线性速率的凸问题的最优解，其目标函数满足一般的误差界条件，这个条件是弱于更常用的强凸性，它是由几个经验的风险函数，不是强凸的，例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时，ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Process-Based Lagrange Multipliers for Nonconvex Set-Valued Optimization
University of Alicante（阿利坎特大学）
本文提出了一种基于闭合凸过程的非凸集值优化拉格朗日乘子理论，通过几何框架扩展分离原理，并展示了其在无限维情况下的应用。
2026-02-05 math.FA math.OC
Communication-Efficient Distributed Online Nonconvex Optimization with Time-Varying Constraints
针对时变有向图下带时变约束的分布式在线非凸优化问题，提出两种带压缩通信的分布式 bandit 在线原对偶算法，证明其具有次线性网络遗憾和累积约束违反界，Slater 条件下约束违反界更小，并通过仿真验证。
2025-11-18 cs.SY eess.SY math.OC
A Mixing-Accelerated Primal-Dual Proximal Algorithm for Distributed Nonconvex Optimization
本文提出分布式混合加速原始对偶近端算法MAP-Pro，通过类增广拉格朗日函数与时变混合多项式实现非凸优化，证明了次线性及P-Ł条件下的线性收敛性，结合Chebyshev加速可提升性能，数值实验验证其收敛与通信效率优势。
2024-03-10 cs.SY eess.SY math.OC
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
梯度下降-上升（GDA）算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数，GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而，GDA的变收敛性仅在凸几何下得到了证明，对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性，填补了这一空白。具体来说，我们表明，近似GDA承认一个新的李雅普诺夫函数，单调下降的极大极小优化过程中，并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何，我们正式建立了近似GDA到临界点$x^*$的变量收敛，即，$x_t\to x^*, y_t\to y^*(x^*)$。此外，在整个频谱的KALTH参数化的几何，我们表明，近端GDA实现不同类型的收敛速度，从次线性收敛到有限步收敛，这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
Distributed Online Bandit Nonconvex Optimization with One-Point Residual Feedback via Dynamic Regret
本文研究时变有向图上的分布式在线赌博机非凸优化问题，提出了一种单点残差反馈算法，利用两点残差估计梯度，在保持每次迭代O(1)采样复杂度的同时有效降低了动态遗憾界，其性能与两点反馈算法相当。
2024-09-24 cs.LG math.OC
Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis
Shanghai University of Finance and Economics（上海财经大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
非凸和非光滑最优化问题在统计、商业、科学和工程等领域中经常遇到，但在可扩展性方面，它们还没有被广泛地认识为一种技术。这种相对较低的普及程度的一个原因是缺乏一个良好的发展系统的理论和算法来支持的应用程序，是其凸对应的情况下。本文的目的是采取纪律的非凸和非光滑最优化的方向迈出了一步。特别地，本文考虑了块决策变量中有约束的非凸最优化模型，无论有无耦合仿射约束。在无耦合约束的情况下，证明了广义条件梯度法以变分不等式的形式具有次线性收敛速率到$ε$ -平稳解的速度，其中收敛速度依赖于目标光滑部分梯度的Hölderian连续性.对于耦合仿射约束的模型，我们引入相应的$ε$ -平稳性条件，并应用两个近似型的ADMM的变体来解决这样的模型，假设可以实现的所有块变量的最后一块，除了梯度步骤或优化最小化步骤的最接近的ADMM更新。我们证明了迭代复杂性界的$O(1/ε^2)$达到$ε$ -固定的解决方案，这两种算法。此外，我们表明，相同的迭代复杂性的一个接近BCD方法如下立即。数值结果表明，所提出的张量鲁棒PCA算法的有效性。
2018-01-17 cs.LG math.OC stat.ML
An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan University（云南大学）
针对非凸非光滑优化问题，提出带自适应动量的加速块近似框架，解决外推失效问题，支持块变量随机顺序更新，在温和假设下证明收敛性与收敛速率，经数值实验验证有效。
2023-08-24 cs.LG math.OC
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI研究所）；ENS Paris, CREST-ENSAE, CNRS（巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心）；Mila and DIRO, Université de Montréal（蒙特利尔大学Mila研究所与计算机科学与运筹学系）
随机梯度下降（SGD）通常用于优化非凸函数。然而，标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中，我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题，满足一些额外的结构假设。特别是，我们专注于两个大类的结构化非凸函数：（i）类（强）凸函数（凸函数的推广）和（ii）函数满足Polyak-Lojasiewicz条件（强凸函数的推广）。我们的分析依赖于预期残差条件，我们表明这是一个严格弱于以前使用的增长条件，预期平滑或有界方差假设的假设。我们提供了不同的步长选择，包括常数，减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外，我们所有的分析都适用于任意采样范例，因此，我们深入了解了minibatch的复杂性，并确定了最佳的minibatch大小。最后，我们表明，对于插值训练数据的模型，我们可以免除我们的期望残差条件，并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
GLL-type Nonmonotone Descent Methods Revisited under Kurdyka-Łojasiewicz Property
本文扩展了经典GLL型非单调方法的完全收敛结果至非凸非光滑优化，提出含三个条件的迭代框架并证明其收敛性与速率，首次验证两种现有NPG算法在相关问题中的完全收敛性。
2025-04-15 math.OC
A Homotopy Framework for Constrained Multiobjective Optimization
Clarkson University（克拉克森大学）
本文提出一种基于同伦的框架，用于计算多目标优化问题的KKT点，通过连续变形易解系统至KKT条件，保证全局收敛性，并在数值实验中展示出鲁棒性与高效性。
2026-10-16 cs.NA math.NA math.OC
Achieving Linear Convergence in Distributed Asynchronous Multi-agent Optimization
本文研究了静态有向图上的多智能体（凸和\emph{nonconvex}）优化问题。我们提出了一个通用的分布式\emph{asynchronous}算法框架，其中i）代理可以更新他们的本地变量，以及与他们的邻居在任何时候进行通信，没有任何形式的协调;和ii）他们可以执行本地计算使用（可能）延迟，从其他代理的不同步信息。延迟不需要为代理所知或服从任何特定的配置文件，并且也可以是时变的（但有界的）。该算法建立在一个跟踪机制上，该机制对随机（在上述意义上）是鲁棒的，其目标是局部估计代理梯度的平均值。当应用于强凸函数时，我们证明了只要步长{充分小}，它就以R-线性（几何）速度收敛。当考虑非凸问题和/或{ \it uncoordinated}步长减小时，证明了算法的次线性收敛速度.据我们所知，这是第一个分布式算法与证明几何收敛速度在这样一个一般的异步设置。初步的数值结果表明，所提出的算法的有效性和验证我们的理论研究结果。
2019-09-11 cs.DC math.OC
Convergence of ZH-type nonmonotone descent method for Kurdyka-Łojasiewicz optimization problems
本文提出含ZH型非单调下降与相对误差条件的迭代框架，证明KL函数优化中迭代序列的完整收敛性及线性/次线性速率，并推广至邻近梯度和Riemannian梯度法。
2024-12-04 math.OC
Enhancing Convergence of Decentralized Gradient Tracking under the KL Property
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
本文针对满足KL性质的非凸去中心化多智能体优化问题，证明了去中心化梯度跟踪算法SONATA的收敛速率与中心化近似梯度算法基本一致，数值结果验证了理论结论。
2024-12-12 cs.LG cs.SY eess.SY
