Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University（天普大学）
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题，提出了一种带动量的去中心化随机复合梯度下降上升算法，有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对数据分布于多节点且满足PL条件的非凸-非凹极小极大问题，提出分散式动量梯度下降上升DM-GDA，并证明其达到O(ε^-3)近最优梯度复杂度。
2023-04-21 cs.LG math.OC
Optimal Time Complexities of Parallel Stochastic Optimization Methods Under a Fixed Computation Model
本文提出一种推广经典预言机框架的新协议，为具有无偏随机梯度预言机的并行优化方法建立了极小化极大复杂度，并在固定计算模型下证明了下界并开发了最优算法。
2023-11-26 math.OC
Graph topology invariant gradient and sampling complexity for decentralized and stochastic optimization
分散式多智能体优化中的一个基本问题是梯度/采样复杂度和通信复杂度之间的权衡。我们提出了新的算法，其梯度和采样的复杂性是图形拓扑不变的，而他们的通信复杂性保持最佳。对于凸光滑确定性问题，我们提出了一个原始对偶滑动（PDS）算法，计算$ε$ -解决方案与$O((\tilde{L}/ε)^{1/2})$梯度和$O((\tilde{L}/ε)^{1/2}+\|\mathcal{A}\|/ε)$通信复杂性，其中$\tilde{L}$是光滑参数的目标和$\mathcal{A}$是相关的图形拉普拉斯算子或转置的通信网络的定向关联矩阵。在$μ$-强凸性下，结果可分别改进为$O((\tilde{L}/μ)^{1/2}\log(1/ε))$和$O((\tilde{L}/μ)^{1/2}\log(1/ε) + \|\mathcal{A}\|/ε^{1/2})$.我们还提出了一个随机变量，原始对偶滑动（SPDS）算法的随机梯度问题。SPDS算法利用小批量技术，使代理同时执行采样和通信。它计算具有$O((\tilde{L}/ε)^{1/2} + (σ/ε)^2)$采样复杂度的随机$ε$ -解，该解可以改进为具有强凸性的$O((\tilde{L}/μ)^{1/2}\log(1/ε) + σ^2/ε)$。这里$σ^2$是方差。SPDS的通信复杂度与确定性情形相同。所有上述梯度和采样复杂度都与集中式凸光滑优化的复…
2021-01-13 math.OC
DIAMOND: Taming Sample and Communication Complexities in Decentralized Bilevel Optimization
The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；Air Force Research Laboratory（美国空军研究实验室）
分散式双层优化最近受到越来越多的关注，这是由于其在许多新兴的多智能体学习范例中的基础作用（例如，多代理元学习和多智能体强化学习）。然而，为了与边缘网络的有限计算和通信能力一起工作，开发分散式双层优化技术的主要挑战是降低采样和通信复杂性。这促使我们开发一种新的分散式双层优化，称为DIAMOND（分散式单时间尺度随机近似与动量和梯度跟踪）。本文的贡献在于：1）我们的DIAMOND算法采用单循环结构，而不是遵循自然的双层优化的双循环结构，这提供了较低的计算和实现复杂度：2）与现有的方法相比，DIAMOND算法不需要任何完整的梯度评估，这进一步降低了样本和计算复杂性; iii）通过动量信息和梯度跟踪技术的仔细整合，我们证明了DIAMOND算法在实现$ε$ -稳态解的样本和通信复杂性方面享有$\mathcal{O}(ε^{-3/2})$，这两者都与数据集大小无关，并且显著优于现有的工作。大量的实验也验证了我们的理论研究结果。
2023-01-19 cs.LG math.OC
Decentralized Riemannian Algorithm for Nonconvex Minimax Problems
University of Pittsburgh（匹兹堡大学）
黎曼流形（可能是非凸约束）上的极大极小优化已被积极应用于解决许多问题，如鲁棒降维和带正交权值的深度神经网络（Stiefel流形）。虽然许多极大极小问题的优化算法都是在欧几里得环境下发展起来的，但是很难将它们转化为黎曼情形，而非凸约束的极大极小问题的算法更是凤毛麟角。另一方面，为了应对大数据挑战，最近出现了分散式（无服务器）训练技术，因为它们可以减少通信开销并避免服务器节点上的瓶颈问题。然而，分散黎曼极大极小问题的算法还没有被研究。本文研究了Stiefel流形上的分布式非凸-强-凹极大极小优化问题，提出了确定性极大极小方法和随机极大极小方法。Steifel流形是一个非凸集。全局函数表示为局部函数的有限和。对于确定性的设置，我们提出DRGDA和证明，我们的确定性方法实现梯度复杂度$O( ε^{-2})$在温和的条件下。对于随机设置，我们提出了DRSGDA，并证明我们的随机方法实现了梯度复杂度$O(ε^{-4})$。DRGDA和DRSGDA是第一个具有精确收敛性的非凸约束分布式极大极小优化算法。在Stiefel流形上进行深度神经网络（DNN）训练的大量实验结果证明了我们算法的有效性。
2023-02-19 cs.DC cs.LG math.OC
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
An Efficient Stochastic Algorithm for Decentralized Nonconvex-Strongly-Concave Minimax Optimization
SGIT AI Lab, State Grid Corporation of China（国网公司SGIT AI实验室）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市现代应用数学重点实验室）
针对多智能体网络下的随机非凸-强凹极小极大优化问题，提出DREAM算法，在寻找ε-平稳点上取得最优理论复杂度，且数值实验验证其优于现有方法。
2024-05-14 cs.LG math.OC
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
在本文中，我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用，极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升（\texttt{ZO-GDA}）算法，并提供了改进的结果相比，现有的作品，在预言复杂度。我们还提出了零阶梯度下降多步上升（\texttt{ZO-GDMSA}）算法，显着提高了\texttt{ZO-GDA}的预言复杂度。然后，我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA}，处理随机非凸极大极小问题。对于这种情况，我们提供了两个假设下的随机梯度的预言复杂性结果：（i）一致有界方差假设，这是常见的传统随机最优化，和（ii）强增长条件（SGC），这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下，随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
Adaptive Federated Minimax Optimization with Lower Complexities
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；University of Pittsburgh（匹兹堡大学）
针对联邦非凸极小极大问题梯度与通信复杂度高、缺乏自适应加速的问题，提出融合方差缩减、local-SGD 与统一自适应矩阵的 AdaFGDA，并在 non-i.i.d. 下证明更低 SFO 与通信复杂度。
2024-02-29 cs.LG math.OC
Decentralized gradient descent maximization method for composite nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文首次解决在两个变量上均含凸非光滑项的去中心化复合非凸强凹极小极大问题，通过引入乘子吸收对偶一致性约束的新颖重构，实现了更激进的对偶更新与更大的原始步长，获得了更低复杂度并在分布式鲁棒逻辑回归实验中验证了性能。
2023-04-05 cs.LG cs.NA math.NA
INTERACT: Achieving Low Sample and Communication Complexities in Decentralized Bilevel Learning over Networks
The Ohio State University（俄亥俄州立大学）；Iowa State University（爱荷华州立大学）；University of Minnesota（明尼苏达大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，分散式双层优化问题在网络和机器学习社区中受到越来越多的关注，这要归功于它们在对等网络上对分散式学习问题建模的多功能性（例如，多代理元学习、多智能体强化学习、个性化训练和拜占庭弹性学习）。然而，对于在计算和通信能力有限的对等网络上的分散式双层优化，如何实现低样本和通信复杂性是两个基本的挑战，仍然是未充分探索到目前为止。在本文中，我们首次尝试研究一类分散双层优化问题的非凸和强凸结构对应的外部和内部的子问题，分别。我们在本文中的主要贡献是两方面的：i）我们首先提出了一个确定性算法称为INTERACT（内梯度下降外跟踪梯度），需要$\mathcal{O}(n ε^{-1})$的样本复杂度和$\mathcal{O}(ε^{-1})$的通信复杂性来解决双层优化问题，其中$n$和$ε> 0$分别是每个代理的样本数和期望的平稳性间隙。ii）为了放松在每次迭代中对完整梯度评估的需要，我们提出了一个随机方差减少版本的INTERACT（SVR-INTERACT），它将样本复杂度提高到$\mathcal{O}(\sqrt{n} ε^{-1})$，同时实现与确定性算法相同的通信复杂性。据我们所知，这项工作是第一个实现低样本和通信复杂性解决分散的双层优化问题的网络。我们的数值实验也证实了我们的理论研究结果。
2022-10-05 cs.LG math.OC stat.ML
Decentralized Learning with Lazy and Approximate Dual Gradients
本文开发了在网络上进行分散式机器学习的算法，其中数据是分布式的，计算是本地化的，并且邻居之间的通信受到限制。这一领域最近的一系列研究集中在提高计算和通信复杂性上。SSDA和MSDA方法\cite{scaman2017optimal}在目标光滑和强凸时具有最优的通信复杂度，并且推导简单。然而，它们需要在每一步解决一个子问题。我们提出了新的算法，节省计算通过使用（随机）梯度和保存通信时，以前的信息是足够有用的。我们的方法仍然相对简单-而不是解决一个子问题，他们从最新的点运行卡秋莎一个小的，固定的步骤。一个易于计算的本地规则用于决定工人是否可以跳过一轮通信。此外，我们的方法可证明降低通信和计算的复杂性SSDA和MSDA。在数值实验中，我们的算法实现了显着的计算和通信减少相比，国家的最先进的。
2020-08-04 math.OC
Optimality in Decentralized Optimization under Bandwidth Constraints
AXXX；Applied AI Institute（应用人工智能研究所）
本文研究带带宽限制的去中心化优化问题，推导非凸随机并行异步优化的最优时间复杂度，提出Grace SGD和Leon SGD方法，利用最小割/最大流和Gomory-Hu树等工具改进复杂度。
2026-03-21 cs.DC math.CO math.OC
Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出去中心化随机双正则非凸强凹极小极大问题的方差缩减加速方法VRLM，通过拉格朗日乘子消除共识约束，实现最优样本与通信复杂度，并首次提供收敛保证。
2026-10-05 cs.LG math.OC
Optimal Decentralized Composite Optimization for Convex Functions
针对含非光滑正则项的凸函数去中心化复合优化缺乏最优算法的问题，本文提出首个同时达到最优计算与通信复杂度的算法，填补了研究空白，且实验验证了其有效性与高效性。
2024-07-13 math.OC
Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization
Central South University（中南大学）；Beijing Institute of Technology（北京理工大学）
针对组合极小极大优化现有方法复杂度次优、依赖大批次的问题，提出NSTORM及自适应版本ADA-NSTORM，达最优样本复杂度且无需大批次，实验验证了其效率。
2023-12-12 cs.LG math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Smoothing Meets Perturbation: Unified and Tight Analysis for Nonconvex-Concave Minimax Optimization
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；Ivey Business School, University of Western Ontario（韦仕敦大学 Ivey 商学院）
本文研究了光滑非凸-凹极小极大优化问题，提出两种加速机制：双扰动和平滑。通过分析游戏平稳性和优化平稳性，证明平滑加速两者收敛，而双扰动仅提升游戏平稳性。提出扰动平滑GDA方法，提升游戏平稳性效率并保持优化平稳性最优率。
2026-04-29 math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
Single-Loop Stochastic Projected Damped Extragradient Methods for Nonconvex--(Strongly) Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环随机投影阻尼外梯度方法及其方差缩减变体，用于求解随机非凸--（强）凹极小极大问题，在博弈和优化平稳性下均达到最佳已知的随机一阶预言复杂度。
2026-10-14 cs.LG math.OC stat.ML
Distributed Stochastic Momentum Tracking with Local Updates: Achieving Optimal Communication Complexities
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出局部动量跟踪（LMT）方法，将局部更新、动量跟踪与无环切比雪夫加速相结合，在分布式优化中同时实现最优通信复杂度和最优迭代复杂度。
2026-10-19 cs.DC math.OC
Optimal Gradient Tracking for Decentralized Optimization
本文提出最优梯度跟踪（OGT）方法，首次在分散优化中同时达到最优梯度计算和通信复杂度，并引入快照梯度跟踪与无环切比雪夫加速作为通用构建模块。
2024-04-20 math.OC
Generalization Bounds of Nonconvex-(Strongly)-Concave Stochastic Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文首次系统地研究了非凸-（强）-凹（NC-SC/NC-C）随机极大极小优化算法的推广界，该推广界由原函数的平稳性度量.我们首先通过经验极大极小问题和总体极大极小问题之间的一致收敛性建立算法无关的推广界。对于NC-SC和NC-C设置，实现$ε$-泛化的示例复杂度分别为$\tilde{\mathcal{O}}(dκ^2ε^{-2})$和$\tilde{\mathcal{O}}(dε^{-4})$，其中$d$是维度，$κ$是条件数。通过算法的稳定性论证，我们进一步研究了算法依赖的推广界。特别是，我们引入了一个新的稳定性的概念，极大极小问题，并建立一个连接之间的推广界和稳定性的概念。因此，我们建立了随机梯度下降上升（SGDA）算法和更一般的采样确定算法的算法依赖的泛化界。
2023-02-06 cs.LG math.OC stat.ML
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
Decentralized Optimization with Cross-Coupled Mixed Affine Constraints
本文研究带交叉耦合混合仿射约束的分散式优化，提出加速方法并给出匹配极小极大保证，实验验证了通道几何与网络条件的影响。
2026-09-29 cs.LG math.OC
Matching Multi-Loop Complexities with a Single Loop: Optimal Optimization Stationarity and Best-Known Game Stationarity in Nonconvex--Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环投影阻尼外梯度算法，在非凸-凹极小极大优化中同时达到优化与博弈平稳性的最佳已知复杂度，并证明预热版本在优化平稳性上最优。
2026-09-17 cs.LG math.OC stat.ML
A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对正交约束去中心化优化中样本与通信复杂度高的问题，提出基于免正交约束技术的VRSGT算法，收敛率为O(1/k)，并首次同时降低两种复杂度，在自动驾驶应用中表现优异。
2022-08-29 cs.LG cs.SY eess.SY
Variance Reduced EXTRA and DIGing and Their Optimal Acceleration for Strongly Convex Decentralized Optimization
Nankai University（南开大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
我们研究了大规模分布式数据训练机器学习模型的随机分散优化问题。本文对目前广泛使用的EXTRA和DIGing方法进行了扩展，提出了两种方法：VR-EXTRA和VR-DIGing。所提出的VR-EXTRA需要$O((κ_s+n)\log\frac{1}ε)$随机梯度评估和$O((κ_b+κ_c)\log\frac{1}ε)$通信轮的时间来达到精确的$ε$，这是非加速梯度型方法中最好的复杂度，其中$κ_s$和$κ_b$分别是强凸和光滑问题的随机条件数和批量条件数，$κ_c$是通信网络的条件数，$n$是每个分布式节点上的样本大小。所提出的VR-DIGing具有略高于$O((κ_b+κ_c^2)\log\frac{1}ε)$的通信开销。我们的随机梯度计算复杂度与单机VR方法（如SAG，SAGA和SVRG）相同，我们的通信复杂度分别与EXTRA和DIGing相同。为了进一步加快收敛速度，我们还提出了加速VR-EXTRA和VR-DIGing，同时优化$O((\sqrt{nκ_s}+n)\log\frac{1}ε)$随机梯度计算复杂度和$O(\sqrt{κ_bκ_c}\log\frac{1}ε)$通信复杂度。我们的随机梯度计算复杂度也与单机加速的VR方法（如Katyusha）相同，我们的通信复杂度与加速的全批分散方法（如MSDA）相同。
2022-08-27 cs.DC cs.LG cs.NA
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
Exploiting Similarity for Computation and Communication-Efficient Decentralized Optimization
Kyoto University（京都大学）；OIST（冲绳科学技术大学院大学）；Saarland University（萨尔大学）
本文提出SPDO方法，通过利用节点间功能相似性并放宽子问题精度要求，在去中心化优化中同时实现当前最优的通信与计算复杂度，实验证明其显著优于现有方法。
2025-06-06 cs.LG math.OC
Decentralized Stochastic Variance Reduced Extragradient Method
Fudan University（复旦大学）；Xi’an Jiaotong University（西安交通大学）
本文研究了分散凸-凹极小极大最优化问题的形式$\min_x\max_y f(x,y) \triangleq\frac{1}{m}\sum_{i=1}^m f_i(x,y)$，其中$m$是代理的数目，每个局部函数可以写成$f_i(x,y)=\frac{1}{n}\sum_{j=1}^n f_{i,j}(x,y)$ .我们提出了一种新的分散优化算法，称为多共识随机方差减少的外梯度，它实现了最有名的随机一阶预言（SFO）的复杂性为这个问题。具体地说，每个Agent要求$\mathcal O((n+κ\sqrt{n})\log(1/\varepsilon))$ SFO调用强凸-强凹问题，$\mathcal O((n+\sqrt{n}L/\varepsilon)\log(1/\varepsilon))$ SFO调用一般凹凸问题，以获得期望中的$\varepsilon$ -精确解，其中$κ$是条件数，$L$是光滑参数.数值实验表明，该方法的性能优于基线。
2022-02-13 cs.LG math.OC
Resilient Decentralized Preconditioned Stochastic Proximal Optimization with Gradient Sketching over Time-Varying Networks
Hubei Normal University（湖北师范大学）；City University of Hong Kong（香港城市大学）；University of New South Wales（新南威尔士大学）；Southwest University（西南大学）；Shenzhen University of Advanced Technology（深圳先进技术研究院）
研究多智能体系统中拜占庭弹性分散随机优化问题，核心方法是通过梯度草图实现方差减少，提出算法RED-SEGA，推导其在时变网络上的理论条件，经实验验证算法有效性与弹性。
2026-10-14 math.OC
Decentralized Composite Optimization with Compression
Michigan State University（密歇根州立大学）；Alibaba (US) Group（阿里巴巴（美国）集团）
去中心化优化和通信压缩在实践中通过缓解通信瓶颈来加速分布式机器学习方面展现了巨大的潜力。现有的具有通信压缩的分散算法大多集中在只有光滑分量的问题上，本文研究了具有潜在非光滑分量的分散随机复合优化问题。在一般随机环境和有限和环境下，提出了一种\underline{Prox}梯度\underline{L} in \underline{EA} r收敛的压缩\underline{D}分散算法Prox-LEAD.我们的理论表明，Prox-LEAD工作在任意的压缩精度，它大大降低了通信成本几乎是免费的。通过与现有算法在收敛复杂度和数值实验方面的比较，证明了所提算法的优越性。我们的算法框架也普遍启发压缩通信的其他原始对偶算法，减少不精确的迭代，这可能是独立的利益的影响。
2021-08-12 cs.DC cs.LG math.OC
Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
Yandex Research（Yandex研究院）；MIPT（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；ISP RAS（俄罗斯科学院系统编程研究所）；MSU（莫斯科国立大学）
本研究首次为时变网络上非光滑凸分散优化问题建立了通信与次梯度计算复杂度的下界，并提出了匹配这些下界的最优算法，显著提升了理论性能。
2024-05-28 cs.LG math.OC
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对光滑非凸-强凹极小极大问题，提出一种基于等价正则化最小化重构的单循环框架，通过自适应三次-二次主化处理非Lipschitz Hessian分量，实现全局复杂度匹配双循环二阶方法，并自动获得局部超线性收敛率。
2026-06-05 math.OC
Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
AdaGrad和AMSGrad等自适应算法在非凸优化中是成功的，因为它们具有参数不可知的能力-不需要关于问题特定参数的先验知识，也不需要调整学习速率。然而，当涉及到非凸极大极小优化，直接扩展这样的自适应优化没有适当的时间尺度分离可能无法在实践中工作。我们提供了这样一个例子证明，梯度下降上升（GDA）与自适应步长的简单组合可以发散，如果原始对偶步长比没有仔细选择，因此，更何况，这种自适应扩展不是参数不可知的。为了解决这个问题，我们正式介绍了一个嵌套自适应框架，NeAda的简称，进行自适应最大化的对偶变量与可控的停止标准和外循环自适应最小化的原始变量的内部循环。这种机制可以配备有现成的自适应优化器，并自动平衡原始变量和对偶变量的进度。理论上，对于非凸-强-凹Minimax问题，我们证明了NeAda算法在确定性和随机性条件下，在没有问题光滑性和强参数的先验信息的情况下，可以分别获得接近最优的$\tilde{O}(ε^{-2})$和$\tilde{O}(ε^{-4})$梯度复杂度.据我们所知，这是第一个算法，同时实现近最佳的收敛速度和参数不可知的适应在非凸极大极小设置。数值上，我们进一步说明了NeAda家庭的鲁棒性与简单的检验函数和现实世界的应用程序的实验。
2022-10-14 cs.LG math.OC stat.ML
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks
HKUST（香港科技大学）；Princeton University（普林斯顿大学）
双层优化已经获得了越来越多的关注，在Meta学习，极大极小游戏，强化学习和嵌套组合优化中发现了许多应用。本文研究了网络上的分布式双层优化问题，其中智能体只能与邻居通信，包括多任务，多智能体学习和联邦学习的例子。在本文中，我们提出了一个基于流言的分布式双层学习算法，允许网络代理解决内部和外部优化问题在一个单一的时间尺度和共享信息通过网络传播。我们发现，我们的算法享有$\mathcal{O}(\frac{1}{K ε^2})$每个代理的样本复杂性一般非凸双层优化和$\mathcal{O}(\frac{1}{K ε})$强凸目标，实现了加速，规模与网络规模线性。样本复杂度在$ε$和$K$中都是最优的。我们在超参数调整和分散强化学习的例子上测试了我们的算法。仿真实验表明，该算法在训练效率和测试准确率上都达到了最高水平。
2022-06-22 cs.LG math.OC stat.ML
Near-Optimal Higher-Order Oracle Complexity for Convex--Concave Minimax Optimization
Peking University（北京大学）
本研究证明凸-凹极小极大优化中，任意自适应确定性和随机化算法的高阶查询复杂度下界与张量算法类相同，匹配现有上界，达到近最优精度指数。
2026-10-20 math.OC
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
High-probability sample complexities for policy evaluation with linear function approximation
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
本文为线性函数近似下的策略评估建立了TD和TDC算法的高概率样本复杂度界，在在策略和离策略设置下均达到容差水平的最优依赖，并在关键参数上与极小极大下界匹配。
2024-05-02 cs.IT cs.LG math.IT
Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters
本文研究了分布式优化中的通信代价和梯度计算代价，并对提出的分布式加速梯度法进行了复杂性分析。我们提出了两个算法的加速惩罚方法的基础上增加罚参数的框架。我们的第一个算法是光滑分布优化，它获得了接近最佳的$O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε\right)$通信复杂度和最佳的$O\left(\sqrt{\frac{L}ε}\right)$梯度计算复杂度的$L$光滑凸问题，其中$σ_2(W)$表示第二大奇异值的权重矩阵$W$与网络和$ε$是目标精度。当问题是$μ$ -强凸和$L$ -光滑时，我们的算法对于通信具有接近最优的$O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε\right)$复杂度，对于梯度计算具有最优的$O\left(\sqrt{\frac{L}μ}\log\frac{1}ε\right)$复杂度.我们的通信复杂性仅比平滑分布式优化的下限差$\left(\log\frac{1}ε\right)$的一个因子。%据我们所知，我们的方法是第一个实现通信和梯度计算下限到一个额外的对数因子光滑分布优化。我们的第二个算法是为非光滑分布优化设计的，它实现了最佳的$O\left(\frac{1}{ε\sqrt{1-σ_2(W)}}\right)$通信复杂度和$O\left(\fr…
2020-08-18 math.OC
Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization
Institute of Robotics and Automatic Information Systems, College of Artificial Intelligence, Nankai University（南开大学人工智能学院机器人与自动信息系统研究所）；State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能省部共建国家重点实验室）
本文将单循环加速梯度跟踪扩展到时变图去中心化优化，给出非强凸与强凸情形的改进迭代复杂度，并通过多重一致性和 Chebyshev 加速使静态网络复杂度匹配下界。
2024-12-06 cs.LG math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part II: Example Systems
本文提供了各种同步和异步信号处理系统进行优化的例子，利用在前面的文件中开发的框架和元素。该论文的一般策略是对适用于一类凸和非凸最优化问题的平稳性条件进行线性变换，从而得到对相关原始和对偶决策变量的线性叠加进行运算的算法。本文中的例子解决了各种具体的最优化问题，包括LASSO问题，最小最大最优滤波器设计，分散训练的支持向量机分类器，稀疏滤波器设计的声学均衡。在适当的情况下，多个算法解决相同的最优化问题，说明了使用的基础框架，在设计各种不同类别的算法。例子中附有数值模拟和收敛性的讨论。
2015-03-04 math.OC
Accelerated Fully First-Order Methods for Bilevel and Minimax Optimization
研究双层和极大极小优化问题，提出加速全一阶方法，包括（扰动）重启加速全一阶双层逼近方法（\texttt{PRAF${}^2$BA}）等，可在不同条件下以最优复杂度找到近似驻点，还通过实证研究验证了算法优越性。
2026-07-13 cs.LG math.OC stat.ML
Stability and Generalization for Distributed SGDA
School of Computer Science（计算机学院）；Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；School of Cyber Science and Technology（网络空间科学与技术学院）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Nanyang Technological University（南洋理工大学）
本文提出了Distributed-SGDA基于稳定性的泛化分析框架，统一了Local-SGDA和Local-DSGDA算法，全面分析了多种设置下的稳定性误差、泛化差距与总体风险，揭示了泛化与优化的权衡并给出超参数选择建议。
2024-11-14 cs.LG math.OC
SAPD+: An Accelerated Stochastic Method for Nonconvex-Concave Minimax Problems
本文提出加速随机方法SAPD+求解非凸-凹极小极大问题，在强凹与仅凹情形下均取得已知最佳预言机复杂度，并首次为弱凸-强凹设定建立带方差缩减的最佳复杂度上界。
2024-10-13 math.OC
A Strong Duality Result for Constrained POMDPs with Multiple Cooperative Agents
本文针对多代理非对称信息的分散约束POMDP，利用扩展的Sion极大极小定理和测度弱收敛，在可数观测、有限动作、有界成本条件下证明了无限时域折扣成本的强对偶性。
2025-04-26 cs.SY eess.SY math.OC
Lower Bounds and Accelerated Algorithms for Bilevel Optimization
The Ohio State University（俄亥俄州立大学）
由于双层优化在现代机器学习问题中的广泛应用，近年来引起了人们越来越多的关注。尽管最近的研究已经描述了几种流行算法的收敛速度，但仍不清楚这些收敛速度可以进一步提高多少。在本文中，我们从两个角度来解决这个基本问题。首先，我们分别给出了强凸-强凸和凸-强凸双层优化问题的$\widetildeΩ(\frac{1}{\sqrt{μ_x}μ_y})$和$\widetilde Ω\big(\frac{1}{\sqrtε}\min\{\frac{1}{μ_y},\frac{1}{\sqrt{ε^{3}}}\}\big)$的第一个已知的复杂性下界。其次，我们提出了一个加速的双层优化命名为AccBiO，我们提供了第一个已知的复杂性界限，而没有梯度有界性假设（这是在现有的分析）在上述两个几何形状。当有界梯度假设成立时，我们还提供了比现有复杂度更严格的上限。我们表明AccBiO实现了最佳结果（即，上限和下限匹配到对数因子）。有趣的是，我们在这两种几何下的下界都大于极大极小优化的相应最优复杂度，证明了双层优化比极大极小优化更具挑战性。
2022-01-28 cs.LG math.OC stat.ML
Privacy Preserving Gossip Learning
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种去中心化隐私保护学习算法，基于无遗忘调参和私有推-求和八卦协议，实现样本顺序学习中的隐私保护与几何收敛。
2026-09-15 cs.LG math.OC
Zeroth-Order Federated Methods for Stochastic MPECs and Nondifferentiable Nonconvex Hierarchical Optimization
本文针对联邦学习中的不可微非凸优化、双层优化、极小极大问题及2s-SMPEC，提出零阶联邦方法，通过卷积平滑、Clarke次微分和延迟跳过下层预言机调用，显著降低通信开销并给出复杂度保证。
2025-07-03 math.OC
Projection-based Prediction-Correction Method for Distributed Consensus Optimization
本文针对网络中带凸集约束的分布式共识优化问题，提出基于近端点算法和变分不等式理论的自适应投影预测-校正方法（PPCM），在去中心化网络中实现快速收敛且参数选择直观，理论分析与实验验证其在多类问题上比内置Python函数快十倍以上且保持高精度。
2024-04-24 cs.SY eess.SY math.OC
