Clustered Federated Learning based on Nonconvex Pairwise Fusion
Renmin University of China（中国人民大学）
针对非独立同分布数据的聚类联邦学习，提出基于非凸成对融合的FPFC方法，利用ADMM实现部分更新与并行计算，降低通信成本，并提供收敛保证，实验验证其优越性。
2023-12-24 cs.DC cs.LG
How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD
Microsoft Research（微软研究院）
随机梯度下降（SGD）给出了最小化凸随机目标$f(x)$时的最优收敛速度。然而，就使梯度变小而言，即使当$f(x)$是凸的时，原始SGD也没有给出最优速率。如果$f(x)$是凸的，为了找到具有梯度范数$\varepsilon$的点，我们设计了具有接近最优速率$\tilde{O}(\varepsilon^{-2})$的算法SGD 3，改进了[18]的最佳已知速率$O(\varepsilon^{-8/3})$。如果$f(x)$是非凸的，为了找到它的$\varepsilon$ -近似局部最小值，我们设计了一个具有速率$\tilde{O}(\varepsilon^{-3.5})$的算法SGD 5，其中以前的SGD变体仅实现$\tilde{O}(\varepsilon^{-4})$ [6，15，33]。在所有参数范围内，这并不比牛顿方法的最佳已知随机版本慢[30]。
2021-07-28 cs.DS cs.LG math.OC
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Stochastic Nested Variance Reduction for Nonconvex Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究有限和非凸优化问题，其中的目标函数是一个平均的$n$非凸函数。提出了一种新的基于嵌套方差约简的随机梯度下降算法。与传统的随机方差降低梯度（SVRG）算法在每次迭代中使用两个参考点来构造一个方差逐渐减小的半随机梯度相比，该算法在每次迭代中使用$K+1$嵌套参考点来构造一个方差进一步减小的半随机梯度.对于光滑非凸函数，所提出的算法收敛到$ε$近似的一阶稳定点（即，$\|\nabla F(\mathbf{x})\|_2\leq ε$）在随机梯度评估的$\tilde O(n\land ε^{-2}+ε^{-3}\land n^{1/2}ε^{-2})$数量内。这改进了SVRG $O(n+n^{2/3}ε^{-2})$和SCSG $O(n\land ε^{-2}+ε^{-10/3}\land n^{2/3}ε^{-2})$的最佳已知梯度复杂度。对于梯度控制函数，我们的算法也实现了更好的梯度复杂度比国家的最先进的算法。在不同的非凸优化问题上的实验结果支持了我们的理论。
2020-10-19 cs.LG math.OC stat.ML
Fast Incremental Method for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了一个快速增量聚合梯度法优化非凸问题的形式$\min_x \sum_i f_i(x)$。具体来说，我们分析了增量一阶Oracle框架内的SAGA算法，并证明它收敛到一个稳定点证明比梯度下降和随机梯度下降。我们还讨论了Polyak的一类特殊的非凸问题，其中SAGA以线性速度收敛到全局最优值。最后，我们分析了SAGA的实用价值的正则化和小批量的变种。据我们所知，本文首次分析了非凸问题的增量聚集梯度法的快速收敛性。
2016-03-19 cs.LG math.OC stat.ML
Stochastic Gradient Descent for Stochastic Doubly-Nonconvex Composite Optimization
随机梯度下降算法在大数据分析中被广泛应用于复合优化问题的求解。许多算法和收敛性质已经开发。复合函数最初是凸的，逐渐采用非凸的复合函数来获得更好的性质。收敛性已被研究，但只有当任何一个复合函数是非凸的。当两个复合函数都是非凸函数时，没有收敛性，这被称为\textit{doubly-nonconvex}情况。为了克服这个困难，我们假设罚函数是\textit{quasiconvex}的一个简单而弱的条件，然后我们得到了随机双-非凸复合优化问题的收敛速度，得到的收敛速度与已有的工作是同阶的，并深入地分析了在常数步长和最小批量，并给出了适当的大小的最优收敛速度，这是优于现有的工作。实验结果表明，该方法优于现有的方法。
2020-03-02 cs.LG math.OC stat.ML
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Achieving Linear Speedup for Composite Federated Learning
KTH Royal Institute of Technology（皇家理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出基于法向映射的FedNMap方法，通过法向映射更新处理非光滑项并采用局部校正策略减轻数据异质性，在非凸损失下首次实现关于客户端数和本地更新次数的线性加速。
2026-05-28 cs.LG math.OC
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
PAGE: A Simple and Optimal Probabilistic Gradient Estimator for Nonconvex Optimization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在本文中，我们提出了一种新的随机梯度估计-概率梯度估计（PAGE）-非凸优化。PAGE很容易实现，因为它是通过对普通SGD的小调整来设计的：在每次迭代中，PAGE使用概率为$p_t$的普通小批量SGD更新，或者以低得多的计算成本以概率为$1-p_t$的小调整重用先前的梯度。我们给出了一个简单的公式的最佳选择的$p_t$。此外，我们证明了非凸有限和问题的第一个紧下界$Ω(n+\frac{\sqrt{n}}{ε^2})$，这也导致了非凸在线问题的紧下界$Ω(b+\frac{\sqrt{b}}{ε^2})$，其中$b:= \min\{\frac{σ^2}{ε^2}, n\}$。然后，我们表明，PAGE获得的最佳收敛结果$O(n+\frac{\sqrt{n}}{ε^2})$（有限和）和$O(b+\frac{\sqrt{b}}{ε^2})$（在线）匹配我们的下界的非凸有限和和在线问题。此外，我们还证明了对于满足PL条件的非凸函数，PAGE可以自动切换到更快的线性收敛速度$O(\cdot\log \frac{1}ε)$ .最后，我们进行了几个深度学习实验（例如，在PyTorch中的真实数据集上进行的实验表明，PAGE不仅在训练中收敛速度比SGD快得多，而且还实现了更高的测试精度，验证了最佳理论结果，并证实了PAGE的实际优势。
2021-06-11 cs.AI cs.DS cs.LG
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology（计算机科学与技术学院 国防科技大学）；Center for Machine Learning Research (CMLR) Peking University（机器学习研究中心（CMLR） 北京大学）
本文针对重尾噪声下的非凸SGD收敛问题，重新探究梯度归一化与裁剪的作用，证明归一化单独即可保证收敛，二者结合可提升收敛速率，还提出了加速变体并给出统一理论与实践指导。
2025-11-19 cs.LG math.OC stat.ML
Federated Learning on Riemannian Manifolds
University of California, Davis（加州大学戴维斯分校）
联邦学习（FL）在基于智能手机APP的机器学习应用中有着重要的应用。虽然许多算法已经研究了FL，据我们所知，算法FL与非凸约束尚未研究。本文研究了黎曼流形上的FL，发现了联邦PCA和联邦kPCA等重要应用。提出了一种求解黎曼流形上联邦优化问题的黎曼联邦SVRG（RFedSVRG）方法.我们分析了它在不同情况下的收敛速度。数值实验进行比较RFedSVRG与黎曼对口的FedAvg和FedProx。我们观察到，从数值实验的RFedSVRG的优势是显着的。
2022-06-12 cs.LG math.OC
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点，并找到近似的局部极小值一般光滑，非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果，找到当地的最小值，而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Shuffling Gradient-Based Methods for Nonconvex-Concave Minimax Optimization
本文提出面向非凸-线性与非凸-强凹极小极大问题的洗牌梯度方法，建立最优已知预言机复杂度，并通过实验验证其性能可与 SGD 相当。
2024-10-29 math.OC stat.ML
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Hybrid Stochastic Gradient Descent Algorithms for Stochastic Nonconvex Optimization
我们引入一个混合随机估计器来设计求解随机最优化问题的随机梯度算法。这样的混合估计是两个现有的有偏和无偏估计的凸组合，并导致其方差的一些有用的性质。我们限制我们的考虑到一个混合SARAH-SGD的非凸期望问题。然而，我们的想法可以扩展到处理更广泛的一类估计在凸和非凸设置。我们提出了一个新的单循环随机梯度下降算法，可以实现$O(\max\{σ^3\varepsilon^{-1},σ\varepsilon^{-3}\})$ -复杂性界获得$\varepsilon$ -平稳点光滑和$σ^2$ -有界的方差假设。这种复杂性优于$O(σ^2\varepsilon^{-4})$，当$σ< O(\varepsilon^{-3})$。我们还考虑了我们的方法的不同扩展，包括单循环，双循环和小批量变量的恒定和自适应步长。我们比较我们的算法与现有的方法在几个数据集上使用两个非凸模型。
2019-05-15 math.OC stat.ML
Efficient Privacy-Preserving Stochastic Nonconvex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
虽然许多解决方案的隐私保护凸经验风险最小化（ERM）已经开发，隐私保护非凸ERM仍然是一个挑战。我们研究非凸ERM，它采取的形式是最小化有限和的非凸损失函数的训练集。我们提出了一个新的差分私人随机梯度下降算法的非凸ERM，有效地实现强隐私保证，并提供了一个严密的分析其隐私和效用的保证，以及其梯度的复杂性。我们的算法降低了梯度复杂度，同时提高了Wang等人给出的最佳效用保证（NeurIPS 2017）。我们在基准非凸ERM问题上的实验表明，与以前使用相同隐私预算的差分隐私方法相比，在训练成本和效用增益方面具有优异的性能。
2023-02-02 cs.CR cs.LG math.OC
The Impact of Local Geometry and Batch Size on Stochastic Gradient Descent for Nonconvex Problems
在机器学习中非凸最优化问题的几个实验报告中，观察到随机梯度下降（SGD）与更确定性的方法相比更喜欢具有平坦盆地的最小值，但对这种现象的严格理解很少。事实上，缺乏这样的工作导致了一个未经验证的，但被广泛接受的随机机制，描述了为什么SGD更喜欢平坦的极小化，而不是尖锐的极小化。然而，正如我们所证明的，随机机制无法解释这种现象。在这里，我们提出了一个替代的确定性机制，可以准确地解释为什么SGD喜欢平坦的最小化尖锐的最小化。我们推导出这种机制的基础上详细分析了一个通用的随机二次问题，它概括了经典梯度下降的已知结果。最后，我们验证了我们的确定性机制的两个非凸问题的预测。
2018-05-05 math.OC stat.CO stat.ML
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）；Microsoft Research, Asia（微软研究院亚洲研究院（微软亚洲研究院））
深度学习的成功使得人们对随机梯度下降（SGD）方法的推广特性越来越感兴趣，稳定性是研究SGD方法的一种常用方法，已有的基于稳定性的研究工作研究了非凸损失函数，但只考虑了SGD方法的推广误差。在本文中，我们建立了各种推广误差界的概率保证的SGD。具体来说，对于一般的非凸损失函数和梯度主导损失函数，我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后，我们研究了具有强凸正则化的正则化风险最小化问题，得到了改进的推广误差界。利用强凸正则化子，我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界，即，概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
Tackling benign nonconvexity with smoothing and stochastic gradients
University of California, San Diego（加州大学圣地亚哥分校）；CISPA Helmholz Center for Information Security（CISPA亥姆霍兹信息安全中心）
非凸优化问题在机器学习中普遍存在，特别是在深度学习中。虽然这种复杂的问题往往可以成功地优化在实践中使用随机梯度下降（SGD），理论分析不能充分解释这种成功。特别是，标准分析没有显示SGD在非凸函数上的全局收敛性，而是显示收敛到稳定点（也可以是局部极小值或鞍点）。我们确定了广泛的一类非凸函数，我们可以表明，扰动SGD（梯度下降扰动随机噪声-覆盖SGD作为一种特殊情况）收敛到一个全局最小值（或其附近），相比之下，梯度下降没有噪声，可以卡在远离全局解的局部最小值。例如，在非凸函数是相对接近凸状（强凸或PL）的功能，我们表明，SGD可以线性收敛到全局最优。
2022-02-18 cs.LG stat.ML
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，局部SGD算法在分布式学习领域得到了广泛的研究，以克服分布式学习中的通信瓶颈问题。然而，本地SGD的优越性，minibatch SGD只在相当有限的情况下举行。本文研究了一种新的求解非凸分布优化问题的局部算法--偏差方差缩减局部SGD（Bias-Variance Reduced Local SGD，BVR-L-SGD）。从理论上讲，我们提出的偏差和方差减少的局部梯度估计器充分利用了局部目标的二阶异质性，并建议随机选取一个局部模型，而不是在工人同步时取其平均值。理论上，在局部目标的异质性较小的情况下，我们证明了BVR-L-SGD在温和的条件下比以前的非局部方法和局部方法具有更好的通信复杂性，特别是BVR-L-SGD是第一个在异质性较小和局部计算预算较大的情况下，突破一般非凸光滑目标通信复杂性度$Θ(1/\varepsilon)$障碍的方法.数值结果验证了理论结果，并给出了经验证据的优越性，我们的方法。
2021-06-14 cs.LG math.OC
A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
KAUST（阿卜杜拉国王科技大学）
提出一种结合随机梯度方差缩减、部分参与和压缩通信的分布式非凸优化新方法，在部分参与设置下实现了最优 oracle 复杂度和最优通信复杂度，且无需所有节点参与或有界梯度假设。
2024-01-03 cs.LG math.OC
On the convergence properties of a $K$-step averaging stochastic gradient descent algorithm for nonconvex optimization
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
尽管异步随机梯度下降方法（ASGD）在解决大规模机器学习问题中很受欢迎，但其实际性能并不像理论结果所表明的那样好。我们采用并分析了一种同步K步平均随机梯度下降算法，我们称之为K-AVG。我们建立了非凸目标的K-AVG的收敛结果，并解释了为什么K步延迟是必要的，并导致更好的性能比传统的并行随机梯度下降，这是一个特殊的情况下，K-AVG与$K=1$。我们还表明，K-AVG规模优于ASGD。K-AVG相对于ASGD的另一个优点是它允许更大的步长。在$128$ GPU集群上，K-AVG比ASGD实现更快，并为\cifar数据集实现更好的精度和更快的收敛。
2018-05-16 cs.DC cs.LG stat.ML
FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在最近的论文FLECS（Agafonov et al，FLECS：A联邦学习Second-Order Framework via Compression and Sketching）中，针对联邦学习问题提出了二阶框架FLECS。该方法利用Hessian草图的压缩，使通信成本低。然而，FLECS的主要瓶颈是没有压缩的梯度通信。在本文中，我们提出了修改的FLECS压缩梯度差异，我们称之为FLECS-CGD（FLECS压缩梯度差异），使其适用于随机优化。在强凸和非凸的情况下提供收敛保证。实验结果表明，该方法具有较好的实用价值.
2022-10-18 cs.LG math.OC
On Provable Benefits of Muon in Federated Learning
Temple University（特拉华大学）
本文针对优化器Muon在联邦学习中有效性未被探究的空白，提出FedMuon算法，证明其非凸问题收敛速率，揭示学习率与问题参数无关、适配重尾噪声的优势，实验验证了其有效性。
2025-10-04 cs.LG stat.ML
An End-to-End Encrypted Neural Network for Gradient Updates Transmission in Federated Learning
Tongdun Technology（同盾科技）；ZhongAn Technology（众安科技）
联邦学习是一种分布式学习方法，通过聚集本地计算的梯度更新来训练共享模型。在联邦学习中，带宽和隐私是梯度更新传输的两个主要关注点。本文提出了一种端到端的梯度更新加密神经网络传输。该网络首先将输入梯度更新编码到每个客户端的低维空间，这显著减轻了联邦学习中数据通信的压力。在服务器上的网络的解码层中，编码的梯度更新作为整体直接恢复，即训练模型的聚合梯度更新。通过这种方式，在每个客户端中加密的梯度更新不仅可以防止在通信期间被拦截，而且服务器也不知道。在加密神经网络的基础上，设计了一种新的联邦学习框架，并将其应用于实际应用。实验结果表明，该网络在联邦学习中以较小的模型精度为代价，能够有效地实现隐私保护和数据压缩两个目标。
2019-08-22 cs.LG stat.ML
The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization
Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
本文研究重尾噪声下随机极小极大优化，证明无修改的SGDA在非凸强凹和非凸凹设置下可收敛，并开发无裁剪算法Stoc-TRGDAM和Stoc-TRGDmax实现最优精度依赖。
2026-09-09 cs.AI math.OC stat.ML
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University（莱斯大学）
一旦活动客户端的数量增加，同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法（Nguyen等人，2022）通过允许异步更新（过时）来解决这个问题，这增强了训练的可扩展性，同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法，并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析，该算法的收敛速度时，异构数据，批量大小，并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PŁ Min-Max Games
本研究证明在非凸-PL 极小极大博弈中，随机梯度下降上升法（SGDA）的复杂度下界与现有上界匹配，且在小时间尺度比例下可能失败，凸显其局限性并支持替代方法。
2026-10-14 cs.GT cs.LG stat.ML
Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method
Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）
针对跨设备联邦学习中无线环境下设备上行链路容量有限导致的瓶颈问题，提出一种双通信高效零阶方法，将无线信道纳入算法并证明其在非凸场景下几乎必然收敛且收敛率为$O(\frac{1}{\root{3}\of{K}})$。
2025-02-13 cs.DC cs.LG cs.MA
Sample-based Federated Learning via Mini-batch SSCA
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们研究无约束和有约束的样本为基础的联邦优化，分别。对于每个问题，我们提出了一个隐私保护算法，使用随机逐次凸逼近（SSCA）技术，并证明它可以收敛到Karush-Kuhn-Tucker（KKT）点。据我们所知，SSCA还没有被用于解决联邦优化，和联邦优化与非凸约束尚未调查。接下来，我们自定义两个建议的基于SSCA的算法的两个应用程序的例子，并提供封闭形式的解决方案，为各自的近似凸问题在每次迭代的SSCA。最后，数值实验表明，所提出的算法在收敛速度，通信成本和模型规格方面的固有优势。
2021-03-17 cs.CR cs.DC cs.LG
Federated Zeroth-Order Optimization using Trajectory-Informed Surrogate Gradients
National University of Singapore（新加坡国立大学）
本文针对联邦零阶优化中查询与通信效率低的问题，提出利用轨迹信息代理梯度和自适应梯度校正的FZooS算法，在理论和实验上均取得改进。
2023-08-08 cs.AI cs.LG
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU（挪威科技大学）；Aalto University（阿尔托大学）
针对物联网分布式稀疏高维数据的隐私保护分析需求，提出融合平滑机制与近端梯度框架的联邦分位数回归算法FSPG，可高效处理非凸惩罚与非光滑损失，提升估计精度与收敛可靠性。
2024-08-13 cs.AI cs.LG
Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator
针对含多个局部最小值的一般非凸目标，提出两种结合 SGD 与乘子 bootstrap 的在线统计推断方法，并证明置信区间渐近有效。
2023-06-03 math.ST stat.ME stat.ML
Gradient Obfuscation Gives a False Sense of Security in Federated Learning
North Carolina State University（北卡罗来纳州立大学）；Zhejiang University（浙江大学）
联邦学习已经被提出作为一种隐私保护的机器学习框架，它使多个客户端能够在不共享原始数据的情况下进行协作。然而，客户端隐私保护在此框架中的设计并不保证。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击。然而，在实践中，考虑到高通信成本或由于隐私增强要求，客户端可能不发送原始梯度。经验研究表明，梯度混淆，包括通过梯度噪声注入的有意混淆和通过梯度压缩的无意混淆，可以提供更多的隐私保护以对抗重建攻击。在这项工作中，我们提出了一个新的数据重建攻击框架，针对图像分类任务的联邦学习。我们发现，通常采用的梯度后处理程序，如梯度量化，梯度稀疏化，梯度扰动，可能会给联邦学习一个虚假的安全感。与以前的研究相反，我们认为，隐私增强不应该被视为梯度压缩的副产品。此外，我们设计了一种新的方法，在所提出的框架下，在语义级重建图像。我们量化的语义隐私泄漏，并与传统的基于图像相似性得分。我们的比较挑战文献中的图像数据泄漏评估方案。结果强调了在现有的联邦学习算法中重新访问和重新设计客户端数据隐私保护机制的重要性。
2022-10-14 cs.AI cs.CR cs.DC
Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
数据汇集和处理能力的快速发展使得越来越复杂的模型得以使用，从而产生非凸优化问题。然而，这些公式通常很难求解，因为即使简单地验证给定点是局部最小值也可能是NP困难的[1]。尽管如此，一些相对简单的算法已被证明在许多感兴趣的背景下导致令人惊讶的好的经验结果。也许最突出的例子是用于训练神经网络的反向传播算法的成功。最近的几项工作已经追求严格的分析证明这种现象，通过研究非凸优化问题的结构，并建立简单的算法，如梯度下降及其变化，在收敛到局部极小值，避免鞍点。这些分析中的一个关键见解是，梯度扰动在允许局部下降算法有效地区分理想的和不理想的稳定点并逃离后者方面起着关键作用。在这篇文章中，我们涵盖了最近的结果二阶保证随机一阶优化算法在集中式，联邦和分散式架构。
2020-03-31 cs.LG cs.MA eess.SP
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Zeroth-Order Federated Methods for Stochastic MPECs and Nondifferentiable Nonconvex Hierarchical Optimization
本文针对联邦学习中的不可微非凸优化、双层优化、极小极大问题及2s-SMPEC，提出零阶联邦方法，通过卷积平滑、Clarke次微分和延迟跳过下层预言机调用，显著降低通信开销并给出复杂度保证。
2025-07-03 math.OC
Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems
The Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管乐观梯度下降算法（OGDA）和超梯度算法（EG）对于凸-凹极大极小问题的收敛性理论已经建立，但是对于这些算法在非凸情形下的理论保证却知之甚少。为了弥补这一差距，本文首次建立了OGDA和EG方法的收敛性下的非凸-强-凹（NC-SC）和非凸-凹（NC-C）设置通过提供一个统一的分析，通过镜头的单调用额外的梯度方法。我们进一步建立了GDA/OGDA/EG收敛的下界，揭示了我们分析的紧密性。我们还进行实验支持我们的理论结果。我们相信，我们的研究结果将促进对OGDA和EG方法解决复杂的非凸极大极小现实问题的理论理解，例如，生成对抗网络（GANs）或强大的神经网络训练。
2022-10-17 cs.LG math.OC stat.ML
Resilient Federated Learning under Byzantine Attack in Distributed Nonconvex Optimization with 2-f Redundancy
针对分布式非凸优化中拜占庭攻击导致联邦学习求解精度不足的问题，提出带比较消除（CE）滤波器的局部梯度下降法，证明其在非凸场景下的收敛性并通过数值模拟验证。
2023-12-15 math.OC
A Simple Proximal Stochastic Gradient Method for Nonsmooth Nonconvex Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们分析随机梯度算法优化非凸，非光滑有限和问题。特别地，目标函数由可微（可能非凸）分量与可能不可微但凸的分量的总和给出。我们提出了一个近似的随机梯度算法的基础上减少方差，称为ProxSVRG+。我们的主要贡献在于ProxSVRG+的分析。它恢复了几个现有的收敛结果，并改善/推广它们（随机梯度Oracle调用和邻近Oracle调用的数量）。特别地，ProxSVRG+概括了最近由[Lei等人，[2017]第一个非线性方程。ProxSVRG+也比SCSG更简单，分析更简单。此外，ProxSVRG+对于大范围的小批量大小优于确定性近端梯度下降（ProxGD），这部分地解决了在[Reddi等人，2016年b]。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用[Reddi等人，2016年b]。此外，对于满足Polyak-Chaojasiewicz条件的非凸函数，我们证明了ProxSVRG+具有全局线性收敛速率，且不需要重新启动.因此，只要目标函数在某些区域局部满足PL条件，\emph{automatically}就可以在这些区域切换到更快的线性收敛。ProxSVRG+还改进了ProxGD和ProxSVRG/SAGA，并在这种情况下推广了SCSG的结果。最后，进行了实验研究，实验结果与理论分析结果基本一致。
2018-12-01 cs.DS cs.LG math.OC
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University（印第安纳大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；Rice University（莱斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题，对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析，证明其期望收敛到一阶驻点且维度相关收敛速率更优，还首次建立三类方法的高概率收敛界，助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
为了加速梯度算法在凸优化中的实际收敛性，人们提出了各种类型的参数重新启动方案。然而，在非凸优化问题中，加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法（APG-重启），用于求解非凸非光滑问题。我们的APG-重启的目的是：1）允许采用灵活的参数重启计划，涵盖了许多现有的; 2）有一个全球的子线性收敛速率在非凸和非光滑最优化;和3）有保证的收敛到一个临界点，并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Federated Minimax Optimization with Client Heterogeneity
Carnegie Mellon University（卡内基梅隆大学）
随着GANs等现代应用的出现，极大极小优化的兴趣激增，它本质上比简单的最小化更具挑战性。驻留在多个边缘设备或\textit{clients}上的训练数据加剧了这种困难，特别是当这些客户端可以具有异构数据集和本地计算能力时。我们提出了一个通用的联邦极大极小优化框架，它包含了这样的设置和几个现有的方法，如本地SGDA。我们表明，天真的聚集异构本地进展的结果优化不匹配的目标函数-以前在标准联邦最小化观察到的现象。为了解决这个问题，我们建议通过连续通信回合之间进行的本地步骤的数量来规范化客户端更新。我们分析了所提出的算法的收敛性的非凸-凹和非凸-非凹函数的类和特征的异构客户端数据，部分客户端的参与，和异构本地计算的影响。我们的分析工作在更一般的假设下，客户端内的噪音和客户端间的异质性比迄今为止考虑在文献中。对于所有考虑的函数类，我们显着改善现有的计算和通信复杂性的结果。实验结果支持我们的理论主张。
2023-02-09 cs.DC cs.LG math.OC
Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，矩阵完备化在机器学习和计算机视觉中引起了人们的极大兴趣。对于矩阵完备化中的低秩提升，核范数罚因其凸性而方便，但存在偏差问题。近年来，人们提出了各种使用非凸罚函数的算法，其中最有效的算法之一是近端梯度下降算法。对于非凸PGD算法，它是否收敛于局部极小点及其收敛速度还不清楚。本文对非凸情形下的PGD算法进行了非平凡分析。除了收敛到一个稳定点的广义非凸处罚，我们提供了更深入的分析一类流行的和重要的非凸处罚，具有不连续的阈值功能。对于这种惩罚，我们建立了PGD算法的有限秩收敛性，收敛到严格限制的局部极小点，并最终线性收敛速度。同时，收敛到一个局部极小值已被证明为硬阈值惩罚。我们的结果是第一次表明，非凸正则矩阵完备化只存在严格限制的局部极小点，并且PGD算法在一定条件下能够以最终线性速度收敛到这样的极小点。还通过实验对PGD算法进行了说明。代码可在https://github.com/FWen/nmc上获得。
2019-03-02 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法（ADMM），基于不同的方差约化随机梯度，提出了三类方差约化的非凸随机ADMM。具体来说，第一类称为非凸随机方差降低梯度ADMM（SVRG-ADMM），使用多阶段计划，逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM（SAG-ADMM），它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM，是SAG-ADMM方法的扩展。此外，在适当的条件下，我们建立了所提方法的$O(1/ε)$的迭代复杂度界，以获得非凸优化问题的$ε$ -平稳解.特别是，我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后，数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
Global Convergence of Langevin Dynamics Based Algorithms for Nonconvex Optimization
UCLA（加州大学洛杉矶分校）；University of Virginia（弗吉尼亚大学）
本文给出了一个统一的框架来分析基于Langevin动力学的非凸有限和优化算法的全局收敛性，该算法具有$n$分量函数。在我们的分析的核心是一个直接的分析的遍历性的数值近似朗之万动力学，这导致更快的收敛速度。具体地说，我们证明了梯度Langevin动力学（GLD）和随机梯度Langevin动力学（SGLD）收敛到几乎最小$\tilde O\big(nd/(λε) \big)$和$\tilde O\big(d^7/(λ^5ε^5) \big)$随机梯度评估，其中$d$是问题的维数，和$λ$是由GLD产生的马尔可夫链的谱间隙。这两个结果都改进了最著名的梯度复杂度结果（Raginsky等人，2017年）。此外，我们第一次证明了方差约化随机梯度Langevin动力学（SVRG-LD）的全局收敛保证几乎最小的$\tilde O\big(\sqrt{n}d^5/(λ^4ε^{5/2})\big)$随机梯度评估，这优于GLD和SGLD的梯度复杂性在一个广泛的制度。我们的理论分析揭示了一些光使用Langevin动力学为基础的算法的非凸优化与可证明的保证。
2020-10-19 cs.LG math.OC stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University（复旦大学）
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法，包括随机梯度下降，重球，Nesterov的加速梯度，在一般框架下进行了分析，温和的假设。在期望梯度收敛的基础上，通过详细讨论动量和上交叉数的影响，证明了算法的几乎必然收敛。值得注意的是，没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品，我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization
Duke University（杜克大学）；Tsinghua University（清华大学）
像SVRG这样的方差缩减技术为优化凸有限和目标提供了简单快速的算法。对于非凸目标，这些技术也可以找到一阶稳定点（具有小梯度）。然而，在非凸优化中，找到一个二阶稳定点（具有小梯度和几乎PSD Hessian）通常是至关重要的。在本文中，我们表明，稳定SVRG（SVRG的一个简单的变种）可以找到一个$ε$ -二阶平稳点，仅使用$\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$随机梯度。据我们所知，这是SVRG简单变体的第一个二阶保证。运行时间几乎匹配已知的保证寻找$ε$ -一阶平稳点。
2019-05-01 cs.LG math.OC stat.ML
