Stochastic Nonconvex Optimization with Large Minibatches
Amazon Alexa(亚马逊Alexa);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们研究非凸损失函数的随机优化问题,这是训练神经网络的典型目标。我们提出了随机近似算法,优化了一系列的正则化,非线性损失的大minibatches的样本,只使用一阶梯度信息。我们的算法可证明收敛到一个近似的临界点的预期目标,速度比minibatch随机梯度下降,并通过允许更大的minibatch更好的并行化。
2019-03-08 cs.LG
Adam with model exponential moving average is effective for nonconvex optimization
Microsoft Research(微软研究院);Boston University(波士顿大学)
本研究从理论上分析了Adam这类自适应优化算法与模型指数移动平均(EMA),证明带EMA的截断版Adam在多种非凸场景下达最优收敛速率,且逐坐标自适应在尺度差异大时有优势,为二者的实际应用提供理论依据。
2024-10-30 cs.LG math.OC
Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence
ETH Zürich(苏黎世联邦理工学院)
本文提出支持一般Bregman散度的非凸随机镜像下降收敛分析,基于标准假设建立更强收敛度量,并扩展至高概率与全局收敛,在差分隐私学习和线性神经网络训练中展示优势。
2024-02-27 cs.LG math.OC
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
由于训练数据集规模的爆炸式增长,分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的,在减少通信成本与随机梯度下降(SGD),有很少的尝试,在建立通信有效的自适应梯度方法与可证明的保证,这是广泛用于训练大规模机器学习模型。在本文中,我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题,这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点,具有相同的迭代复杂度,未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
An All-Reduce Compatible Top-K Compressor for Communication-Efficient Distributed Learning
Peking University(北京大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
提出 ARC-Top-K 压缩器,通过梯度草图对齐稀疏模式实现无索引 All-Reduce,兼顾 Top-K 性能与 Rand-K 鲁棒性,训练时间最多减少 60.7%。
2025-11-04 cs.DC cs.LG
Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games
Department of Electrical and Computer Engineering & Coordinated Science Laboratory, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电子工程与协调科学实验室部门);Department of Operations Research and Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系)
本文研究了策略优化在零和线性二次博弈中寻找纳什均衡的全局收敛性,通过分析LQ博弈的优化景观,证明了线性反馈控制策略的 stationary 点构成博弈的纳什均衡,并提出三种保证收敛到纳什均衡的投影嵌套梯度方法,同时展示了这些算法具有全局次线性和局部线性收敛率。
2021-02-10 cs.GT cs.LG cs.SY
Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting
本文提出了一种确定性框架,通过模拟提升方法在非凸矩阵感知中证明性地逃离虚假局部极小值,无需实际提升计算,且具有最小的计算成本。
2026-08-20 cs.LG math.OC
Adam Converges in Nonsmooth Nonconvex Optimization
Department of Technology, Operations, and Statistics(技术、运营与统计系)
针对Adam优化器在非光滑非凸问题中缺乏收敛保证的问题,本文首次给出了带偏差校正的经典Adam的有限时间收敛分析,证明随机缩放学习率可达到1/T^(2/13)的收敛率,并适用于重尾噪声场景。
2026-06-23 cs.LG math.OC stat.ML
Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们重温经典的问题,找到一个近似的平稳点的平均$n$光滑和可能的非凸函数。随机一阶方法在单个函数的梯度评估的数量方面的最优复杂度是$\mathcal{O}\left(n + n^{1/2}\varepsilon^{-1}\right)$,例如,通过最优SGD方法$\small\sf\color{green}{SPIDER}$(arXiv:1807.01695)和$\small\sf\color{green}{PAGE}$(arXiv:2008.10898)获得,其中$\varepsilon$是误差容限。然而,i)大- $\mathcal{O}$符号隐藏了对与函数相关联的平滑常数的关键依赖性,并且ii)这些方法中的速率和理论假设了不提供任何灵活性的简单采样机制。在这项工作中,我们纠正了这种情况。首先,我们推广的$\small\sf\color{green}{PAGE}$算法,使它可以证明几乎任何(无偏)采样机制。这在联邦学习中特别有用,因为它允许我们构建和更好地理解客户端和数据采样策略的各种组合的影响。其次,我们的分析是尖锐的,因为我们明确使用某些新颖的不等式,捕捉光滑常数和采样过程之间的复杂的相互作用。事实上,我们的分析是更好的,即使是在$\small\sf\color{green}{PAGE}$文件中分析的简单的抽样程序。然而,这个已经改进的边界可以进一步锐化,我们提出了一个不同…
2022-06-05 cs.LG math.OC stat.ML
Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently
Carnegie Mellon University(卡内基梅隆大学)
多通道稀疏盲解卷积或卷积稀疏编码是指通过观察未知滤波器与多个稀疏输入信号的循环卷积来学习未知滤波器的问题。这个问题在信号处理、计算机视觉和逆问题中有许多应用。然而,由于观测值相对于未知滤波器和输入的双线性结构以及稀疏性约束,有效地学习滤波器是具有挑战性的。在本文中,我们提出了一种新的方法的基础上非凸优化球流形上最小化光滑代理的稀疏促进损失函数。它表明,流形梯度下降与随机初始化将可证明恢复过滤器,缩放和移位模糊,只要观察的数量是足够大的适当的随机数据模型下。数值实验表明,所提出的方法的性能与现有的比较。
2021-04-06 cs.IT cs.LG eess.SP
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院);Industrial and Operations Engineering University of Michigan(密歇根大学工业与运营工程学院)
本文提出一种廉价预条件器,恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度,并使其对全局最小化器的病态条件不敏感,同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services(亚马逊云科技);Hong Kong University of Science and Technology(香港科技大学)
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近,人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化,具有多数表决的signSGD实现了通信成本的32倍降低。然而,它的收敛是基于不切实际的假设,在实践中可能会出现分歧。在本文中,我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩,它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块,引入了逐块压缩器,使得每个梯度块以具有缩放因子的1位格式压缩和传输,从而导致通信减少近32倍。实验结果表明,该方法与全精度分布式动量SGD算法收敛速度相当,且测试精度相同。特别是,在ImageNet上使用7个工作人员进行分布式ResNet训练时,所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度,但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
A Nonconvex Approach for Exact and Efficient Multichannel Sparse Blind Deconvolution
New York University(纽约大学);the Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究了多通道稀疏盲反卷积(MCS-BD)问题,其任务是从循环卷积$\mathbf y_i = \mathbf a \circledast \mathbf x_i $($i=1,\cdots,p$)中同时恢复一个核$\mathbf a$和多个稀疏输入$\{\mathbf x_i\}_{i=1}^p$.我们制定的任务作为一个非凸优化问题的领域。根据温和的统计假设的数据,我们证明了香草黎曼梯度下降(RGD)方法,随机初始化,可证明恢复内核$\mathbf a$和信号$\{\mathbf x_i\}_{i=1}^p$到一个有符号的移位模糊。与最先进的结果相比,我们的工作在样本复杂度和计算效率方面显示出显着的改进。我们的理论结果得到了数值实验的证实,这表明所提出的方法优于以前的方法在合成和真实数据集上的性能。
2020-03-01 cs.LG eess.IV eess.SP
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
Nesterov的加速梯度下降(AGD),一般家庭的“动量方法”的一个例子,证明了实现更快的收敛速度比梯度下降(GD)在凸设置。然而,这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形,并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点,比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知,这是第一个Hessian-free算法找到一个二阶稳定点比GD更快,也是第一个单循环算法,甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想:(1)使用一个简单的哈密顿函数,灵感来自连续时间的角度,AGD单调递减每一步,即使是非凸函数,和(2)一个新的框架称为改善或本地化,这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Momentum Provably Improves Error Feedback!
ETH AI Center & ETH Zurich(苏黎世联邦理工学院人工智能中心与苏黎世联邦理工学院);KAUST(阿卜杜拉国王科技大学)
本文针对分布式训练中误差反馈算法在非凸设置下需依赖大批量才能收敛的问题,提出将Polyak动量应用于EF21的EF21-SGDM算法,并进一步提出双动量版本,在标准假设下改进通信与样本复杂度。
2023-10-30 cs.DC cs.LG math.OC
STay-ON-the-Ridge: Guaranteed Convergence to Local Minimax Equilibrium in Nonconvex-Nonconcave Games
Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Berkeley(加州大学伯克利分校)
涉及非凸-非凹目标的最小-最大优化问题在对抗训练和其他多智能体学习环境中有着重要的应用。然而,没有已知的梯度下降为基础的方法是保证收敛到(甚至是局部概念)最小-最大平衡的非凸-非凹设置。对于所有已知的方法,存在相对简单的目标,它们循环或表现出不同于收敛到一个点的其他不期望的行为,更不用说收敛到一些博弈理论上有意义的点-\cite{flokas2019poincare,hsieh2021limits}。唯一已知的收敛性保证在初始化非常接近局部极小-极大平衡点~ \cite{wang2019solving}的强假设下成立。此外,上述挑战不仅仅是理论上的好奇心。所有已知的方法在实践中都是不稳定的,即使在简单的设置中。我们提出了第一种方法,保证收敛到一个局部的最小-最大平衡光滑非凸非凹目标。我们的方法是二阶和可证明的逃逸极限环,只要它是在一个容易找到的初始点初始化。我们的方法的定义和它的收敛性分析的动机是由问题的拓扑性质。特别是,我们的方法不是设计来减少一些潜在的功能,如距离的地方最小-最大平衡或投影梯度的目标,但设计满足拓扑性质,保证避免循环,并暗示其收敛。
2022-10-18 cs.GT cs.LG math.OC
Structured signal recovery from quadratic measurements: Breaking sample complexity barriers via nonconvex optimization
University of Southern California(南加州大学)
本文研究从$r=1,2,...,m$的形式为$y_r=|<a_r,x>|^2$的$m$二次测量中恢复未知但结构化的信号$x \in R^n$的问题。我们专注于欠定设置的测量的数量是显着小于信号的尺寸($m<<n$)。我们制定的恢复问题作为一个非凸的优化问题,通过约束的优化变量的信号的先验结构信息。我们证明了投影梯度下降,当初始化的期望信号的邻域中,以线性速度收敛到未知信号。这些结果适用于任何约束集(凸或非凸)提供收敛保证的全局最优,即使当目标函数和约束集是非凸的。此外,这些结果与测量的数量保持一致,所述测量的数量与唯一地识别未知信号所需的最小测量数量仅相差恒定因子。我们的研究结果提供了第一个可证明的易于处理的算法,这种数据贫乏的制度,打破了局部样本的复杂性障碍,出现在最近的文献。在配套文件中,我们展示了有利的性能的优化问题,可以使类似的结果继续持有更多的全球性(在整个环境空间)。总的来说,这两篇论文利用并开发了强大的工具,统一收敛的经验过程,可能有更广泛的影响,严格的理解约束非凸优化算法。本文中的数学结果还为新一代数据驱动的无相位成像系统铺平了道路,该系统可以利用先验信息显着减少采集时间并增强图像重建,从而以前所未有的速度和分辨率实现纳米级成像。
2017-02-20 cs.IT cs.LG math.FA
Robust Second-Order Nonconvex Optimization and Its Application to Low Rank Matrix Sensing
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Brown University(布朗大学);Duke University(杜克大学)
本文针对强污染模型下的非凸优化,提出高效寻找近似二阶平稳点的通用框架,并应用于低秩矩阵感知,开发出可证明鲁棒的算法,同时建立统计查询下界表明样本复杂度的二次依赖是必要的。
2024-03-12 cs.AI cs.DS cs.LG
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对病态低秩估计问题,提出缩放梯度下降(ScaledGD)算法,其收敛速率独立于条件数,保持GD的低迭代成本,并在过参数化及噪声下实现快速全局收敛,强调预处理在非凸估计中的价值。
2023-10-09 cs.LG math.OC stat.ML
EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback
KAUST(阿卜杜拉国王科技大学);TU Munich(慕尼黑工业大学)
误差反馈(EF),也称为误差补偿,是在监督机器学习模型的分布式训练的上下文中非常流行的收敛稳定机制,其通过使用压缩通信压缩机制(诸如Top- $k$)来增强。首先由Seide等人(2014)作为启发式提出,EF直到最近才拒绝任何理论理解[Stich等人,2018年,Alistarh等人,2018年]。然而,所有现有的分析要么i)仅应用于单个节点设置,ii)依赖于非常强且通常不合理的假设,例如梯度的全局有界性,或迭代依赖的假设,这些假设不能先验地检查并且在实践中可能不成立,或者iii)通过引入额外的无偏压缩器来规避这些问题,这增加了通信成本。在这项工作中,我们通过提出和分析一种新的EF机制来解决所有这些缺陷,我们称之为EF 21,它在实践中始终大大优于EF。我们的理论分析仅依赖于标准假设,适用于分布式异构数据设置,并导致更好,更有意义的利率。特别地,我们证明了EF 21对于光滑非凸问题具有快速的$O(1/T)$收敛速度,击败了$O(1/T^{2/3})$的上界,这是有界梯度假设。我们进一步提高这一点,PL函数,这是第一个线性收敛的EF型方法不依赖于无偏压缩机的快速线性速度。由于EF有大量的应用,我们相信我们的2021变体EF 21可以对通信高效分布式学习的实践产生很大的影响。
2021-06-09 cs.LG math.OC stat.ML
Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);AIRI;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Skoltech(斯科尔科沃科技学院)
针对分布式优化中下行通信低效问题,提出新型下行压缩方法MARINA-P及结合上行压缩与动量的双向压缩方法M3,理论和实验均验证其通信复杂度随工作节点数增加而优化的优势。
2024-11-02 cs.LG math.OC stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质,最先进的程序通常需要适当的正则化(例如修剪,正则化成本,投影),以保证快速收敛。然而,对于诸如梯度下降之类的常规过程,先验理论要么推荐高度保守的学习率以避免过冲,要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象:即使在没有显式正则化的情况下,梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上,梯度下降遵循的轨迹停留在具有良好几何形状的盆地内,由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行,而不会过冲,这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题,即相位恢复,低秩矩阵完成,和盲反卷积,我们建立了梯度下降实现接近最优的统计和计算保证,而无需显式正则化。特别是,通过将统计建模与通用优化理论相结合,我们开发了一个通用的配方,通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品,嘈杂的矩阵完成,我们证明,梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
A Provably Communication-Efficient Asynchronous Distributed Inference Method for Convex and Nonconvex Problems
University of Minnesota(明尼苏达大学)
针对异步协议下的一般非凸非光滑信号处理和机器学习问题,提出并分析了一个通信高效的分布式优化框架。在每次迭代中,工作机器使用它们自己的本地数据计算已知经验损失函数的梯度,并且主机器解决相关的最小化问题以更新当前估计。我们证明了,对于非凸非光滑问题,该算法收敛于一个次线性率的通信轮数,符合最好的理论速度,可以实现这类问题。对于光滑部分为强凸的复合损失函数问题,在不对局部数据作任何统计假设的情况下建立了线性收敛.大量的数值实验验证,所提出的方法的性能确实提高-有时显着-在其他国家的最先进的算法在总的通信效率。
2019-03-16 cs.LG math.OC
Provably Convergent Data-Driven Convex-Nonconvex Regularization
University of Cambridge(剑桥大学);California Institute of Technology(加州理工学院);IIT Kharagpur(印度理工学院卡拉格普尔分校)
针对深度学习正则化逆问题缺乏可证明保证的问题,提出输入弱凸神经网络结构,将学习型对抗正则化适配到凸-非凸框架,实现可证明收敛且解决了以往方法的数值问题。
2023-11-02 cs.CV cs.LG stat.ML
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization
University of California, Los Angeles(加州大学洛杉矶分校);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
Adam等自适应梯度方法在深度学习优化中越来越受欢迎。然而,已经观察到,与(随机)梯度下降相比,Adam可以收敛到不同的解决方案,在许多深度学习应用中(如图像分类),即使使用微调的正则化,测试误差也明显更差。在本文中,我们对这一现象提供了理论解释:我们证明了,在从相同的随机初始化开始学习过参数化的两层卷积神经网络的非凸设置中,对于一类数据分布,(受图像数据启发),Adam和梯度下降(GD)可以收敛到训练目标的具有可证明不同的泛化误差的不同全局解,即使使用权重衰减正则化。相比之下,我们表明,如果训练目标是凸的,并采用权重衰减正则化,任何优化算法,包括亚当和GD将收敛到相同的解决方案,如果训练成功。这表明Adam的较差泛化性能从根本上与深度学习优化的非凸景观有关。
2021-08-25 cs.LG math.OC stat.ML
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University(宾夕法尼亚州立大学)
局部SGD是一种很有前途的方法,以克服分布式学习中的通信开销,减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展,但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发,例如对抗鲁棒学习和训练生成对抗网络(GANs),我们提出了局部随机梯度下降Ascent(局部SGDA),其中原始变量和对偶变量可以在本地进行训练并定期平均,以显着减少通信次数。我们表明,本地SGDA可以证明优化分布式极大极小问题的同质和异构数据,减少通信数量,并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外,我们提出了一种新的变体局部SGDA+,解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
From Dual Tracking to Clipping: Provably Faster Distributionally Robust Multi-Objective Optimization
Department of Computer Science(计算机科学系);Texas A& M University(德克萨斯A&M大学);University of Maryland(马里兰大学)
本文提出分布鲁棒多目标优化(DR-MOO),通过多梯度下降算法(MGDA)在非凸设定下实现ε-Pareto- stationary点,改进样本复杂度至O(ε^{-4})。
2026-10-07 cs.LG math.OC
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学);Air Force Research Laboratory(美国空军研究实验室)
张量为表示多属性数据和多方式交互提供了强大而灵活的模型,在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构,本文提出了一种尺度梯度下降算法(ScaledGD)算法,以直接恢复张量因子与定制的频谱初始化,并表明,它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级,忽略其他参数依赖性,其中$n$是张量的维数。与现有技术相比,这导致对低秩张量估计的极其可扩展的方法,现有技术遭受以下缺点中的至少一个:对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知,ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用,其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing
Carnegie Mellon University(卡内基梅隆大学)
本文通过平滑视角分析采样优化,揭示平滑在逃逸局部极小值中的作用,并提出DIDA算法实现全局收敛。
2026-05-15 cs.LG
Riemannian SVRG: Fast Stochastic Optimization on Riemannian Manifolds
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
研究了黎曼流形上测地光滑函数有限和的优化问题。虽然方差缩减技术优化有限和已经目睹了巨大的关注,在最近几年,现有的工作仅限于向量空间问题。介绍了一种新的方差缩减黎曼最优化方法--黎曼SVRG(RSVRG)。我们分析RSVRG测地线凸和非凸(光滑)函数。我们的分析表明,RSVRG继承了通常的SVRG方法的优点,但取决于影响其收敛性的流形曲率的因素。据我们所知,RSVRG是第一个可证明的快速随机黎曼方法。此外,我们的论文提出了第一个非渐近复杂性分析(新的批设置)的非凸黎曼优化。我们的研究结果有几个方面的影响,例如,他们提供了一个黎曼的角度方差减少PCA,这承诺一个简短的,透明的收敛分析。
2017-04-07 cs.LG math.OC
Causal Invariance Learning via Efficient Nonconvex Optimization
Department of Statistics, Rutgers University(罗格斯大学统计系);Seminar for Statistics, ETH Zürich(苏黎世联邦理工学院统计研究所);Center for Data Science, Zhejiang University(浙江大学数据科学中心)
本文提出NegDRO框架,通过高效非凸优化实现因果不变性学习,解决了因果结果模型的识别与估计问题。
2026-01-07 cs.LG math.OC math.ST
Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本文提出ScaledGD算法,通过缩放梯度下降法在t-SVD框架下实现低秩张量估计的线性收敛,克服了传统方法在条件数依赖上的限制。
2026-02-14 cs.IT cs.LG math.IT
Deterministic Nonsmooth Nonconvex Optimization
University of California, Berkeley(加州大学伯克利分校);Weizmann Institute of Science(魏茨曼科学研究院)
研究非光滑非凸Lipschitz函数的优化复杂度,证明确定性算法存在Ω(d)下界且需访问函数值,但通过为ReLU网络提出一种确定性平滑方法,实现了首个无维度确定性优化算法。
2025-05-02 cs.LG math.OC
Adaptive Compression for Communication-Efficient Distributed Training
KAUST(阿卜杜拉国王科技大学);Institut Polytechnique de Paris(巴黎理工学院);MIPT(莫斯科物理技术学院)
我们提出了自适应压缩梯度下降(AdaCGD)-一种新的优化算法,用于具有自适应压缩级别的监督机器学习模型的通信有效训练。我们的方法受到Richtarik等人(2022)最近提出的三点压缩器(3 PC)框架的启发,其中包括误差反馈(EF 21),惰性聚合梯度(LAG)及其组合作为特例,并在弱假设下提供了这些方法的当前最先进的速率。虽然上述机制提供了固定的压缩级别,或者仅在两个极端之间进行适应,但我们的建议是执行更精细的适应。特别地,我们允许用户选择任意数量的任意选择的压缩压缩机制,例如具有用户定义的稀疏化级别K的Top-K稀疏化,或者具有用户定义的量化级别选择的量化,或者它们的组合。AdaCGD在优化过程中自适应地选择合适的压缩器和压缩级别。除了i)提出一种理论上的多自适应通信压缩机制之外,我们还ii)将3 PC框架扩展到双向压缩,即,我们允许服务器也进行压缩,以及iii)在强凸、凸和非凸设置中提供尖锐的收敛边界。凸政权的结果是新的,即使是我们的一般机制,包括3 PC和EF 21的几个关键的特殊情况。在所有的制度,我们的利率优于所有现有的自适应压缩方法。
2022-10-31 cs.DC cs.IT cs.LG
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL(瑞士联邦理工学院);TUM(慕尼黑工业大学)
本文研究用户通过成对比较给出反馈的推荐问题,证明非凸损失在真实解附近具有受限强凸性,使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
Last-iterate convergence rates for min-max optimization
Georgia Institute of Technology(佐治亚理工学院)
虽然凸-凹最小-最大优化的经典工作依赖于平均收敛结果,但非凸应用(如训练生成对抗网络)的出现重新引起了人们对最后收敛保证的兴趣。证明最后一次收敛是具有挑战性的,因为许多自然算法,如同时梯度下降/上升,可证明发散或循环,即使在简单的凸-凹最小-最大设置,和以前的工作对全球最后一次收敛速度已被限制到双线性和凸-强凹设置。在这项工作中,我们表明,哈密顿梯度下降(HGD)算法实现线性收敛在各种更一般的设置,包括凹凸问题,满足“充分双线性”的条件。我们还证明了类似的收敛速度的共识优化(CO)算法[MNG 17]的CO的一些参数设置。
2019-10-25 cs.GT cs.LG math.OC
3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation
KAUST(阿卜杜拉国王科技大学);ETH AI Center(苏黎世联邦理工学院人工智能中心);ETH Zurich(苏黎世联邦理工学院);MIPT(莫斯科物理技术学院)
我们提出并研究了一类新的梯度通信机制的通信效率的培训-三点压缩机(3 PC)-以及有效的分布式非凸优化算法,可以利用它们。与依赖于静态压缩机选择(例如,Top- $K$),我们的类允许压缩器在整个训练过程中{ \em进化},目的是提高底层方法的理论通信复杂性和实际效率。我们表明,我们的一般方法可以恢复最近提出的最先进的错误反馈机制EF 21(Richtárik等人,2021)及其作为特例的理论性质,同时也引出了许多新的高效方法。值得注意的是,我们的方法允许我们改进{ \em惰性聚合}文献(Chen等人,2018年)。作为一个副产品,可能是独立的利益,我们提供了一个新的和根本的懒惰的聚合和错误反馈文献之间的联系。我们工作的一个特点是我们不要求压缩机是无偏的。
2022-02-02 cs.DC cs.DS cs.LG
SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
Google Research(谷歌研究院)
该研究结合可微分剪枝与组合优化,提出SequentialAttention++框架,理论证明其非凸正则化特性与近似最优性,在ImageNet和Criteo数据集上实现块剪枝任务的SOTA性能。
2025-02-10 cs.LG
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
非凸极大极小问题经常出现在新兴的机器学习应用中,例如生成对抗网络和对抗学习。简单的算法,如梯度下降上升(GDA)是解决这些非凸博弈的常见做法,并获得了大量的经验成功。然而,已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中,我们证明了,对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式,交替梯度下降上升(AGDA)算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法,达到一个可证明的速度比AGDA时,问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);AIRI;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);University of Pavia(帕维亚大学)
针对异步集中式分布式非凸随机优化中计算与通信异构的问题,提出基于无偏压缩的Shadowheart SGD,证明其时间复杂度优于现有集中式方法且在压缩通信集中式方法族中最优,同时拓展到双向场景给出对应方法。
2024-11-02 cs.LG math.OC
A Wasserstein Minimax Framework for Mixed Linear Regression
MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归(MLR)问题。我们提出了一个最佳的基于运输的框架MLR问题,Wasserstein混合线性回归(WMLR),它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析,WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题,该问题可以通过梯度下降上升(GDA)算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下,我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后,我们讨论了WMLR在联邦学习任务中的应用,其中训练样本由网络中的多个代理收集。与期望最大化算法不同,WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果,这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
Revisiting Distributed Sign-Based Variance Reduction
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
本文针对分布式符号方法在异构数据下的偏差问题,提出通过无偏压缩递归梯度增量跟踪全局梯度,实现了非凸随机和有限和优化的最优收敛速率,并匹配集中式样本复杂度。
2026-09-17 cs.LG math.OC stat.ML
Small random initialization is akin to spectral learning: Optimization and generalization guarantees for overparameterized low-rank matrix reconstruction
University of Southern California(南加州大学)
最近,在理解基于梯度的方法在超参数化模型下的收敛性和推广性方面取得了重大的理论进展。然而,优化和推广的许多方面,特别是小随机初始化的关键作用还没有完全理解。在本文中,我们采取了一个步骤来揭开这个角色的神秘面纱,证明小随机初始化,然后几次迭代的梯度下降的行为类似于流行的谱方法。我们还表明,这种隐式谱偏置从小随机初始化,这是可证明的更突出的overparameterized模型,也把梯度下降迭代在一个特定的轨迹上的解决方案,不仅是全球最优的,但也推广得很好。具体地说,我们专注于通过自然的非凸公式从几个测量重建一个低秩矩阵的问题。在这种情况下,我们表明,从小的随机初始化的梯度下降迭代的轨迹可以近似分解为三个阶段:(I)谱或对齐阶段,其中我们表明迭代具有类似于谱初始化的隐式谱偏差,允许我们表明在该阶段结束时迭代的列空间和底层低秩矩阵充分对齐,(II)一个鞍避免/细化阶段,我们表明,梯度迭代的轨迹远离某些退化鞍点,和(III)一个局部细化阶段,我们表明,避免鞍迭代后,迅速收敛到底层的低秩矩阵。我们的分析是基于对超参数化非凸优化方案的分析的见解,这些方案可能对低秩重建之外的计算问题产生影响。
2022-09-26 cs.IT cs.LG math.IT
Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent
University of Oxford, Mathematical Institute(牛津大学数学研究所);Deeptech Consulting(德普科技咨询);ETH Zurich, Department of Mathematics(苏黎世联邦理工学院数学系);Technical University of Munich, School of Computation, Information and Technology, Department of Mathematics(慕尼黑技术大学计算、信息与技术学院数学系);Munich Center for Machine Learning Munich Data Science Institute(慕尼黑机器学习中心慕尼黑数据科学研究所)
本文将基于共识的优化解释为梯度下降的随机松弛,揭示其在非凸优化中的全局收敛性及对能量壁垒的克服能力。
2026-02-27 cs.LG cs.NA math.NA
Clip21: Error Feedback for Gradient Clipping
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Institut Polytechnique de Paris(巴黎理工学院);KAUST(阿卜杜拉国王科技大学)
针对差分隐私约束下分布式梯度裁剪引入偏差导致收敛变慢的问题,本文提出Clip21误差反馈机制,首次在光滑非凸情形下达到与分布式梯度下降相同的O(1/K)收敛速率,并显著优于已有方法。
2023-05-30 cs.LG math.OC stat.ML
Online Convex Optimization with Heavy Tails: Old Algorithms, New Regrets, and Applications
Stern School of Business, New York University(纽约大学斯特恩商学院)
本文研究了在重尾环境下在线凸优化的旧算法,证明了无需修改算法即可获得最优遗憾界,且在无梯度裁剪情况下有效解决非光滑非凸优化问题。
2026-03-19 cs.LG math.OC stat.ML
Langevin Multiplicative Weights Update with Applications in Polynomial Portfolio Management
School of Information Management & Engineering, Shanghai University of Finance and Economics(上海财经大学信息管理与工程学院);College of Business, Shanghai University of Finance and Economics(上海财经大学商学院)
针对单纯形上的非凸约束全局优化问题,提出 LMWU 算法,通过引入与非欧几何匹配的噪声缩放实现非渐近收敛至内部全局极小值,并在多项式投资组合管理真实数据中验证了其有效性。
2025-03-03 cs.LG math.OC
Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学前沿交叉科学学院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications(北京邮电大学数学科学学院数学与信息网络教育部重点实验室)
本文研究了容错分布式随机梯度下降,分析了带和不带局部动量的变体,推导了非凸光滑目标和满足Polyak-Lojasiewicz条件的收敛速率,并给出了匹配下界以证明上界是紧的。
2026-04-11 cs.LG math.OC
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Massachusetts Institute of Technology(麻省理工学院);UC Berkeley(加州大学伯克利分校)
在深度神经网络分类器的对抗训练和生成对抗网络的训练中使用最小-最大优化激发了对非凸-非凹优化目标的研究,这些目标在这些应用中经常出现。不幸的是,最近的研究结果已经确定,即使近似的一阶稳定点,这样的目标是棘手的,即使在光滑条件下,激励研究的最小最大目标与其他结构。我们引入了一类新的结构化非凸非凹极小极大最优化问题,提出了一个推广的外梯度算法,可证明收敛到一个稳定点。该算法不仅适用于欧几里得空间,而且适用于一般的$\ell_p$ -赋范有限维实向量空间。我们还讨论了它的稳定性下的随机预言,并提供其样本复杂性的界限。我们的迭代复杂性和样本复杂性的界限匹配或改善最好的已知的界限相同或更一般的非凸非凹设置,如满足变分相干或在其中弱解相关的变分不等式问题被假定存在。
2021-02-27 cs.DS cs.LG math.OC
DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization
Carnegie Mellon University(卡内基梅隆大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
多智能体环境中的新兴应用,如物联网,网络传感,自治系统和联邦学习,要求分散算法的有限和优化,是资源有效的计算和通信。在本文中,我们考虑的原型设置,代理合作,以尽量减少本地损失函数的总和,只与他们的邻居在一个预定的网络拓扑结构进行通信。我们开发了一种新的算法,称为非凸有限和优化的分散随机递归梯度方法(DESTRESS),它匹配的最佳增量一阶预言(IFO)的复杂性集中式算法寻找一阶稳定点,同时保持通信效率。详细的理论和数值比较证实,资源效率的DESTRESS提高了以前的分散算法在广泛的参数制度。DESTRESS利用了几个关键的算法设计思想,包括随机激活的随机递归梯度更新与小批量本地计算,梯度跟踪与额外的混合(即,多轮闲聊),以及仔细选择超参数和新的分析框架,以可证明地实现期望的计算-通信权衡。
2021-12-01 cs.LG math.OC stat.ML
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University(西北大学);Princeton University(普林斯顿大学)
时间差学习(TD)与神经网络相结合,是深度强化学习最基本的构建模块之一。然而,由于价值函数逼近的非线性,这种耦合会导致优化问题的非凸性,甚至发散。因此,神经TD的全局收敛性仍然不清楚。在本文中,我们证明了第一次,神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是,我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的,这也在神经TD的经验成功中起着至关重要的作用。除了政策评估,我们建立了神经(软)Q-学习,这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning
Texas A&M University(德克萨斯A&M大学);Cainiao Network(菜鸟网络);University of California, Davis(加州大学戴维斯分校);The Chinese University of Hong Kong(香港中文大学)
我们考虑的问题,最大化的线性映射的$\ell_1$范数的球,这出现在各种机器学习应用,如正交字典学习(ODL)和鲁棒子空间恢复(RSR)。该问题是数值上的挑战,由于其非光滑的目标和非凸约束,其算法方面还没有得到很好的探索。在本文中,我们将展示如何利用球的流形结构来设计快速算法来解决这个问题。具体而言,我们的贡献是三方面的。首先,我们提出了一个流形邻近点法(ManPPA)的问题,并表明它以次线性速度收敛。此外,我们表明,ManPPA可以实现平方收敛速率时,适用于ODL和RSR问题。其次,我们提出了一种称为StManPPA,这是非常适合于大规模计算的ManPPA的随机变体,并建立其次线性收敛速度。ManPPA和StManPPA都具有比现有的子梯度型方法更快的收敛速度。第三,使用ManPPA作为构建块,我们提出了一种新的方法来解决矩阵模拟的问题,其中球被替换为Stiefel流形。通过对ODL和RSR问题的大量数值实验,验证了所提方法的有效性。
2021-07-21 cs.CV cs.LG eess.SP
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research(百度研究院);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题,即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩,最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能,并具有良好的理论特性,但由于重复访问单个奇异值,计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解,提出了一种新的非凸低秩正则化器,称为“核范数减Frobenius范数”正则化器,它是可扩展的,自适应的和声音。我们首先证明了它具有自适应收缩特性。此外,我们发现它的因式分解的形式,绕过奇异值的计算,并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明,所提出的方法获得了最先进的恢复性能,同时是最快的相比,现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Nonconvex Optimization Meets Low-Rank Matrix Factorization: An Overview
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);Princeton University(普林斯顿大学)
近年来,在通过非凸优化来开发可证明准确和有效的低秩矩阵分解算法方面取得了实质性进展。虽然传统的智慧往往采取了非凸优化算法,由于他们的敏感性虚假的局部最小值,简单的迭代法,如梯度下降在实践中取得了显着的成功。然而,直到最近,理论基础在很大程度上仍然缺乏。在这个教程式的概述中,我们强调了统计模型在实现具有性能保证的高效非凸优化方面的重要作用。我们回顾了两种对比的方法:(1)两阶段算法,其中包括一个定制的初始化步骤,随后连续细化;和(2)全球景观分析和初始化免费算法。讨论了几个典型的矩阵分解问题,包括但不限于矩阵传感,相位恢复,矩阵完成,盲反卷积,鲁棒主成分分析,相位同步,和联合对准。特别注意说明他们的分析背后的关键技术见解。这篇文章证明了最优化和统计的综合考虑导致了丰硕的研究成果。
2019-09-19 cs.IT cs.LG eess.SP