Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
我们分析随机算法优化非凸,非光滑有限和问题,其中非凸部分是光滑的,非光滑部分是凸的。令人惊讶的是,与光滑情况不同,我们对这个基本问题的了解非常有限。例如,不知道具有常数小批量的邻近随机梯度法是否收敛到一个稳定点。为了解决这个问题,我们开发了快速的随机算法,可证明收敛到一个固定的点恒定的小批量。此外,使用这些算法的一个变体,我们证明了比批量邻近梯度下降更快的收敛速度。最后,我们证明了全局线性收敛速率的一个有趣的子类的非光滑非凸函数,其中包括一些最近的工作。本文建立在我们最近关于光滑非凸优化的快速随机方法的一系列论文[22,23]的基础上,对非凸和非光滑函数进行了新的分析。
2016-05-23 cs.LG math.OC stat.ML
Achieving Linear Speedup with ProxSkip in Distributed Stochastic Optimization
School of Computer Science and Engineering, Suzhou University of Technology(苏州科技大学计算机科学与工程学院);Department of Electrical Engineering, Kuwait University(科威特大学电子工程系);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);King Abdullah University of Science and Technology(卡塔尔科学与技术大学);School of Mathematics, Southeast University(东南大学数学系);Purple Mountain Laboratories(紫金山实验室)
本文研究了ProxSkip在非凸设置下的收敛性,证明其在节点数量上实现线性加速,并展示了局部更新对通信效率的提升作用。
2026-09-14 cs.LG math.OC stat.ML
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley(加州大学伯克利分校)
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点,并找到近似的局部极小值一般光滑,非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果,找到当地的最小值,而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University(斯坦福大学);University of British Columbia(不列颠哥伦比亚大学);Amii(阿米研究院)
本文提出广义随机Nesterov加速方法的新收敛分析,在插值条件下将强增长常数依赖从ρ降至√ρ,加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton(南安普顿大学)
已经提出了许多优化方法来优化非凸目标(例如深度学习模型),例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明,这些优化方法可以通过使用无偏梯度估计器来收敛。然而,在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。为了产生快速收敛,这些优化策略有两个权衡,即随机/批量和有偏/无偏之间。本文提出了一种综合的方法,可以控制的性质的随机元素的优化,并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明,这个超参数可以配置为提供一个有效的平衡,以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Achieving ${O}(ε^{-1.5})$ Complexity in Hessian/Jacobian-free Stochastic Bilevel Optimization
University at Buffalo(布法罗大学)
本文提出无 Hessian/Jacobian 的双层优化器 FdeHBO,通过单循环结构、有限差分近似和动量更新,首次在非凸-强凸随机双层优化中实现 ${O}(ε^{-1.5})$ 样本复杂度。
2025-04-06 cs.LG math.OC stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa(爱荷华大学);Nanjing University(南京大学)
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快,严重依赖于双线性结构的问题,这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法,使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题,没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下,得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如,对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题,算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Faster Stochastic First-Order Method for Maximum-Likelihood Quantum State Tomography
National Taiwan University(国立台湾大学);Hon Hai (Foxconn) Quantum Computing Centre(鸿海(富士康)量子计算中心)
在极大似然量子态层析成像中,样本大小和维数都随着量子比特的数量呈指数增长。因此,需要开发一种随机一阶方法,就像现代机器学习的随机梯度下降一样,来计算极大似然估计。为此,我们提出了一种算法称为随机镜像下降与伯格熵。其预期优化误差以$O ( \sqrt{ ( 1 / t ) d \log t } )$速率消失,其中$d$和$t$分别表示迭代的维数和次数。其每次迭代的时间复杂度为$O ( d^3 )$,与样本大小无关。据我们所知,这是目前计算最快的随机一阶方法的最极大似然量子态层析成像。
2022-11-23 cs.LG math.OC quant-ph
Train faster, generalize better: Stability of stochastic gradient descent
Google(谷歌)
我们证明了用随机梯度法(SGM)训练的参数模型具有零的泛化误差。我们证明了我们的结果,认为SGM是算法稳定的Bousquet和Elisseeff的意义。我们的分析只采用凸和连续优化的基本工具。我们推导出的稳定性界限下的凸和非凸优化标准Lipschitz和光滑的假设。将我们的结果应用到凸的情况下,我们提供了新的见解,为什么多个时代的随机梯度方法推广以及在实践中。在非凸的情况下,我们对神经网络中的常见做法给出了新的解释,并正式证明了用于训练大型深度模型的流行技术确实是促进稳定性的。我们的研究结果从概念上强调了减少培训时间的重要性。
2016-02-07 cs.LG math.OC stat.ML
Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所);Leiden University(莱顿大学)
我们考虑在线学习算法,保证最坏情况下的后悔率在对抗性的环境(因此,他们可以安全地部署,并将执行鲁棒性),但最佳地适应有利的随机环境(因此,他们将在各种实际重要性的设置表现良好)。我们通过著名的伯恩斯坦(a.k.a.广义Tsybakov边限)条件。对于最近的两个算法(眯着眼睛的对冲设置和MetaGrad的在线凸优化),我们表明,他们的数据依赖的个人序列的遗憾保证的特定形式意味着他们自动适应随机环境的伯恩斯坦参数。我们证明,这些算法在各自的设置中达到快速的速度都在预期和高概率。
2016-05-20 cs.LG
Stochastic Variance-Reduced ADMM
Hong Kong University of Science and Technology(香港科技大学)
交替方向乘子法(ADMM)是机器学习中一种有效的优化求解方法。最近,随机ADMM已经与随机梯度的方差缩减方法相结合,导致SAG-ADMM和SDCA-ADMM具有快速收敛速度和低迭代复杂度。但是,它们的空间要求仍然很高。在本文中,我们提出了一个集成的ADMM与随机方差约减梯度(SVRG)的方法。与SCAS-ADMM不同的是,该算法保留了SAG-ADMM和SDCA-ADMM的快速收敛优点,但其存储要求非常低,甚至与样本大小$n$无关。我们还将所提出的方法推广到非凸问题,并得到了$O(1/T)$的收敛速度。实验结果表明,该算法与SAG-ADMM和SDCA-ADMM一样快,比SCAS-ADMM快得多,并且可以用于更大的数据集。
2016-10-16 cs.LG math.OC stat.ML
Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们考虑的随机组合优化问题提出的\cite{wang2017stochastic},它的应用范围从估计到统计和机器学习。我们提出了第一个基于ADMM的算法com-SVR-ADMM,并证明了com-SVR-ADMM对强凸和Lipschitz光滑目标线性收敛,并且具有$O( \log S/S)$的收敛速度,当目标是凸和Lipschitz光滑时,它改进了\cite{wang2016accelerating}的$O(S^{-4/9})$速度.此外,当目标为凸但不具有Lipschitz光滑性时,com-SVR-ADMM具有$O(1/\sqrt{S})$的速率.我们还进行了实验,并表明它优于现有的算法。
2017-05-22 cs.LG stat.ML
Fast Asynchronous Parallel Stochastic Gradient Decent
Nanjing University(南京大学)
随机梯度下降(SGD)及其变体由于其效率和有效性而在机器学习中越来越受欢迎。为了处理大规模问题,研究人员最近提出了几种用于多核系统的并行SGD方法。然而,现有的并行SGD方法在实际应用中不能达到令人满意的性能。本文提出了一种快速异步并行SGD方法AsySVRG,通过设计一种异步策略来并行化最近提出的SGD变体随机方差约简梯度~(SVRG)。理论和实验结果都表明,AsySVRG可以优于现有的最先进的并行SGD方法,如Hogwild!在收敛速度和计算成本方面。
2015-08-24 cs.LG stat.ML
Escaping Saddle Points Faster with Stochastic Momentum
Georgia Institute of Technology(佐治亚理工学院)
具有随机动量的随机梯度下降(SGD)在非凸随机优化中很受欢迎,特别是用于深度神经网络的训练。在标准SGD中,参数是通过在一批示例上沿着当前梯度的路径进行改进来更新的,其中添加“动量”项使更新偏向于先前参数变化的方向。在非随机凸优化中,可以证明动量调整在许多设置中可证明地减少收敛时间,但这样的结果在随机和非凸设置中是难以捉摸的。与此同时,一个广泛观察到的经验现象是,在训练深度网络时,随机动量似乎显着改善了收敛时间,它的变体在其他流行更新方法的发展中蓬勃发展,例如ADAM [KB 15],AMSGrad [RKK 18]等。在本文中,我们提出了一个答案:随机动量改进了深度网络训练,因为它修改了SGD以更快地逃离鞍点,从而更快地找到二阶稳定点。我们的理论结果也揭示了如何选择理想的动量参数的相关问题-我们的分析表明,$β\in [0,1)$应该是大的(接近1),这与经验发现相符。我们还提供了进一步验证这些结论的实验结果。
2021-06-05 cs.LG
How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD
Microsoft Research(微软研究院)
随机梯度下降(SGD)给出了最小化凸随机目标$f(x)$时的最优收敛速度。然而,就使梯度变小而言,即使当$f(x)$是凸的时,原始SGD也没有给出最优速率。如果$f(x)$是凸的,为了找到具有梯度范数$\varepsilon$的点,我们设计了具有接近最优速率$\tilde{O}(\varepsilon^{-2})$的算法SGD 3,改进了[18]的最佳已知速率$O(\varepsilon^{-8/3})$。如果$f(x)$是非凸的,为了找到它的$\varepsilon$ -近似局部最小值,我们设计了一个具有速率$\tilde{O}(\varepsilon^{-3.5})$的算法SGD 5,其中以前的SGD变体仅实现$\tilde{O}(\varepsilon^{-4})$ [6,15,33]。在所有参数范围内,这并不比牛顿方法的最佳已知随机版本慢[30]。
2021-07-28 cs.DS cs.LG math.OC
Fast Stochastic Alternating Direction Method of Multipliers
本文提出一种新的随机交替方向乘子法算法,通过逐步近似线性化ADMM中的完整梯度,提升凸问题的收敛速度至O(1/T),在无需访问所有样本的情况下达到批量ADMM的收敛率。
2013-08-16 cs.LG cs.NA math.NA
Optimal Rates for Learning with Nyström Stochastic Gradient Methods
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学)
在非参数回归的背景下,我们提出并研究了一种随机梯度方法与Nyström子采样的组合,允许多次通过数据和小批量。所研究的算法的推广误差界。特别是,最佳的学习率得出考虑不同的可能选择的步长,小批量大小,迭代/通过的数量,和子采样水平。与经典的随机梯度法和Nyström核岭回归等算法相比,该算法在获得相同最优学习率的同时,在计算复杂度上具有优势.此外,我们的研究结果表明,使用小批量可以降低总的计算成本,同时实现相同的最佳统计结果。
2017-10-21 cs.LG math.FA math.OC
Stochastic Gradient Descent: Going As Fast As Possible But Not Faster
UCSF(加州大学旧金山分校);INRIA-CNRS-UPSud-UPSay(法国国家信息与自动化研究所-法国国家科学研究中心-巴黎南大学-巴黎萨克雷大学);TAU, U. Paris-Sud(计算机科学研究实验室,巴黎南大学);CNRS-UPSud-INRIA-UPSay(法国国家科学研究中心-巴黎南大学-法国国家信息与自动化研究所-巴黎萨克雷大学)
当应用于训练深度神经网络时,随机梯度下降(SGD)通常会导致稳定的进展阶段,被损失和梯度范数爆炸的灾难性事件中断。缓解此类事件的一种可能方法是减缓学习过程。本文提出了一种新的方法来控制SGD学习率,使用两个统计测试。第一个,旨在快速学习,比较归一化梯度向量的动量和随机单位向量的动量,并相应地优雅地增加或减少学习速率。第二个是变化点检测测试,旨在检测灾难性的学习事件;一旦触发,学习率立即减半。加速和减慢学习速率的能力都允许所提出的称为SALeRA的方法尽可能快地学习,但不会更快。在标准基准上的实验表明,SALeRA在实践中表现良好,并与最先进的相比。
2017-09-05 cs.LG cs.NE stat.ML
Fast Rates of ERM and Stochastic Approximation: Adaptive to Error Bound Conditions
The University of Iowa(爱荷华大学);Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
误差边界条件(EBC)是表征当一个点远离最优集时目标函数增长的性质。近年来,它们在优化领域受到越来越多的关注,以开发具有快速收敛性的优化算法。然而,迄今为止,在统计学习中对EBC的研究还很有限。本文的主要贡献是双重的。首先,我们开发快速和中等速度的经验风险最小化(ERM)下EBC风险最小化与Lipschitz连续,光滑凸随机函数。其次,我们建立了快速和中间速率的一个有效的随机逼近(SA)算法的风险最小化与Lipschitz连续随机函数,它只需要一个通过的$n$样本,并适应EBC。对于这两种方法,收敛速率取决于EBC中的功率常数而跨越$\widetilde O(1/\sqrt{n})$和$\widetilde O(1/n)$之间的全谱,并且在ERM的特殊情况下甚至可能比$O(1/n)$更快。此外,这些收敛速度是自动自适应的,而不使用任何知识的EBC。总的来说,这项工作不仅加强了对统计学习的ERM的理解,而且为解决广泛的统计学习问题带来了新的快速随机算法。
2018-05-11 cs.LG stat.ML
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提供了一个新的收敛性分析随机梯度Langevin动力学(SGLD)的抽样从一类分布,可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布,我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离,其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果(Raginsky等人,2017年; Xu等人,2018年)。我们进一步表明,提供了一个额外的Hessian Lipschitz条件的对数密度函数,SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性,并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
Achieving Social Optimum in Non-convex Cooperative Aggregative Games: A Distributed Stochastic Annealing Approach
本文设计了一种求解非凸合作聚集对策的分布式随机退火算法,该算法的费用函数不仅依赖于Agent自身的决策变量,而且依赖于Agent决策变量之和。为了寻求合作聚集博弈的社会最优解,提出了一种分布式随机退火算法,其中局部费用函数是非凸的,Agent之间的通信拓扑是时变的。进一步分析了该算法对社会最优解的弱收敛性。 算例验证了算法的有效性.
2022-04-02 math.OC
Achieving Linear Speedup and Near-Optimal Complexity for Decentralized Optimization over Row-stochastic Networks
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
本文针对行随机网络上的去中心化优化问题,首次建立收敛下界,并通过提出新分析框架证明Pull-Diag-GT实现线性加速,结合多步gossip协议达到近最优复杂度。
2026-10-20 math.OC
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research(微软研究院)
我们介绍了在线随机凸规划(CP)问题,一个非常一般的版本的随机在线问题,允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法,这些问题,实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装,我们的想法产生一个更简单,更快的原始-对偶算法,这个研究问题,实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知,这是第一次尝试使用自适应随机方法。另外,还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
Achieving Utility-Delay-Reliability Tradeoff in Stochastic Network Optimization with Finite Buffers
一个实际的开放的问题是开发一个分布式算法,实现近最佳效用,仅使用有限(和小)的缓冲区大小的队列中的随机网络。本文研究了有限缓冲区机制下的效用最大化(或成本最小化),并考虑了相应的延迟和可靠性(或丢包率)的权衡。浮动队列算法允许随机网络优化框架以丢包为代价用有限的缓冲区来实现。此外,缓冲区大小的要求是显着小于以前的作品在这方面。在$B$数据包的缓冲区大小有限的情况下,该算法在保持$O(B)$的平均每跳时延和稳态下$O(e^{-B})$的平均每跳丢弃率的同时,实现了最优效用的$O(e^{-B})$。从实现的角度来看,浮动队列算法需要对众所周知的漂移加惩罚策略(包括MaxWeight和Backpressure策略)进行很少的修改。因此,浮动队列算法继承了这些策略的分布式和低复杂性的性质。
2015-01-14 math.OC
Fully Asynchronous Stochastic Coordinate Descent: A Tight Lower Bound on the Parallelism Achieving Linear Speedup
我们寻求严格的界限上的可行的并行异步实现的坐标下降,实现线性加速。研究了由光滑凸函数和可能非光滑可分凸函数之和组成的凸函数上的异步坐标下降算法。我们量化了与标准序贯随机梯度下降相比的进展不足。这导致了一个简单而紧密的分析标准的随机ACD在部分异步的环境中,推广和改进的界限在以前的工作。我们还提供了一个相当多的分析一般异步环境中,唯一的约束是,每个更新可以重叠最多q其他。新的下界上的最大程度的并行实现线性加速是紧密的,并提高了最佳的先验界几乎二次方。
2020-08-02 cs.DC math.OC
Heuristic adaptive fast gradient method in stochastic optimization tasks
本文提出了一种启发式自适应快速梯度法。我们表明,在实践中,我们的方法有一个更好的收敛速度比今天流行的最优化方法。此外,我们证明我们的方法,并指出一些问题,不允许我们获得理论估计。
2019-10-10 math.OC
A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization
Sichuan University(四川大学)
研究仅用零阶信息的随机多智能体系统分布式时变优化,构建慢-快随机框架,引入辅助变量和快速子系统生成梯度估计,慢子系统进行优化和一致性,分析收敛性并通过模拟验证,建立界表征参数等对跟踪性能的影响。
2026-07-17 math.OC
Fast, Convexified Stochastic Optimal Open-Loop Control For Linear Systems Using Empirical Characteristic Functions
研究了存在未知扰动时的随机最优控制问题。我们通过经验特征函数表征扰动,并采用机会约束的方法。利用特征函数的性质和累积分布函数的欠逼近,我们可以将一个非凸问题转化为一个二次曲线的凸欠逼近问题。这导致了保证保持概率约束的极快的解决方案。我们构造算法的最佳开环控制使用分段线性逼近的经验特征函数,并证明我们的方法上的两个例子。
2020-12-14 math.OC
FROST -- Fast row-stochastic optimization with uncoordinated step-sizes
本文讨论了有向图上不能构造双随机权值的分布式优化问题。大多数现有的算法克服了这个问题,通过应用推和共识,它利用列随机权重。列随机权重的公式化要求每个代理知道(至少)其出度,这在例如,基于广播的通信协议。相比之下,我们描述的FROST(快速行随机优化与不协调的STEP大小),适用于有向图的优化算法,不需要出度的知识,其实现是直接的,因为每个代理本地分配权重传入的信息,并在本地选择一个合适的步长。我们证明了,FROST线性收敛到光滑和强凸函数的最优解,给定的最大步长是正的,并充分小。
2018-11-27 math.OC
A fast quasi-Newton-type method for large-scale stochastic optimisation
University of Newcastle(纽卡斯尔大学);Uppsala University(乌普萨拉大学)
近年来,有限记忆拟牛顿法的随机自适应方法受到越来越多的关注,与纯梯度法相比,它可以通过引入二阶信息来提高收敛性。在这项工作中,我们提出了一个直接的最小二乘方法概念上类似于有限内存的拟牛顿法,但计算搜索方向略有不同的方式。这是通过保持低维的Cholesky因子以快速和数字鲁棒的方式实现的。这是结合随机线搜索依赖于履行沃尔夫条件的回溯方式,其中的步长自适应修改相对于优化进程。我们支持我们的新算法提供了几个理论结果,保证其性能。在现实世界的基准测试问题,表现出改进的结果相比,已经建立的方法。
2018-09-29 cs.LG math.OC stat.ML
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下,我们考虑优化函数光滑凸函数$f$,该函数是一组可微函数$f_i$的平均。证明了在这些假设下,具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度,并且当$g$是强凸的时,具有线性收敛速率.
2013-08-29 math.OC
A Fast Heuristic for Stochastic Steiner Tree Problems
CWI(荷兰数学与计算机科学研究中心);VU Amsterdam(阿姆斯特丹自由大学)
本文提出了一种基于现有Steiner树问题启发式方法的快速启发式算法,用于解决随机Steiner树问题,实验表明其计算效率比现有方法高约5%。
2026-02-27 math.OC
Fast Solving Complete 2000-Node Optimization Using Stochastic-Computing Simulated Annealing
Graduate School of Engineering, Tohoku University(东北大学研究生院工学研究科);Research Institute of Electrical Communication, Tohoku University(东北大学电气通信研究所)
本文提出随机计算模拟退火算法,用于快速求解大规模组合优化问题,通过随机位流实现快速收敛至全局最小能量,实验表明其在MAX-CUT问题上性能优于传统模拟退火方法。
2026-01-20 math.OC
Universal fast gradient method for stochastic composit optimization problems
我们提出了一个新的简单的快速梯度法的变种,每次迭代只需要一个投影。我们称这种方法为三角形方法(TM),因为它有一个相应的几何描述。我们推广TM的凸和严格凸的复合最优化问题。然后,我们提出了通用三角形方法(UTM)的凸和严格凸的复合最优化问题(见余。内斯特罗夫,数学程序。2015.有关什么是通用快速梯度法的更多详细信息)。最后,基于小批量技术,我们提出了随机通用三角形法(SUTM)。SUTM可以应用于随机凸和严格凸的复合最优化问题。表示所有方法TM、UTM、SUTM在严格凸性参数上是连续的,并且所有方法都达到已知的下界。通过对问题结构的额外假设,这些方法比下界更有效。
2017-11-27 math.OC
Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation
University of British Columbia(英属哥伦比亚大学);Mila, Université de Montréal(蒙特利尔大学米拉研究所);Element AI(元素人工智能公司);CCAI Affiliate Chair (Amii)(加拿大先进人工智能研究所CCAI附属主席)
考虑了在过参数化模型所满足的插值条件下极小化光滑强凸函数的随机二阶方法。在此条件下,我们证明了正则化下采样牛顿法(R-SSN)具有自适应步长和恒定批量,实现了全局线性收敛。通过增长批量大小的二次采样梯度和海森,我们表明,R-SSN可以收敛在一个局部邻域的解决方案的二次率。我们还表明,R-SSN达到局部线性收敛的家庭的自协调功能。此外,我们还分析了插值情形下的随机BFGS算法,证明了它们的全局线性收敛性。我们凭经验评估随机L-BFGS和“Hessian自由”的R-SSN的实现二进制分类合成,线性可分离的数据集和真实的数据集下的内核映射。我们的实验结果表明,这些方法的快速收敛,无论是在迭代次数和挂钟时间。
2020-03-22 cs.LG math.OC stat.ML
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果,包括一个正式的分析块版本的算法,从随机初始化和收敛。我们还做了一些独立的利益,如如何预初始化,只有一个确切的权力迭代可以显着提高随机方法的运行时间,以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING,用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步,大规模成像问题变得越来越普遍。受随机最优化方法成功的启发,我们提出了一个随机变体的邻近交替线性化最小化(PALM)算法\cite{bolte2014proximal}。我们提供了整体收敛保证,表明我们提出的方法与方差减少的随机梯度估计,如SAGA \cite{SAGA}和SARAH \cite{sarah},实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性,通过几个数值例子,包括稀疏非负矩阵分解,稀疏主成分分析,盲图像反卷积。
2021-01-19 math.OC
STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning
The Ohio State University(俄亥俄州立大学);University of Minnesota(明尼苏达大学);Syracuse University(雪城大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
联邦学习(Federated Learning,FL)是指多个工作节点(Worker Node,WN)利用本地数据建立联合模型的范例。尽管广泛的研究,对于一般的非凸FL问题,它是不清楚的,如何选择WN的和服务器的更新方向,小批量的大小,和本地更新频率,使WN使用最少数量的样本和通信轮,以实现所需的解决方案。这项工作解决了上述问题,并考虑了一类随机算法,其中WN在通信之前执行一些本地更新。我们表明,当WN的和服务器的方向选择的基础上随机动量估计,该算法需要$\tilde{\mathcal{O}}(ε^{-3/2})$样本和$\tilde{\mathcal{O}}(ε^{-1})$通信轮计算$ε$ -固定的解决方案。据我们所知,这是第一个FL算法,实现了这样的{ \it接近最佳}的样本和通信复杂性同时。此外,我们发现,有一个权衡曲线之间的本地更新频率和本地minibatch大小,上面的样本和通信复杂性可以保持。最后,我们表明,对于经典的FedAvg(a.k.a.局部SGD,这是STEM的动量较少的特殊情况),存在类似的权衡曲线,尽管具有更差的样本和通信复杂性。我们对这种权衡的见解为选择FL算法的四个重要设计元素提供了指导方针,即更新频率,方向和minibatch大小,以实现最佳性能。
2021-06-19 cs.LG math.OC stat.ML
Fast Reflected Forward-Backward algorithm: achieving fast convergence rates for convex optimization with linear cone constraints
University of Vienna(维也纳大学);Faculty of Mathematics and Computer Science, University of Science, Ho Chi Minh City(胡志明市科技大学数学与计算机科学学院);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Northwest Normal University(西北师范大学)
本文提出快速反射前向-后向算法,通过引入Nesterov动量项和修正项,在实希尔伯特空间中求解单调算子之和的零点问题,实现线性锥约束凸优化的最后迭代$o(1/k)$收敛速率,并给出数值验证。
2025-10-16 math.OC
Fast Stochastic Bregman Gradient Methods: Sharp Analysis and Variance Reduction
研究了用随机Bregman梯度法求解相对光滑凸函数极小化问题。我们首先证明了收敛的Bregman随机梯度下降(BSGD)的区域,取决于噪声(梯度的大小)在最佳。特别是,当该噪声为零时(\emph{interpolation}设置,其中数据完美拟合),具有恒定步长的BSGD收敛到精确的最小值。另外,当目标具有有限和结构时,我们证明了方差减少可以用来对抗噪声的影响。特别是,快速收敛到精确的最小值,可以得到额外的正则性假设下的布雷格曼参考函数。我们说明了我们的方法的有效性相对平滑的两个关键应用:断层重建与泊松噪声和统计预处理的分布式优化。
2021-04-20 math.OC
New Algorithms And Fast Implementations To Approximate Stochastic Processes
我们提出了新的算法和快速实现,以找到有效的近似建模随机过程。对于许多数值计算来说,建立随机过程的有限近似是必不可少的。虽然目标总是找到有限模型,其尽可能准确地表示关于真实数据过程的给定知识,但是估计离散近似模型的方式可能完全不同:(i)如果随机模型已知为随机微分方程的解,例如,可以直接从指定的模型生成场景树;(i i)如果允许从所有条件分布模拟轨迹的模拟算法可用,则可以通过随机逼近来生成场景树;(iii)如果场景过程的仅一些观测轨迹可用,则逼近过程的构造可以基于非参数条件密度估计。
2020-12-01 math.OC stat.ML
A Fast Stochastic Plug-and-Play ADMM for Imaging Inverse Problems
University of Edinburgh(爱丁堡大学)
在这项工作中,我们提出了一个有效的随机即插即用(PPENS)成像逆问题的算法。最近提出了PSNR随机梯度下降法,并在某些成像应用中显示出比标准确定性PSNR方法更好的性能。然而,当前的随机PSNR方法需要频繁地计算图像去噪器,这在计算上是昂贵的。为了克服这个限制,我们提出了一个新的随机PnP-ADMM方法,它是基于引入随机梯度下降内循环内不精确的ADMM框架。在标准假设下,我们给出了算法不动点收敛的理论保证。我们的数值结果表明,我们的方法相比,国家的最先进的Pestrian方法的有效性。
2020-06-23 cs.CV math.OC
Distributed Stochastic Momentum Tracking with Local Updates: Achieving Optimal Communication Complexities
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出局部动量跟踪(LMT)方法,将局部更新、动量跟踪与无环切比雪夫加速相结合,在分布式优化中同时实现最优通信复杂度和最优迭代复杂度。
2026-10-19 cs.DC math.OC
Natasha: Faster Non-Convex Stochastic Optimization Via Strongly Non-Convex Parameter
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
给定一个非凸函数,它是$n$光滑函数的平均值,我们设计随机一阶方法来找到它的近似稳定点。我们的新方法的收敛性取决于Hessian的最小(负)特征值$-σ$,这是一个描述函数非凸性的参数。我们的方法优于已知的结果的范围内的参数$σ$,并可以用来找到近似的局部极小。我们的结果意味着一个有趣的二分法:存在一个阈值$σ_0$,使目前最快的方法$σ>σ_0$和$σ<σ_0$有不同的行为:前者规模与$n^{2/3}$和后者规模与$n^{3/4}$。
2018-09-27 cs.DS cs.LG math.OC
Faster Stochastic Quasi-Newton Methods
随机最优化方法已经成为机器学习中一类流行的优化工具。特别地,随机梯度下降(SGD)由于低的每次迭代计算复杂性而被广泛用于机器学习问题,例如训练神经网络。事实上,利用二阶信息的牛顿或拟牛顿法能够获得比一阶方法更好的解。因此,随机拟牛顿(SQN)方法已经发展到实现更好的解决方案,有效地利用近似二阶信息比随机一阶方法。然而,现有的SQN方法仍然没有达到最著名的随机一阶预言(SFO)的复杂性。为了填补这一空白,我们提出了一种新的更快的随机拟牛顿法(SpiderSQN)的方差减少技术的SIPDER的基础上。我们证明了我们的SpiderSQN方法达到了最好的已知的SFO复杂性的$\mathcal{O}(n+n^{1/2}ε^{-2})$在有限和设置,以获得一个$ε$ -一阶稳定点。为了进一步提高其实际性能,我们将SpiderSQN与不同的动量方案相结合。此外,将提出的算法推广到在线环境,得到了$\mathcal{O}(ε^{-3})$算法的SFO复杂度,与已有的最优结果一致.在基准数据集上进行的大量实验表明,我们的新算法在非凸优化方面优于最先进的方法。
2021-02-25 math.OC
A Fast Row-Stochastic Decentralized Method for Distributed Optimization Over Directed Graphs
针对有向图上的一致性优化,本文提出仅用行随机权重的FRSD算法,通过新颖动量项隐式实现梯度跟踪,在线性收敛的同时降低通信与存储开销。
2023-09-28 cs.SY eess.SY math.OC
Swarming for Faster Convergence in Stochastic Optimization
我们研究了随机最优化的分布式框架,该框架受到自然界中发现的集体运动模型的启发(例如,具有温和的通信要求。具体而言,我们分析了一个方案,其中每一个$N > 1$独立的线程,实现在一个分布式和非同步的方式,随机梯度-下降算法,这是由一个群集电位扰动。假设同步引起的开销是不可忽略的,我们展示了基于群集的方法在(实时)收敛速度方面表现出比集中式算法(基于$N$观测的平均值)更好的性能。我们还得到了一个误差界,是单调递减的网络大小和连接。我们描述了该方案对于凸和非凸目标函数的有限时间性能。
2018-08-06 cs.DC cs.MA cs.SI