Mixture weights optimisation for Alpha-Divergence Variational Inference
LTCI, Télécom Paris(巴黎电信学院LTCI实验室);Institut Polytechnique de Paris(巴黎理工学院);SAMOVAR, Télécom SudParis(南巴黎电信学院SAMOVAR实验室)
本文主要研究变分推理的$α$ -散度最小化方法。更确切地说,我们感兴趣的算法优化的混合权重的任何给定的混合模型,没有任何信息的基础分布的混合成分参数。功率下降,定义为所有$α\neq 1$,是这样一个算法,我们建立在我们的工作充分证明了其收敛到最佳的混合权重时,$α<1$。由于$α$ -发散恢复了广泛使用的前向Kullback-Leibler时,$α\to 1$,我们然后扩展功率下降的情况下,$α= 1$,我们得到了一个熵镜下降。这导致我们调查功率下降和熵镜下降之间的联系:一阶近似允许我们引入Renyi下降,一种新的算法,我们证明了$O(1/N)$收敛速度。最后,我们数值比较的行为的无偏功率下降和有偏Renyi下降,我们讨论了一个算法的潜在优势。
2021-06-09 cs.LG math.ST stat.TH
Towards Tight Communication Lower Bounds for Distributed Optimisation
IST Austria(奥地利科学技术研究所)
我们考虑一个标准的分布式优化设置$N$机,每个持有$d$维函数$f_i$,旨在共同最小化的功能$\sum_{i = 1}^N f_i (x)$的总和。这个问题在大规模分布式优化中自然出现,其中标准解决方案是应用(随机)梯度下降的变体。我们专注于这个问题的通信复杂性:我们的主要结果提供了第一个完全无条件的界限,需要发送和接收的$N$机器,以解决这个问题下的点对点通信,在一个给定的容错位的总数。具体来说,我们表明,$Ω( Nd \log d / N\varepsilon)$总位需要在机器之间进行通信,以找到一个添加剂$ε$ -近似的最小值$\sum_{i = 1}^N f_i (x)$。该结果适用于确定性和随机算法,重要的是,不需要对算法结构进行假设。下界是紧的参数值的某些限制下,并匹配二次目标的一个新的变量的量化梯度下降,我们描述和分析的恒定因素。我们的研究结果带来了从通信复杂性的工具,分布式优化,这有进一步的应用潜力。
2021-12-07 cs.DC cs.LG math.OC
Generalisation under gradient descent via deterministic PAC-Bayes
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);UCL(伦敦大学学院);Inria London(法国国家信息与自动化研究所伦敦分部)
针对梯度下降类模型泛化性问题,提出解耦的确定性PAC-Bayesian泛化界,无需去随机化且可计算,适用于SGD、动量法等多种迭代优化算法,为泛化分析提供新框架。
2025-02-11 cs.LG stat.ML
A closed loop gradient descent algorithm applied to Rosenbrock's function
Australian National University(澳大利亚国立大学)
我们介绍了一种新的自适应阻尼技术的惯性梯度系统的应用程序作为梯度下降算法无约束优化。在一个例子中,使用非凸Rosenbrock的功能,我们表现出现有的动量为基础的梯度优化方法的改进。还使用李雅普诺夫稳定性分析,我们证明了该算法的连续时间版本的性能。使用数值模拟,我们认为它的离散时间对应的性能,通过使用辛欧拉法的离散化。
2021-11-19 cs.LG math.DS math.OC
A Passivity-Based Method for Accelerated Convex Optimisation
Cranfield University(克兰菲尔德大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究结合控制论无源性概念与时变变量替换,提出连续时间域加速凸优化算法的构造性方法,可生成带不同收敛速率保证的算法,还可拓展用于自适应控制的在线参数更新算法设计。
2024-09-13 cs.LG cs.SY eess.SY
Meta Mirror Descent: Optimiser Learning for Fast Convergence
University of Edinburgh(爱丁堡大学);KAIST(韩国科学技术院);Samsung AI Research, Cambridge(三星剑桥人工智能研究院)
优化器是训练机器学习模型的重要组成部分,其设计影响学习速度和泛化能力。一些研究试图通过解决一个两级优化问题,其中泛化误差最小化相对于优化参数学习更有效的梯度下降优化。然而,大多数现有的优化学习方法是直观的动机,没有明确的理论支持。我们从镜像下降而不是梯度下降开始采取不同的视角,并元学习相应的Bregman发散。在这种范式下,我们正式提出了一个新的元学习目标,最大限度地减少学习的遗憾。由此产生的框架,称为Meta Mirror Descent(MetaMD),学习加快优化速度。与许多元学习优化器不同,它还支持收敛和泛化保证,并且在不需要验证数据的情况下独特地做到这一点。我们评估我们的框架在各种任务和架构的收敛速度和泛化误差,并表现出强大的性能。
2022-03-05 cs.LG math.OC
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University(理海大学)
针对一般随机梯度下降方法(SGD)的理论复杂度和实际性能的不足,提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下,我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和,这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度,通过随机梯度方差减少技术,并承认一个简单的并行实现与小批量。此外,PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
High-probability zeroth-order online convex optimisation beyond Euclidean geometry
University of Oxford(牛津大学);École Polytechnique, IP Paris(巴黎理工学院)
本文提出基于ℓ_ q-Lipschitz损失、ℓ_ p正则化FTRL和锥测度采样的随机两点有限差分梯度估计器,在高概率下统一控制在线凸优化的后悔界,揭示q>2时的固有间隙。
2026-05-08 cs.LG stat.ML
signSGD: Compressed Optimisation for Non-Convex Problems
Amazon AI(亚马逊人工智能);Caltech(加州理工学院);UC Santa Barbara(加州大学圣巴巴拉分校);UC Irvine(加州大学欧文分校)
训练大型神经网络需要在多个工作者之间分布学习,其中传达梯度的成本可能是一个重要的瓶颈。signSGD通过只传输每个小批量随机梯度的符号来解决这个问题。我们证明了它可以得到最好的两个世界:压缩梯度和SGD级收敛速度。梯度、噪声和曲率的相对$\ell_1/\ell_2$几何关系决定了signSGD或SGD在理论上是否更适合特定问题。在实践方面,我们发现signSGD的动量对应物能够在深度Imagenet模型上匹配Adam的准确性和收敛速度。我们将我们的理论扩展到分布式设置,其中参数服务器使用多数投票来聚合来自每个工人的梯度符号,从而在两个方向上实现1位压缩的工人-服务器通信。利用高斯定理,我们证明了多数表决可以达到相同的减少方差的全精度分布式SGD。因此,基于符号的优化方案很有希望实现快速通信和快速收敛。复制实验的代码可以在https://github.com/jxbz/signSGD上找到。
2018-08-07 cs.DC cs.LG math.OC
Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent
Simons Institute for the Theory of Computing(西蒙斯计算理论研究所);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
虽然学习神经网络的优化目标是高度非凸的,但基于梯度的方法在实践中学习神经网络方面已经取得了广泛的成功。这种并置导致了最近对梯度下降训练的神经网络的可证明保证的一些研究。不幸的是,这些作品中的技术往往是高度特定于每个问题中的特定设置,使得很难在不同的设置之间进行概括。为了解决这个缺点,在文献中,我们提出了一个统一的非凸优化框架的分析神经网络训练。我们引入了代理凸性和代理Polyak-Lojasiewicz(PL)不等式的概念,如果原始目标函数导致使用梯度方法时隐式最小化的代理目标函数,则可以满足这些概念。我们表明,梯度下降的目标满足代理凸性或代理PL不等式导致有效的保证代理目标函数。我们进一步表明,通过梯度下降训练的神经网络的许多现有保证可以通过代理凸性和代理PL不等式来统一。
2022-09-13 cs.LG math.OC stat.ML
Simple and optimal high-probability bounds for strongly-convex stochastic gradient descent
University of British Columbia(英属哥伦比亚大学)
我们考虑随机梯度下降算法最小化一个非光滑,强凸函数。已知该算法的几种形式,包括后缀平均,以达到预期的最佳$O(1/T)$收敛速度。我们考虑了Lacoste-Julien等人(2011)提出的一种简单的非均匀平均策略,并证明了它以高概率达到了最优的$O(1/T)$收敛速度。我们的证明使用最近开发的推广弗里德曼不等式。最后,我们比较了几个这些算法的实验,并表明这种非均匀平均策略优于许多标准技术,并具有较小的方差。
2019-09-02 cs.LG math.OC stat.ML
Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks
EPFL(洛桑联邦理工学院)
本研究通过连续时间方法分析动量梯度下降,得到决定优化路径的内禀量$λ$,证明在过参数化回归下小$λ$利于2层对角线性网络恢复稀疏解,还给出随机动量的相关结果及实验验证。
2024-03-08 cs.LG math.OC stat.ML
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
近年来,人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明,梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界,并利用浓度不等式来获得高概率结果。我们提出了一种替代方法,主要依赖于均方参数,并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点,而不需要注入额外的噪声,采用交替步长或依赖于一个全球性的分散噪声假设,只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT(麻省理工学院)
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降,其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降,并建立其理论保证,以优化功能,是\emph{displacement convex}的措施。具体地,对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数,我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
Weakly Convex Regularisers for Inverse Problems: Convergence of Critical Points and Primal-Dual Optimisation
University of Cambridge(剑桥大学);California Institute of Technology(加州理工学院);IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本文提出基于临界点的弱凸正则化收敛理论,证明原始-对偶混合梯度法的收敛性及遍历速率,并验证输入弱凸神经网络在CT重建中的性能提升。
2024-06-15 cs.CV cs.LG math.OC
Non-convex online learning via algorithmic equivalence
Google AI Princeton(谷歌AI普林斯顿);Princeton University(普林斯顿大学)
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题,在线非凸优化的遗憾最小化。我们表明,在一定的几何和光滑条件下,在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中,这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020,但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置,回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems
Stanford University(斯坦福大学)
低秩分解上的随机梯度下降(SGD)通常用于加速矩阵问题,包括矩阵完成,子空间跟踪和SDP松弛。在本文中,我们展示了一个步长计划SGD的低秩最小二乘问题,我们证明了,在广泛的采样条件下,我们的方法收敛全局从一个随机的起始点内$O(ε^{-1} n \log n)$步骤与常数概率的常秩问题。我们的SGD修改涉及到随机幂迭代。我们还展示了实验来说明该算法的运行时间和收敛性。
2015-02-10 cs.LG math.OC stat.ML
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University(爱荷华州立大学)
异步随机梯度下降方法(Async-SGD)是机器学习的基础性方法,其收敛性能的研究近年来受到越来越多的关注。然而,到目前为止,大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中,我们专注于Async-SGD和它的变体Async-SGDI(它使用增加批量大小)的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外,建立了Async-SGD收敛的一个统一的充分条件,其中包括文献中的两个主要的梯度延迟模型作为特殊情况,并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
Fast and Correct Gradient-Based Optimisation for Probabilistic Programming via Smoothing
University of Oxford(牛津大学);NTU Singapore(新加坡南洋理工大学)
我们研究变分推理的基础,框架后验推理作为一个优化问题,概率规划。在实践中,用于优化的主要方法是随机梯度下降。特别是,使用所谓的reparameterisation梯度估计器的变体在传统的统计设置中表现出快速收敛。不幸的是,在程序设计语言中很容易表达的不连续性可能会损害这种方法的正确性。我们认为一个简单的(高阶,概率)程序设计语言的条件,我们赋予我们的语言与可测量和平滑(近似)的值语义。我们提出建立技术前提的类型系统。因此,我们可以证明随机梯度下降与重新参数化梯度估计是正确的,当应用到平滑的问题。此外,我们可以解决原问题的任何误差容限,通过选择适当的精度系数。从经验上讲,我们证明了我们的方法具有与主要竞争对手相似的收敛性,但更简单,更快,并且在工作归一化方差方面达到了数量级的降低。
2023-01-09 cs.LG cs.PL
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University(普林斯顿大学);Technion(以色列理工学院);The Hebrew University(希伯来大学)
随机凸优化是机器学习中的一个基本问题,也是一个研究得很好的问题.众所周知,可以使用随机梯度下降(SGD)有效地最小化凸函数和Lipschitz函数。归一化梯度下降(NGD)算法是梯度下降的一种改编,它根据梯度的方向而不是梯度本身进行更新。在本文中,我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能:我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维,并允许某些类型的鞍点,这是一阶优化方法(如梯度下降)的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸,这是梯度下降变体的另一个已知障碍。有趣的是,与香草SGD算法不同,随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Stochastic Gradient Descent for Gaussian Processes Done Right
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Cornell University(康奈尔大学);University of Alberta(阿尔伯塔大学)
本文提出一种简单的随机对偶下降算法,正确利用优化与核方法洞见求解高斯过程回归中的大型线性系统,并在UCI回归、贝叶斯优化及分子结合亲和力预测中展现出竞争力。
2024-04-28 cs.LG stat.ML
Fast Distributed Coordinate Descent for Non-Strongly Convex Losses
School of Mathematics, University of Edinburgh, Edinburgh, EH9 3JZ, United Kingdom
提出了一种有效的分布式随机坐标下降法,用于极小化正则化非强凸损失函数。该方法获得最佳的$O(1/k^2)$收敛速度,其中$k$是迭代计数器。工作的核心是步长参数的理论研究。我们已经实现了Archer -在英国最大的超级计算机的方法,并表明该方法能够解决(合成)LASSO最优化问题与50亿个变量。
2014-07-27 cs.LG math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度(SVRG)下降算法的收敛速度的理论分析。最近的研究表明,基于异步随机梯度下降(SGD)算法的方差减少收敛于凸问题的线性收敛速度。然而,目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中,我们研究了SVRG的两个异步并行实现:一个是在分布式存储系统上,另一个是在共享存储系统上。我们提供的理论分析,这两种算法可以获得$O(1/T)$的收敛速度,和线性加速是可以实现的,如果工人的数量是上界。由于参考问题,V1、V2、V3已被撤回,请参考最新版本V4。
2016-12-20 cs.LG math.OC
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
Thinking Outside the Ball: Optimal Learning with Gradient Descent for Generalized Linear Stochastic Convex Optimization
Tel Aviv University(特拉维夫大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑具有凸Lipschitz损失的线性预测,或者更一般地,考虑广义线性形式的随机凸优化问题,即~其中每个瞬时损失是线性函数的标量凸函数。我们表明,在这种设置中,早期停止的梯度下降(GD),没有任何显式的正则化或投影,确保过多的错误在大多数$ε$(相比,最好的可能与单位欧几里德范数)与最佳的,高达对数因子,样本复杂度$\tilde{O}(1/ε^2)$和只有$\tilde{O}(1/ε^2)$迭代。这与一般随机凸优化形成对比,其中需要$Ω(1/ε^4)$迭代Amir等人[2021 b]。通过利用一致收敛而不是稳定性来确保较低的迭代复杂度。但是,而不是在一个规范球的一致收敛,我们可以保证使用$Θ(1/ε^4)$样本的次优学习,我们依赖于分布相关的球的一致收敛。
2022-10-30 cs.LG math.OC
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné(拉格朗日J.A.迪乌多夫实验室);Université Côte d'Azur(蔚蓝海岸大学)
本文提出了一种通用的块坐标下降框架,用于解决非凸复合优化问题,并应用于稀疏精度矩阵估计,提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
Accelerated Stochastic Gradient Descent for Minimizing Finite Sums
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司)
本文提出了一种最小化光滑凸函数有限和的优化方法。我们的方法采用了加速梯度下降(AGD)和随机方差减少梯度(SVRG)在一个小批量设置。与SVRG不同,我们的方法可以直接应用于非强和强凸问题。我们表明,我们的方法实现了较低的整体复杂性比最近提出的方法,支持非强凸问题。此外,对于强凸问题,该方法具有较快的收敛速度。实验结果表明了该方法的有效性。
2015-06-10 cs.LG stat.ML
On the convergence of mirror descent beyond stochastic convex programming
Stanford University(斯坦福大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在本文中,我们研究了一类随机最优化问题的镜像下降的收敛性,这些问题不一定是凸的(甚至是拟凸的),我们称之为变分相干的。由于标准技术的“遍历平均”提供没有实际的好处以外的凸规划,我们直接专注于算法的最后生成的样本(其“最后一个”),我们表明,它收敛的概率$1$,如果根本的问题是一致的。我们进一步考虑了一个局部版本的变分相干,它确保随机镜像下降(SMD)的局部收敛的高概率。这些结果表明(准)凸性对于收敛到全局极小值并不是必需的,从而为非凸随机最优化的前景做出了贡献:相反,变分相干性(一个弱得多的要求)就足够了。最后,在上述基础上,我们揭示了一个关于SMD收敛速度的有趣见解:在具有尖锐极小值的问题(如一般线性规划或凹极小化问题)中,SMD在有限步数(a.s.)中达到极小点,即使存在持续的梯度噪声。这一结果是对比现有的黑盒收敛速度估计,只有渐近。
2018-07-16 cs.LG math.OC
Convergence rates for the stochastic gradient descent method for non-convex objective functions
University of Oxford(牛津大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与自然科学研究所);Universität Bielefeld(比勒费尔德大学);ETH Zurich(苏黎世联邦理工学院)
在目标函数不一定是全局凸的或收缩的目标函数的情况下,证明了随机梯度下降法的局部收敛性,并对收敛速率进行了估计.特别是,结果适用于机器学习中出现的简单目标函数。
2019-07-26 cs.LG cs.NA math.NA
Adaptive Gradient Descent without Descent
EPFL(洛桑联邦理工学院);KAUST(阿卜杜拉国王科技大学)
我们提出了一个非常简单的证明,证明了两个规则足以自动梯度下降:1)不要太快地增加步长,2)不要超过局部曲率。不需要函数值,没有线搜索,除了梯度之外没有关于函数的信息。通过遵循这些规则,您可以得到一种适应局部几何的方法,其收敛保证仅取决于解的邻域中的平滑度。考虑到问题是凸的,我们的方法收敛,即使全局光滑常数是无穷大。作为例子,它可以极小化任意连续二次可微的凸函数。我们研究其性能的一系列凸和非凸问题,包括逻辑斯谛回归和矩阵分解。
2020-08-15 cs.LG cs.NA math.NA
Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex Optimization
Institute of Evaluation and Assessment Research, Academy of Military Science(军事科学院评估论证研究中心);Command and Control Engineering College, Army Engineering University(陆军工程大学指挥控制工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
平均化方案在深度学习和传统机器学习中引起了广泛的关注。它实现了理论上的最优收敛,也提高了经验模型的性能。然而,对于强凸优化问题,目前还缺乏足够的收敛性分析。通常情况下,由于对数因子的存在,梯度下降方法关于最后一阶的收敛性(称为个体收敛性)不能达到最优。为了消除这个因素,我们首先开发梯度下降平均(GDA),这是一个通用的投影为基础的双重平均算法在强凸设置。我们进一步提出了原始-对偶平均强凸的情况下(SC-PDA),原始和对偶平均计划同时利用。我们证明了GDA产生的最佳收敛速度的输出平均,而SC-PDA得出的最佳个人收敛。在支持向量机和深度学习模型上的实验验证了理论分析的正确性和算法的有效性。
2021-01-17 cs.LG math.OC
Losing momentum in continuous-time stochastic optimisation
Princeton University(普林斯顿大学);The University of Manchester(曼彻斯特大学);Technische Universiteit Delft(代尔夫特理工大学);Technische Universität München(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出并分析带动量随机梯度下降的连续时间模型,证明在凸性假设下随时间减少动量并提高子采样率可收敛至全局最小值,并给出稳定辛离散化算法,实验验证其竞争力。
2024-11-05 cs.LG cs.NA math.NA
Automatic Gradient Descent: Deep Learning without Hyperparameters
MIT(麻省理工学院);U. Oxford(牛津大学);U. Washington(华盛顿大学);Caltech(加州理工学院)
本文提出自动梯度下降(AGD),通过将镜像下降扩展到非凸复合目标并变换 Bregman 散度以利用神经架构,实现了无需任何超参数即可在 ImageNet 规模上训练全连接和卷积网络的一阶优化器。
2023-04-11 cs.AI cs.LG cs.NA
Convergence Analysis of Fractional Gradient Descent
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文分析了分数阶梯度下降在光滑且凸、强凸及非凸设置下的收敛性,建立了连接分数阶与整数阶导数的新界限,证明了不同条件下的线性或O(1/T)收敛性,并展示了其相比标准梯度下降的加速效果。
2024-06-04 cs.LG cs.NA math.NA
A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima
Pennsylvania State University(宾夕法尼亚州立大学)
具有非孤立最小值的损失函数已经出现在几个机器学习问题中,在理论和实践之间产生了差距。在本文中,我们提出了一种新的局部凸性条件,该条件适用于描述损失函数在非孤立极小点附近的行为。我们表明,这样的条件是一般的,足以包括许多现有的条件。此外,我们还利用随机稳定性的概念研究了SGD算法在这一较弱条件下的局部收敛性。从收敛性分析中得到的相应的浓度不等式有助于解释一些实际训练结果的经验观察。
2022-05-30 cs.LG cs.NA math.NA
Quantum Optimisation of Complex Systems with a Quantum Annealer
Durham University(杜伦大学)
我们进行了深入的比较量子退火与几个经典的优化技术,即热退火,Nelder-Mead和梯度下降。我们首先在量子退火机上直接研究二维伊辛模型,并将其性质与热二维伊辛模型的性质进行直接比较。这些性质包括类似伊辛的相变,这种相变可以由理论的“量子性”变化引起,也可以由伊辛耦合的放大或缩小引起。这种行为与量子系统的物理理解所预期的一致。然后,我们继续证明量子退火器在最小化几个越来越硬的二维势的功效。对于所有的潜力,我们发现的一般行为,Nelder-Mead和梯度下降法是非常容易陷入虚假的最小值,而热退火方法是有点更好地发现真正的最小值。然而,尽管目前对其尺寸的限制,量子退火机的最小化效果明显优于任何这些经典技术。量子退火可以被设计成使得系统几乎不会被困在错误的最小值中,并且快速而成功地使电势最小化。
2021-06-21 cond-mat.stat-mech cs.LG hep-ph
Two-Timescale Stochastic Gradient Descent in Continuous Time with Applications to Joint Online Parameter Estimation and Optimal Sensor Placement
本文在一般的噪声和稳定性条件下,建立了连续时间下两时标随机梯度下降算法的几乎必然收敛,推广了离散时间下的已知结果.我们分析了加性噪声和非加性噪声的算法。在非加性的情况下,我们的分析进行的假设下,噪声是一个连续时间的马尔可夫过程,控制的算法状态。我们考虑的算法可以应用到一个广泛的类的双层优化问题。我们详细研究了这样一个问题,即联合在线参数估计和最优传感器配置的问题的部分观测扩散过程。我们演示了如何可以制定为一个双层优化问题,并提出了一个解决方案的形式,连续时间,两个时标,随机梯度下降算法。此外,在适当的条件下的潜在信号,过滤器,和过滤器的衍生物,我们建立几乎必然收敛的在线参数估计和最佳传感器放置的渐近对数似然和渐近滤波协方差的平稳点,分别。我们还提供了数值例子,说明所提出的方法的应用程序的部分观察Beneavor方程,和部分观察到的随机平流-扩散方程。
2021-09-30 math.OC math.PR math.ST
Convergence Properties of Score-Based Models for Linear Inverse Problems Using Graduated Optimisation
Center for Industrial Mathematics, University of Bremen(不来梅大学工业数学中心);University College London(伦敦大学学院)
针对逆问题变分优化非凸难求解的问题,提出将基于评分的生成模型纳入渐进优化框架,证明其收敛到原问题驻点,且在CT图像重建中可不受初值影响生成高质量图像。
2024-08-12 cs.CV cs.LG eess.IV
Geometrically Inspired Kernel Machines for Collaborative Learning Beyond Gradient Descent
University of Rostock(罗斯托克大学);Software Competence Center Hagenberg GmbH(哈根堡软件能力中心有限公司);University of St Andrews(圣安德鲁斯大学);Primetals Technologies Austria GmbH(普锐特冶金技术奥地利有限公司);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文提出几何启发核机器框架,在RKHS中利用凸优化学习数据点周围的有界几何结构,无需局部SGD多轮训练或客户端/服务器通信即可完成协作分类,并提供误差界与样本复杂度保证。
2024-07-05 cs.AI cs.LG
Bandit Convex Optimisation
本书围绕Bandit凸优化这一零阶凸优化基础框架,系统介绍其常用工具、假设差异,通过新颖应用现有工具得新算法并小幅改进部分界,为该领域提供整合性参考。
2025-11-12 cs.LG math.OC stat.ML
Improved Regret for Zeroth-Order Adversarial Bandit Convex Optimisation
DeepMind(深度思维)
我们证明了零阶对抗强盗凸优化的极大极小遗憾的信息论上界至多为$O(d^{2.5} \sqrt{n} \log(n))$,其中$d$是维数,$n$是交互数.这改进了Bubeck等人(2017)的$O(d^{9.5} \sqrt{n} \log(n)^{7.5}$。证明是基于识别一个改进的探索性分布的凸函数。
2020-09-25 cs.LG math.OC stat.ML
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind(深度思维)
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法,并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$,其中$n$是视界,$d$是维数,$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Online Newton Method for Bandit Convex Optimisation
University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学);Google DeepMind(谷歌DeepMind);Korteweg-de Vries Institute for Mathematics(科特韦格-德弗里斯数学研究所);Mathematical Institute(数学研究所)
本文提出一种计算高效的零阶强盗凸优化在线牛顿法,在对抗和随机环境下分别证明了维度依赖的多项式对数遗憾界,显著提升了理论性能。
2024-06-10 cs.LG math.OC stat.ML
Connections Between Mirror Descent, Thompson Sampling and the Information Ratio
DeepMind(深度思维);University of Copenhagen(哥本哈根大学)
Russo和Van Roy(2014)结合极大极小对偶的信息论分析已被证明是在完全和部分信息设置下分析在线学习算法的强大工具。在大多数应用中,它与基于镜像下降的经典分析有着诱人的相似之处。我们做了一个正式的连接,表明在大多数应用中的信息理论界可以从现有的在线凸优化技术。除此之外,对于$k$ -武装的对抗土匪,我们提供了一个有效的算法与遗憾匹配的最佳信息理论上界,并提高最知名的遗憾保证在线线性优化$\ell_p$ -球和土匪与图形反馈。
2019-05-28 cs.LG stat.ML
Convex Optimisation for Inverse Kinematics
MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
我们考虑的问题,逆运动学(IK),其中一个想要找到一个给定的运动骨架,最好地解释了一组观察到的3D关节位置的参数。运动学骨架具有树结构,其中每个节点是关节,该关节具有传播到其所有子节点的关联几何变换。IK问题在视觉和图形中有各种应用,例如用于跟踪或重建关节对象,如人手或身体。最常见的是,使用局部优化方法来解决IK问题。这些方法的一个主要缺点是,由于问题的非凸性质,这种方法容易收敛到不需要的局部最优,因此需要一个良好的初始化。在本文中,我们提出了一个凸优化方法的IK问题的基础上半定规划,它承认一个多项式时间算法,全局解决(松弛)的IK问题。实验上,我们证明了所提出的方法显着优于本地优化方法,使用不同的现实世界的骨架。
2019-10-24 cs.CV cs.LG stat.ML
Learning to Race through Coordinate Descent Bayesian Optimisation
The University of Sydney(悉尼大学);University of Sao Paulo(圣保罗大学)
在许多过程的自动化中,可观察的结果通常可以被描述为整个执行过程中应用的整个动作或控制序列的组合效果。在这些情况下,优化过程各个阶段的控制策略的策略可能不适用,相反,整个策略可能必须立即优化。另一方面,评估策略性能的成本也可能很高,这是期望的,即可以在与真实系统的交互尽可能少的情况下找到解决方案。我们考虑的问题,优化控制策略,让机器人在最短的时间内完成一个给定的赛道。我们假设机器人没有关于轨迹或其自身动力学模型的先验信息,只是一个初始有效的驾驶示例。定位仅用于监控机器人并提供其沿轨道中心轴的位置指示。我们提出了一种方法,找到一个政策,最大限度地减少每圈的时间,同时保持车辆的轨道上使用贝叶斯优化(BO)的方法在再生核希尔伯特空间。我们应用一种算法,更有效地搜索高维的政策参数空间BO,通过迭代每个维度单独,在一个连续的坐标下降的计划。在模拟赛车环境下的实验结果表明,该算法相对于其他方法的性能。
2018-02-17 cs.LG cs.RO stat.ML
Online Convex Optimisation: The Optimal Switching Regret for all Segmentations Simultaneously
The Alan Turing Institute(阿兰·图灵研究所);University College London(伦敦大学学院)
研究在线凸优化问题,提出一种高效算法,能够在所有可能的分割上同时实现渐近最优的切换后悔,并在动态后悔上获得适应比较序列变化率的新界限。
2025-03-05 cs.LG stat.ML
Perturbed Proximal Descent to Escape Saddle Points for Non-convex and Non-smooth Objective Functions
研究了非凸非光滑优化问题中的局部极小点问题。在严格鞍点的假设下,一阶方法得到了正结果。我们提出了第一个已知的结果的非光滑的情况下,这需要不同的分析和不同的算法。
2019-01-24 cs.LG math.OC stat.ML
Geometric descent method for convex composite minimization
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
在本文中,我们推广了Bubeck,Lee和Singh最近提出的几何下降法来处理非光滑和强凸组合问题。我们证明了我们提出的算法,被称为几何邻近梯度法(GeoPG),收敛的线性速率$(1-1/\sqrtκ)$,从而达到最佳的速度之间的一阶方法,其中$κ$是条件数的问题。线性回归和逻辑斯谛回归与弹性网络正则化的数值结果表明,GeoPG优于Nesterov的加速近端梯度法,特别是当问题是病态的。
2017-05-30 cs.LG math.OC stat.ML
A simple and improved algorithm for noisy, convex, zeroth-order optimisation
Institut für Mathematik, Universität Potsdam(波茨坦大学数学研究所)
本文提出一种基于重心法的简单零阶凸优化算法,在噪声查询预算下实现 $d^2/\sqrt{n}$ 的收敛速率,略优于现有最佳结果且分析更简单。
2024-06-26 cs.LG math.OC stat.ML
Smooth Primal-Dual Coordinate Descent Algorithms for Nonsmooth Convex Optimization
提出了一种新的适用于凸优化模板的随机坐标下降法。我们的分析依赖于一个新的组合的四个想法适用于原始-对偶间隙函数:平滑,加速,同伦和坐标下降与非均匀采样。因此,我们的方法具有第一个收敛速度保证之间的坐标下降法,这是最有名的各种常见的结构假设下的模板。我们提供了数值证据来支持的理论结果与国家的最先进的算法进行比较。
2017-11-09 math.OC stat.ML
Linear Convergence of the Randomized Feasible Descent Method Under the Weak Strong Convexity Assumption
Lehigh University(理海大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们推广的可行下降法(FDM)的框架随机(R-FDM)和坐标明智的随机可行下降法(RC-FDM)的框架。我们表明,著名的SDCA算法优化的SVM对偶问题,或随机坐标下降法的LASSO问题,适合到RC-FDM的框架。在弱强凸性假设下,证明了R-FDM和RC-FDM的线性收敛性。此外,我们表明,对偶间隙线性收敛的RC-FDM,这意味着对偶间隙也线性收敛的SDCA应用于SVM的对偶问题。
2015-06-08 cs.LG stat.ML
Accelerated Randomized Mirror Descent Algorithms For Composite Non-strongly Convex Optimization
本文考虑最小化一个由大量光滑凸分支组成的平均函数与一个一般的、可能不可微的凸函数之和的问题。虽然已经提出了许多方法来解决这个问题的假设和是强凸的,很少有方法支持的非强凸的情况。增加一个小的二次正则化是解决非强凸问题的常用方法,但它可能会导致解的稀疏性损失或削弱算法的性能。为了避免这一设计,我们提出了一种加速的随机镜像下降法来解决这个问题,没有强凸的假设。我们的方法扩展了Paul Tseng的确定性加速近端梯度法,即使在近端点计算不精确的情况下也可以应用。我们还提出了一个解决方案时,该问题的分量函数是非光滑的。
2018-12-31 math.OC stat.ML
Non-ergodic Complexity of Convex Proximal Inertial Gradient Descents
近端惯性梯度下降算法是一种有效的组合优化算法,适用于广泛的机器学习问题。在本文中,我们重新审视该算法的计算复杂性,并提出其他新的结果,特别是对目标函数值的收敛速度。当目标函数是强制的时,证明了具有常数步长的近端惯性梯度下降的非遍历性O(1/k)速度.当目标函数不能保证稳定性时,我们证明了惯性参数递减的次线性速率。在目标函数满足最优强凸性条件(比强凸性条件弱得多)的情况下,证明了该算法的线性收敛性,其步长比以往文献大得多,且一般性强.我们还将我们的结果扩展到多块版本,并提出了计算复杂性。循环和随机指数选择策略被认为是。
2019-07-18 math.OC stat.ML