Towards More Efficient Stochastic Decentralized Learning: Faster Convergence and Sparse Communication
Zhejiang University(浙江大学);Massachusetts Institute of Technology(麻省理工学院);South China University of Technology(华南理工大学)
近年来,分散优化问题越来越受到人们的关注.大多数现有的方法是确定性的,每次迭代成本高,并具有二次依赖于问题的条件数的收敛速度。此外,即使数据集是稀疏的,密集的通信也是必要的,以确保收敛。在本文中,我们推广的分散优化问题的单调算子根查找问题,并提出了一个随机算法DSBA,(i)几何收敛率线性依赖于问题的条件数,(ii)可以实现使用稀疏通信。此外,DSBA处理学习问题,如AUC最大化,这在去中心化环境中无法有效解决。凸极小化和AUC最大化实验验证了该方法的有效性。
2018-05-25 cs.LG stat.ML
Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);DeepMind(深度思维)
自然梯度下降法已被证明可以有效地减轻神经网络优化中病理曲率的影响,但理论上对其收敛特性知之甚少,特别是对于\emph{nonlinear}网络。在这项工作中,我们第一次分析了自然梯度下降的收敛速度的非线性神经网络平方误差损失。我们确定了两个条件,保证有效的收敛从随机初始化:(1)雅可比矩阵(网络的输出的所有训练情况下的参数)有完整的行秩,(2)雅可比矩阵是稳定的小扰动周围的初始化。对于两层ReLU神经网络,我们证明了在非退化输入和过度参数化的假设下,这两个条件在整个训练过程中都成立。我们进一步扩展我们的分析更一般的损失函数。最后,我们证明了K-FAC,一个近似的自然梯度下降法,也收敛到全局最小值在相同的假设下,我们给出了这种收敛速度的一个界。
2019-10-28 cs.LG stat.ML
Fast and Strong Convergence of Online Learning Algorithms
Zhejiang University(浙江大学);Fudan University(复旦大学)
本文研究了无显式正则化项的在线学习算法。该算法实质上是再生核Hilbert空间(RKHS)中的随机梯度下降算法。每次迭代中多项式衰减的步长可以起到正则化的作用,保证在线学习算法的泛化能力。提出了一种新的基于容量的在线学习算法性能分析方法。本文的贡献是双重的。首先,我们很好的分析可以导致标准均方距离的收敛速度,这是迄今为止最好的。其次,我们建立,第一次,强收敛的最后一个多项式衰减步长在RKHS规范。我们证明了本文建立的理论分析充分利用了底层RKHS的精细结构,从而可以导致在线学习算法的尖锐的误差估计。
2017-10-10 cs.LG stat.ML
Fast convergence of a Federated Expectation-Maximization Algorithm
Institute of Mathematics, Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院数学研究所);Department of Operations Research and Financial Engineering(运筹学与金融工程系);Princeton University(普林斯顿大学)
本文研究了联邦学习中数据异质性对期望-最大化算法收敛速率的影响,通过联邦混合线性回归模型分析,证明在信号噪声比不低于√K时,初始化良好的EM算法在所有客户端数量和数据点数量下都能收敛到真实参数,实验验证了数据异质性可加速迭代联邦算法收敛。
2026-03-23 cs.LG stat.ML
Understanding Approximate Fisher Information for Fast Convergence of Natural Gradient Descent in Wide Neural Networks
Tokyo Institute of Technology(东京工业大学)
自然梯度下降(NGD)有助于加速梯度下降动力学的收敛,但由于其高计算成本,它需要在大规模深度神经网络中进行近似。经验研究已经证实,一些近似费舍尔信息的NGD方法在实践中收敛得足够快。然而,从理论的角度来看,为什么以及在什么条件下这种启发式近似工作得很好,这仍然是不清楚的。在这项工作中,我们发现,在特定的条件下,近似费舍尔信息NGD实现了相同的快速收敛到全局极小的精确NGD。我们考虑了无限宽极限下的深度神经网络,并通过神经切核分析了函数空间中NGD的渐近训练动力学。在函数空间中,具有近似费舍尔信息的训练动力学与具有精确费舍尔信息的训练动力学相同,并且它们快速收敛。快速收敛适用于逐层近似;例如,在块对角近似中,每个块对应于一个层,以及在块三对角和K-FAC近似中。我们还发现,一个单位的近似实现相同的快速收敛在某些假设下。所有这些不同的近似在函数空间中都具有各向同性梯度,这在训练中实现相同的收敛特性方面起着重要作用。因此,目前的研究为理解深度学习中的NGD方法提供了一个新颖而统一的理论基础。
2020-12-07 cond-mat.dis-nn cs.LG stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa(爱荷华大学);Nanjing University(南京大学)
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快,严重依赖于双线性结构的问题,这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法,使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题,没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下,得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如,对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题,算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Characterizing & Finding Good Data Orderings for Fast Convergence of Sequential Gradient Methods
EPFL(洛桑联邦理工学院);CISPA(亥姆霍兹信息安全研究中心)
虽然SGD从具有替换的数据中采样在理论上被广泛研究,但一种称为随机重排(RR)的变体在实践中更常见。RR通过数据集的随机排列进行迭代,并且已被证明比SGD收敛得更快。当确定性地选择阶数时,称为增量梯度下降(IG)的变体,现有的收敛界显示出比SGD的改进,但比RR差。然而,这些界限并不区分好的和坏的排序,并且适用于最差的排序选择。同时,在某些情况下,使用IG时选择正确的顺序可以导致比RR更快的收敛。在这项工作中,我们量化了顺序对收敛速度的影响,根据所选择的排列序列获得收敛范围,同时也恢复了以前的RR结果。此外,我们展示了使用结构化洗牌的好处时,各种层次的抽象(例如,任务,类,增强等)。在理论上和实践中都存在于数据集中。最后,依靠我们的测量,我们开发了一个贪心算法,用于在训练过程中选择好的订单,实现了优于RR的性能(准确率超过14%)。
2022-02-03 cs.LG
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University(东邦大学)
本文理论分析了Riemannian随机梯度下降(RSGD),证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$,并降低SFO复杂度,兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
Fast convergence rates of deep neural networks for classification
Seoul National University(首尔国立大学)
我们推导了深度神经网络(DNN)分类器的快速收敛速度,其中使用铰链损失学习了整流线性单元(ReLU)激活函数。我们考虑真实模型的三种情况:(1)光滑决策边界,(2)光滑条件类概率,以及(3)边际条件(即,输入在决策边界附近的概率很小)。我们表明,使用铰链损失学习的DNN分类器在所有三种情况下都实现了快速收敛,前提是架构(即,层数、节点数和稀疏度)。是经过精心挑选的。一个重要的含义是,DNN架构非常灵活,可以在各种情况下使用,无需太多修改。此外,我们考虑了通过最小化交叉熵学习的DNN分类器,并表明DNN分类器在大多数数据的条件类概率足够接近1或0的条件下实现了快速收敛速度。这种假设对于图像识别来说并不罕见,因为人类非常擅长识别大多数图像。为了证实我们的理论解释,我们提出了一个小的数值研究的结果进行比较铰链损失和交叉熵。
2019-06-18 cs.LG math.ST stat.ML
Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data
University of California, Irvine(加州大学欧文分校);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们研究了梯度下降的动态学习神经网络分类问题。与现有的工作不同,我们考虑线性不可分的情况下,不同类别的训练数据位于正交子空间。我们表明,当网络有足够的(但不是非常大)数量的神经元,(1)相应的最小化问题有一个理想的景观,所有的临界点是完美的分类的全局极小值;(2)梯度下降是保证收敛到全局极小值。此外,我们发现了一个几何条件的网络权重,以便当它被满足时,权重的演变过渡到一个缓慢的阶段的权重方向扩散到一个快速阶段的权重收敛。几何条件是指投影在单位球面上的权值的凸包包含原点。
2020-12-10 cs.LG math.OC stat.ML
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提供了一个新的收敛性分析随机梯度Langevin动力学(SGLD)的抽样从一类分布,可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布,我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离,其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果(Raginsky等人,2017年; Xu等人,2018年)。我们进一步表明,提供了一个额外的Hessian Lipschitz条件的对数密度函数,SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性,并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院)
许多机器学习技术牺牲了方便的计算结构来获得估计鲁棒性和建模灵活性。然而,通过探索建模结构,我们发现这些“牺牲”并不总是需要更多的计算工作。为了揭示这种“免费午餐”现象,我们研究了平方根Lasso(SQRT-Lasso)型回归问题。具体来说,我们表明,非光滑的损失函数的SQRT-Lasso型回归缓解调整工作和增益自适应非均匀噪声,但不一定比Lasso在计算上更具挑战性。我们可以直接应用近似算法(例如近似梯度下降,近似牛顿和近似拟牛顿算法),而无需担心损失函数的非光滑性。理论上,我们证明了邻近算法结合路径优化计划享有快速收敛保证高概率。数值结果支持我们的理论。
2019-04-14 cs.LG math.OC stat.ML
On a Faster $R$-Linear Convergence Rate of the Barzilai-Borwein Method
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Barzilai-Borwein(BB)方法在非线性最优化中已经证明了巨大的经验成功。然而,BB方法的收敛速度并没有得到很好的理解,因为已知的BB方法对二次问题的收敛速度比最速下降(SD)方法差得多。因此,理论和实践之间存在很大的差异。为了缩小这一差距,我们证明了BB方法收敛$R$ -线性的速度为$1-1/κ$,其中$κ$是条件数,强凸二次问题。最后,给出了一个具有理论收敛速率的例子,说明了我们的界的紧性。
2021-01-22 cs.LG math.OC
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore(新加坡国立大学);Fudan University(复旦大学)
本文针对有限和强凸优化问题,提出将对称秩1更新与块更新融入增量拟牛顿框架,实现与条件数无关的局部超线性收敛,且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
An improved central limit theorem and fast convergence rates for entropic transportation costs
IMUVA, Universidad de Valladolid(巴利亚多利德大学IMUVA数学研究所);IMT, Université de Toulouse(图卢兹大学图卢兹数学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
证明了以人口成本为中心的亚高斯概率测度之间的熵运输成本的中心极限定理。这是第一个结果,它允许熵最优输运之间的措施,不一定是离散的渐近有效的推断。在紧支持的情况下,我们补充这些结果与新的,更快的,收敛速度的预期熵运输成本之间的经验措施。我们的证明是基于加强熵最优输运问题的对偶解的收敛结果。
2022-05-04 cs.LG math.PR math.ST
An Automatic Learning Rate Schedule Algorithm for Achieving Faster Convergence and Steeper Descent
Adobe Research(奥多比研究院);Sun Yat-sen University(中山大学)
提出RDBD算法,改进delta-bar-delta以解决小批量优化中的收敛问题,可与任意优化器集成,显著提升收敛速度。
2023-10-17 cs.LG
Exponentially fast convergence to (strict) equilibrium via hedging
LIG-CNRS, Univ. Grenoble-Alpes(格勒诺布尔阿尔卑斯大学LIG-CNRS)
出于快速收敛是必不可少的数据网的应用程序,我们分析了学习的问题,在一般的N人游戏,承认一个纯策略的纳什均衡。具体来说,我们考虑的情况下,玩家反复互动,并试图从过去的经验中学习的小调整的基础上本地-和可能不完美的-收益信息。具体来说,我们专注于所谓的“对冲”的指数权重算法的变种,玩家选择一个行动的概率成正比的行动的累积收益随着时间的推移的指数。当参与者对他们的混合收益有完美的信息时,算法局部收敛到严格的均衡,收敛速度是指数级的-$\mathcal{O}(\exp(-a\sum_{j=1}^{t}γ_{j}))$,其中$a>0$是常数,$γ_{j}$是算法的步长。在存在不确定性的情况下,收敛需要一个更保守的步长策略,但在很大的概率下,该算法保持局部收敛,并达到指数收敛速度。
2016-07-29 cs.GT cs.LG math.OC
Fast Convergence in Learning Two-Layer Neural Networks with Separable Data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of British Columbia(不列颠哥伦比亚大学)
本文研究两层神经网络上归一化梯度下降的收敛性,证明在找到插值模型时训练损失线性收敛至全局最优,并通过算法稳定性分析建立有限时间泛化界,证明其不会过拟合。
2023-06-26 cs.LG
Fast Convergence of Regularized Learning in Games
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
我们表明,自然类的正则化学习算法与近因偏差的形式实现更快的收敛速度,以近似的效率和粗糙的相关均衡多人范式游戏。当游戏中的每个玩家使用我们班的算法时,他们的个人遗憾以$O(T^{-3/4})$衰减,而效用之和则以$O(T^{-1})$收敛到近似最佳值--这是对最坏情况下$O(T^{-1/2})$率的改进。我们展示了一个黑盒减少类中的任何算法,以实现对对手的$\tilde{O}(T^{-1/2})$率,同时保持对类中的算法更快的速度。我们的结果扩展了[Rakhlin and Shridharan 2013]和[Daskalakis et al. 2014]的结果,他们只分析了特定算法的两人零和游戏。
2015-12-10 cs.AI cs.GT cs.LG
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University(达尔豪斯大学);University of Science(理大学);Vietnam National University(越南国立大学);AISIA Research Lab(AISIA研究实验室);University of Delaware(特拉华大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了一般情形下广义Bayes估计的学习率,其中假设类可以是不可数的且形状不规则,损失函数可以有重尾,最优假设可能不唯一.证明了在多尺度Bernstein条件下,广义后验分布集中在最优假设集附近,广义Bayes估计具有较快的学习速度.我们的结果表明,标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Meta Mirror Descent: Optimiser Learning for Fast Convergence
University of Edinburgh(爱丁堡大学);KAIST(韩国科学技术院);Samsung AI Research, Cambridge(三星剑桥人工智能研究院)
优化器是训练机器学习模型的重要组成部分,其设计影响学习速度和泛化能力。一些研究试图通过解决一个两级优化问题,其中泛化误差最小化相对于优化参数学习更有效的梯度下降优化。然而,大多数现有的优化学习方法是直观的动机,没有明确的理论支持。我们从镜像下降而不是梯度下降开始采取不同的视角,并元学习相应的Bregman发散。在这种范式下,我们正式提出了一个新的元学习目标,最大限度地减少学习的遗憾。由此产生的框架,称为Meta Mirror Descent(MetaMD),学习加快优化速度。与许多元学习优化器不同,它还支持收敛和泛化保证,并且在不需要验证数据的情况下独特地做到这一点。我们评估我们的框架在各种任务和架构的收敛速度和泛化误差,并表现出强大的性能。
2022-03-05 cs.LG math.OC
Faster Subgradient Methods for Functions with Hölderian Growth
Rutgers University(罗格斯大学);University of Illinois(伊利诺伊大学)
本文的目的是导出几种次梯度法用于极小化具有Hölderian增长的非光滑凸函数的新的收敛结果。增长条件在许多应用中得到满足,包括具有二次增长和弱尖锐极小值的函数作为特殊情况。为此,有三个主要贡献。首先,对于一个常数和足够小的步长,我们表明,次梯度法实现线性收敛到一定的区域,包括最佳的设置,与错误的顺序的步长。第二,如果适当的问题参数是已知的,我们得到一个衰减步长,得到一个更快的收敛速度比所建议的经典$O(1/\sqrt{k})$结果的次梯度法。第三,我们提出了一种新的“下降阶梯”步长,它不仅获得了更快的收敛速度,而且对于弱尖锐函数的特殊情况也获得了线性收敛。我们还开发了一个自适应的“下降楼梯”的步长,实现了相同的收敛速度,而不需要一个误差界常数,这是很难在实践中估计的变化。
2018-04-30 cs.LG cs.NA math.NA
The Fast Convergence of Incremental PCA
UC San Diego(加州大学圣迭戈分校)
我们考虑这样一种情况,即我们看到$\mathbb{R}^d$中的样本被i.i.d.抽取。来自于均值为零且协方差未知的分布我们希望以增量的方式计算A的顶特征向量-使用一种算法,该算法在O(d)空间中保持顶特征向量的估计,并随着每个新数据点的到来而增量地调整估计。Krasulina(1969)和Oja(1983)提出了两个经典的方案。我们给出了有限样本收敛速度。
2015-01-15 cs.LG stat.ML
Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev
SUTD(新加坡科技设计大学);Princeton(普林斯顿大学);UC Irvine(加州大学欧文分校)
采样是一个基本的,可以说是非常重要的任务,在机器学习中有许多应用。一种从高维分布$e^{-f}$中对某个函数$f$进行采样的方法是朗之万算法(LA)。最近,即使在$f$是非凸的情况下,LA的快速收敛也取得了很多进展,特别是[53],[39],其中前一篇论文关注$\mathbb{R}^n$中定义的函数$f$,后一篇论文关注具有流形结构的对称性(如矩阵完成型目标)的函数。我们的工作推广了[53]的结果,其中$f$定义在流形$M$上而不是$\mathbb{R}^n$上。从技术的角度来看,我们表明,KL减少的几何速率时,分布$e^{-f}$满足一个log-Sobolev不等式$M$。
2020-12-06 cs.LG stat.ML
A Fast Convergence Theory for Offline Decision Making
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出通用函数近似下离线决策问题的首个通用快速收敛结果,引入DMOF框架统一设置,提出EDD算法并定义EOEC系数,证明其实例依赖性与相关性衡量作用,在部分覆盖假设下获$1/N$收敛速率,还补充下界验证理论合理性。
2024-12-03 cs.LG stat.ML
ReZero is All You Need: Fast Convergence at Large Depth
UC San Diego(加州大学圣地亚哥分校)
由于信号传播效率低下,深度网络通常会出现梯度消失或爆炸,导致训练时间长或收敛困难。各种架构设计、复杂的残差型网络和初始化方案已被证明可以改善深度信号传播。最近,Pennington等人使用自由概率理论证明了动态等距在有效的深度学习中起着不可或缺的作用。我们发现,最简单的架构变化门每个剩余的连接使用一个单一的零初始化参数满足初始动态等距,并优于更复杂的方法。虽然比它的前辈简单得多,但这个门可以训练成千上万个完全连接的层,具有快速收敛和更好的测试性能,适用于在CIFAR-10上训练的ResNet。我们将这种技术应用于语言建模,发现我们可以很容易地训练120层的Transformers。当应用于12层Transformers时,它在enwiki 8上的收敛速度快了56%。
2020-06-25 cs.CL cs.LG stat.ML
Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates
U.S. Naval Research Laboratory(美国海军研究实验室);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
在本文中,我们描述了一种现象,我们称之为“超收敛”,其中神经网络可以比标准训练方法快一个数量级。超收敛的存在与理解为什么深度网络能很好地泛化有关。超收敛的关键要素之一是用一个学习率周期和一个大的最大学习率进行训练。允许超收敛训练的主要见解是,大的学习率使训练正则化,因此需要减少所有其他形式的正则化,以保持最佳的正则化平衡。我们还推导出一个简化的Hessian自由优化方法来计算最佳学习率的估计。实验证明了Cifar-10/100,MNIST和Imagenet数据集,以及resnet,wide-resnet,densenet和inception架构的超收敛性。此外,我们表明,超收敛提供了一个更大的提升性能相对于标准的训练时,标记的训练数据的量是有限的。复制本文中的图的架构和代码可以在github.com/lnsmith54/super-convergence上获得。请参阅http://www.fast.ai/2018/04/30/dawnbench-fastai/,了解赢得DAWNBench挑战赛的超收敛应用程序(请参阅https://dawn.cs.stanford.edu/benchmark/)。
2018-05-17 cs.CV cs.LG cs.NE
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果,包括一个正式的分析块版本的算法,从随机初始化和收敛。我们还做了一些独立的利益,如如何预初始化,只有一个确切的权力迭代可以显着提高随机方法的运行时间,以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation
University of British Columbia(英属哥伦比亚大学);Mila, Université de Montréal(蒙特利尔大学米拉研究所);Element AI(元素人工智能公司);CCAI Affiliate Chair (Amii)(加拿大先进人工智能研究所CCAI附属主席)
考虑了在过参数化模型所满足的插值条件下极小化光滑强凸函数的随机二阶方法。在此条件下,我们证明了正则化下采样牛顿法(R-SSN)具有自适应步长和恒定批量,实现了全局线性收敛。通过增长批量大小的二次采样梯度和海森,我们表明,R-SSN可以收敛在一个局部邻域的解决方案的二次率。我们还表明,R-SSN达到局部线性收敛的家庭的自协调功能。此外,我们还分析了插值情形下的随机BFGS算法,证明了它们的全局线性收敛性。我们凭经验评估随机L-BFGS和“Hessian自由”的R-SSN的实现二进制分类合成,线性可分离的数据集和真实的数据集下的内核映射。我们的实验结果表明,这些方法的快速收敛,无论是在迭代次数和挂钟时间。
2020-03-22 cs.LG math.OC stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition
Washington State University(华盛顿州立大学);The University of Iowa(爱荷华大学)
本文利用PL条件提出并分析了一种通用的基于近端阶段方法的随机算法框架,用于求解非凸强凹极小极大问题,在原始目标间隙和对偶间隙上均实现了更快的收敛速率,并通过实验验证了其有效性。
2023-04-17 cs.LG math.OC stat.ML
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University(得克萨斯农工大学)
我们解决的问题,找到一个有约束的马尔可夫决策过程(CMDP)使用梯度下降为基础的算法的最优策略。以前的结果表明,原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶(PMD-PD)算法,可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始(策略)更新,PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤,其等效于具有适当正则化的镜像下降步骤。对于双重更新,PMD-PD算法使用修改的拉格朗日乘子,以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明,与现有的基于策略梯度的算法相比,PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Fast Adversarial Training with Smooth Convergence
Dalian University of Technology(大连理工大学)
针对快速对抗训练在大扰动预算下易出现灾难性过拟合的问题,提出带收敛步长的ConvergeSmooth振荡约束与无额外超参的权重中心化方法,实现稳定平滑训练,在主流数据集上性能超越现有FAT方法。
2023-08-24 cs.LG
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
自然策略梯度(NPG)方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化(一种鼓励探索的算法方案)结合使用,并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功,NPG方法的理论基础仍然有限,即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证,重点是折扣马尔可夫决策过程(MDP)。假设访问精确的政策评估,我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外,该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率,并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
Fast Convergence Algorithm for Analog Federated Learning
ShanghaiTech University(上海科技大学);Tsinghua University(清华大学)
在本文中,我们考虑联邦学习(FL)在一个嘈杂的衰落多址接入信道(MAC),其中边缘服务器聚合的本地模型传输的多个终端设备通过空中计算(AirComp)。为了在无线信道上实现高效的模拟联邦学习,提出了一种基于AirCompFedSplit算法,该算法采用基于阈值的设备选择方案实现可靠的本地模型上传。特别地,我们分析了所提出的算法的性能,并证明了所提出的算法线性收敛到最优解的假设下,目标函数是强凸和光滑的。我们还描述了所提出的算法的鲁棒性的病态问题,从而实现快速收敛速度和减少通信轮。进一步给出了有限的误差界,揭示了收敛行为与信道衰落和噪声之间的关系。理论和实验结果表明,该算法对病态问题具有更强的鲁棒性,且收敛速度快于其他FL算法。
2020-10-30 cs.IT cs.LG eess.SP
Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence
Singapore University of Design and Technology(新加坡科技设计大学);East China Normal University(华东师范大学);University of Electronic Science and Technology of China(电子科技大学);Beihang University(北京航空航天大学)
联邦学习(FL)可以在移动边缘网络中用于以分布式方式训练机器学习模型。最近,FL已被解释模型无关的元学习(MAML)框架内,这使得FL在快速适应和收敛异构数据集的显着优势。然而,现有的研究只是简单地将MAML和FL结合起来,而没有明确地解决MAML给FL带来了多少好处以及如何在移动边缘网络上最大化这种好处。在本文中,我们从两个方面量化了好处:优化FL超参数(即,采样数据大小和通信循环数)和资源分配(即,发射功率)。具体来说,我们制定了基于MAML的FL设计作为一个整体的学习时间最小化问题,模型精度和能源消耗的约束下。通过基于MAML的FL的收敛性分析,我们将问题分解,然后使用解析解和坐标下降法求解。利用获得的FL超参数和资源分配,设计了一种基于MAML的FL算法,称为自动联邦学习(AutoFL),能够进行快速自适应和收敛。大量的实验结果表明,AutoFL优于其他基准算法的学习时间和收敛性能。
2023-03-23 cs.DC cs.LG
Fast convergence of the Expectation Maximization algorithm under a logarithmic Sobolev inequality
Department of Statistics, University of Warwick(沃里克大学统计系)
本文提出了一种基于对数Sobolev不等式分析EM算法的新框架,证明了其在有限样本下的误差界和指数收敛性,并扩展至多种EM变体。
2025-11-18 cs.LG math.OC math.ST
FedIDM: Achieving Fast and Stable Convergence in Byzantine Federated Learning through Iterative Distribution Matching
FedIDM通过迭代分布匹配生成可信数据并过滤异常客户端,解决联邦学习中拜占庭鲁棒性与模型效用之间的平衡问题,实现快速稳定收敛。
2026-04-16 cs.CR cs.LG
Learning in Games: Robustness of Fast Convergence
Cornell University(康奈尔大学);Tsinghua University(清华大学)
我们表明,学习算法满足$\textit{low approximate regret}$属性的经验快速收敛到近似最优的一大类重复的游戏。我们的性质,简单地要求每个学习者有小的遗憾相比,$(1+ε)$ -乘法近似的最佳行动在事后看来,是无处不在的学习算法,它是满足甚至香草对冲预测。我们的研究结果在许多方面改进了Syrgkanis等人[SALS 15]的近期工作。我们只要求参与者观察其他参与者的已实现行为下的收益,而不是预期收益。我们进一步表明,收敛发生的概率很高,并显示收敛下的强盗反馈。最后,我们提高了收敛速度的一个因素$n$,球员的数量。我们的分析提供了快速收敛的设置和算法类的范围比以前的工作要广泛得多。我们的框架适用于动态人口游戏,通过低近似的遗憾属性的变化专家。在这里,我们以两种方式加强了Lykouris等人的结果。[LST 16]:我们允许玩家从更大的类中选择学习算法,其中包括基本对冲算法的一个小变体,并且我们增加了达到近似最优的玩家的最大流失。在强盗设置,我们提出了一个新的算法,它提供了一个“小损失”型的界限,改善依赖于效用设置中的行动的数量,是既简单又有效。这一结果可能是独立的利益。
2016-12-16 cs.GT cs.LG
Federated Meta-Learning with Fast Convergence and Efficient Communication
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在移动设备的分布式网络中协作训练机器学习模型的统计和系统挑战一直是联邦学习在现实世界中应用的瓶颈。在这项工作中,我们表明,元学习是一个自然的选择来处理这些问题,并提出了一个联邦元学习框架FedMeta,其中参数化算法(或元学习者)是共享的,而不是在以前的方法中的全局模型。我们对LEAF数据集和真实世界的生产数据集进行了广泛的实证评估,并证明FedMeta实现了所需的通信成本降低了2.82-4.33倍,收敛速度更快,准确率提高了3.23%-14.84%,而Federated Averaging(FedAvg)是联邦学习中领先的优化算法。此外,FedMeta保护用户隐私,因为只有参数化算法在移动设备和中央服务器之间传输,而没有原始数据收集到服务器上。
2019-12-14 cs.IR cs.LG
Recorded Step Directional Mutation for Faster Convergence
Aptex Software(Aptex软件公司)
本文描述的两种元进化优化策略加速了进化规划算法的收敛,同时仍然保留了它们处理多模态问题的能力。这两种策略分别称为定向变异和记录步,它们可以独立操作,但结合在一起可以极大地提高进化规划算法处理以狭长谷为特征的适应度景观的能力。该组合方法的定向突变方面使用相关元突变,但不引入完整的协方差矩阵。因此,这些新方法在高维问题的存储方面更加经济。此外,方向突变是旋转不变的,这是相对于自适应方法的实质性优势,自适应方法针对问题的自然取向不沿轴取向的问题使用每个坐标的单个方差。
2009-03-26 cs.LG cs.NE
Towards Extremely Fast Bilevel Optimization with Self-governed Convergence Guarantees
National Center for Applied Mathematics Shenzhen(深圳国家应用数学中心)
梯度法已成为学习和视觉领域中双层优化(BLO)的主流技术。现有工作的有效性在很大程度上依赖于以极高的精度求解一系列逼近子问题。不幸的是,为了达到近似精度,需要执行大量的耗时的迭代和计算负担,自然造成的。因此,本文致力于解决这个关键的计算问题。特别是,我们提出了一个单一的水平制定统一理解现有的显式和隐式的基于一致性的BLO(GBLO)。这与我们设计的反例一起可以清楚地说明GBLO及其朴素加速度的基本数值和理论问题。通过引入对偶乘子作为一个新的变量,我们建立了一个通用的框架,即具有对偶校正的双层交替梯度(BAGDC),它通过采取特定的设置来显著地加速不同类别的现有方法。我们的收敛结果的一个显着特点是,相比那些原始的未加速的GBLO版本,快速BAGDC承认一个统一的非渐近收敛理论的平稳性。各种数值实验也进行了证明所提出的算法框架的优越性。
2022-05-20 cs.LG math.OC
Fast Last-Iterate Convergence in Zero-Sum Markov Games with Bandit Feedback
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对未知零和折扣马尔可夫博弈,提出自适应正则化时序差分学习(ARTD),在赌博反馈下实现末轮迭代的 $\widetilde{\mathcal{O}}(t^{-1/4})$ 对偶间隙收敛,显著改进现有速率。
2026-10-06 cs.GT cs.LG
Fast Convergence of Optimistic Gradient Ascent in Network Zero-Sum Extensive Form Games
Singapore Univ. of Technology and Design(新加坡科技设计大学);University of Washington(华盛顿大学);EPFL(洛桑联邦理工学院)
游戏学习的研究迄今主要集中在范式游戏。相比之下,我们对广泛形式游戏(EFG),特别是具有许多代理的EFG学习的理解远远落后,尽管它们在本质上更接近许多现实世界的应用。我们考虑网络零和扩展形式游戏的自然类,它结合了代理支付的全局零和属性,图形游戏的有效表示以及EFG的表达能力。我们研究了乐观梯度上升(OGA)在这些游戏中的收敛特性。我们证明了这种在线学习动态的时间平均行为表现出$O(1/T)$率收敛到纳什均衡集。此外,我们还证明了对于某些依赖于博弈的常数$c>0$,日常行为也以速率$O(c^{-t})$收敛于纳什。
2022-07-18 cs.GT cs.LG cs.MA