A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates
The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
近年来，在随机方差约化梯度方法的研究中取得了令人兴奋的进展（例如，SVRG，SAGA），它们的加速变体（例如，喀秋莎）以及它们在许多不同环境中的扩展（例如，在线、稀疏、异步、分布式）。其中，加速方法具有改进的收敛速度，但具有复杂的耦合结构，这使得它们难以扩展到更多的设置（例如，稀疏和异步）。在本文中，我们介绍了一个简单的随机方差减少算法（MiG），它享有最好的已知的强凸和非强凸问题的收敛速度。此外，我们还提出了其有效的稀疏和异步的变种，并从理论上分析其收敛速度在这些设置。最后，广泛的实验，各种机器学习问题，如逻辑回归，以说明在串行和异步设置的实际改进。
2018-06-28 cs.LG stat.ML
Proximal SCOPE for Distributed Sparse Learning: Better Data Partition Implies Faster Convergence Rate
Nanjing University（南京大学）
多台机器集群的分布式稀疏学习在机器学习中引起了广泛关注，特别是对于具有高维数据的大规模应用。实现稀疏学习的一种流行方法是使用$L_1$正则化。在本文中，我们提出了一种新的方法，称为近端\mbox{SCOPE} ~（\mbox{pSCOPE}），分布式稀疏学习$L_1$正则化。pSCOPE基于\underline{c}操作性\underline{a}可操作性\underline{l}局部\underline{l}可操作性~（\mbox{CALL}）框架。在\mbox{pSCOPE}的\mbox{CALL}框架中，我们发现数据划分会影响学习过程的收敛性，因此我们定义了一个度量数据划分优劣的指标。基于定义的度量，我们从理论上证明了pSCOPE是收敛的线性收敛速度，如果数据划分是足够好的。我们还证明了更好的数据划分意味着更快的收敛速度。此外，pSCOPE还具有通信效率。在真实数据集上的实验结果表明，pSCOPE可以优于其他最先进的分布式稀疏学习方法。
2018-10-26 cs.LG stat.ML
Adaptive and Universal Algorithms for Variational Inequalities with Optimal Convergence
Boston University（波士顿大学）；Northeastern University（东北大学）
我们开发了新的自适应算法与单调算子的变分不等式，它捕获了许多感兴趣的问题，特别是凸优化和凹凸鞍点问题。我们的算法自动适应未知的问题参数，如平滑和规范的运营商，和方差的随机评估预言。我们表明，我们的算法是通用的，同时达到最佳的收敛速度在非光滑，光滑，随机设置。我们的算法的收敛性保证改善现有的自适应方法的$Ω(\sqrt{\ln T})$因子，匹配的最佳非自适应算法。此外，以前的工作要求优化域是有界的。在这项工作中，我们删除这个限制，并给出算法的无界域是自适应的和普遍的。我们的一般证明技术可以用于算法的许多变体，每次迭代使用一个或两个运算符评估。基于ExtraGradient/RightProx算法的经典方法每次迭代需要两次运算符评估，这在许多设置中是运行时间的主要因素。
2021-08-26 cs.DS cs.LG
Understanding Approximate Fisher Information for Fast Convergence of Natural Gradient Descent in Wide Neural Networks
Tokyo Institute of Technology（东京工业大学）
自然梯度下降（NGD）有助于加速梯度下降动力学的收敛，但由于其高计算成本，它需要在大规模深度神经网络中进行近似。经验研究已经证实，一些近似费舍尔信息的NGD方法在实践中收敛得足够快。然而，从理论的角度来看，为什么以及在什么条件下这种启发式近似工作得很好，这仍然是不清楚的。在这项工作中，我们发现，在特定的条件下，近似费舍尔信息NGD实现了相同的快速收敛到全局极小的精确NGD。我们考虑了无限宽极限下的深度神经网络，并通过神经切核分析了函数空间中NGD的渐近训练动力学。在函数空间中，具有近似费舍尔信息的训练动力学与具有精确费舍尔信息的训练动力学相同，并且它们快速收敛。快速收敛适用于逐层近似;例如，在块对角近似中，每个块对应于一个层，以及在块三对角和K-FAC近似中。我们还发现，一个单位的近似实现相同的快速收敛在某些假设下。所有这些不同的近似在函数空间中都具有各向同性梯度，这在训练中实现相同的收敛特性方面起着重要作用。因此，目前的研究为理解深度学习中的NGD方法提供了一个新颖而统一的理论基础。
2020-12-07 cond-mat.dis-nn cs.LG stat.ML
Online Adaptive Methods, Universality and Acceleration
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
我们提出了一种新的方法，凸无约束优化，没有任何修改，确保：（i）加速收敛速度光滑的目标，（ii）在一般（非光滑）设置的标准收敛速度，和（iii）在随机优化设置的标准收敛速度。据我们所知，这是第一个同时适用于所有上述设置的方法。我们方法的核心是自适应学习率规则，其采用重要性权重，本着自适应在线学习算法的精神（Duchi et al.，2011; Levy，2017），结合线性耦合两个序列的更新，本着（Allen-Zhu和Orecchia，2017）的精神。我们的方法的实证检验证明了它的适用性，上述情况下，并证实了我们的理论研究结果。
2018-09-08 cs.LG math.OC stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快，严重依赖于双线性结构的问题，这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法，使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题，没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下，得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如，对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题，算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems
H&K Research Studio（H&K 研究工作室）；Clevix LLC（Clevix 有限责任公司）
提出层次涌现框架(HEF)，将涌现建模为机制景观中的相变，证明在结构假设下物理可行且收敛到唯一不动点，并在111个模算术变换器实验中验证了相变指纹。
2026-05-25 cs.AI cs.LG
Characterizing & Finding Good Data Orderings for Fast Convergence of Sequential Gradient Methods
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全研究中心）
虽然SGD从具有替换的数据中采样在理论上被广泛研究，但一种称为随机重排（RR）的变体在实践中更常见。RR通过数据集的随机排列进行迭代，并且已被证明比SGD收敛得更快。当确定性地选择阶数时，称为增量梯度下降（IG）的变体，现有的收敛界显示出比SGD的改进，但比RR差。然而，这些界限并不区分好的和坏的排序，并且适用于最差的排序选择。同时，在某些情况下，使用IG时选择正确的顺序可以导致比RR更快的收敛。在这项工作中，我们量化了顺序对收敛速度的影响，根据所选择的排列序列获得收敛范围，同时也恢复了以前的RR结果。此外，我们展示了使用结构化洗牌的好处时，各种层次的抽象（例如，任务，类，增强等）。在理论上和实践中都存在于数据集中。最后，依靠我们的测量，我们开发了一个贪心算法，用于在训练过程中选择好的订单，实现了优于RR的性能（准确率超过14%）。
2022-02-03 cs.LG
Broad stochastic configuration residual learning system for norm-convergent universal approximation
School of Control and Computer Engineering, North China Electric Power University（控制与计算机工程学院，华北电力大学）；School of Mathematics and Physics, North China Electric Power University（数学与物理学院，华北电力大学）；School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（智能系统工程学院，中山大学深圳校区）
本文提出广义随机配置残差学习系统，通过规范收敛证明其通用逼近性质，解决了随机参数选择对通用逼近的影响，并在太阳能板灰尘检测中验证了其有效性。
2025-11-20 cs.LG
Fast convergence rates of deep neural networks for classification
Seoul National University（首尔国立大学）
我们推导了深度神经网络（DNN）分类器的快速收敛速度，其中使用铰链损失学习了整流线性单元（ReLU）激活函数。我们考虑真实模型的三种情况：（1）光滑决策边界，（2）光滑条件类概率，以及（3）边际条件（即，输入在决策边界附近的概率很小）。我们表明，使用铰链损失学习的DNN分类器在所有三种情况下都实现了快速收敛，前提是架构（即，层数、节点数和稀疏度）。是经过精心挑选的。一个重要的含义是，DNN架构非常灵活，可以在各种情况下使用，无需太多修改。此外，我们考虑了通过最小化交叉熵学习的DNN分类器，并表明DNN分类器在大多数数据的条件类概率足够接近1或0的条件下实现了快速收敛速度。这种假设对于图像识别来说并不罕见，因为人类非常擅长识别大多数图像。为了证实我们的理论解释，我们提出了一个小的数值研究的结果进行比较铰链损失和交叉熵。
2019-06-18 cs.LG math.ST stat.ML
Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出新颖的乐观在线到批量转换方法，将乐观性纳入理论分析，在简化在线算法设计的同时，实现光滑与强凸目标的最优加速收敛，并具备对光滑性的普适性且每次迭代仅需一次梯度查询。
2025-11-10 cs.LG math.OC
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提供了一个新的收敛性分析随机梯度Langevin动力学（SGLD）的抽样从一类分布，可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布，我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离，其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果（Raginsky等人，2017年; Xu等人，2018年）。我们进一步表明，提供了一个额外的Hessian Lipschitz条件的对数密度函数，SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性，并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
On a Faster $R$-Linear Convergence Rate of the Barzilai-Borwein Method
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Barzilai-Borwein（BB）方法在非线性最优化中已经证明了巨大的经验成功。然而，BB方法的收敛速度并没有得到很好的理解，因为已知的BB方法对二次问题的收敛速度比最速下降（SD）方法差得多。因此，理论和实践之间存在很大的差异。为了缩小这一差距，我们证明了BB方法收敛$R$ -线性的速度为$1-1/κ$，其中$κ$是条件数，强凸二次问题。最后，给出了一个具有理论收敛速率的例子，说明了我们的界的紧性。
2021-01-22 cs.LG math.OC
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
本文针对有限和强凸优化问题，提出将对称秩1更新与块更新融入增量拟牛顿框架，实现与条件数无关的局部超线性收敛，且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
An improved central limit theorem and fast convergence rates for entropic transportation costs
IMUVA, Universidad de Valladolid（巴利亚多利德大学IMUVA数学研究所）；IMT, Université de Toulouse（图卢兹大学图卢兹数学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
证明了以人口成本为中心的亚高斯概率测度之间的熵运输成本的中心极限定理。这是第一个结果，它允许熵最优输运之间的措施，不一定是离散的渐近有效的推断。在紧支持的情况下，我们补充这些结果与新的，更快的，收敛速度的预期熵运输成本之间的经验措施。我们的证明是基于加强熵最优输运问题的对偶解的收敛结果。
2022-05-04 cs.LG math.PR math.ST
Exponentially fast convergence to (strict) equilibrium via hedging
LIG-CNRS, Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学LIG-CNRS）
出于快速收敛是必不可少的数据网的应用程序，我们分析了学习的问题，在一般的N人游戏，承认一个纯策略的纳什均衡。具体来说，我们考虑的情况下，玩家反复互动，并试图从过去的经验中学习的小调整的基础上本地-和可能不完美的-收益信息。具体来说，我们专注于所谓的“对冲”的指数权重算法的变种，玩家选择一个行动的概率成正比的行动的累积收益随着时间的推移的指数。当参与者对他们的混合收益有完美的信息时，算法局部收敛到严格的均衡，收敛速度是指数级的-$\mathcal{O}(\exp(-a\sum_{j=1}^{t}γ_{j}))$，其中$a>0$是常数，$γ_{j}$是算法的步长。在存在不确定性的情况下，收敛需要一个更保守的步长策略，但在很大的概率下，该算法保持局部收敛，并达到指数收敛速度。
2016-07-29 cs.GT cs.LG math.OC
Fast Convergence of Regularized Learning in Games
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们表明，自然类的正则化学习算法与近因偏差的形式实现更快的收敛速度，以近似的效率和粗糙的相关均衡多人范式游戏。当游戏中的每个玩家使用我们班的算法时，他们的个人遗憾以$O(T^{-3/4})$衰减，而效用之和则以$O(T^{-1})$收敛到近似最佳值--这是对最坏情况下$O(T^{-1/2})$率的改进。我们展示了一个黑盒减少类中的任何算法，以实现对对手的$\tilde{O}(T^{-1/2})$率，同时保持对类中的算法更快的速度。我们的结果扩展了[Rakhlin and Shridharan 2013]和[Daskalakis et al. 2014]的结果，他们只分析了特定算法的两人零和游戏。
2015-12-10 cs.AI cs.GT cs.LG
Faster Convex Optimization: Simulated Annealing with an Efficient Universal Barrier
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）
本文探讨了两种截然不同的凸优化方法之间令人惊讶的等价性。本文证明了模拟随机游动算法在某种意义上与熵泛障碍函数的中心路径内点算法是等价的。这种连接表现出几个好处。首先，我们能够改善现有的凸优化的时间复杂度下的成员预言模型。我们利用Nesterov和Nemirovskii开发的工具，基于中心路径跟踪内点算法，改进了Kalai和Vempala的随机算法的分析。我们能够收紧模拟退火的温度时间表，从而提高运行时间，在某些情况下减少了尺寸的平方根。其次，我们得到了一个有效的随机内点方法，它具有一个有效的可计算的通用障碍，适用于任何由成员预言机描述的凸集。以前，有效计算的障碍是已知的，只有特定的凸集。
2015-11-05 cs.LG math.OC
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients
University of Pittsburgh（匹兹堡大学）
自适应梯度法在解决许多机器学习问题中表现出了优异的性能。虽然最近研究了多种自适应梯度法，但它们主要集中在经验或理论方面，并且仅通过使用特定的自适应学习率来解决特定的问题。因此，需要设计一个通用的框架，为实际的自适应梯度算法与理论保证，以解决一般问题。为了填补这一空白，我们提出了一个更快和通用的自适应梯度框架（即，SUPER-ADAM）通过引入一个通用的自适应矩阵，包括大多数现有的自适应梯度形式。此外，我们的框架可以灵活地集成动量和方差减少技术。特别是，我们的新框架提供了自适应梯度法的收敛性分析支持下的非凸设置。在理论分析中，我们证明了我们的SUPER-ADAM算法可以实现最佳已知梯度（即，随机一阶预言（SFO））复杂度的$\tilde{O}(ε^{-3})$寻找一个$ε$ -平稳点的非凸优化，它匹配的下界随机光滑非凸优化。在数值实验中，我们使用各种深度学习任务来验证我们的算法始终优于现有的自适应算法。代码可在https://github.com/LIJUNYI95/SuperAdam上获得
2022-05-11 cs.CV cs.LG math.OC
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
The Fast Convergence of Incremental PCA
UC San Diego（加州大学圣迭戈分校）
我们考虑这样一种情况，即我们看到$\mathbb{R}^d$中的样本被i.i.d.抽取。来自于均值为零且协方差未知的分布我们希望以增量的方式计算A的顶特征向量-使用一种算法，该算法在O（d）空间中保持顶特征向量的估计，并随着每个新数据点的到来而增量地调整估计。Krasulina（1969）和Oja（1983）提出了两个经典的方案。我们给出了有限样本收敛速度。
2015-01-15 cs.LG stat.ML
Fast-UAP: An Algorithm for Speeding up Universal Adversarial Perturbation Generation with Orientation of Perturbation Vectors
Shanghai University（上海大学）
卷积神经网络（CNN）已成为最流行的机器学习工具之一，并被应用于各种任务中，然而，CNN模型容易受到普遍扰动的影响，这些扰动通常是人类无法感知的，但会导致自然图像以很高的概率被错误分类。一种用于生成通用扰动的最先进算法被称为UAP。UAP在每次迭代中只聚合最小扰动，这将导致生成的普适扰动的大小不能有效地上升，导致生成缓慢。提出了一种基于扰动向量方向的全局扰动优化算法。在每一次迭代中，我们不是针对每幅图像选择最小的扰动向量，而是将当前的普适扰动实例与具有类似方向的扰动进行聚合，使得聚合的幅度在每次迭代中都尽可能大。实验结果表明，该方法能在较短的时间内，用较少的训练图像得到普遍的扰动。实验结果表明，与UAP算法相比，该算法产生的泛扰动在白盒攻击和黑盒攻击中的欺骗率平均提高了9%.
2020-01-06 cs.LG stat.ML
Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev
SUTD（新加坡科技设计大学）；Princeton（普林斯顿大学）；UC Irvine（加州大学欧文分校）
采样是一个基本的，可以说是非常重要的任务，在机器学习中有许多应用。一种从高维分布$e^{-f}$中对某个函数$f$进行采样的方法是朗之万算法（LA）。最近，即使在$f$是非凸的情况下，LA的快速收敛也取得了很多进展，特别是[53]，[39]，其中前一篇论文关注$\mathbb{R}^n$中定义的函数$f$，后一篇论文关注具有流形结构的对称性（如矩阵完成型目标）的函数。我们的工作推广了[53]的结果，其中$f$定义在流形$M$上而不是$\mathbb{R}^n$上。从技术的角度来看，我们表明，KL减少的几何速率时，分布$e^{-f}$满足一个log-Sobolev不等式$M$。
2020-12-06 cs.LG stat.ML
Constructive Universal Approximation and Sure Convergence for Multi-Layer Neural Networks
Academia Sinica（中华学术院）
提出基于稀疏指示激活神经元的o1Neuro模型，具备构造性通用近似与必然收敛两大统计特性，在多基准数据集上预测性能优于XGBoost等基线方法。
2025-09-12 cs.LG stat.ME stat.ML
ReZero is All You Need: Fast Convergence at Large Depth
UC San Diego（加州大学圣地亚哥分校）
由于信号传播效率低下，深度网络通常会出现梯度消失或爆炸，导致训练时间长或收敛困难。各种架构设计、复杂的残差型网络和初始化方案已被证明可以改善深度信号传播。最近，Pennington等人使用自由概率理论证明了动态等距在有效的深度学习中起着不可或缺的作用。我们发现，最简单的架构变化门每个剩余的连接使用一个单一的零初始化参数满足初始动态等距，并优于更复杂的方法。虽然比它的前辈简单得多，但这个门可以训练成千上万个完全连接的层，具有快速收敛和更好的测试性能，适用于在CIFAR-10上训练的ResNet。我们将这种技术应用于语言建模，发现我们可以很容易地训练120层的Transformers。当应用于12层Transformers时，它在enwiki 8上的收敛速度快了56%。
2020-06-25 cs.CL cs.LG stat.ML
Fast Convergence Rate of Multiple Kernel Learning with Elastic-net Regularization
我们研究了弹性网络正则化的多核学习算法的学习率，弹性网络正则化由一个用于引入稀疏性的$\ell_1$正则化器和一个用于控制光滑性的$\ell_2$正则化器组成.我们专注于一个稀疏的设置，其中内核的总数是大的，但地面真值的非零分量的数量相对较小，并证明弹性网MKL实现最小最大学习率的$\ell_2$ -混合范数球。我们的边界比以往任何时候都更尖锐的收敛速度，并具有一个性质，即越光滑的真相，收敛速度越快。
2011-07-13 stat.ML
Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates
U.S. Naval Research Laboratory（美国海军研究实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
在本文中，我们描述了一种现象，我们称之为“超收敛”，其中神经网络可以比标准训练方法快一个数量级。超收敛的存在与理解为什么深度网络能很好地泛化有关。超收敛的关键要素之一是用一个学习率周期和一个大的最大学习率进行训练。允许超收敛训练的主要见解是，大的学习率使训练正则化，因此需要减少所有其他形式的正则化，以保持最佳的正则化平衡。我们还推导出一个简化的Hessian自由优化方法来计算最佳学习率的估计。实验证明了Cifar-10/100，MNIST和Imagenet数据集，以及resnet，wide-resnet，densenet和inception架构的超收敛性。此外，我们表明，超收敛提供了一个更大的提升性能相对于标准的训练时，标记的训练数据的量是有限的。复制本文中的图的架构和代码可以在github.com/lnsmith54/super-convergence上获得。请参阅http://www.fast.ai/2018/04/30/dawnbench-fastai/，了解赢得DAWNBench挑战赛的超收敛应用程序（请参阅https：//dawn.cs.stanford.edu/benchmark/）。
2018-05-17 cs.CV cs.LG cs.NE
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果，包括一个正式的分析块版本的算法，从随机初始化和收敛。我们还做了一些独立的利益，如如何预初始化，只有一个确切的权力迭代可以显着提高随机方法的运行时间，以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation
University of British Columbia（英属哥伦比亚大学）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Element AI（元素人工智能公司）；CCAI Affiliate Chair (Amii)（加拿大先进人工智能研究所CCAI附属主席）
考虑了在过参数化模型所满足的插值条件下极小化光滑强凸函数的随机二阶方法。在此条件下，我们证明了正则化下采样牛顿法（R-SSN）具有自适应步长和恒定批量，实现了全局线性收敛。通过增长批量大小的二次采样梯度和海森，我们表明，R-SSN可以收敛在一个局部邻域的解决方案的二次率。我们还表明，R-SSN达到局部线性收敛的家庭的自协调功能。此外，我们还分析了插值情形下的随机BFGS算法，证明了它们的全局线性收敛性。我们凭经验评估随机L-BFGS和“Hessian自由”的R-SSN的实现二进制分类合成，线性可分离的数据集和真实的数据集下的内核映射。我们的实验结果表明，这些方法的快速收敛，无论是在迭代次数和挂钟时间。
2020-03-22 cs.LG math.OC stat.ML
A note on $L^1$-Convergence of the Empiric Minimizer for unbounded functions with fast growth
对于$V : \mathbb{R}^d \to \mathbb{R}$强制，我们研究了经验极小值的$L^1$ -距离的收敛速度，这是真正的最小值的函数$V$采样噪声与有限数量的$n$的样本，最小值的$V$。我们表明，在一般情况下，对于快速增长的无界函数，收敛速度是有界以上的$a_n n^{-1/q}$，其中$q$是潜在的随机变量的维数，其中$a_n = o(n^\varepsilon)$为每个$\varepsilon > 0$。然后，我们提出的应用程序中出现的机器学习和蒙特卡洛模拟的最优化问题。
2023-03-08 math.ST stat.ML stat.TH
Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions
虽然随机梯度下降（SGD）方法及其变体（例如，随机动量方法（AdaGrad）是解决非凸问题（特别是深度学习）的算法选择，但理论与实践之间仍存在很大差距，许多问题尚未解决。例如，仍然缺乏SGD及其变体的收敛理论，其使用逐阶段步长并在实践中返回平均解。此外，对于非凸优化，AdaGrad的自适应步长可以改善{ \sgd }的非自适应步长的理论解释仍然缺乏。本文旨在解决这些问题，填补理论与实践之间的空白。我们提出了一个通用的阶段优化框架，用于一个广泛的{ \bf非光滑非凸}（即弱凸）问题，具有以下关键特征：（i）在每个阶段，任何合适的随机凸优化算法（例如，SGD或AdaGrad），其返回平均解，可以用于最小化正则化凸问题;（ii）步长以逐阶段的方式减小;（iii）返回平均解作为最终解，该最终解是从具有采样概率{ \it递增}作为阶段号的所有逐阶段平均解中选择的。我们的理论结果阶段AdaGrad显示其自适应收敛，因此，它的收敛速度比阶段SGD稀疏随机梯度问题的见解。据我们所知，这些新的结果是第一个解决先前提到的现有理论中未解决的问题。除了理论上的贡献，我们的实证研究表明，我们的stagewise SGD和ADAGRAD提高泛化性能的现有的变体/实现SGD和ADAGRAD。
2019-03-06 math.OC stat.ML
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题，本文提出投影近端梯度下降法（PPGD），在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下，证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率，并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
Convergence Rate of Riemannian Hamiltonian Monte Carlo and Faster Polytope Volume Computation
我们给出了第一个严格的证明的收敛性的黎曼哈密顿蒙特卡罗，一般（和实用）的方法抽样吉布斯分布。我们的分析表明，收敛速度是有界的自然光滑参数的一个相关联的黎曼流形。然后，我们应用的方法与流形定义的对数障碍函数的问题（1）均匀采样的多面体和（2）计算其体积，后者通过扩展高斯冷却的流形设置。在这两种情况下，所需的总步骤数是O^{*}（mn^{ \frac{2}{3} }），提高了现有技术。我们分析的一个关键成分是证明流形上吉布斯分布的KLS猜想的模拟。
2017-10-17 cs.DS math.FA stat.ML
