A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology（麻省理工学院）
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信，适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时，证明了$O(k^{{-}3})$的收敛速度，其中$k$为迭代次数.我们还提供了网络相关的界限，在算法的每一步所需的通信。我们提供了数值实验，验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems
Purdue Univ.（普渡大学）；Univ. of Queensland（昆士兰大学）；ICSI（国际计算机科学研究所）；Univ. of California at Berkeley（加州大学伯克利分校）
诸如随机梯度下降（SGD）及其变体的一阶优化方法由于其简单性和低的每次迭代成本而广泛用于机器学习应用中。然而，它们通常需要大量的迭代，在分布式环境中具有相关的通信成本。相比之下，牛顿型方法虽然具有较高的每次迭代成本，但通常需要显著较少的迭代次数，这直接转化为降低的通信成本。在本文中，我们提出了一种新的分布式优化分类问题，它集成了一个GPU加速牛顿型求解器的全局共识制定交替方向的方法乘数（ADMM）。通过利用ADMM的通信效率，GPU加速的不精确牛顿求解器和有效的谱惩罚参数选择策略，我们表明我们提出的方法（i）在几个分类问题上产生更好的泛化性能;（ii）在分布式求解时间上显着优于最先进的方法;（iii）在大型分布式平台上提供更好的扩展性。
2020-02-04 cs.LG stat.ML
A Distributed Quasi-Newton Algorithm for Primal and Dual Regularized Empirical Risk Minimization
National University of Singapore（新加坡国立大学）；Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们提出了一个通信和计算效率的分布式优化算法，使用二阶信息解决经验风险最小化（ERM）问题的非光滑正则项。我们的算法是适用于原始和双重ERM问题。目前的二阶和拟牛顿方法，这个问题要么不工作，以及在分布式设置或工作，只有特定的正则化。我们的算法使用连续二次近似的光滑部分，我们描述了如何保持近似的（广义）海森和有效地解决子问题的分布式方式。当应用于分布式对偶ERM问题时，与仅采用Hessian的块对角部分的现有技术不同，我们的方法能够利用全局曲率信息，因此速度更快。所提出的方法具有全局线性收敛的广泛的非强凸问题，包括最常用的ERM，从而需要较低的通信复杂性。它还收敛于非凸问题，因此有可能用于深度学习等应用。计算结果表明，我们的方法显着改善了通信成本和运行时间比目前最先进的方法。
2019-12-12 cs.LG math.OC stat.ML
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus
University of Padova（帕多瓦大学）；Maynooth University（梅努斯大学）；Uppsala University（乌普萨拉大学）
针对分布式多智能体学习的全局损失最小化问题，提出结合梯度跟踪、牛顿迭代与共识平均的完全分布式牛顿型算法Network-GIANT，理论上证明其强凸光滑损失下半全局指数收敛，实验显示性能优于现有先进算法。
2023-07-19 cs.LG cs.MA math.OC
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD（加州大学圣迭戈分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UC Berkeley（加州大学伯克利分校）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
Distributed Newton Can Communicate Less and Resist Byzantine Workers
UC Berkeley（加州大学伯克利分校）
我们开发了一个分布式的二阶优化算法，是通信效率以及强大的拜占庭故障的工人机器。我们提出COMRADE（通信高效和鲁棒近似分布式nEwton），一个迭代的二阶算法，其中的工人机器通信只有一次，每次迭代与中心机。这与最先进的分布式二阶算法（如GIANT [34]和DINGO[7]）形成鲜明对比，其中工作机器顺序发送局部梯度和Hessian（的函数）;因此每次迭代结束时与中心机器进行两次通信。此外，我们表明，工人机器可以进一步压缩本地信息之前，将其发送到中心。此外，我们采用了一个简单的规范为基础的阈值规则过滤出拜占庭工人机器。我们建立了COMRADE的线性二次收敛率，并建立了通信节省和拜占庭弹性结果，在任意凸损失函数只有一个小的统计出错率。据我们所知，这是解决二阶分布式优化中拜占庭弹性问题的第一项工作。此外，我们通过对合成和基准LIBSVM [5]数据集的广泛实验验证了我们的理论结果，并证明了收敛保证。
2020-06-15 cs.DC cs.LG math.OC
DINGO: Distributed Newton-Type Method for Gradient-Norm Optimization
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
针对分布式计算环境中函数和的优化问题，提出了一种新的通信高效的牛顿型算法，该算法比现有的类似算法具有多种优势。类似于牛顿-MR，我们的算法，DINGO，是通过优化梯度的范数作为代理函数。DINGO不对底层函数施加任何特定的形式，其应用范围远远超出凸性。此外，数据在计算环境中的分布可以是任意的。此外，DINGO的基本子问题是简单的线性最小二乘，对于它存在过多的有效算法。最后，DINGO涉及一些易于调整的超参数。此外，我们从理论上表明，DINGO是不敏感的超参数的选择，在梯度范数的严格减少是有保证的，无论选择的超参数。我们证明了我们的方法相比，其他相关算法的有效性，稳定性和多功能性的经验证据。
2019-12-02 cs.LG math.OC
DONE: Distributed Approximate Newton-type Method for Federated Edge Learning
The University of Sydney（悉尼大学）；The Australian National University（澳大利亚国立大学）；Sharif University of Technology（谢里夫理工大学）
将分布式机器学习应用于边缘计算，形成联合边缘学习的兴趣越来越大。联邦边学习面向非独立同分布。和异构数据，并且边缘工作者之间的通信（可能通过遥远的位置并且具有不稳定的无线网络）比其本地计算开销更昂贵。在这项工作中，我们提出了DONE，一个分布式的近似牛顿型算法，具有快速收敛速度的通信效率的联邦边缘学习。首先，使用强凸和光滑的损失函数，DONE在每个边缘工作者上使用经典的Richardson迭代以分布式方式近似牛顿方向。其次，我们证明了DONE具有线性二次收敛性，并分析了它的通信复杂性。最后，非i.i.d.和异构数据表明，DONE达到了可比的性能牛顿的方法。值得注意的是，与分布式梯度下降相比，DONE需要更少的通信迭代，并且在非二次损失函数的情况下，性能优于最先进的方法DANE和FEDL。
2022-01-26 cs.LG
Distributed quasi-Newton robust estimation under differential privacy
Beijing Normal University at Zhuhai（北京师范大学珠海校区）
针对隐私保护下含拜占庭机器的分布式计算问题，提出仅需传输五个向量的稳健拟牛顿估计算法，有效降低隐私预算与传输成本，实现最优收敛速率与渐近正态性。
2024-08-22 cs.LG math.ST stat.ML
ISAAC Newton: Input-based Approximate Curvature for Newton's Method
University of Konstanz（康斯坦茨大学）；University of Salzburg（萨尔茨堡大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；University of Frankfurt（法兰克福大学）
本研究提出ISAAC牛顿法，通过仅基于层输入计算近似曲率调节梯度，在小批量场景下计算开销渐近可忽略，兼具一阶与二阶方法的训练竞争力。
2023-05-01 cs.CV cs.LG math.OC
Practical Newton-Type Distributed Learning using Gradient Based Approximations
University of Chicago（芝加哥大学）
我们研究分布式算法的预期损失最小化的数据集是大的，必须存储在不同的机器上。通常我们处理的是最小化一组凸函数的平均值，其中每个函数都是相应数据部分的经验风险。在分布式环境中，单个数据实例只能在本地机器上访问，在机器之间进行一些通信之后，将有一系列的本地计算。由于通信的成本通常高于本地机器计算，因此尽可能减少通信成本非常重要。然而，我们不应让这使计算过于昂贵，成为一个负担，在实践中。使用二阶方法可以使算法收敛速度更快，并减少所需的通信量。在发展分布式二阶方法方面有一些成功的尝试。这些方法虽然收敛速度快，但局部计算量大，在实际应用中还有待进一步改进。在这项研究中，我们修改了现有的方法，DANE（分布式近似牛顿），以提高计算成本，同时保持精度。我们通过使用迭代法来解决这个问题，而不是为每一轮通信提供精确的解决方案。我们研究如何使用不同的迭代法影响的算法的行为，并试图提供一个适当的权衡本地计算量和所需的通信量之间。我们证明了我们的算法的实用性，并将其与现有的分布式梯度为基础的方法，如SGD。
2019-07-22 cs.LG stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Distributed estimation of the inverse Hessian by determinantal averaging
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
在分布式优化和分布式数值线性代数中，我们经常遇到逆偏置：如果我们想计算一个依赖于分布式矩阵之和的逆的量，那么逆的和不等于和的逆。这方面的一个例子发生在分布式牛顿方法中，其中我们希望计算（或隐式处理）逆Hessian乘以梯度。在这种情况下，局部计算的估计值是有偏差的，因此采用统一的平均值将无法恢复正确的解。为了解决这个问题，我们提出了行列式平均，一种新的方法来纠正反转偏差。这种方法涉及重新加权牛顿步的局部估计成比例的行列式的局部海森估计，然后平均它们在一起，以获得一个改进的全球估计。该方法提供了第一个已知的渐近一致的分布式牛顿步，即，当分布式分区的数量增长到无穷大时，它恢复极限中的精确步长。为了证明这一点，我们开发了新的期望身份和矩界的行列式和adjugate的随机矩阵。行列式平均不仅可以应用于牛顿法，而且可以应用于计算作为矩阵逆的线性变换的任何量，例如，跟踪用于数据不确定性量化的逆协方差矩阵。
2019-05-28 cs.LG stat.ML
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
Information Newton's flow: second-order optimization method in probability space
Stanford University（斯坦福大学）；University of California（加利福尼亚大学）
我们介绍了一个框架，牛顿流在概率空间与信息度量，命名为信息牛顿流。这里考虑两个信息度量，包括Fisher-Rao度量和Wasserstein-2度量。一个已知的事实是，过阻尼Langevin动力学对应于Kullback-Leibler（KL）发散的Wasserstein梯度流。将这一事实推广到瓦瑟斯坦牛顿流，我们得到牛顿的朗之万动力学。我们提供的例子牛顿的朗之万动力学在一维空间和高斯家庭。在数值实现方面，我们设计了仿射模型和再生核希尔伯特空间（RKHS）中的采样有效变分方法来逼近Wasserstein牛顿方向。我们还建立了所提出的信息牛顿法与近似方向的收敛结果。贝叶斯抽样问题的几个数值例子证明了所提出的方法的有效性。
2020-08-05 cs.LG math.OC stat.ML
Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees
Aalto University（阿尔托大学）
我们制定自然梯度变分推断（VI），期望传播（EP），和后验线性化（PL）的扩展牛顿的方法优化贝叶斯后验分布的参数。这种观点明确地将推理算法置于数值优化的框架下。我们表明，常见的近似牛顿的方法，从优化文献，即高斯牛顿和拟牛顿方法（例如，BFGS算法）在该“贝叶斯-牛顿”框架下仍然有效。这导致了一套新的算法，保证导致半正定（PSD）的协方差阵，不同于标准VI和EP。我们的统一观点提供了新的见解，各种推理方案之间的连接。所有提出的方法适用于任何模型与高斯先验和非共轭似然，我们证明（稀疏）高斯过程和状态空间模型。
2022-12-06 cs.LG stat.ML
On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond
Baidu Research（百度研究院）
DANE算法是一种近似牛顿方法，广泛用于通信高效的分布式机器学习。对DANE感兴趣的原因包括可扩展性和多功能性。然而，收敛的DANE，可以是棘手的，其吸引人的收敛速度是严格的二次目标，并为更一般的凸函数的已知结果是不强于经典的一阶方法。为了弥补这些缺点，本文提出了一些新的替代DANE更适合分析。我们首先介绍了一个简单的变种DANE配备回溯线搜索，全局渐近收敛和更尖锐的局部非渐近收敛速度的保证，可以证明二次和非二次强凸函数。然后我们提出了一个重球方法来加速DANE的收敛，证明了对于强凸函数可以建立近似紧的局部收敛速度，并且通过适当的算法修改，同样的结果也适用于线性预测模型。数值证据证实了我们的方法的理论和实践的优势。
2019-08-06 cs.LG stat.CO stat.ML
Approximate Newton policy gradient algorithms
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
本文为带熵正则化的策略梯度提出近似 Newton 方法，统一自然策略梯度并产生新算法，证明其二次收敛与梯度流全局收敛，且在实验中以个位数迭代显著超越现有方法。
2023-06-08 cs.LG math.OC
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab（字节跳动人工智能实验室）；University of Science and Technology China（中国科学技术大学）；Tsinghua University（清华大学）
二阶最优化方法具有理想的收敛性质。然而，精确牛顿法需要昂贵的计算海森及其逆。在本文中，我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明，SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外，我们提供了一个理论分析的每次迭代的复杂性，近似误差，和收敛速度。理论分析和实验结果都表明，该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation
Institut Polytechnique de Paris（巴黎理工学院）；JD Explore Academy（京东探索研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
尽管牛顿型方法的计算和通信成本很高，但由于其对病态凸问题的鲁棒性，牛顿型方法仍然是分布式训练的一个有吸引力的选择。在这项工作中，我们研究了曲率信息的压缩和聚合机制，以减少这些成本，同时保持理论上优越的局部收敛保证。我们证明了Richtarik等人[2022]最近开发的用于梯度通信的三点压缩器（3 PC）类也可以推广到Hessian通信。这个结果开启了各种各样的通信策略，例如压缩压缩和惰性聚合，可用于我们的处理以压缩代价高昂的曲率信息。此外，我们发现了几个新的3 PC机制，如自适应阈值和伯努利聚合，这需要减少通信和偶尔的海森计算。此外，我们扩展和分析我们的双向通信压缩和部分设备参与设置的方法，以满足在联邦学习的应用程序的实际考虑。对于我们所有的方法，我们得到快速的条件数独立的局部线性和/或超线性收敛速度。最后，通过对凸优化问题的大量数值评估，我们说明了我们设计的方案与使用二阶信息的几个关键基线相比，实现了最先进的通信复杂性。
2022-06-07 cs.LG math.OC
Quasi-Newton Updating for Large-Scale Distributed Learning
Shanghai University of Finance and Economics（上海财经大学）；Renmin University of China（中国人民大学）；Peking University（北京大学）
针对大规模分布式学习场景，提出无需海森矩阵求逆与通信的分布式拟牛顿（DQN）框架，兼具三类效率，理论证明少量迭代即可获统计有效估计，数值实验验证了有限样本性能。
2023-06-11 cs.DC cs.LG stat.ME
First-order Newton-type Estimator for Distributed Estimation and Inference
New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
本文研究了具有不可微凸损失的一般统计问题的分布估计和分布推断。为了有效的计算，我们限制自己的随机一阶优化，它具有较低的每次迭代的复杂性。为了激励所提出的方法，我们首先研究了一个简单的分治随机梯度下降（DC-SGD）方法的理论特性。我们的理论表明，有一个限制的机器的数量和这个限制变得更加严格时，尺寸$p$大。为了克服这一局限性，本文提出了一种新的多轮分布式估计过程，近似牛顿步骤只使用随机次梯度。在我们的方法中的关键组成部分是一个计算有效的估计$Σ^{-1} w$，其中$Σ$是人口海森矩阵和$w$是任何给定的向量的建议。提出的一阶牛顿型估计器（FONE）不需要估计通常需要损失的二阶可微性的$Σ$（或$Σ^{-1}$），而是直接估计作为整体的感兴趣矢量$Σ^{-1} w$，并且适用于不可微损失。我们的估计量也有利于推断的经验风险最小化。结果表明，极限协方差中的关键项具有$Σ^{-1} w$的形式，可以通过FONE估计。
2021-02-04 cs.LG stat.ME stat.ML
Distributed Second Order Methods with Fast Rates and Compressed Communication
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们开发了几个新的通信有效的二阶方法的分布式优化。我们的第一种方法，牛顿之星，是一个变种牛顿的方法，它继承了其快速的本地二次速率。然而，与牛顿的方法不同，NEWTON-STAR享有与梯度下降相同的每次迭代通信成本。虽然这种方法是不切实际的，因为它依赖于使用某些未知的参数，其特征在于在最佳的目标函数的Hessian，它作为起点，使我们能够设计其具有强有力的理论保证的实际变体。特别是，我们设计了一个随机稀疏化策略，以迭代的方式学习未知参数的通信有效的方式。将此策略应用于NEWTON-STAR导致我们的下一个方法，NEWTON-LEARN，为此我们证明了与条件数无关的局部线性和超线性速率。在适用的情况下，与最先进的方法相比，该方法可以具有显著优越的收敛行为。最后，我们使用立方正则化开发了一个全球化策略，这导致了我们的下一个方法，CUBIC-NEWTON-LEARN，我们证明了全局次线性和线性收敛速度，以及快速的超线性速度。我们的研究结果与真实数据集上的实验结果相支持，并在通信复杂性方面显示了基线和最先进方法的几个数量级改进。
2021-02-14 cs.DC cs.LG math.OC
Nesterov's Acceleration For Approximate Newton
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
优化在机器学习中起着关键作用。近年来，随机二阶方法由于每次迭代计算量小而受到广泛关注。然而，这些算法可能会表现不佳，特别是如果它是很难近似的海森和有效的。据我们所知，没有有效的方法来处理这个问题。在本文中，我们诉诸Nesterov的加速技术，以改善收敛性能的一类二阶方法称为近似牛顿。从理论上分析了Nesterov加速技术可以像一阶方法一样提高牛顿近似的收敛性能。因此，我们提出了一个加速正则化子采样牛顿。实验结果表明，该算法的性能明显优于原正则化次采样牛顿算法，验证了该算法的有效性。此外，加速的正则化子采样牛顿算法具有与经典算法相当甚至更好的性能。
2017-10-17 cs.LG
Adaptive pruning-based Newton's method for distributed learning
College of Computer Science and Technology, Ocean University of China（中国海洋大学计算机科学与技术学院）；School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）；School of Electrical Engineering and Computer Science, TU Berlin（柏林工业大学电气工程与计算机科学学院）；Department of Computer Science, Georgia State University（佐治亚州立大学计算机科学系）
针对大规模异构分布式学习中牛顿法计算通信成本高、训练过时等问题，提出自适应剪枝的分布式自适应牛顿学习算法DANL，实现线性收敛、资源自适应且无需复杂调参。
2024-12-17 cs.LG
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能中心）；EPFL School of Computer and Communication Sciences（洛桑联邦理工学院计算机与通信科学学院）
在这篇论文中，我们解开了贝叶斯深度学习的广义高斯-牛顿和近似推理。广义高斯-牛顿方法是一种优化方法，用于几种流行的贝叶斯深度学习算法。将高斯-牛顿方法与拉普拉斯和高斯变分近似相结合的算法最近在贝叶斯深度学习中取得了最先进的成果。虽然拉普拉斯和高斯变分近似已经被广泛研究，但它们与高斯-牛顿方法的相互作用仍然不清楚。最近对贝叶斯深度学习中先验和后验近似的批评进一步敦促人们需要更深入地理解实用算法。对神经网络的高斯-牛顿法、拉普拉斯和高斯变分逼近的个别分析提供了理论见解和新的实用算法。我们发现，高斯-牛顿方法简化了潜在的概率模型显着。特别地，高斯-牛顿方法与近似推断的组合可以被转换为线性或高斯过程模型中的推断。拉普拉斯和高斯变分近似可以随后提供这些简化模型的后验近似。这种对最近贝叶斯深度学习算法的新的解开的理解也导致了新的方法：首先，与高斯过程的连接使新的函数空间推理算法成为可能。其次，我们提出了一个边际似然近似的底层概率模型来调整神经网络超参数。最后，确定的基础模型导致不同的方法来计算预测分布。事实上，我们发现贝叶斯神经网络的这些预测方法通常比默认选择更好，并且解决了拉普拉斯近似的一个常见问题。
2020-07-21 cs.LG stat.ML
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University（北京大学）；Stevens Institute of Technology（史蒂文斯理工学院）
子采样牛顿法通过子采样技术近似海森矩阵，减少了形成海森矩阵的成本，但使用足够的曲率信息。然而，以前的结果需要$Ω(d)$样本来近似Hessians，其中$d$是数据点的维数，这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时，情况恶化，这需要考虑整个数据集，使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说，我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本，其中$d^γ_{\rm eff}$是$γ$ -岭杠杆，只要$nγ\gg 1$，它就可以比$d$小得多.此外，我们扩展了这一结果，使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
Approximate Newton-based statistical inference using only stochastic gradients
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
我们提出了一个新的统计推断框架凸经验风险最小化，使用近似随机牛顿步骤。该算法是基于有限差分的概念，并允许从一阶信息的海森矢量积的近似。在理论上，我们的方法有效地计算的统计误差协方差$M$估计，无论是非正则凸学习问题和高维LASSO回归，而不使用精确的二阶信息，或重新搜索整个数据集。我们还提出了一个随机梯度抽样方案的统计推断非独立同分布。时间序列分析，其中我们对连续的索引块进行采样。在实践中，我们证明了我们的框架在大规模机器学习问题上的有效性，甚至超越了凸性：作为一个亮点，我们的工作可用于检测神经网络上的某些对抗攻击。
2019-02-05 cs.CV cs.LG math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
A Gauss-Newton Method for Markov Decision Processes
University College London（伦敦大学学院）
近似牛顿方法是一种标准的优化工具，其目的是保持牛顿方法的优点，例如快速收敛，同时减轻其缺点，例如计算昂贵的计算或逆Hessian的估计。在这项工作中，我们研究近似牛顿方法的政策优化马尔可夫决策过程（MDP）。我们首先分析了MDP目标函数的Hessian结构。我们表明，像梯度，海森表现出有用的结构的背景下，MDPs和我们使用这种分析，以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样，这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能，如负定性，我们证明了几个重要的性能保证，包括保证上升方向，仿射变换的参数空间的不变性，收敛保证。最后，我们提供了一个统一的角度来看，关键的政策搜索算法，证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP，但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
FedDANE: A Federated Newton-Type Method
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Google Research（谷歌研究院）；University of Southern California（南加州大学）；Determined AI
联邦学习旨在通过大规模分布式远程设备联合学习统计模型。在这项工作中，我们提出了FedDANE，我们从DANE，一种经典的分布式优化方法，适应优化方法，以处理联邦学习的实际约束。我们提供收敛保证这种方法学习时，凸和非凸函数。尽管令人鼓舞的理论结果，我们发现，该方法有令人印象深刻的经验表现。特别是，通过对合成和真实世界数据集的实证模拟，FedDANE在现实的联邦设置中始终表现不佳。我们确定低设备参与和统计设备异质性的两个根本原因，这种平淡无奇的性能，并得出结论，提出了几个方向的未来工作。
2020-01-07 cs.LG stat.ML
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Asynchronous Stochastic Quasi-Newton MCMC for Non-Convex Optimization
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；Aalto University（阿尔托大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，随机梯度马尔可夫链蒙特卡罗技术在非凸优化中具有很强的潜力，在一定条件下可以显示局部和全局收敛保证。在此基础上，本文提出了一种求解非凸优化问题的并行随机L-BFGS算法。该算法适用于分布式和共享内存环境。我们提供了正式的理论分析，并表明，该方法实现了遍历收敛速度的${\cal O}(1/\sqrt{N})$（$N$是总的迭代次数），它可以实现线性加速在一定条件下。我们在合成和真实数据集上进行了几个实验。结果支持我们的理论，并表明，该算法提供了一个显着的加速比最近提出的同步分布式L-BFGS算法。
2018-06-07 cs.LG stat.ML
Adaptive system optimization using random directions stochastic approximation
University of Maryland（马里兰大学）；Indian Institute of Science（印度科学学院）
我们提出了新的算法模拟优化使用随机方向随机逼近（RDSA）。这些包括一阶（梯度）以及二阶（牛顿）计划。我们将连续值以及离散值扰动到我们的算法。前者被选择为独立同分布（i.i.d.）对称、均匀分布的随机变量（r.v.），而后者是I.I.D.，不对称，伯努利r.v.s.我们的牛顿算法，一个新的海森估计方案，需要N维扰动和三个损失测量每次迭代，而同时扰动牛顿搜索算法[1]需要2N维扰动和四个损失测量每次迭代。我们证明了梯度和Hessian估计的无偏性和一阶和二阶格式的渐近（强）收敛性。我们还提供了渐近正态性结果，特别是证明了Newton RDSA方法的非对称Bernoulli变式优于[1]的2SPSA。数值实验验证了理论结果。
2015-08-08 cs.LG math.OC
Distributed Quasi-Newton Method for Fair and Fast Federated Learning
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
提出分布式拟牛顿联邦学习框架DQN-Fed，通过确保所有本地损失下降且变化率对齐拟牛顿法，实现公平且快速的联邦学习，收敛速率达线性-二次，性能超越现有公平FL方法。
2025-01-18 cs.LG
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota（明尼苏达大学）；The Hong Kong Polytechnic University（香港理工大学）
本文考虑了在已知近似可行点的情况下，求非凸等式约束优化问题的二阶稳定点的问题。特别是，我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP，并表明它比Newton-CG方法具有更好的复杂性[56]。然后，我们提出了一个基于Newton-CG的增广拉格朗日（AL）方法找到一个近似的SOSP的非凸等式约束优化，其中建议的Newton-CG方法被用作子问题求解器。我们表明，在广义线性独立约束规格（GLICQ）下，我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度，用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP，这明显优于近似AL方法[60]。此外，我们还证明了当GLICQ不成立时，它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$，运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知，本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56，60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
Nestrov's Acceleration For Second Order Method
优化在机器学习中起着关键作用。近年来，随机二阶方法由于每次迭代计算量小而受到广泛关注。然而，这些算法可能会表现不佳，特别是如果它是很难近似的海森和有效的。据我们所知，没有有效的方法来处理这个问题。在本文中，我们诉诸Nestrov的加速技术，以改善收敛性能的一类二阶方法称为近似牛顿。从理论上分析了Nestrov加速技术可以像一阶方法一样提高牛顿近似的收敛性能。因此，我们提出了一个加速正则化子采样牛顿。实验结果表明，该算法的性能明显优于原正则化次采样牛顿算法，验证了该算法的有效性。此外，加速的正则化子采样牛顿算法具有与现有算法相当甚至更好的性能。
2017-10-17 cs.LG
OverSketched Newton: Fast Convex Optimization for Serverless Systems
University of California, Berkeley（加州大学伯克利分校）
受无服务器系统大规模计算的最新发展以及可扩展随机矩阵算法的改进的启发，我们开发了OverSketched Newton，这是一种基于Hessian的随机优化算法，用于解决无服务器系统中的大规模凸优化问题。OverSketched Newton利用Randomized Numerical Linear Algebra中的矩阵草图思想来近似计算Hessian。这些草图方法导致了对无服务器架构特征的落伍者的内置弹性。根据问题是否是强凸的，我们提出了不同的迭代更新使用的近似Hessian。对于这两种情况下，我们建立收敛保证OverSketched牛顿和经验验证我们的结果，解决大规模的监督学习问题的真实世界的数据集。实验表明，与最先进的分布式优化方案相比，AWS Lambda上的总运行时间减少了约50%。
2020-08-27 cs.DC cs.IT cs.LG
Attention Approximates Sparse Distributed Memory
Harvard University（哈佛大学）
虽然注意力已经成为深度学习中的一个重要机制，但对于它为什么能如此有效的直觉仍然有限。在这里，我们表明，Transformer注意力在一定的数据条件下可以密切相关的Kanerva的稀疏分布记忆（SDM），一个生物学上合理的联想记忆模型。我们确认这些条件在预训练的GPT2 Transformer模型中得到满足。我们讨论的影响，注意SDM地图，并提供新的计算和生物学的解释注意。
2022-01-17 cs.AI cs.LG
