On the Fine-Grained Hardness of Inverting Generative Models
New York University（纽约大学）
本文研究了生成模型反演的计算硬度，在SETH和ETH假设下，通过归约从k-SAT、CVP等问题，为精确和近似反演建立了新的指数级复杂度下界。
2023-09-11 cs.CC cs.LG stat.ML
Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees
Aalto University（阿尔托大学）
我们制定自然梯度变分推断（VI），期望传播（EP），和后验线性化（PL）的扩展牛顿的方法优化贝叶斯后验分布的参数。这种观点明确地将推理算法置于数值优化的框架下。我们表明，常见的近似牛顿的方法，从优化文献，即高斯牛顿和拟牛顿方法（例如，BFGS算法）在该“贝叶斯-牛顿”框架下仍然有效。这导致了一套新的算法，保证导致半正定（PSD）的协方差阵，不同于标准VI和EP。我们的统一观点提供了新的见解，各种推理方案之间的连接。所有提出的方法适用于任何模型与高斯先验和非共轭似然，我们证明（稀疏）高斯过程和状态空间模型。
2022-12-06 cs.LG stat.ML
Nestrov's Acceleration For Second Order Method
优化在机器学习中起着关键作用。近年来，随机二阶方法由于每次迭代计算量小而受到广泛关注。然而，这些算法可能会表现不佳，特别是如果它是很难近似的海森和有效的。据我们所知，没有有效的方法来处理这个问题。在本文中，我们诉诸Nestrov的加速技术，以改善收敛性能的一类二阶方法称为近似牛顿。从理论上分析了Nestrov加速技术可以像一阶方法一样提高牛顿近似的收敛性能。因此，我们提出了一个加速正则化子采样牛顿。实验结果表明，该算法的性能明显优于原正则化次采样牛顿算法，验证了该算法的有效性。此外，加速的正则化子采样牛顿算法具有与现有算法相当甚至更好的性能。
2017-10-17 cs.LG
Approximate Newton policy gradient algorithms
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
本文为带熵正则化的策略梯度提出近似 Newton 方法，统一自然策略梯度并产生新算法，证明其二次收敛与梯度流全局收敛，且在实验中以个位数迭代显著超越现有方法。
2023-06-08 cs.LG math.OC
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab（字节跳动人工智能实验室）；University of Science and Technology China（中国科学技术大学）；Tsinghua University（清华大学）
二阶最优化方法具有理想的收敛性质。然而，精确牛顿法需要昂贵的计算海森及其逆。在本文中，我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明，SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外，我们提供了一个理论分析的每次迭代的复杂性，近似误差，和收敛速度。理论分析和实验结果都表明，该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Communication Efficient Distributed Optimization using an Approximate Newton-type Method
Toyota Technological Institute（丰田工业大学）；Technion（以色列理工学院）；Rutgers University（罗格斯大学）；Baidu（百度）
我们提出了一种新的牛顿型方法的分布式优化，这是特别适合于随机优化和学习问题。对于二次型目标，该方法具有线性收敛速度，可证明\emph{improves}与数据大小，在合理的假设下，需要一个基本上恒定的迭代次数。我们提供了理论和经验证据的优势，我们的方法相比，其他方法，如单次参数平均和ADMM。
2014-05-13 cs.LG math.OC stat.ML
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能中心）；EPFL School of Computer and Communication Sciences（洛桑联邦理工学院计算机与通信科学学院）
在这篇论文中，我们解开了贝叶斯深度学习的广义高斯-牛顿和近似推理。广义高斯-牛顿方法是一种优化方法，用于几种流行的贝叶斯深度学习算法。将高斯-牛顿方法与拉普拉斯和高斯变分近似相结合的算法最近在贝叶斯深度学习中取得了最先进的成果。虽然拉普拉斯和高斯变分近似已经被广泛研究，但它们与高斯-牛顿方法的相互作用仍然不清楚。最近对贝叶斯深度学习中先验和后验近似的批评进一步敦促人们需要更深入地理解实用算法。对神经网络的高斯-牛顿法、拉普拉斯和高斯变分逼近的个别分析提供了理论见解和新的实用算法。我们发现，高斯-牛顿方法简化了潜在的概率模型显着。特别地，高斯-牛顿方法与近似推断的组合可以被转换为线性或高斯过程模型中的推断。拉普拉斯和高斯变分近似可以随后提供这些简化模型的后验近似。这种对最近贝叶斯深度学习算法的新的解开的理解也导致了新的方法：首先，与高斯过程的连接使新的函数空间推理算法成为可能。其次，我们提出了一个边际似然近似的底层概率模型来调整神经网络超参数。最后，确定的基础模型导致不同的方法来计算预测分布。事实上，我们发现贝叶斯神经网络的这些预测方法通常比默认选择更好，并且解决了拉普拉斯近似的一个常见问题。
2020-07-21 cs.LG stat.ML
ISAAC Newton: Input-based Approximate Curvature for Newton's Method
University of Konstanz（康斯坦茨大学）；University of Salzburg（萨尔茨堡大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；University of Frankfurt（法兰克福大学）
本研究提出ISAAC牛顿法，通过仅基于层输入计算近似曲率调节梯度，在小批量场景下计算开销渐近可忽略，兼具一阶与二阶方法的训练竞争力。
2023-05-01 cs.CV cs.LG math.OC
GIANT: Globally Improved Approximate Newton Method for Distributed Optimization
University of California at Berkeley（加州大学伯克利分校）；University of Queensland（昆士兰大学）；Stanford University（斯坦福大学）
针对分布式计算环境，考虑经验风险最小化问题，提出了一种分布式通信高效的牛顿型优化方法。在每一次迭代中，每个worker都在本地找到一个近似牛顿（ANT）方向，并将其发送给主驱动程序。然后，主驱动程序对从工作程序接收到的所有ANT方向进行平均，以形成{ \it全局改进的ANT}（GIANT）方向。GIANT是高度通信效率的，并且自然地利用了本地计算和全局通信之间的权衡，因为更多的本地计算导致更少的总通信轮次。理论上，我们表明，GIANT享有一个改进的收敛速度相比，一阶方法和现有的分布式牛顿型方法。此外，与许多现有的分布式牛顿型方法以及流行的一阶方法形成鲜明对比，GIANT的一个非常有利的实用功能是它只涉及一个调谐参数。我们进行大规模的计算机集群上的实验，并根据经验，证明了卓越的性能的巨人。
2018-09-11 cs.DC cs.LG math.OC
Local Convergence of Approximate Newton Method for Two Layer Nonlinear Regression
Huazhong Agricultural University（华中农业大学）；Adobe Research（奥多比研究院）；Stonybrook University（石溪大学）；Boston University（波士顿大学）
本文分析了第一层由softmax激活的两层非线性回归问题，证明了近似牛顿法在正则化训练损失下的Hessian矩阵正定且Lipschitz连续，并建立了高概率的局部收敛保证。
2023-11-26 cs.LG
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
A Gauss-Newton Method for Markov Decision Processes
University College London（伦敦大学学院）
近似牛顿方法是一种标准的优化工具，其目的是保持牛顿方法的优点，例如快速收敛，同时减轻其缺点，例如计算昂贵的计算或逆Hessian的估计。在这项工作中，我们研究近似牛顿方法的政策优化马尔可夫决策过程（MDP）。我们首先分析了MDP目标函数的Hessian结构。我们表明，像梯度，海森表现出有用的结构的背景下，MDPs和我们使用这种分析，以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样，这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能，如负定性，我们证明了几个重要的性能保证，包括保证上升方向，仿射变换的参数空间的不变性，收敛保证。最后，我们提供了一个统一的角度来看，关键的政策搜索算法，证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP，但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
A Variance Reduced Stochastic Newton Method
ETH Zürich（苏黎世联邦理工学院）
拟牛顿法在求解凸损失最小化问题中有着广泛的应用。这些方法在各种各样的任务上表现出良好的经验性能，并具有超线性收敛到最优解的特性。对于大规模学习问题，最近提出了随机拟牛顿方法。然而，这些通常仅实现次线性收敛率，并且在实践中没有表现出一贯的良好表现，因为有噪声的Hessian近似会加剧高方差随机梯度估计的影响。在这项工作中，我们提出了Vite，一种新的随机拟牛顿算法，使用现有的一阶技术，以减少这种变化。在不利用具体形式的近似Hessian，我们表明，维特达到最佳的几何速度与恒定的步长时，处理光滑的强凸函数。经验上，我们证明了现有的随机拟牛顿和方差减少随机梯度方法的改进。
2015-06-09 cs.LG
On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond
Baidu Research（百度研究院）
DANE算法是一种近似牛顿方法，广泛用于通信高效的分布式机器学习。对DANE感兴趣的原因包括可扩展性和多功能性。然而，收敛的DANE，可以是棘手的，其吸引人的收敛速度是严格的二次目标，并为更一般的凸函数的已知结果是不强于经典的一阶方法。为了弥补这些缺点，本文提出了一些新的替代DANE更适合分析。我们首先介绍了一个简单的变种DANE配备回溯线搜索，全局渐近收敛和更尖锐的局部非渐近收敛速度的保证，可以证明二次和非二次强凸函数。然后我们提出了一个重球方法来加速DANE的收敛，证明了对于强凸函数可以建立近似紧的局部收敛速度，并且通过适当的算法修改，同样的结果也适用于线性预测模型。数值证据证实了我们的方法的理论和实践的优势。
2019-08-06 cs.LG stat.CO stat.ML
Approximate Newton-based statistical inference using only stochastic gradients
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
我们提出了一个新的统计推断框架凸经验风险最小化，使用近似随机牛顿步骤。该算法是基于有限差分的概念，并允许从一阶信息的海森矢量积的近似。在理论上，我们的方法有效地计算的统计误差协方差$M$估计，无论是非正则凸学习问题和高维LASSO回归，而不使用精确的二阶信息，或重新搜索整个数据集。我们还提出了一个随机梯度抽样方案的统计推断非独立同分布。时间序列分析，其中我们对连续的索引块进行采样。在实践中，我们证明了我们的框架在大规模机器学习问题上的有效性，甚至超越了凸性：作为一个亮点，我们的工作可用于检测神经网络上的某些对抗攻击。
2019-02-05 cs.CV cs.LG math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces
Northeastern University（东北大学）
在使用核方法的监督学习中，我们经常遇到再生核希尔伯特空间（RKHS）上的大规模有限和极小化问题。大规模的有限和问题可以使用牛顿法的有效变体来解决，其中Hessian通过数据的子样本来近似。然而，在RKHS中，惩罚函数对内核的依赖使得标准的子采样方法不适用，因为gram矩阵不容易以低秩形式获得。在本文中，我们观察到，对于这类问题，人们可以很自然地使用核近似来加速牛顿方法。针对核函数逼近的随机特性，提出了一种新的二阶算法，该算法具有局部超线性收敛性和全局线性收敛性（具有高概率）。我们推导出理论上的下界的随机特征的数量所需的近似Hessian接近真正的Hessian在规范意义上。我们对真实数据的数值实验验证了我们的方法相比，几个基准的效率。
2022-06-06 cs.LG stat.ML
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University（北京大学）；Stevens Institute of Technology（史蒂文斯理工学院）
子采样牛顿法通过子采样技术近似海森矩阵，减少了形成海森矩阵的成本，但使用足够的曲率信息。然而，以前的结果需要$Ω(d)$样本来近似Hessians，其中$d$是数据点的维数，这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时，情况恶化，这需要考虑整个数据集，使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说，我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本，其中$d^γ_{\rm eff}$是$γ$ -岭杠杆，只要$nγ\gg 1$，它就可以比$d$小得多.此外，我们扩展了这一结果，使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
OverSketched Newton: Fast Convex Optimization for Serverless Systems
University of California, Berkeley（加州大学伯克利分校）
受无服务器系统大规模计算的最新发展以及可扩展随机矩阵算法的改进的启发，我们开发了OverSketched Newton，这是一种基于Hessian的随机优化算法，用于解决无服务器系统中的大规模凸优化问题。OverSketched Newton利用Randomized Numerical Linear Algebra中的矩阵草图思想来近似计算Hessian。这些草图方法导致了对无服务器架构特征的落伍者的内置弹性。根据问题是否是强凸的，我们提出了不同的迭代更新使用的近似Hessian。对于这两种情况下，我们建立收敛保证OverSketched牛顿和经验验证我们的结果，解决大规模的监督学习问题的真实世界的数据集。实验表明，与最先进的分布式优化方案相比，AWS Lambda上的总运行时间减少了约50%。
2020-08-27 cs.DC cs.IT cs.LG
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）；Hiroshima City University（广岛市立大学）
Nesterov的加速拟牛顿（L）NAQ方法已被证明在几个神经网络（NN）应用中使用Nesterov的加速梯度来加速传统的（L）BFGS拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿（MoQ）方法表明，Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
Approximate Cross-validation: Guarantees for Model Assessment and Selection
Microsoft Research（微软研究院）；Harvard University（哈佛大学）
交叉验证（CV）是一种用于评估和选择预测模型的流行方法。然而，当折叠次数很大时，CV需要在大量训练数据集上重复重新适应学习过程。经验风险最小化（ERM）的最新工作近似昂贵的改装与一个单一的牛顿步热启动从全训练集优化。虽然这可以大大减少运行时间，几个悬而未决的问题，包括这些近似是否导致忠实的模型选择，以及它们是否适合非光滑的目标。我们解决这些问题有三个主要贡献：（i）我们提供了统一的非渐近，确定性模型评估保证近似CV;（ii）我们表明，（大致）相同的条件也保证模型选择性能可比CV;（iii）我们为非光滑预测问题提供了近似CV框架的近似牛顿扩展，并为诸如l1-机构风险管理规范化。
2020-06-11 cs.LG stat.ML
Newton-MR: Inexact Newton Method With Minimum Residual Sub-problem Solver
University of Queensland（昆士兰大学）；The Centre for Information Resilience（信息弹性中心）；International Computer Science Institute（国际计算机科学研究所）；Stanford University（斯坦福大学）；University of California at Berkeley（加州大学伯克利分校）
我们考虑一个变种的不精确牛顿法，称为牛顿MR，其中的最小二乘法的子问题近似求解使用最小残差方法。通过构造，牛顿-MR可以很容易地应用于一类称为不变凸的非凸问题的无约束优化，其中包含凸性作为子类。对于不变凸优化问题，取代经典的关于梯度和Hessian的Lipschitz连续性假设，在一个较弱的Hessian和梯度的联合正则性概念下，可以保证Newton-MR的整体收敛.我们还得到了Newton-MR问题无关的局部收敛到极小点集。我们证明了快速局部/整体收敛可以保证一个新的不精确条件下，据我们所知，这是远远弱于以前的相关工作。数值结果表明，与其他几个牛顿型的替代品在一些机器学习问题的性能相比，牛顿-MR。
2022-05-06 cs.LG math.OC
Invert and Defend: Model-based Approximate Inversion of Generative Adversarial Networks for Secure Inference
University of Maryland（马里兰大学）；Butterfly Network（蝴蝶网络公司）
在生成对抗网络（GANs）中，推断生成给定测试样本的潜在变量是一个具有挑战性的问题。在本文中，我们提出了InvGAN -一种用于解决GANs中推理问题的新框架，该框架涉及训练一个编码器网络，该编码器网络能够在不访问任何训练数据的情况下反转预先训练的生成器网络。在温和的假设下，我们从理论上证明，使用InvGAN，我们可以近似地反转训练GAN模型的任何潜在代码的生成。此外，我们经验证明了我们的推理方案的优越性与其他方法，执行类似的任务进行定量和定性比较。我们还展示了我们的框架在对抗性防御问题中的有效性，其中InvGAN可以成功地用作基于投影的防御机制。此外，我们还展示了InvGAN如何用于对基于投影的防御机制实施重新参数化白盒攻击。在几个基准数据集上的实验验证表明，我们的方法在几个白盒和黑盒攻击上实现了更好的性能。我们的代码可在https://github.com/yogeshbalaji/InvGAN上获得。
2019-11-23 cs.CV cs.LG stat.ML
On Newton's Method to Unlearn Neural Networks
National University of Singapore（新加坡国立大学）
本文针对神经网络反学习中牛顿法因Hessian矩阵退化导致计算失败和性能下降的问题，提出了CureNewton方法，利用三次正则化有效解决退化问题，无需手动微调，在多种模型和数据集上实现了与最先进算法相竞争的反学习性能。
2024-08-27 cs.AI cs.LG
Optimizing Neural Networks with Kronecker-factored Approximate Curvature
University of Toronto（多伦多大学）
我们提出了一种有效的方法来近似自然梯度下降的神经网络，我们称之为克罗内克因子近似曲率（K-FAC）。K-FAC是基于一个有效的可逆近似的神经网络的Fisher信息矩阵，既不是对角也不是低秩，在某些情况下是完全非稀疏的。它是通过近似费舍尔的各种大块（对应于整个层）作为两个小得多的矩阵的克罗内克积而得出的。虽然计算成本仅比普通随机梯度高几倍，但K-FAC产生的更新在优化目标方面取得了更大的进展，这导致实际上可以比具有动量的随机梯度下降快得多的算法。与之前提出的一些使用高质量非对角曲率矩阵（如Hessian-free优化）的近似自然梯度/牛顿方法不同，K-FAC在高度随机的优化机制中工作得非常好。这是因为存储K-FAC近似值并将其求逆到曲率矩阵的成本不取决于用于估计它的数据量，这是通常仅与曲率矩阵的对角或低秩近似相关联的特征。
2020-06-08 cs.LG cs.NE stat.ML
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Revisiting Natural Gradient for Deep Networks
本文重新评估了自然梯度算法在深度模型学习中的应用，揭示了其与Hessian-Free、Krylov子空间下降和TONGA方法的联系，并提出了利用无标签数据改进泛化误差、评估对训练集顺序的鲁棒性以及结合二阶信息的扩展算法。
2014-02-17 cs.LG cs.NA math.NA
Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
Stanford University（斯坦福大学）；Amazon（亚马逊）
本文提出 Sinkhorn-Newton-Sparse（SNS），通过提前停止矩阵缩放并引入稀疏 Hessian 的 Newton 型第二阶段，在保持每轮 $O(n^2)$ 复杂度的同时显著加快最优传输求解。
2024-01-20 cs.LG math.OC stat.ML
A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
本文针对一般非凸锥优化问题提出基于Newton-CG的障碍增广拉格朗日方法，首次给出求解近似二阶稳定点的复杂度界，并验证其解质量优于一阶方法。
2024-08-30 cs.LG cs.NA math.NA
