An iterative K-FAC algorithm for Deep Learning
Kronecker因子近似曲率（K-FAC）方法是一种用于深度学习的高效二阶优化算法。它的训练时间比SGD（或其他一阶方法）少，在许多大规模问题中具有相同的精度。K-FAC的关键是将Fisher信息矩阵近似为块对角矩阵，其中每个块是微小Kronecker因子的逆。本文提出了一种新的迭代K-FAC算法--CG-FAC。它采用共轭梯度法来逼近自然梯度。这种CG-FAC方法是无矩阵的，即不需要生成矩阵，也不需要生成Kronecker因子A和G。我们证明了迭代CG-FAC算法的时间复杂度和内存复杂度远小于标准K-FAC算法。
2021-01-01 cs.LG cs.NA math.NA
A Trace-restricted Kronecker-Factored Approximation to Natural Gradient
Tianjin University（天津大学）；Huawei Technologies（华为技术有限公司）；Beijing University of Technology（北京工业大学）
二阶优化方法具有通过曲率矩阵修改梯度来加速收敛的能力。已经有许多尝试使用二阶优化方法来训练深度神经网络。受对角逼近和Kronecker-Factored Approximate Curvature（KFAC）等因子逼近方法的启发，提出了一种新的Fisher信息矩阵（Fisher information matrix）的迹限制Kronecker-Factored Approximate Curvature（TKFAC）逼近方法，该方法能够保持精确信息矩阵和近似信息矩阵之间的迹关系.在TKFAC中，我们将近似矩阵的每个块分解为两个较小矩阵的Kronecker积，并通过与迹相关的系数进行缩放。从理论上分析了TKFAC的逼近误差，给出了逼近误差的上界，并提出了一种新的阻尼技术，用于卷积神经网络上的TKFAC，以保持二阶优化方法在训练过程中的优势。实验表明，我们的方法具有更好的性能相比，一些国家的最先进的算法在一些深度网络架构。
2020-11-21 cs.LG math.OC stat.ML
EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
减少神经网络的测试时间资源需求，同时保持测试准确性，对于在资源受限的设备上运行推理至关重要。为了实现这一目标，我们引入了一种新的网络重新参数化的基础上的克罗内克因子特征基（KFE），然后在此基础上应用基于海森的结构化修剪方法。与现有的基于Hessian的修剪算法在参数坐标中进行修剪不同，我们的方法在KFE中工作，其中不同的权重近似独立，从而实现准确的修剪和快速计算。我们通过大量的实验证明了所提出的方法的有效性。特别是，我们强调这些改进对于更具挑战性的数据集和网络尤为重要。在精度损失可以忽略不计的情况下，迭代修剪版本在宽ResNet 32上将模型大小减少10 $\times$，将FLOP减少8 $\times$。
2019-05-15 cs.LG stat.ML
Rethinking Bregman Divergences in Kronecker-Factored Optimizers
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所）
本文通过协方差矩阵谱分析，研究了不同Bregman散度（Frobenius、von Neumann、LogDet）在Kronecker近似误差分配中的角色，并提出一种子空间感知的Kronecker优化器，在顶部子空间应用基于特征值的预处理，在底部子空间使用自适应各向同性加速常数。
2026-06-02 cs.LG
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto（多伦多大学）；New York University（纽约大学）；Vector Institute（向量研究所）
在这项工作中，我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架，并建议使用Kronecker因子近似曲率（K-FAC）与信任区域优化演员和评论家，因此我们称我们的方法演员批评使用Kronecker因子信任区域（ACKTR）。据我们所知，这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比，我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
Continual Learning with Extended Kronecker-factored Approximate Curvature
KAIST（韩国科学技术院）
我们提出了一个二次惩罚的神经网络，包含批量归一化（BN）层的持续学习方法。损失函数的Hessian表示二次罚函数的曲率，Kronecker因子近似曲率（K-FAC）被广泛用于计算神经网络的Hessian。然而，如果示例之间存在依赖性，则近似是无效的，这通常是由深网络架构中的BN层引起的。我们扩展了K-FAC方法，以便考虑到样本间的关系，并且可以在实际假设下适当地近似深度神经网络的Hessian。我们还提出了一种权重合并和重新参数化的方法来正确处理BN的统计参数，这对BN的持续学习起着至关重要的作用，以及一种在没有源任务数据的情况下选择超参数的方法。我们的方法在具有BN层的排列MNIST任务中以及从ImageNet分类任务到ResNet-50的细粒度分类任务的顺序学习中表现出比基线更好的性能，而无需显式或隐式使用源任务数据进行超参数选择。
2020-04-16 cs.CV cs.LG stat.ML
Kronecker-factored Quasi-Newton Methods for Deep Learning
Columbia University（哥伦比亚大学）
二阶方法利用比一阶方法更丰富的曲率信息，具有加速优化的能力。然而，大多数对于训练参数数量巨大的深度学习来说都是不切实际的。在Goldfarb等人（2020）中，提出了实用的拟牛顿方法，该方法通过逐层块对角矩阵来近似多层感知器（MLP）模型的Hessian，其中每层的块进一步通过与限制到该层的Hessian结构相对应的Kronecker积来近似。在这里，我们通过分析卷积层的Hessian矩阵的Kronecker因子结构，扩展了这些方法，使它们能够应用于卷积神经网络（CNN）。还提出了对Goldfarb等人（2020）中方法的几项改进，可应用于MLP和CNN。这些新方法的内存要求与一阶方法相当，每次迭代的时间复杂度远低于Goldfarb等人（2020）的方法。此外，收敛结果证明了一个变种在相对温和的条件下。最后，我们将我们的新方法与几种最先进的（SOTA）方法在MLP自动编码器和CNN问题上的性能进行了比较，发现它们优于一阶SOTA方法，并优于二阶SOTA方法。
2022-02-19 cs.LG math.OC stat.ML
WaterKron and FlipFlop Hessian: Information-Theoretically Grounded Quantization with Kronecker-factored Hessians
University of California San Diego（加州大学圣迭戈分校）
本文提出 WaterKron 量化方法，结合双面 GPTQ 与熵编码，并通过最小化 Kronecker-Hessian 不匹配因子推导出 FlipFlop Hessian，实证表明其优于其他 Hessian 选择。
2026-09-29 cs.AI cs.LG
Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation
Northwestern University（西北大学）
现有的修剪深度神经网络的方法集中于去除训练网络的不必要的参数，并且之后对模型进行微调以找到恢复训练模型的初始性能的好的解决方案。与其他工作不同，我们的方法特别注意压缩模型中的解的质量和通过修剪神经元的推理计算时间。该算法通过探索Hessian的谱半径来指导压缩模型的参数朝向更平坦的解，从而在看不见的数据上产生更好的泛化。此外，该方法不与预先训练的网络一起工作，并且同时执行训练和修剪。我们的结果表明，它改善了神经元压缩的最先进的结果。该方法能够实现非常小的网络，在不同的神经网络模型的精度下降很小。
2021-11-16 cs.LG
KronQ: LLM Quantization via Kronecker-Factored Hessian
研究提出KronQ框架，通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似，在两个层面改进量化：双向非相干处理减少权重幅度方差，导出新敏感度度量用于层间混合精度分配，在特定量化任务中表现优于GPTQ等。
2026-08-11 cs.LG
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology（东京工业大学计算学院）；NVIDIA（英伟达）；Global Scientific Information and Computing Center, Tokyo Institute of Technology（东京工业大学全球科学信息与计算中心）；RIKEN Center for Computational Science（理化学研究所计算科学中心）
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题，或者对批量归一化进行一些特别的修改。我们提出了一种替代方法，使用二阶优化方法，表现出类似的泛化能力，一阶方法，但收敛速度更快，可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法，我们在ImageNet上训练ResNet-50。对于小于16，384的小批量，我们在35个epoch中收敛到了75%的Top-1验证准确率，即使小批量为131，072，也达到了75%，这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
本文针对现代神经网络中带权重共享的线性层，提出 K-FAC-expand 和 K-FAC-reduce 两种二阶优化变体，证明其在深度线性网络中的精确性，并在图神经网络和视觉 Transformer 上验证了显著加速训练的效果。
2024-01-11 cs.LG stat.ML
Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models
Applied AI Institute（应用人工智能研究所）；Innopolis University（因诺普利斯大学）；HSE University（俄罗斯高等经济大学）
研究针对大语言模型压缩，提出广义Fisher加权奇异值分解（GFWSVD）技术，通过考虑Fisher信息矩阵对角和非对角元素，引入可扩展的克罗内克分解近似算法，有效提升压缩效果，优于现有压缩基线。
2026-07-17 cs.AI cs.LG
KFCPO: Kronecker-Factored Approximated Constrained Policy Optimization
School of Computer Science and Engineering, Pusan National University, Busan, Korea（计算机科学与工程学院，釜山国立大学，韩国釜山）
提出KFCPO安全强化学习算法，结合K-FAC二阶优化与边际感知梯度操作，并采用KL回滚策略，在满足安全约束下显著提升回报。
2025-11-02 cs.AI cs.LG
Kronecker-factored Approximate Curvature (KFAC) From Scratch
Vector Institute, Canada（向量研究所）；University of Cambridge, United Kingdom（剑桥大学）
本文以教程形式从零介绍 KFAC 曲率近似方法，通过数学与代码并行的方式，并基于最新研究提供测试用例，旨在降低 KFAC 的实现、扩展和实际使用门槛。
2025-07-01 cs.LG
FastKron: Efficient Quantization with Kronecker-Factored Hessians
University of California San Diego（加利福尼亚大学圣迭戈分校）
BaKron是一种高效神经网络量化算法，通过结合反对角并行与递归分治结构，将计算量从O(m²n²)降至O(mn(m+n))，兼具GPTQ的缩放效率与更丰富的曲率信息，且对基础量化器和海森估计器模块化。
2026-09-29 cs.AI cs.LG
A Coordinate-Free Construction of Scalable Natural Gradient
Borealis AI；University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
大多数神经网络使用一阶优化方法进行训练，这对模型的参数化敏感。自然梯度下降是不变的平滑重新参数化，因为它是在一个坐标自由的方式定义，但易于处理的近似通常是在坐标系中定义，因此可能会失去不变性。通过构造一种与坐标无关的K-FAC算法，分析了K-FAC算法的不变性。我们明确地构建了一个黎曼度量，在该度量下，自然梯度与K-FAC更新相匹配;对激活的仿射变换的不变性立即发生。我们扩展了我们的框架来分析应用于卷积网络和递归神经网络的K-FAC的不变性，以及通常的Fisher度量以外的度量。
2018-08-30 cs.LG math.DG math.OC
Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks
Vector Institute（矢量研究院）；RWTH Aachen University（亚琛工业大学）；ETH Zürich（苏黎世联邦理工学院）；University Hospital Freiburg（弗莱堡大学医院）
针对物理信息神经网络训练难、现有二阶方法扩展性差的问题，提出适配其损失的克罗内克分解近似曲率方法，通过泰勒模式自动微分处理微分算子，实现可扩展的高效优化，性能优于一阶方法与LBFGS。
2024-10-30 cs.LG physics.comp-ph
A New Way: Kronecker-Factored Approximate Curvature Deep Hedging and its Benefits
本文提出将K-FAC二阶优化与LSTM网络结合用于深度对冲，在Heston模拟数据上相比Adam显著降低交易成本和损益方差，并提升夏普比率。
2024-11-22 cs.LG q-fin.ST
CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing
University of Southern California（南加州大学）
CrispEdit通过低曲率子空间约束优化，实现LLM编辑中的能力保持，有效降低能力退化，提升编辑效果。
2026-05-01 cs.AI cs.LG
Gradient Descent on Neurons and its Link to Approximate Second-Order Optimization
ETH Zurich（苏黎世联邦理工学院）
二阶优化器被认为具有加速神经网络训练的潜力，但由于曲率矩阵的巨大尺寸，它们通常需要近似值在计算上易于处理。最成功的近似族是Kronecker因子，块对角曲率估计（KFAC）。在这里，我们结合了以前的工作，以评估精确的二阶更新与仔细的消融，以建立一个令人惊讶的结果：由于其近似，KFAC是不密切相关的二阶更新，特别是，它显着优于真正的二阶更新。这对人们普遍持有的信念提出了挑战，并立即提出了一个问题，即为什么KFAC表现如此出色。为了回答这个问题，我们提出的证据强烈表明，KFAC近似一阶算法，它执行梯度下降的神经元，而不是权重。最后，我们表明，这种优化器往往提高了KFAC的计算成本和数据效率。
2022-06-10 cs.LG
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
我们引入了Kronecker因子化的在线拉普拉斯近似来克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架，在该框架中，我们递归地近似每个任务后的高斯后验，导致权重变化的二次惩罚。拉普拉斯近似需要计算模式周围的Hessian，这对于现代架构来说通常是棘手的。为了使我们的方法可扩展，我们利用最近的块对角Kronecker因子近似的曲率。我们的算法在排列的MNIST数据集的50个实例序列中实现了超过90%的测试准确度，大大优于克服灾难性遗忘的相关方法。
2018-05-20 cs.LG stat.ML
Convolutional Neural Network Training with Distributed K-FAC
Texas Advanced Computing Center（德州高级计算中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
用许多处理器训练神经网络可以减少求解时间;然而，在大规模上保持收敛和效率是具有挑战性的。Kronecker因子近似曲率（K-FAC）最近被提出作为Fisher信息矩阵的近似，可用于自然梯度优化。我们在这里研究了一个可扩展的K-FAC设计及其在卷积神经网络（CNN）大规模训练中的适用性。我们研究了优化技术，如逐层分布策略，无逆二阶梯度评估和动态K-FAC更新解耦，以减少训练时间，同时保持收敛。我们使用应用于CIFAR-10和ImageNet-1k数据集的残差神经网络（ResNet）来评估我们的K-FAC梯度预处理器的正确性和可扩展性。在ImageNet-1k数据集上使用ResNet-50，我们的分布式K-FAC实现在GPU集群上跨尺度收敛到75.9% MLPerf基线的时间比经典的随机梯度下降（SGD）优化器少18 - 25%。
2020-07-01 cs.DC cs.LG stat.ML
Inefficiency of K-FAC for Large Batch Size Training
University of California at Berkeley（加州大学伯克利分校）
在随机优化中，在训练期间使用大批量可以利用并行资源来产生更快的每个训练时期的挂钟训练时间。然而，对于训练损失和测试误差，最近分析大批量随机梯度下降（SGD）的结果发现，超过一定的临界批量大小，收益急剧递减。为了解决这一问题，已经提出，对于诸如神经网络优化的非凸机器学习问题，克罗内克因子近似曲率（\mbox{K-FAC}）方法允许对大批量的更大可扩展性，以及对模型超参数的变化的更大鲁棒性。在这里，我们对这两个假设的大批量训练%进行了详细的实证分析，对于\mbox{K-FAC}和SGD，从挂钟时间和总计算成本两个方面评估性能。我们的主要结果有两个方面：首先，我们发现\mbox{K-FAC}和SGD在超过特定批量大小时都不具有理想的可伸缩性行为，并且与SGD相比，\mbox{K-FAC}没有表现出改进的大批量可伸缩性行为;其次，我们发现\mbox{K-FAC}除了需要更多的超参数来调优之外，还遭受与SGD类似的超参数敏感性行为。我们讨论了使用ResNet和AlexNet分别对\mbox{CIFAR-10}和SVHN的广泛结果，以及我们的研究结果的更一般的含义。
2019-07-31 cs.LG stat.ML
Sketchy: Memory-efficient Adaptive Regularization with Frequent Directions
Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
提出基于频繁方向草图的自适应正则化方法，在降低内存与计算成本的同时保持性能，并扩展到Shampoo，实现亚线性内存下的高效优化。
2023-10-16 cs.AI cs.LG stat.ML
Natural Gradient Descent for Online Continual Learning
Ecole Polytechnique & Télécom Paris（巴黎高等理工学院与电信巴黎学院）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出利用自然梯度下降优化器和FIM近似方法改进在线持续学习性能，尤其在Split CIFAR-100等数据集上表现突出。
2026-03-21 cs.AI cs.CV cs.LG
Two-Level K-FAC Preconditioning for Deep Learning
ETH Zurich（苏黎世联邦理工学院）
在深度学习的背景下，许多优化方法使用梯度协方差信息以加速随机梯度下降的收敛。特别是，从Adagrad开始，一系列看似无穷无尽的研究主张在基于随机梯度的算法中使用所谓的经验Fisher矩阵的对角近似，其中最突出的一个可以说是Adam。然而，近年来，一些工程投下怀疑的理论基础上的预处理与经验Fisher矩阵，它已被证明，更复杂的近似实际的Fisher矩阵更接近类似的理论上动机良好的自然梯度下降。这种方法的一个特别成功的变体是所谓的K-FAC优化器，它使用Kronecker因子化的块对角Fisher近似作为预处理器。在这项工作中，从两个级别的区域分解方法作为预条件在科学计算领域的启发，我们扩展K-FAC丰富的非对角（即全球）曲率信息在计算上有效的方式。我们通过在预条件子中添加一个粗空间校正项来实现这一点，该预条件子在较粗的尺度上捕获全局Fisher信息矩阵。我们提出了一个小的实验结果表明，我们所提出的方法的收敛行为改进。
2020-12-06 cs.LG
Structured Preconditioners in Adaptive Optimization: A Unified Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google Research（谷歌研究）
本文提出一种针对结构化预条件器自适应优化算法的统一分析，证明使用更少计算资源的结构化预条件器（如单侧Shampoo）在理论和实验上均可优于全矩阵方法。
2025-07-15 cs.LG
Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence
Hanoi University of Science and Technology（河内理工大学）；Indiana University（印第安纳大学）；Monash University（墨尔本大学）
穆恩通过正交化动量缓冲区实现谱扁平化，使学习率更大且收敛更快，其机制与梯度协方差谱有关。
2026-05-13 cs.AI cs.LG
KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization
本文提出KrAD分解与KrADagrad优化器，通过直接近似逆经验Fisher矩阵避免矩阵求逆，在32位精度下以与Shampoo相近的计算成本取得更好或可比的优化与泛化性能。
2023-05-30 cs.LG stat.ML
KAISA: An Adaptive Second-Order Optimizer Framework for Deep Neural Networks
University of Chicago（芝加哥大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Texas Advanced Computing Center（得克萨斯高级计算中心）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Argonne National Laboratory（阿贡国家实验室）
最近，Kronecker因子近似曲率（K-FAC）在深度神经网络（DNN）训练中的收敛速度比随机梯度下降（SGD）更快;然而，K-FAC较大的内存占用阻碍了其对大型模型的适用性。我们提出了KAISA，一个K-FAC启用，适应性强，改进和可扩展的二阶优化器框架，它适应特定模型和硬件的内存占用，通信和计算，以提高性能并增加可扩展性。我们量化了内存和通信成本之间的权衡，并在大型模型上评估KAISA，包括ResNet-50，Mask R-CNN，U-Net和BERT，最多128个NVIDIA A100 GPU。与原始优化器相比，KAISA在相同全局批量大小的应用程序中收敛速度快18.1-36.3%。在固定的内存预算下，KAISA在ResNet-50和BERT-Large中的收敛速度分别提高了32.5%和41.6%。KAISA可以平衡内存和通信，以实现等于或优于基线优化器的扩展效率。KAISA是开源的，可在https://github.com/gpauloski/kfac_pytorch上获得。
2021-09-20 cs.DC cs.LG
A Kaczmarz-inspired approach to accelerate the optimization of neural network wavefunctions
University of California, Berkeley（加利福尼亚大学伯克利分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对神经网络波函数优化成本高的问题，提出结合 MinSR 与 Kaczmarz 方法的 SPRING 优化器，在小原子和分子上优于 MinSR 和 KFAC，显著加速达到化学精度。
2024-08-23 cs.LG physics.chem-ph physics.comp-ph
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University（哥伦比亚大学）
我们考虑了实际随机拟牛顿的发展，特别是Kronecker因子块对角BFGS和L-BFGS方法，用于训练深度神经网络（DNN）。在DNN训练中，梯度$n$的变量和分量的数量通常是数千万的量级，并且Hessian具有$n^2$元素。因此，计算和存储完整的$n \times n$ BFGS近似或存储适度数量的（步长、梯度变化）向量对以用于L-BFGS实现是不可能的。在我们提出的方法中，我们通过块对角矩阵来近似Hessian，并使用梯度和Hessian的结构来进一步近似这些块，每个块对应于一个层，作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法，该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性，我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中，我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML
Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
本文提出Fisher-正交投影技术，用于在大规模批量训练中提升自然梯度下降的性能，实现更优的泛化能力和更快的收敛速度。
2026-02-08 cs.AI cs.LG
Approximating Real-Time Recurrent Learning with Random Kronecker Factors
ETH Zürich（苏黎世联邦理工学院）
尽管递归神经网络取得了令人印象深刻的进步，但序列数据仍然需要更好的建模。实时递归学习算法RTRL（实时的【形】Recurrent Learning algorithm）解决了截断偏差问题，但由于其计算量大，无法实现实时递归学习，因此在实际应用中，TBPTT（Truncated backpropagation through time）算法存在截断偏差，严重限制了其学习长期依赖关系的能力。无偏在线递归优化算法（UORO）以较小的运行时间和内存开销近似RTRL，但其缺点是获得噪声梯度，这也限制了其实用性。在本文中，我们提出了Kronecker因子RTRL（KF-RTRL）算法，该算法使用Kronecker乘积分解来近似一大类RNN的梯度。我们表明，KF-RTRL是一个无偏的和记忆有效的在线学习算法。我们的理论分析表明，在合理的假设下，我们的算法引入的噪声不仅是稳定的，随着时间的推移，而且渐近远小于一个的UORO算法。我们也证实了这些理论结果的实验。此外，我们的经验表明，KF-RTRL算法捕获长期的依赖关系，几乎匹配TBPTT在现实世界中的任务的性能训练循环公路网络上的合成字符串记忆任务和Penn TreeBank任务，分别。这些结果表明，RTRL为基础的方法可能是一个有前途的未来替代TBPTT。
2018-12-05 cs.LG stat.ML
Why Adaptive Optimizers Underestimate Rare Tokens
Presidency University, Kolkata（加尔各答总统大学）
本文分析自适应优化器（如Adam、RMSProp）对稀有词元产生低估偏差的机制，指出其归一化更新导致训练不动点偏移，并推导出偏差的闭式表达式，实验验证了该现象。
2026-09-30 cs.LG stat.ML
Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出Mousse优化器，通过曲率感知预条件化改进谱方法的结构稳定性，实验证明其在大规模语言模型训练中显著提升效率。
2026-04-01 cs.AI cs.CL cs.LG
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而，灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法，噪声自然梯度，是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例，其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而，矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中，我们扩展噪声K-FAC，以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲，我们的方法始终优于现有的算法（例如，噪声K-FAC）的回归和分类任务。
2018-11-30 cs.LG stat.ML
Scalable K-FAC Training for Deep Neural Networks with Distributed Preconditioning
The Hong Kong University of Science and Technology（香港科技大学）
二阶优化方法，特别是D-KFAC（分布式克罗内克因子近似曲率）算法，在加速GPU集群上的深度神经网络（DNN）训练方面取得了进展。然而，现有的D-KFAC算法需要计算和传递大量的二阶信息，即，Kronecker因子（KFs），在预处理梯度之前，导致大的计算和通信开销以及高的存储器占用。在本文中，我们提出了DP-KFAC，一种新的分布式预处理方案，将KF构建任务分布在不同的DNN层到不同的工人。DP-KFAC不仅保持了现有D-KFAC算法的收敛特性，而且具有三个优点：减少了构造KF的计算开销，没有KF的通信，以及低内存占用。在64 GPU集群上的大量实验表明，与现有的D-KFAC方法相比，DP-KFAC方法在每次二阶更新中的计算开销减少了1.55倍-1.65倍，通信开销减少了2.79倍-3.15倍，内存占用减少了1.14倍-1.47倍。
2022-06-30 cs.DC cs.LG
EA-CG: An Approximate Second-Order Method for Training Fully-Connected Neural Networks
HTC Research & Healthcare（HTC研究与医疗）
为了训练全连接神经网络（FCNN），提出了一种实用的近似二阶方法，包括：1）Hessian矩阵的近似和2）基于共轭梯度（CG）的方法。我们提出的近似Hessian矩阵是记忆有效的，可以应用于任何FCNN，其中激活和标准函数是两次可微的。我们设计了一种基于CG的方法，结合一阶近似来推导训练FCNN的牛顿方向，这显着降低了空间和时间复杂度。这种基于CG的方法可以用来解决任何线性方程的系数矩阵是克罗内克因子，对称和正定。实验结果表明了该方法的有效性和有效性。
2018-12-06 cs.LG
Pro-KLShampoo: Projected KL-Shampoo with Whitening Recovered by Orthogonalization
Department of Electrical & Computer Engineering, Northwestern University（电气与计算机工程系，西北大学）；Department of Industrial Engineering & Management Sciences, Northwestern University（工业工程与管理科学系，西北大学）
本文提出Pro-KLShampoo，通过正交化恢复白化过程，改进了KL-Shampoo的Kronecker预置器结构，实验证明其在预训练任务中表现更优。
2026-05-07 cs.AI cs.LG
ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
Hessian或其广义Gauss-Newton（GGN）近似形式的曲率对于依赖局部模型的损失来训练、压缩或解释深度网络的算法是有价值的。现有的方法基于隐式乘法通过自动微分或克罗内克因子块对角近似不考虑噪声的小批量。我们提出了ViViT，曲率模型，利用GGN的低秩结构，而无需进一步的近似。它允许有效的计算特征值，特征向量，以及每个样本的一阶和二阶方向导数。该表示在一次向后传递中与梯度并行计算，并提供了细粒度的成本-精度权衡，这使得它可以扩展。我们证明了这一点，通过进行性能基准测试和证实ViViT的有用性，通过研究噪声对GGN的结构特性的影响，在神经网络训练。
2022-02-10 cs.LG stat.ML
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
数据增强通常用于提高深度学习的性能，方法是强制执行对输入的某些转换保留输出的知识。目前，数据增强参数是通过人工努力和昂贵的交叉验证来选择的，这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法，用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性，这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效，但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标，它可以优化没有人的监督或验证数据。我们表明，我们的方法可以成功地恢复数据中存在的不变性，这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint
DeepMind（深度思维）
神经网络在许多认知任务中取得了显著的成功。然而，当他们在不访问旧数据的情况下按顺序接受多个任务的训练时，他们在早期任务上的表现往往会显着下降。这个问题通常被称为灾难性遗忘，这是神经网络的持续学习中的一个关键挑战。基于正则化的方法是减轻灾难性遗忘的主要方法之一。在本文中，我们提供了一个新的观点，正则化为基础的持续学习，制定它作为一个二阶泰勒近似的损失函数的每个任务。这种观点导致了一个统一的框架，可以实例化，以获得许多现有的算法，如弹性权重合并和克罗内克因子拉普拉斯近似。基于这一观点，我们研究了优化方面（即，收敛）以及泛化特性（即，有限样本保证）的基于规则化的持续学习。我们的理论结果表明的重要性，准确逼近的海森矩阵。几个基准的实验结果提供了我们的理论研究结果的实证验证。
2021-02-08 cs.LG stat.ML
On the second-order optimization for spiking neural networks
Centre for Secure Information Technologies（安全信息技术中心）
针对脉冲神经网络训练中尖锐损失景观与曲率信息利用不足的问题，提出二阶优化方法SpiKFAX，通过Kronecker因子近似Fisher信息矩阵，在多个架构与数据集上提升测试精度与训练稳定性。
2026-09-25 cs.CV cs.LG
Efficient Bilevel Optimization with KFAC-Based Hypergradients
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出基于KFAC的双层优化方法，通过引入隐函数定理算法，提升了超梯度计算的效率与性能，优于CG和Neumann方法，在元学习和AI安全问题中表现优异。
2026-03-31 cs.LG
Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning
Department of Computer Science, Brown University（布朗大学计算机科学系）
研究深度神经网络在持续学习中塑性丧失的原因，发现新任务初始化时的Hessian谱坍缩是主要因素，并提出基于Kronecker分解的两种正则化方法以保持塑性。
2026-05-29 cs.AI cs.LG
Accelerated Linearized Laplace Approximation for Bayesian Deep Learning
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Shanghai Jiao Tong University（上海交通大学）
拉普拉斯近似（LA）及其线性化变体（LLA）使预训练的深度神经网络能够轻松适应贝叶斯神经网络。广义高斯-牛顿（GGN）近似是典型的引入，以改善其易处理性。然而，LA和LLA仍然面临着非平凡的低效率问题，在实际应用中应该依赖于克罗内克因子，对角，甚至最后一层近似的GGN矩阵。这些近似值可能会损害学习结果的保真度。为了解决这个问题，受LLA和神经切线核（NTK）之间的联系的启发，我们开发了一个Nystrom近似NTK来加速LLA。我们的方法受益于流行的深度学习库的前向模式自动微分的能力，并享有可靠的理论保证。广泛的研究反映了所提出的方法在可扩展性和性能方面的优点。我们的方法甚至可以扩展到像视觉Transformer这样的架构。我们还提供有价值的消融研究来诊断我们的方法。代码可在\url{https://github.com/thudzj/ELLA}上获得。
2022-10-23 cs.LG
Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
本文研究了Hessian近似质量对影响函数归因的影响，发现更精确的Hessian近似能提升归因性能，且K-FAC与GGN的特征值不匹配是主要误差来源。
2026-02-15 cs.LG stat.ML
Brand New K-FACs: Speeding up K-FAC with Online Decomposition Updates
University of Oxford（牛津大学）
本文利用在线数值线性代数技术提出一种在层大小上呈线性扩展的K-factor逆更新方法，显著降低了K-FAC的计算成本，并在CIFAR10分类任务中比RS-KFAC更快达到目标准确率。
2023-09-12 cs.LG cs.NA math.NA
