Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto（多伦多大学）；New York University（纽约大学）；Vector Institute（向量研究所）
在这项工作中，我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架，并建议使用Kronecker因子近似曲率（K-FAC）与信任区域优化演员和评论家，因此我们称我们的方法演员批评使用Kronecker因子信任区域（ACKTR）。据我们所知，这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比，我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
An Empirical Analysis of Proximal Policy Optimization with Kronecker-factored Natural Gradients
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
在本技术报告中，我们考虑了一种结合PPO目标和K-FAC自然梯度优化的方法，我们称之为PPOKFAC。我们对算法的各个方面进行了一系列的实证分析，例如样本复杂度，训练速度以及对批量大小和训练时期的敏感性。我们观察到，PPOKFAC能够在一系列MuJoCo环境中的样本复杂性和速度方面优于PPO，同时在批量大小方面具有可扩展性。尽管如此，似乎增加更多的历元不一定有助于样本效率，并且PPOKFAC似乎比其A2 C对应物ACKTR更差。
2018-01-17 cs.AI cs.LG stat.ML
Optimizing Neural Networks with Kronecker-factored Approximate Curvature
University of Toronto（多伦多大学）
我们提出了一种有效的方法来近似自然梯度下降的神经网络，我们称之为克罗内克因子近似曲率（K-FAC）。K-FAC是基于一个有效的可逆近似的神经网络的Fisher信息矩阵，既不是对角也不是低秩，在某些情况下是完全非稀疏的。它是通过近似费舍尔的各种大块（对应于整个层）作为两个小得多的矩阵的克罗内克积而得出的。虽然计算成本仅比普通随机梯度高几倍，但K-FAC产生的更新在优化目标方面取得了更大的进展，这导致实际上可以比具有动量的随机梯度下降快得多的算法。与之前提出的一些使用高质量非对角曲率矩阵（如Hessian-free优化）的近似自然梯度/牛顿方法不同，K-FAC在高度随机的优化机制中工作得非常好。这是因为存储K-FAC近似值并将其求逆到曲率矩阵的成本不取决于用于估计它的数据量，这是通常仅与曲率矩阵的对角或低秩近似相关联的特征。
2020-06-08 cs.LG cs.NE stat.ML
Continual Learning with Extended Kronecker-factored Approximate Curvature
KAIST（韩国科学技术院）
我们提出了一个二次惩罚的神经网络，包含批量归一化（BN）层的持续学习方法。损失函数的Hessian表示二次罚函数的曲率，Kronecker因子近似曲率（K-FAC）被广泛用于计算神经网络的Hessian。然而，如果示例之间存在依赖性，则近似是无效的，这通常是由深网络架构中的BN层引起的。我们扩展了K-FAC方法，以便考虑到样本间的关系，并且可以在实际假设下适当地近似深度神经网络的Hessian。我们还提出了一种权重合并和重新参数化的方法来正确处理BN的统计参数，这对BN的持续学习起着至关重要的作用，以及一种在没有源任务数据的情况下选择超参数的方法。我们的方法在具有BN层的排列MNIST任务中以及从ImageNet分类任务到ResNet-50的细粒度分类任务的顺序学习中表现出比基线更好的性能，而无需显式或隐式使用源任务数据进行超参数选择。
2020-04-16 cs.CV cs.LG stat.ML
WaterKron and FlipFlop Hessian: Information-Theoretically Grounded Quantization with Kronecker-factored Hessians
University of California San Diego（加州大学圣迭戈分校）
本文提出 WaterKron 量化方法，结合双面 GPTQ 与熵编码，并通过最小化 Kronecker-Hessian 不匹配因子推导出 FlipFlop Hessian，实证表明其优于其他 Hessian 选择。
2026-09-29 cs.AI cs.LG
Eigenvalue-corrected Natural Gradient Based on a New Approximation
Tianjin University（天津大学）；Huawei Technologies（华为技术有限公司）；Beijing University of Technology（北京工业大学）
使用二阶优化方法训练深度神经网络（DNN）吸引了许多研究人员。最近提出的方法，特征值校正的克罗内克因子分解（EKFAC）（George等人，2018），提出了一种将自然梯度更新视为对角方法的解释，并纠正了Kronecker因子特征基中不准确的重新缩放因子。Gao et al.（2020）考虑了一种新的自然梯度近似，它将Fisher信息矩阵（fisherinformation matrix）近似为一个常数乘以两个矩阵的Kronecker乘积，并保持近似前后的迹相等。在这项工作中，我们结合这两种方法的思想，并提出了迹限制的特征值校正的克罗内克因子分解（TEKFAC）。该方法不仅校正了Kronecker因子化特征基下的不精确重标度因子，还考虑了Gao et al.（2020）提出的新近似方法和有效阻尼技术。我们还讨论了Kronecker因子近似之间的区别和联系。从经验上讲，我们的方法在几个DNN上优于SGD与动量，Adam，EKFAC和TKFAC。
2020-11-27 cs.LG math.OC
Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation
Northwestern University（西北大学）
现有的修剪深度神经网络的方法集中于去除训练网络的不必要的参数，并且之后对模型进行微调以找到恢复训练模型的初始性能的好的解决方案。与其他工作不同，我们的方法特别注意压缩模型中的解的质量和通过修剪神经元的推理计算时间。该算法通过探索Hessian的谱半径来指导压缩模型的参数朝向更平坦的解，从而在看不见的数据上产生更好的泛化。此外，该方法不与预先训练的网络一起工作，并且同时执行训练和修剪。我们的结果表明，它改善了神经元压缩的最先进的结果。该方法能够实现非常小的网络，在不同的神经网络模型的精度下降很小。
2021-11-16 cs.LG
KronQ: LLM Quantization via Kronecker-Factored Hessian
研究提出KronQ框架，通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似，在两个层面改进量化：双向非相干处理减少权重幅度方差，导出新敏感度度量用于层间混合精度分配，在特定量化任务中表现优于GPTQ等。
2026-08-11 cs.LG
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology（东京工业大学计算学院）；NVIDIA（英伟达）；Global Scientific Information and Computing Center, Tokyo Institute of Technology（东京工业大学全球科学信息与计算中心）；RIKEN Center for Computational Science（理化学研究所计算科学中心）
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题，或者对批量归一化进行一些特别的修改。我们提出了一种替代方法，使用二阶优化方法，表现出类似的泛化能力，一阶方法，但收敛速度更快，可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法，我们在ImageNet上训练ResNet-50。对于小于16，384的小批量，我们在35个epoch中收敛到了75%的Top-1验证准确率，即使小批量为131，072，也达到了75%，这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
本文针对现代神经网络中带权重共享的线性层，提出 K-FAC-expand 和 K-FAC-reduce 两种二阶优化变体，证明其在深度线性网络中的精确性，并在图神经网络和视觉 Transformer 上验证了显著加速训练的效果。
2024-01-11 cs.LG stat.ML
Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models
Applied AI Institute（应用人工智能研究所）；Innopolis University（因诺普利斯大学）；HSE University（俄罗斯高等经济大学）
研究针对大语言模型压缩，提出广义Fisher加权奇异值分解（GFWSVD）技术，通过考虑Fisher信息矩阵对角和非对角元素，引入可扩展的克罗内克分解近似算法，有效提升压缩效果，优于现有压缩基线。
2026-07-17 cs.AI cs.LG
KFCPO: Kronecker-Factored Approximated Constrained Policy Optimization
School of Computer Science and Engineering, Pusan National University, Busan, Korea（计算机科学与工程学院，釜山国立大学，韩国釜山）
提出KFCPO安全强化学习算法，结合K-FAC二阶优化与边际感知梯度操作，并采用KL回滚策略，在满足安全约束下显著提升回报。
2025-11-02 cs.AI cs.LG
Kronecker-factored Approximate Curvature (KFAC) From Scratch
Vector Institute, Canada（向量研究所）；University of Cambridge, United Kingdom（剑桥大学）
本文以教程形式从零介绍 KFAC 曲率近似方法，通过数学与代码并行的方式，并基于最新研究提供测试用例，旨在降低 KFAC 的实现、扩展和实际使用门槛。
2025-07-01 cs.LG
FastKron: Efficient Quantization with Kronecker-Factored Hessians
University of California San Diego（加利福尼亚大学圣迭戈分校）
BaKron是一种高效神经网络量化算法，通过结合反对角并行与递归分治结构，将计算量从O(m²n²)降至O(mn(m+n))，兼具GPTQ的缩放效率与更丰富的曲率信息，且对基础量化器和海森估计器模块化。
2026-09-29 cs.AI cs.LG
Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks
Vector Institute（矢量研究院）；RWTH Aachen University（亚琛工业大学）；ETH Zürich（苏黎世联邦理工学院）；University Hospital Freiburg（弗莱堡大学医院）
针对物理信息神经网络训练难、现有二阶方法扩展性差的问题，提出适配其损失的克罗内克分解近似曲率方法，通过泰勒模式自动微分处理微分算子，实现可扩展的高效优化，性能优于一阶方法与LBFGS。
2024-10-30 cs.LG physics.comp-ph
A New Way: Kronecker-Factored Approximate Curvature Deep Hedging and its Benefits
本文提出将K-FAC二阶优化与LSTM网络结合用于深度对冲，在Heston模拟数据上相比Adam显著降低交易成本和损益方差，并提升夏普比率。
2024-11-22 cs.LG q-fin.ST
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
我们引入了Kronecker因子化的在线拉普拉斯近似来克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架，在该框架中，我们递归地近似每个任务后的高斯后验，导致权重变化的二次惩罚。拉普拉斯近似需要计算模式周围的Hessian，这对于现代架构来说通常是棘手的。为了使我们的方法可扩展，我们利用最近的块对角Kronecker因子近似的曲率。我们的算法在排列的MNIST数据集的50个实例序列中实现了超过90%的测试准确度，大大优于克服灾难性遗忘的相关方法。
2018-05-20 cs.LG stat.ML
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University（哥伦比亚大学）
我们考虑了实际随机拟牛顿的发展，特别是Kronecker因子块对角BFGS和L-BFGS方法，用于训练深度神经网络（DNN）。在DNN训练中，梯度$n$的变量和分量的数量通常是数千万的量级，并且Hessian具有$n^2$元素。因此，计算和存储完整的$n \times n$ BFGS近似或存储适度数量的（步长、梯度变化）向量对以用于L-BFGS实现是不可能的。在我们提出的方法中，我们通过块对角矩阵来近似Hessian，并使用梯度和Hessian的结构来进一步近似这些块，每个块对应于一个层，作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法，该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性，我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中，我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML
Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection
在这封信中，我们提出了增强因子三路限制玻尔兹曼机（EFTW-RBM）的语音检测。所提出的模型通过乘以第三单元的动态状态来结合条件特征学习，这允许对可见-隐藏节点对进行调制。代替以递归方式将语音的先前帧堆叠为第三单元，相关加权系数被分配给上下文相邻帧。具体而言，阈值函数被设计为捕获长期特征并混合全局存储的语音结构。引入因子化的低秩近似来降低三维相互作用张量的参数，并对该参数施加非负约束以解决稀疏特性。通过ROC曲线下面积（AUC）和信号失真率（SDR）的验证表明，我们的方法优于几种现有的1D和2D（即，时域和时频域）语音检测算法。
2017-04-20 cs.LG cs.SD stat.ML
KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization
本文提出KrAD分解与KrADagrad优化器，通过直接近似逆经验Fisher矩阵避免矩阵求逆，在32位精度下以与Shampoo相近的计算成本取得更好或可比的优化与泛化性能。
2023-05-30 cs.LG stat.ML
Kronecker Recurrent Units
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们的工作解决了递归神经网络的两个重要问题：（1）它们是过参数化的，（2）递归矩阵是病态的。前者增加了学习的样本复杂度和训练时间。后者导致梯度消失和爆炸问题。我们提出了一个灵活的递归神经网络模型称为克罗内克递归单位（KRU）。KRU通过Kronecker分解的递归矩阵在RNN中实现参数效率。通过对因子施加软酉约束，克服了递归矩阵的病态性。由于因子的维数很小，保持这些约束在计算上是高效的。我们在7个标准数据集上的实验结果表明，与现有的递归模型相比，KRU可以将递归权重矩阵中的参数数量减少三个数量级，而不会牺牲统计性能。这些结果特别表明，虽然具有高维递归空间具有优势，但模型的递归部分的容量可以显着降低。
2017-12-31 cs.LG
Approximating Real-Time Recurrent Learning with Random Kronecker Factors
ETH Zürich（苏黎世联邦理工学院）
尽管递归神经网络取得了令人印象深刻的进步，但序列数据仍然需要更好的建模。实时递归学习算法RTRL（实时的【形】Recurrent Learning algorithm）解决了截断偏差问题，但由于其计算量大，无法实现实时递归学习，因此在实际应用中，TBPTT（Truncated backpropagation through time）算法存在截断偏差，严重限制了其学习长期依赖关系的能力。无偏在线递归优化算法（UORO）以较小的运行时间和内存开销近似RTRL，但其缺点是获得噪声梯度，这也限制了其实用性。在本文中，我们提出了Kronecker因子RTRL（KF-RTRL）算法，该算法使用Kronecker乘积分解来近似一大类RNN的梯度。我们表明，KF-RTRL是一个无偏的和记忆有效的在线学习算法。我们的理论分析表明，在合理的假设下，我们的算法引入的噪声不仅是稳定的，随着时间的推移，而且渐近远小于一个的UORO算法。我们也证实了这些理论结果的实验。此外，我们的经验表明，KF-RTRL算法捕获长期的依赖关系，几乎匹配TBPTT在现实世界中的任务的性能训练循环公路网络上的合成字符串记忆任务和Penn TreeBank任务，分别。这些结果表明，RTRL为基础的方法可能是一个有前途的未来替代TBPTT。
2018-12-05 cs.LG stat.ML
An iterative K-FAC algorithm for Deep Learning
Kronecker因子近似曲率（K-FAC）方法是一种用于深度学习的高效二阶优化算法。它的训练时间比SGD（或其他一阶方法）少，在许多大规模问题中具有相同的精度。K-FAC的关键是将Fisher信息矩阵近似为块对角矩阵，其中每个块是微小Kronecker因子的逆。本文提出了一种新的迭代K-FAC算法--CG-FAC。它采用共轭梯度法来逼近自然梯度。这种CG-FAC方法是无矩阵的，即不需要生成矩阵，也不需要生成Kronecker因子A和G。我们证明了迭代CG-FAC算法的时间复杂度和内存复杂度远小于标准K-FAC算法。
2021-01-01 cs.LG cs.NA math.NA
Background subtraction using the factored 3-way restricted Boltzmann machines
University of Michigan（密歇根大学）
本文提出了一种基于连续感觉输入的三维模型重建方法。机器人可以使用各种传感器从现实世界中获取非常大的数据。然而，感官输入通常是太嘈杂和高维数据。当机器人试图构建3D模型时，机器人使用这样的原始数据进行处理是非常困难和耗时的。因此，需要一种方法，可以从这些感官输入中提取有用的信息。为了解决这个问题，我们的方法利用对象语义层次（OSH）的概念。与以往的工作，使用这种层次结构的框架，我们提取的运动信息，而不是应用经典的计算机视觉方法使用深度信念网络技术。我们已经训练了两个大的随机点图像集（10，000），它们分别被平移和旋转，并成功地提取了几个解释平移和旋转运动的基础。基于这种平移和旋转基础，使用对象语义层次结构进行背景减除已经成为可能。
2018-02-05 cs.CV cs.LG eess.IV
Local Stochastic Factored Gradient Descent for Distributed Quantum State Tomography
Rice University（莱斯大学）
我们提出了一个分布式的量子态层析成像（QST）协议，命名为本地随机因子梯度下降（本地SFGD），学习一组本地机器上的密度矩阵的低秩因子。QST是描述量子系统状态的规范过程，我们将其表示为随机非凸光滑优化问题。物理上，低秩密度矩阵的估计有助于表征量子计算引入的噪声量。在理论上，我们证明了局部SFGD对于一般的限制强凸/光滑损失函数的局部收敛性，局部SFGD局部收敛到一个小的邻域的全局最优的线性速度与一个恒定的步长，而它的局部收敛正是在一个次线性的速度与递减的步长。在适当的初始化条件下，局部收敛结果隐含着全局收敛。我们验证了我们的理论研究结果与数值模拟QST的Greenberger-Horne-Zeilinger（GHZ）状态。
2022-06-01 cs.LG math.OC quant-ph
A Coordinate-Free Construction of Scalable Natural Gradient
Borealis AI；University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
大多数神经网络使用一阶优化方法进行训练，这对模型的参数化敏感。自然梯度下降是不变的平滑重新参数化，因为它是在一个坐标自由的方式定义，但易于处理的近似通常是在坐标系中定义，因此可能会失去不变性。通过构造一种与坐标无关的K-FAC算法，分析了K-FAC算法的不变性。我们明确地构建了一个黎曼度量，在该度量下，自然梯度与K-FAC更新相匹配;对激活的仿射变换的不变性立即发生。我们扩展了我们的框架来分析应用于卷积网络和递归神经网络的K-FAC的不变性，以及通常的Fisher度量以外的度量。
2018-08-30 cs.LG math.DG math.OC
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而，灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法，噪声自然梯度，是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例，其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而，矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中，我们扩展噪声K-FAC，以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲，我们的方法始终优于现有的算法（例如，噪声K-FAC）的回归和分类任务。
2018-11-30 cs.LG stat.ML
Scalable K-FAC Training for Deep Neural Networks with Distributed Preconditioning
The Hong Kong University of Science and Technology（香港科技大学）
二阶优化方法，特别是D-KFAC（分布式克罗内克因子近似曲率）算法，在加速GPU集群上的深度神经网络（DNN）训练方面取得了进展。然而，现有的D-KFAC算法需要计算和传递大量的二阶信息，即，Kronecker因子（KFs），在预处理梯度之前，导致大的计算和通信开销以及高的存储器占用。在本文中，我们提出了DP-KFAC，一种新的分布式预处理方案，将KF构建任务分布在不同的DNN层到不同的工人。DP-KFAC不仅保持了现有D-KFAC算法的收敛特性，而且具有三个优点：减少了构造KF的计算开销，没有KF的通信，以及低内存占用。在64 GPU集群上的大量实验表明，与现有的D-KFAC方法相比，DP-KFAC方法在每次二阶更新中的计算开销减少了1.55倍-1.65倍，通信开销减少了2.79倍-3.15倍，内存占用减少了1.14倍-1.47倍。
2022-06-30 cs.DC cs.LG
EA-CG: An Approximate Second-Order Method for Training Fully-Connected Neural Networks
HTC Research & Healthcare（HTC研究与医疗）
为了训练全连接神经网络（FCNN），提出了一种实用的近似二阶方法，包括：1）Hessian矩阵的近似和2）基于共轭梯度（CG）的方法。我们提出的近似Hessian矩阵是记忆有效的，可以应用于任何FCNN，其中激活和标准函数是两次可微的。我们设计了一种基于CG的方法，结合一阶近似来推导训练FCNN的牛顿方向，这显着降低了空间和时间复杂度。这种基于CG的方法可以用来解决任何线性方程的系数矩阵是克罗内克因子，对称和正定。实验结果表明了该方法的有效性和有效性。
2018-12-06 cs.LG
Pro-KLShampoo: Projected KL-Shampoo with Whitening Recovered by Orthogonalization
Department of Electrical & Computer Engineering, Northwestern University（电气与计算机工程系，西北大学）；Department of Industrial Engineering & Management Sciences, Northwestern University（工业工程与管理科学系，西北大学）
本文提出Pro-KLShampoo，通过正交化恢复白化过程，改进了KL-Shampoo的Kronecker预置器结构，实验证明其在预训练任务中表现更优。
2026-05-07 cs.AI cs.LG
ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
Hessian或其广义Gauss-Newton（GGN）近似形式的曲率对于依赖局部模型的损失来训练、压缩或解释深度网络的算法是有价值的。现有的方法基于隐式乘法通过自动微分或克罗内克因子块对角近似不考虑噪声的小批量。我们提出了ViViT，曲率模型，利用GGN的低秩结构，而无需进一步的近似。它允许有效的计算特征值，特征向量，以及每个样本的一阶和二阶方向导数。该表示在一次向后传递中与梯度并行计算，并提供了细粒度的成本-精度权衡，这使得它可以扩展。我们证明了这一点，通过进行性能基准测试和证实ViViT的有用性，通过研究噪声对GGN的结构特性的影响，在神经网络训练。
2022-02-10 cs.LG stat.ML
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
数据增强通常用于提高深度学习的性能，方法是强制执行对输入的某些转换保留输出的知识。目前，数据增强参数是通过人工努力和昂贵的交叉验证来选择的，这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法，用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性，这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效，但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标，它可以优化没有人的监督或验证数据。我们表明，我们的方法可以成功地恢复数据中存在的不变性，这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Gradient Descent on Neurons and its Link to Approximate Second-Order Optimization
ETH Zurich（苏黎世联邦理工学院）
二阶优化器被认为具有加速神经网络训练的潜力，但由于曲率矩阵的巨大尺寸，它们通常需要近似值在计算上易于处理。最成功的近似族是Kronecker因子，块对角曲率估计（KFAC）。在这里，我们结合了以前的工作，以评估精确的二阶更新与仔细的消融，以建立一个令人惊讶的结果：由于其近似，KFAC是不密切相关的二阶更新，特别是，它显着优于真正的二阶更新。这对人们普遍持有的信念提出了挑战，并立即提出了一个问题，即为什么KFAC表现如此出色。为了回答这个问题，我们提出的证据强烈表明，KFAC近似一阶算法，它执行梯度下降的神经元，而不是权重。最后，我们表明，这种优化器往往提高了KFAC的计算成本和数据效率。
2022-06-10 cs.LG
Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint
DeepMind（深度思维）
神经网络在许多认知任务中取得了显著的成功。然而，当他们在不访问旧数据的情况下按顺序接受多个任务的训练时，他们在早期任务上的表现往往会显着下降。这个问题通常被称为灾难性遗忘，这是神经网络的持续学习中的一个关键挑战。基于正则化的方法是减轻灾难性遗忘的主要方法之一。在本文中，我们提供了一个新的观点，正则化为基础的持续学习，制定它作为一个二阶泰勒近似的损失函数的每个任务。这种观点导致了一个统一的框架，可以实例化，以获得许多现有的算法，如弹性权重合并和克罗内克因子拉普拉斯近似。基于这一观点，我们研究了优化方面（即，收敛）以及泛化特性（即，有限样本保证）的基于规则化的持续学习。我们的理论结果表明的重要性，准确逼近的海森矩阵。几个基准的实验结果提供了我们的理论研究结果的实证验证。
2021-02-08 cs.LG stat.ML
On the second-order optimization for spiking neural networks
Centre for Secure Information Technologies（安全信息技术中心）
针对脉冲神经网络训练中尖锐损失景观与曲率信息利用不足的问题，提出二阶优化方法SpiKFAX，通过Kronecker因子近似Fisher信息矩阵，在多个架构与数据集上提升测试精度与训练稳定性。
2026-09-25 cs.CV cs.LG
Efficient Bilevel Optimization with KFAC-Based Hypergradients
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出基于KFAC的双层优化方法，通过引入隐函数定理算法，提升了超梯度计算的效率与性能，优于CG和Neumann方法，在元学习和AI安全问题中表现优异。
2026-03-31 cs.LG
Convolutional Neural Network Training with Distributed K-FAC
Texas Advanced Computing Center（德州高级计算中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
用许多处理器训练神经网络可以减少求解时间;然而，在大规模上保持收敛和效率是具有挑战性的。Kronecker因子近似曲率（K-FAC）最近被提出作为Fisher信息矩阵的近似，可用于自然梯度优化。我们在这里研究了一个可扩展的K-FAC设计及其在卷积神经网络（CNN）大规模训练中的适用性。我们研究了优化技术，如逐层分布策略，无逆二阶梯度评估和动态K-FAC更新解耦，以减少训练时间，同时保持收敛。我们使用应用于CIFAR-10和ImageNet-1k数据集的残差神经网络（ResNet）来评估我们的K-FAC梯度预处理器的正确性和可扩展性。在ImageNet-1k数据集上使用ResNet-50，我们的分布式K-FAC实现在GPU集群上跨尺度收敛到75.9% MLPerf基线的时间比经典的随机梯度下降（SGD）优化器少18 - 25%。
2020-07-01 cs.DC cs.LG stat.ML
Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning
Department of Computer Science, Brown University（布朗大学计算机科学系）
研究深度神经网络在持续学习中塑性丧失的原因，发现新任务初始化时的Hessian谱坍缩是主要因素，并提出基于Kronecker分解的两种正则化方法以保持塑性。
2026-05-29 cs.AI cs.LG
Accelerated Linearized Laplace Approximation for Bayesian Deep Learning
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Shanghai Jiao Tong University（上海交通大学）
拉普拉斯近似（LA）及其线性化变体（LLA）使预训练的深度神经网络能够轻松适应贝叶斯神经网络。广义高斯-牛顿（GGN）近似是典型的引入，以改善其易处理性。然而，LA和LLA仍然面临着非平凡的低效率问题，在实际应用中应该依赖于克罗内克因子，对角，甚至最后一层近似的GGN矩阵。这些近似值可能会损害学习结果的保真度。为了解决这个问题，受LLA和神经切线核（NTK）之间的联系的启发，我们开发了一个Nystrom近似NTK来加速LLA。我们的方法受益于流行的深度学习库的前向模式自动微分的能力，并享有可靠的理论保证。广泛的研究反映了所提出的方法在可扩展性和性能方面的优点。我们的方法甚至可以扩展到像视觉Transformer这样的架构。我们还提供有价值的消融研究来诊断我们的方法。代码可在\url{https://github.com/thudzj/ELLA}上获得。
2022-10-23 cs.LG
Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
本文研究了Hessian近似质量对影响函数归因的影响，发现更精确的Hessian近似能提升归因性能，且K-FAC与GGN的特征值不匹配是主要误差来源。
2026-02-15 cs.LG stat.ML
On the Duality between Gradient Transformations and Adapters
Massachusetts Institute of Technology（麻省理工学院）
研究线性梯度变换与适配器重参数化之间的对偶性，证明在变换空间优化等价于通过线性适配器修改参数，揭示GaLore与单边LoRA的等价关系，统一内存高效训练方法。
2025-08-09 cs.CL cs.LG
Sketchy: Memory-efficient Adaptive Regularization with Frequent Directions
Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
提出基于频繁方向草图的自适应正则化方法，在降低内存与计算成本的同时保持性能，并扩展到Shampoo，实现亚线性内存下的高效优化。
2023-10-16 cs.AI cs.LG stat.ML
Natural Gradient Descent for Online Continual Learning
Ecole Polytechnique & Télécom Paris（巴黎高等理工学院与电信巴黎学院）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出利用自然梯度下降优化器和FIM近似方法改进在线持续学习性能，尤其在Split CIFAR-100等数据集上表现突出。
2026-03-21 cs.AI cs.CV cs.LG
Fast Deep Hedging with Second-Order Optimization
Imperial College London（帝国理工学院）；J.P. Morgan（摩根大通）
针对深度对冲神经网络训练收敛慢的问题，提出基于路径可微性、块对角近似与克罗内克因子分解的二阶优化方案，在棘轮期权对冲任务中步数仅为标准方法的1/4。
2024-10-29 cs.LG q-fin.CP q-fin.RM
Two-Level K-FAC Preconditioning for Deep Learning
ETH Zurich（苏黎世联邦理工学院）
在深度学习的背景下，许多优化方法使用梯度协方差信息以加速随机梯度下降的收敛。特别是，从Adagrad开始，一系列看似无穷无尽的研究主张在基于随机梯度的算法中使用所谓的经验Fisher矩阵的对角近似，其中最突出的一个可以说是Adam。然而，近年来，一些工程投下怀疑的理论基础上的预处理与经验Fisher矩阵，它已被证明，更复杂的近似实际的Fisher矩阵更接近类似的理论上动机良好的自然梯度下降。这种方法的一个特别成功的变体是所谓的K-FAC优化器，它使用Kronecker因子化的块对角Fisher近似作为预处理器。在这项工作中，从两个级别的区域分解方法作为预条件在科学计算领域的启发，我们扩展K-FAC丰富的非对角（即全球）曲率信息在计算上有效的方式。我们通过在预条件子中添加一个粗空间校正项来实现这一点，该预条件子在较粗的尺度上捕获全局Fisher信息矩阵。我们提出了一个小的实验结果表明，我们所提出的方法的收敛行为改进。
2020-12-06 cs.LG
Scalable Thermodynamic Second-order Optimization
Normal Computing
针对AI训练硬件加速不足问题，提出利用热力学计算机加速K-FAC二阶优化的可扩展算法，其优势随神经元数量增加而增强，量化噪声下仍保留二阶优化益处，可大幅加速大规模视觉和图问题训练。
2025-02-12 cs.ET cs.LG
KAISA: An Adaptive Second-Order Optimizer Framework for Deep Neural Networks
University of Chicago（芝加哥大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Texas Advanced Computing Center（得克萨斯高级计算中心）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Argonne National Laboratory（阿贡国家实验室）
最近，Kronecker因子近似曲率（K-FAC）在深度神经网络（DNN）训练中的收敛速度比随机梯度下降（SGD）更快;然而，K-FAC较大的内存占用阻碍了其对大型模型的适用性。我们提出了KAISA，一个K-FAC启用，适应性强，改进和可扩展的二阶优化器框架，它适应特定模型和硬件的内存占用，通信和计算，以提高性能并增加可扩展性。我们量化了内存和通信成本之间的权衡，并在大型模型上评估KAISA，包括ResNet-50，Mask R-CNN，U-Net和BERT，最多128个NVIDIA A100 GPU。与原始优化器相比，KAISA在相同全局批量大小的应用程序中收敛速度快18.1-36.3%。在固定的内存预算下，KAISA在ResNet-50和BERT-Large中的收敛速度分别提高了32.5%和41.6%。KAISA可以平衡内存和通信，以实现等于或优于基线优化器的扩展效率。KAISA是开源的，可在https://github.com/gpauloski/kfac_pytorch上获得。
2021-09-20 cs.DC cs.LG
A Kaczmarz-inspired approach to accelerate the optimization of neural network wavefunctions
University of California, Berkeley（加利福尼亚大学伯克利分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对神经网络波函数优化成本高的问题，提出结合 MinSR 与 Kaczmarz 方法的 SPRING 优化器，在小原子和分子上优于 MinSR 和 KFAC，显著加速达到化学精度。
2024-08-23 cs.LG physics.chem-ph physics.comp-ph
Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
本文提出Fisher-正交投影技术，用于在大规模批量训练中提升自然梯度下降的性能，实现更优的泛化能力和更快的收敛速度。
2026-02-08 cs.AI cs.LG
Dropping Convexity for Faster Semi-definite Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了在半正定矩阵集上最小化凸函数的问题，通过因子梯度下降法（FGD）在非凸情况下实现更快收敛，提供了步长选择规则和初始化方法，适用于一般凸函数的收敛性保证。
2016-04-16 cs.DS cs.IT cs.LG
Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出Mousse优化器，通过曲率感知预条件化改进谱方法的结构稳定性，实验证明其在大规模语言模型训练中显著提升效率。
2026-04-01 cs.AI cs.CL cs.LG
