Efficient Computation of Hessian Matrices in TensorFlow
University of Bergen(卑尔根大学)
Hessian矩阵在优化、图像处理和统计学等领域有着重要的应用。在本文中,我们重点关注在使用Python脚本语言和TensorFlow库的深度学习背景下有效计算Hessian矩阵的实际方面。我们定义了一个通用的前馈神经网络模型,并展示了如何有效地计算两个量:成本函数的精确Hessian矩阵,和成本函数的近似Hessian矩阵,被称为外积矩阵(OPG)。此外,由于深度学习中的参数(权重和偏差)的数量通常非常大,我们展示了如何通过基于近似特征分解的有效实现来降低二次空间复杂度。
2021-04-07 cs.LG
Spectral alignment of stochastic gradient descent for high-dimensional classification tasks
Courant Institute, New York University(纽约大学Courant研究所);Department of Mathematics, Northwestern University(西北大学数学系);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计与数据科学系);Department of Statistics and Actuarial Science, Department of Applied Mathematics, and Cheriton School of Computer Science, University of Waterloo(滑铁卢大学统计与精算系、应用数学系及Cheriton计算机科学学院)
该研究严格分析高维分类任务中SGD训练动力学与经验Hessian、梯度矩阵谱的关系,证明二者轨迹与离群特征空间共对齐于低维子空间,多层网络逐层对齐且末层离群特征空间随训练演化、次优收敛时秩亏,验证了过往过参数化网络谱特性的数值预测。
2025-05-15 cs.LG math.PR stat.ML
SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University(香港理工大学)
本文提出复合优化器 SGD-PH,对逐通道参数使用可精确提取的对角部分 Hessian,其余参数采用 SGD 更新,从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis(加州大学戴维斯分校);Rice University(莱斯大学)
针对去中心化随机双层优化,本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法,在保持最优样本复杂度的同时避免计算完整矩阵,降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Online Learning Guided Curvature Approximation: A Quasi-Newton Method with Global Non-Asymptotic Superlinear Convergence
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究针对现有拟牛顿法无法同时保证全局收敛与显式非渐近超线性速率的局限,结合混合邻近外梯度法与在线学习框架更新海森近似,首次提出具备该特性的全局收敛拟牛顿方法。
2023-07-25 cs.LG math.OC stat.ML
Can Stability be Detrimental? Better Generalization through Gradient Descent Instabilities
University of Oxford(牛津大学)
本文发现大学习率引起的梯度下降不稳定性会使Hessian特征向量旋转,促使模型参数探索更平坦的损失景观区域,产生隐式正则化效应,从而在现代基准数据集上实现更优的泛化性能。
2024-12-23 cs.LG stat.ML
Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
POSTECH(POSTECH大学)
针对异步流水线并行中梯度陈旧性随流水线深度线性增长的问题,提出基旋转框架,通过将优化器坐标系与Hessian特征基对齐来保持延迟更新的有效性,理论证明最小化基失配并实证在3B参数LLM训练中减少81.7%迭代次数。
2026-05-27 cs.AI cs.DC cs.LG
Modified online Newton step based on element wise multiplication
Panjab University(潘贾布大学)
二阶牛顿法是在线学习中保证后悔界的一种有效方法。用牛顿法将二阶矩阵存储为海森矩阵时,数据量大是一个难题。在本文中,我们提出了一个修改的在线牛顿步骤,存储一阶和二阶矩阵的维数m(类)由d(功能)。我们已经使用逐元素算术运算来保持矩阵大小相同。修改的二阶矩阵大小导致更快的计算。此外,错误率与文献中的流行方法相当。实验结果表明,该方法可以在普通台式机上使用二阶牛顿法处理大型多类数据集。
2019-04-16 cs.LG stat.ML
Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices
Universität Leipzig(莱比锡大学);Fakultät für Physik und Geowissenschaften(物理与地球科学学院);Institut für Theoretische Physik(理论物理研究所)
本文通过Hessian特征向量与权重的关系、奇异值分解和主成分分析揭示训练深度网络的关键参数方向,并据此提出缓解灾难性遗忘的策略。
2023-11-01 cs.LG
Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
随机投影或草图广泛用于许多算法和学习环境中。在这里,我们研究的性能迭代海森素描最小二乘问题。通过利用和扩展最近的结果从随机矩阵理论的限制矩阵的谱随机投影与子采样随机Hadamard变换,截断Haar矩阵,我们可以研究和比较所得到的算法的精度水平,以前是不可能的。我们的技术贡献包括一个新的公式的逆投影矩阵的二阶矩。我们也找到了简单的渐近最优步长和收敛速度的封闭形式的表达式。这表明Haar矩阵和随机Hadamard矩阵的收敛速度是相同的,并渐近改善高斯随机投影。这些技术可以应用于采用随机化降维的其他算法。
2020-10-23 cs.LG math.OC
Non-PSD Matrix Sketching with Applications to Regression and Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Queensland(昆士兰大学)
各种降维技术已被应用于涉及大型矩阵的计算。底层矩阵被随机压缩成一个较小的矩阵,同时近似保留其许多原始属性。因此,许多昂贵的计算可以在小矩阵上执行。半正定(PSD)矩阵的绘制是很好理解的,但是有许多应用中相关矩阵不是PSD,包括非凸优化中的Hessian矩阵和协方差矩阵。在本文中,我们提出了新的非PSD矩阵的降维方法,以及他们的"平方根”,其中涉及矩阵的复杂项目。我们展示了如何将这些技术用于多个下游任务。特别是,我们将展示如何使用所提出的矩阵草图技术的凸和非凸优化,$\ell_p$ -回归每$1 \leq p \leq \infty$,和向量矩阵向量查询。
2021-06-16 cs.LG cs.NA math.NA
Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification
Sano - Centre for Computational Personalized Medicine(Sano——计算个性化医学中心);School of Computing, Telkom University(Telkom大学计算机学院);Jagiellonian University(雅盖隆大学)
本研究提出协方差与Hessian矩阵协同特征分析的二分类新方法,通过形式化证明其兼顾LDA的分离性与紧凑性准则,在多数据集上性能优于PCA、Hessian方法及LDA,还可助力理解DNN决策。
2024-10-08 cs.AI cs.LG
M-FAC: Efficient Matrix-Free Approximations of Second-Order Information
IST Austria(奥地利科学技术研究所);Neural Magic
有效逼近损失函数的局部曲率信息是深度神经网络优化和压缩的关键工具。然而,大多数近似二阶信息的现有方法具有较高的计算或存储成本,这可能限制其实用性。在这项工作中,我们调查矩阵的自由,线性时间的方法来估计逆海森向量积(IHVP)的情况下,海森可以近似为秩一矩阵的总和,在经典的近似海森的经验Fisher矩阵。我们提出了两个新的算法作为一个框架的一部分,称为M-FAC:第一个算法是针对网络压缩,可以计算IHVP的尺寸$d$,如果Hessian是作为一个总和的$m$秩一矩阵,使用$O(dm^2)$预计算,$O(dm)$成本计算IHVP,查询成本$O(m)$的任何单个元素的逆Hessian。第二种算法针对优化设置,其中我们希望计算在优化步骤的滑动窗口上估计的逆Hessian与给定梯度方向之间的乘积,如预处理SGD所需。我们给出了一个算法的成本$O(dm + m^2)$的计算IHVP和$O(dm + m^3)$的添加或删除任何梯度的滑动窗口。这两个算法产生的最先进的结果,网络修剪和优化与较低的计算开销相对于现有的二阶方法。实现可参见[9]和[17]。
2021-11-18 cs.LG
Generalizing and Improving Jacobian and Hessian Regularization
Boston University(波士顿大学);Ohio State University(俄亥俄州立大学);Tianjin University(天津大学)
雅可比正则化和海森正则化的目的是减少一阶和二阶偏导数相对于神经网络输入的大小,它们主要用于确保图像分类器的对抗鲁棒性。在这项工作中,我们推广了以前的努力,将目标矩阵从零扩展到任何矩阵,承认有效的矩阵向量产品。所提出的范例使我们能够构建新的正则化条款,强制执行对称性或对角的平方雅可比矩阵和海森矩阵。另一方面,雅可比和海森正则化的主要挑战是高计算复杂性。我们引入基于Lanczos的谱范数最小化来解决这个困难。该技术使用Lanczos算法的并行实现,并且能够有效且稳定地正则化大型Jacobian和Hessian矩阵。理论的理由和经验证据所提出的范式和技术。我们进行了探索性的实验,以验证我们的新的正则化条款的有效性。我们还进行了比较实验,以评估基于Lanczos的谱范数最小化对以前的方法。结果表明,所提出的方法是有利的广泛的任务。
2022-12-01 cs.LG math.OC
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University(北京大学);Stevens Institute of Technology(史蒂文斯理工学院)
子采样牛顿法通过子采样技术近似海森矩阵,减少了形成海森矩阵的成本,但使用足够的曲率信息。然而,以前的结果需要$Ω(d)$样本来近似Hessians,其中$d$是数据点的维数,这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时,情况恶化,这需要考虑整个数据集,使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说,我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本,其中$d^γ_{\rm eff}$是$γ$ -岭杠杆,只要$nγ\gg 1$,它就可以比$d$小得多.此外,我们扩展了这一结果,使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);York University(约克大学);Princeton University(普林斯顿大学)
针对空中联邦学习中梯度含噪导致全局 Hessian 近似失效的问题,提出 GP-FL,用 Gaussian process 与信道模型从含噪梯度随机估计 Hessian,实现线性二次收敛并优于基线。
2024-12-05 cs.LG
KronQ: LLM Quantization via Kronecker-Factored Hessian
研究提出KronQ框架,通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似,在两个层面改进量化:双向非相干处理减少权重幅度方差,导出新敏感度度量用于层间混合精度分配,在特定量化任务中表现优于GPTQ等。
2026-08-11 cs.LG
Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
POSTECH
针对零阶优化中梯度不可用且Hessian估计成本高的问题,提出基于随机二维子空间的近似Hessian方法ZO-SAH,通过二次拟合与周期切换降低查询成本,在八个基准上显著加速收敛。
2025-07-08 cs.AI cs.LG
Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form
NVIDIA(英伟达)
本文研究了前馈和循环神经网络的线性代数理论,推导了Hessian的精确表达式,并展示了权重梯度和Hessian的矩阵形式。
2017-09-16 cs.AI cs.LG cs.NA
Modular Block-diagonal Curvature Approximations for Feedforward Architectures
University of Tübingen(图宾根大学);Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了一个模块化的扩展反向传播的计算块对角近似的各种曲率矩阵的训练目标(特别是,海森,广义高斯-牛顿,和正曲率海森)。该方法减少了将这些矩阵手动导出到本地模块中的繁琐过程,并且易于集成到现有的机器学习库中。此外,我们开发了一个紧凑的符号来自矩阵微分。我们概述了适用于我们的方法的不同策略。他们最近提出了块对角近似作为特殊情况,并在这项工作中扩展到卷积神经网络。
2020-02-28 cs.LG stat.ML
Operator-valued formulas for Riemannian Gradient and Hessian and families of tractable metrics
本文提出一种算子值公式方法,用于计算一类商流形的黎曼梯度与海森矩阵,并将其应用于斯蒂费尔流形、旗流形及固定秩半正定矩阵流形,扩展了流形优化和机器学习中可用的度量族。
2021-06-29 cs.CV cs.LG math.DG
Modelling pressure-Hessian from local velocity gradients information in an incompressible turbulent flow field using deep neural networks
了解湍流中速度梯度的动力学特性对于了解各种非线性湍流过程至关重要。压力Hessian和粘性Laplacian支配速度梯度的演化,并且已知在性质上是非局部的。多年来,已经提出了几种简化的动力学模型,主要根据局部速度梯度信息对粘性拉普拉斯算子和压力海森算子进行建模。这些模型也可以作为拉格朗日PDF方法的封闭模型。最近的流体变形闭合模型(RFDM)已被证明是检索优秀的粘性过程的一次性统计。然而,由RFDM建模的压力-海森具有各种物理限制。在这项工作中,我们首先证明了RFDM在估计压力Hessian的局限性。此外,我们采用张量基神经网络(TBNN)的速度梯度张量本身的压力海森模型。神经网络是在雷诺数为433的各向同性湍流直接数值模拟(DNS)获得的高分辨率数据(JHU湍流数据库,JHTD)上训练的。在雷诺数为433(JHTD)和315(UP Madrid湍流数据库,UPMTD)和雷诺数为1000(UT Texas和JHTD)的通道流数据集对两个不同的各向同性湍流数据集进行测试的TBNN的预测。神经网络输出的评价是在预测的压力Hessian特征向量与湍流各向同性流以及通道流的应变率特征向量的对齐统计。我们的预测的解决方案的分析导致发现10个独特的系数的张量基础的应变率和旋转速率张量,线性组合,准确地捕捉关键对齐统计的压力海森张量。
2019-11-19 cs.LG stat.ML
Understanding Hessian Alignment for Domain Generalization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文针对域泛化中Hessian与梯度对齐作用理解不足的问题,基于OOD可迁移性理论开展分析,解释了现有正则化方法的成功机制,提出两种无需直接计算Hessian的高效对齐方法,在多类OOD场景基准测试中取得了良好性能。
2023-08-22 cs.CV cs.LG stat.ML
Memory-free dynamics for the TAP equations of Ising models with arbitrary rotation invariant ensembles of random coupling matrices
Technische Universität Berlin(柏林工业大学)
本文提出了一种求解具有任意旋转不变(随机)耦合矩阵的伊辛模型的Thouless-Anderson-Palmer(TAP)方程的迭代算法.在热力学极限,我们证明了通过动力泛函方法,该算法收敛时,所谓的德阿尔梅达无(AT)标准是履行。此外,我们给出了精确的解析表达式的收敛速度。
2019-03-07 cond-mat.dis-nn cs.LG
CurveTQ: Rotation-Free Trellis Quantization of LLM Weights via Curvature-Weighted Search
Black Sesame Technologies(黑芝麻科技)
提出 CurveTQ,一种无旋转的 LLM 权重量化方法,通过利用 Hessian 曲率权重进行网格搜索,在两比特下提升下游准确率并加速解码。
2026-10-08 cs.AI cs.LG
Efficient coordinate-descent for orthogonal matrices through Givens rotations
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Bar Ilan University(巴伊兰大学)
优化正交矩阵集是稀疏PCA或张量分解等问题的核心组成部分。不幸的是,这样的优化是困难的,因为对正交矩阵的简单操作容易破坏正交性,并且校正正交性通常花费大量的计算。在这里,我们提出了一个优化正交矩阵的框架,即坐标下降在欧氏空间中的并行。它基于{ \em Givens-rotations},这是一种快速计算操作,影响学习矩阵中的少量条目,并保持正交性。我们展示了这种方法的两个应用:用于学习混合模型的张量分解算法和稀疏PCA算法。我们研究了Givens旋转方法收敛速度更快并在全基因组全脑mRNA表达数据集上实现卓越模型的参数制度。
2013-12-13 cs.LG stat.ML
Projected Hessian Learning: Fast Curvature Supervision for Accurate Machine-Learning Interatomic Potentials
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论 division);Department of Chemical Engineering & Materials Science, Michigan State University(密歇根州立大学化学工程与材料科学系);NVIDIA Corp.(NVIDIA 公司);Computer and Artificial Intelligence Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室计算机与人工智能 division);Center for Nonlinear Studies, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室非线性研究 center);Department of Physics and Astronomy, Michigan State University(密歇根州立大学物理与天文学系)
PHL通过投影Hessian学习实现快速曲率监督,提升机器学习互原子势能的训练效率和精度。
2026-03-04 cs.AI cs.LG physics.chem-ph
FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning
Chinese Academy of Sciences(中国科学院);Renmin University of China(中国人民大学);China Unicom Research Institute(中国联通研究院)
针对联邦学习中Hessian矩阵通信复杂度高的问题,提出FedNS算法,通过通信草图平方根Hessian并匹配有效维度提升效率,首次实现通信轮数的超线性收敛率。
2024-01-05 cs.DC cs.LG
Optimization over covariance matrices with a parameterized metric
Nanyang Technological University(南洋理工大学);Microsoft India(微软印度);Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出一个两参数黎曼度量族用于协方差矩阵优化,统一了欧几里得、Bures-Wasserstein和仿射不变度量,并分析其Hessian条件数下界,实验验证了调整参数可提升收敛性能。
2026-09-16 cs.LG math.OC
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds
Marchuk Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院马尔丘克计算数学研究所);HSE University(高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
在科学计算和机器学习应用中,矩阵和更一般的多维数组(张量)通常可以在低秩分解的帮助下近似。由于固定秩的矩阵和张量形成光滑的黎曼流形,所以寻找低秩近似的流行工具之一是使用黎曼优化。然而,在黎曼优化算法中需要的黎曼梯度和海森的有效实现在实践中可能是一个不平凡的任务。此外,在某些情况下,甚至没有解析公式。在本文中,我们建立在自动微分,并提出了一种方法,给定的实现的功能,以最小化,有效地计算黎曼梯度和矩阵之间的近似黎曼海森和给定的向量向量的矢量产品。
2021-10-23 cs.LG cs.MS cs.NA
QuIP: 2-Bit Quantization of Large Language Models With Guarantees
Cornell University(康奈尔大学)
QuIP通过非相干预处理和自适应舍入,首次实现大语言模型每个权重仅2比特的有效量化,并提供理论保证,同时改进了OPTQ等现有方法。
2024-01-15 cs.CL cs.LG
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University(哥伦比亚大学)
我们考虑了实际随机拟牛顿的发展,特别是Kronecker因子块对角BFGS和L-BFGS方法,用于训练深度神经网络(DNN)。在DNN训练中,梯度$n$的变量和分量的数量通常是数千万的量级,并且Hessian具有$n^2$元素。因此,计算和存储完整的$n \times n$ BFGS近似或存储适度数量的(步长、梯度变化)向量对以用于L-BFGS实现是不可能的。在我们提出的方法中,我们通过块对角矩阵来近似Hessian,并使用梯度和Hessian的结构来进一步近似这些块,每个块对应于一个层,作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法,该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性,我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中,我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML