Explaining Near-Zero Hessian Eigenvalues Through Approximate Symmetries in Neural Networks
Institut für Theoretische Physik, Universität Leipzig(理论物理研究所,莱比锡大学);ScaDS.AI Dresden/Leipzig, Universität Leipzig(ScaDS.AI 德累斯顿/莱比锡,莱比锡大学)
研究神经网络海森矩阵接近零的特征值的起源,通过分析网络参数化连续对称性的弱提升赝戈德斯通模式,结合ReLU微扰及特征向量频谱解析,在多种模型中展示机制,将海森矩阵主体与弱破缺对称性相联系并阐明接近零模式起源。
2026-07-10 cond-mat.dis-nn cs.LG
Series of Hessian-Vector Products for Tractable Saddle-Free Newton Optimisation of Neural Networks
University of Cambridge(剑桥大学)
本文提出一种基于海森-向量积级数截断的优化算法,无需显式计算海森矩阵即可渐近使用具有绝对值特征值的精确逆海森矩阵,在可扩展性和性能上媲美一阶与二阶方法。
2024-02-27 cs.LG stat.ML
Depth, Not Data: An Analysis of Hessian Spectral Bifurcation
Department of Computer Science(计算机科学系);Dartmouth College(达特茅斯学院);University of Birmingham(伯明翰大学)
本文通过分析深度线性网络,证明Hessian矩阵的谱分叉结构(主导特征值与主体特征值分离)可仅由网络深度引起,与数据协方差平衡无关,且主导与主体特征值之比与深度线性相关。
2026-05-24 cs.LG
Zeroth-Order Optimization at the Edge of Stability
ETHZ(苏黎世联邦理工学院);MPI(智能系统马克斯·普朗克研究所)
研究零阶优化方法在深度学习中的稳定性,揭示其与一阶方法在Hessian谱依赖上的差异,并提出可计算的稳定性界限。
2026-07-02 cs.LG math.DS math.OC
Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
本文研究了Hessian近似质量对影响函数归因的影响,发现更精确的Hessian近似能提升归因性能,且K-FAC与GGN的特征值不匹配是主要误差来源。
2026-02-15 cs.LG stat.ML
Helen: Optimizing CTR Prediction Models with Frequency-wise Hessian Eigenvalue Regularization
National University of Singapore(新加坡国立大学)
该研究从优化视角分析 CTR 预测,发现高频特征对应较大 Hessian 特征值并导致尖锐极小值,进而提出 Helen 优化器,通过基于归一化特征频率的自适应扰动进行正则化,在 BARS 多模型多数据集实验中取得更优效果。
2024-02-23 cs.IR cs.LG
Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices
Universität Leipzig(莱比锡大学);Fakultät für Physik und Geowissenschaften(物理与地球科学学院);Institut für Theoretische Physik(理论物理研究所)
本文通过Hessian特征向量与权重的关系、奇异值分解和主成分分析揭示训练深度网络的关键参数方向,并据此提出缓解灾难性遗忘的策略。
2023-11-01 cs.LG
The Landscape of Matrix Factorization Revisited
Princeton University(普林斯顿大学)
我们重新审视简单矩阵分解问题的前景。对于低秩矩阵分解,先前的工作表明存在无穷多个临界点,所有这些点要么是全局极小点,要么是严格鞍点。在一个严格的鞍点,Hessian的最小特征值是负的。有趣的是,这个最小特征值是否在所有严格鞍点上一致有界于零以下。为了回答这个问题,我们考虑一般线性群下的临界点轨道。对于每个轨道,我们确定一个代表点,称为典范点。如果一个标准点是严格鞍,那么它的轨道上的每个点也是严格鞍。我们推导出一个表达式的最小特征值的Hessian在每个典型的严格鞍和使用这表明,最小特征值的Hessian在一组严格的鞍不一致有界低于零。我们还表明,一个已知的梯度流的不变性,确保梯度流的解决方案只遇到临界点的不变流形$\mathcal{M}_C$确定的初始条件。我们表明,在一般情况下,严格的鞍$\mathcal{M}_{0}$的最小特征值一致有界低于零。我们得到一个表达式,这个界的奇异值的矩阵被因式分解。该界限取决于非零奇异值的大小和矩阵的不同非零奇异值之间的分离。
2020-05-30 cs.LG cs.NE math.OC
Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks
Nihon University(日本国立东京大学);National Institute of Technology, Nagaoka College(日本技术研究所 Nagao 学校);Tokyo City University(东京市立大学)
本文推导了交叉熵损失Hessian最大特征值Wolkowicz-Styan上界的梯度,提出Hessian谱范围正则化,沿闭式最速下降方向更新参数,促进收敛到平坦极小值。
2026-06-27 cs.AI cs.LG cs.NE
On the Maximum Hessian Eigenvalue and Generalization
Carnegie Mellon University(卡内基梅隆大学)
本文质疑 Hessian 最大特征值 $λ_{max}$ 对神经网络泛化的解释力,通过多种训练干预实验发现泛化收益与 $λ_{max}$ 减小并非始终一致。
2023-05-23 cs.LG stat.ML
On the Power-Law Hessian Spectrums in Deep Learning
Baidu Research(百度研究院);RIKEN Center for Brain Science(理化学研究所脑科学中心)
众所周知,深度损失景观的Hessian关系到深度学习的优化、泛化甚至鲁棒性。最近的工作经验性地发现,深度学习中的Hessian谱具有由少量大特征值和大量近零特征值组成的双分量结构。然而,Hessian谱背后的理论机制或数学仍然在很大程度上未被探索。据我们所知,我们是第一个证明训练有素的深度神经网络的Hessian谱表现出简单的幂律结构的人。受统计物理理论和天然蛋白质光谱分析的启发,我们提供了一个最大熵理论解释为什么幂律结构存在,并提出了蛋白质进化和深层神经网络训练之间的光谱平行。通过进行广泛的实验,我们进一步使用幂律谱框架作为一个有用的工具来探索深度学习的多种新行为。
2022-08-01 cs.LG physics.bio-ph q-bio.BM
Hessian Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation
CentraleSupélec – Université Paris-Saclay(中央理工巴黎高等学院 – 巴黎萨克莱大学);ESILV – Léonard de Vinci(ESILV – 莱昂纳德·德·文奇)
本文提出Hessian Surgery方法,通过扰动模型权重沿尖峰特征向量来重平衡各类准确率,无需重新训练,提升了CIFAR-10和ISIC-2019数据集的平衡准确率和标准差。
2026-05-17 cs.CV cs.LG
PyHessian: Neural Networks Through the Lens of the Hessian
University of California, Berkeley(加州大学伯克利分校)
我们提出了PYHESSIAN,一个新的可扩展框架,可以快速计算Hessian(即,二阶导数)信息。PYHESSIAN可以快速计算Hessian特征值、Hessian迹和完整的Hessian特征值/谱密度,它支持在云/超级计算机系统上的分布式内存执行,并作为开源提供。该通用框架可用于分析神经网络模型,包括损失景观的拓扑(即,曲率信息)以深入了解不同模型/优化器的行为。为了说明这一点,我们分析了剩余连接和批量归一化层对神经网络可训练性的影响。最近的一个基于更简单的一阶分析的主张是,剩余连接和批量归一化使损失景观更平滑,从而使随机梯度下降更容易收敛到一个好的解决方案。我们的广泛分析显示了新的更精细的见解,表明虽然传统智慧有时是有效的,但在其他情况下,它根本是不正确的。特别是,我们发现,批量归一化不一定使损失景观更平滑,特别是对于较浅的网络。
2020-03-05 cs.LG cs.NA math.NA
Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization
Financial Computing and Analytics Group, University College London(金融计算与分析组,伦敦大学学院);Robot Perception and Learning Lab, University College London(机器人感知与学习实验室,伦敦大学学院)
研究多层感知机训练中Hessian主导特征向量的演化,通过位移和局域化统计量揭示SGD与Adam优化器在曲率方向稳定性上的显著差异。
2026-06-29 cs.LG
WinQ: Accelerating Quantization-Aware Training of Language Models Around Saddle Points
Northeastern University, MA(东北大学);Meta AI, CA(Meta AI)
本文研究了量化感知训练(QAT)在低比特宽度下的收敛问题,提出WinQ算法通过重置权重和噪声注入梯度来加速训练并提升性能。
2026-05-17 cs.LG cs.NA math.NA
Deep learning, stochastic gradient descent and diffusion maps
Uppsala University(乌普萨拉大学)
随机梯度下降(SGD)由于其计算效率而广泛用于深度学习,但完全理解SGD为何表现如此出色仍然是一个重大挑战。经验上已经观察到,过度参数化的深度神经网络的损失景观上的损失函数的Hessian的大多数特征值接近于零,而只有少数特征值较大。零特征值表示沿相应方向的零扩散。这表明,极小值的选择过程主要发生在相对低维的子空间对应的顶部特征值的Hessian。虽然参数空间是非常高维的,这些发现似乎表明,SGD动力学可能主要生活在一个低维流形。在本文中,我们追求一个真正的数据驱动的方法,以获得一个潜在的更深入的理解的高维参数表面的问题,特别是,通过分析SGD生成的数据,由SGD跟踪出的景观,或任何其他优化器,为了可能发现(本地)低维表示的优化景观。作为我们探索的工具,我们使用R. Coifman和合著者。
2022-06-17 cs.LG stat.ML
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University(理海大学);Intel Labs(英特尔实验室)
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降(SGD)算法及其变体是当前最先进的解决方案。然而,由于问题的非凸性性质,观察到SGD在鞍点附近减慢。最近的实证研究表明,通过有效地检测和逃逸鞍点,更有可能提高训练性能。为此,我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体,并展示了SGD的卓越扩展潜力,它允许更有效地利用更大的计算资源,从而实现大型模型和更快的时间来获得所需的解决方案。此外,不同于截断牛顿法(Marten的HF),忽略负曲率信息,通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向,通过稳定的双共轭方法解决的子问题,涉及可能的不确定的随机海森信息。我们表明,这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程,表现出强大的性能,批量大小高达一个数量级。对于一个简单的4层网络,最多可在16个CPU节点上实现接近线性的加速,说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Does the Data Induce Capacity Control in Deep Learning?
University of Pennsylvania(宾夕法尼亚大学)
我们发现,典型的分类数据集的输入相关矩阵具有一个特征谱,在急剧的初始下降后,大量的小特征值均匀分布在一个指数大的范围内。这种结构反映在基于这些数据训练的网络中:我们证明了Hessian和Fisher信息矩阵(Hessian Information Matrix)的特征值在指数大范围内均匀分布。我们称这样的特征谱为“草率”,因为对应于小特征值的权重集可以被大幅度改变而不影响损失。在具有非草率输入的非典型数据集上训练的网络不具有这些特征,并且在此类数据集上训练的深度网络泛化能力较差。受此启发,我们研究了输入的草率有助于深度网络泛化的假设。我们表明,如果Hessian是草率的,我们可以计算非空的PAC-Bayes推广界分析。通过利用我们的经验观察,即训练主要发生在非草率的子空间中,我们开发了数据分布相关的PAC-Bayes先验,使用数值优化得到准确的泛化边界。
2022-06-22 cs.LG stat.ML
HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Science and Technology of China(中国科学技术大学);Zhejiang Lab(浙江实验室);Peng Cheng Laboratory(鹏城实验室)
针对后训练量化中“低误差、高损失”的矛盾,提出HeRo-Q算法,通过轻量可学习的旋转压缩矩阵重塑损失景观,降低最大Hessian特征值,增强对量化噪声的鲁棒性,在Llama和Qwen模型上优于现有方法。
2026-06-18 cs.AI cs.LG
A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
损失景观分析对于深入理解深度神经网络模型的泛化能力非常有用。在这项工作中,我们提出了一个分层的损失景观分析,在每一层的损失表面是独立的研究,也对如何每个相关的整体损失表面。我们通过研究每层Hessian的本征谱来研究分层损失景观。特别是,我们的研究结果表明,分层海森几何在很大程度上是类似于整个海森。我们还报告了一个有趣的现象,观察到的深神经网络的中间层的海森本征谱最相似的整体海森本征谱。我们还表明,最大特征值和跟踪的Hessian(全网络和逐层)减少的网络训练的进展。我们利用这些意见,提出了一个新的正则化的基础上逐层Hessian的痕迹。在每一层惩罚Hessian的迹间接迫使随机梯度下降收敛到平坦的最小值,这被证明具有更好的泛化性能。特别是,我们表明,这样的逐层正则化可以被利用来单独惩罚中间层,这会产生有希望的结果。我们对跨数据集的知名深度网络的实证研究支持了这项工作的主张
2020-12-08 cs.LG
Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization
Monash University(莫纳什大学);VinAI Research(VinAI研究院)
本文分析SAM训练动态,提出Eigen-SAM算法,通过显式对齐扰动向量与主导特征向量以正则化Hessian最大特征值,提升泛化性能。
2025-01-22 cs.CV cs.LG
Learning with Gradient Descent and Weakly Convex Losses
University of Oxford(牛津大学);Facebook AI Research(脸书人工智能研究院)
研究了当经验风险为弱凸时,即经验风险的Hessian矩阵的最小负特征值大小有界时梯度下降算法的学习性能。通过证明该特征值可以控制梯度下降的稳定性,证明了泛化误差界与以前的工作相比在更宽的步长范围内保持不变。然后通过将测试误差分解为泛化误差、优化误差和近似误差来实现样本外保证,其中每个误差都可以相对于算法参数、样本量和本征值的大小来界定和权衡。在两层神经网络的情况下,我们证明了经验风险可以满足局部弱凸性的概念,具体地说,Hessian的最小特征值可以通过层的归一化来控制,即,网络扩展这使得当群体风险最小化满足复杂性假设时,可以实现测试误差保证。通过权衡网络的复杂性和可伸缩性,深入了解神经网络伸缩性的隐式偏差,这是进一步支持的实验结果。
2021-06-01 cs.LG math.ST stat.ML
Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form
NVIDIA(英伟达)
本文研究了前馈和循环神经网络的线性代数理论,推导了Hessian的精确表达式,并展示了权重梯度和Hessian的矩阵形式。
2017-09-16 cs.AI cs.LG cs.NA
Local properties of neural networks through the lens of layer-wise Hessians
ITMO University(ITMO大学)
本文提出利用逐层 Hessian 矩阵分析神经网络参数空间局部几何,通过 37 个数据集上的 111 个实验揭示其谱性质与过拟合、表达能力及泛化性能的关联,为网络诊断与设计提供新工具。
2025-11-07 cs.LG
How the Hessian-Spectrum of Neural Networks Depends on Data
研究神经网络海森谱与数据的关系,推导线性网络海森矩阵特征值,发现分类任务中解的锐度与样本类别比例有关,经实验验证预测并分析相关影响,结论适用于更实际学习设置。
2026-07-16 cs.LG
Revisiting inverse Hessian vector products for calculating influence functions
ByteDance Research(字节跳动研究院);UC Santa Cruz(加州大学圣克鲁兹分校)
本文重新审视了计算影响函数的逆Hessian向量积,提出基于Hessian谱性质选择LiSSA算法的三个超参数,发现其收敛对批次大小要求温和,并通过与PBRF对比实证验证了方法有效性。
2024-09-25 cs.LG