Loss Landscape Features That Make Adam Stall: Definitions, Estimators, and the Preconditioned Hessian View
Texas State University(德克萨斯州立大学)
本研究定义了判断Adam停滞的损失景观相关指标,通过$2\times2$示例和FINER图像拟合案例说明Adam的对角预条件无法消除交叉耦合病态性,为分析Adam的收敛特性提供了基于预条件海森的视角。
2026-08-25 cs.LG cs.NA math.NA
Visualizing high-dimensional loss landscapes with Hessian directions
Frankfurt School of Finance and Management(法兰克福金融管理学院);University of Florida(佛罗里达大学)
本文通过结合高维概率与微分几何,分析低维损失表示与原始损失空间曲率的关系,指出随机投影难以正确识别鞍点,并提出沿主导 Hessian 方向投影的方法,以更准确地可视化和理解高维损失景观的几何结构及其与泛化能力的关系。
2023-12-01 cs.CV cs.LG stat.CO
The instabilities of large learning rate training: a loss landscape view
University of Oxford(牛津大学)
该研究从损失景观视角出发,以大学习率训练下的海森矩阵为切入点,刻画梯度下降的不稳定性,发现与训练不稳定紧密相关的景观平坦化、偏移现象。
2023-07-22 cs.LG
On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature
School of Physics, Peking University(北京大学物理系);Peking University Chengdu Academy for Advanced Interdisciplinary Biotechnologies(北京大学成都先进交叉生物技术研究院);Flatiron Institute(Flatiron研究所)
本文发现SGD噪声协方差与Hessian矩阵之间存在超线性关系,而非简单的正比关系,并通过实验验证了层间幂律标度。
2026-06-06 cs.LG
The effects of Hessian eigenvalue spectral density type on the applicability of Hessian analysis to generalization capability assessment of neural networks
Joint Stock “Research and production company “Kryptonite”(“Kryptonite”股份公司“科研生产公司”)
本文研究Hessian特征值谱密度类型对神经网络泛化能力评估的影响,提出统一分析方法,并揭示准奇异谱密度的出现及其对传统假设的挑战。
2025-04-24 cs.CV cs.LG
Empirical Analysis of the Hessian of Over-Parametrized Neural Networks
NYU(纽约大学);Facebook(脸书);Facebook AI Research(脸书人工智能研究院);Institut de Physique Théorique(理论物理研究所);Université Paris Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会)
通过Hessian矩阵研究了常见损失曲面的性质。特别是,在深度学习的背景下,我们根据经验表明,Hessian的频谱由两部分组成:(1)以零为中心的块,(2)远离块的离群值。我们为Sagun et al.(2016)提出的以下假设提供了数值证据和数学证明:固定数据,增加参数的数量只是扩展了频谱的大部分;固定维度和改变数据(例如添加更多的聚类或使数据更难分离)只影响离群值。我们相信,我们的观察有显着的影响,在高维非凸优化。首先,这种景观的平坦性(可以用黑森的奇点来衡量)意味着吸引盆地的经典概念可能是相当误导的。宽/窄流域的讨论可能需要一个新的视角,围绕过度参数化和冗余,能够在景观的底部创建大型连接组件。其次,少数大特征值对数据分布的依赖性可以与模型输出梯度的协方差矩阵的谱相关联。考虑到这一点,我们可以重新评估模型的数据架构算法框架内的连接,希望它能在现代应用中揭示高维和非凸空间的几何。特别是,我们提出了一种情况下,连接两个观察:小批量和大批量的梯度下降似乎收敛到不同的盆地的吸引力,但我们表明,他们实际上是通过其平坦的区域连接,因此属于同一个盆地。
2018-05-07 cs.LG
Negative eigenvalues of the Hessian in deep neural networks
Mila, University of Montreal(米拉-蒙特利尔大学);Google Brain(谷歌大脑)
深度网络的损失函数已知是非凸的,但这种非凸性的确切性质仍然是一个活跃的研究领域。在这项工作中,我们通过Hessian矩阵的特征分解来研究深度网络的损失景观。特别是,我们研究了负特征值的重要性,以及在适当处理它们时可以观察到的好处。
2019-02-06 cs.LG math.OC stat.ML
How the Hessian-Spectrum of Neural Networks Depends on Data
研究神经网络海森谱与数据的关系,推导线性网络海森矩阵特征值,发现分类任务中解的锐度与样本类别比例有关,经实验验证预测并分析相关影响,结论适用于更实际学习设置。
2026-07-16 cs.LG
Curvature-Aligned Probing for Local Loss-Landscape Stabilization
Department of Intelligent Systems(智能系统系);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出曲率对齐准则,通过分析经验Hessian的主特征空间,改进局部损失景观稳定化方法,提升计算效率。
2026-04-16 cs.LG
The effect of the number of parameters and the number of local feature patches on loss landscapes in distributed quantum neural networks
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
研究探讨参数和局部特征块数量如何影响分布式量子神经网络的损失景观几何,通过理论和实证分析证明增加参数使损失景观更深更陡,而增加块数可降低Hessian特征值,提升优化稳定性。
2026-04-22 cs.LG quant-ph
How noise affects the Hessian spectrum in overparameterized neural networks
Northwestern University(西北大学);Facebook AI Research(Facebook人工智能研究院)
随机梯度下降(SGD)是深度神经网络的核心优化方法。虽然已经取得了一些理论上的进展,但仍然不清楚为什么SGD会将过参数化网络中的学习动力学引导到具有良好泛化能力的解决方案。在这里,我们表明,对于在其损失景观退化谷的过参数化网络,平均SGD减少了损失的Hessian的踪迹。我们还将这一结果推广到其他噪声结构,并表明各向同性噪声的非退化子空间的海森降低其行列式。除了解释SGD在塑造Hessian谱中的作用外,这为新的优化方法打开了大门,这些方法可能会带来更好的泛化性能。我们用玩具模型和深度神经网络的实验来测试我们的结果。
2019-10-29 cs.LG stat.ML
The Role of the Time-Dependent Hessian in High-Dimensional Optimization
1 Laboratoire de Physique de l'Ecole Normale Sup\'erieure, ENS, Universit\'e PSL, CNRS, Sorbonne Universit\'e, Universit\'e Paris Cit\'e, F-75005 Paris, France.
本文以相位恢复为例分析梯度下降中 Hessian 谱的有限时间 BBP 转变,揭示早期负曲率窗口如何帮助有限维系统在更低 SNR 下恢复信号。
2025-07-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Variational Quantum Classifiers Through the Lens of the Hessian
National Institute of Technology, Agartala(阿加尔塔拉国家理工学院);Chitkara University Institute of Engineering & Technology, Chitkara University(奇特卡拉大学工程与技术学院);Mansoura University(曼苏拉大学)
在量子计算中,变分量子算法(VQA)非常适合在从化学到金融的特定应用中寻找事物的最佳组合。用梯度下降优化算法训练的VQA具有良好的收敛性。在早期阶段,变分量子线路在有噪声的中间尺度量子(NISQ)器件上的模拟遭受噪声输出。就像经典的深度学习一样,它也会遇到梯度消失问题。研究损失景观的拓扑结构,可视化这些回路在消失梯度存在下的曲率信息和可训练性是一个现实的目标。在本文中,我们计算的海森和可视化的损失景观变分量子分类器在参数空间中的不同点。解释了变分量子分类器(VQC)的曲率信息,并证明了损失函数的收敛性。它有助于我们更好地理解变分量子线路的行为,以有效地解决优化问题。我们在量子计算机上通过Hessian研究了变分量子分类器,从一个简单的4位奇偶校验问题开始,深入了解Hessian的实际行为,然后深入分析了Hessian特征值在训练糖尿病数据集的变分量子分类器时的行为。最后,我们展示了自适应Hessian学习率如何在训练变分电路时影响收敛。
2021-12-25 cs.LG math.QA quant-ph
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
Meta Superintelligence Labs(Meta超智能实验室);University of Maryland, College Park(马里兰大学哥伦比亚分校)
本文提出了一种可扩展的损失景观曲率度量,用于分析大语言模型的训练动态,展示了大规模下的尖锐度现象,并指导数据混合策略。
2026-02-02 cond-mat.dis-nn cs.AI cs.LG
Depth, Not Data: An Analysis of Hessian Spectral Bifurcation
Department of Computer Science(计算机科学系);Dartmouth College(达特茅斯学院);University of Birmingham(伯明翰大学)
本文通过分析深度线性网络,证明Hessian矩阵的谱分叉结构(主导特征值与主体特征值分离)可仅由网络深度引起,与数据协方差平衡无关,且主导与主体特征值之比与深度线性相关。
2026-05-24 cs.LG
Nonlinear discretizations and Newton's method: characterizing stationary points of regression objectives
Smead Aerospace Engineering Sciences University of Colorado(斯梅德航空航天工程科学大学)
本文研究神经网络训练中二阶方法的失效现象,发现使用精确Hessian会导致训练失败,并借此揭示非线性离散化几何与损失景观驻点分布,质疑局部极小值普遍存在的传统观点。
2025-10-13 cs.LG
HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Science and Technology of China(中国科学技术大学);Zhejiang Lab(浙江实验室);Peng Cheng Laboratory(鹏城实验室)
针对后训练量化中“低误差、高损失”的矛盾,提出HeRo-Q算法,通过轻量可学习的旋转压缩矩阵重塑损失景观,降低最大Hessian特征值,增强对量化噪声的鲁棒性,在Llama和Qwen模型上优于现有方法。
2026-06-18 cs.AI cs.LG
Super Consistency of Neural Network Landscapes and Learning Rate Transfer
ETH Zürich(苏黎世联邦理工学院);ELLIS Tübingen(图宾根欧洲学习与智能系统实验室);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);Harvard University(哈佛大学)
通过损失Hessian谱分析,揭示了μP缩放下神经网络景观锐度不随规模改变的“超一致性”是学习率迁移的原因,而NTK缩放因缺乏特征学习导致锐度动态不同。
2024-11-13 cs.LG
Dissecting Hessian: Understanding Common Structure of Hessian in Neural Networks
Princeton University(普林斯顿大学);Duke University(杜克大学)
Hessian捕捉了深度神经网络损失景观的重要属性。以前的工作已经观察到低秩结构的神经网络的海森。在本文中,我们提出了一个解耦猜想,分解的两个较小的矩阵的克罗内克积的网络的逐层海森。我们可以分析这些小矩阵的性质,并证明顶部特征空间随机2层网络的结构。解耦猜想还有其他几个有趣的含义-不同模型的顶部特征空间具有惊人的高重叠,并且顶部特征向量形成低秩矩阵时,它们被重塑为与相应的权重矩阵相同的形状。所有这些都可以在更深层次的网络中得到经验验证。最后,我们利用逐层Hessian的结构得到了神经网络更好的显式泛化界。
2022-10-21 cs.LG cs.NE stat.ML
Dropout in Training Neural Networks: Flatness of Solution and Noise Structure
Shanghai Jiao Tong University(上海交通大学)
重要的是要理解流行的正则化方法dropout如何帮助神经网络训练找到一个好的泛化解决方案。在这项工作中,我们表明,与标准的梯度下降训练相比,dropout训练可以找到具有更平坦的最小值的神经网络。我们进一步发现,通过在各种数据集上的实验,由丢弃引起的噪声的方差在损失景观的尖锐方向上更大,并且在所发现的最小值处损失景观的Hessian与噪声协方差矩阵对齐,即,MNIST、CIFAR-10、CIFAR-100和Multi 30 k,以及各种结构,即,全连接网络、大残差卷积网络和Transformer。对于具有分段线性激活函数的网络,并且dropout仅在最后一个隐藏层,然后从理论上推导出Hessian和dropout随机性的协方差,其中这两个量非常相似。这种相似性可能是解释辍学的好处的一个关键原因。
2022-05-21 cs.LG
Learning to Optimize Quasi-Newton Methods
MIT(麻省理工学院);University of Oxford(牛津大学)
本文提出新型优化器LODO,结合L2O技术与拟牛顿方法,通过神经网络在线元学习预条件矩阵,无需元训练即可在测试任务上即时适应,理论证明其能近似Hessian逆矩阵,并在噪声环境中高效优化95k参数的神经网络。
2023-09-11 cs.LG
Emergent properties of the local geometry of neural loss landscapes
Stanford University(斯坦福大学)
高维神经网络损失景观的局部几何结构既可以挑战我们珍视的理论直觉,也可以极大地影响神经网络训练的实际成功。事实上,最近的工作已经观察到分类任务中神经损失景观的4个惊人的局部性质:(1)景观恰好表现出高正曲率的$C$方向,其中$C$是类的数量;(2)梯度方向主要限于正Hessian曲率的极低维子空间,留下权重空间中的绝大多数方向未被探索;(3)梯度下降在最终找到更平坦的最小值之前暂时探索更高正曲率的中间区域;(4)即使当局限于低维{ \it random}仿射超平面时,只要这些超平面与高于平均曲率的Goldilocks区域相交,训练也可以成功。我们开发了一个简单的理论模型的梯度和海森,证明了在实践中使用的架构和数据集的数值实验,{ \it同时}占所有$4$这些令人惊讶的和看似无关的属性。我们的统一模型提供了概念上的见解,这些属性的出现,并与神经网络,随机矩阵理论和自旋玻璃,包括神经切线核,BBP相变和德里达的随机能量模型的不同主题的连接。
2019-10-14 cs.LG cs.NE stat.ML
The Landscape of Matrix Factorization Revisited
Princeton University(普林斯顿大学)
我们重新审视简单矩阵分解问题的前景。对于低秩矩阵分解,先前的工作表明存在无穷多个临界点,所有这些点要么是全局极小点,要么是严格鞍点。在一个严格的鞍点,Hessian的最小特征值是负的。有趣的是,这个最小特征值是否在所有严格鞍点上一致有界于零以下。为了回答这个问题,我们考虑一般线性群下的临界点轨道。对于每个轨道,我们确定一个代表点,称为典范点。如果一个标准点是严格鞍,那么它的轨道上的每个点也是严格鞍。我们推导出一个表达式的最小特征值的Hessian在每个典型的严格鞍和使用这表明,最小特征值的Hessian在一组严格的鞍不一致有界低于零。我们还表明,一个已知的梯度流的不变性,确保梯度流的解决方案只遇到临界点的不变流形$\mathcal{M}_C$确定的初始条件。我们表明,在一般情况下,严格的鞍$\mathcal{M}_{0}$的最小特征值一致有界低于零。我们得到一个表达式,这个界的奇异值的矩阵被因式分解。该界限取决于非零奇异值的大小和矩阵的不同非零奇异值之间的分离。
2020-05-30 cs.LG cs.NE math.OC
Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent
D Labs(9D实验室)
本文通过谱对齐分解证明曲率指数α=2+dlogΦ_k/dlogσ_k,揭示了不同层类型曲率指数变化的几何原因,并推导出谱传递恒等式s=αγ,在无自由参数下以约2%中位误差预测Hessian衰减指数。
2026-05-22 cs.LG
On the Loss Landscape Geometry of Regularized Deep Matrix Factorization: Uniqueness and Sharpness
UC San Diego(加州大学圣地亚哥分校)
本文研究正则化深度矩阵分解的损失景观几何,证明在特定条件下存在唯一极小值点,并揭示Hessian谱的恒定性及正则化参数的临界阈值。
2026-03-28 cs.LG stat.ML
Tilting the playing field: Dynamical loss functions for machine learning
University of Pennsylvania(宾夕法尼亚大学);Universidad Politécnica de Madrid(马德里理工大学);Google Inc.(谷歌公司)
我们表明,学习可以通过使用损失函数,在训练过程中循环演变,强调一个类的时间。在欠参数化网络中,这种动态损失函数可以导致未能找到标准交叉熵损失的深度最小值的网络的成功训练。在过参数化网络中,动态损失函数可以导致更好的泛化。改进产生于不断变化的损失景观与系统动态的相互作用,因为它的演变,以尽量减少损失。特别是,作为损失函数振荡,不稳定性的发展形式的分叉级联,我们研究使用海森和神经切线核。在一个循环中,随着损失景观的变化,景观中的山谷变宽变深,然后变窄变高。随着景观变窄,学习率变大,网络变得不稳定,在山谷周围反弹。这一过程最终将系统推向更深更广的损失区域,其特征在于海森特征值的下降。这导致更好的正则化模型,具有更好的泛化性能。
2021-06-23 cond-mat.soft cs.LG stat.ML
Quantifying constraint hierarchies in Bayesian PINNs via per-constraint Hessian decomposition
School of Mathematical Sciences(数学科学学院);STAG Research Centre, University of Southampton(STAG研究中心,南安普顿大学)
为阐明单个物理约束对贝叶斯物理信息神经网络的塑造作用,提出一种可扩展无矩阵拉普拉斯框架,通过逐约束Hessian分解量化各约束相对影响,在Van der Pol方程上验证了其可追踪约束对网络几何的塑造及权重调整的曲率重分布效应。
2025-09-28 cs.AI cs.LG
Model Merging on Loss Landscape: A Geometry Perspective
Purdue University(普渡大学);Waymo LLC(Waymo公司)
提出EpiMer框架,将模型合并视为黎曼流形上的Fréchet均值,利用任务向量张成的低秩子空间和期望Hessian度量,理论证明曲率感知合并优于平坦几何方法,并在八个图像分类任务上验证了性能提升。
2026-05-26 cs.AI cs.LG stat.ML
Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
Arizona State University(亚利桑那州立大学);University of California Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(伯克利国家实验室);Dartmouth College(达特茅斯学院);International Computer Science Institute(国际计算机科学研究所)
Landscaper通过多维拓扑分析揭示损失景观的几何结构,利用SMAD度量景观平滑度,提升模型诊断与架构设计能力。
2026-02-21 cs.AI cs.LG
Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks
Nihon University(日本国立.nihon大学);National Institute of Technology, Nagaoka College(日本国立技术研究所, Nagoka学院);Tokyo City University(东京城大学)
本文基于Wolkowicz-Styan界,推导出非线性光滑神经网络交叉熵损失Hessian最大特征值的闭式上界,为分析损失锐度提供了理论工具。
2026-04-14 cs.AI cs.LG cs.NE
Connecting Parameter Magnitudes and Hessian Eigenspaces at Scale using Sketched Methods
Tübingen AI Center University of Tübingen(图宾根人工智能中心大学)
本研究联合分析深度网络训练中Hessian顶部特征空间与幅度剪枝掩码的稳定性,提出基于草图SVD的无矩阵算法,证明两者存在高于随机水平的重叠,且随网络规模增大而增强。
2025-04-20 cs.LG stat.ML
Hessian-based Analysis of Large Batch Training and Robustness to Adversaries
University of California at Berkeley(加州大学伯克利分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经网络的大批量训练已被证明在使用当前方法训练时会导致准确性损失。其确切的根本原因仍然没有完全弄清楚。在这里,我们通过Hessian算子和鲁棒优化来研究大批量训练。特别是,我们进行了一个基于Hessian的研究,以准确地分析在大批量训练时损失函数的景观如何变化。我们计算真正的海森谱,没有近似,通过反向传播的二阶导数。在多个网络上进行的大量实验表明,鞍点不是大批量训练泛化间隙的原因,并且结果一致表明,大批量收敛到具有明显更高Hessian谱的点。此外,我们表明,鲁棒训练允许人们喜欢平坦的区域,因为具有大Hessian谱的点对对抗性扰动的鲁棒性较差。我们进一步研究了这种关系,并提供了经验和理论证明,鲁棒训练的内环是一个无鞍优化问题\textit{almost everywhere}。我们提出了详细的实验与五种不同的网络架构,包括残余网络,测试MNIST,CIFAR-10和CIFAR-100数据集。我们已经开源了我们的方法,可以在[1]访问。
2018-12-02 cs.CV cs.LG stat.ML
Curvature in the Looking-Glass: Optimal Methods to Exploit Curvature of Expectation in the Loss Landscape
Sandia National Laboratories(桑迪亚国家实验室)
针对深度学习中Hessian矩阵在梯度不连续点附近难以准确近似损失曲率的问题,提出新框架理解ReLU架构中损失期望变化曲率的产生机制,推导最优近似方法并设计Alice算法,为优化任务提供理论与实验基础。
2024-11-25 cs.LG stat.ML
Explaining Near-Zero Hessian Eigenvalues Through Approximate Symmetries in Neural Networks
Institut für Theoretische Physik, Universität Leipzig(理论物理研究所,莱比锡大学);ScaDS.AI Dresden/Leipzig, Universität Leipzig(ScaDS.AI 德累斯顿/莱比锡,莱比锡大学)
研究神经网络海森矩阵接近零的特征值的起源,通过分析网络参数化连续对称性的弱提升赝戈德斯通模式,结合ReLU微扰及特征向量频谱解析,在多种模型中展示机制,将海森矩阵主体与弱破缺对称性相联系并阐明接近零模式起源。
2026-07-10 cond-mat.dis-nn cs.LG
Essentially No Barriers in Neural Network Energy Landscape
Heidelberg Collaboratory for Image Processing (HCI), IWR, Heidelberg University(海德堡大学图像技术研究中心(HCI)、IWR);Institut für Theoretische Physik, Heidelberg University(海德堡大学理论物理研究所)
训练神经网络涉及寻找高维非凸损失函数的最小值。对这一能源格局的结构了解甚少。从线性插值放松,我们最近的神经网络架构CIFAR10和CIFAR100的最小值之间构建连续路径。令人惊讶的是,在训练和测试环境中,路径基本上是平坦的。这意味着神经网络有足够的能力进行结构变化,或者这些变化在最小值之间很小。此外,每个最小值至少有一个消失的海森本征值除了那些从平凡的不变性。
2019-02-22 cs.AI cs.LG stat.ML
Can Stability be Detrimental? Better Generalization through Gradient Descent Instabilities
University of Oxford(牛津大学)
本文发现大学习率引起的梯度下降不稳定性会使Hessian特征向量旋转,促使模型参数探索更平坦的损失景观区域,产生隐式正则化效应,从而在现代基准数据集上实现更优的泛化性能。
2024-12-23 cs.LG stat.ML
SANE: The phases of gradient descent through Sharpness Adjusted Number of Effective parameters
Oxford University(牛津大学)
本文提出基于局部曲率的有效维度度量 SANE,用于衡量解的质量并比较模型,证明其对大学习率具有鲁棒性,并通过 Hessian 近似在深层网络中验证其有效性。
2023-05-29 cs.LG
Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
Lamda.nju.edu.cn(南京大学)
本文研究 DNN 损失景观的局部几何,系统分类一维损失曲线并提出挖掘复杂扰动方向的算法,进而可视化鞍面等二维结构并用 Hessian 矩阵加以解释。
2025-06-06 cs.LG
There is a Singularity in the Loss Landscape
本文通过实验发现,随着数据集增大,损失景观中出现梯度无界的奇点,梯度下降使网络靠近该奇点,并解释了稳定性边缘训练等Hessian相关现象,且顶部子空间虽占梯度大部分但对学习贡献小。
2024-07-19 cs.AI cs.LG
Hessian-Informed Flow Matching
SciLifeLab(瑞典生命科学实验室);KTH(瑞典皇家理工学院)
提出HI-FM方法,将能量函数的Hessian矩阵集成到流匹配框架的条件流中,以捕获局部曲率和各向异性协方差结构,在MNIST和Lennard-Jones particles数据集上提高了测试样本的似然。
2026-11-13 cs.LG cs.SY eess.SY
Embedding Principle: a hierarchical structure of loss landscape of deep neural networks
Shanghai Jiao Tong University(上海交通大学)
我们证明了深度神经网络(NN)损失景观的一般嵌入原理,该原理揭示了NN损失景观的层次结构,即,NN的损失景观包含所有较窄NN的所有临界点。这一结果是通过构造一类临界嵌入得到的,该嵌入将较窄NN的任何临界点映射到具有相同输出函数的目标NN的临界点。通过发现一类广义相容临界嵌入,我们给出了从较窄NN的临界点嵌入的临界子流形的维数的粗略估计。我们进一步证明了任何临界嵌入的不可逆性,即临界点的Hessian矩阵的负/零/正特征值的数量可能会增加,但不会随着NN通过嵌入变得更宽而减少。利用一般相容临界嵌入的一种特殊实现,证明了一个严格的必要条件,证明了它是一个“真坏”临界点,且通过任何临界嵌入都不会成为严格鞍点.这一结果暗示了宽神经网络中严格鞍点的普遍性,这可能是宽神经网络在实践中广泛观察到的容易优化的重要原因。
2021-11-30 cs.AI cs.LG
CR-SAM: Curvature Regularized Sharpness-Aware Minimization
Missouri University of Science and Technology(密苏里科技大学)
本文提出CR-SAM,通过引入归一化Hessian迹作为正则化项,应对损失景观非线性,提升SAM泛化能力,并在CIFAR和ImageNet上验证了其对ResNet和ViT模型的分类性能提升。
2023-12-23 cs.CV cs.LG
Evaluating Loss Landscapes from a Topology Perspective
Arizona State University(亚利桑那州立大学);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室);Dartmouth College(达特茅斯学院);ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校)
本文利用拓扑数据分析(TDA)量化神经网络的损失景观拓扑,结合性能指标和基于Hessian的局部结构指标,为图像识别和科学机器学习模型的性能与学习动态提供了新见解。
2024-11-14 cs.AI cs.LG
Simplified Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
本文提出一种新的二次梯度方法,通过合成Hessian和梯度,改进了传统牛顿方法的收敛性,实验显示其在非凸优化中具有更好的性能。
2026-08-04 cs.LG math.OC
Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Center for Data Science, Peking University(北京大学数据科学中心);BICMR, Peking University(北京大学北京国际数学研究中心);Princeton University(普林斯顿大学)
人们广泛观察到,具有学习参数的深度学习模型泛化良好,即使模型参数比训练样本的数量多得多。我们系统地研究了深度神经网络通常泛化能力很好的根本原因,并揭示了泛化能力很好的最小值(具有相同的训练误差)与泛化能力不好的最小值之间的差异。我们表明,这是景观的特点,损失函数,解释了良好的泛化能力。对于深度网络的损失函数的景观,好的最小值的吸引盆的体积优于差的最小值的吸引盆的体积,这保证了随机初始化的优化方法收敛到好的最小值。通过对2层神经网络的分析,我们从理论上证明了我们的发现,并证明了低复杂度的解相对于模型参数具有较小的Hessian矩阵范数.对于更深层次的网络,大量的数字证据有助于支持我们的论点。
2017-11-28 cs.AI cs.LG stat.ML
Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks
Nihon University(日本国立东京大学);National Institute of Technology, Nagaoka College(日本技术研究所 Nagao 学校);Tokyo City University(东京市立大学)
本文推导了交叉熵损失Hessian最大特征值Wolkowicz-Styan上界的梯度,提出Hessian谱范围正则化,沿闭式最速下降方向更新参数,促进收敛到平坦极小值。
2026-06-27 cs.AI cs.LG cs.NE
Topological Exploration of High-Dimensional Empirical Risk Landscapes: general approach, and applications to phase retrieval
INRIA Paris & DI ENS, PSL University, Paris, France(INRIA巴黎及ENS迪马实验室,巴黎大学,法国);Université Paris-Saclay, CNRS, Institut d’Astrophysique Spatiale(巴黎-萨克雷大学,CNRS,空间天体物理研究所);Laboratoire de Physique de l’École normale supérieure, ENS, Université PSL, CNRS, Sorbonne Université, Université Paris Cité(高等师范学院物理实验室,ENS,巴黎综合理工学院,CNRS,索邦大学,巴黎城市大学)
本文研究了高维经验风险景观的拓扑特性,提出了一种通用方法用于分析损失景观,并应用于相位恢复问题,揭示了BBP型相变及梯度流动力学的预测。
2026-02-19 cond-mat.dis-nn cs.LG stat.ML
Training Instabilities Induce Flatness Bias in Gradient Descent
Department of Engineering, University of Oxford(牛津大学工程系)
针对现代深度网络在超出经典GD稳定性阈值时性能更佳的现象,提出RPE机制解释不稳定性通过特征向量旋转诱导平坦度偏置提升泛化,扩展至SGD且在Adam中验证有效性。
2025-11-16 cs.LG
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University(东北大学);IBM Research(IBM研究院)
模式连通性为分析损失景观提供了新的几何见解,并能够在训练有素的神经网络之间构建高精度路径。在这项工作中,我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性,并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时,我们的研究结果表明,使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响,同时保持干净数据的原始准确性。因此,模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明,在连接常规和对抗训练模型的路径上,对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性,并给出了理论证明。我们的研究结果表明,模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
SPRKD: Effective Knowledge Distillation for Deep Neural Networks via Saddle Region Approximation
研究针对深度神经网络参数多阻碍低计算环境部署及现有知识蒸馏方法不足的问题;提出SPRKD方法,利用鞍点近似,通过黑塞ESD识别鞍区域等技术;在多数据集上取得良好效果,收敛特性优,提升了知识蒸馏性能。
2026-07-28 cs.LG
Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training
AI Theory Lab(AI理论实验室);Huawei(华为);Machine Learning Research Group and Oxford-Man Institute for Quantitative Finance(机器学习研究组与牛津-曼量化金融研究所);University of Oxford(牛津大学)
我们使用尖峰,场依赖随机矩阵理论研究了mini-bandwidth对深度神经网络损失景观的影响。我们证明了批量海森函数的极值的大小大于经验海森函数的极值。我们也得到了类似的结果广义高斯-牛顿矩阵近似的海森。作为我们的定理的结果,我们推导出作为批量大小的函数的最大学习率的解析表达式,为随机梯度下降(线性缩放)和自适应算法(如Adam(平方根缩放))提供实用的训练方案,用于平滑的非凸深度神经网络。虽然随机梯度下降的线性缩放已经在更严格的条件下推导出来,我们概括了自适应优化器的平方根缩放规则,据我们所知,是完全新颖的。对于随机二阶方法和自适应方法,我们推导出最小阻尼系数与学习率与批量大小之比成正比。我们在CIFAR- $100$和ImageNet数据集上验证了我们对VGG/WideResNet架构的声明。基于我们对子采样Hessian的研究,我们开发了一种基于飞行学习率和动量学习器的随机Lanczos求积,这避免了对这些关键超参数进行昂贵的多次评估的需要,并在CIFAR- $100$的预残差架构上显示了良好的初步结果。
2021-11-05 cs.LG stat.ML
Stein Variational Newton Neural Network Ensembles
Helmholtz AI(亥姆霍兹人工智能研究所);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对现有深度神经网络集成方法未充分利用损失景观二阶信息的问题,提出融入Stein变分牛顿更新的近似贝叶斯推理方法,结合可扩展Hessian近似,在多任务上实现更优性能、更少训练轮数及更好的不确定性量化与抗过拟合性。
2024-11-04 cs.LG stat.ML
On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features
Microsoft Research(微软研究院);Google Research(谷歌研究院);University of Denver(丹佛大学);University of Michigan(密歇根大学)
当训练深度神经网络进行分类任务时,在最后一层分类器和特征中广泛观察到一个有趣的经验现象,其中(i)类均值和最后一层分类器都塌陷到单纯形等角紧框架(ETF)的顶点,直到缩放,以及(ii)最后一层激活的跨示例类内变异性塌陷到零。这种现象被称为神经崩溃(NC),它似乎发生的损失函数的选择无关。在这项工作中,我们证明NC下的均方误差(MSE)的损失,最近的经验证据表明,它的性能比事实上的交叉熵损失,甚至更好。在一个简化的无约束特征模型,我们提供了第一个全球景观分析香草非凸MSE损失,并表明(只有!)全局极小点是神经崩溃解,而所有其他临界点都是严格鞍点,其Hessian具有负曲率方向。此外,我们通过探测NC解决方案周围的优化景观来证明重新缩放MSE损失的使用,表明可以通过调整重新缩放超参数来改善景观。最后,我们的理论研究结果进行了实验验证,在实际的网络架构。
2022-03-12 cs.AI cs.IT cs.LG
Faster Optimization on Sparse Graphs via Neural Reparametrization
IBM Research(IBM研究院);Northeastern University(东北大学);UCSD(加州大学圣迭戈分校)
在数学优化中,二阶牛顿法通常比一阶牛顿法收敛得更快,但它们需要海森的逆,因此计算量很大。然而,我们发现在稀疏图上,图神经网络(GNN)可以实现一种有效的拟牛顿方法,可以将优化速度提高10- 100倍。我们的方法,神经重新参数化,修改优化参数作为GNN的输出,以重塑优化景观。使用预先计算的Hessian作为传播规则,GNN可以有效地利用二阶信息,达到与自适应梯度方法相似的效果。由于我们的方法通过架构设计来解决优化问题,因此可以与Adam和RMSProp等任何优化器结合使用。我们展示了我们的方法在科学相关问题上的应用,包括热扩散,同步和持久同源性。
2022-05-26 cs.LG math.OC physics.comp-ph