New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法,并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中,我们批判性地分析了这种方法及其性质,并显示它可以被视为一种类型的二阶优化方法,与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下,费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵,这两个近似的海森,但也有一定的属性,有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义,因为它激发了信赖域和Tikhonov正则化等技术的使用。此外,我们对自然梯度和二阶方法的理解做出了一系列贡献,包括:对随机自然梯度下降算法收敛速度的深入分析(和更一般的随机二阶方法)应用于凸二次,经常使用的“经验”近似的Fisher矩阵的批判性检查,和分析的(近似)参数化不变性性质所拥有的自然梯度方法(我们也持有某些其他曲率,但值得注意的是不是海森)。
2020-09-19 cs.LG stat.ML
Dissecting Deep Neural Networks
Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字);Oklahoma State University(俄克拉荷马州立大学)
为了换取大量的数据和处理能力,深度神经网络已经产生了在许多领域提供最先进的预测能力的模型。然而,由于缺乏对它们行为的有力保证,人们对它们在安全关键应用中的使用表示担忧。理解这些网络的第一步是开发替代表示,以便进一步分析。已经证明,具有分段仿射激活函数的神经网络本身也是分段仿射的,其域由大量线性区域组成。到目前为止,关于这个主题的研究主要集中在对线性区域的数量进行计数,而不是获得显式的分段仿射表示。本文提出了一种新的算法,可以计算任何具有整流线性单元激活的全连接神经网络的分段仿射形式。
2020-01-19 cs.LG cs.NE stat.ML
The critical locus of overparameterized neural networks
深度学习中损失函数的几何形状的许多方面仍然是神秘的。在本文中,我们努力更好地理解的几何损失函数$L$的过参数化前馈神经网络。在这种情况下,我们确定了几个组件的关键轨迹的$L$和研究他们的几何性质。对于深度为$\ell \geq 4$的网络,我们确定了一个关键点的轨迹,我们称之为星轨迹$S$。在$S$中,我们确定了一个正维子轨迹$C$,它具有以下性质:对于$p \in C$,$p$是一个退化的临界点,并且没有现有的理论结果保证梯度下降不会收敛到$p$。对于非常广泛的网络,我们建立在早期的工作,并表明,所有的临界点的$L$退化,并给出下界的Hessian在每个临界点的零特征值的数量。对于既深又宽的网络,我们比较了我们确定的所有不同临界点家族的Hessian零特征空间的增长率。本文中的结果提供了一个起点,以更定量地了解$L$的临界轨迹的各个组件的属性。
2020-05-18 cs.LG cs.NE math.OC
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
KAUST Center of Excellence for Generative AI(知识增强人工智能卓越中心);ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Georgia Institute of Technology(佐治亚理工学院)
本文首次研究重尾噪声下的二阶优化,建立样本复杂度紧下界,提出基于梯度和Hessian Clipping的算法,证明其高概率上界几乎匹配理论极限,为算法设计提供鲁棒策略。
2025-10-12 cs.LG math.OC
Dissecting the Effects of SGD Noise in Distinct Regimes of Deep Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文通过 (α,T) 相图研究 SGD 噪声在不同训练区域中对 MNIST 和 CIFAR10 分类性能的影响,发现噪声开始影响模型的特征温度 T_c 与训练集大小 P 呈幂律关系,并揭示 SGD 噪声通过迫使网络形成更强信号、延长训练时间而在训练后期发挥作用。
2023-05-30 cond-mat.dis-nn cs.LG
The Role of the Time-Dependent Hessian in High-Dimensional Optimization
1 Laboratoire de Physique de l'Ecole Normale Sup\'erieure, ENS, Universit\'e PSL, CNRS, Sorbonne Universit\'e, Universit\'e Paris Cit\'e, F-75005 Paris, France.
本文以相位恢复为例分析梯度下降中 Hessian 谱的有限时间 BBP 转变,揭示早期负曲率窗口如何帮助有限维系统在更低 SNR 下恢复信号。
2025-07-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
一次性神经结构搜索(NAS)在使NAS方法在实践中计算可行方面发挥了至关重要的作用。然而,由于控制过程动态的许多因素,仍然缺乏对这些权重分配算法如何确切工作的理解。为了让这些组件的科学研究,我们介绍了一个通用的框架,可以实例化到许多最近推出的变种,并介绍了一个通用的基准框架,借鉴了最近的大规模表格基准NAS-Bench-101便宜的任何时候评估的一次性NAS方法。为了展示框架,我们比较了几种最先进的一次性NAS方法,研究了它们对超参数的敏感程度以及如何通过调整超参数来改进它们,并将它们的性能与NAS-Bench-101的黑盒优化器进行了比较。
2020-04-12 cs.CV cs.LG cs.NE
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford(牛津大学);University of Tübingen(蒂宾根大学)
本文针对文本到音频检索中研究不足的声音时序理解问题,在AudioCaps和Clotho上剖析现有模型能力,并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
On the linearity of large non-linear models: when and why the tangent kernel is constant
Department of Computer Science, The Ohio State University(俄亥俄州立大学计算机科学系);Halicioğlu Data Science Institute, University of California, San Diego(加利福尼亚大学圣迭戈分校哈利西奥卢数据科学学院)
这项工作的目标是阐明的显着现象过渡到线性的某些神经网络,因为它们的宽度接近无穷大。我们表明,过渡到线性的模型,等价地,恒定的(神经)切线内核(NTK)的结果从网络的海森矩阵的范数作为网络宽度的函数的标度特性。我们提出了一个通用的框架,通过适用于标准类的神经网络的海森标度的切线核的恒定性。我们的分析提供了一个新的角度来看,常数正切核的现象,这是不同于广泛接受的“懒惰的训练”。此外,我们表明,过渡到线性不是一个广泛的神经网络的一般属性,并不持有时,网络的最后一层是非线性的。它也不是通过梯度下降成功优化所必需的。
2021-02-20 cs.LG stat.ML
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL(巴黎高等师范学院/巴黎文理研究大学);Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC(诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室);Heriot-Watt University(赫瑞-瓦特大学)
离散朗之万扩散是一种有效的蒙特卡罗方法,用于从对数Lipschitz光滑和(强)对数凹的高维目标密度采样。特别是,欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注,导致详细了解其非渐近收敛的性质和作用,平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决,该扩散具有捕获对数密度的局部几何的度量。然而,从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中,我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如,上界意味着迭代朝着目标密度周围的Wasserstein球收缩,该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果,可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
Understanding Hessian Alignment for Domain Generalization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文针对域泛化中Hessian与梯度对齐作用理解不足的问题,基于OOD可迁移性理论开展分析,解释了现有正则化方法的成功机制,提出两种无需直接计算Hessian的高效对齐方法,在多类OOD场景基准测试中取得了良好性能。
2023-08-22 cs.CV cs.LG stat.ML
Trajectory Alignment: Understanding the Edge of Stability Phenomenon via Bifurcation Theory
KAIST(韩国科学技术院)
本文通过实证与理论证明,揭示了梯度下降轨迹在稳定性边缘现象下会对齐到与初始化无关的分岔图,从而统一解释渐进锐化与EoS现象。
2023-10-26 cs.LG math.OC stat.ML
Dissecting Persona-Driven Reasoning in Language Models via Activation Patching
Independent(独立研究者)
本文利用激活修补方法研究人设如何影响LLM推理,发现早期MLP层处理人设语义、中间MHA层据此塑造输出,并定位了过度关注种族与肤色身份的注意力头。
2025-09-21 cs.AI cs.CL cs.LG
Implicit Rugosity Regularization via Data Augmentation
Rice University(莱斯大学)
深度(神经)网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同,深度网络通常在\emph{overparameterized}机制中运行,其中参数的数量大于训练数据点的数量。因此,理解这些网络的泛化性质和正则化(显式或隐式)的作用是非常重要的。在这项工作中,我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
The alignment property of SGD noise and how it helps select flat minima: A stability analysis
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学)
随机梯度下降(SGD)有利于平坦极小值的现象在理解SGD的隐式正则化中发挥了关键作用。在本文中,我们通过将SGD的特定噪声结构与其\emph{linear stability}相关联来解释这一惊人现象(Wu等人,2018年)。具体来说,我们考虑训练具有平方损失的过参数化模型。我们证明了如果一个全局最小值$θ^*$对于SGD是线性稳定的,那么它必须满足$\|H(θ^*)\|_F\leq O(\sqrt{B}/η)$,其中$\|H(θ^*)\|_F, B,η$表示Hessian在$θ^*$,批量大小和学习率上的Frobenius范数。否则,SGD将快速从最小值\emph{exponentially}逃逸。因此,对于SGD可达到的最小值,锐度(由Hessian的Frobenius范数测量)受模型大小和样本量的\emph{independently}限制。获得这些结果的关键是利用SGD噪声的特殊结构:噪声集中在局部景观的尖锐方向,并且大小与损失值成正比。SGD噪声的这种对齐特性可证明适用于线性网络和随机特征模型(RFM),并在非线性网络中得到经验验证。此外,我们的理论研究结果的有效性和实际意义也证明了广泛的实验CIFAR-10数据集。
2022-10-17 cs.LG stat.ML
Understanding the Subspace Stabilization of the Hessian and Gradient Covariance Matrix
本文提出新的不稳定性度量,发现Hessian与梯度协方差矩阵顶部子空间稳定化独立于参数变化幅度,并通过类间类内分解及特征值分离解释该现象。
2026-09-29 cs.LG math.OC
Information-Theoretic Understanding of Population Risk Improvement with Model Compression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
我们通过研究模型压缩下泛化误差的降低和经验风险的增加之间的权衡,证明了模型压缩可以提高预训练模型的群体风险。我们首先证明,模型压缩减少了信息理论界的泛化误差,这允许解释模型压缩作为一种正则化技术,以避免过度拟合。然后,我们用率失真理论描述了模型压缩的经验风险的增加。这些结果意味着,如果泛化误差的减少超过经验风险的增加,则模型压缩可以改善总体风险。我们通过一个线性回归的例子表明,由于模型压缩,这种人口风险的降低确实是可能的。我们的理论结果进一步表明,Hessian加权$K$ -均值聚类压缩方法可以通过正则化聚类中心之间的距离来改进。我们提供了神经网络的实验来支持我们的理论主张。
2019-01-27 cs.IT cs.LG math.IT
Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability
Inria, École Normale Supérieure, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院,PSL研究大学)
针对深度学习梯度下降在稳定性边缘(EoS)的动力学,提出Edge Flow模型,通过三个耦合常微分方程分解为中心、振荡方向和幅度,实现可处理且预测性的建模,并揭示锐度自稳定机制。
2026-06-17 cs.LG
On a continuous time model of gradient descent dynamics and instability in deep learning
DeepMind(深度思维公司);University College London(伦敦大学学院);Google(谷歌公司)
为研究深度学习中梯度下降的不稳定性,本文提出连续时间流 PF 近似其动力学,揭示边缘稳定性现象,并据此提出一种学习率自适应方法以权衡训练稳定性与测试性能。
2023-09-13 cs.LG stat.ML
Modelling pressure-Hessian from local velocity gradients information in an incompressible turbulent flow field using deep neural networks
了解湍流中速度梯度的动力学特性对于了解各种非线性湍流过程至关重要。压力Hessian和粘性Laplacian支配速度梯度的演化,并且已知在性质上是非局部的。多年来,已经提出了几种简化的动力学模型,主要根据局部速度梯度信息对粘性拉普拉斯算子和压力海森算子进行建模。这些模型也可以作为拉格朗日PDF方法的封闭模型。最近的流体变形闭合模型(RFDM)已被证明是检索优秀的粘性过程的一次性统计。然而,由RFDM建模的压力-海森具有各种物理限制。在这项工作中,我们首先证明了RFDM在估计压力Hessian的局限性。此外,我们采用张量基神经网络(TBNN)的速度梯度张量本身的压力海森模型。神经网络是在雷诺数为433的各向同性湍流直接数值模拟(DNS)获得的高分辨率数据(JHU湍流数据库,JHTD)上训练的。在雷诺数为433(JHTD)和315(UP Madrid湍流数据库,UPMTD)和雷诺数为1000(UT Texas和JHTD)的通道流数据集对两个不同的各向同性湍流数据集进行测试的TBNN的预测。神经网络输出的评价是在预测的压力Hessian特征向量与湍流各向同性流以及通道流的应变率特征向量的对齐统计。我们的预测的解决方案的分析导致发现10个独特的系数的张量基础的应变率和旋转速率张量,线性组合,准确地捕捉关键对齐统计的压力海森张量。
2019-11-19 cs.LG stat.ML
Information-Theoretic Framework for Understanding Modern Machine-Learning
School of Electrical and Computer Engineering(电气与计算机工程学院);Tel-Aviv University(特拉维夫大学);School of Computer and Communication Sciences(计算机与通信科学学院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出一个信息论框架,将学习视为对数损失下的通用预测,通过基于架构的模型复杂度统一解释了过参数化模型及现代深度学习架构的成功,并为设计替代架构提供了新方向。
2025-11-02 cs.IT cs.LG math.IT
Dissecting Ethereum Blockchain Analytics: What We Learn from Topology and Geometry of Ethereum Graph
Purdue University(普渡大学);Bowling Green State University(鲍灵格林州立大学);University of Manitoba(曼尼托巴大学);Virginia Commonwealth University(弗吉尼亚联邦大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
区块链技术,特别是基于区块链的加密货币,为我们提供了金融界从未见过的信息。与法定货币相比,加密货币和加密代币的所有交易都永久记录在分布式账本上,并且是公开的。因此,这使我们能够构建一个交易图,不仅可以评估其组织,还可以收集交易图属性与加密价格动态之间的关系。本文的最终目标是帮助我们理解从以太坊交易网络的局部拓扑和几何结构中可以学到的加密令牌的范围和局限性,甚至全球网络属性仍然很少探索。通过将基于拓扑数据分析和功能数据深度的新工具引入区块链数据分析,我们表明以太坊网络(创建新加密代币的最受欢迎的区块链之一)可以提供有关加密代币价格罢工的关键见解,否则传统数据源和传统分析方法在很大程度上无法访问。
2019-12-20 cs.LG cs.SI q-fin.ST
Understanding Gradient Descent on Edge of Stability in Deep Learning
Princeton University(普林斯顿大学)
Cohen等人[2021]使用确定性梯度下降(GD)的深度学习实验揭示了当学习率(LR)和锐度(即,Hessian的最大特征值)不再表现为传统的优化。Shark稳定在$2/$ LR附近,损失在迭代中上下波动,但总体趋势仍是下降的。本文从数学上分析了EoS阶段隐式正则化的一种新机制,即由于非光滑损失景观而导致的GD更新沿着最小损失流形上的某些确定性流发展。这与许多以前的结果相反,隐式偏差依赖于无穷小更新或噪声梯度。形式上,对于具有一定正则性条件的任何光滑函数$L$,这种效应被证明为(1)归一化GD,即,GD伴不同LR $η_t =\fracη{\| \nabla L(x(t)) \|}$和$L$丢失;(2)GD伴恒定LR和$\sqrt{L- \min_x L(x)}$丢失。两者都可证明进入稳定边缘,流形上的相关流使$λ_{1}(\nabla^2 L)$最小化。上述理论结果得到了实验研究的证实。
2022-10-28 cs.LG math.OC
Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability
Carnegie Mellon University(卡内基梅隆大学);Bosch AI(博世人工智能);Determined AI
我们经验证明,神经网络训练目标上的全批梯度下降通常在我们称之为稳定边缘的机制中运行。在这种情况下,训练损失Hessian的最大特征值刚好在数值$2 / \text{(step size)}$上方徘徊,并且训练损失在短时间尺度上表现为非单调的,但在长时间尺度上一致地减小。由于这种行为与优化领域的几个普遍假设不一致,我们的研究结果提出了这些假设是否与神经网络训练相关的问题。我们希望我们的研究结果将激励未来的努力,旨在严格理解稳定边缘的优化。代码可在https://github.com/locuslab/edge-of-stability上获得。
2022-11-23 cs.LG stat.ML
Dissecting Representation Structure in Vision Transformers: A Rigorous Architectural Study
Singapore University of Technology and Design(新加坡科技设计大学);Temasek Laboratories(淡马锡实验室)
本研究通过对ViT不同架构尺度的严谨分析,揭示其表征与泛化的关系,提出缓解特征崩溃的方案、可靠泛化预测指标等,所提代理指标提升了相关性排名,可指导高效ViT设计。
2026-10-12 cs.CV cs.LG
What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis
Vector Institute(向量研究所)
本文通过完整推导并分析单层自注意力的损失 Hessian,揭示 Transformer 对数据与权重的异质非线性依赖,解释其架构与优化选择的独特性。
2025-03-17 cs.LG stat.ML
Analytic Insights into Structure and Rank of Neural Network Hessian Maps
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心)
神经网络的Hessian通过损失的二阶导数捕获参数交互。它是研究的基本对象,与深度学习中的各种问题密切相关,包括模型设计,优化和泛化。大多数先前的工作是经验性的,通常集中在低秩近似和对网络结构视而不见的近似。与此相反,我们开发了理论工具来分析Hessian映射的范围,使我们能够精确地理解其秩亏及其背后的结构原因。这为深度线性网络的Hessian秩提供了精确的公式和严格的上界,从而可以对秩亏进行优雅的解释。此外,我们证明了我们的边界仍然忠实的数字海森秩的估计,更大的一类模型,如整流和双曲正切网络。此外,我们还研究了模型架构的含义(例如~宽度、深度、偏差)的秩亏。总的来说,我们的工作提供了新的见解的来源和程度的冗余过参数化网络。
2021-07-01 cs.LG cs.NE math.ST
Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal?
University of Pennsylvania(宾夕法尼亚大学)
本文提出各向同性曲率模型分析深度学习单次迭代优化,发现Muon等方法的梯度正交化方向正确但非严格最优,为设计新优化方法提供理论基础。
2025-11-01 cs.AI cs.LG math.OC
On the Convergence Analysis of Muon
University of Virginia(弗吉尼亚大学);University of British Columbia(不列颠哥伦比亚大学);Meta;University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文分析了Muon优化器的收敛性,对比了其与梯度下降法的性能,揭示了Muon在低秩Hessian结构下的优势。
2026-07-29 cs.IT cs.LG math.IT
Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks
ETH Zurich(苏黎世联邦理工学院)
本文回顾了所谓的消失梯度现象,这通常发生在深度随机初始化神经网络。利用对神经链的深入分析,我们首先证明,当网络宽度小于O(深度)时,即使使用流行的Xavier和He初始化初始化,也无法规避消失梯度。其次,我们扩展到二阶导数的分析,并表明,随机i.i.d.初始化也会产生Hessian矩阵,其特征谱随着网络深度的增长而消失。每当这种情况发生时,优化器都会在一个非常平坦的鞍点状高原中初始化,这是特别难以用随机梯度下降(SGD)逃脱的,因为它的逃脱时间与曲率成反比。我们认为,这一观察结果对于充分理解(a)使用香草SGD训练深度网络的历史困难,(b)自适应梯度方法的成功(自然适应曲率,从而快速逃离平坦高原)以及(c)现代架构组件(如剩余连接和归一化层)的有效性至关重要。
2021-06-07 cs.LG
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
神经网络(NN)的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜,我们研究了浅单变量ReLU NN的学习动态,为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构,包括其临界点和不动点,海森,和海森谱。我们还表明,标准的权重初始化产生非常平坦的函数,这种平坦性,加上overparametrization和初始权重规模,是负责隐式正则化的强度和类型,与最近的工作arXiv:1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv:1906.07842的补充,该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果,但以更直观和透明的方式。展望未来,我们基于样条的方法很可能会自然地扩展到多元和深层环境,并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
MIPT(莫斯科物理技术学院);Sber AI
本文研究神经网络损失景观随样本量增加的收敛性,通过理论推导损失值差异上界并在图像分类数据集上实证验证,为理解损失景观几何和样本量确定提供依据。
2024-09-18 cs.LG
Phenomenology of Double Descent in Finite-Width Neural Networks
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Basel(巴塞尔大学)
“双下降”描述了模型的泛化行为,取决于它们所属的制度:参数不足或过度。目前对这种现象背后的理论理解主要是基于线性和核回归模型-通过神经切线核与神经网络进行非正式的比较。因此,此类分析无法充分捕捉有限宽度神经网络中双重下降背后的机制,并且忽略了关键组件--例如损失函数的选择。我们解决这些缺点,利用影响函数,以获得适当的表达的人口损失及其下限,同时施加最小的假设的参数模型的形式。我们推导出的界限承担一个密切的联系,在最佳的Hessian谱,重要的是,表现出双下降行为的插值阈值。基于我们的分析,我们进一步研究了损失函数如何影响双重下降-从而揭示了神经网络及其Hessian谱在插值阈值附近的有趣特性。
2022-03-14 cs.LG stat.ML
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization
MIT(麻省理工学院);Stanford University(斯坦福大学);Google(谷歌)
本研究证明在深度矩阵分解中,满足RIP条件下最小化Hessian迹近似等价于最小化端到端矩阵的Schatten 1-范数,从而解释了平坦性正则化提升泛化的原因。
2023-06-22 cs.LG
Traversing the solution space of neural networks with Hessian Null Space Continuation
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院);Kempner Institute(肯普纳研究所);Massachusetts Institute of Technology(麻省理工学院);Brown University(布朗大学);Johns Hopkins University(约翰斯·霍普金斯大学)
提出Hessian零空间延拓(HNC)方法,利用局部曲率遍历神经网络解空间,首次证明局部模式连通区域内存在多种内部机制,并揭示表示多样性,为模型合并与编辑提供新途径。
2026-09-30 cs.LG q-bio.NC stat.ML
On progressive sharpening, flat minima and generalisation
Mathematical Institute for Data Science(数据科学数学研究所);Johns Hopkins University(约翰斯·霍普金斯大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
本文通过联系损失 Hessian 与输入-输出 Jacobian 的拟设,证明 Jacobian 对 Lipschitz 范数的近似及新泛化界,用以解释渐进锐化和平坦极小值的泛化。
2023-09-26 cs.LG stat.ML
Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Center for Data Science, Peking University(北京大学数据科学中心);BICMR, Peking University(北京大学北京国际数学研究中心);Princeton University(普林斯顿大学)
人们广泛观察到,具有学习参数的深度学习模型泛化良好,即使模型参数比训练样本的数量多得多。我们系统地研究了深度神经网络通常泛化能力很好的根本原因,并揭示了泛化能力很好的最小值(具有相同的训练误差)与泛化能力不好的最小值之间的差异。我们表明,这是景观的特点,损失函数,解释了良好的泛化能力。对于深度网络的损失函数的景观,好的最小值的吸引盆的体积优于差的最小值的吸引盆的体积,这保证了随机初始化的优化方法收敛到好的最小值。通过对2层神经网络的分析,我们从理论上证明了我们的发现,并证明了低复杂度的解相对于模型参数具有较小的Hessian矩阵范数.对于更深层次的网络,大量的数字证据有助于支持我们的论点。
2017-11-28 cs.AI cs.LG stat.ML
Understanding Edge-of-Stability Training Dynamics with a Minimalist Example
Duke University(杜克大学);Tsinghua University(清华大学)
最近,研究人员观察到深度神经网络的梯度下降在“稳定边缘”(EoS)机制中运行:锐度(Hessian的最大特征值)通常大于稳定阈值$2/η$(其中$η$是步长)。尽管如此,损失在长期内振荡和收敛,末端的锐度仅略低于$2/η$。虽然许多其他众所周知的非凸目标(如矩阵分解或双层网络)也可以收敛,尽管清晰度很高,但端点的清晰度和$2/η$之间通常存在较大的差距。在本文中,我们研究了EoS现象,通过构造一个简单的函数,具有相同的行为。我们给出了严格的分析,其训练动力学在一个大的局部区域,并解释了为什么最终的收敛点的锐度接近$2/η$。从全局来看,我们观察到我们示例的训练动态具有有趣的分叉行为,这在神经网络的训练中也被观察到。
2023-02-21 cs.LG math.OC stat.ML
The Goldilocks zone: Towards better understanding of neural network loss landscapes
Stanford University(斯坦福大学)
我们使用随机的低维超平面和超球体来探索全连接和卷积神经网络的损失景观。评估这些超曲面上损失函数的Hessian,$H$,我们观察到:1)$H$的正特征值的数量异常过剩,以及2)$\mathrm{Tr}(H) / ||H||$在一个定义良好的位形空间半径范围内的大值,对应于我们称为\textit{Goldilocks zone}的厚的中空球壳。我们在MNIST和CIFAR-10数据集上观察到了全连接神经网络在一系列网络宽度和深度上的这种效果,其中包括$\mathrm{ReLU}$和$\tanh$非线性,以及卷积网络的类似效果。使用我们的观察,我们证明了一个密切的联系,金发区,措施的局部凸性/患病率的正曲率,和网络初始化的适用性。我们表明,高和稳定的精度达到随机优化时,低维超曲面直接相关的超曲面和Goldilocks区之间的重叠,并作为一个推论表明,内在尺寸的概念是初始化依赖。我们注意到,常见的初始化技术初始化神经网络在这个特定的区域异常高的凸性/流行的正曲率,并提供了一个几何直观的成功。此外,我们证明,初始化一个神经网络在一些点,并选择高措施的局部凸性,如$\mathrm{Tr}(H) / ||H||$,正特征值的$H$,或低初始损失,导致统计上显着更快的训练MNIST。根据我们的观察,我们假设,适居带包含一个异常高密度的合适的初始化配置。
2018-11-12 cs.LG cs.NE stat.ML
The semantic landscape paradigm for neural networks
Massachusetts Institute of Technology(麻省理工学院)
针对缺乏统一神经网络性能理解框架的问题,提出语义景观范式,将训练动态建模为涌现算法节点构成的图上的轨迹,借统计物理理论解释顿悟、缩放律等现象,补充现有深度网络研究方法。
2023-07-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Complex Dynamics in Simple Neural Networks: Understanding Gradient Flow in Phase Retrieval
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);Laboratoire de Physique de l’Ecole normale supérieure ENS(巴黎高等师范学院物理实验室);Université PSL(巴黎文理研究大学);Sorbonne Université(索邦大学);Université Paris-Diderot(巴黎第七大学);Sorbonne Paris Cité(巴黎索邦西岱大学);King’s College London(伦敦国王学院)
尽管基于梯度的算法被广泛用于优化高维非凸函数,但了解它们找到良好最小值而不是陷入虚假最小值的能力在很大程度上仍然是一个开放的问题。在这里,我们专注于梯度流动力学相位恢复随机测量。当测量的数量与输入维度的比值很小时,动力学仍然被困在具有大吸引盆的虚假最小值中。我们分析发现,超过一个临界比率,这些临界点变得不稳定的发展朝着信号的负方向。通过数值实验,我们表明,在这种制度的梯度流算法是没有被困,它漂移远离虚假的临界点沿不稳定的方向,并成功地找到全局最小值。使用统计物理学的工具,我们描述了这种现象,这是一个BBP型过渡的Hessian的虚假极小值。
2020-06-12 cond-mat.dis-nn cs.LG math.ST