On the loss landscape of a class of deep neural networks with no bad local valleys
Saarland University(萨尔兰大学);University of Tübingen(蒂宾根大学)
我们确定了一类具有标准激活函数和交叉熵损失的过参数化深度神经网络,它们可证明没有坏的局部谷,在这个意义上,从参数空间中的任何一点都存在一个连续的路径,在该路径上交叉熵损失是不增加的,并且任意接近于零。这意味着这些网络没有次优的严格局部极小值。
2018-12-24 cs.AI cs.CV cs.LG
There is a Singularity in the Loss Landscape
本文通过实验发现,随着数据集增大,损失景观中出现梯度无界的奇点,梯度下降使网络靠近该奇点,并解释了稳定性边缘训练等Hessian相关现象,且顶部子空间虽占梯度大部分但对学习贡献小。
2024-07-19 cs.AI cs.LG
Investigating generalization capabilities of neural networks by means of loss landscapes and Hessian analysis
Joint Stock “Research and production company “Kryptonite”(“Kryptonite”研究与生产股份公司)
本文提出基于Hessian分析的定量标准,通过Loss Landscape Analysis库研究神经网络损失景观与Hessian谱,并实验证明该标准能高效估计模型在不同数据集上的泛化能力。
2025-02-05 cs.CV cs.LG
How does the optimizer implicitly bias the model merging loss landscape?
University of Luxembourg(卢森堡大学);ETH Zürich, MPI for Intelligent Systems(苏黎世联邦理工学院、智能系统研究所);Idiap Research Institute(Idiap研究机构);ELLIS Institute Tübingen, MPI for Intelligent Systems, Tübingen AI Center(图宾根ELLIS研究所、智能系统研究所、图宾根人工智能中心)
本文研究了优化动态如何影响损失景观几何及其对模型合并成功的影响,发现有效噪声尺度统一了不同优化器组件对模型合并的影响,并揭示了学习率、权重衰减等参数对有效噪声尺度的调节作用。
2026-04-21 cs.AI cs.LG
A Tale of Two Symmetries: Exploring the Loss Landscape of Equivariant Models
Massachusetts Institute of Technology(麻省理工学院)
本研究通过理论分析等变网络损失景观几何,发现无约束模型的参数对称性会阻碍等变子空间学习全局最小值,而放松约束有时能解决该问题,揭示了隐藏对称性对优化和群表示选择的重要影响。
2025-10-31 cs.AI cs.LG
How Does Local Landscape Geometry Evolve in Language Model Pre-Training?
Tsinghua University(清华大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
本文从局部景观几何角度分析语言模型预训练,揭示两阶段动态,解释学习率预热和动态批次大小调度,提供大规模预训练调优策略。
2026-10-01 cs.AI cs.LG
Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel
Stanford University(斯坦福大学);Element AI(元素人工智能公司);University of Toronto(多伦多大学);Vector Institute(向量研究所)
在适当初始化的宽网络中,小的学习率将深度神经网络(DNN)转换为神经切线核(NTK)机器,其训练动态通过初始化时网络的线性权重扩展来很好地近似。然而,标准训练与其线性化的不同之处还不为人所知。我们研究了非线性深度网络的训练动力学、损失景观的几何形状以及数据依赖性NTK的时间演化之间的关系。我们这样做是通过一个大规模的现象学分析的培训,综合各种措施的特点损失景观几何和NTK动态。在多个神经架构和数据集中,我们发现这些不同的度量以高度相关的方式发展,揭示了深度学习过程的普遍图景。在这张图中,深度网络训练表现出高度混沌的快速初始瞬态,在2到3个时期内确定了包含训练终点的最终线性连接的低损失盆地。在这种混沌瞬态期间,NTK快速变化,从训练数据中学习有用的特征,使其能够在不到3到4个时期内超过标准初始NTK 3倍。在这种快速的混沌瞬态之后,NTK以恒定的速度变化,其性能在15%到45%的训练时间内与完整网络训练的性能相匹配。总的来说,我们的分析揭示了在训练时间内各种指标之间的惊人相关性,在最初的几个时期中由快速的混沌到稳定的过渡所控制,这为开发更准确的深度学习理论带来了挑战和机遇。
2020-10-28 cs.LG stat.ML
Exploring the Loss Landscape in Neural Architecture Search
Carnegie Mellon University(卡内基梅隆大学)
在过去的几年里,神经结构搜索(NAS)的兴趣急剧上升。NAS的许多算法包括通过迭代选择架构来搜索架构空间,通过训练来评估其性能,并使用所有先前的评估来提出下一个选择。评估步骤是有噪声的-最终精度根据权重的随机初始化而变化。以前的工作集中在设计新的搜索算法来处理这种噪声,而不是量化或理解架构评估中的噪声水平。在这项工作中,我们证明了(1)最简单的爬山算法是NAS的强大基线,(2)当流行的NAS基准数据集中的噪声降低到最低限度时,爬山算法的性能优于许多流行的最先进的算法。我们进一步支持这一观察表明,局部极小值的数量大幅减少,噪声的减少,并通过给出一个理论表征的本地搜索在NAS中的性能。根据我们的研究结果,对于NAS研究,我们建议(1)使用本地搜索作为基线,(2)尽可能对训练管道进行去噪。
2021-06-16 cs.LG stat.ML
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
Meta Superintelligence Labs(Meta超智能实验室);University of Maryland, College Park(马里兰大学哥伦比亚分校)
本文提出了一种可扩展的损失景观曲率度量,用于分析大语言模型的训练动态,展示了大规模下的尖锐度现象,并指导数据混合策略。
2026-02-02 cond-mat.dis-nn cs.AI cs.LG
Visualizing the loss landscapes of physics-informed neural networks
Aerospace Engineering University of Colorado Boulder(科罗拉多大学波得尔分校航空航天工程学院);Applied Mathematics University of Colorado Boulder(科罗拉多大学波得尔分校应用数学系)
本文研究了物理信息神经网络的损失景观,比较了深度Ritz和强形式损失,揭示了其景观的平滑性和良好条件性。
2026-02-05 cs.LG
The instabilities of large learning rate training: a loss landscape view
University of Oxford(牛津大学)
该研究从损失景观视角出发,以大学习率训练下的海森矩阵为切入点,刻画梯度下降的不稳定性,发现与训练不稳定紧密相关的景观平坦化、偏移现象。
2023-07-22 cs.LG
Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
MIPT(莫斯科物理技术学院);Sber AI
本文研究神经网络损失景观随样本量增加的收敛性,通过理论推导损失值差异上界并在图像分类数据集上实证验证,为理解损失景观几何和样本量确定提供依据。
2024-09-18 cs.LG
Taxonomizing local versus global structure in neural network loss landscapes
University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
在统计力学学习方法中,根据损失景观来查看神经网络模型有着悠久的历史,近年来,它在机器学习中受到了关注。除此之外,局部度量(例如损失景观的平滑度)已被证明与模型的全局属性(例如良好的泛化性能)相关。在这里,我们对数千个神经网络模型的损失景观结构进行了详细的实证分析,系统地改变了学习任务,模型架构和/或数据的数量/质量。通过考虑一系列试图捕捉损失景观不同方面的指标,我们证明了最佳的测试精度是在以下情况下获得的:损失景观是全局良好连接的;训练模型的集合彼此更相似;模型收敛到局部平滑区域。我们还表明,当模型很小或者当它们被训练成较低质量的数据时,可能会出现全局连接不良的景观;并且,如果损失景观是全局连接不良的,那么训练到零损失实际上会导致更差的测试准确性。我们详细的实证结果揭示了学习阶段(以及随之而来的双下降行为),良好泛化的基本与偶然决定因素,负载和温度参数在学习过程中的作用,模型和数据对损失景观的不同影响,以及局部和全局度量之间的关系,最近感兴趣的所有主题。
2021-12-12 cs.LG
LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
Arizona State University(亚利桑那州立大学);Dartmouth College(达特茅斯学院);University of California, Davis(加州大学戴维斯分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
本文提出多尺度损失景观可视分析框架 LossLens,整合全局与局部指标以增强模型诊断,并通过 ResNet-20 和物理信息神经网络案例验证其有效性。
2024-12-17 cs.LG
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而,对抗性训练很容易出现过拟合,原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现,鲁棒的过拟合来自标准训练,特别是最小化干净的损失,并且可以通过损失梯度的正则化来减轻。此外,我们发现,鲁棒过拟合在对抗训练过程中变得更加复杂,部分原因是由于损失景观曲率的增加,对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力,我们提出了一种新的正则化器,通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合,并实现了最高的鲁棒性和效率相比,类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
On the curvature of the loss landscape
Technical University of Denmark(丹麦技术大学);ETH Zurich(苏黎世联邦理工学院)
本文将深度网络的损失景观建模为黎曼流形,通过解析计算标量曲率,从微分几何角度建立其与模型泛化能力之间的联系。
2023-07-10 cs.LG
FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks
University of Vienna(维也纳大学)
尽管神经网络在各个领域得到了有效的应用,但人们对它的许多方面还知之甚少。研究神经网络特性的一个重要方法是探索损失景观。然而,大多数模型产生一个高维的非凸景观,这是很难可视化。我们讨论和扩展现有的可视化方法的基础上,1D和2D切片与一种新的方法,近似的实际损失景观的几何形状,通过使用图表与可解释的轴。基于小神经网络上的观察可以推广到更复杂的系统并为我们提供有用的见解的假设,我们专注于几十个权重范围内的小模型,这使得计算成本低廉的实验和交互式仪表板的使用成为可能。我们观察到零向量周围的对称性,不同层对全局景观的影响,最小值周围的不同权重敏感性,以及梯度下降如何导航高损失障碍。用户研究得出了平均SUS(系统可用性量表)分数,并提出了改进建议,并开辟了许多可能的应用场景,如自动编码器和集成网络。
2022-04-09 cs.LG
On the Hyperparameter Loss Landscapes of Machine Learning Models: An Exploratory Study
School of Computer Science and Engineering, UESTC(电子科技大学计算机科学与工程学院);Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系)
本研究构建并分析了1,500个超参数损失景观,发现不同模型、数据集和保真度下景观地形具有相似性,为理解超参数优化机制提供了新视角。
2024-05-24 cs.LG
Sharp Minima Can Generalize: A Loss Landscape Perspective On Data
AI Leap
本文从损失景观视角揭示数据量对泛化的作用:尖锐极小值也能泛化,但体积小难以被发现,而增加数据会使其体积相对变大,从而更容易被找到。
2025-11-06 cs.LG
Favorability of Loss Landscape with Weight Decay Requires Both Large Overparametrization and Initialization
INRIA LMO, Université Paris-Saclay(法国国家信息与自动化研究所 LMO,巴黎-萨克雷大学)
研究探讨了在大规模过参数化和初始化下,带权重衰减的损失景观的良性特性,揭示了其在不同初始化阶段的优化行为差异。
2026-06-29 cs.LG
Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学)
本文从损失景观视角重新审视深度集成用于分布外检测,发现独立模式在OoD数据上损失景观差异大,提出模式集成方法提升检测性能并降低方差。
2024-07-16 cs.LG
Dynamical loss functions shape landscape topography and improve learning in artificial neural networks
Departamento de Matemática Aplicada, ETSII, Universidad Politécnica de Madrid(应用数学系,II工学院,马德里理工大学);Departamento de Estructura de la Materia, Física Térmica y Electrónica, Universidad Complutense Madrid(物质结构系,热力学与电子学系,马德里康普顿斯大学);GISC - Grupo Interdisciplinar de Sistemas Complejos, Universidad Complutense Madrid(复杂系统跨学科小组,马德里康普顿斯大学)
本文提出动态损失函数,通过让各类别贡献周期性振荡来重塑损失景观,在不改变全局最小值的前提下显著提升不同规模网络的验证准确率,并揭示其与不稳定边缘最小化的关联。
2025-11-05 cs.LG
Visualizing the Loss Landscape of Winning Lottery Tickets
Oregon State University(俄勒冈州立大学)
深度神经网络的潜在损失景观对其训练有很大的影响,但由于计算限制,它们主要在理论上进行研究。这项工作大大减少了计算这种损失景观所需的时间,并使用它们来研究通过迭代幅度修剪发现的中奖彩票。我们还分享了与先前声称的某些损失景观投影方法与模型可训练性和泛化误差之间的相关性相矛盾的结果。
2021-12-16 cs.CV cs.LG
Visualization and Analysis of the Loss Landscape in Graph Neural Networks
Faculty of Computer Science, University of Vienna(计算机科学系,维也纳大学);University of Vienna(维也纳大学)
本文提出一种高效的可学习降维方法来可视化GNN损失景观,并分析了多种技术对GNN优化的影响,为架构与训练策略设计提供了新见解。
2025-09-15 cs.LG
Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing
Scuola Superiore Sant’Anna(圣安娜高等学校);Fermi National Accelerator Laboratory(费米国家加速器实验室);University of California San Diego(加利福尼亚大学圣迭戈分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出针对科学传感量化ML模型的损失景观实证分析方法,可评估量化精度和正则化技术下模型对噪声扰动的鲁棒性,发现平缓景观与鲁棒性的强相关性,无需多模型训练即可探索权衡,助力帕累托优化构建可靠系统。
2025-02-12 cs.LG
Exploring the loss landscape of regularized neural networks via convex duality
Stanford University(斯坦福大学)
本文通过将正则化神经网络转化为等价凸问题并利用对偶理论,系统刻画了其损失景观的驻点结构、最优解连通性与非唯一性,并证明相关结果可推广至向量值与三层网络架构。
2025-04-29 cs.LG
Unveiling the Basin-Like Loss Landscape in Large Language Models
研究发现大语言模型的损失景观中出现盆地结构,随着模型规模增大,模型对参数空间扰动的鲁棒性增强,但最坏方向的损失景观尖锐且有害,对抗性微调会快速降低模型能力。
2026-03-15 cs.LG
Gradient Descent as Loss Landscape Navigation: a Normative Framework for Deriving Learning Rules
Harvard Medical School(哈佛医学院);Harvard University(哈佛大学)
提出将学习规则视为损失景观导航策略的理论框架,通过最优控制问题推导出梯度下降、动量和Adam等规则,为设计自适应算法提供了有原则的基础。
2025-10-30 cs.LG
Beyond the Quadratic Approximation: the Multiscale Structure of Neural Network Loss Landscapes
Stanford University(斯坦福大学);Peking University(北京大学)
神经网络损失景观的二次近似已被广泛用于研究这些网络的优化过程。虽然它通常在最小值的一个非常小的邻域内成立,但它不能解释在优化过程中观察到的许多现象。在这项工作中,我们研究了神经网络的结构损失函数和它的影响,在一个区域的优化超出了一个很好的二次近似。在数值上,我们观察到神经网络损失函数具有多尺度结构,表现在两个方面:(1)在最小值的邻域内,损失混合了连续的尺度,并以次二次的方式增长;(2)在更大的区域内,损失清楚地显示出几个独立的尺度。使用次二次增长,我们能够解释在梯度下降(GD)方法中观察到的稳定边缘现象[5]。利用分离尺度,通过简单的例子解释了学习率衰减的工作机理。最后,我们研究了多尺度结构的起源,提出模型的非凸性和训练数据的非均匀性是造成多尺度结构的原因之一。通过构造一个两层神经网络问题,我们表明,训练数据具有不同的幅度引起不同规模的损失函数,产生次二次增长和多个单独的规模。
2022-06-22 cs.LG
Visualizing Loss Functions as Topological Landscape Profiles
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Arizona State University(亚利桑那州立大学);University of California, Davis(加利福尼亚大学戴维斯分校);Dartmouth College(达特茅斯学院);ICSI(国际计算机科学研究所);UC Berkeley(加利福尼亚大学伯克利分校)
本文提出基于拓扑数据分析的拓扑景观剖面表示,用于可视化高维损失景观,揭示模型性能与学习动态,并发现性能越好损失景观拓扑越简单、性能转变附近形状变化更大。
2024-11-19 cs.AI cs.LG
Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
Arizona State University(亚利桑那州立大学);University of California Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(伯克利国家实验室);Dartmouth College(达特茅斯学院);International Computer Science Institute(国际计算机科学研究所)
Landscaper通过多维拓扑分析揭示损失景观的几何结构,利用SMAD度量景观平滑度,提升模型诊断与架构设计能力。
2026-02-21 cs.AI cs.LG
Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit
Google(谷歌);MIT(麻省理工学院 (MIT))
最近的工作已经注意到,通过添加具有特定参数化的单个单元,可以从神经网络损失景观中移除所有不良局部最小值。我们证明了这些论文的核心技术可以用来从任何损失景观中删除所有不好的局部极小值,只要全局极小值的损失为零。该过程不需要增加辅助单元,甚至不需要将损失与神经网络相关联。行动的方法涉及所有坏的局部极小值被转换为坏(非局部)极小值在无穷大的辅助参数。
2019-01-12 cs.LG stat.ML
Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文引入 Fokker–Planck 方程并基于采样数据可视化半梯度 Q-learning 的有效损失景观,揭示全局极小值向鞍点的转变及其隐式偏差。
2024-06-12 cs.AI cs.LG
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China(中国科学技术大学)
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点,通过聚类评估解释鲁棒性,并提出调整解释损失景观的训练方法,发现两者并不强相关。
2026-06-08 cs.CV cs.LG
Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization
McGill University(麦吉尔大学);Desautels Faculty of Management(德索特尔管理学院)
连续控制是强化学习的一个广泛应用领域。这一领域的主要参与者是行动者-批评者方法,该方法利用神经逼近器的策略梯度作为常见实践。我们的研究重点是显示的演员损失函数,这是优化的本质部分的特性。我们利用低维可视化的损失函数,并提供各种算法的损失景观的比较。此外,我们将我们的方法应用到多商店的动态库存控制,一个众所周知的困难的问题,在供应链运作,并探讨与最优政策的损失函数的形状。我们使用强化学习建模并解决了这个问题,同时具有有利于最优性的损失景观。
2020-09-04 cs.LG stat.ML
Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks
MOE-LSC, Shanghai Jiao Tong University(上海交通大学教育部科学工程计算重点实验室);CMA-Shanghai, Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
该研究发现深度嵌入原理,即深层神经网络损失景观包含浅层所有临界点,通过临界提升算子映射临界点并保留输出,为深度网络易训练性、批量归一化加速等行为提供新解释,揭示损失景观深度层次结构。
2025-04-14 cs.LG
Large Scale Structure of Neural Network Loss Landscapes
Google Research(谷歌研究院);New York University(纽约大学)
深度神经网络的优化有许多令人惊讶的,也许是违反直觉的特性。我们提出并实验验证了一个统一的现象学模型的损失景观,其中包括许多。高维度在我们的模型中起着关键作用。我们的核心思想是将损失景观建模为一组高维\emph{wedges},这些高维\emph{wedges}一起形成大规模的、相互连接的结构,并且朝着该结构进行优化。我们首先表明,超参数的选择,如学习率,网络宽度和$L_2$正则化,影响路径优化器以类似的方式通过景观,影响大尺度曲率的区域优化器探索。最后,我们预测并展示了损失景观的新的反直觉性质。我们证明了连接一组(而不仅仅是一对)解决方案的低损失子空间的存在性,并通过实验验证了这一点。最后,我们根据我们的模型分析了最近流行的深度网络集成技术。
2019-06-11 cs.LG stat.ML
LossPlot: A Better Way to Visualize Loss Landscapes
Oregon State University(俄勒冈州立大学)
对深度神经网络的损失景观的调查通常是费力的。这项工作记录了我们的用户驱动的方法,以创建一个平台,半自动化这个过程。LossPlot接受csv形式的数据,并允许同步操纵损失函数的多个训练最小化器。其他功能包括一个简单而直观的复选框UI,汇总统计,以及其他方法所不提供的控制裁剪的能力。
2021-11-30 cs.CV cs.HC cs.LG
Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes
Purdue University(普渡大学)
本文提出了一种基于后验采样的稳定聚类方法,通过优化损失景观对齐,提升模型稳定性与泛化能力。
2025-11-21 cs.LG
Paths and Ambient Spaces in Neural Loss Landscapes
HTWG Konstanz(康斯坦茨应用科学大学);LMU Munich(慕尼黑大学);MCML(慕尼黑计算与数学机器学习中心)
本文提出直接将低损失隧道嵌入神经网络损失景观的新方法,揭示了其结构特性并澄清误解,进而应用于贝叶斯神经网络以改进子空间推断。
2025-03-05 cs.LG stat.ML
Evaluating Loss Landscapes from a Topology Perspective
Arizona State University(亚利桑那州立大学);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室);Dartmouth College(达特茅斯学院);ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校)
本文利用拓扑数据分析(TDA)量化神经网络的损失景观拓扑,结合性能指标和基于Hessian的局部结构指标,为图像识别和科学机器学习模型的性能与学习动态提供了新见解。
2024-11-14 cs.AI cs.LG
On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
我们分析了对抗性训练对机器学习模型损失景观的影响。为此,我们首先提供了分析研究的性质的对抗损失函数在不同的对抗预算。然后,我们证明,由于曲率增加和梯度更加分散,对抗性损失景观对优化不太有利。我们的结论得到了数值分析的验证,结果表明,在大的对抗预算下训练会阻止从次优随机初始化中逃脱,导致非零梯度,并使模型找到更尖锐的最小值。基于这些观察,我们表明,周期性对抗调度(PAS)策略可以有效地克服这些挑战,产生比香草对抗训练更好的结果,同时对学习率的选择不太敏感。
2020-11-02 cs.LG stat.ML
Exploring the Geometry and Topology of Neural Network Loss Landscapes
Université de Montréal(蒙特利尔大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Yale University(耶鲁大学);Helmholtz Centre Munich(慕尼黑亥姆霍兹中心)
最近的工作已经建立了明确的联系之间的泛化性能的训练神经网络和几何形状的损失景观附近的局部极小值,他们收敛。这表明,定性和定量检查的损失景观的几何形状可以产生的见解神经网络泛化性能在训练过程中。为此,研究人员提出了通过使用简单的降维技术来可视化损失景观。然而,这种可视化方法受到其线性性质的限制,并且仅捕获一维或二维的特征,从而将损失景观的采样限制为线或平面。在这里,我们从三个方面扩展和改进这些。首先,我们提出了一个新的“跳跃和重新训练”的过程中采样的损失景观的相关部分。我们表明,由此产生的采样数据拥有更有意义的信息,网络的泛化能力。接下来,我们通过PHATE(一种轨迹和流形保持方法)对跳跃和再训练轨迹进行非线性降维,使我们能够可视化网络之间的差异,这些网络的泛化能力很好,而不是很差。最后,我们将PHATE轨迹与计算同源性表征相结合,以量化轨迹差异。
2022-01-26 cs.LG stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories(NTT安全平台实验室);NTT Software Innovation Center(NTT软件创新中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对抗性训练正在被积极研究,以针对对抗性示例学习鲁棒模型。最近的一项研究发现,对抗训练的模型在对抗示例上的泛化性能会退化,因为它们的权重损失景观(即权重损失变化)是尖锐的。不幸的是,实验表明对抗性训练可以改善减肥效果,但这种现象尚未在理论上得到澄清。为此,本文从理论上对这一现象进行了分析。作为第一步,本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明,减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的,这在对抗训练中使用。我们从理论上和实验上证实,在线性逻辑斯谛回归模型中,随着对抗训练噪声的增加,体重减轻的情况变得更加尖锐。此外,我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
On the energy landscape of deep networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们引入了"AnnealSGD",这是一种正则化的随机梯度下降算法,其动机是分析具有稀疏随机权重的特定类别的深度网络的能量景观。这种网络的损失函数可以近似为高斯耦合的球形自旋玻璃的哈密顿量。虽然与当前流行的架构(如卷积架构)不同,但自旋眼镜易于分析,这提供了对损失函数拓扑结构的见解,并激励算法将其最小化。具体而言,我们表明,类似于磁场的正则化项可以用单个标量参数进行调制,以将损失函数从具有指数级许多局部极小值的复杂非凸景观转换,到一个具有多项式最小值的阶段,一直到一个具有唯一最小值的平凡景观。AnnealSGD开始在放松的多项式区域中进行训练,并逐渐收紧正则化参数,以将能量转向原始指数区域。即使对于卷积神经网络,这是非常不同的稀疏随机网络,我们的经验表明,AnnealSGD改善了泛化误差使用MNIST和CIFAR-10的竞争基线。
2017-04-21 cs.LG
Mode connectivity in the loss landscape of parameterized quantum circuits
Taylor University(泰勒大学);Oak Ridge National Laboratory(橡树岭国家实验室)
参数化量子线路(PQC)的变分训练支持在近期噪声中间尺度量子(NISQ)设备上采用的许多工作流程。它是一种混合量子经典方法,最小化相关的成本函数,以便训练参数化的模拟器。在本文中,我们采用定性损失景观表征神经网络中引入\cite{goodfellow2014qualitatively,li2017visualizing}和测试中使用的连接\cite{draxler2018essentially}研究损失景观功能在PQC训练。我们目前的结果PQC训练一个简单的回归任务,使用双层电路animator,它由交替层的参数化旋转门和纠缠门。多个电路使用$3$不同的批量梯度优化器进行训练:随机梯度下降,量子自然梯度和Adam。我们确定了景观中的大特征,这些特征可以导致训练工作流程的更快收敛。
2021-11-09 cs.LG quant-ph
Effects of width-dependent model hyperparameters and $\ell_2$-regularization on the loss landscape of two-layer ReLU networks
Okinawa Institute of Science and Technology(冲绳科学技术研究院)
研究两层ReLU网络中宽度依赖模型超参数和$\ell_2$正则化对损失景观的影响,推导超参数条件及解析解,通过实验发现AdamW可防参数坍缩,揭示了相关因素对损失景观几何结构的影响。
2026-07-21 cs.LG
Curvature-Aligned Probing for Local Loss-Landscape Stabilization
Department of Intelligent Systems(智能系统系);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出曲率对齐准则,通过分析经验Hessian的主特征空间,改进局部损失景观稳定化方法,提升计算效率。
2026-04-16 cs.LG
Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
Lamda.nju.edu.cn(南京大学)
本文研究 DNN 损失景观的局部几何,系统分类一维损失曲线并提出挖掘复杂扰动方向的算法,进而可视化鞍面等二维结构并用 Hessian 矩阵加以解释。
2025-06-06 cs.LG
AYLA: Architecting a loss landscape in shallow neural networks to accelerate feature recovery
University of Alberta(阿尔伯塔大学)
AYLA通过可调幂律损失变换放大梯度敏感性,并配合动态学习率,在非凸优化中加速收敛,超越SGD和ADAM,提升训练稳定性。
2026-09-29 cs.LG
Neuro-Visualizer: An Auto-encoder-based Loss Landscape Visualization Method
Virginia Tech(弗吉尼亚理工大学)
本文提出基于自编码器的非线性损失景观可视化方法 Neuro-Visualizer,并在 KGML 任务中证明其优于线性与非线性基线。
2023-09-26 cs.HC cs.LG
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Beijing University of Technology(北京工业大学)
对于一个隐藏层ReLU网络,我们证明了所有可微局部极小值在可微区域内都是全局的。我们给出了可微局部极小值的位置和损失,并表明这些局部极小值可以是孤立点或连续超平面,这取决于数据之间的相互作用,隐藏神经元的激活模式和网络大小。此外,我们还给出了鞍点和不可微局部极小点存在的充分必要条件,以及它们存在的位置。
2020-06-17 cs.LG stat.ML
Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model?
Shanghai Key Laboratory of Data Science(上海市数据科学重点实验室);College of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Fudan University(复旦大学)
针对预训练大型时间序列模型微调时因非凸损失景观导致过拟合的问题,提出平滑全微调(SFF)方法,通过随机初始化辅助模型插值平滑损失景观,提升可训练性,在八个代表性模型上取得一致改进。
2026-06-07 cs.LG
Embedding Principle of Loss Landscape of Deep Neural Networks
Shanghai Jiao Tong University(上海交通大学);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
理解深度神经网络(DNN)的损失景观结构显然很重要。在这项工作中,我们证明了一个嵌入原理,即DNN的损失景观“包含”所有较窄DNN的所有临界点。更确切地说,我们提出了一个临界嵌入,使得任何临界点,例如,局部或全局最小值可以被嵌入到目标DNN的临界点/超平面,具有更高的简并性并保留DNN输出函数。临界点的嵌入结构与损失函数和训练数据无关,这与蛋白质折叠等非凸问题有着明显的区别。根据经验,我们发现宽DNN通常会被嵌入窄DNN的高度退化临界点所吸引。嵌入原理为宽DNN的一般简单优化提供了解释,并在训练过程中解开了潜在的隐式低复杂度正则化。总的来说,我们的工作为DNN的损失景观及其含义的研究提供了一个框架,可以期待在不久的将来更准确和全面的理解
2022-01-12 cs.LG stat.ML