Sensitivity Analysis On Loss Landscape
本文提出利用自动微分计算损失景观的一阶至三阶导数进行敏感性分析，发现二阶梯度在特定配置下可获得类似 Spearman 相关的可视化信息。
2024-03-05 cs.LG
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks
University of Vienna（维也纳大学）
尽管神经网络在各个领域得到了有效的应用，但人们对它的许多方面还知之甚少。研究神经网络特性的一个重要方法是探索损失景观。然而，大多数模型产生一个高维的非凸景观，这是很难可视化。我们讨论和扩展现有的可视化方法的基础上，1D和2D切片与一种新的方法，近似的实际损失景观的几何形状，通过使用图表与可解释的轴。基于小神经网络上的观察可以推广到更复杂的系统并为我们提供有用的见解的假设，我们专注于几十个权重范围内的小模型，这使得计算成本低廉的实验和交互式仪表板的使用成为可能。我们观察到零向量周围的对称性，不同层对全局景观的影响，最小值周围的不同权重敏感性，以及梯度下降如何导航高损失障碍。用户研究得出了平均SUS（系统可用性量表）分数，并提出了改进建议，并开辟了许多可能的应用场景，如自动编码器和集成网络。
2022-04-09 cs.LG
On the Hyperparameter Loss Landscapes of Machine Learning Models: An Exploratory Study
School of Computer Science and Engineering, UESTC（电子科技大学计算机科学与工程学院）；Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）
本研究构建并分析了1,500个超参数损失景观，发现不同模型、数据集和保真度下景观地形具有相似性，为理解超参数优化机制提供了新视角。
2024-05-24 cs.LG
Sharp Minima Can Generalize: A Loss Landscape Perspective On Data
AI Leap
本文从损失景观视角揭示数据量对泛化的作用：尖锐极小值也能泛化，但体积小难以被发现，而增加数据会使其体积相对变大，从而更容易被找到。
2025-11-06 cs.LG
Favorability of Loss Landscape with Weight Decay Requires Both Large Overparametrization and Initialization
INRIA LMO, Université Paris-Saclay（法国国家信息与自动化研究所 LMO，巴黎-萨克雷大学）
研究探讨了在大规模过参数化和初始化下，带权重衰减的损失景观的良性特性，揭示了其在不同初始化阶段的优化行为差异。
2026-06-29 cs.LG
Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）
本文从损失景观视角重新审视深度集成用于分布外检测，发现独立模式在OoD数据上损失景观差异大，提出模式集成方法提升检测性能并降低方差。
2024-07-16 cs.LG
Dynamical loss functions shape landscape topography and improve learning in artificial neural networks
Departamento de Matemática Aplicada, ETSII, Universidad Politécnica de Madrid（应用数学系，II工学院，马德里理工大学）；Departamento de Estructura de la Materia, Física Térmica y Electrónica, Universidad Complutense Madrid（物质结构系，热力学与电子学系，马德里康普顿斯大学）；GISC - Grupo Interdisciplinar de Sistemas Complejos, Universidad Complutense Madrid（复杂系统跨学科小组，马德里康普顿斯大学）
本文提出动态损失函数，通过让各类别贡献周期性振荡来重塑损失景观，在不改变全局最小值的前提下显著提升不同规模网络的验证准确率，并揭示其与不稳定边缘最小化的关联。
2025-11-05 cs.LG
Visualizing the Loss Landscape of Winning Lottery Tickets
Oregon State University（俄勒冈州立大学）
深度神经网络的潜在损失景观对其训练有很大的影响，但由于计算限制，它们主要在理论上进行研究。这项工作大大减少了计算这种损失景观所需的时间，并使用它们来研究通过迭代幅度修剪发现的中奖彩票。我们还分享了与先前声称的某些损失景观投影方法与模型可训练性和泛化误差之间的相关性相矛盾的结果。
2021-12-16 cs.CV cs.LG
On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature
School of Physics, Peking University（北京大学物理系）；Peking University Chengdu Academy for Advanced Interdisciplinary Biotechnologies（北京大学成都先进交叉生物技术研究院）；Flatiron Institute（Flatiron研究所）
本文发现SGD噪声协方差与Hessian矩阵之间存在超线性关系，而非简单的正比关系，并通过实验验证了层间幂律标度。
2026-06-06 cs.LG
Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent
D Labs（9D实验室）
本文通过谱对齐分解证明曲率指数α=2+dlogΦ_k/dlogσ_k，揭示了不同层类型曲率指数变化的几何原因，并推导出谱传递恒等式s=αγ，在无自由参数下以约2%中位误差预测Hessian衰减指数。
2026-05-22 cs.LG
Curvature in the Looking-Glass: Optimal Methods to Exploit Curvature of Expectation in the Loss Landscape
Sandia National Laboratories（桑迪亚国家实验室）
针对深度学习中Hessian矩阵在梯度不连续点附近难以准确近似损失曲率的问题，提出新框架理解ReLU架构中损失期望变化曲率的产生机制，推导最优近似方法并设计Alice算法，为优化任务提供理论与实验基础。
2024-11-25 cs.LG stat.ML
Visualization and Analysis of the Loss Landscape in Graph Neural Networks
Faculty of Computer Science, University of Vienna（计算机科学系，维也纳大学）；University of Vienna（维也纳大学）
本文提出一种高效的可学习降维方法来可视化GNN损失景观，并分析了多种技术对GNN优化的影响，为架构与训练策略设计提供了新见解。
2025-09-15 cs.LG
Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing
Scuola Superiore Sant’Anna（圣安娜高等学校）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出针对科学传感量化ML模型的损失景观实证分析方法，可评估量化精度和正则化技术下模型对噪声扰动的鲁棒性，发现平缓景观与鲁棒性的强相关性，无需多模型训练即可探索权衡，助力帕累托优化构建可靠系统。
2025-02-12 cs.LG
Exploring the loss landscape of regularized neural networks via convex duality
Stanford University（斯坦福大学）
本文通过将正则化神经网络转化为等价凸问题并利用对偶理论，系统刻画了其损失景观的驻点结构、最优解连通性与非唯一性，并证明相关结果可推广至向量值与三层网络架构。
2025-04-29 cs.LG
Unveiling the Basin-Like Loss Landscape in Large Language Models
研究发现大语言模型的损失景观中出现盆地结构，随着模型规模增大，模型对参数空间扰动的鲁棒性增强，但最坏方向的损失景观尖锐且有害，对抗性微调会快速降低模型能力。
2026-03-15 cs.LG
Gradient Descent as Loss Landscape Navigation: a Normative Framework for Deriving Learning Rules
Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
提出将学习规则视为损失景观导航策略的理论框架，通过最优控制问题推导出梯度下降、动量和Adam等规则，为设计自适应算法提供了有原则的基础。
2025-10-30 cs.LG
Beyond the Quadratic Approximation: the Multiscale Structure of Neural Network Loss Landscapes
Stanford University（斯坦福大学）；Peking University（北京大学）
神经网络损失景观的二次近似已被广泛用于研究这些网络的优化过程。虽然它通常在最小值的一个非常小的邻域内成立，但它不能解释在优化过程中观察到的许多现象。在这项工作中，我们研究了神经网络的结构损失函数和它的影响，在一个区域的优化超出了一个很好的二次近似。在数值上，我们观察到神经网络损失函数具有多尺度结构，表现在两个方面：（1）在最小值的邻域内，损失混合了连续的尺度，并以次二次的方式增长;（2）在更大的区域内，损失清楚地显示出几个独立的尺度。使用次二次增长，我们能够解释在梯度下降（GD）方法中观察到的稳定边缘现象[5]。利用分离尺度，通过简单的例子解释了学习率衰减的工作机理。最后，我们研究了多尺度结构的起源，提出模型的非凸性和训练数据的非均匀性是造成多尺度结构的原因之一。通过构造一个两层神经网络问题，我们表明，训练数据具有不同的幅度引起不同规模的损失函数，产生次二次增长和多个单独的规模。
2022-06-22 cs.LG
Visualizing Loss Functions as Topological Landscape Profiles
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Arizona State University（亚利桑那州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Dartmouth College（达特茅斯学院）；ICSI（国际计算机科学研究所）；UC Berkeley（加利福尼亚大学伯克利分校）
本文提出基于拓扑数据分析的拓扑景观剖面表示，用于可视化高维损失景观，揭示模型性能与学习动态，并发现性能越好损失景观拓扑越简单、性能转变附近形状变化更大。
2024-11-19 cs.AI cs.LG
Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
Arizona State University（亚利桑那州立大学）；University of California Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Dartmouth College（达特茅斯学院）；International Computer Science Institute（国际计算机科学研究所）
Landscaper通过多维拓扑分析揭示损失景观的几何结构，利用SMAD度量景观平滑度，提升模型诊断与架构设计能力。
2026-02-21 cs.AI cs.LG
Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit
Google（谷歌）；MIT（麻省理工学院 (MIT)）
最近的工作已经注意到，通过添加具有特定参数化的单个单元，可以从神经网络损失景观中移除所有不良局部最小值。我们证明了这些论文的核心技术可以用来从任何损失景观中删除所有不好的局部极小值，只要全局极小值的损失为零。该过程不需要增加辅助单元，甚至不需要将损失与神经网络相关联。行动的方法涉及所有坏的局部极小值被转换为坏（非局部）极小值在无穷大的辅助参数。
2019-01-12 cs.LG stat.ML
Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文引入 Fokker–Planck 方程并基于采样数据可视化半梯度 Q-learning 的有效损失景观，揭示全局极小值向鞍点的转变及其隐式偏差。
2024-06-12 cs.AI cs.LG
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China（中国科学技术大学）
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点，通过聚类评估解释鲁棒性，并提出调整解释损失景观的训练方法，发现两者并不强相关。
2026-06-08 cs.CV cs.LG
Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization
McGill University（麦吉尔大学）；Desautels Faculty of Management（德索特尔管理学院）
连续控制是强化学习的一个广泛应用领域。这一领域的主要参与者是行动者-批评者方法，该方法利用神经逼近器的策略梯度作为常见实践。我们的研究重点是显示的演员损失函数，这是优化的本质部分的特性。我们利用低维可视化的损失函数，并提供各种算法的损失景观的比较。此外，我们将我们的方法应用到多商店的动态库存控制，一个众所周知的困难的问题，在供应链运作，并探讨与最优政策的损失函数的形状。我们使用强化学习建模并解决了这个问题，同时具有有利于最优性的损失景观。
2020-09-04 cs.LG stat.ML
Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks
MOE-LSC, Shanghai Jiao Tong University（上海交通大学教育部科学工程计算重点实验室）；CMA-Shanghai, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
该研究发现深度嵌入原理，即深层神经网络损失景观包含浅层所有临界点，通过临界提升算子映射临界点并保留输出，为深度网络易训练性、批量归一化加速等行为提供新解释，揭示损失景观深度层次结构。
2025-04-14 cs.LG
Large Scale Structure of Neural Network Loss Landscapes
Google Research（谷歌研究院）；New York University（纽约大学）
深度神经网络的优化有许多令人惊讶的，也许是违反直觉的特性。我们提出并实验验证了一个统一的现象学模型的损失景观，其中包括许多。高维度在我们的模型中起着关键作用。我们的核心思想是将损失景观建模为一组高维\emph{wedges}，这些高维\emph{wedges}一起形成大规模的、相互连接的结构，并且朝着该结构进行优化。我们首先表明，超参数的选择，如学习率，网络宽度和$L_2$正则化，影响路径优化器以类似的方式通过景观，影响大尺度曲率的区域优化器探索。最后，我们预测并展示了损失景观的新的反直觉性质。我们证明了连接一组（而不仅仅是一对）解决方案的低损失子空间的存在性，并通过实验验证了这一点。最后，我们根据我们的模型分析了最近流行的深度网络集成技术。
2019-06-11 cs.LG stat.ML
LossPlot: A Better Way to Visualize Loss Landscapes
Oregon State University（俄勒冈州立大学）
对深度神经网络的损失景观的调查通常是费力的。这项工作记录了我们的用户驱动的方法，以创建一个平台，半自动化这个过程。LossPlot接受csv形式的数据，并允许同步操纵损失函数的多个训练最小化器。其他功能包括一个简单而直观的复选框UI，汇总统计，以及其他方法所不提供的控制裁剪的能力。
2021-11-30 cs.CV cs.HC cs.LG
Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape
Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Konrad Zuse School of Excellence in Reliable AI (DAAD)（康拉德·楚泽可靠人工智能卓越学院）
本研究证明低比特后训练量化误差对尺度高度敏感，其极限目标曲率随比特宽度指数衰减，并提出经 Hadamard 处理的高斯最优尺度可在 3 比特以上免搜索匹配最佳规则。
2026-09-30 cs.LG
Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes
Purdue University（普渡大学）
本文提出了一种基于后验采样的稳定聚类方法，通过优化损失景观对齐，提升模型稳定性与泛化能力。
2025-11-21 cs.LG
Paths and Ambient Spaces in Neural Loss Landscapes
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与数学机器学习中心）
本文提出直接将低损失隧道嵌入神经网络损失景观的新方法，揭示了其结构特性并澄清误解，进而应用于贝叶斯神经网络以改进子空间推断。
2025-03-05 cs.LG stat.ML
Evaluating Loss Landscapes from a Topology Perspective
Arizona State University（亚利桑那州立大学）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Dartmouth College（达特茅斯学院）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
本文利用拓扑数据分析（TDA）量化神经网络的损失景观拓扑，结合性能指标和基于Hessian的局部结构指标，为图像识别和科学机器学习模型的性能与学习动态提供了新见解。
2024-11-14 cs.AI cs.LG
On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
我们分析了对抗性训练对机器学习模型损失景观的影响。为此，我们首先提供了分析研究的性质的对抗损失函数在不同的对抗预算。然后，我们证明，由于曲率增加和梯度更加分散，对抗性损失景观对优化不太有利。我们的结论得到了数值分析的验证，结果表明，在大的对抗预算下训练会阻止从次优随机初始化中逃脱，导致非零梯度，并使模型找到更尖锐的最小值。基于这些观察，我们表明，周期性对抗调度（PAS）策略可以有效地克服这些挑战，产生比香草对抗训练更好的结果，同时对学习率的选择不太敏感。
2020-11-02 cs.LG stat.ML
Exploring the Geometry and Topology of Neural Network Loss Landscapes
Université de Montréal（蒙特利尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Yale University（耶鲁大学）；Helmholtz Centre Munich（慕尼黑亥姆霍兹中心）
最近的工作已经建立了明确的联系之间的泛化性能的训练神经网络和几何形状的损失景观附近的局部极小值，他们收敛。这表明，定性和定量检查的损失景观的几何形状可以产生的见解神经网络泛化性能在训练过程中。为此，研究人员提出了通过使用简单的降维技术来可视化损失景观。然而，这种可视化方法受到其线性性质的限制，并且仅捕获一维或二维的特征，从而将损失景观的采样限制为线或平面。在这里，我们从三个方面扩展和改进这些。首先，我们提出了一个新的“跳跃和重新训练”的过程中采样的损失景观的相关部分。我们表明，由此产生的采样数据拥有更有意义的信息，网络的泛化能力。接下来，我们通过PHATE（一种轨迹和流形保持方法）对跳跃和再训练轨迹进行非线性降维，使我们能够可视化网络之间的差异，这些网络的泛化能力很好，而不是很差。最后，我们将PHATE轨迹与计算同源性表征相结合，以量化轨迹差异。
2022-01-26 cs.LG stat.ML
Emergent properties of the local geometry of neural loss landscapes
Stanford University（斯坦福大学）
高维神经网络损失景观的局部几何结构既可以挑战我们珍视的理论直觉，也可以极大地影响神经网络训练的实际成功。事实上，最近的工作已经观察到分类任务中神经损失景观的4个惊人的局部性质：（1）景观恰好表现出高正曲率的$C$方向，其中$C$是类的数量;（2）梯度方向主要限于正Hessian曲率的极低维子空间，留下权重空间中的绝大多数方向未被探索;（3）梯度下降在最终找到更平坦的最小值之前暂时探索更高正曲率的中间区域;（4）即使当局限于低维{ \it random}仿射超平面时，只要这些超平面与高于平均曲率的Goldilocks区域相交，训练也可以成功。我们开发了一个简单的理论模型的梯度和海森，证明了在实践中使用的架构和数据集的数值实验，{ \it同时}占所有$4$这些令人惊讶的和看似无关的属性。我们的统一模型提供了概念上的见解，这些属性的出现，并与神经网络，随机矩阵理论和自旋玻璃，包括神经切线核，BBP相变和德里达的随机能量模型的不同主题的连接。
2019-10-14 cs.LG cs.NE stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Software Innovation Center（NTT软件创新中心）；NTT Communication Science Laboratories（NTT通信科学实验室）
对抗性训练正在被积极研究，以针对对抗性示例学习鲁棒模型。最近的一项研究发现，对抗训练的模型在对抗示例上的泛化性能会退化，因为它们的权重损失景观（即权重损失变化）是尖锐的。不幸的是，实验表明对抗性训练可以改善减肥效果，但这种现象尚未在理论上得到澄清。为此，本文从理论上对这一现象进行了分析。作为第一步，本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明，减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的，这在对抗训练中使用。我们从理论上和实验上证实，在线性逻辑斯谛回归模型中，随着对抗训练噪声的增加，体重减轻的情况变得更加尖锐。此外，我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
New York University（纽约大学）；University of Vienna（维也纳大学）
本文分析单隐藏层类 ReLU 网络在平方损失与梯度下降下的方向驻点，刻画逃逸神经元与局部最小值的关系，并阐明网络嵌入对驻点的重塑。
2025-03-16 cs.LG
On the energy landscape of deep networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们引入了"AnnealSGD"，这是一种正则化的随机梯度下降算法，其动机是分析具有稀疏随机权重的特定类别的深度网络的能量景观。这种网络的损失函数可以近似为高斯耦合的球形自旋玻璃的哈密顿量。虽然与当前流行的架构（如卷积架构）不同，但自旋眼镜易于分析，这提供了对损失函数拓扑结构的见解，并激励算法将其最小化。具体而言，我们表明，类似于磁场的正则化项可以用单个标量参数进行调制，以将损失函数从具有指数级许多局部极小值的复杂非凸景观转换，到一个具有多项式最小值的阶段，一直到一个具有唯一最小值的平凡景观。AnnealSGD开始在放松的多项式区域中进行训练，并逐渐收紧正则化参数，以将能量转向原始指数区域。即使对于卷积神经网络，这是非常不同的稀疏随机网络，我们的经验表明，AnnealSGD改善了泛化误差使用MNIST和CIFAR-10的竞争基线。
2017-04-21 cs.LG
Mode connectivity in the loss landscape of parameterized quantum circuits
Taylor University（泰勒大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
参数化量子线路（PQC）的变分训练支持在近期噪声中间尺度量子（NISQ）设备上采用的许多工作流程。它是一种混合量子经典方法，最小化相关的成本函数，以便训练参数化的模拟器。在本文中，我们采用定性损失景观表征神经网络中引入\cite{goodfellow2014qualitatively,li2017visualizing}和测试中使用的连接\cite{draxler2018essentially}研究损失景观功能在PQC训练。我们目前的结果PQC训练一个简单的回归任务，使用双层电路animator，它由交替层的参数化旋转门和纠缠门。多个电路使用$3$不同的批量梯度优化器进行训练：随机梯度下降，量子自然梯度和Adam。我们确定了景观中的大特征，这些特征可以导致训练工作流程的更快收敛。
2021-11-09 cs.LG quant-ph
Visualizing the Loss Landscape of Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
神经网络训练依赖于我们找到高度非凸损失函数的“好”最小化器的能力。众所周知，某些网络架构设计（例如，跳过连接）产生损失函数，训练更容易，且精心选择的训练参数（批量大小、学习率、优化器）产生更好概括的最小值。然而，这些差异的原因及其对基本损失状况的影响尚不清楚。在本文中，我们探讨了神经损失函数的结构，损失景观泛化的影响，使用一系列的可视化方法。首先，我们介绍了一个简单的“滤波器归一化”方法，它可以帮助我们可视化损失函数曲率，并在损失函数之间进行有意义的并排比较。然后，使用各种可视化，我们探索网络架构如何影响损失景观，以及训练参数如何影响最小化器的形状。
2018-11-07 cs.CV cs.LG stat.ML
Effects of width-dependent model hyperparameters and $\ell_2$-regularization on the loss landscape of two-layer ReLU networks
Okinawa Institute of Science and Technology（冲绳科学技术研究院）
研究两层ReLU网络中宽度依赖模型超参数和$\ell_2$正则化对损失景观的影响，推导超参数条件及解析解，通过实验发现AdamW可防参数坍缩，揭示了相关因素对损失景观几何结构的影响。
2026-07-21 cs.LG
Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
Lamda.nju.edu.cn（南京大学）
本文研究 DNN 损失景观的局部几何，系统分类一维损失曲线并提出挖掘复杂扰动方向的算法，进而可视化鞍面等二维结构并用 Hessian 矩阵加以解释。
2025-06-06 cs.LG
AYLA: Architecting a loss landscape in shallow neural networks to accelerate feature recovery
University of Alberta（阿尔伯塔大学）
AYLA通过可调幂律损失变换放大梯度敏感性，并配合动态学习率，在非凸优化中加速收敛，超越SGD和ADAM，提升训练稳定性。
2026-09-29 cs.LG
Neuro-Visualizer: An Auto-encoder-based Loss Landscape Visualization Method
Virginia Tech（弗吉尼亚理工大学）
本文提出基于自编码器的非线性损失景观可视化方法 Neuro-Visualizer，并在 KGML 任务中证明其优于线性与非线性基线。
2023-09-26 cs.HC cs.LG
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
Meta Superintelligence Labs（Meta超智能实验室）；University of Maryland, College Park（马里兰大学哥伦比亚分校）
本文提出了一种可扩展的损失景观曲率度量，用于分析大语言模型的训练动态，展示了大规模下的尖锐度现象，并指导数据混合策略。
2026-02-02 cond-mat.dis-nn cs.AI cs.LG
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Beijing University of Technology（北京工业大学）
对于一个隐藏层ReLU网络，我们证明了所有可微局部极小值在可微区域内都是全局的。我们给出了可微局部极小值的位置和损失，并表明这些局部极小值可以是孤立点或连续超平面，这取决于数据之间的相互作用，隐藏神经元的激活模式和网络大小。此外，我们还给出了鞍点和不可微局部极小点存在的充分必要条件，以及它们存在的位置。
2020-06-17 cs.LG stat.ML
Directions of Curvature as an Explanation for Loss of Plasticity
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
该研究提出神经网络训练中曲率方向丢失是可塑性丧失的机制，通过多数据集持续学习实验验证了二者的一致性，指出现有解释的不足，并基于此提出有效的分布正则化方法。
2024-10-05 cs.LG
Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model?
Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室）；College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Fudan University（复旦大学）
针对预训练大型时间序列模型微调时因非凸损失景观导致过拟合的问题，提出平滑全微调（SFF）方法，通过随机初始化辅助模型插值平滑损失景观，提升可训练性，在八个代表性模型上取得一致改进。
2026-06-07 cs.LG
Embedding Principle of Loss Landscape of Deep Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
理解深度神经网络（DNN）的损失景观结构显然很重要。在这项工作中，我们证明了一个嵌入原理，即DNN的损失景观“包含”所有较窄DNN的所有临界点。更确切地说，我们提出了一个临界嵌入，使得任何临界点，例如，局部或全局最小值可以被嵌入到目标DNN的临界点/超平面，具有更高的简并性并保留DNN输出函数。临界点的嵌入结构与损失函数和训练数据无关，这与蛋白质折叠等非凸问题有着明显的区别。根据经验，我们发现宽DNN通常会被嵌入窄DNN的高度退化临界点所吸引。嵌入原理为宽DNN的一般简单优化提供了解释，并在训练过程中解开了潜在的隐式低复杂度正则化。总的来说，我们的工作为DNN的损失景观及其含义的研究提供了一个框架，可以期待在不久的将来更准确和全面的理解
2022-01-12 cs.LG stat.ML
Loss Landscape Dependent Self-Adjusting Learning Rates in Decentralized Stochastic Gradient Descent
IBM Research（IBM研究院）；George Mason University（乔治梅森大学）；Duke Unversity（杜克大学）
分布式深度学习（Distributed Deep Learning，简称DLS）对于大规模深度学习（Deep Learning，简称DL）训练至关重要。同步随机梯度下降（SSGD）1是事实上的最优化方法。使用足够大的批处理大小对于实现EJB运行时加速至关重要。在大批量设置中，必须提高学习率以补偿参数更新次数的减少。然而，大的学习率可能会损害SSGD中的收敛，并且训练可能容易发散。最近，分布式并行SGD（DPSGD）已被提出来提高分布式训练速度。在本文中，我们发现，DPSGD不仅具有系统明智的运行时的好处，但也有一个显着的收敛优势，在大批量设置SSGD。基于对DPSGD学习动态的详细分析，我们发现DPSGD引入了额外的依赖于噪声的噪声，该噪声自动调整有效的学习率以提高收敛性。此外，我们从理论上表明，这种噪声平滑的损失景观，从而允许更大的学习率。我们进行了广泛的研究超过18个国家的最先进的DL模型/任务，并证明DPSGD往往收敛的情况下，SSGD发散大学习率在大批量设置。我们的研究结果在两个不同的应用领域是一致的：计算机视觉（CIFAR 10和ImageNet-1 K）和自动语音识别（SWB 300和SWB 2000），以及两种不同类型的神经网络模型：卷积神经网络和长短期记忆递归神经网络。
2021-12-02 cs.LG
Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape
Flat-LoRA通过贝叶斯期望损失目标在全参数空间寻找平坦低秩适应，提升域内和域外泛化，适用于多种任务。
2025-05-24 cs.LG
Manifold Metric: A Loss Landscape Approach for Predicting Model Performance
Chandar Research Lab（Chandar研究实验室）；Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；Samsung SAIT AI Lab Montreal（三星SAIT蒙特利尔人工智能实验室）
针对从头训练多模型选优成本高、小型预训练模型扩展方法因训练动态影响不明未充分利用的问题，提出基于损失景观的流形度量指标，实验证明其与性能提升强相关且优于基线，为可靠模型扩展提供几何驱动的新途径。
2025-06-16 cs.LG
Matrix Sensing with Kernel Optimal Loss: Robustness and Optimization Landscape
Department of Computer Science, CityUHK（计算机科学系，城市大学）
本文提出基于核最优损失的矩阵感知方法，通过改进损失函数提升鲁棒性与优化景观，适用于非高斯噪声环境。
2026-01-05 cs.AI cs.LG
Visualizing the loss landscape of Self-supervised Vision Transformer
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文通过可视化损失景观，发现MAE训练的自监督ViT比监督ViT具有更平滑更宽的损失曲率，且EMA教师能扩大凸性区域加速收敛，首次从优化角度解释其泛化优势。
2024-05-28 cs.CV cs.LG
