Visualizing the Loss Landscape of Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
神经网络训练依赖于我们找到高度非凸损失函数的“好”最小化器的能力。众所周知，某些网络架构设计（例如，跳过连接）产生损失函数，训练更容易，且精心选择的训练参数（批量大小、学习率、优化器）产生更好概括的最小值。然而，这些差异的原因及其对基本损失状况的影响尚不清楚。在本文中，我们探讨了神经损失函数的结构，损失景观泛化的影响，使用一系列的可视化方法。首先，我们介绍了一个简单的“滤波器归一化”方法，它可以帮助我们可视化损失函数曲率，并在损失函数之间进行有意义的并排比较。然后，使用各种可视化，我们探索网络架构如何影响损失景观，以及训练参数如何影响最小化器的形状。
2018-11-07 cs.CV cs.LG stat.ML
Critical Points of Neural Networks: Analytical Forms and Landscape Properties
Ohio State University（俄亥俄州立大学）
由于深度学习成功地解决了各种具有挑战性的机器学习任务，人们对从理论方面理解用于训练神经网络的损失函数的兴趣越来越大。特别地，临界点的性质和它们周围的景观是重要的，以确定优化算法的收敛性能。在本文中，我们提供了充分（必要和充分）的分析形式的临界点（以及全球最小值）的平方损失函数的各种神经网络的特征。我们证明了临界点的解析形式表征了相应损失函数的值以及达到全局最小值的充分必要条件。此外，我们利用临界点的解析形式来刻画这些神经网络的损失函数的景观属性。一个特别的结论是：线性网络的损失函数没有虚假的局部最小值，而带有ReLU激活函数的单隐层非线性网络的损失函数确实有局部最小值，而不是全局最小值。
2017-10-30 cs.LG stat.ML
Investigating generalization capabilities of neural networks by means of loss landscapes and Hessian analysis
Joint Stock “Research and production company “Kryptonite”（“Kryptonite”研究与生产股份公司）
本文提出基于Hessian分析的定量标准，通过Loss Landscape Analysis库研究神经网络损失景观与Hessian谱，并实验证明该标准能高效估计模型在不同数据集上的泛化能力。
2025-02-05 cs.CV cs.LG
Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
New York University（纽约大学）；University of Vienna（维也纳大学）
本文分析单隐藏层类 ReLU 网络在平方损失与梯度下降下的方向驻点，刻画逃逸神经元与局部最小值的关系，并阐明网络嵌入对驻点的重塑。
2025-03-16 cs.LG
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
Meta Superintelligence Labs（Meta超智能实验室）；University of Maryland, College Park（马里兰大学哥伦比亚分校）
本文提出了一种可扩展的损失景观曲率度量，用于分析大语言模型的训练动态，展示了大规模下的尖锐度现象，并指导数据混合策略。
2026-02-02 cond-mat.dis-nn cs.AI cs.LG
Manifold Metric: A Loss Landscape Approach for Predicting Model Performance
Chandar Research Lab（Chandar研究实验室）；Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；Samsung SAIT AI Lab Montreal（三星SAIT蒙特利尔人工智能实验室）
针对从头训练多模型选优成本高、小型预训练模型扩展方法因训练动态影响不明未充分利用的问题，提出基于损失景观的流形度量指标，实验证明其与性能提升强相关且优于基线，为可靠模型扩展提供几何驱动的新途径。
2025-06-16 cs.LG
Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel
Stanford University（斯坦福大学）；Element AI（元素人工智能公司）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在适当初始化的宽网络中，小的学习率将深度神经网络（DNN）转换为神经切线核（NTK）机器，其训练动态通过初始化时网络的线性权重扩展来很好地近似。然而，标准训练与其线性化的不同之处还不为人所知。我们研究了非线性深度网络的训练动力学、损失景观的几何形状以及数据依赖性NTK的时间演化之间的关系。我们这样做是通过一个大规模的现象学分析的培训，综合各种措施的特点损失景观几何和NTK动态。在多个神经架构和数据集中，我们发现这些不同的度量以高度相关的方式发展，揭示了深度学习过程的普遍图景。在这张图中，深度网络训练表现出高度混沌的快速初始瞬态，在2到3个时期内确定了包含训练终点的最终线性连接的低损失盆地。在这种混沌瞬态期间，NTK快速变化，从训练数据中学习有用的特征，使其能够在不到3到4个时期内超过标准初始NTK 3倍。在这种快速的混沌瞬态之后，NTK以恒定的速度变化，其性能在15%到45%的训练时间内与完整网络训练的性能相匹配。总的来说，我们的分析揭示了在训练时间内各种指标之间的惊人相关性，在最初的几个时期中由快速的混沌到稳定的过渡所控制，这为开发更准确的深度学习理论带来了挑战和机遇。
2020-10-28 cs.LG stat.ML
Visualizing Loss Functions as Topological Landscape Profiles
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Arizona State University（亚利桑那州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Dartmouth College（达特茅斯学院）；ICSI（国际计算机科学研究所）；UC Berkeley（加利福尼亚大学伯克利分校）
本文提出基于拓扑数据分析的拓扑景观剖面表示，用于可视化高维损失景观，揭示模型性能与学习动态，并发现性能越好损失景观拓扑越简单、性能转变附近形状变化更大。
2024-11-19 cs.AI cs.LG
Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
Arizona State University（亚利桑那州立大学）；University of California Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Dartmouth College（达特茅斯学院）；International Computer Science Institute（国际计算机科学研究所）
Landscaper通过多维拓扑分析揭示损失景观的几何结构，利用SMAD度量景观平滑度，提升模型诊断与架构设计能力。
2026-02-21 cs.AI cs.LG
Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文引入 Fokker–Planck 方程并基于采样数据可视化半梯度 Q-learning 的有效损失景观，揭示全局极小值向鞍点的转变及其隐式偏差。
2024-06-12 cs.AI cs.LG
Evaluating Loss Landscapes from a Topology Perspective
Arizona State University（亚利桑那州立大学）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Dartmouth College（达特茅斯学院）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
本文利用拓扑数据分析（TDA）量化神经网络的损失景观拓扑，结合性能指标和基于Hessian的局部结构指标，为图像识别和科学机器学习模型的性能与学习动态提供了新见解。
2024-11-14 cs.AI cs.LG
Matrix Sensing with Kernel Optimal Loss: Robustness and Optimization Landscape
Department of Computer Science, CityUHK（计算机科学系，城市大学）
本文提出基于核最优损失的矩阵感知方法，通过改进损失函数提升鲁棒性与优化景观，适用于非高斯噪声环境。
2026-01-05 cs.AI cs.LG
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Software Innovation Center（NTT软件创新中心）；NTT Communication Science Laboratories（NTT通信科学实验室）
对抗性训练正在被积极研究，以针对对抗性示例学习鲁棒模型。最近的一项研究发现，对抗训练的模型在对抗示例上的泛化性能会退化，因为它们的权重损失景观（即权重损失变化）是尖锐的。不幸的是，实验表明对抗性训练可以改善减肥效果，但这种现象尚未在理论上得到澄清。为此，本文从理论上对这一现象进行了分析。作为第一步，本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明，减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的，这在对抗训练中使用。我们从理论上和实验上证实，在线性逻辑斯谛回归模型中，随着对抗训练噪声的增加，体重减轻的情况变得更加尖锐。此外，我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
Embedding Principle: a hierarchical structure of loss landscape of deep neural networks
Shanghai Jiao Tong University（上海交通大学）
我们证明了深度神经网络（NN）损失景观的一般嵌入原理，该原理揭示了NN损失景观的层次结构，即，NN的损失景观包含所有较窄NN的所有临界点。这一结果是通过构造一类临界嵌入得到的，该嵌入将较窄NN的任何临界点映射到具有相同输出函数的目标NN的临界点。通过发现一类广义相容临界嵌入，我们给出了从较窄NN的临界点嵌入的临界子流形的维数的粗略估计。我们进一步证明了任何临界嵌入的不可逆性，即临界点的Hessian矩阵的负/零/正特征值的数量可能会增加，但不会随着NN通过嵌入变得更宽而减少。利用一般相容临界嵌入的一种特殊实现，证明了一个严格的必要条件，证明了它是一个“真坏”临界点，且通过任何临界嵌入都不会成为严格鞍点.这一结果暗示了宽神经网络中严格鞍点的普遍性，这可能是宽神经网络在实践中广泛观察到的容易优化的重要原因。
2021-11-30 cs.AI cs.LG
M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
Institute of AI for Health, Computational Health Center, Helmholtz Munich（亥姆霍兹慕尼黑人工智能健康研究所（计算健康中心））；Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Technical University Munich（慕尼黑工业大学）；U.S. FDA/CDRH（美国食品药品监督管理局医疗器械和辐射健康中心）；Applied Geology, GeoZentrum Nordbayern, Friedrich-Alexander-Universität（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学北巴伐利亚地理中心应用地质学系）
本文提出M-HOF-Opt方法，通过时变乘子和分层输出反馈调度损失景观，将多目标优化转化为约束子问题序列，在降低内存与计算开销的同时提升域泛化鲁棒性。
2025-03-11 cs.AI cs.LG
Visualizing the loss landscapes of physics-informed neural networks
Aerospace Engineering University of Colorado Boulder（科罗拉多大学波得尔分校航空航天工程学院）；Applied Mathematics University of Colorado Boulder（科罗拉多大学波得尔分校应用数学系）
本文研究了物理信息神经网络的损失景观，比较了深度Ritz和强形式损失，揭示了其景观的平滑性和良好条件性。
2026-02-05 cs.LG
Practical Bayesian Inference for Speech SNNs: Uncertainty and Loss-Landscape Smoothing
Idiap Research Institute（Idiap 研究所）
本文研究了贝叶斯学习对语音SNNs预测景观的影响，通过改进变分在线牛顿方法实现损失景观平滑，实验显示在负对数似然和Brier分数上表现提升。
2026-04-09 cs.AI cs.LG
The instabilities of large learning rate training: a loss landscape view
University of Oxford（牛津大学）
该研究从损失景观视角出发，以大学习率训练下的海森矩阵为切入点，刻画梯度下降的不稳定性，发现与训练不稳定紧密相关的景观平坦化、偏移现象。
2023-07-22 cs.LG
Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes
MIPT（莫斯科物理技术学院）；Sber AI
本文研究神经网络损失景观随样本量增加的收敛性，通过理论推导损失值差异上界并在图像分类数据集上实证验证，为理解损失景观几何和样本量确定提供依据。
2024-09-18 cs.LG
Visualizing the Loss Landscape of Winning Lottery Tickets
Oregon State University（俄勒冈州立大学）
深度神经网络的潜在损失景观对其训练有很大的影响，但由于计算限制，它们主要在理论上进行研究。这项工作大大减少了计算这种损失景观所需的时间，并使用它们来研究通过迭代幅度修剪发现的中奖彩票。我们还分享了与先前声称的某些损失景观投影方法与模型可训练性和泛化误差之间的相关性相矛盾的结果。
2021-12-16 cs.CV cs.LG
Taxonomizing local versus global structure in neural network loss landscapes
University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）
在统计力学学习方法中，根据损失景观来查看神经网络模型有着悠久的历史，近年来，它在机器学习中受到了关注。除此之外，局部度量（例如损失景观的平滑度）已被证明与模型的全局属性（例如良好的泛化性能）相关。在这里，我们对数千个神经网络模型的损失景观结构进行了详细的实证分析，系统地改变了学习任务，模型架构和/或数据的数量/质量。通过考虑一系列试图捕捉损失景观不同方面的指标，我们证明了最佳的测试精度是在以下情况下获得的：损失景观是全局良好连接的;训练模型的集合彼此更相似;模型收敛到局部平滑区域。我们还表明，当模型很小或者当它们被训练成较低质量的数据时，可能会出现全局连接不良的景观;并且，如果损失景观是全局连接不良的，那么训练到零损失实际上会导致更差的测试准确性。我们详细的实证结果揭示了学习阶段（以及随之而来的双下降行为），良好泛化的基本与偶然决定因素，负载和温度参数在学习过程中的作用，模型和数据对损失景观的不同影响，以及局部和全局度量之间的关系，最近感兴趣的所有主题。
2021-12-12 cs.LG
Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition
Apollo Research（阿波罗研究公司）
本文提出局部损失景观分解（L3D）方法，通过识别参数空间中的低秩子网络来揭示模型计算特征的底层电路，并在玩具模型和真实网络上验证了其有效性。
2025-03-31 cs.AI cs.LG
LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
Arizona State University（亚利桑那州立大学）；Dartmouth College（达特茅斯学院）；University of California, Davis（加州大学戴维斯分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
本文提出多尺度损失景观可视分析框架 LossLens，整合全局与局部指标以增强模型诊断，并通过 ResNet-20 和物理信息神经网络案例验证其有效性。
2024-12-17 cs.LG
Adapting Critic Match Loss Landscape Visualization to Off-policy Reinforcement Learning
本文将已建立的批评者匹配损失景观可视化方法从在线扩展到非策略强化学习，揭示批评者学习的优化几何。通过调整Soft Actor-Critic算法中的损失评估，利用固定回放批次和预计算的批评者目标，分析批评者参数在主成分平面上的投影，形成3D景观并叠加优化路径。
2026-03-15 cs.AI cs.LG cs.RO
Across the Loss Landscape with Progressive Growth
Université Paris Dauphine-PSL（巴黎多芬大学-PSL大学）；LORIA CNRS（法国国家科学研究中心LORIA实验室）；ESPCI-PSL（巴黎市政工程工业物理和化学高等学校-PSL大学）
该研究将增长视为渐进式约束放松，提出迭代扩展可训练参数的策略，证明其可使训练偏向平坦区域，虽能生成平坦解但曲率降低未必提升测试性能，揭示平坦性与泛化关联的微妙性。
2026-08-26 cs.AI cs.LG
Normative Loss Landscape Navigation: A Trajectory-Based Approach to Mitigating Forgetting in Incremental Learning
University of Sydney（悉尼大学）
针对持续学习中的灾难性遗忘，提出基于轨迹调节的规范导航方法 TMLN，利用经验 Fisher 信息矩阵与历史轨迹动态预 conditioning，显著降低任务间损失障碍。
2026-09-30 cs.AI cs.LG
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
LossPlot: A Better Way to Visualize Loss Landscapes
Oregon State University（俄勒冈州立大学）
对深度神经网络的损失景观的调查通常是费力的。这项工作记录了我们的用户驱动的方法，以创建一个平台，半自动化这个过程。LossPlot接受csv形式的数据，并允许同步操纵损失函数的多个训练最小化器。其他功能包括一个简单而直观的复选框UI，汇总统计，以及其他方法所不提供的控制裁剪的能力。
2021-11-30 cs.CV cs.HC cs.LG
On the curvature of the loss landscape
Technical University of Denmark（丹麦技术大学）；ETH Zurich（苏黎世联邦理工学院）
本文将深度网络的损失景观建模为黎曼流形，通过解析计算标量曲率，从微分几何角度建立其与模型泛化能力之间的联系。
2023-07-10 cs.LG
Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit
Google（谷歌）；MIT（麻省理工学院 (MIT)）
最近的工作已经注意到，通过添加具有特定参数化的单个单元，可以从神经网络损失景观中移除所有不良局部最小值。我们证明了这些论文的核心技术可以用来从任何损失景观中删除所有不好的局部极小值，只要全局极小值的损失为零。该过程不需要增加辅助单元，甚至不需要将损失与神经网络相关联。行动的方法涉及所有坏的局部极小值被转换为坏（非局部）极小值在无穷大的辅助参数。
2019-01-12 cs.LG stat.ML
What can linear interpolation of neural network loss landscapes tell us?
Department of Mathematics, University of Edinburgh（爱丁堡大学数学系）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
研究神经网络损失景观提供了深入了解基本优化问题的性质。不幸的是，损失景观是出了名的难以想象的人类理解的方式。解决这个问题的一种常见方法是绘制景观的线性切片，例如从网络的初始状态到优化后的最终状态。在此分析的基础上，先前的工作已经得出了更广泛的结论，优化问题的难度。在本文中，我们对这种推断进行了测试，系统地评估了线性插值和最终性能在更改数据、初始化选择以及其他优化器和架构设计选择时的变化。此外，我们使用线性插值来研究网络的各个层和子结构所扮演的角色。我们发现某些层对初始化的选择更敏感，但线性路径的形状并不表示模型测试精度的变化。我们的研究结果质疑更广泛的直觉，即存在或不存在的障碍时，插值必然涉及到优化的成功。
2022-02-03 cs.AI cs.LG stat.ML
Loss Landscape Degeneracy and Stagewise Development in Transformers
Timaeus；Department of Computer Science, University of Oxford（计算机科学系，牛津大学）；Department of Econometrics and Business Statistics, Monash University（计量经济学与商业统计系，墨尔本大学）；School of Mathematics and Statistics, the University of Melbourne（数学与统计学系，墨尔本大学）
本研究基于奇异学习理论，提出Transformer模型发展与损失景观局部简并性相关，通过实验验证训练存在简并性变化阶段且与结构行为变化同步，为理解深度学习提供新视角。
2025-08-01 cs.AI cs.CL cs.LG
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China（中国科学技术大学）
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点，通过聚类评估解释鲁棒性，并提出调整解释损失景观的训练方法，发现两者并不强相关。
2026-06-08 cs.CV cs.LG
Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Center for Data Science, Peking University（北京大学数据科学中心）；BICMR, Peking University（北京大学北京国际数学研究中心）；Princeton University（普林斯顿大学）
人们广泛观察到，具有学习参数的深度学习模型泛化良好，即使模型参数比训练样本的数量多得多。我们系统地研究了深度神经网络通常泛化能力很好的根本原因，并揭示了泛化能力很好的最小值（具有相同的训练误差）与泛化能力不好的最小值之间的差异。我们表明，这是景观的特点，损失函数，解释了良好的泛化能力。对于深度网络的损失函数的景观，好的最小值的吸引盆的体积优于差的最小值的吸引盆的体积，这保证了随机初始化的优化方法收敛到好的最小值。通过对2层神经网络的分析，我们从理论上证明了我们的发现，并证明了低复杂度的解相对于模型参数具有较小的Hessian矩阵范数.对于更深层次的网络，大量的数字证据有助于支持我们的论点。
2017-11-28 cs.AI cs.LG stat.ML
FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks
University of Vienna（维也纳大学）
尽管神经网络在各个领域得到了有效的应用，但人们对它的许多方面还知之甚少。研究神经网络特性的一个重要方法是探索损失景观。然而，大多数模型产生一个高维的非凸景观，这是很难可视化。我们讨论和扩展现有的可视化方法的基础上，1D和2D切片与一种新的方法，近似的实际损失景观的几何形状，通过使用图表与可解释的轴。基于小神经网络上的观察可以推广到更复杂的系统并为我们提供有用的见解的假设，我们专注于几十个权重范围内的小模型，这使得计算成本低廉的实验和交互式仪表板的使用成为可能。我们观察到零向量周围的对称性，不同层对全局景观的影响，最小值周围的不同权重敏感性，以及梯度下降如何导航高损失障碍。用户研究得出了平均SUS（系统可用性量表）分数，并提出了改进建议，并开辟了许多可能的应用场景，如自动编码器和集成网络。
2022-04-09 cs.LG
Visualizing Critic Match Loss Landscapes for Interpretation of Online Reinforcement Learning Control Algorithms
本文提出一种可视化批评匹配损失景观的方法，用于分析在线强化学习算法的动态控制问题，通过投影记录的批评参数轨迹，揭示批评学习行为的三维损失表面和二维优化路径。
2026-03-15 cs.AI cs.LG cs.RO
On the Hyperparameter Loss Landscapes of Machine Learning Models: An Exploratory Study
School of Computer Science and Engineering, UESTC（电子科技大学计算机科学与工程学院）；Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）
本研究构建并分析了1,500个超参数损失景观，发现不同模型、数据集和保真度下景观地形具有相似性，为理解超参数优化机制提供了新视角。
2024-05-24 cs.LG
Sharp Minima Can Generalize: A Loss Landscape Perspective On Data
AI Leap
本文从损失景观视角揭示数据量对泛化的作用：尖锐极小值也能泛化，但体积小难以被发现，而增加数据会使其体积相对变大，从而更容易被找到。
2025-11-06 cs.LG
Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization
McGill University（麦吉尔大学）；Desautels Faculty of Management（德索特尔管理学院）
连续控制是强化学习的一个广泛应用领域。这一领域的主要参与者是行动者-批评者方法，该方法利用神经逼近器的策略梯度作为常见实践。我们的研究重点是显示的演员损失函数，这是优化的本质部分的特性。我们利用低维可视化的损失函数，并提供各种算法的损失景观的比较。此外，我们将我们的方法应用到多商店的动态库存控制，一个众所周知的困难的问题，在供应链运作，并探讨与最优政策的损失函数的形状。我们使用强化学习建模并解决了这个问题，同时具有有利于最优性的损失景观。
2020-09-04 cs.LG stat.ML
Large Scale Structure of Neural Network Loss Landscapes
Google Research（谷歌研究院）；New York University（纽约大学）
深度神经网络的优化有许多令人惊讶的，也许是违反直觉的特性。我们提出并实验验证了一个统一的现象学模型的损失景观，其中包括许多。高维度在我们的模型中起着关键作用。我们的核心思想是将损失景观建模为一组高维\emph{wedges}，这些高维\emph{wedges}一起形成大规模的、相互连接的结构，并且朝着该结构进行优化。我们首先表明，超参数的选择，如学习率，网络宽度和$L_2$正则化，影响路径优化器以类似的方式通过景观，影响大尺度曲率的区域优化器探索。最后，我们预测并展示了损失景观的新的反直觉性质。我们证明了连接一组（而不仅仅是一对）解决方案的低损失子空间的存在性，并通过实验验证了这一点。最后，我们根据我们的模型分析了最近流行的深度网络集成技术。
2019-06-11 cs.LG stat.ML
Rolling Ball Optimizer: Learning by ironing out loss landscape wrinkles
Deakin University（德肯大学）；Technology Innovation Institute（技术创新研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对神经网络损失景观的复杂纹理和噪声敏感问题，提出滚球优化器（RBO），通过模拟刚性球滚动整合大尺度信息，平滑损失函数，提升收敛速度与泛化性能。
2025-10-24 cs.AI cs.LG math.OC
A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study
本文提出一种多视角分析框架，通过可视化损失景观揭示强化学习中价值估计、策略优化与TD信号的交互，以ADHDP算法为例展示其对学习稳定性的影响。
2026-03-15 cs.AI cs.LG cs.RO
The loss landscape of overparameterized neural networks
IAS（普林斯顿高等研究院）
我们探讨了过参数化神经网络的损失景观的一些数学特征。我们可以先验地想象，损失函数看起来像是从$\mathbb{R}^n$到$\mathbb{R}$的典型函数--特别是非凸的，具有离散的全局极小值。在本文中，我们证明，在至少一个重要的方式，一个过参数化神经网络的损失函数看起来不像一个典型的功能。如果神经网络具有$n$参数并在$d$数据点上进行训练，则使用$n>d$，我们证明$L$的全局极小值的轨迹$M$通常不是离散的，而是$\mathbb{R}^n$的$n-d$维子流形。在实践中，神经网络通常具有比数据点多几个数量级的参数，因此这一观察结果意味着$M$通常是$\mathbb{R}^n$的一个非常高维的子集。
2018-04-26 cs.AI cs.LG cs.NE
From the Loss Landscape to Diverse Feature Learning in Neural Networks
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
本论文针对神经网络研究中对其解决方案机制认知不足的问题，阐明并利用损失地形中的模式连通性特殊结构，以推动神经网络的可解释性研究。
2026-09-01 cs.AI cs.LG
Favorability of Loss Landscape with Weight Decay Requires Both Large Overparametrization and Initialization
INRIA LMO, Université Paris-Saclay（法国国家信息与自动化研究所 LMO，巴黎-萨克雷大学）
研究探讨了在大规模过参数化和初始化下，带权重衰减的损失景观的良性特性，揭示了其在不同初始化阶段的优化行为差异。
2026-06-29 cs.LG
Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）
本文从损失景观视角重新审视深度集成用于分布外检测，发现独立模式在OoD数据上损失景观差异大，提出模式集成方法提升检测性能并降低方差。
2024-07-16 cs.LG
Dynamical loss functions shape landscape topography and improve learning in artificial neural networks
Departamento de Matemática Aplicada, ETSII, Universidad Politécnica de Madrid（应用数学系，II工学院，马德里理工大学）；Departamento de Estructura de la Materia, Física Térmica y Electrónica, Universidad Complutense Madrid（物质结构系，热力学与电子学系，马德里康普顿斯大学）；GISC - Grupo Interdisciplinar de Sistemas Complejos, Universidad Complutense Madrid（复杂系统跨学科小组，马德里康普顿斯大学）
本文提出动态损失函数，通过让各类别贡献周期性振荡来重塑损失景观，在不改变全局最小值的前提下显著提升不同规模网络的验证准确率，并揭示其与不稳定边缘最小化的关联。
2025-11-05 cs.LG
Paths and Ambient Spaces in Neural Loss Landscapes
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与数学机器学习中心）
本文提出直接将低损失隧道嵌入神经网络损失景观的新方法，揭示了其结构特性并澄清误解，进而应用于贝叶斯神经网络以改进子空间推断。
2025-03-05 cs.LG stat.ML
On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
我们分析了对抗性训练对机器学习模型损失景观的影响。为此，我们首先提供了分析研究的性质的对抗损失函数在不同的对抗预算。然后，我们证明，由于曲率增加和梯度更加分散，对抗性损失景观对优化不太有利。我们的结论得到了数值分析的验证，结果表明，在大的对抗预算下训练会阻止从次优随机初始化中逃脱，导致非零梯度，并使模型找到更尖锐的最小值。基于这些观察，我们表明，周期性对抗调度（PAS）策略可以有效地克服这些挑战，产生比香草对抗训练更好的结果，同时对学习率的选择不太敏感。
2020-11-02 cs.LG stat.ML
Exploring the Geometry and Topology of Neural Network Loss Landscapes
Université de Montréal（蒙特利尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Yale University（耶鲁大学）；Helmholtz Centre Munich（慕尼黑亥姆霍兹中心）
最近的工作已经建立了明确的联系之间的泛化性能的训练神经网络和几何形状的损失景观附近的局部极小值，他们收敛。这表明，定性和定量检查的损失景观的几何形状可以产生的见解神经网络泛化性能在训练过程中。为此，研究人员提出了通过使用简单的降维技术来可视化损失景观。然而，这种可视化方法受到其线性性质的限制，并且仅捕获一维或二维的特征，从而将损失景观的采样限制为线或平面。在这里，我们从三个方面扩展和改进这些。首先，我们提出了一个新的“跳跃和重新训练”的过程中采样的损失景观的相关部分。我们表明，由此产生的采样数据拥有更有意义的信息，网络的泛化能力。接下来，我们通过PHATE（一种轨迹和流形保持方法）对跳跃和再训练轨迹进行非线性降维，使我们能够可视化网络之间的差异，这些网络的泛化能力很好，而不是很差。最后，我们将PHATE轨迹与计算同源性表征相结合，以量化轨迹差异。
2022-01-26 cs.LG stat.ML
Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Pittsburgh（匹兹堡大学）；University of Arizona（亚利桑那大学）；University of Central Florida（中佛罗里达大学）
提出量化鲁棒去学习框架，通过曲率准则定位敏感权重，采用敏感度引导噪声正则化和遗忘关键优化，在MUSE和TOFU基准上实现量化弹性遗忘并保持模型效用。
2026-10-14 cs.AI cs.LG
On the alpha-loss Landscape in the Logistic Model
Arizona State University（亚利桑那州立大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
我们分析了最近推出的一类可调损失函数称为$α$ -损失，$α\in (0,\infty]$，在逻辑模型的优化景观。这个系列包含指数损失（$α= 1/2$），对数损失（$α= 1$）和0-1损失（$α= \infty$），并包含令人信服的属性，使从业者能够辨别与新兴学习方法相关的大量操作条件。具体而言，我们研究的演变的优化景观的$α$损失$α$使用的工具，从严格的局部拟凸函数的研究，除了几何技术。我们通过归一化梯度下降的优化复杂性来解释这些结果。
2020-06-22 cs.IT cs.LG math.IT
Mode connectivity in the loss landscape of parameterized quantum circuits
Taylor University（泰勒大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
参数化量子线路（PQC）的变分训练支持在近期噪声中间尺度量子（NISQ）设备上采用的许多工作流程。它是一种混合量子经典方法，最小化相关的成本函数，以便训练参数化的模拟器。在本文中，我们采用定性损失景观表征神经网络中引入\cite{goodfellow2014qualitatively,li2017visualizing}和测试中使用的连接\cite{draxler2018essentially}研究损失景观功能在PQC训练。我们目前的结果PQC训练一个简单的回归任务，使用双层电路animator，它由交替层的参数化旋转门和纠缠门。多个电路使用$3$不同的批量梯度优化器进行训练：随机梯度下降，量子自然梯度和Adam。我们确定了景观中的大特征，这些特征可以导致训练工作流程的更快收敛。
2021-11-09 cs.LG quant-ph
Visualization and Analysis of the Loss Landscape in Graph Neural Networks
Faculty of Computer Science, University of Vienna（计算机科学系，维也纳大学）；University of Vienna（维也纳大学）
本文提出一种高效的可学习降维方法来可视化GNN损失景观，并分析了多种技术对GNN优化的影响，为架构与训练策略设计提供了新见解。
2025-09-15 cs.LG
