Early-Warning Signals of Grokking via Loss-Landscape Geometry
研究通过损失景观几何分析序列学习任务,发现交换子缺陷在泛化前显著上升,揭示其作为transformers中延迟泛化早期预警信号的机制。
2026-04-03 cs.AI cs.LG
Rolling Ball Optimizer: Learning by ironing out loss landscape wrinkles
Deakin University(德肯大学);Technology Innovation Institute(技术创新研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对神经网络损失景观的复杂纹理和噪声敏感问题,提出滚球优化器(RBO),通过模拟刚性球滚动整合大尺度信息,平滑损失函数,提升收敛速度与泛化性能。
2025-10-24 cs.AI cs.LG math.OC
FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks
University of Vienna(维也纳大学)
尽管神经网络在各个领域得到了有效的应用,但人们对它的许多方面还知之甚少。研究神经网络特性的一个重要方法是探索损失景观。然而,大多数模型产生一个高维的非凸景观,这是很难可视化。我们讨论和扩展现有的可视化方法的基础上,1D和2D切片与一种新的方法,近似的实际损失景观的几何形状,通过使用图表与可解释的轴。基于小神经网络上的观察可以推广到更复杂的系统并为我们提供有用的见解的假设,我们专注于几十个权重范围内的小模型,这使得计算成本低廉的实验和交互式仪表板的使用成为可能。我们观察到零向量周围的对称性,不同层对全局景观的影响,最小值周围的不同权重敏感性,以及梯度下降如何导航高损失障碍。用户研究得出了平均SUS(系统可用性量表)分数,并提出了改进建议,并开辟了许多可能的应用场景,如自动编码器和集成网络。
2022-04-09 cs.LG
Geometry and Symmetry in Short-and-Sparse Deconvolution
Columbia University(哥伦比亚大学);Cornell University(康奈尔大学)
研究了从卷积中恢复短信号$\mathbf a_0$和稀疏信号$\mathbf x_0$的$\textit{Short-and-Sparse (SaS) deconvolution}$问题。我们提出了一种基于非凸优化的方法,该方法在一定条件下恢复目标短而稀疏的信号,直到该模型所固有的符号移位对称。这种对称性在塑造反卷积的优化景观中起着核心作用。我们给出了一个$\textit{regional analysis}$,它的特点是几何景观,在一个联盟的子空间。当长度为$p_0$的短信号$\mathbf a_0$具有移位相干性$μ$时,我们的几何特征成立,并且$\mathbf x_0$遵循具有稀疏率$θ\in \Bigl[\frac{c_1}{p_0}, \frac{c_2}{p_0\sqrtμ+ \sqrt{p_0}}\Bigr]\cdot\frac{1}{\log^2p_0}$的随机稀疏模型。基于这种几何,我们给出了一个可证明的方法,成功地解决了SaS反褶积的高概率。
2019-04-11 cs.LG eess.IV eess.SP
Topology and Geometry of Half-Rectified Network Optimization
UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
深度神经网络的损失面最近引起了优化和机器学习社区的兴趣,作为高维非凸问题的一个主要例子。最近使用自旋玻璃模型和平均场近似获得了一些见解,但代价是强烈简化了模型的非线性性质。在这项工作中,我们不做任何这样的假设和研究的数据分布和模型架构,防止坏的局部极小值的存在条件。我们的理论工作量化并形式化了两个重要的\emph{folklore}事实:(i)深度线性网络的景观与深度半整流网络的拓扑结构完全不同,以及(ii)非线性情况下的能量景观从根本上由数据分布的平滑性和模型过度参数化之间的相互作用控制。我们的主要理论贡献是证明了半整流单层网络是渐近连接的,我们提供了明确的界限,揭示了上述的相互作用。梯度下降的条件是我们解决的下一个挑战。我们研究这个问题,通过几何的水平集,我们介绍了一种算法,以有效地估计这种集的大规模网络的规律性。我们的经验结果表明,这些水平集在整个学习阶段保持连接,这表明了一种近似凸的行为,但随着能级的衰减,它们会变得更加弯曲,这与在实践中观察到的非常低的曲率吸引子一致。
2017-06-01 cs.LG stat.ML
The Global Optimization Geometry of Shallow Linear Neural Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Technion, Israel Institute of Technology(以色列理工学院);Colorado School of Mines(科罗拉多矿业学院)
我们研究了浅线性神经网络的平方误差损失景观。我们表明-与显着温和的假设比以前的作品-相应的优化问题具有良性的几何性质:有没有虚假的局部极小值和Hessian在每个鞍点至少有一个负特征值。这意味着在每个鞍点处存在方向负曲率,算法可以利用该方向负曲率来进一步减小目标值。这些几何性质意味着许多局部搜索算法(如广泛用于训练神经网络的梯度下降算法)可以证明以全局收敛的方式解决训练问题。
2018-11-05 cs.LG stat.ML
Benign Loss Landscapes Can Coexist with Worst-Case Hardness
University of Melbourne(墨尔本大学);Iliad
该研究证明树张量网络虽包含难以学习的目标,但其损失景观对可实现目标是良性的,困难源于高阶退化鞍点,为理解深度学习的泛化提供了新视角。
2026-09-14 cs.LG stat.ML
Noisy Low-rank Matrix Optimization: Geometry of Local Minima and Convergence Rate
University of California, Berkeley(加州大学伯克利分校)
低秩矩阵优化在机器学习中有着广泛的应用。在矩阵传感的特殊情况下,这个问题已经通过限制等距属性(RIP)的概念进行了广泛的研究,导致了大量的结果的几何景观的问题和常见算法的收敛速度。然而,现有的结果可以处理的情况下,一般的目标函数受噪声数据只有当RIP常数接近0的问题。在本文中,我们开发了一个新的数学框架来解决上述问题,限制性更小的RIP常数。我们证明,只要RIP常数的无噪声目标是小于$1/3$,任何虚假的本地解决方案的噪声最优化问题必须接近地面真理的解决方案。通过严格的鞍性质,我们还表明,近似解可以在多项式时间内找到。当RIP常数大于$1/3$时,我们刻画了问题在真实情况下的局部极小值的几何特征。与已有的文献结果相比,本文给出了最强RIP界,并对一般低秩最优化问题在任意有限方差族随机破坏下的全局和局部最优化景观进行了完整的理论分析.
2023-03-15 cs.LG math.OC stat.ML
Gradient Descent as Loss Landscape Navigation: a Normative Framework for Deriving Learning Rules
Harvard Medical School(哈佛医学院);Harvard University(哈佛大学)
提出将学习规则视为损失景观导航策略的理论框架,通过最优控制问题推导出梯度下降、动量和Adam等规则,为设计自适应算法提供了有原则的基础。
2025-10-30 cs.LG
Effects of width-dependent model hyperparameters and $\ell_2$-regularization on the loss landscape of two-layer ReLU networks
Okinawa Institute of Science and Technology(冲绳科学技术研究院)
研究两层ReLU网络中宽度依赖模型超参数和$\ell_2$正则化对损失景观的影响,推导超参数条件及解析解,通过实验发现AdamW可防参数坍缩,揭示了相关因素对损失景观几何结构的影响。
2026-07-21 cs.LG
Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学学院)
本文研究过参数化两层神经网络损失景观的几何结构,证明零泛化误差全局最小值随样本量增大而几何分离,并给出梯度流的局部收敛性质与速率,表明网络可被局部恢复。
2025-04-10 cs.LG math.DS
Loss Landscape Degeneracy and Stagewise Development in Transformers
Timaeus;Department of Computer Science, University of Oxford(计算机科学系,牛津大学);Department of Econometrics and Business Statistics, Monash University(计量经济学与商业统计系,墨尔本大学);School of Mathematics and Statistics, the University of Melbourne(数学与统计学系,墨尔本大学)
本研究基于奇异学习理论,提出Transformer模型发展与损失景观局部简并性相关,通过实验验证训练存在简并性变化阶段且与结构行为变化同步,为理解深度学习提供新视角。
2025-08-01 cs.AI cs.CL cs.LG
The global convergence time of stochastic gradient descent in non-convex landscapes: Sharp estimates via large deviations
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学,CNRS,Inria,格勒诺布尔INP,LJK);Institut de Mathématiques de Toulouse, Université de Toulouse, CNRS, UPS(图卢兹数学研究所,图卢兹大学,CNRS,UPS)
本文利用随机扰动动力系统与大偏差理论,通过匹配上下界紧刻画 SGD 在非凸损失景观中的全局收敛时间,并扩展至浅局部极小值情形。
2025-06-07 cs.LG math.OC
From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning
研究针对长尾学习中泛化差的问题,提出锐度引导平衡采样(SGS)方法,通过调整采样分布优化几何,结合累积类别计数和EMA锐度估计动态调整小批次,实验证明能提升准确率且训练时间短,还开辟了损失景观控制新途径。
2026-07-27 cs.AI cs.LG
From Symmetry to Geometry: Tractable Nonconvex Problems
Rutgers University(罗格斯大学);University of Michigan(密歇根大学);Columbia University(哥伦比亚大学)
随着科学和工程变得越来越数据驱动,优化的作用已经扩展到几乎涉及数据分析管道的每个阶段,从信号和数据采集到建模和预测。实际中遇到的优化问题往往是非凸的。虽然各个问题面临的挑战各不相同,但非凸性的一个常见来源是数据或测量模型中的非线性。非线性模型通常表现出对称性,创造出复杂的、非凸的客观景观,具有多个等价解。然而,简单的方法(例如,梯度下降)在实践中常常表现得令人惊讶地好。本综述的目的是突出一类易处理的非凸问题,这可以通过对称性的镜头来理解。这些问题表现出一个特征几何结构:局部极小是一个单一的“地面真理”解决方案的对称副本,而其他临界点发生在地面真理的对称副本的平衡叠加,并在打破对称的方向上表现出负曲率。这种结构使有效的方法,以获得全球最小。我们讨论的例子,这种现象所产生的广泛的问题,在成像,信号处理和数据分析。我们强调对称性在塑造客观景观中的关键作用,并讨论旋转对称性和离散对称性的不同作用。这一领域是丰富的观察到的现象和开放的问题,我们通过突出未来的研究方向关闭。
2022-07-08 cs.CV cs.IT cs.LG
The origin of power-law distributions in deterministic walks: the influence of landscape geometry
我们研究了确定性行走的性质,其运动规则总是前往最近的站点。最初,这些地点随机分布在一个封闭的矩形($A/L \times L)$)景观中,一旦到达,它们就无法用于未来的访问。正如预期的那样,步行者步长呈现一维($L \to 0$)和二维($A/L \sim L$)特征尺度。然而,我们发现规模不变性的中间几何形状,当景观是一个薄的带状区域。这一结果是诱导几何动态捕获机制,导致幂律分布的步长。我们的研究结果在更广泛的背景下的相关性-确定性和随机游走-也进行了简要讨论。
2007-05-30 cond-mat.dis-nn
Local state space geometry and thermal metastability in complex landscapes: the spin-glass case
通过穷举搜索,得到了自旋玻璃中局域能量极小组态空间邻域的一个简单几何特征。结合以前的Monte Carlo调查的热畴生长,它允许讨论真实的和配置空间描述的低温弛豫动力学之间的连接。我们认为,对应于单个生长域的状态空间部分可以通过分层组织的状态集进行充分建模,并且自旋玻璃的热(Meta)稳定性与每个陷阱内存在的接近指数的局部状态密度有关。
1998-05-06 cond-mat.dis-nn cond-mat.stat-mech
Localization Landscapes as Operator-Induced Geometry for Heterogeneous Systems
Columbia University(哥伦比亚大学)
本文提出局域化景观作为算子诱导几何,通过有效势揭示异质系统中的隐藏结构,解释低能模支撑并增强注意力局域性,其作为归纳偏置在约束场景有效但任务依赖。
2026-09-15 cond-mat.dis-nn math-ph math.MP
The Hidden Landscape of Localization
波的局部化发生在所有类型的振动系统中,在声学、力学、光学或量子物理学中。它出现在不规则几何系统(弱局域化)或无序系统(安德森局域化)。我们在这里提出了一个一般的理论,解释了系统的几何形状和波算子如何相互作用,产生一个“景观”,分裂成弱耦合的子区域的系统,以及这些区域如何形状的振动本征模的空间分布。这个理论适用于任何维度,任何区域形状,以及所有从能量形式导出的算子。它在同一个数学框架中包含了弱定域化和安德森局域化,并特别表明,安德森局域化可以理解为在非常粗糙的地形中弱定域化的一种特殊情况。
2011-07-02 cond-mat.dis-nn math-ph math.MP
The geometry and dynamics of annealed optimization in the coherent Ising machine with hidden and planted solutions
Stanford University(斯坦福大学)
本文研究相干伊辛机退火优化中能量景观几何与动力学的关联,揭示低能全局最小值的软模引导下降,并分析隐藏植入解的可恢复性相变。
2026-10-01 cond-mat.dis-nn cond-mat.stat-mech physics.optics
Energy landscapes of combinatorial optimization in Ising machines
本文通过扩展断连图可视化工具分析伊辛机在组合优化中的能量景观,揭示QUBO映射导致的能量垒与局部极小值问题,并指出二次伊辛机性能受限的原因及改进方向。
2024-08-28 cond-mat.dis-nn
Geometry and localization: Probing Localization Landscape Theory on the Bethe Lattice
Sorbonne Université(索邦大学)
本文在贝特晶格上精确求解局域化景观理论(LLT)的渗流问题,发现其与安德森局域化转变具有不同的临界行为,但LLT能再现低无序区的精确结果。
2026-05-28 cond-mat.dis-nn cond-mat.stat-mech
Extracting the Landscape and Morphology of Aging Glassy Systems
我们提出了一种方法来分析景观几何形状的玻璃系统探索后,淬火完全基于时间序列的能量值记录在模拟。进入和退出时间景观“山谷”的定义操作异常能量变化的发生所揭示的障碍和能量记录。将这些非平衡事件--或“地震”--与热噪声的记录统计联系起来,立即导致了在玻璃态动力学中普遍存在的$\ln t$弛豫行为。伊辛自旋玻璃在二维和三维的老化研究作为一个检查的一些低温和晶格尺寸。一个简单的图片出现在例如1)作为谷指数的函数的能量势垒的温度和系统大小的标度,和2)在每个谷中看到的最低能量的系统大小的标度。
2003-02-11 cond-mat.dis-nn cond-mat.soft cond-mat.stat-mech
Exploring high-dimensional random landscapes: from spin glasses to random matrices, passing through simple chaotic systems
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
本论文结合Kac-Rice形式体系与动力学方法,研究高维随机景观,在非互易模型、随机神经网络不动点、p-spin势垒及随机矩阵特征向量重叠方面取得进展,深化了理解并提供新工具。
2025-10-27 cond-mat.dis-nn
The geometry of jamming algorithms in the random Lorentz gas
Duke University(杜克大学);Seton Hall University(设特霍尔大学);Georg-August-Universität Göttingen(哥廷根大学)
针对硬球阻塞这一无序物质关键模型,提出几何类梯度下降算法研究随机洛伦兹气体,发现本征结构统计继承自泊松-沃罗诺伊镶嵌,证实阻塞普适类的几何本质并明确动力学加德纳转变的物理起源。
2025-11-11 cond-mat.dis-nn cond-mat.soft
One single static measurement predicts wave localization in complex structures
最近的理论突破带来了一个新的工具,称为\emph{localization landscape},预测在复杂或无序系统的振动模式的本地化区域。在这里,我们报告的第一个实验,测量本地化景观,并证明其预测能力。利用全息技术测量具有复杂几何形状的薄板在均布载荷作用下的静态变形,可以直接获得横向函数。在振动时,该系统显示出精确地限制在由景观功能划定的子区域内的模式。此外,该函数的最大值与测量的本征频率相匹配,而谷网络的最小值给出了模式扩展的频率。这种方法可以通过单次静态测量全面表征复杂结构的低频谱。它为任何振动系统中本征模的控制和工程铺平了道路,特别是在结构或微观描述无法访问的情况下。
2016-04-11 cond-mat.dis-nn
Geometric landscape annealing as an optimization principle underlying the coherent Ising machine
针对相干伊辛机(CIM)求解组合优化的性能理论缺失问题,本文利用自旋玻璃理论揭示了CIM在高维能量景观演化中的相变规律,提出了基于几何景观退火的最佳退火方案以可靠寻找近基态。
2023-09-15 cond-mat.dis-nn physics.optics