Piecewise convexity of artificial neural networks
Stanford University(斯坦福大学)
尽管人工神经网络在计算机视觉和语音识别等应用中显示出巨大的前景,但在优化其参数方面仍然存在相当大的实际和理论困难。梯度下降方法在最小化这些非凸函数方面看似不合理的成功仍然知之甚少。在这项工作中,我们提供了一些理论保证网络分段仿射激活函数,这在最近几年已成为常态。我们证明了三个主要结果。首先,网络是作为输入数据的函数的分段凸的。其次,网络,被认为是一个函数的参数在一个单一的层,所有其他保持不变,再次分段凸。最后,网络作为其所有参数的函数是分段多凸的,是双凸性的推广。从这里我们描述了训练目标的局部极小值和稳定点,表明它们最小化了参数空间的某些子集。然后,我们分析了两种优化算法的性能多凸问题:梯度下降,和一种方法,反复解决了一些凸子问题。我们证明了必要的收敛条件的第一个算法和必要和充分条件的第二个,引入正则化的目标。最后,我们评论的剩余困难的全局优化问题。在平方误差目标下,我们证明了通过改变训练数据,单个整流器神经元在目标值和参数空间中都允许任意远的局部极小值。
2016-12-28 cs.AI cs.CV cs.LG
A Unified Theory of Sparse Dictionary Learning in Mechanistic Interpretability: Piecewise Biconvexity and Spurious Minima
National University of Singapore(新加坡国立大学);Indian Institute of Technology, Dhanbad(印度德里理工学院);Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology(香港科学与技术大学);Peking University(北京大学)
本文提出稀疏字典学习的统一理论,揭示其分段双凸性及虚假极值问题,通过线性表示基准揭示路径学,提出特征锚定技术提升特征恢复性能。
2026-05-02 cs.AI cs.LG
The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models
Carnegie Mellon University(卡内基梅隆大学)
如今,用户对他们使用的模型的信任比以往任何时候都更加重要。随着机器学习模型受到越来越多的监管审查,并开始在高风险情况下看到更多的应用,解释我们的模型变得至关重要。具有ReLU激活函数的分段线性神经网络(PLNN)由于许多吸引人的特性而迅速成为非常受欢迎的模型;然而,它们在鲁棒性和解释方面仍然存在许多挑战。为此,我们引入了新的方法来简化和增加分段线性神经网络的分类任务的可解释性。我们的方法包括使用经过训练的深度网络来生成性能良好的单隐藏层网络,而无需进一步的随机训练,此外还使用一种算法将平面网络减少到更小,更可解释的大小,同时性能损失最小。在这些方法中,我们进行了初步的研究模型的性能,以及富国银行的家庭贷款数据集的案例研究,连同可视化模型解释。
2020-12-02 cs.AI cs.LG stat.ML
When Does Non-Orthogonal Tensor Decomposition Have No Spurious Local Minima?
Princeton University(普林斯顿大学)
研究了$k$非正交分量分解$d$维四阶张量的优化问题。我们推导出\textit{deterministic}的条件下,这样的问题没有虚假的局部极小。特别是,我们表明,如果$κ= \frac{λ_{max}}{λ_{min}} < \frac{5}{4}$,和不相干系数的顺序为$O(\frac{1}{\sqrt{d}})$,那么所有的局部极小是全局最优的。使用标准技术,这些条件可以很容易地转换成条件,将保持在高维的高概率时,随机生成的组件。最后,我们证明了张量功率方法与紧缩和重新启动可以有效地提取所有组件的公差水平$O(κ\sqrt{kτ^3})$,这似乎是非正交张量分解的噪声地板。
2019-11-22 cs.LG
Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Simon Fraser University(西蒙菲莎大学)
研究证明具有二次激活的浅层复神经网络无伪局部极小值,而相同条件下的实神经网络存在无限多个,复值权重能将差的局部极小值转化为鞍点。
2024-11-12 cs.LG stat.ML
Depth creates no more spurious local minima
Google Research(谷歌研究院)
我们证明了对于任何凸可微损失,深度线性网络没有虚假的局部极小值,只要它对两层情况是真的。这种简化大大简化了对深度线性网络中伪局部极小点存在性的研究。当应用于二次损失时,我们的结果立即暗示了[Kawaguchi 2016]中的强大结果。此外,通过[Zhou and Liang 2018]的工作,我们可以删除[Kawaguchi 2016]中的所有假设。这个性质也适用于更一般的“多塔”线性网络。我们的证明建立在[Laurent and von Brecht 2018]的基础上,并开发了一个新的扰动参数,以表明任何虚假的局部最小值必须具有满秩,这是一种更普遍有用的结构性质。
2020-01-06 cs.LG stat.ML
Spurious Local Minima are Common in Two-Layer ReLU Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
我们考虑与训练$\mathbf{x}\mapsto \sum_{i=1}^{k}\max\{0,\mathbf{w}_i^\top \mathbf{x}\}$形式的简单ReLU神经网络相关的优化问题。我们提供了一个计算机辅助的证明,即使输入分布是标准的高斯,即使尺寸是任意大,即使目标值是由这样的网络生成的,与正交参数向量,问题仍然可以有虚假的局部极小值一次$6\le k\le 20$。通过测量参数的集中,这意味着在高输入维度下,相关大小的\emph{nearly all}目标网络会导致虚假的局部极小值。此外,我们进行的实验表明,击中这样的局部极小值的概率是相当高的,并与网络的大小增加。在积极的一面,温和的过度参数化似乎大大减少了这种局部极小值,这表明过度参数化假设是必要的,以获得积极的结果,在这种设置。
2018-08-09 cs.LG stat.ML
Annihilation of Spurious Minima in Two-Layer ReLU Networks
The Hebrew University(希伯来大学);UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究了与拟合双层ReLU神经网络相关的优化问题,其中标签由目标网络生成。使用是由丰富的对称结构,开发一套新的工具,用于研究的机制,其中过参数化消除虚假的最小值。尖锐的分析估计得到的损失和海森谱在不同的最小值,它被证明,添加神经元可以把对称的虚假最小值成鞍;最小的对称性较小,需要更多的神经元。利用柯西交错定理,证明了由损失函数的对称结构引起的某些子空间中下降方向的存在性。这种分析方法使用的技术,新的领域,从代数几何,表示理论和对称性破缺,并严格证实了有效的过参数化,使相关的损失景观访问基于梯度的方法。对于固定数目的神经元和输入,谱结果保持真实的对称性破缺扰动的目标。
2022-10-12 cs.LG math.OC
Analytic Study of Families of Spurious Minima in Two-Layer ReLU Neural Networks: A Tale of Symmetry II
The Hebrew University(希伯来大学);UC Santa Barbara(加利福尼亚大学圣巴巴拉分校)
我们研究了与拟合双层ReLU神经网络相关的优化问题,其中标签由目标网络生成。我们利用丰富的对称结构,开发了一套新的工具来研究家庭的虚假极小。与现有的方法,在有限的制度,我们的技术直接解决了非凸损失景观有限数量的输入$d$和神经元$k$,并提供分析,而不是启发式的信息。特别是,我们推导出分析估计的损失在不同的最小值,并证明模$O(d^{-1/2})$ -项的海森谱集中在小的正常数附近,与$Θ(d)$的特征值与~ $d$线性增长的例外。我们进一步表明,在全球和虚假的最小值的海森谱符合$O(d^{-1/2})$顺序,从而挑战我们的能力,通过局部曲率统计推广。最后,我们的技术提供了精确的\emph{fractional}维数,在该维数下,临界点族从鞍点变为伪极小值。这使得有可能使用强大的工具,从等变分岔理论的虚假极小值的创建和湮灭的研究。
2021-10-17 cs.LG math.DS math.OC
Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校)
已知非凸矩阵恢复在具有足够小的RIP常数$δ$的限制等距性质(RIP)下不包含伪局部极小值。然而,如果$δ$太大,则已知存在包含伪局部最小值的反例。在本文中,我们介绍了一种证明技术,能够建立尖锐的阈值$δ$,以保证不存在虚假的局部极小值。使用该技术,我们证明了在秩为1的地面真值的情况下,RIP常数$δ<1/2$是必要的和充分的精确恢复从任何任意的初始点(如随机点)。我们还证明了一个局部恢复的结果:给定一个初始点$x_{0}$满足$f(x_{0})\le(1-δ)^{2}f(0)$,任何下降算法,收敛到二阶最优保证准确的恢复。
2019-06-13 cs.LG math.OC stat.ML
LoRA Training in the NTK Regime has No Spurious Local Minima
Seoul National University(首尔国立大学);Princeton University(普林斯顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文在NTK机制下理论分析LoRA微调,证明秩$r\backsimeq \nqurt{N}$的LoRA可消除虚假局部极小值,使梯度下降找到低秩解且泛化良好。
2024-05-28 cs.LG math.OC
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis
Duke University(杜克大学);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们开发了一个新的框架,捕捉常见的非凸低秩矩阵问题,包括矩阵传感,矩阵完成和强大的PCA的共同景观。特别地,我们证明了所有上述问题(包括非对称情况):1)所有局部极小值也是全局最优的; 2)不存在高阶鞍点。这些结果解释了为什么简单的算法,如随机梯度下降具有全局收敛性,并在实践中有效地优化这些非凸目标函数。我们的框架连接和简化了现有的分析优化景观矩阵传感和对称矩阵完成。该框架自然会导致新的结果,非对称矩阵完成和强大的PCA。
2017-04-03 cs.LG math.OC stat.ML
Non-square matrix sensing without spurious local minima via the Burer-Monteiro approach
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文在受限等距性质假设下研究非正方形矩阵感知问题,通过非凸方法证明矩阵分解在RIP条件下不引入虚假局部极小值。
2016-09-27 cs.IT cs.LG cs.NA
Removing spurious minima for planar features by skip connections
Freie Universität Berlin(柏林自由大学);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Mathematics in the Sciences, Leipzig(马克斯·普朗克数学科学研究所)
本研究证明在教师-学生设置中,可学习的线性跳跃连接能消除浅层ReLU网络的伪局部极小值,即使过参数化也无法移除的伪极小值可被跳跃连接去除,且学生特征位于教师特征张成空间内。
2026-10-06 cs.AI cs.LG math.OC
Structures of Spurious Local Minima in $k$-means
Cornell University(康奈尔大学);Rutgers University(罗格斯大学)
$k$ -均值聚类是无监督学习中的一个基本问题。该问题涉及到找到一个分区的数据点到$k$集群,使集群内的变化最小化。尽管它的重要性和广泛的适用性,理论上理解的$k$ -手段的问题还没有完全令人满意。具有理论性能保证的现有算法通常依赖于复杂的(有时是人工的)算法技术和对数据的限制性假设。主要的挑战在于问题的非凸性,特别是,存在额外的本地解决方案以外的全球最佳。此外,最简单和最流行的算法$k$ -手段,即劳埃德算法,一般收敛到这样的虚假的局部解决方案,在理论和实践中。在本文中,我们接近$k$ -手段问题从一个新的角度来看,通过调查这些虚假的局部解的结构下的概率生成模型与$k$地面真相集群。只要$k=3$,虚假的局部极小值可证明存在,即使是良好分离和平衡的集群。一个这样的局部最小值将两个中心放在一个真实聚类中,第三个中心放在其他两个真实聚类的中间。对于一般的$k$,一个局部最小值将多个中心置于真实聚类,并且将一个中心置于多个真实聚类的中间。也许令人惊讶的是,我们证明,这基本上是唯一类型的虚假的局部极小分离条件下。我们的研究结果涉及到的$k$ -均值制定的混合高斯或有界分布。我们的理论结果证实了现有的经验观察,并提供了几个改进的算法$k$均值聚类的理由。
2020-02-21 cs.LG math.OC math.ST
Representing Piecewise-Linear Functions by Functions with Minimal Arity
Johann Radon Institute for Computational and Applied Mathematics(约翰·拉登研究所(计算与应用数学));Research Institute for Symbolic Computation(符号计算研究所);Johannes Kepler University(约翰· Kepler大学)
本文研究了连续分段线性函数表示为max函数线性组合所需的最小参数个数,建立了函数诱导的空间剖分与所需参数个数之间的直接联系。
2026-06-19 cs.DM cs.LG cs.SC
Exact Guarantees on the Absence of Spurious Local Minima for Non-negative Rank-1 Robust Principal Component Analysis
University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
这项工作是关于非负秩-1鲁棒主成分分析(RPCA),其目标是恢复占主导地位的非负主成分的数据矩阵精确,其中一些测量可能严重损坏稀疏和任意大的噪声。大多数已知的求解RPCA的技术都依赖于凸松弛方法,将问题提升到更高的维度,从而显着增加了变量的数量。作为替代方案,可以使用众所周知的Burer-Monteiro方法将RPCA转换为具有显著更少数量的变量的非凸和非光滑的$\ell_1$优化问题。在这项工作中,我们证明了基于Burer-Monteiro方法的对称和非对称正秩1 RPCA的低维公式具有良好的景观,即,1)它不具有任何伪局部解,2)具有唯一的全局解,以及3)其唯一的全局解与真实分量一致。这个结果的一个含义是,简单的局部搜索算法保证实现零全局最优性差距时,直接应用到低维配方。此外,我们提供了强有力的确定性和概率保证真正的主成分的精确恢复。特别是,它表明,一个恒定的分数的测量可能会严重损坏,但他们不会创建任何虚假的本地解决方案。
2019-09-03 cs.LG stat.ML
How Much Restricted Isometry is Needed In Nonconvex Matrix Recovery?
University of California, Berkeley(加州大学伯克利分校)
当线性测量的低秩矩阵恢复的一个实例满足一个受限制的等距属性(RIP)-即它们是近似范数保持-问题是已知的,不包含虚假的局部极小值,所以准确的恢复是有保证的。在本文中,我们表明,适度的RIP是不足以消除虚假的局部极小,所以现有的结果只能保持近完美的RIP。事实上,反例是无处不在的:我们证明,每一个x是虚假的局部最小值秩1的矩阵恢复,满足RIP的情况。一个具体的反例有RIP常数$δ=1/2$,但导致随机初始化的随机梯度下降(SGD)失败12%的时间。SGD经常能够避免和逃脱虚假的局部极小值,但这个经验结果表明,它偶尔会被它们的存在所击败。因此,虽然精确的恢复保证可能需要证明没有虚假的局部最小值,但仅基于范数保持的论点将仅适用于一组狭窄的近各向同性实例。
2018-10-30 cs.LG math.OC stat.ML
Gradient Descent Learns One-hidden-layer CNN: Don't be Afraid of Spurious Local Minima
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
我们考虑学习具有非重叠卷积层和ReLU激活的单隐藏层神经网络的问题,即,$f(\mathbf{Z}, \mathbf{w}, \mathbf{a}) = \sum_j a_jσ(\mathbf{w}^T\mathbf{Z}_j)$,其中卷积权重$\mathbf{w}$和输出权重$\mathbf{a}$都是要学习的参数。当标签是从相同的结构与固定权重$(\mathbf{w}^*, \mathbf{a}^*)$的教师网络的输出,我们证明了高斯输入$\mathbf{Z}$,有一个虚假的局部极小。令人惊讶的是,在存在伪局部最小值的情况下,仍然可以证明具有来自随机初始化权重的权重归一化的梯度下降以恒定概率恢复真实参数,该概率可以通过多次重启提升到概率$1$。我们还表明,与恒定的概率,相同的程序也可以收敛到虚假的局部最小值,局部最小值发挥了重要作用的动态梯度下降。此外,定量分析表明,梯度下降动态有两个阶段:它开始缓慢,但收敛速度快得多,经过几次迭代。
2018-06-15 cs.AI cs.CV cs.LG
Passed & Spurious: Descent Algorithms and Local Minima in Spiked Matrix-Tensor Models
Institut de physique théorique, Université Paris Saclay, CNRS, CEA(巴黎萨克雷大学理论物理研究所,法国国家科学研究中心,法国原子能和替代能源委员会)
在这项工作中,我们定量分析损失景观和性能下降算法在一个原型推理问题,尖峰矩阵张量模型之间的相互作用。我们研究的损失函数是负对数似然模型。我们分析了在一个固定的距离从信号/穗与卡茨-赖斯公式的局部极小值的数量,并定位平凡化的景观在大的信噪比。我们评估在一个封闭的形式的梯度流算法,使用积分微分偏微分方程的性能,在物理学的无序系统的朗之万动力学。我们分析了一个近似的消息传递算法的性能估计最大似然配置通过其状态演化。我们得出结论,通过比较上述结果:虽然我们观察到一个急剧放缓的梯度流动态,即使在该地区的景观是微不足道的,这两个分析的算法表现良好,即使在该地区的参数,其中虚假的局部极小值存在的部分。
2020-01-20 cond-mat.dis-nn cs.LG math.ST
Favorability of Loss Landscape with Weight Decay Requires Both Large Overparametrization and Initialization
INRIA LMO, Université Paris-Saclay(法国国家信息与自动化研究所 LMO,巴黎-萨克雷大学)
研究探讨了在大规模过参数化和初始化下,带权重衰减的损失景观的良性特性,揭示了其在不同初始化阶段的优化行为差异。
2026-06-29 cs.LG
From Redundancy to Minimality: Fixed-Point-Guided Hierarchical Reduction of Learned Piecewise-Linear Dynamics
Osaka Metropolitan University(大阪公立大学);International Research Center for Neurointelligence (IRCN), The University of Tokyo(东京大学国际神经智能研究中心);Nagoya Institute of Technology(名古屋工业大学)
本文提出不动点引导的层次化约简方法,通过先训练冗余AL-RNN再逐步线性化约简,实现最小动力学表示,并在蔡氏系统上将成功率从20%提升至约71%。
2026-10-02 cs.LG nlin.CD
How Many Samples is a Good Initial Point Worth in Low-rank Matrix Recovery?
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
给定足够大的标记数据量,非凸低秩矩阵恢复问题不包含虚假的局部最小值,因此保证局部优化算法从任何初始猜测开始收敛到全局最小值。然而,这种理论保证所需的实际数据量是非常悲观的,因为它必须防止虚假的局部极小值存在于任何地方,包括在敌对位置。相比之下,基于良好的初始猜测的先前工作具有更现实的数据要求,因为它们允许虚假的局部极小值存在于解的邻域之外。在本文中,我们量化的初始猜测的质量和相应的减少数据需求之间的关系。使用受限制的等距常数作为样本复杂性的替代,我们计算出一个尖锐的阈值数量的样本,以防止每个特定点的优化景观成为一个虚假的局部最小值。在景观区域上优化阈值,我们看到,对于地面实况周围的初始点,初始猜测质量的线性改善相当于样本复杂度的常数因子改善。
2020-11-12 cs.LG stat.ML
Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
Dept. of Electrical and Computer Engineering University of Illinois at Urbana-Champaign(电气与计算机工程系伊利诺伊大学厄巴纳-香槟分校)
研究发现非负低秩矩阵恢复在特定条件下存在虚假局部极小值,挑战了非凸方法的经验成功解释。
2026-01-21 cs.LG math.OC stat.ML
Matrix Completion has No Spurious Local Minimum
Duke University(杜克大学);University of Southern California(南加州大学);Princeton University(普林斯顿大学)
矩阵完备化是一个基本的机器学习问题,在协同过滤和推荐系统中有着广泛的应用。简单的非凸优化算法在实际中是流行和有效的。尽管最近在证明各种非凸算法从一个好的初始点收敛方面取得了进展,但仍然不清楚为什么随机或任意初始化在实践中就足够了。我们证明了\textit{positive semidefinite}矩阵完备化中常用的非凸目标函数不存在虚假的局部极小值-所有的局部极小值也必须是全局的。因此,许多流行的优化算法,如(随机)梯度下降可以证明解决半正定矩阵完成\textit{arbitrary}初始化在多项式时间。该结果可以推广到当观察到的条目包含噪声时的设置。我们相信,我们的主要证明策略可以用于理解几何性质的其他统计问题,涉及部分或噪声观测。
2018-07-22 cs.DS cs.LG stat.ML
Equivariant bifurcation, quadratic equivariants, and symmetry breaking for the standard representation of $S_n$
NYU(纽约大学);UCSB(加州大学圣巴巴拉分校)
源于一类浅的学生-教师神经网络的研究问题的动机,方法开发的分析类的梯度等变动力学相关的神经网络的虚假最小值。在对称的情况下,方法依赖于$n$符号,$S_n$的对称群的不可约表示的通用等变分支理论;特别是,$S_n$的标准表示。它表明,虚假的最小值不产生自发的对称性破缺,而是通过一个复杂的变形的景观几何形状,可以由一个通用的$S_n$ -等变分岔编码。我们描述了最小的被迫对称性破缺模型,给出了一个下界的动态复杂性,在创建虚假的最小值时,没有对称性。一般的分歧时,有二次等变的结果也被证明,这项工作扩展和澄清的结果Ihrig和Golubitsky和Chossat,Lauterback和墨尔本的解的不稳定性时,有二次等变。
2021-07-06 cs.LG math.DS math.OC
On the Landscape of One-hidden-layer Sparse Networks and Beyond
Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
稀疏神经网络由于其相对于密集网络的小尺寸而受到越来越多的关注。然而,现有的神经网络理论研究大多集中在密集神经网络上,对稀疏网络的理解非常有限。在本文中,我们研究了单隐层稀疏网络的损失景观。首先,我们考虑具有密集最终层的稀疏网络。我们证明了线性网络在特殊的稀疏结构下可以不存在伪谷,而非线性网络在宽的最终层下也可以不存在伪谷。其次,我们发现,虚假的山谷和虚假的最小值可以存在广泛的稀疏网络与稀疏的最后一层。这与在温和假设下没有虚假谷的宽密集网络不同。
2022-05-17 cs.LG stat.ML
Multi-Prototypes Convex Merging Based K-Means Clustering Algorithm
Xidian University(西安电子科技大学);The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港心脑血管健康工程中心)
K-Means算法是一种流行的聚类方法。然而,它有两个局限性:1)它很容易陷入虚假的局部最小值,2)聚类数k必须事先给定。针对这两个问题,提出了一种基于多原型凸合并的K-Means聚类算法(MCKM)。首先,基于K-Means问题的伪局部极小点的结构,设计了多原型采样(MPS),以选择适当数量的多原型数据与任意形状。从理论上证明了MPS选择的多个原型能够以常数因子逼近K-Means问题的最优成本。然后,一个合并技术,称为凸合并(CM),合并的多个原型,以获得一个更好的局部最小值,而无需k是给定的先验。具体地,CM可以获得最优合并并估计正确的k。通过将这两种技术与K-Means算法相结合,所提出的MCKM是一种有效的和可解释的聚类算法,用于在不首先给定k的情况下避免K-Means问题的不期望的局部极小值。在合成数据集和真实数据集上的实验结果验证了该算法的有效性。
2023-02-14 cs.LG
Almost Minimax Optimal Best Arm Identification in Piecewise Stationary Linear Bandits
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出分段平稳线性老虎机模型,设计了PS$\varepsilon$BAI$^+$算法,通过并行执行变点检测与上下文对齐,以最小样本复杂度识别最优臂,并证明其在对数因子内达到极小极大最优。
2024-10-10 cs.AI cs.IT cs.LG
Salient ImageNet: How to discover spurious features in Deep Learning?
University of Maryland, College Park(马里兰大学帕克分校)
深度神经网络在现实世界中可能是不可靠的,特别是当它们大量使用{ \it spurious}特征进行预测时。聚焦于图像分类,我们将{ \it核心特征}定义为始终是对象定义的一部分的视觉特征的集合,而{ \it虚假特征}是可能与对象{ \it共同出现}但不是其一部分的特征(例如,属性“fingers”用于类“band aid”)。发现虚假特征的传统方法要么需要大量的人工注释(因此不可扩展),要么在特定模型上有用。在这项工作中,我们引入了一个{ \it一般}框架,发现一个子集的虚假和核心的视觉特征中使用的一般模型的推论和本地化他们大量的图像与最小的人类监督。我们的方法基于这个关键思想:为了识别模型预测中使用的虚假或核心\textit{neural features},我们通过有限的人类监督(例如,每个特征使用前5个激活图像)。然后,我们表明,这些神经功能注释{ \it推广}非常好,以更多的图像{ \it没有}任何人的监督。我们使用这些神经特征的激活图作为软掩模来突出虚假或核心视觉特征。使用这种方法,我们介绍了{ \it显着Imagenet}数据集包含核心和虚假掩模的一个大的样本集Imagenet。使用这个数据集,我们发现几个流行的Imagenet模型在预测中严重依赖于各种虚假特征,这表明仅凭标准精度不足以全面评估模型性能。用于再现论文中所有实验的代码和数据集可在\url{https://…
2022-03-28 cs.CV cs.LG
Pure and Spurious Critical Points: a Geometric Study of Linear Networks
New York University(纽约大学);KTH Stockholm(瑞典皇家理工学院)
神经网络的损失函数的临界轨迹由函数空间的几何形状和网络权重对该空间的参数化确定。我们引入一个自然的纯临界点之间的区别,这只取决于功能空间,和虚假的临界点,这是从参数化。我们应用这个观点来重新审视和扩展线性神经网络的损失函数的文献。对于这种类型的网络,函数空间是从输入空间到输出空间的所有线性映射的集合,或者是行列式簇,即,一组秩有界的线性映射。我们利用行列式簇的几何性质,得到了关于具有不同损失函数和不同参数化的线性网络的景观的新结果。我们的分析清楚地表明,在线性网络的损失景观中没有“坏”局部极小值是由于两种不同的现象,适用于不同的设置:在可以表示所有线性映射的结构(“填充结构”)的情况下,对于任意光滑凸损失是正确的,但是当函数空间是行列式簇时,它仅适用于二次损失(“非填充结构”)。在没有任何架构假设的情况下,光滑凸损失可能会导致具有许多坏极小值的景观。
2020-04-03 cs.LG math.AG stat.ML
Piecewise Linear Regression via a Difference of Convex Functions
Boston University(波士顿大学)
我们提出了一种新的分段线性回归方法,利用拟合的凸函数(DC函数)的数据的差异。这些是函数$f$,其可以表示为用于凸函数$ϕ_1, ϕ_2$的选择的差$ϕ_1 - ϕ_2$。该方法通过估计分段线性凸函数,以类似于最大仿射回归的方式进行,其差近似于数据。的功能的选择是正规化的一个新的控制类的DC功能,控制的$\ell_\infty$ Lipschitz常数的估计。由此产生的方法可以有效地实现通过二次规划,即使在高维度,并显示有接近极大极小的统计风险。我们经验验证的方法,表明它是实际可实现的,并具有可比的性能,现有的回归/分类方法对现实世界的数据集。
2020-11-13 cs.LG stat.ML
On minimal representations of shallow ReLU networks
浅层ReLU网络的实现函数是连续的分段仿射函数$f:\mathbb R^d\to \mathbb R$,其中域$\mathbb R^{d}$被一组$n$超平面划分为$f$在其上仿射的单元。我们发现,$f$的最小表示使用$n$,$n+1$或$n+2$神经元,我们的特点,每三种情况下。在输入层是一维的特定情况下,最小表示总是最多使用$n+1$神经元,但在所有更高维的设置中,存在需要$n+2$神经元的函数。然后证明了表示$f$的极小网络的集合构成$C^\infty$ -子流形$M$,并导出了$M$的连通分支的维数和个数.此外,我们给出了超平面的一个标准,该标准保证所有连续的分段仿射函数都是适当的ReLU网络的实现函数。
2021-08-12 cs.LG math.ST stat.TH
Piecewise Strong Convexity of Neural Networks
University of Toronto(多伦多大学)
我们研究了具有ReLU非线性的前馈神经网络的损失面,并使用权重衰减进行正则化。我们证明了正则化的损失函数在一个重要的开集上是分段强凸的,在一定条件下,该开集包含其所有的全局极小点。这用于证明该集合中正则化损失函数的局部极小值是孤立的,并且该集合中的每个可微临界点都是局部极小值,部分解决了2015年学习理论会议(COLT)上给出的公开问题;我们的结果也被应用于线性神经网络以表明利用权重衰减正则化,在获得低于给定阈值的训练误差的标准球中不存在非零临界点。我们还包括一个实验部分,我们验证我们的理论工作,并表明正则化的损失函数几乎总是分段强凸时,仅限于随机梯度下降轨迹为三个标准的图像分类问题。
2019-12-09 cs.LG cs.NE
Complex Dynamics in Simple Neural Networks: Understanding Gradient Flow in Phase Retrieval
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);Laboratoire de Physique de l’Ecole normale supérieure ENS(巴黎高等师范学院物理实验室);Université PSL(巴黎文理研究大学);Sorbonne Université(索邦大学);Université Paris-Diderot(巴黎第七大学);Sorbonne Paris Cité(巴黎索邦西岱大学);King’s College London(伦敦国王学院)
尽管基于梯度的算法被广泛用于优化高维非凸函数,但了解它们找到良好最小值而不是陷入虚假最小值的能力在很大程度上仍然是一个开放的问题。在这里,我们专注于梯度流动力学相位恢复随机测量。当测量的数量与输入维度的比值很小时,动力学仍然被困在具有大吸引盆的虚假最小值中。我们分析发现,超过一个临界比率,这些临界点变得不稳定的发展朝着信号的负方向。通过数值实验,我们表明,在这种制度的梯度流算法是没有被困,它漂移远离虚假的临界点沿不稳定的方向,并成功地找到全局最小值。使用统计物理学的工具,我们描述了这种现象,这是一个BBP型过渡的Hessian的虚假极小值。
2020-06-12 cond-mat.dis-nn cs.LG math.ST
Decomposition Polyhedra of Piecewise Linear Functions
Ruhr-Universität Bochum(博德姆鲁尔大学);Max Planck Institute MiS(马克斯·普朗克研究所MiS);University of Technology Nuremberg(纽伦堡技术大学)
本文研究如何将连续分段线性函数分解为两个凸分段线性函数的差,通过固定多面体复形来确定非线性区域的可能位置,并证明分解集合形成一个多面体,从而为优化和神经网络理论提供新的见解。
2026-06-04 cs.DM cs.LG cs.NE
Escaping Local Minima Provably in Non-convex Matrix Sensing: A Deterministic Framework via Simulated Lifting
本文提出了一种确定性框架,通过模拟提升方法在非凸矩阵感知中证明性地逃离虚假局部极小值,无需实际提升计算,且具有最小的计算成本。
2026-08-20 cs.LG math.OC
Symmetry & critical points for a model shallow neural network
NYU(纽约大学);UCSB(加州大学圣巴巴拉分校)
我们考虑与使用$k$隐藏神经元拟合双层ReLU网络相关的优化问题,其中假设标签由(教师)神经网络生成。我们利用这些模型所表现出的丰富的对称性,以确定各种家庭的临界点,并表示为幂级数在$k^{-\frac{1}{2}}$。这些表达式,然后用来获得几个相关的数量,这意味着不是所有的虚假的最小值是一样的估计。特别是,我们表明,虽然在某些类型的虚假的最小值的损失函数衰减到零一样$k^{-1}$,在其他情况下的损失收敛到一个严格的正常数。所使用的方法依赖于对称性,几何群作用,分歧,和阿廷的隐函数定理。
2021-03-11 cs.LG math.DS math.OC
Noisy Low-rank Matrix Optimization: Geometry of Local Minima and Convergence Rate
University of California, Berkeley(加州大学伯克利分校)
低秩矩阵优化在机器学习中有着广泛的应用。在矩阵传感的特殊情况下,这个问题已经通过限制等距属性(RIP)的概念进行了广泛的研究,导致了大量的结果的几何景观的问题和常见算法的收敛速度。然而,现有的结果可以处理的情况下,一般的目标函数受噪声数据只有当RIP常数接近0的问题。在本文中,我们开发了一个新的数学框架来解决上述问题,限制性更小的RIP常数。我们证明,只要RIP常数的无噪声目标是小于$1/3$,任何虚假的本地解决方案的噪声最优化问题必须接近地面真理的解决方案。通过严格的鞍性质,我们还表明,近似解可以在多项式时间内找到。当RIP常数大于$1/3$时,我们刻画了问题在真实情况下的局部极小值的几何特征。与已有的文献结果相比,本文给出了最强RIP界,并对一般低秩最优化问题在任意有限方差族随机破坏下的全局和局部最优化景观进行了完整的理论分析.
2023-03-15 cs.LG math.OC stat.ML
Locally Near Optimal Piecewise Linear Regression in High Dimensions via Difference of Max-Affine Functions
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出了一种参数化解决方案,通过自适应块梯度下降算法解决分段线性回归问题,利用最大仿射函数差参数化分段线性函数,并在子高斯协变量和噪声分布下提供非渐近局部收敛性分析,证明了在合适初始化下算法能以线性速度收敛到ε精度估计。
2026-05-07 cs.LG math.ST stat.ML
Global Optimality of Local Search for Low Rank Matrix Recovery
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们表明,有没有虚假的局部极小值的非凸分解参数化的低秩矩阵恢复非相干线性测量。有噪声的测量,我们表明所有的局部极小值非常接近一个全球最佳。再加上鞍点处的曲率界,这产生了随机梯度下降{ \em from random initialization}的多项式时间全局收敛保证。
2016-05-27 cs.LG math.OC stat.ML