A Unified Matrix-Spectral Framework for Stability and Interpretability in Deep Learning
Department of Mathematics(数学系);Kabale University(卡巴大学)
本文提出了一种统一的矩阵-谱框架,用于分析深度学习中的稳定性和可解释性,通过谱量和正则化方法提升模型鲁棒性。
2026-11-02 cs.LG math.DS math.OC
The role of invariance in spectral complexity-based generalization bounds
EPFL(洛桑联邦理工学院);University of Edinburgh(爱丁堡大学)
深度卷积神经网络(CNN)已经被证明能够在数据上拟合随机标签,同时仍然能够很好地推广正常标签。最近有人提出通过复杂性的后验度量来描述CNN能力,以解决这一明显的悖论。这些复杂性度量通常通过显示它们与GE的经验相关来验证;在随机标签与正常标签上训练的网络在经验上更大。专注于频谱复杂性的情况下,我们从理论上和经验上研究的复杂性测度的不敏感性相关的CNN的不变性,并显示频谱复杂性的几个限制,因此发生。对于谱复杂度的一个特定公式,我们表明它会导致卷积和局部连接架构(不具有相同的有利的不变性)的上界复杂度估计相同。这与一般的直觉和经验结果相反。
2020-03-06 cs.LG stat.ML
Spectral Metric for Dataset Complexity Assessment
Université de Sherbrooke(舍布鲁克大学);Miovision Inc.(Miovision公司)
在本文中,我们提出了一个新的措施来衡量复杂的图像分类问题。给定一个带注释的图像数据集,我们的方法计算一个称为累积谱梯度(CSG)的复杂性度量,它与卷积神经网络(CNN)的测试精度密切相关。CSG度量是从谱聚类框架中类之间的概率分歧中得出的。我们表明,这个指标与数据集的整体可分性,从而其固有的复杂性。正如将要展示的,我们的度量可以用于数据集缩减,以评估哪些类更难解开,并近似于人们可以期望用CNN获得的准确度。在11个数据集和三个CNN模型上获得的结果表明,我们的方法比以前的复杂性度量更准确,更快。
2019-05-17 cs.LG stat.ML
Polynomial Time and Sample Complexity for Non-Gaussian Component Analysis: Spectral Methods
University of Michigan(密歇根大学)
非高斯分量分析(NGCA)的问题是在$\mathbb{R}^n$中寻找一个最大的低维子空间$E$,使得投影到$E$上的数据点服从非高斯分布。虽然这是一个适当的模型,为一些现实世界的数据分析问题,在过去的十年里,这个问题上几乎没有进展。在本文中,我们试图从两个方面来解决这种状况。首先,我们给出了一个新的特征的标准高斯分布在高维,这导致有效的测试非高斯性。其次,我们提出了一个简单的算法,\emph{Reweighted PCA},作为解决NGCA问题的方法。我们证明了,对于一个一般的未知非高斯分布,该算法恢复至少一个方向的$E$,与样本和时间复杂度多项式依赖于周围空间的维数。我们推测,该算法实际上恢复整个$E$。
2017-04-04 cs.LG math.PR stat.ML
Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks
JD Explore Academy, JD.com Inc.(京东探索研究院);Faculty of Science, University of Hong Kong(香港大学理学院)
复值神经网络在信号处理和图像识别等领域有着广泛的应用。然而,很少有工作集中在CVNN的推广,虽然它是至关重要的,以确保性能的CVNN上看不见的数据。本文首次证明了复值神经网络的一个推广界。该界与谱复杂度成比例,而谱复杂度的主导因素是权矩阵的谱范数积。此外,当训练数据是连续的时,我们的工作提供了CVNN的推广界,这也受到谱复杂度的影响。理论上,这些界限是由Maurey稀疏化引理和Dudley熵积分导出的。从经验上讲,我们通过在不同的数据集上训练复值卷积神经网络来进行实验:MNIST,FashionMNIST,CIFAR-10,CIFAR-100,Tiny ImageNet和IMDB。Spearman的秩序相关系数和相应的p值在这些数据集上给出了强有力的证据,即由权重矩阵谱范数乘积度量的网络的谱复杂性与泛化能力具有统计上显著的相关性。
2021-12-07 cs.AI cs.LG stat.ML
On Rademacher Complexity-based Generalization Bounds for Deep Learning
University of Essex(埃塞克斯大学)
本文通过提出新的压缩引理,将Rademacher复杂度框架扩展到更广泛的激活函数,为CNN建立了非平凡泛化界,并改进了现有ReLU DNN的结果。
2025-02-28 cs.LG stat.ML
Spectral Norm Regularization for Improving the Generalizability of Deep Learning
National Institute of Informatics(国立信息学研究所);Preferred Networks, Inc.(Preferred Networks公司)
我们基于对输入扰动的敏感性来研究深度学习的可推广性。我们假设数据对扰动的高度敏感性会降低其性能,为了降低数据对扰动的敏感性,我们提出了一种简单有效的正则化方法,称为谱范数正则化,它惩罚神经网络中权矩阵的高谱范数。我们通过实验证实,使用谱范数正则化训练的模型比其他基线方法具有更好的泛化能力,从而为上述假设提供了支持性证据。
2017-05-31 cs.LG stat.ML
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
From Spectral Methods to Sample Complexity Bounds for Fourier Neural Operators
University of Chicago(芝加哥大学)
针对耗散演化方程的解算子,证明傅里叶神经算子(FNO)在谱离散化下可实现高效逼近与学习,给出逼近误差界和多项式样本复杂度保证,并推广至Navier-Stokes等方程。
2026-07-02 cs.LG cs.NA math.NA
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes(巴黎笛卡尔大学)
最近,许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式,其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示,或者同时方式,其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能,但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍,其中包括权重初始化,层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响,我们提出了一种新的模型,该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore(新加坡国立大学)
我们提出了第一个基于深度学习的架构,用于任意矩阵集合的集体矩阵三分解(DCMTF),也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类,以发现每个输入矩阵中的潜在聚类,跨两个维度,以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到:https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis
IIT Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
谱分析是一个强大的工具,它可以将任何函数分解成更简单的部分。在机器学习中,默瑟定理推广了这一思想,为任何核和输入分布提供了频率递增函数的自然基础。最近,一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中,我们分析了深层神经网络的逐层谱偏置,并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明,初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。
2022-01-07 cs.LG stat.ML
Dropout Rademacher Complexity of Deep Neural Networks
深度神经网络在各种实际应用中取得了巨大的成功。许多算法和实现技术已经被开发出来,然而,对深度神经网络的许多方面的理论理解还远未清楚。一个特别有趣的问题是dropout的有用性,这是出于防止特征检测器复杂的协同适应的直觉。在本文中,我们研究了不同类型的dropout的Rademacher复杂度,我们的理论结果表明,对于浅层神经网络(有一个或没有隐藏层)dropout能够降低Rademacher复杂度的多项式,而对于深层神经网络,它可以惊人地导致Rademacher复杂度的指数下降。
2014-07-02 cs.NE stat.ML
Complexity for deep neural networks and other characteristics of deep feature representations
Jagiellonian University(雅盖隆大学)
我们定义了一个复杂性的概念,它量化了一个神经网络的计算的非线性,以及特征表示的有效维度的补充措施。我们研究了各种数据集的训练网络的这些观测值,并在训练过程中探索它们的动态,特别是幂律缩放。这些可观测量可以用双重方式来理解,即揭示数据集本身作为尺度或深度的函数的隐藏内部结构。所提出的复杂性概念的熵特征应该允许将分析模式从神经科学和统计物理学转移到人工神经网络的领域。所引入的观测量可以应用于生物神经元系统的分析而不作任何改变。
2021-03-17 cond-mat.dis-nn cs.LG cs.NE
Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity
Kobe University(神户大学)
自然图像数据集中异常样本的准确和自动检测可以通过用于图像的端到端建模的概率模型来完成。然而,这样的图像具有异质的复杂性,并且概率模型忽略了具有小异常的简单形状的对象。这是因为概率模型将不期望的较低可能性分配给形状复杂的对象,但这些对象与设定的标准一致。为了克服这个困难,我们提出了一个深度生成模型(DGMs)的非正则化分数,DGMs是利用深度神经网络的生成模型。我们发现,正则化条款的DGMs显着影响异常分数取决于样本的复杂性。通过删除这些项,我们获得了一个未正则化的分数,我们在玩具数据集和真实世界的制造数据集上进行了评估。实验结果表明,非正则化的分数是强大的样本的固有复杂性,可以用来更好地检测异常。
2018-09-04 cs.CV cs.LG stat.ML
Spectrally-normalized margin bounds for neural networks
University of California, Berkeley(加州大学伯克利分校);Queensland University of Technology(昆士兰科技大学);Cornell University(康奈尔大学);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于边际的神经网络的多类泛化界,该界与其边际归一化的“谱复杂度”成比例:其Lipschitz常数,意味着权重矩阵的谱范数的乘积乘以一定的校正因子。这个界限是在mnist和cifar 10数据集上用SGD训练的标准AlexNet网络进行经验研究的,有原始和随机标签;界限,Lipschitz常数和超额风险都是直接相关的,这表明SGD选择的预测器的复杂性与学习任务的难度成正比,其次,所提出的界限对这种复杂性很敏感。
2017-12-05 cs.LG cs.NE stat.ML
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Deakin University(迪肯大学)
离线强化学习(RL)利用先前收集的数据进行策略优化,而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上,它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地,我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度,其中$κ_μ$是分布偏移的度量,{ $H = (1-γ)^{-1}$是有效水平长度},$d$是状态-动作空间的维度,$α$是底层马尔可夫决策过程(MDP)的(可能是分数)平滑参数,并且$ε$是用户指定的错误。值得注意的是,我们的样本的复杂性下两个新的考虑:Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件,但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长(有效)时域问题中}。据我们所知,这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件,超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning
University of Southern California(南加州大学)
我们介绍了Deep-n-Cheap --一个用于搜索深度学习模型的开源AutoML框架。该搜索包括架构和训练超参数,并支持卷积神经网络和多层感知器。我们的框架是针对部署在基准和自定义数据集,因此,提供了更大程度的搜索空间可定制性相比,更有限的搜索,只有预先存在的模型,从文献。我们还介绍了“搜索转移”的技术,它展示了我们的框架发现的模型对多个数据集的泛化能力。Deep-n-Cheap包括用户可自定义的复杂性惩罚,它可以用训练时间或参数数量来权衡性能。具体来说,我们的框架导致模型提供与最先进的性能相当的性能,而训练时间比其他AutoML和模型搜索框架的模型少1-2个数量级。此外,这项工作调查和发展有关搜索过程的各种见解。特别是,我们展示了贪婪策略的优越性,并证明了我们选择贝叶斯优化作为随机/网格搜索的主要搜索方法。
2020-09-05 cs.CV cs.LG stat.ML
On the Sample Complexity of Subspace Learning
机器学习中的大量算法,从主成分分析(PCA)及其非线性(核)扩展,到最近的谱嵌入和支持估计方法,都依赖于从样本估计线性子空间。在本文中,我们介绍了这个问题的一般公式,并推导出新的学习误差估计。我们的结果依赖于自然的假设的谱属性的协方差算子相关联的数据distribu-灰,并持有广泛的一类度量之间的子空间。作为特殊情况,我们讨论了PCA和谱支持估计的重构特性的尖锐误差估计。我们分析的关键是一个算子理论的方法,具有广泛的适用性谱学习方法。
2014-08-21 stat.ML
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Spectral Inference Networks: Unifying Deep and Spectral Learning
DeepMind(深度思维);Google Brain(谷歌大脑)
我们提出了谱推理网络,一个通过随机优化学习线性算子特征函数的框架。谱推断网络将慢特征分析推广到一般对称算子,并且与计算物理学中的变分蒙特卡罗方法密切相关。因此,它们可以成为从视频或图形结构数据进行无监督表示学习的强大工具。我们将训练谱推理网络作为一个双层优化问题,它允许多个特征函数的在线学习。我们展示了在量子力学和合成数据集上视频特征学习问题上训练光谱推理网络的结果。我们的研究结果表明,谱推理网络可以准确地恢复线性算子的特征函数,并可以以完全无监督的方式从视频中发现可解释的表示。
2020-01-16 cs.AI cs.LG stat.ML
Spectral Ergodicity in Deep Learning Architectures via Surrogate Random Matrices
Forschungszentrum Juelich(于利希研究中心);Ludwig-Maximilians-Universität München(慕尼黑大学);University of Hamburg(汉堡大学);University of the Balearic Islands(巴利阿里群岛大学)
本文提出了一种新的随机矩阵谱遍历性的量化方法。新的方法结合了基于Thirumalai-Mountain(TM)和Kullbach-Leibler(KL)分歧指标的方法。该方法被应用到深度和递归神经网络的一般性研究,通过随机矩阵集成模拟这些系统的典型权重矩阵的分析。特别是,我们研究了圆形随机矩阵系综:圆形酉系综(CUE),圆形正交系综(COE)和圆形辛系综(CSE)。特征值谱和谱遍历计算这些合奏作为网络大小的函数。据观察,随着矩阵大小的增加,系综的谱遍历性水平上升,即,从系综随机获得的单个实现的本征值谱更接近于在整个系综上平均获得的谱。基于先前的结果,我们推测深度学习架构的成功与谱遍历的概念密切相关。在这项工作中提出的计算谱遍历性的方法可以用来优化深度和递归神经网络的大小和结构。
2017-07-11 cond-mat.stat-mech cs.LG stat.ML
Fast Approximate Spectral Clustering for Dynamic Networks
谱聚类是一个被广泛研究的问题,但它的复杂性是令人望而却步的动态图,甚至适度的大小。我们声称,它是可能的重用信息,过去的集群分配,以加快计算。我们的方法建立在最近的想法,回避谱聚类的主要瓶颈,即,利用随机信号的快速Chebyshev图滤波计算图特征向量。我们表明,该算法实现聚类分配的质量近似的谱聚类,它可以产生显着的复杂性的好处时,图的动态是适当的有界。
2017-06-12 math.SP stat.ML
Deep Spectral Q-learning with Application to Mobile Health
North Carolina State University(北卡罗来纳州立大学);London School of Economics and Political Science(伦敦政治经济学院)
动态治疗方案根据患者的基线信息和随时间变化的协变量,随时间顺序地向患者分配个性化治疗。在移动健康应用中,这些协变量通常在长时间范围内以不同频率收集。在本文中,我们提出了一种深度谱Q学习算法,它集成了主成分分析(PCA)和深度Q学习来处理混合频率数据。在理论上,我们证明了估计的最优策略下的平均收益收敛于最优策略下的平均收益,并建立了其收敛速度。我们的建议的有用性进一步说明了通过模拟和糖尿病数据集的应用。
2023-01-03 cs.LG stat.AP stat.ME
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG