VC dimension of partially quantized neural networks in the overparametrized regime
University of Michigan(密歇根大学)
Vapnik-Chervonenkis(VC)理论至今无法解释过参数化神经网络的小泛化误差。事实上,VC理论在大型网络中的现有应用获得了与权重数量成比例的VC维度上界,并且对于一大类网络,这些上界已知是紧的。在这项工作中,我们专注于一类部分量化的网络,我们称之为超平面排列神经网络(HANNs)。使用一个样本压缩分析,我们表明,HANNs可以有VC维显着小于权重的数量,同时具有高度的表达能力。特别是,经验风险最小化超过HANNs在overparametrized制度实现了极大极小率与Lipschitz后验概率分类。我们进一步证明了经验的表达HANNs。在121个UCI数据集的面板上,过度参数化的HANN与最先进的全精度模型的性能相匹配。
2021-10-06 cs.LG stat.ML
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong(香港城市大学数学系);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力,证明了其在神经元数量上的最优逼近速率,并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Learning and Generalization in Overparameterized Normalizing Flows
Microsoft Research India(微软印度研究院)
在监督学习中,已知当使用具有足够小的学习率和合适的初始化的随机梯度下降训练时,具有一个隐藏层的过参数化神经网络可证明且有效地学习和泛化。相比之下,过度参数化在无监督学习中的好处还没有得到很好的理解。归一化流(NF)是无监督学习中一类重要的采样和密度估计模型。在本文中,我们从理论和实证分析这些模型时,底层神经网络是一个隐藏层过参数化网络。我们的主要贡献有两个方面:(1)一方面,我们提供了理论和经验证据,证明对于具有一个隐藏层网络的约束NF(这类NF是许多NF构造的基础),过度参数化会损害训练。(2)另一方面,我们证明了无约束NF,最近推出的模型,可以有效地学习任何合理的数据分布在最小的假设下,当底层网络是overparametrized,并有一个隐藏层。
2022-03-23 cs.AI cs.LG
Deep orthogonal linear networks are shallow
CNRS(法国国家科学研究中心);ENS PSL University(巴黎高等师范学院PSL大学)
我们考虑训练深度正交线性网络的问题,该网络由正交矩阵的乘积组成,中间没有非线性。我们证明了用黎曼梯度下降训练权重等价于用梯度下降训练整个因子分解。这意味着在这种情况下完全没有过度参数化和隐式偏差的影响:训练这样一个深度的、过度参数化的网络完全等同于训练一个单层的浅层网络。
2020-11-27 cs.LG stat.ML
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数,从NTK近似视角证明早停规则能实现minimax最优收敛速率,并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
Bayesian Free Energy of Deep ReLU Neural Network in Overparametrized Cases
Tokyo Institute of Technology(东京工业大学)
本文研究过参数化深度 ReLU 神经网络,证明其 Bayesian 自由能有界,并由此说明充分过参数化不会增加 Bayesian 泛化误差。
2023-04-20 cs.LG stat.ML
Understanding Square Loss in Training Overparametrized Neural Network Classifiers
HKUST(香港科技大学)
深度学习在现代分类任务中取得了许多突破。已经为不同的数据结构提出了许多架构,但是当涉及到损失函数时,交叉熵损失是主要的选择。最近,几种替代损失已经重新引起了深度分类器的兴趣。特别是,经验证据似乎促进平方损失,但仍然缺乏理论依据。在这项工作中,我们有助于平方损失的理论理解,在分类系统地研究它是如何执行过参数化的神经网络的神经正切核(NTK)制度。关于泛化误差,鲁棒性和校准误差的有趣的属性被揭示。我们考虑两种情况,根据类是否是可分的。在一般不可分的情况下,快速收敛速度建立的误分类率和校准误差。当类是可分离的,误分类率提高到指数级。此外,由此产生的利润率被证明是下界远离零,提供理论保证的鲁棒性。我们希望我们的研究结果能够超越NTK制度,并转化为实际环境。为此,我们进行了广泛的实证研究,实际神经网络,证明平方损失的有效性,在合成的低维数据和真实的图像数据。与交叉熵相比,平方损失的泛化误差相当,但在鲁棒性和模型校正方面具有明显的优势。
2021-12-07 cs.LG stat.ML
Effect of Activation Functions on the Training of Overparametrized Neural Nets
Microsoft Research India(微软印度研究院);Cornell University(康奈尔大学)
众所周知,使用基于梯度的方法训练的过参数化神经网络通过适当的超参数设置可以快速实现小的训练误差。最近的论文在合理的假设下从理论上证明了这一说法。这些结果或者假设激活函数是ReLU,或者它们关键地取决于某个Gram矩阵的最小特征值,这取决于数据、随机初始化和激活函数。在后一种情况下,现有的作品只证明了这个最小特征值是非零的,并没有提供定量的界限。在经验方面,当代的研究已经提出了一些替代的激活函数,它们至少在某些设置中往往比ReLU表现得更好,但没有出现明确的理解。这种状况强调了从理论上理解激活函数对训练的影响的重要性。在本文中,我们提供的理论结果的影响,激活函数的高度过参数化的2层神经网络的训练。控制激活性能的一个关键属性是它是否平滑。对于ReLU、SELU和ELU等非平滑激活,在对数据的最小假设下,相关Gram矩阵的所有特征值都很大。对于tanh,swish和多项式等平滑激活,情况更加复杂。如果数据所跨越的子空间具有小维度,则Gram矩阵的最小特征值可能很小,导致训练缓慢。但是如果维数很大,并且数据满足另一个温和的条件,那么特征值就很大。如果我们允许深度网络,那么小的数据维度不是限制,只要深度足够。我们讨论了一些扩展和应用这些结果。
2020-04-10 cs.LG stat.ML
Fundamental limits of overparametrized shallow neural networks for supervised learning
The Abdus Salam International Center for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
本文用信息论方法分析匹配教师网络生成数据下的两层过参数化神经网络,借助自旋玻璃工具与高斯等价原理,给出互信息和贝叶斯最优泛化误差相对线性模型的普适界。
2023-07-11 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Nonparametric regression using over-parameterized shallow ReLU neural networks
City University of Hong Kong(香港城市大学);University of Sydney(悉尼大学)
本文证明在适当约束或正则化权重且网络宽度足够大时,过参数化浅层 ReLU 神经网络在非参数回归中可实现极大化极小最优收敛速度,并推导出局部 Rademacher 复杂度的新界限。
2024-05-15 cs.LG math.ST stat.ML
Convergence of Adversarial Training in Overparametrized Neural Networks
Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Princeton University(普林斯顿大学)
神经网络容易受到对抗性样本的影响,即输入被自然数据不知不觉地干扰,但网络却错误地分类。对抗训练是一种在最小化和最大化步骤之间交替的鲁棒优化的启发式形式,已被证明是训练网络对预定义的扰动族鲁棒的最成功的方法之一。本文提供了对抗训练成功的部分答案,通过证明它收敛到一个网络,其中相对于攻击算法的代理损失在最佳鲁棒损失的$ε$范围内。然后,我们证明了最佳鲁棒损失也接近于零,因此对抗训练找到了一个鲁棒的分类器。分析技术利用最近的工作,通过神经切线核(NTK)的神经网络的分析,结合从在线学习的动机时,最大化的启发式解决,和表现力的NTK内核中的$\ell_\infty$规范。此外,我们还证明了鲁棒插值需要更多的模型容量,支持对抗训练需要更广泛的网络的证据。
2019-11-09 cs.LG stat.ML
Shallow Neural Hawkes: Non-parametric kernel estimation for Hawkes processes
Indian Institute of Science(印度科学学院)
多维Hawkes过程(MHP)是一类自激和互激的点过程,它的应用范围很广,从地震预测到高频交易中的订单模型。本文的主要贡献有两点:首先,我们为Hawkes过程的对数似然估计找到了一个无偏估计量,从而有效地利用随机梯度下降法进行极大似然估计。第二个贡献是,我们提出了一个特定的单隐层神经网络的MHP的底层内核的非参数估计。我们在合成数据集和真实数据集上对所提出的模型进行了评估,发现该方法具有与现有估计方法相当或更好的性能。浅层神经网络的使用确保了我们不会在Hawkes模型的可解释性上妥协,同时具有估计任何非标准Hawkes激发核的灵活性。
2020-06-03 cs.LG q-fin.TR stat.ML
One-pass Stochastic Gradient Descent in Overparametrized Two-layer Neural Networks
Duke University(杜克大学)
最近,人们对过度参数化神经网络中梯度下降(GD)和随机梯度下降(SGD)的收敛性有了很大的兴趣。大多数以前的工作假设训练数据是先验地提供的一批,而较少注意到的重要设置,训练数据到达流。在本文中,我们研究了流数据设置,并表明,与过参数化和随机初始化,两层神经网络的预测误差收敛于预期的单通SGD。收敛速度取决于与所谓的神经正切核(NTK)相关联的积分算子的本征分解。我们分析的关键步骤是使用VC维数和McDiarmid不等式来证明随机核函数以高概率收敛到NTK。
2021-05-01 cs.LG math.OC stat.ML
Convergence Guarantees of Overparametrized Wide Deep Inverse Prior
Normandie Univ.(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂国立高等工程师学院);CNRS(法国国家科学研究中心);GREYC(格雷克实验室)
近年来,神经网络已成为求解逆问题的一种重要方法。在不同的现有方法中,深度图像/逆先验(DIP)技术是一种无监督的方法,其优化高度过参数化的神经网络以将随机输入转换为对象,该对象在前向模型下的图像与观察结果匹配。然而,这种方法所需的过度参数化水平仍然是一个悬而未决的问题。在这项工作中,我们的目标是研究这个问题的两层神经网络的光滑激活函数。我们提供了overparametrization界限下,这种网络训练通过连续时间梯度下降将以高概率指数收敛,从而可以获得恢复预测界限。因此,这项工作是对overparametrized DIP网络的理论理解的第一步,更广泛地说,它参与反问题设置的神经网络的理论理解。
2023-03-20 cs.LG
Nearly Minimal Over-Parametrization of Shallow Neural Networks
最近的一系列工作表明,过度参数化的神经网络可以完美地拟合训练数据,而这通常是一个棘手的非凸优化问题。对于(全连接)浅层网络,在最好的情况下,现有的理论需要作为训练样本数量的函数的二次过参数化。本文建立了线性过参数化是足够的,以适应训练数据,使用(随机)梯度下降的一个简单的变种。至关重要的是,与几个相关的作品不同,本文中考虑的训练并不局限于[1,2]中警告的那种懒惰的制度。除了浅层网络,在这项工作中开发的过度参数化的框架适用于各种学习问题。
2019-10-29 cs.LG stat.ML
On the Epistemic Uncertainty of Overparametrized Neural Networks
Department of Statistics, LMU Munich(统计系,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文通过非可辨识性视角分析过参数化神经网络的认知不确定性,刻画了离散和连续残余不确定性来源,并以单隐层ReLU网络为例验证理论。
2026-05-24 cs.AI cs.LG stat.CO
Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们研究了使用浅层ReLU神经网络从噪声数据中估计未知函数的问题。我们研究的估计量最小化平方数据拟合误差的总和加上与网络权重的平方欧几里德范数成比例的正则化项。这种最小化对应于训练具有权重衰减的神经网络的常见方法。我们量化的性能(均方误差)时,这些神经网络估计的数据生成函数属于二阶Radon域有界变差空间。这个函数空间最近被提出作为与浅层ReLU神经网络相关的自然函数空间。我们推导出这个函数空间的估计问题的极大极小下界,并证明了神经网络估计是极大极小最优的对数因子。这种极大极小化率不受维数灾难的影响。我们量化了神经网络和线性方法(包括核方法)之间的明确差距,推导出一个线性极小极大估计问题的下限,表明线性方法必然遭受灾难的维数在这个函数空间。因此,本文揭示了神经网络似乎打破了维数灾难的现象。
2022-10-12 cs.LG math.ST stat.ML
Training (Overparametrized) Neural Networks in Near-Linear Time
KTH Royal Institute of Technology(瑞典皇家理工学院);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
用于训练深度神经网络的一阶梯度方法的缓慢收敛速度和病态曲率问题引发了开发更快的$\mathit{second}$ - $\mathit{order}$优化算法的持续努力,而不影响泛化误差。尽管二阶算法具有显著的收敛速度(训练批量大小$n$的$\mathit{independent}$),但在$\mathit{cost}$ $\mathit{iteration}$ $\mathit{iteration}$(反转损失函数的Hessian矩阵)中,二阶算法会导致令人生畏的减速,这使得二阶算法变得不切实际。最近,这种计算开销被[ZMG 19,CGH+19}的工作减轻,产生了用于训练多项式宽度$m$的两层过参数化神经网络的$O(mn^2)$时间二阶算法。我们展示了如何加速[CGH+19]的算法,实现用于训练(轻度过参数化)ReLU网络的$\tilde{O}(mn)$ -时间反向传播算法,该算法在全梯度(雅可比)矩阵的维度($mn$)中接近线性。我们的算法的核心是将Gauss-Newton迭代重新表示为$\ell_2$ -回归问题,然后使用Fast-JL型降维到与$M$无关的时间上的$\mathit{precondition}$底层Gram矩阵,允许通过$\mathit{first}$ - $\mathit{order}$共轭梯度找到足够好的近似解。我们的研究结果提供了一个概念验证,即随机线性…
2020-12-09 cs.DS cs.LG stat.ML
The Dynamics of Gradient Descent for Overparametrized Neural Networks
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究了具有平方损失函数的过参数单隐层神经网络的梯度下降动力学问题。最近,它已被证明,在某些条件下,使用GD获得的参数值实现零训练误差和推广良好,如果初始条件选择适当。在这里,通过李雅普诺夫分析,我们表明,动力学的神经网络的权重下GD收敛到一个点,这是接近的最小范数解的条件下,没有训练误差时,使用线性逼近的神经网络。为了说明这一结果的应用,我们证明了GD收敛于一个泛化良好的预测函数,从而为Arora等人的泛化结果提供了另一种证明。
2021-05-13 cs.LG
Kernel and Rich Regimes in Overparametrized Models
最近的一系列工作研究了“核机制”中的过参数化神经网络,即当网络在训练期间表现为核化线性预测器时,因此使用梯度下降的训练具有找到最小RKHS范数解的效果。这与其他研究相反,这些研究证明了过度参数化的多层网络上的梯度下降如何引起丰富的隐式偏差,而这些偏差不是RKHS范数。基于Chizat和Bach的观察,我们展示了初始化的规模如何控制“内核”(又名懒惰)和“丰富”(又名活跃)制度之间的过渡,并影响多层均匀模型的泛化特性。我们提供了一个完整的和详细的分析一个简单的两层模型,已经表现出一个有趣的和有意义的过渡之间的内核和丰富的制度,我们证明了更复杂的矩阵分解模型和多层非线性网络的过渡。
2020-02-25 cs.LG stat.ML
Training Overparametrized Neural Networks in Sublinear Time
The University of Washington(华盛顿大学);Tsinghua University(清华大学);Adobe Research(奥多比研究院);The Hebrew University(希伯来大学);Columbia University(哥伦比亚大学);Duke University(杜克大学)
本文提出一种亚线性时间训练过参数化神经网络的新方法,通过将网络视为二叉搜索树并仅修改少量节点,将每次迭代的摊销时间从约mnd+n^3降至m^{1-α}nd+n^3。
2024-02-08 cs.DS cs.LG stat.ML
On double-descent in uncertainty quantification in overparametrized models
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文在随机特征模型中对比了二元分类的不确定性度量,揭示了最优正则化估计器的校准曲线存在双重下降行为,并发现经验贝叶斯方法在过参数化下依然校准良好。
2023-05-23 cs.LG
A Quantitative Functional Central Limit Theorem for Shallow Neural Networks
本文针对单隐层神经网络建立了定量泛函中心极限定理,利用 Stein-Malliavin 泛函方法刻画了收敛速度对激活函数光滑性的依赖关系。
2023-07-05 math.PR stat.ML
Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks
Boğaziçi University(海峡大学);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
神经网络压缩技术已经变得越来越流行,因为它们可以大大减少非常大的网络的存储和计算需求。最近的实证研究表明,即使是简单的修剪策略也可以令人惊讶地有效,一些理论研究表明,可压缩网络(在特定意义上)应该实现低泛化误差。然而,使网络适合这种简单压缩方案的根本原因的理论表征仍然缺失。在这项研究中,我们解决了这个基本问题,并揭示了训练算法的动力学在获得这种可压缩网络中起着关键作用。将我们的注意力集中在随机梯度下降(SGD)上,我们的主要贡献是将可压缩性与SGD的两个最近建立的性质联系起来:(i)当网络大小趋于无穷大时,系统可以收敛到平均场极限,其中网络权重独立地表现,(ii)对于大的步长/批量比,SGD迭代可以收敛到重尾平稳分布。在这两种现象同时发生的情况下,我们证明了网络保证是“$\ell_p$ -compressible”,和不同的修剪技术(幅度,奇异值,或节点修剪)的压缩误差成为任意小的网络大小的增加。我们进一步证明了适用于我们的理论框架的泛化界,这确实证实了泛化误差对于更可压缩的网络将更低。我们对各种神经网络的理论和数值研究表明,大的步长/批量比引入重尾,这与过度参数化相结合,导致可压缩性。
2021-06-07 cs.LG stat.ML
Kernel and Rich Regimes in Overparametrized Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Microsoft Research(微软研究院);Technion(以色列理工学院)
最近的一系列工作研究了“核机制”中的过参数化神经网络,即当网络在训练期间表现为核化线性预测器时,因此使用梯度下降的训练具有找到最小RKHS范数解的效果。这与其他研究相反,这些研究证明了过度参数化的多层网络上的梯度下降如何引起丰富的隐式偏差,而这些偏差不是RKHS范数。基于Chizat和Bach的观察,我们展示了初始化的规模如何控制“内核”(又名懒惰)和“丰富”(又名活跃)制度之间的过渡,并影响多层均匀模型的泛化特性。我们还强调了一个有趣的作用,模型的宽度的情况下,预测在初始化时不完全为零。我们提供了一个完整的和详细的分析,一个家庭的简单的深度- $D$模型,已经表现出一个有趣的和有意义的过渡之间的内核和丰富的制度,我们也证明了这种过渡经验更复杂的矩阵分解模型和多层非线性网络。
2020-07-27 cs.LG stat.ML
Investigating Statistical Inference and Covariate Effects in Shallow Neural Networks
University of Limerick(利默里克大学)
该研究针对浅层前馈神经网络,提出协变量水平Wald检验与类回归系数的协变量效应图,经模拟和保险数据应用验证,可增强其可解释性与统计推断能力。
2026-09-01 stat.ME stat.ML
Deep Variational Autoencoder with Shallow Parallel Path for Top-N Recommendation (VASP)
Czech Technical University in Prague(布拉格捷克理工大学)
最近推出的EASE算法提出了一种简单而优雅的方法,如何解决top-N推荐任务。在本文中,我们引入神经EASE,以进一步提高该算法的性能,结合现代神经网络的训练技术。此外,在recsys社区中,利用变分自编码器(VAE)来完成这项任务的兴趣越来越大。我们引入了深度自动编码器FLVAE,它受益于多个非线性层,没有信息瓶颈,同时不会对身份过度拟合。我们展示了如何与Neural EASE并行学习FLVAE,并在MovieLens 20 M数据集上实现最先进的性能,并在Netflix Prize数据集上获得有竞争力的结果。
2021-02-10 cs.LG cs.NE
Overparametrized linear dimensionality reductions: From projection pursuit to two-layer neural networks
Stanford University(斯坦福大学)
本文研究高维高斯点云低维投影的经验分布极限,给出其 Wasserstein 半径及信息论意义下的内外界,并应用于投影寻踪和两层神经网络插值阈值分析。
2025-05-05 cs.LG stat.ML
Risk bounds for aggregated shallow neural networks using Gaussian prior
分析神经网络的统计特性是统计学和机器学习的中心课题。然而,在文献中的大多数结果集中在最小化训练误差的神经网络的属性。本文的目标是考虑使用高斯先验的聚合神经网络。我们的方法的出发点是一个任意的聚集满足PAC-Bayesian不等式。的主要贡献是一个精确的非渐近评估的估计误差出现在PAC贝叶斯界。我们还审查了可用的边界上的神经网络逼近函数的错误。结合估计和近似误差的界限,我们建立的风险界限是尖锐的,足以导致最小最大估计率在Sobolev光滑类。
2022-02-02 math.ST stat.TH
Architecture independent generalization bounds for overparametrized deep ReLU networks
Department of Mathematics, University of Texas at Austin, USA(德克萨斯大学奥斯汀分校数学系)
本文提出了一种针对过参数化深度ReLU网络的架构无关泛化界,通过显式构造零损失最小化器并验证统一泛化界,实验显示与真实测试误差的误差在22%以内。
2026-01-26 cs.AI cs.LG math.AP
Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization
Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心)
虽然深度学习在许多应用中取得了成功,但理论上还没有得到很好的理解。然而,一个令人满意的深度学习的理论特征开始出现。它涵盖了以下问题:1)深度网络的表示能力2)经验风险的优化3)梯度下降技术的泛化特性-为什么当网络过度参数化时,尽管没有显式正则化,预期误差不会受到影响?在这篇综述中,我们讨论了这三个领域的最新进展。在近似理论中,浅网络和深网络都被证明可以近似有界域上的任何连续函数,代价是指数数量的参数(函数的维数是指数的)。然而,对于组成函数的子集,卷积类型的深度网络可以对维度具有线性依赖性,这与浅层网络不同。在优化中,我们讨论了指数损失函数的损失景观,并表明随机梯度下降将以高概率找到全局最小值。为了解决分类任务的泛化问题,我们使用经典的一致收敛结果来证明在每层权重矩阵的单位范数约束下最小化替代指数型损失函数的合理性--因为分类的有趣变量是权重方向而不是权重。我们的方法得到了几个独立的新结果的支持,为深度过参数化ReLU网络的泛化性能难题提供了解决方案,揭示了底层隐藏复杂性控制的起源。
2019-08-25 cs.LG stat.ML
Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD
Paris Research Center, Huawei Technologies France(华为技术法国巴黎研发中心);Boğaziçi University(博加齐大学);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
提出向SGD注入重尾噪声的修改方法,通过证明重尾随机微分方程的混沌传播及Euler离散化误差估计,从理论上保证过参数化神经网络输出的可压缩性,并在实验中验证了其提升压缩率与剪枝稳健性的效果。
2024-02-12 cs.LG math.PR stat.ML
Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks
Università degli Studi di Parma(帕尔马大学);INFN(意大利国家核物理研究所);Politecnico di Torino(都灵理工大学);Bocconi University(博科尼大学);Istituto dei Materiali per l’Elettronica ed il Magnetismo (IMEM-CNR)(意大利国家研究委员会电子与磁学材料研究所)
本研究针对全连接与卷积神经网络特征学习机制的差异,提出理论框架,发现CNN核的局部重整化是过参数化浅层CNN特有的有效特征学习机制。
2023-07-21 cond-mat.dis-nn cs.LG
Exploiting Non-Linear Redundancy for Neural Model Compression
Carnegie Mellon University(卡内基梅隆大学)
部署由数百万甚至数十亿参数的非线性组合组成的深度学习模型具有挑战性,因为现实世界存在内存、功耗和计算限制。这种情况导致了对模型压缩技术的研究,其中大部分依赖于次最优算法,并且不考虑由于过参数化网络中神经元激活之间的线性依赖而导致的参数冗余。在本文中,我们提出了一种新的模型压缩方法的基础上开发的线性相关性,压缩网络的消除整个神经元和重新分配其激活的方式,证明是无损的,而训练。我们将这种方法与退火算法相结合,该算法可以在训练过程中应用,甚至可以在训练模型上应用,并使用流行的数据集证明,我们的方法可以在整体网络大小减少高达99%的情况下,性能损失很小。此外,我们提供的理论结果表明,在存在冗余特征的过参数化局部线性(ReLU)神经网络中,通过正确的超参数选择,我们的方法确实能够捕获和抑制这些依赖关系。
2020-05-28 cs.LG stat.ML
Effects of noise on the overparametrization of quantum neural networks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Technology Innovation Institute(技术创新研究院);Instituto de Física Teórica, UAM/CSIC(西班牙自治大学-高等科研理事会理论物理研究所);Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部);Center for Nonlinear Studies, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室非线性研究中心);Quantum Science Center(量子科学中心)
本研究探讨噪声如何影响量子神经网络的过参数化,发现噪声可激活QFIM零特征值使网络欠参数化,但大噪声又指数抑制特征值,表明现有容量度量在硬件噪声下失效。
2024-02-26 cs.LG quant-ph stat.ML
Convergence and Implicit Bias of Gradient Flow on Overparametrized Linear Networks
Johns Hopkins University(约翰斯·霍普金斯大学)
通过随机初始化和没有任何正则化的梯度下降训练的神经网络在实践中具有良好的泛化性能,尽管被高度过度参数化。解释这一现象的一个有希望的方向是研究初始化和过度参数化如何影响训练算法的收敛性和隐式偏差。在本文中,我们提出了一种新的分析梯度流下训练的单隐层线性网络,它连接初始化,优化和过参数化。首先,我们表明,平方损失指数收敛到其最佳的速率取决于水平的不平衡和初始化的裕度。其次,我们表明,适当的初始化约束的网络参数的动态位于一个不变集。反过来,最小化这个集合上的损失导致最小范数解。最后,我们证明了大的隐藏层宽度,加上(适当缩放的)随机初始化,确保在训练过程中接近这样一个不变集,使我们能够推导出一个新的非渐近上界的训练网络和最小范数解之间的距离。
2022-05-16 cs.LG
Symmetries in Overparametrized Neural Networks: A Mean-Field View
Center for Mathematical Modeling(数学建模中心);University of Chile(智利大学)
本文从平均场视角研究过参数化神经网络在对称数据下的学习动力学,证明数据增强、特征平均与自由训练具有相同极限,并揭示强不变律在无限宽度下被保持,为等变架构设计提供数据驱动启发。
2025-05-25 cs.LG math.PR stat.ML
A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
Center for Innovation in Data Engineering and Science (IDEAS) Department of Statistics and Data Science, the Wharton School University of Pennsylvania(创新数据工程与科学中心(IDEAS)统计与数据科学系,沃顿商学院,宾夕法尼亚大学);Center for Innovation in Data Engineering and Science (IDEAS) University of Pennsylvania(创新数据工程与科学中心(IDEAS)宾夕法尼亚大学);Center for Innovation in Data Engineering and Science (IDEAS) Graduate Group in Applied Mathematics and Computational Science University of Pennsylvania(创新数据工程与科学中心(IDEAS)应用数学与计算科学研究生组,宾夕法尼亚大学);Mathematical Institute for Data Science (MINDS) Department of Electrical and Computer Engineering Johns Hopkins University(数据科学数学研究所(MINDS)电气与计算机工程系,约翰霍普金斯大学);Department of Electrical and Systems Engineering(电气与系统工程系;放射学系,宾夕法尼亚大学);Department of Radiology University of Pennsylvania
本文证明两层过参数化线性网络中 PL 条件与下降引理可局部成立,并界定相关常数,从而在一般损失和宽松假设下推出 GD 线性收敛率及更优步长。
2025-05-16 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
The Recurrent Neural Tangent Kernel
Rice University(莱斯大学)
通过所谓的神经切线核(NTK)方法,对无限宽度限制下的深度神经网络(DNN)进行了研究,为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化,即循环神经网络(RNN)。在本文中,我们介绍和研究递归神经切线核(RNTK),它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅,那就是它能够比较不同长度的输入。为此,我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明,RNTK提供了显着的性能增益超过其他内核,包括标准的NTK,在广泛的数据集。
2021-06-15 cs.LG stat.ML
Characterization of the Variation Spaces Corresponding to Shallow Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学)
研究了有界域$Ω\subset \mathbb{R}^d$上$L^2(Ω)$中函数字典对应的变差空间。具体来说,我们比较的变化空间,这是定义在一个凸壳与相关概念的基础上积分表示。这使我们能够表明,与浅层神经网络近似理论相关的三个重要概念,Barron空间,谱Barron空间和Radon BV空间,实际上是相对于某些自然字典的变化空间。
2022-04-09 cs.LG stat.ML
A General Constructive Upper Bound on Shallow Neural Nets Complexity
Institute of Computer Science(计算机科学研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Department of Artificial Intelligence(人工智能系);Department of Mathematics(数学系)
本文提出一个构造性上界,给出浅层神经网络在紧集上以给定精度逼近任意连续函数所需的神经元数量,方法受Stone-Weierstrass定理证明启发,更具一般性。
2025-10-07 cs.LG stat.ML
The global optimum of shallow neural network is attained by ridgelet transform
RIKEN AIP(理化学研究所先进智能项目中心);Tokyo Metropolitan University(东京都立大学);Waseda University(早稻田大学)
证明了脊波变换可给出具有任意非线性激励的神经网络的反向传播(BP)训练问题的全局极小值。一系列的计算实验表明,BP网络训练后的浅层神经网络隐层参数散点图与脊波变换的谱图之间存在着有趣的相似性。通过引入一个连续的神经网络模型,将训练问题归结为无穷维Hilbert空间中的凸优化问题,并通过脊波变换得到全局优化器的显式表达式。
2019-01-28 cs.LG stat.ML
Non-Vacuous Generalisation Bounds for Shallow Neural Networks
University College London(伦敦大学学院);Inria(法国国家信息与自动化研究所)
我们专注于一类特定的浅神经网络与一个单一的隐藏层,即那些与$L_2$规范化的数据和S形高斯误差函数(“erf”)激活或高斯误差线性单元(GELU)激活。对于这些网络,我们通过PAC-贝叶斯理论得到新的泛化边界;与大多数现有的此类边界不同,它们适用于具有确定性参数而不是随机参数的神经网络。当网络在MNIST和Fashion-MNIST上使用香草随机梯度下降进行训练时,我们的边界是经验非空的。
2022-06-15 cs.LG stat.ML
The Global Optimization Geometry of Shallow Linear Neural Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Technion, Israel Institute of Technology(以色列理工学院);Colorado School of Mines(科罗拉多矿业学院)
我们研究了浅线性神经网络的平方误差损失景观。我们表明-与显着温和的假设比以前的作品-相应的优化问题具有良性的几何性质:有没有虚假的局部极小值和Hessian在每个鞍点至少有一个负特征值。这意味着在每个鞍点处存在方向负曲率,算法可以利用该方向负曲率来进一步减小目标值。这些几何性质意味着许多局部搜索算法(如广泛用于训练神经网络的梯度下降算法)可以证明以全局收敛的方式解决训练问题。
2018-11-05 cs.LG stat.ML
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation
Harvard University(哈佛大学)
本研究探讨了 ReLU 神经网络逼近多元单项式所需神经元数量,证明了浅层网络逼近乘积函数存在指数下界,揭示了网络表达能力更依赖于深度而非整体复杂度。
2023-05-16 cs.LG stat.ML
Robustness of Bayesian Neural Networks to Gradient-Based Attacks
University of Trieste(的里雅斯特大学);University of Oxford(牛津大学);SISSA(国际高等研究院)
对抗攻击的脆弱性是在安全关键型应用中采用深度学习的主要障碍之一。尽管在实践和理论方面作出了重大努力,但问题仍然存在。本文分析了贝叶斯神经网络(BNN)在大数据、过参数化极限下的对抗攻击几何。我们表明,在极限情况下,对基于梯度的攻击的脆弱性是由于数据分布的退化而产生的,即,当数据位于周围空间的低维子流形上时。作为一个直接的后果,我们证明了在极限BNN后验是强大的基于梯度的对抗攻击。在MNIST和Fashion MNIST数据集上的实验结果支持这一论点,这些数据集具有使用Hamilton Monte Carlo和变分推理训练的BNN,表明BNN可以对基于梯度的对抗攻击表现出高准确性和鲁棒性。
2020-06-24 cs.LG stat.ML
Neural Contextual Bandits with Deep Representation and Shallow Exploration
University of California, Los Angeles(加州大学洛杉矶分校);DeepMind(深度思考(DeepMind));Adobe Research(Adobe研究院)
我们研究了一般类的上下文强盗,其中每个上下文动作对与原始特征向量相关联,但奖励生成函数是未知的。我们提出了一种新的学习算法,该算法使用深度ReLU神经网络的最后一个隐藏层(深度表示学习)来转换原始特征向量,并使用上置信界(UCB)方法来探索最后一个线性层(浅层探索)。我们证明了在标准假设下,我们提出的算法实现了$\tilde{O}(\sqrt{T})$有限时间后悔,其中$T$是学习时间范围。与现有的神经上下文强盗算法相比,我们的方法是计算效率更高,因为它只需要探索在深层神经网络的最后一层。
2020-12-03 cs.LG stat.ML
Prequential MDL for Causal Structure Learning with Neural Networks
DeepMind(深度思维)
从观测中学习贝叶斯网络的结构和因果关系是多个科学和技术领域的共同目标。我们发现,先决条件的最小描述长度原则(MDL)可以用来推导出一个实用的评分函数贝叶斯网络时,灵活的和overparametrized神经网络被用来模拟观测变量之间的条件概率分布。MDL代表了奥卡姆剃刀的一个实施例,我们获得合理的和简约的图形结构,而不依赖于稀疏诱导先验或其他正则化,必须调整。从经验上讲,我们在合成数据和真实数据上展示了竞争结果。即使在变量之间存在强烈的非线性关系的情况下,分数也经常恢复正确的结构;一种情况是先前的方法难以实现,通常会失败。此外,我们还讨论了如何与最近的工作,推断因果结构的适应速度时,观察来自一个源进行分布转移的先决条件的分数。
2021-07-02 cs.LG stat.ML
ASNI: Adaptive Structured Noise Injection for shallow and deep neural networks
MINES ParisTech, PSL Research University(巴黎高等矿业学院,PSL研究大学);Institut Curie, PSL Research University(居里研究所,PSL研究大学);INSERM(法国国家健康与医学研究院);Google Brain(谷歌大脑)
Dropout是神经网络训练中的一种正则化技术,其中单元激活以给定的概率\emph{independently}随机设置为零。在这项工作中,我们提出了一个概括的辍学和其他乘性噪声注入计划浅和深神经网络,其中应用到不同的单位的随机噪声是不独立的,但遵循联合分布是固定的或在训练过程中估计。我们提供了关于为什么这种自适应结构化噪声注入(ASNI)可能是相关的理论见解,并根据经验证实它有助于提高简单前馈和卷积神经网络的准确性,解开隐藏层表示,并导致更稀疏的表示。我们提出的方法是一个简单的修改经典的dropout,不需要额外的计算开销。
2019-09-21 cs.LG stat.ML
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks
University of Birmingham(伯明翰大学);Alibaba Group(阿里巴巴集团);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
虽然已经取得了重大的理论进展,但揭开过参数化神经网络的泛化奥秘仍然很难实现。在本文中,我们研究了浅层神经网络(SNNs)的泛化行为,利用算法稳定性的概念。我们考虑梯度下降(GD)和随机梯度下降(SGD)训练SNN,对于这两个我们制定一致的超额风险界限通过平衡的优化和推广通过早期停止。与现有的GD分析相比,我们的新分析需要一个宽松的overparameterization假设,也适用于SGD。改进的关键是通过提供GD和SGD的迭代的精细估计来更好地估计经验风险和损失函数沿GD和SGD轨迹的Hessian矩阵的最小特征值。
2022-09-19 cs.LG stat.ML
Nonparametric Regression with Shallow Overparameterized Neural Networks Trained by GD with Early Stopping
我们探讨了过参数化的浅层神经网络在使用梯度下降(GD)训练时,在有和没有标签噪声的情况下学习Lipschitz回归函数的能力。为了避免在存在噪声标签的情况下,训练到接近零训练误差的神经网络在这个类上不一致的问题,我们提出了一个早期停止规则,使我们能够显示最佳速率。这为Hu等人(2021)的结果提供了一种替代方案,Hu等人研究了$\ell 2$ -正则化GD在非参数回归中训练浅网络的性能,该非参数回归完全依赖于无限宽网络(神经切线核(NTK))近似。在这里,我们提出了一个更简单的分析,这是基于输入空间的分区参数(如在1-最近邻规则的情况下),再加上这样一个事实,即训练的神经网络是光滑的相对于它们的输入时,GD训练。在无噪声的情况下,证明不依赖于任何核化,可以被视为一个有限宽度的结果。在标签噪声的情况下,通过稍微修改证明,使用Yao,Rosasco和Caponnetto(2007)的技术控制噪声。
2022-12-29 cs.LG stat.ML
Memory capacity of neural networks with threshold and ReLU activations
University of California, Irvine(加州大学欧文分校)
压倒性的理论和经验证据表明,轻度过度参数化的神经网络--连接数多于训练数据大小的网络--通常能够以$100\%$的准确度记住训练数据。这在具有sigmoid激活函数的网络中得到了严格的证明,最近,ReLU激活也得到了严格的证明。解决1988年Baum的一个公开问题,我们证明了这种现象适用于一般的多层感知器,即具有阈值激活函数的神经网络,或者具有阈值和ReLU激活的任何混合。我们的建设是概率和利用稀疏性。
2020-06-02 cs.IT cs.LG cs.NE
Proximal Mean Field Learning in Shallow Neural Networks
University of California, Santa Cruz(加州大学圣克鲁兹分校);Iowa State University(爱荷华州立大学)
针对无限宽浅层过参数化神经网络,提出 Sinkhorn 正则化邻近平均场算法,以无网格加权粒子演化近似 Wasserstein 梯度流,并用于分类任务。
2023-12-16 cs.LG stat.ML