Robust Large Margin Deep Neural Networks
Tel-Aviv University（特拉维夫大学）；Duke University（杜克大学）
本文研究了深度神经网络通过其分类裕度的泛化误差。我们的方法基于深度神经网络的雅可比矩阵，可以应用于具有任意非线性和池化层的网络，以及具有不同架构的网络，如前馈网络和残差网络。我们的分析得出的结论是，一个有界的谱范数的网络的雅可比矩阵在附近的训练样本是至关重要的深度和宽度的任意深度和宽度的深神经网络推广良好。这是一个显着的改进，在文献中，这意味着泛化误差的增长与网络的宽度或深度。此外，它表明，最近提出的批归一化和权重归一化重新参数化具有良好的推广性能，并导致一种新的网络正则化基于网络的雅可比矩阵。该分析得到了MNIST，CIFAR-10，LaRED和ImageNet数据集上的实验结果的支持。
2017-05-23 cs.LG cs.NE stat.ML
Stronger Convergence Results for Deep Residual Networks: Network Width Scales Linearly with Training Data Size
ASELSAN Inc.（ASELSAN公司）
深度神经网络是具有高度表达力的机器学习模型，能够对任意数据集进行插值。深度网络通常通过一阶方法进行优化，优化过程主要取决于网络和数据集的特征。这项工作揭示了网络大小与数据集属性之间的关系，重点是深度残差网络（ResNets）。我们的贡献是，如果网络雅可比矩阵是满秩的，则二次损失和平滑激活的梯度下降收敛到全局最小值，即使ResNet的网络宽度$m$与样本量$n$成线性比例，并且与网络深度无关。据我们所知，这是第一个工作，它提供了一个理论保证神经网络的收敛在$m=Ω(n)$制度。
2019-11-11 cs.LG stat.ML
Associative Memory in Iterated Overparameterized Sigmoid Autoencoders
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）
最近的工作表明，当网络的训练输入-输出雅可比矩阵的所有特征值范数严格低于1时，可以通过迭代映射训练过参数化自编码器来实现联想记忆。在这里，我们通过利用深度学习理论的最新发展，特别是在无限宽度限制下训练神经网络和使用神经切线核（NTK）执行核回归之间的对应关系，从理论上分析了S形网络的这种现象。我们发现，在某些条件下，过参数化的sigmoid自编码器可以在NTK极限下具有吸引子，用于单个示例和多个示例的训练。特别是，对于多个训练样本，我们发现，随着输入范数的增加，最大雅可比特征值的范数下降到1以下，导致联想记忆。
2020-08-14 cs.LG stat.ML
Generalization Guarantees for Neural Networks via Harnessing the Low-rank Structure of the Jacobian
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
现代神经网络架构通常具有很好的泛化能力，尽管包含的参数比训练数据集的大小要多得多。本文探讨了通过梯度下降训练的神经网络的泛化能力。我们开发了一个依赖于数据的优化和推广理论，它利用了与网络相关的雅可比矩阵的低秩结构。我们的研究结果有助于揭开为什么训练和泛化在干净和结构化的数据集上更容易，在嘈杂和非结构化的数据集上更难，以及网络大小如何影响训练的演变和训练过程中的测试错误。具体来说，我们使用一个控制旋钮分裂的雅可比谱到“信息”和“滋扰”空间与大，小奇异值。我们表明，在信息空间学习是快速的，可以快速训练一个模型，零训练损失，也可以推广。在干扰空间上，训练速度较慢，提前停止可以帮助泛化，但会带来一些偏差。我们还表明，网络的整体泛化能力是由标签向量与信息空间对齐的程度控制的。我们的结果的一个关键特征是，即使是恒定宽度的神经网络也可以证明推广到足够好的数据集。我们在深度网络上进行了各种数值实验，证实了我们的理论发现，并证明：（i）典型的神经网络的雅可比矩阵表现出低秩结构，具有一些大的奇异值和许多小的奇异值，导致低维信息空间，（ii）在信息空间上学习是快速的，并且大部分标签向量落在该空间上，以及（iii）标签噪声落在滋扰空间上并阻碍优化/泛化。
2019-07-04 cs.LG math.OC stat.ML
Fast Finite Width Neural Tangent Kernel
Google Brain（谷歌大脑）
神经切线核（NTK），定义为$Θ_θ^f(x_1, x_2) = \left[\partial f(θ, x_1)\big/\partial θ\right] \left[\partial f(θ, x_2)\big/\partial θ\right]^T$，其中$\left[\partial f(θ, \cdot)\big/\partial θ\right]$是神经网络（NN）雅可比矩阵，已经成为深度学习的中心研究对象。在无限宽的限制下，NTK有时可以解析计算，对于理解NN架构的训练和推广非常有用。在有限宽度下，NTK还用于更好地初始化NN，比较模型之间的条件，执行架构搜索和进行元学习。不幸的是，有限宽度的NTK是出了名的昂贵的计算，这严重限制了它的实际效用。我们进行了第一次深入分析的计算和内存需求的NTK计算在有限宽度的网络。利用神经网络的结构，我们进一步提出了两种新的算法，改变了有限宽度NTK的计算和内存需求的指数，显着提高效率。我们的算法可以以黑盒的方式应用于任何可微函数，包括那些实现神经网络的函数。我们在https://github.com/google/neural-tangents的Neural Tangents包（arXiv：1912.02803）中开源了我们的实现。
2022-06-17 cs.AI cs.LG stat.ML
Genus expansion for non-linear random matrix ensembles with applications to neural networks
Department of Mathematics, Imperial College London（伦敦帝国学院数学系）；Mathematical Institute, University of Oxford（牛津大学数学研究所）
本文提出神经网络的新型级数展开与亏格展开方法，证明高斯过程极限、NTK收敛速率及Jacobian谱矩，并推广至稀疏非高斯权重网络。
2025-05-13 cs.LG math.PR
On the Initialisation of Wide Low-Rank Feedforward Neural Networks
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
分析了宽随机初始化低阶前馈网络的混沌边缘动力学。公式的最佳权重和偏差方差从满秩扩展到低秩设置，并遵循乘法缩放。的原则二阶效应，方差的输入输出雅可比矩阵，推导出并示出增加的秩宽度比降低。这些结果告知从业者如何随机初始化前馈网络，减少可学习参数的数量，同时在相同的环境维度，允许减少相关网络的计算成本和内存限制。
2023-01-31 cs.LG stat.ML
Which Neural Net Architectures Give Rise To Exploding and Vanishing Gradients?
我们对随机初始化的具有ReLU激活的全连接网络N中梯度的统计行为进行了严格的分析。我们的研究结果表明，在输入输出雅可比矩阵N的条目的平方的经验方差是指数在一个简单的架构相关的常数β，给出的隐藏层宽度的倒数的总和。当β较大时，N在初始化时计算的梯度变化很大。我们的方法补充了随机网络的平均场理论分析。从这个角度来看，我们严格计算有限宽度的修正的统计梯度在混沌的边缘。
2018-10-27 cs.LG math.PR math.ST
Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests
研究针对深度神经网络隐藏状态冗余问题，提出基于可控性-可观性的框架，通过构建相关矩阵进行A/B/C测试估计秩，用于诊断冗余及确定压缩层宽度，实验表明该方法能在精度损失小的情况下实现有效压缩。
2026-07-08 cs.AI cs.LG math.DS
Residual Alignment: Uncovering the Mechanisms of Residual Networks
University of Toronto（多伦多大学）
本文通过残差雅可比矩阵的奇异值分解，发现并刻画了ResNet中名为残差对齐的现象及其四个性质，揭示跳跃连接赋予中间表示刚性几何结构并最终导致神经坍缩，从而解释ResNet成功机制。
2024-01-17 cs.LG
The Feature Speed Formula: a flexible approach to scale hyper-parameters of deep neural networks
EPFL（洛桑联邦理工学院）；Google DeepMind（谷歌DeepMind）
本文提出特征速度公式，用特征更新与反向传播的夹角刻画学习动态，并据此推导 ReLU MLP 与 ResNet 的超参数缩放规则。
2025-07-28 cs.LG
On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）；Georgia Institute of Technology（佐治亚理工学院）
我们建立了一个基于间隔的数据依赖泛化误差界的深度和宽度，以及网络的雅可比矩阵的一般家庭的深度神经网络。通过对神经网络族的Lipschitz性质引入一个新的刻画，得到了比已有结果更严格的推广界.此外，我们证明了推广界可以进一步提高有界损失。除了一般的前馈深度神经网络之外，我们的结果还可以用于推导流行架构的新边界，包括卷积神经网络（CNN）和残差网络（ResNets）。当达到与以前的技术相同的泛化误差时，我们的边界允许选择更大的权重矩阵参数空间，从而诱导神经网络潜在的更强的表达能力。数值计算也支持我们的理论。
2019-07-03 cs.LG stat.ML
Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods
Inria（法国国家信息与自动化技术研究所）；PSL Research University（巴黎萨克雷大学）
提出通过正则化经验风险最小化进行特征学习的新方法BKerNN，结合核方法与神经网络，理论证明其风险收敛速率，实验显示其优于核岭回归且媲美单隐藏层神经网络。
2025-04-30 cs.LG stat.ML
Training (Overparametrized) Neural Networks in Near-Linear Time
KTH Royal Institute of Technology（瑞典皇家理工学院）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
用于训练深度神经网络的一阶梯度方法的缓慢收敛速度和病态曲率问题引发了开发更快的$\mathit{second}$ - $\mathit{order}$优化算法的持续努力，而不影响泛化误差。尽管二阶算法具有显著的收敛速度（训练批量大小$n$的$\mathit{independent}$），但在$\mathit{cost}$ $\mathit{iteration}$ $\mathit{iteration}$（反转损失函数的Hessian矩阵）中，二阶算法会导致令人生畏的减速，这使得二阶算法变得不切实际。最近，这种计算开销被[ZMG 19，CGH+19}的工作减轻，产生了用于训练多项式宽度$m$的两层过参数化神经网络的$O(mn^2)$时间二阶算法。我们展示了如何加速[CGH+19]的算法，实现用于训练（轻度过参数化）ReLU网络的$\tilde{O}(mn)$ -时间反向传播算法，该算法在全梯度（雅可比）矩阵的维度（$mn$）中接近线性。我们的算法的核心是将Gauss-Newton迭代重新表示为$\ell_2$ -回归问题，然后使用Fast-JL型降维到与$M$无关的时间上的$\mathit{precondition}$底层Gram矩阵，允许通过$\mathit{first}$ - $\mathit{order}$共轭梯度找到足够好的近似解。我们的研究结果提供了一个概念验证，即随机线性…
2020-12-09 cs.DS cs.LG stat.ML
