Towards an Understanding of Residual Networks Using Neural Tangent Hierarchy (NTH)
Purdue University（普渡大学）
本文利用神经正切层级研究有限宽度残差网络的训练动力学，将层宽度对样本数的依赖从四次方降至三次方，并揭示跳跃连接是 ResNet 优于全连接网络的关键。
2020-07-07 cs.LG math.OC math.ST
Statistical optimality and stability of tangent transform algorithms in logit models
一个系统的方法来寻找变分逼近，否则难以处理的非共轭模型是利用一般原则的凸对偶，最小化的边际似然，使问题易于处理。虽然这种方法在非共轭贝叶斯模型的变分推理中很受欢迎，但缺乏统计最优性和算法收敛性的理论保证。针对逻辑斯谛回归模型，我们在数据生成过程中提供了一个温和的条件来导出变分最优风险的非渐近上界。我们证明，这些假设可以完全放松，如果一个人认为轻微的变化的算法，提高可能性的分数功率。接下来，我们利用动力系统的理论，在逻辑和多项式logit回归等算法提供收敛保证。特别是，我们建立了局部渐近稳定性的算法，没有任何假设的数据生成过程。我们探讨了一个特殊的情况下，涉及一个半正交设计的整体收敛。该理论进一步说明了使用几个数值研究。
2020-10-25 math.ST stat.CO stat.ML
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford（牛津大学）；Google Research（谷歌研究院）
我们通过神经正切核（NTK）的镜头探索深度集成和高斯过程（GP）之间的联系：理解宽神经网络（NN）的训练动态的最新进展。以前的工作已经表明，即使在无限宽的限制下，当NN成为GP时，也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改，通过向每个合奏成员添加一个可计算的，随机的和不可训练的函数，这使得在无限宽度限制下的后验解释成为可能。当集成在一起时，我们训练的NN给出了后验预测分布的近似值，并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后，使用有限宽度NN，我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测，并且可以在各种分布外设置中优于标准深度集成，用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Dynamically Stable Infinite-Width Limits of Neural Classifiers
Neural Networks and Deep Learning lab.（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
最近的研究集中在两种不同的方法来研究神经网络训练在无限宽的限制（1）平均场（MF）和（2）常数神经切线核（NTK）近似。这两种方法具有不同的超参数随网络层宽度的缩放，因此，具有不同的无限宽度限制模型。我们提出了一个通用框架来研究神经模型的极限行为如何依赖于超参数随网络宽度的缩放。我们的框架允许我们导出现有MF和NTK限制的缩放，以及导致相应模型的动态稳定极限行为的其他缩放的不可计数的数量。然而，只有有限数量的不同的极限模型诱导这些缩放。每一个不同的极限模型对应于一个独特的组合，如有界的logits和切线内核在初始化或平稳的切线内核等属性。现有的MF和NTK极限模型，以及一个新的极限模型，满足有限宽度模型所表现出的大部分属性。我们还提出了一个新的初始化校正的平均场极限，满足上述所有性质，其相应的模型是一个简单的修改有限宽度模型。
2020-10-22 cs.LG stat.ML
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS（高等研究院）；Harvard University（哈佛大学）
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks
MPI-MIS（马克斯·普朗克数学研究所）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；UCLA（加州大学洛杉矶分校）
最近的一系列工作已经通过神经切线核（NTK）分析了深度神经网络的理论特性。特别是，NTK的最小特征值与记忆能力，梯度下降算法的全局收敛性和深度网络的推广有关。然而，现有的结果要么在两层设置提供界限，或假设的NTK矩阵的频谱有界远离0的多层网络。在本文中，我们为深度ReLU网的NTK矩阵的最小特征值提供了严格的界限，无论是在无限宽度的极限情况下还是有限宽度的情况下。在有限宽度设置中，我们考虑的网络架构相当普遍：我们需要存在一个宽层，大约有$N$神经元的数量级，$N$是数据样本的数量;其余层宽度的缩放是任意的（直到对数因子）。为了获得我们的结果，我们分析了各种数量的独立利益：我们给出的最小奇异值的隐藏特征矩阵的下界，和输入输出特征映射的Lipschitz常数的上界。
2022-08-21 cs.LG stat.ML
Meta-Principled Family of Hyperparameter Scaling Strategies
Meta AI；Meta Platforms, Inc.（元平台公司）
在这篇文章中，我们首先推导出一个单参数族的超参数缩放策略，该策略介于神经切线缩放和平均场/最大更新缩放之间。然后，我们计算动态可观测量的缩放-网络输出，神经切线核，和神经切线核的微分-广泛和深入的神经网络。这些计算反过来揭示了一种适当的方法来缩放深度与宽度，从而使所得的大规模模型保持其表示学习能力。最后，我们观察到文献中研究的各种无限宽度限制对应于有限宽度神经网络的有效理论所跨越的互连网络的不同角落，其训练动态范围从弱耦合到强耦合。
2022-10-18 cs.LG hep-th stat.ML
Deterministic equivalent of the Conjugate Kernel matrix associated to Artificial Neural Networks
该研究针对带随机权重、偏置与数据的多层线性宽度前馈神经网络的共轭核，证明其经验谱分布收敛于确定性极限，推导了Stieltjes变换和预解式的定量确定性等价物，刻画了由自由卷积迭代与矩阵运算描述的极限对象。
2023-06-09 math.PR stat.ML
On the linearity of large non-linear models: when and why the tangent kernel is constant
Department of Computer Science, The Ohio State University（俄亥俄州立大学计算机科学系）；Halicioğlu Data Science Institute, University of California, San Diego（加利福尼亚大学圣迭戈分校哈利西奥卢数据科学学院）
这项工作的目标是阐明的显着现象过渡到线性的某些神经网络，因为它们的宽度接近无穷大。我们表明，过渡到线性的模型，等价地，恒定的（神经）切线内核（NTK）的结果从网络的海森矩阵的范数作为网络宽度的函数的标度特性。我们提出了一个通用的框架，通过适用于标准类的神经网络的海森标度的切线核的恒定性。我们的分析提供了一个新的角度来看，常数正切核的现象，这是不同于广泛接受的“懒惰的训练”。此外，我们表明，过渡到线性不是一个广泛的神经网络的一般属性，并不持有时，网络的最后一层是非线性的。它也不是通过梯度下降成功优化所必需的。
2021-02-20 cs.LG stat.ML
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
在初始化时，人工神经网络（ANN）等价于无限宽度限制下的高斯过程，从而将它们连接到核方法。我们证明了人工神经网络在训练过程中的演变也可以描述的内核：在梯度下降的人工神经网络的参数，网络功能$f_θ$（将输入向量映射到输出向量）遵循内核梯度的功能成本（这是凸的，在对比参数成本）w.r.t.一个新的内核：神经切线核（NTK）。该核是描述人工神经网络泛化特征的核心。虽然NTK在初始化时是随机的，并且在训练过程中变化，但在无限宽度限制下，它收敛到一个显式限制核，并且在训练过程中保持不变。这使得在函数空间而不是参数空间中研究人工神经网络的训练成为可能。然后，训练的收敛性可以与限制NTK的正定性相关。证明了当数据支撑在球面上且非线性为非多项式时，极限NTK的正定性。然后，我们专注于最小二乘回归的设置，并表明在无限宽的限制，网络函数$f_θ$遵循线性微分方程在训练过程中。相对于NTK，沿着输入数据的最大核主成分的收敛是最快的，因此提出了提前停止的理论动机。最后，我们研究了NTK数值，观察其行为的宽网络，并将其与无限宽的限制。
2020-02-10 cs.LG cs.NE math.PR
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Tensor Programs II: Neural Tangent Kernel for Any Architecture
Microsoft Research AI（微软研究院AI）
我们证明了一个随机初始化的神经网络的 * 任何架构 * 有它的切线核（NTK）收敛到一个确定性的限制，网络宽度趋于无穷大。我们演示如何计算这个极限。在以前的文献中，对神经网络梯度的启发式研究通常假设前向传播中使用的每个权重矩阵与反向传播中使用的转置无关（Schoenholz et al. 2017）。这就是所谓的梯度独立假设（GIA）。我们确定了一个普遍满足的条件，我们称之为 * 简单GIA检查 *，这样基于GIA的NTK限值计算是正确的。相反，当简单GIA检查失败时，我们表明GIA可能会导致错误的答案。我们这里的材料以友好的方式呈现了Yang（2019 a）的NTK结果，并展示了用于理解广泛神经网络的 * 张量程序 * 技术。我们在https://github.com/thegregyang/NTK4A上提供了递归神经网络、Transformer和批量归一化的无限宽NTK的参考实现。
2020-11-30 cond-mat.dis-nn cs.LG cs.NE
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes
Criteo AI Lab（科韬人工智能实验室）；Facebook（脸书）
本文研究了两层神经网络在各种高维线性化条件下的鲁棒性。我们建立了记忆和鲁棒性之间的基本权衡，如通过模型w.r.t的数据分布的Sobolev范数所测量的，即模型w.r.t的输入的梯度的平均平方$L_2$范数的平方根。更准确地说，如果$n$是训练样本的数量，$d$是输入维度，$k$是双层神经网络中隐藏神经元的数量，我们证明了对于一个大类的激活函数，如果模型记住了训练的一小部分，则它的Sobolev-Sobolev下界为（i）在无限宽随机特征（RF）或神经正切核（NTK）具有$d \gtrsim n$的情况下的$\sqrt{n}$;（ii）在具有$d$和$k$的成比例缩放的有限宽度RF的情况下的$\sqrt{n}$;以及（iii）在具有$d$和$k$的成比例缩放的有限宽度NTK的情况下的$\sqrt{n/k}$。此外，所有这些下界都是紧的：它们是通过最小范数/最小二乘逼近获得的（当$n$、$d$和$k$处于适当的插值状态时）。只要数据是对数凹各向同性的，并且存在标签噪声，即目标变量不是数据/特征的确定性函数，我们的所有结果都成立。我们经验验证我们的理论结果与实验。意外的是，这些实验也揭示了第一次，（iv）的最小范数的鲁棒性的多重下降现象。
2021-06-04 cs.LG stat.ML
An Empirical Analysis of the Laplace and Neural Tangent Kernels
本研究实证分析拉普拉斯核与神经正切核在实际中的等价性，通过精确匹配核及高斯过程后验，并在回归任务中验证，揭示两者在有限维空间的实用关联。
2025-10-08 cs.LG math.FA math.ST
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）
流行的想法是，正交权重是至关重要的，以加强动态等距和加快训练。线性网络中正交初始化导致的学习速度的增加已经得到了很好的证明。然而，虽然当满足动态等距条件时，这一点也适用于非线性网络，但这一争论背后的训练动力学尚未得到彻底探索。在这项工作中，我们研究了一系列架构中超宽网络的动态特性，包括全连接网络（FCN）和卷积神经网络（CNN），通过神经切线核（NTK）进行正交初始化。通过一系列的命题和引理，我们证明了当网络宽度为无穷大时，两个NTK相等，一个对应于高斯权重，一个对应于正交权重。此外，在训练期间，正交初始化的无限宽度网络的NTK理论上应该保持恒定。这表明正交初始化不能加速NTK（懒惰训练）机制中的训练，与流行的想法相反。为了探索在什么情况下可以正交加速训练，我们进行了彻底的实证调查以外的NTK制度。我们发现当超参数被设置为在非线性激活中实现线性区域时，正交初始化可以在大学习率或大深度的情况下提高学习速度。
2021-07-21 cs.LG stat.ML
Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出更强数据集重构攻击，证明无限宽度下可恢复全部训练数据，并揭示攻击成功依赖对神经正切核极限的偏离，且重构图像多为离群点，可用于数据集蒸馏。
2023-11-09 cs.AI cs.LG cs.NE
On Connecting Deep Trigonometric Networks with Deep Gaussian Processes: Covariance, Expressivity, and Neural Tangent Kernel
Rutgers University Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（高等研究院）
深度高斯过程（Deep Gaussian Process，DGP）作为贝叶斯学习中的先验模型，直观地发挥了函数组合的表达能力。DGP还提供了不同的建模能力，但推理是具有挑战性的，因为潜在函数空间中的边缘化是不容易处理的。根据Bochner定理，具有平方指数核的DGP可以被视为由随机特征层、正弦和余弦激活单元以及随机权重层组成的深度三角网络。在具有瓶颈的宽极限中，我们证明了权重空间视图产生与先前在函数空间中获得的相同的有效协方差函数。此外，改变网络参数的先验分布相当于采用不同的内核。因此，DGP可以被转换为深度校验的神经网络，使用它可以获得精确的最大后验估计。有趣的是，网络表示使得能够研究DGP的神经切线核，这也可以揭示棘手的预测分布的平均值。从统计学上讲，与浅层网络不同，有限宽度的深层网络具有偏离极限核的协方差，并且内部和外部宽度可能在特征学习中扮演不同的角色。数值模拟来支持我们的研究结果。
2022-07-30 cond-mat.dis-nn cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Topological Neural Tangent Kernel
Department of Computer Science, University of California Santa Barbara（加州大学圣芭芭拉分校计算机科学系）
本文提出拓扑神经切线核，通过结合低阶和高阶霍奇相互作用，使核对拓扑结构敏感，提升高阶交互的建模能力，验证了拓扑结构在关系学习中的有效性。
2026-05-01 cs.LG cs.SI math.AT
When and why PINNs fail to train: A neural tangent kernel perspective
University of Pennsylvania（宾夕法尼亚大学）
物理信息神经网络（PINN）最近受到了极大的关注，这要归功于它们在处理涉及偏微分方程的广泛的正问题和逆问题方面的灵活性。然而，尽管它们在经验上取得了显著的成功，但人们对这种受约束的神经网络在通过梯度下降进行训练期间的行为知之甚少。更重要的是，人们对为什么这些模型有时根本无法进行训练知之甚少。在这项工作中，我们的目标是通过神经切线核（NTK）的镜头来研究这些问题; NTK是一种通过梯度下降在训练过程中捕获无限宽度限制中全连接神经网络行为的内核。具体来说，我们推导出PINN的NTK，并证明在适当的条件下，它收敛到一个确定性的内核，在无限宽的限制下，在训练过程中保持不变。这使我们能够通过限制NTK的镜头来分析PINN的训练动态，并发现导致总训练误差的不同损失分量的收敛速度存在显着差异。为了解决这个基本的病理，我们提出了一种新的梯度下降算法，利用NTK的特征值自适应校准的总训练误差的收敛速度。最后，我们进行了一系列的数值实验，以验证我们的理论的正确性和所提出的算法的实际有效性。本手稿随附的数据和代码可在\url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}上公开获取。
2020-07-28 cs.LG cs.NA math.NA
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题，本文提出两种坐标嵌入以实现近似空间不变，并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
A generalized neural tangent kernel for surrogate gradient learning
Department of Physiology, University of Bern（伯恩大学生理学系）；Institute for Applied Mathematics, University of Bonn（波恩大学应用数学研究所）；Institute of Genetics, University of Bonn（波恩大学遗传学研究所）；Bernstein Center Freiburg, University of Freiburg（弗赖堡大学伯恩斯坦中心）
本研究提出代理梯度神经正切核，用于分析代理梯度学习，并通过数值实验验证其能有效刻画有限宽度符号激活网络中的代理梯度学习。
2025-06-23 cond-mat.dis-nn cs.LG math.PR
A Neural Tangent Kernel Perspective of GANs
Criteo AI Lab（Criteo人工智能实验室）；Sorbonne Université（索邦大学）；ETH Zürich（苏黎世联邦理工学院）；Thales（泰雷兹集团）
提出了一种新的生成对抗网络（GANs）分析理论框架。我们揭示了以前分析的一个根本缺陷，即通过错误地对GANs的训练方案进行建模，会受到定义不清的梯度的影响。我们克服了这个问题，这阻碍了GAN培训的原则性研究，解决它在我们的框架内，考虑到了GAN的架构。为此，我们通过神经切线核将无限宽神经网络的理论应用于神经网络。我们的特点是训练的网络的各种损失，并建立一般的可微性的网络。由此，我们获得了关于生成的分布收敛的新见解，推进了我们对GANs训练动态的理解。我们通过基于我们框架的分析工具包实证证实了这些结果，揭示了与GAN实践一致的直觉。
2022-11-07 cs.LG cs.NE stat.ML
The Differential Neural Tangent Kernel and Its Positivity
The Chinese University of Hong Kong（香港中文大学）
研究针对物理信息神经网络（PINN），提出微分神经切线核（DNTK）理论框架，通过NTK分析PINN，建立了无限宽度DNTK的正性，为训练PINN的梯度型算法分析奠定基础。
2026-07-14 cs.LG cs.NA math.NA
Divergence of Empirical Neural Tangent Kernel in Classification Problems
Noah’s Ark Lab, Huawei Technologies Ltd.（华为技术有限公司诺亚实验室）；Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
本文证明在分类问题中，使用交叉熵损失的全连接和残差神经网络在过训练时经验神经正切核（NTK）发散，无法被基于NTK的核逻辑回归近似，揭示了NTK理论在分类任务中的局限性。
2025-07-12 cs.AI cs.LG stat.ML
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?
神经切线核（NTK）理论被广泛用于研究梯度下降下无限宽深度神经网络（DNN）的动力学行为。但无限宽网络的结果是否能为我们提供有关真实有限宽网络行为的提示呢？在本文中，我们实证研究了NTK理论在全连接ReLU和sigmoid DNN实践中的有效性。我们发现，网络是否处于NTK状态取决于随机初始化的超参数和网络的深度。特别是，NTK理论没有解释初始化足够深的网络的行为，使得它们的梯度在网络的层中传播时爆炸：内核在初始化时是随机的，在这种情况下在训练过程中会发生显着变化，这与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK状态，但随着深度的增加而变得不可训练。我们还描述了一个框架来研究DNN的泛化特性，特别是网络输出函数的方差，通过NTK理论，并讨论其局限性。
2022-02-01 cs.LG stat.ML
TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning
University of Washington（华盛顿大学）
当以顺序的方式学习新任务时，深度神经网络往往会忘记它们以前学习过的任务，这种现象称为灾难性遗忘。类增量学习方法的目的是解决这个问题，保持记忆的一些样本从以前学习的任务，并从中提取知识。然而，现有的方法很难在类之间平衡性能，因为它们通常使模型过拟合到最新的任务。在我们的工作中，我们提出了一种新的方法，切线内核增量学习（TKIL），实现类平衡的性能，以解决这些挑战。该方法保留了跨类的表示，并平衡了每个类的准确性，因此实现了更好的整体准确性和方差。TKIL方法是基于神经切线核（NTK）的，NTK将神经网络的收敛行为描述为无限宽极限下的核函数。在TKIL中，特征层之间的梯度被视为这些层的表示之间的距离，并且可以被定义为切线核损失（GTK损失），使得它与平均权重一起被最小化。这使得TKIL能够自动识别任务，并在推理过程中快速适应它。在具有各种增量学习设置的CIFAR-100和ImageNet数据集上的实验表明，这些策略使TKIL的性能优于现有的最先进的方法。
2022-06-17 cs.AI cs.LG q-bio.NC
Graph Neural Tangent Kernel: Convergence on Large Graphs
Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
本文借助graphon定义graphon神经网络与graphon NTK，证明GNTK及其谱随图规模增大收敛，并通过节点回归与分类实验验证中等规模GNTK可推断大规模GNN学习动态。
2023-05-31 cs.LG math.ST stat.AP
On Random Kernels of Residual Architectures
Facebook AI Research (FAIR)（脸书人工智能研究实验室）
我们推导出ResNets和DenseNets的神经切线核（NTK）的有限宽度和深度校正。我们的分析表明，有限大小的残差架构的初始化更接近“内核制度”比他们的香草同行：而在不使用跳过连接的网络，收敛到NTK需要一个固定的深度，同时增加层的宽度。我们的研究结果表明，在ResNets中，如果有适当的初始化，当深度和宽度同时趋于无穷大时，可能会收敛到NTK。然而，在DenseNets中，当宽度趋于无穷大时，NTK收敛到其极限是有保证的，其收敛速度与权重的深度和规模无关。我们的实验验证了理论结果，并证明了深度ResNets和DenseNets在具有随机梯度特征的核回归中的优势。
2020-06-17 cs.LG stat.ML
A Fast, Well-Founded Approximation to the Empirical Neural Tangent Kernel
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
针对 eNTK 随输出类别数产生高内存与计算开销的问题，本文证明“logits 之和”近似在宽读出层网络初始化时收敛到真实 eNTK，并通过实验验证其效果。
2023-06-07 cs.LG stat.ML
How Infinitely Wide Neural Networks Can Benefit from Multi-task Learning -- an Exact Macroscopic Characterization
ETH Zurich（苏黎世联邦理工学院）
在实践中，多任务学习（通过学习任务之间共享的特征）是深度神经网络（NN）的基本属性。虽然NN的无限宽度限制可以为其泛化行为提供良好的直觉，但文献中众所周知的NN的无限宽度限制（例如，神经切线核）假设特定的设置，其中宽ReLU-NN表现得像具有固定核的浅高斯过程。因此，在这样的设置中，这些NN失去了在无限宽度限制下从多任务学习中受益的能力。相比之下，我们证明了使用参数的L2正则化来优化具有至少一个隐藏层的宽ReLU神经网络可以促进多任务学习，这是由于表示学习-也是在网络宽度趋于无穷大的限制范围内。我们提出了一个精确的定量表征这个无限的宽度限制在一个适当的函数空间，整齐地描述多任务学习。
2022-10-20 cs.LG stat.ML
On the Equivalence between Implicit and Explicit Neural Networks: A High-dimensional Viewpoint
Huazhong University of Science and Technology（华中科技大学）
本文从高维视角研究隐式神经网络，为其共轭核与神经正切核提供高维等价形式，并据此建立隐式与显式网络在高维下的等价性。
2023-08-31 cs.LG stat.ML
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Generalization Bounds of Stochastic Gradient Descent for Wide and Deep Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了过参数化机制下深度神经网络（DNN）的训练和泛化，其中网络宽度（即，每层隐藏节点的数量）远大于训练数据点的数量。我们证明，使用随机梯度下降（SGD）和随机初始化训练的足够宽的ReLU网络的预期$0$ - $1$损失可以由初始化时网络梯度引起的随机特征模型的训练损失来限制，我们称之为神经正切随机特征（NTRF）模型。对于可以用NTRF模型进行分类的数据分布，具有足够小的误差，我们的结果产生了$\tilde{\mathcal{O}}(n^{-1/2})$阶的泛化误差界，它与网络宽度无关。我们的结果比现有的过参数神经网络的泛化误差界更一般和尖锐。此外，我们建立了我们的泛化误差界和神经切线核（NTK）在最近的工作中提出的强连接。
2019-11-12 cs.LG math.OC stat.ML
A Proof of Learning Rate Transfer under $μ$P
本文在μP参数化下证明了学习率随宽度增加趋于非零常数，解释了学习率转移现象，并通过实验验证了该结论。
2026-02-24 cs.AI cs.CL cs.LG
Representation Learning via Quantum Neural Tangent Kernels
Pritzker School of Molecular Engineering, The University of Chicago（芝加哥大学普利兹克分子工程学院）；Chicago Quantum Exchange（芝加哥量子交易所）；Kadanoff Center for Theoretical Physics, The University of Chicago（芝加哥大学卡达诺夫理论物理中心）；IBM Quantum, IBM Research – Zurich（IBM研究院（苏黎世）IBM量子部门）；IBM Quantum, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM量子部门）
变分量子线路用于量子机器学习和变分量子模拟任务。设计良好的变分电路或预测它们在给定的学习或优化任务中的表现仍然不清楚。在这里，我们讨论这些问题，分析变分量子线路使用神经正切核理论。我们定义了量子神经正切核，并推导出优化和学习任务中相关损失函数的动力学方程。我们解析地解决了冻结极限或懒惰训练机制中的动力学，其中变角变化缓慢，线性扰动就足够好了。我们扩展到一个动态的设置，包括二次修正的变角分析。然后，我们考虑混合量子经典架构，并定义了一个大的宽度限制的混合内核，表明混合量子经典神经网络可以近似高斯。这里提出的结果显示了限制，其中分析理解的训练动态变分量子线路，用于量子机器学习和优化问题，是可能的。这些分析结果得到了量子机器学习实验的数值模拟的支持。
2021-11-13 cs.AI cs.LG quant-ph
Embedded Ensembles: Infinite Width Limit and Operating Regimes
Skoltech（斯科尔科沃科技学院）；Yandex（央捷科斯）
集成神经网络的一种高效记忆方法是通过单个参考网络在集成模型之间共享大部分权重。我们将这种策略称为嵌入式集成（EE）;它的特定示例是BatchEnsembles和Monte-Carlo dropout Ensembles。本文对具有不同模型数量的嵌入式集合进行了系统的理论和实证分析。在理论上，我们使用基于神经切线核的方法来推导梯度下降动力学的宽网络极限。在这个限制，我们确定两个合奏制度-独立和集体-依赖于合奏模型的架构和初始化策略。我们证明了在独立制度的嵌入式合奏行为作为一个独立的模型合奏。我们证实了我们的理论预测与广泛的实验与有限的网络，并进一步研究经验的各种影响，如两个制度之间的过渡，缩放合奏性能与网络的宽度和模型的数量，以及性能的依赖性上的一些架构和超参数的选择。
2022-02-24 cs.LG stat.ML
A Quasilinear Algorithm for Computing Higher-Order Derivatives of Deep Feed-Forward Neural Networks
UC Davis（加利福尼亚大学戴维斯分校）
针对神经网络求解微分方程时高阶导数自动微分耗时指数增长的问题，提出$n$-TangentProp拟线性算法，可高效计算全连接前馈网络高阶导数，在物理信息神经网络中训练速度提升显著且扩展性良好。
2024-12-12 cs.LG stat.ML
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们引入了一个新的理论框架来分析深度学习优化及其泛化误差。现有的神经网络优化分析框架，如平均场理论和神经切线核理论，通常要求网络的宽度为无穷大，以证明其全局收敛性。这潜在地使得难以直接处理有限宽度网络;特别是在神经切线核区域中，我们不能揭示核方法之外的神经网络的有利性质。为了实现更自然的分析，我们考虑一种完全不同的方法，将参数训练公式化为运输映射估计，并通过无限维Langevin动力学理论显示其全局收敛性。这使我们能够以统一的方式分析窄网络和宽网络。此外，我们给出了广义间隙和超额风险界的动力学得到的解决方案。超额风险界限实现了所谓的快速学习率。特别是，我们展示了分类问题的指数收敛性和回归问题的最小最大最优速率。
2020-10-26 cs.LG stat.ML
Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture
University of California, San Diego（加州大学圣地亚哥分校）
该研究揭示任意有向无环图架构的前馈神经网络在宽度（输入层和第一层外神经元最小入度）趋于无穷时会线性化，明确了其底层数学结构，推广了相关标准架构的研究。
2023-06-07 cs.LG math.OC stat.ML
Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer
John Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保罗森工程与应用科学学校）；Center for Brain Sciences（脑科学研究中心）；Kempner Institute（凯普纳研究所）
该研究从理论上刻画大宽度深度线性网络的梯度下降训练动力学，阐释超参数迁移等效应，给出残差与非残差网络的渐近描述，对比不同训练方式的动力学并验证幂律数据的加速训练特性。
2025-06-16 cond-mat.dis-nn cs.LG stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
Phenomenology of Double Descent in Finite-Width Neural Networks
ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Basel（巴塞尔大学）
“双下降”描述了模型的泛化行为，取决于它们所属的制度：参数不足或过度。目前对这种现象背后的理论理解主要是基于线性和核回归模型-通过神经切线核与神经网络进行非正式的比较。因此，此类分析无法充分捕捉有限宽度神经网络中双重下降背后的机制，并且忽略了关键组件--例如损失函数的选择。我们解决这些缺点，利用影响函数，以获得适当的表达的人口损失及其下限，同时施加最小的假设的参数模型的形式。我们推导出的界限承担一个密切的联系，在最佳的Hessian谱，重要的是，表现出双下降行为的插值阈值。基于我们的分析，我们进一步研究了损失函数如何影响双重下降-从而揭示了神经网络及其Hessian谱在插值阈值附近的有趣特性。
2022-03-14 cs.LG stat.ML
Deep Networks and the Multiple Manifold Problem
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
我们研究了多流形问题，这是一个基于机器视觉应用的二进制分类任务，其中训练了一个深度全连接神经网络来分离单位球面的两个低维子流形。我们提供了一个分析的一维情况下，证明了一个简单的流形配置，当网络深度$L$是大的相对于某些几何和统计属性的数据，网络宽度$n$增长作为一个足够大的多项式在$L$，和i.i.d.流形样本在$L$中是多项式的，随机初始化梯度下降快速学习以高概率完美地分类两个流形。我们的分析在实际模型问题的背景下展示了深度和宽度的具体好处：深度作为拟合资源，较大的深度对应于更平滑的网络，可以更容易地分离类流形，宽度作为统计资源，使随机初始化的网络及其梯度集中。讨论的中心是神经切核及其在训练过参数化神经网络的非渐近分析中的作用;对于这篇文献，我们贡献了深度全连接网络的神经切核的本质上最优的集中率，需要宽度$n \gtrsim L\,\mathrm{poly}(d_0)$以在单位球$\mathbb{S}^{n_0-1}$的$d_0$维子流形上实现初始核的均匀集中，和一个非渐近框架，用于建立在NTK制度与结构化数据训练的网络泛化。证明大量使用鞅集中度来最佳地处理初始随机网络各层之间的统计依赖性。这种方法应该是用于建立其他网络架构的类似结果。
2021-05-06 cs.LG math.OC stat.ML
An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network
KAIST（韩国科学技术院）；School of Computing（计算机学院）
本文将深度神经网络的无限宽度分析扩展至雅可比矩阵，证明MLP及其雅可比在初始化时联合收敛至高斯过程，并揭示鲁棒训练下的演化由神经正切核变体决定的线性常微分方程描述，为雅可比正则化提供了理论洞察。
2024-08-22 cs.LG stat.ML
Gradient Descent can Learn Less Over-parameterized Two-layer Neural Networks on Classification Problems
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；ENSAE（法国国家统计与经济管理学院）；CREST（法国国家经济统计与管理研究中心）
最近，一些研究已经证明了梯度下降法在双层ReLU网络中的全局收敛性和泛化能力。除少数研究外，大多数研究都集中在平方损失函数的回归问题上，并指出了神经切核的正性的重要性。另一方面，使用逻辑损失函数的分类问题的梯度下降的性能还没有得到很好的研究，进一步研究这个问题的结构是可能的。在这项工作中，我们证明了使用神经正切模型的可分性假设比神经正切核的正性条件更合理，并提供了一个精细的收敛分析的梯度下降的两层网络与光滑激活。我们的结果的一个值得注意的点是，我们的收敛性和泛化界有更好的依赖于网络的宽度相比，相关的研究。因此，我们的理论提供了一个泛化保证较少的过参数化的两层网络，而大多数研究需要更高的过参数化。
2020-03-18 cs.LG stat.ML
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis
训练神经网络的一种常用方法是将所有权值初始化为独立的高斯向量。我们观察到，通过将权重初始化为独立的对，其中每对由两个相同的高斯向量组成，我们可以显着提高收敛分析。虽然已经针对随机输入研究了类似的技术[Daniely，NeurIPS 2020]，但尚未对任意输入进行分析。使用这种技术，我们展示了如何显着减少双层ReLU网络所需的神经元数量，无论是在具有逻辑损失的欠参数化设置中，从大约$γ^{-8}$ [Ji和Telgarsky，ICLR 2020]到$γ^{-2}$，其中$γ$表示具有神经切线核的分离裕度，以及在具有平方损失的过参数化设置中，从大约$n^4$ [Song和Yang，2019]到$n^2$，也隐含地改善了[Brand，Peng，Song和Weinstein，ITCS 2021]的最近运行时间范围。对于下参数化设置，我们还证明了新的下限，提高了以前的工作，并在一定的假设下，是最好的可能。
2022-06-26 cs.DS cs.LG stat.ML
