Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外，有民间传说，量化作为一个隐式正则化，从而可以提高神经网络的泛化能力，但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量，研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播，它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核（NTK），并证明了NTK的特征值近似以指数速率衰减，这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明，再生核希尔伯特空间（RKHS）的二进制权重神经网络覆盖一个严格的子集的功能相比，一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外，二值权值神经网络与实值权值神经网络相比，给出了更小的泛化间隙，这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
Infinite attention: NNGP and NTK for deep attention networks
University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
关于宽神经网络（NN）和高斯过程（GP）之间的关系，有越来越多的文献，为各种NN架构确定了两者之间的等价性。例如，这种等价性使得能够在没有MCMC或变分近似的情况下精确近似宽贝叶斯NN的行为，或者在没有运行优化器的情况下通过梯度下降优化随机初始化宽NN的分布。我们提供了一个严格的扩展，这些结果涉及注意层的神经网络，表明不像单头注意，这会导致非高斯行为，多头注意架构的行为作为GP的头的数量趋于无穷大。我们进一步讨论了位置编码和层规范化的影响，并提出修改的注意机制，导致有限和无限宽NN的结果得到改善。我们根据经验评估注意力内核，从而在没有可训练内核和高级数据预处理的情况下对CIFAR-10的先前最先进的GP进行适度改进。最后，我们向神经切线库（Novak等人，2020年）允许应用NNGP/NTK模型，有或没有注意，可变长度序列，在IMDb评论数据集上的一个例子。
2020-06-18 cs.LG stat.ML
The Neural Tangent Kernel for Classification
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学量化金融研究所）；OATML, University of Oxford（牛津大学OATML研究中心）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Spotify
本文通过识别宽神经网络在分类损失下保持懒惰训练的条件，将神经正切核理论扩展到分类问题，并分析了参数正则化对核常数性的影响以及预测器分布与贝叶斯方法的关系。
2026-05-22 cs.LG
Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel
Stanford University（斯坦福大学）；Element AI（元素人工智能公司）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在适当初始化的宽网络中，小的学习率将深度神经网络（DNN）转换为神经切线核（NTK）机器，其训练动态通过初始化时网络的线性权重扩展来很好地近似。然而，标准训练与其线性化的不同之处还不为人所知。我们研究了非线性深度网络的训练动力学、损失景观的几何形状以及数据依赖性NTK的时间演化之间的关系。我们这样做是通过一个大规模的现象学分析的培训，综合各种措施的特点损失景观几何和NTK动态。在多个神经架构和数据集中，我们发现这些不同的度量以高度相关的方式发展，揭示了深度学习过程的普遍图景。在这张图中，深度网络训练表现出高度混沌的快速初始瞬态，在2到3个时期内确定了包含训练终点的最终线性连接的低损失盆地。在这种混沌瞬态期间，NTK快速变化，从训练数据中学习有用的特征，使其能够在不到3到4个时期内超过标准初始NTK 3倍。在这种快速的混沌瞬态之后，NTK以恒定的速度变化，其性能在15%到45%的训练时间内与完整网络训练的性能相匹配。总的来说，我们的分析揭示了在训练时间内各种指标之间的惊人相关性，在最初的几个时期中由快速的混沌到稳定的过渡所控制，这为开发更准确的深度学习理论带来了挑战和机遇。
2020-10-28 cs.LG stat.ML
Finite-Width Neural Tangent Kernels from Feynman Diagrams
Department of Mathematical Sciences, Chalmers University of Technology（楚德大学技术学院数学科学系）；the University of Gothenburg（哥德堡大学）
引入费曼图计算有限宽神经正切核修正，简化代数运算并推导递归关系，证明ReLU等尺度不变非线性在Gram矩阵对角线上无有限宽修正。
2026-06-16 cs.LG hep-th
Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization
Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）
神经切线核（NTK）被广泛用于分析过参数化的神经网络，这是由于Jacot等人（2018）的著名结果：在无限宽度限制下，NTK在训练过程中是确定性的和恒定的。然而，这个结果不能解释深度网络的行为，因为如果深度和宽度同时趋于无穷大，它通常不成立。在本文中，我们研究了深度与宽度相当的全连接ReLU网络的NTK。我们证明了NTK的性质依赖于显着的深宽比和初始化时的参数分布。事实上，我们的结果表明了Poole等人（2016）中确定的超参数空间中三个阶段的重要性：有序，混沌和混沌边缘（EOC）。我们推导出的NTK分散在无限的深度和宽度的限制，在所有三个阶段的精确表达式，并得出结论，NTK的可变性随深度呈指数增长的EOC和在混乱的阶段，但不是在有序的阶段。我们还表明，深度网络的NTK在训练过程中可能仅在有序阶段保持不变，并讨论了NTK矩阵的结构在训练过程中如何变化。
2022-07-21 cs.AI cs.LG
Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Ezhou Industrial Technology Research Institute, Huazhong University of Science and Technology（华中科技大学鄂州工业技术研究院）；Department of CSE, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；China-Austria Belt and Road Joint Laboratory on AI and AM, Hangzhou Dianzi University（杭州电子科技大学中奥人工智能与增材制造一带一路联合实验室）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
该研究借助随机矩阵理论分析高维高斯混合输入下隐式深度平衡模型（DEQ）的共轭核与神经切线核谱特性，证明其仅由含四个非线性方程的系统决定，且可通过精心设计的浅层显式网络实现等价核，该结论经实证也适用于真实数据集。
2024-05-19 cs.LG stat.ML
The asymptotic spectrum of the Hessian of DNN throughout training
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
DNN在梯度下降期间的动力学由所谓的神经切线核（NTK）描述。在本文中，我们展示了NTK允许人们精确地了解DNN成本的Hessian。当NTK在训练过程中固定时，我们在初始化和训练过程中获得了Hessian谱的渐近性的完整表征。在所谓的平均场极限中，其中NTK在训练期间不固定，我们描述初始化时Hessian的前两个时刻。
2020-02-10 cs.LG cs.NE stat.ML
On the Convergence of Encoder-only Shallow Transformers
EPFL（洛桑联邦理工学院）；University of Warwick（华威大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有限宽度仅编码器浅层 Transformer，本文分析 softmax、缩放与 He/LeCun 初始化，证明二次超参数化足以实现全局收敛，并辅以 NTK 比较。
2023-11-02 cs.LG
Can Kernel Methods Explain How the Data Affects Neural Collapse?
Courant Institute of Mathematical Sciences（Courant数学科学研究所）；New York University（纽约大学）；Faculty of Engineering（工程学院）；Bar-Ilan University（巴伊兰大学）
本文利用核方法分析神经坍缩，证明NTK对高斯数据不比NNGP更坍缩，提出数据感知核可降低NC1，并发现激活函数影响坍缩程度。
2025-04-25 cs.AI cs.IT cs.LG
Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学CMA-Shanghai）；Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学自然科学研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文以宏观极限分析多层全连接网络的梯度下降动力学，提出 theta-lazy 区域，证明输出初始尺度 κ 超阈值即可实现零训练损失，并放宽 NTK 的缩放条件。
2024-04-07 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Restricted Strong Convexity of Deep Learning Models with Smooth Activations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们考虑具有平滑激活函数的深度学习模型的优化问题。虽然从“近初始化”的角度来看，这个问题存在有影响力的结果，我们揭示了相当多的新的光的问题。特别是，我们这样的模型与$L$层，$m$宽度，和$σ_0^2$初始化方差的两个关键技术的贡献。首先，对于合适的$σ_0^2$，我们建立了一个$O(\frac{\text{poly}(L)}{\sqrt{m}})$上界的谱范数的海森模型，大大锐化以前的结果。其次，我们引入了一个新的分析的基础上限制强凸性（RSC），只要预测的平均梯度的平方模是$Ω(\frac{\text{poly}(L)}{\sqrt{m}})$的平方损失的最优化。我们还提出了更一般的损失的结果。基于RSC的分析不需要“接近初始化”的视角，并且保证了梯度下降（GD）的几何收敛。据我们所知，我们是基于RSC为深度学习模型建立GD几何收敛的第一个结果，从而成为不依赖于广泛使用的神经切线核（NTK）的收敛的另一个充分条件。我们分享初步的实验结果支持我们的理论进步。
2022-09-29 cs.LG math.OC
Predicting the outputs of finite deep neural networks trained with noisy gradients
Racah Institute of Physics, Hebrew University（希伯来大学拉卡物理研究所）；Edmond and Lily Safra Center for Brain Sciences, Hebrew University（希伯来大学埃德蒙与莉莉·萨夫拉脑科学中心）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Agilent Research Labs（安捷伦研究实验室）
最近的一系列工作通过将其近似为高斯过程（GP）来研究广泛的深度神经网络（DNN）。用梯度流训练的DNN被证明可以映射到由神经切线核（NTK）控制的GP，而早期的工作表明，具有i.i.d.其权重的先验映射到所谓的神经网络高斯过程（NNGP）。在这里，我们考虑DNN训练协议，涉及噪声，权重衰减和有限宽度，其结果对应于一定的非高斯随机过程。然后引入了一个分析框架来分析这个非高斯过程，它与GP的偏差由有限宽度控制。我们的贡献是三方面的：（i）在无限宽的限制下，我们在用噪声梯度训练的DNN和NNGP之间建立了对应关系，而不是NTK。(ii)我们为具有任意激活函数和深度的DNN的有限宽度校正（FWC）提供了一种通用的分析形式，并使用它来高精度地预测经验有限网络的输出。分析FWC行为作为$n$（训练集大小）的函数，我们发现，对于非常小的$n$机制，以及令人惊讶的是，对于大的$n$机制（其中GP误差缩放为$O(1/n)$），FWC行为可以忽略不计。(iii)我们从代数上充实了这些FWC如何提高有限卷积神经网络（CNN）相对于图像分类任务上的GP同行的性能。
2021-09-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?
神经切线核（NTK）理论被广泛用于研究梯度下降下无限宽深度神经网络（DNN）的动力学行为。但无限宽网络的结果是否能为我们提供有关真实有限宽网络行为的提示呢？在本文中，我们实证研究了NTK理论在全连接ReLU和sigmoid DNN实践中的有效性。我们发现，网络是否处于NTK状态取决于随机初始化的超参数和网络的深度。特别是，NTK理论没有解释初始化足够深的网络的行为，使得它们的梯度在网络的层中传播时爆炸：内核在初始化时是随机的，在这种情况下在训练过程中会发生显着变化，这与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK状态，但随着深度的增加而变得不可训练。我们还描述了一个框架来研究DNN的泛化特性，特别是网络输出函数的方差，通过NTK理论，并讨论其局限性。
2022-02-01 cs.LG stat.ML
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
在初始化时，人工神经网络（ANN）等价于无限宽度限制下的高斯过程，从而将它们连接到核方法。我们证明了人工神经网络在训练过程中的演变也可以描述的内核：在梯度下降的人工神经网络的参数，网络功能$f_θ$（将输入向量映射到输出向量）遵循内核梯度的功能成本（这是凸的，在对比参数成本）w.r.t.一个新的内核：神经切线核（NTK）。该核是描述人工神经网络泛化特征的核心。虽然NTK在初始化时是随机的，并且在训练过程中变化，但在无限宽度限制下，它收敛到一个显式限制核，并且在训练过程中保持不变。这使得在函数空间而不是参数空间中研究人工神经网络的训练成为可能。然后，训练的收敛性可以与限制NTK的正定性相关。证明了当数据支撑在球面上且非线性为非多项式时，极限NTK的正定性。然后，我们专注于最小二乘回归的设置，并表明在无限宽的限制，网络函数$f_θ$遵循线性微分方程在训练过程中。相对于NTK，沿着输入数据的最大核主成分的收敛是最快的，因此提出了提前停止的理论动机。最后，我们研究了NTK数值，观察其行为的宽网络，并将其与无限宽的限制。
2020-02-10 cs.LG cs.NE math.PR
On the Impacts of the Random Initialization in the Neural Tangent Kernel Theory
Tsinghua University（清华大学）
该研究探讨了随机初始化对神经正切核（NTK）理论的影响，证明宽神经网络随机初始化下的训练动力学收敛于对应NTK回归，且其泛化仍受维数灾难限制，凸显镜像初始化优势并指出NTK理论的局限性。
2024-10-08 cs.LG stat.ML
The Inlet Rank Collapse in Implicit Neural Representations: Diagnosis and Unified Remedy
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）
本文提出了一种结构诊断框架，揭示隐式神经表示中入口秩崩溃现象，并通过秩扩展初始化方法提升模型表现。
2026-02-02 cs.LG
Linearized Attention Cannot Enter the Kernel Regime at Any Practical Width
Center for AI Research PH（人工智能研究所以PH）
本文研究了线性化注意力是否能进入核范式，发现即使在实用宽度下也无法收敛，揭示了注意力学习动态中的根本权衡。
2026-05-07 cs.CV cs.LG cs.NA
A Gaussian Process View on Observation Noise and Initialization in Wide Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Oxford-Man Institute, University of Oxford（牛津大学牛津曼研究所）；OATML, University of Oxford（牛津大学OATML）；Department of Engineering, University of Cambridge（剑桥大学工程系）；Spotify
本文提出通过引入正则化项和移位网络，解决宽神经网络中观测噪声和初始化问题，使NTK-GP等价性适用于任意先验均值，提升实际应用中的Gaussian Process建模效果。
2026-04-01 cs.LG stat.ML
A Theoretical Framework for LLM Fine-tuning Using Early Stopping for Non-random Initialization
本文提出基于早停机制的LLM微调理论框架，结合NTK理论与非随机初始化，揭示微调收敛率与特征值衰减的关系，并通过实验验证理论成果。
2026-02-15 cs.LG stat.ML
Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories
East China Normal University（华东师范大学）；Tsinghua University（清华大学）
从统计角度研究神经网络特征学习，回顾NTK理论等，探讨固定核理论局限，将神经网络视为自适应特征模型，提出过参数化高斯序列模型作为原型，以研究特征学习特性并推动对神经网络的分析。
2026-07-29 cs.LG math.ST stat.TH
Gaussian Pre-Activations in Neural Networks: Myth or Reality?
Paris-Dauphine University, PSL University, CNRS（巴黎多芬大学、PSL大学、法国国家科学研究中心）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、LJK实验室）
本文针对有限宽度神经网络中预激活值是否服从高斯分布的争议，构建了确保预激活值保持高斯分布的激活函数与初始化分布配对，提出了相应约束条件，并构建了精确的 Edge of Chaos 分析与统一视角。
2025-04-29 cs.LG stat.ML
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
A type of generalization error induced by initialization in deep neural networks
Institute for Advanced Study（普林斯顿高等研究院）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
初始化和损失函数如何影响深度神经网络（DNN）的学习，特别是其泛化误差，是实践中的一个重要问题。在这项工作中，通过利用NTK机制\citep{jacot2018neural,lee2019wide}中DNN训练动态的线性，我们为这个问题提供了一个明确和定量的答案。专注于回归问题，我们证明了，在NTK制度，任何损失的一般类的功能，DNN发现相同的\emph{global}最小值--一个是最接近的参数空间中的初始值，或等价地，一个是最接近的初始DNN输出在相应的再生核希尔伯特空间。使用这些优化问题，我们量化的初始输出的影响，并证明了一个随机的非零增加的泛化误差。我们还提出了一个反对称初始化（ASI）技巧，可以消除这种类型的错误并加速训练。为了理解上述结果是否普遍成立，我们还在非NTK机制下对DNN进行了实验，这在定性意义上证明了我们的理论结果和ASI技巧的有效性。总的来说，我们的工作是进一步研究初始化和损失函数对DNN泛化的影响的基线，这可能会在实践中指导和改进DNN的训练。
2020-06-01 cs.AI cs.LG stat.ML
Checkable NTK Positivity and Finite-Width Gradient Descent for Scalar- and Vector-Valued PINNs with Strong-Form, Weak-Form, and Nonlocal Linear Constraints
ETH Zürich（苏黎世联邦理工学院）
本文为带线性约束的标量/向量值PINN提供可检验的NTK正定性判据及有限宽度梯度下降保证，通过秩条件证书检测结构零模，并给出显式宽度与步长条件确保训练损失几何收敛。
2026-10-06 cs.LG cs.NA math.NA
Limitations of the NTK for Understanding Generalization in Deep Learning
MIT（麻省理工学院）；Harvard University（哈佛大学）；Apple（苹果公司）；UCSD（加州大学圣地亚哥分校）
"神经切线核"（NTK）（Jacot et al 2018）及其经验变体已被提出作为捕获真实神经网络某些行为的代理。在这项工作中，我们研究NTK通过镜头的缩放定律，并证明他们没有解释神经网络推广的重要方面。特别是，我们展示了现实的设置，有限宽度神经网络有显着更好的数据缩放指数相比，其相应的经验和无限NTK在初始化。这揭示了真实网络和NTK之间更根本的差异，而不仅仅是测试准确率的几个百分点。此外，我们表明，即使允许经验NTK在恒定数量的样本上进行预训练，内核缩放也不会赶上神经网络缩放。最后，我们表明，经验NTK继续发展，在整个大部分的培训，与以前的工作，这表明它稳定后，几个时代的培训。总而言之，我们的工作建立了NTK方法在理解自然数据集上真实网络的泛化方面的具体限制。
2022-06-20 cs.AI cs.LG
GradAlign for Training-free Model Performance Inference
Harbin Institute of Technology（哈尔滨工业大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对无训练神经架构搜索（NAS）存在的性能不一致等问题，本文提出GradAlign方法，通过量化初始化时逐样本梯度冲突程度推断模型性能，在标准NAS基准上表现优于现有方法，并指出线性区域数量指标不可靠。
2024-11-29 cs.LG
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK
UT Austin（德克萨斯大学奥斯汀分校）；NEC Labs America（美国 NEC 实验室）；Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）；OSU（俄亥俄州立大学）
该研究针对偏置常数初始化的单隐层ReLU网络，提出偏置广义NTK框架，证明其训练全程稀疏激活且收敛速度与稠密网络相当，还得到首个依赖稀疏度的Rademacher泛化界及更紧致的核最小特征值下界。
2024-10-29 cs.LG
Fast Neural Kernel Embeddings for General Activations
Yale University（耶鲁大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
无限宽度限制通过在神经网络和核方法之间建立联系，为深度学习的泛化和优化方面提供了启示。尽管它们很重要，但由于它们的（超）二次运行时间和内存复杂性，这些内核方法的实用性在大规模学习设置中受到限制。此外，大多数关于神经内核的先前工作都集中在ReLU激活上，这主要是由于其受欢迎程度，但也是由于难以计算用于一般激活的此类内核。在这项工作中，我们通过提供与一般激活一起工作的方法来克服这些困难。首先，我们编译和扩展的激活函数的列表，承认确切的双重激活表达式计算神经内核。当精确的计算是未知的，我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法，该方法可以近似任何多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，用于广泛的激活函数，超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球，我们的方法不受这样的限制，并适用于任何数据集的点在$\mathbb{R}^d$。此外，我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸，适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上，相对于精确卷积NTK（CNTK）计算，我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
Memorizing Gaussians with no over-parameterizaion via gradient decent on neural networks
Hebrew University（希伯来大学）；Google（谷歌）
我们证明了在深度为2的网络上，用$q$隐层神经元，从正交初始化开始的单步的梯度下降，可以记忆$\mathbb{R}^d$中独立的随机标记的高斯分布的$Ω\left(\frac{dq}{\log^4(d)}\right)$.该结果对包括绝对值在内的一大类激活函数都是有效的。
2020-03-28 cs.LG stat.ML
Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime
Johns Hopkins University（约翰霍普金斯大学）
提出一个分析梯度下降动力学的收敛框架，适用于广泛神经网络架构和数据集，证明在温和假设下梯度下降几乎必然收敛到驻点邻域，并给出学习率缩放规律。
2026-06-23 cs.LG math.DS math.OC
Training Infinitely Deep and Wide Transformers
Bocconi University（博科尼大学）；Doshisha University, RIKEN AIP（滋贺大学、RIKEN AIP）；Rice University（里士满大学）；CNRS, ENS, PSL Université（国家科学研究中心、巴黎综合理工学院、巴黎萨克勒大学）
本文提出了一种严格的数学框架，用于分析Transformer在均场 regime 中的梯度基于训练动态，通过研究无限深和宽的Transformer的均场模型，建立了训练风险的条件Wasserstein梯度的显式公式，并证明了在NTK注入性假设下梯度流收敛到全局极小值。
2026-05-17 cs.AI cs.LG math.OC
On Random Kernels of Residual Architectures
Facebook AI Research (FAIR)（脸书人工智能研究实验室）
我们推导出ResNets和DenseNets的神经切线核（NTK）的有限宽度和深度校正。我们的分析表明，有限大小的残差架构的初始化更接近“内核制度”比他们的香草同行：而在不使用跳过连接的网络，收敛到NTK需要一个固定的深度，同时增加层的宽度。我们的研究结果表明，在ResNets中，如果有适当的初始化，当深度和宽度同时趋于无穷大时，可能会收敛到NTK。然而，在DenseNets中，当宽度趋于无穷大时，NTK收敛到其极限是有保证的，其收敛速度与权重的深度和规模无关。我们的实验验证了理论结果，并证明了深度ResNets和DenseNets在具有随机梯度特征的核回归中的优势。
2020-06-17 cs.LG stat.ML
Correlation flow governs learning at criticality
CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）
该研究结合平均场与随机矩阵理论，揭示关联传播与NTK的联系，证明临界状态下正交初始化可抑制有限尺寸修正，其理论在有限尺寸网络上得到验证，阐明了深度学习渐近动力学的关键机制。
2026-09-01 cond-mat.dis-nn cs.LG
Is the neural tangent kernel of PINNs deep learning general partial differential equations always convergent ?
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
该研究针对基于物理信息神经网络的一般偏微分方程的神经切线核展开，分析其初始化与训练收敛条件，发现微分算子齐次性对收敛至关重要，并通过两类方程问题验证了相关结论。
2024-12-09 cs.LG math-ph math.MP
Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications
University of Maryland（马里兰大学）；Meta AI
该研究提出基于部分雅可比矩阵的深度神经网络临界性诊断方法，推导递推关系与低成本数值测试，证明LayerNorm加残差连接的架构可全域临界，并验证于ResNet和MLP-Mixer。
2023-10-05 cond-mat.dis-nn cs.LG hep-th
Neural Tangent Kernel of Neural Networks with Loss Informed by Differential Operators
Tsinghua University（清华大学）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（雁栖湖北京数学科学与应用研究院）
本文针对物理信息损失下的深度神经网络建立NTK理论，分析其初始化与训练时的收敛及结构，证明微分算子通常不会加快特征值衰减或增强谱偏差，并以实验验证。
2025-03-14 cs.LG
Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials
Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
深度学习理论的一个最近的目标是确定神经网络如何摆脱“懒惰训练”或神经切线核（NTK）机制，其中网络在初始化时与其一阶泰勒展开相耦合。虽然NTK对于学习密集多项式是最小最大最优的（Ghorbani等人，2021），但它不能学习特征，因此对于学习包括稀疏多项式在内的许多类函数具有较差的样本复杂度。因此，最近的工作旨在确定基于梯度的算法可证明比NTK更好地推广的设置。一个这样的例子是白和李（2020）的“QuadNTK”方法，该方法分析泰勒展开中的二阶项。Bai和Lee（2020）表明，二阶项可以有效地学习稀疏多项式;然而，它牺牲了学习一般密集多项式的能力。在本文中，我们分析了双层神经网络上的梯度下降如何通过利用NTK的谱特征（Montanari和Zhong，2020）并建立在QuadNTK方法的基础上来逃避NTK机制。我们首先扩展频谱分析，以确定参数空间中的“好”方向，我们可以在不损害泛化的情况下移动。接下来，我们证明了一个宽的两层神经网络可以联合使用NTK和QuadNTK来拟合由密集的低次项和稀疏的高次项组成的目标函数-NTK和QuadNTK都不能单独完成。最后，我们构造了一个正则化器，它鼓励我们的参数向量向“好”的方向移动，并表明正则化损失的梯度下降将收敛到全局最小值，这也具有较低的测试误差。这产生了端到端的收敛性和泛化保证，并且可证明NTK和QuadNTK自身的样本复杂度都有所改…
2022-11-27 cs.LG stat.ML
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑梯度下降的动态学习一个两层神经网络。我们假设输入$x\in\mathbb{R}^d$是从高斯分布中提取的，并且$x$的标签满足$f^{\star}(x) = a^{\top}|W^{\star}x|$，其中$a\in\mathbb{R}^d$是非负向量，并且$W^{\star} \in\mathbb{R}^{d\times d}$是正交矩阵。我们证明了一个带有ReLU激活的过参数化双层神经网络，通过随机初始化的梯度下降进行训练，可以证明在多项式时间内使用多项式样本学习人口损失最多为$o(1/d)$的地面真值网络。另一方面，我们证明了任何核方法，包括神经正切核，与$d$中的多项式样本数，具有人口损失至少$Ω(1 / d)$。
2020-07-09 cs.LG math.OC stat.ML
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
出于理论和实践的考虑，我们研究了权重的随机修剪如何影响神经网络的神经切线核（NTK）。特别是，这项工作建立了一个完全连接的神经网络和它的随机修剪版本之间的NTK的等价性。在两种情况下建立了等效性。第一个主要结果研究了无穷宽渐近性。研究表明，对于在初始化时随机修剪权值的全连接神经网络，在给定一个修剪概率的情况下，当每层网络的宽度依次增长到无穷大时，修剪后的神经网络的NTK收敛到原网络的极限NTK，并增加了一定的尺度.如果网络权重在修剪后被适当地重新缩放，则可以移除这种额外的缩放。第二个主要结果考虑有限宽度的情况。结果表明，为了确保NTK的接近极限，宽度对稀疏性参数的依赖是渐近线性的，因为NTK的差距到其极限下降到零。此外，如果修剪概率被设置为零（即，没有修剪），所需宽度的界限与先前工作中的全连接神经网络的界限匹配到对数因子。这一结果的证明需要开发一种新的网络结构，我们称之为\textit{mask-induced pseudo-networks}的分析。实验提供了评估我们的结果。
2023-03-18 cs.LG
Dynamically Stable Infinite-Width Limits of Neural Classifiers
Neural Networks and Deep Learning lab.（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
最近的研究集中在两种不同的方法来研究神经网络训练在无限宽的限制（1）平均场（MF）和（2）常数神经切线核（NTK）近似。这两种方法具有不同的超参数随网络层宽度的缩放，因此，具有不同的无限宽度限制模型。我们提出了一个通用框架来研究神经模型的极限行为如何依赖于超参数随网络宽度的缩放。我们的框架允许我们导出现有MF和NTK限制的缩放，以及导致相应模型的动态稳定极限行为的其他缩放的不可计数的数量。然而，只有有限数量的不同的极限模型诱导这些缩放。每一个不同的极限模型对应于一个独特的组合，如有界的logits和切线内核在初始化或平稳的切线内核等属性。现有的MF和NTK极限模型，以及一个新的极限模型，满足有限宽度模型所表现出的大部分属性。我们还提出了一个新的初始化校正的平均场极限，满足上述所有性质，其相应的模型是一个简单的修改有限宽度模型。
2020-10-22 cs.LG stat.ML
Random at First, Fast at Last: NTK-Guided Fourier Pre-Processing for Tabular DL
Seattle, WA 98121（西雅图，华盛顿州）；Herndon, VA 20171（赫尔顿，弗吉尼亚州）；Minneapolis, MN 55414（明尼阿波利斯，明尼苏达州）
本文针对表格深度学习训练不稳定与调参成本高的问题，提出以随机傅里叶映射作为无参数预处理，并借助NTK分析证明其能稳定初始核谱、加速优化，实现更快收敛和更强性能。
2025-06-03 cs.AI cs.LG stat.ML
Neural Tangent Kernel of Matrix Product States: Convergence and Applications
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了矩阵乘积态（MPS）的神经切核（NTK）及其在无限键维极限下的收敛性。我们证明了NTK的MPS渐近收敛到一个常数矩阵的梯度下降（训练）过程中（也是初始化阶段）的债券尺寸的MPS走向无穷大的观察，在MPS张量的变化在训练过程中渐近趋于零的无限极限。通过展示MPS的NTK的正定性，在函数空间（由MPS表示的函数空间）中训练期间MPS的收敛性得到保证，而无需对数据集进行任何额外的假设。然后，我们考虑设置（监督）回归均方误差（RMSE）和（无监督）Born Machines（BM），并分析它们的动力学在无限键尺寸限制。导出了描述MPS在RMSE和BM中的响应动力学的常微分方程（ODE），并以封闭形式求解。对于回归，我们考虑Mercer Kernels（高斯核），并发现MPS响应均值的演变遵循NTK的最大特征值。由于BM核函数的正交性，得到了训练过程中不同模式（样本）样本序列的演化和收敛的“特征时间”。
2021-11-28 cs.LG cs.NE quant-ph
Feature selection with gradient descent on two-layer networks in low-rotation regimes
这项工作在具有标准初始化的两层ReLU网络上建立了梯度流（GF）和随机梯度下降（SGD）的低测试误差，在三种情况下，关键权重集旋转很少（由于GF和SGD自然，或由于人工约束），并利用边缘作为核心分析技术。第一种状态接近初始化，具体地说直到权重移动了$\mathcal{O}(\sqrt m)$，其中$m$表示网络宽度，这与神经切线核（NTK）允许的$\mathcal{O}(1)$权重移动形成鲜明对比;这里示出了GF和SGD仅需要与NTK裕度成反比的网络宽度和样本数量，而且GF自身至少达到NTK裕度，这足以建立从边际目标的坏KKT点的逃逸，而先前的工作只能建立非递减但任意小的边际。第二个机制是神经崩溃（NC）设置，其中数据位于非常分离的组中，样本复杂度随组的数量而变化;这里对先前工作的贡献是对初始化的整个GF轨迹的分析。最后，如果内层权重被约束为仅在范数上改变并且不能旋转，则具有大宽度的GF实现全局最大余量，并且其样本复杂度与其倒数成比例;这与之前的工作相反，其需要无限宽度和棘手的对偶收敛假设。作为纯粹的技术贡献，这项工作开发了各种潜在的功能和其他工具，希望有助于未来的工作。
2022-08-04 cs.LG math.OC stat.ML
Single-level Adversarial Data Synthesis based on Neural Tangent Kernels
National Tsing Hua University（国立清华大学）
摘要生成对抗网络（GANs）在数据合成方面取得了令人印象深刻的性能，并推动了许多应用的发展。然而，GANs由于其双层目标而难以训练，这导致了收敛、模式坍塌和梯度消失的问题。在本文中，我们提出了一个新的生成模型称为生成对抗NTK（GA-NTK），有一个单级目标。GA-NTK保持了对抗学习的精神（这有助于生成合理的数据），同时避免了GANs的训练困难。这是通过用神经切线核（NTK-GP）将神经网络建模为高斯过程来完成的，NTK-GP的训练动态可以完全由封闭形式的公式来描述。我们分析了用梯度下降训练的GA-NTK的收敛性，并给出了收敛的充分条件。我们还进行了大量的实验来研究GA-NTK的优点和局限性，并提出了一些技术，使GA-NTK更实用。
2022-11-20 cs.LG
The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning
Applied Mathematics, University of Washington（应用数学，华盛顿大学；艾伦研究所）；Allen Institute（艾伦研究所；神经生物学与生物物理学，华盛顿大学）；Allen Institute（应用数学，电气与计算机工程，华盛顿大学）；Neurobiology & Biophysics, University of Washington（应用数学，神经生物学与生物物理学，华盛顿大学；艾伦研究所）；Applied Mathematics, Electrical & Computer Engineering, University of Washington；Applied Mathematics, Neurobiology & Biophysics, University of Washington；Allen Institute
本文研究了全局经验NTK的结构，揭示其受制于有效秩并产生自参考偏差，通过Kronecker-core定理证明了广泛模型的NTK可计算性，并展示了自注意力变换器的NTK结构受限于低秩性。
2026-10-28 cs.LG math.DS math.OC
Robustness in deep learning: The good (width), the bad (depth), and the ugly (initialization)
EPFL（洛桑联邦理工学院）
我们研究了深度神经网络在（选定的）宽和窄，深和浅，以及懒惰和非懒惰训练设置中的平均鲁棒性概念。我们证明，在欠参数化设置，宽度有负面影响，而它提高了鲁棒性在过参数化设置。深度的效果与初始化和训练模式密切相关。特别是，当使用LeCun初始化时，深度有助于懒惰训练机制的鲁棒性。相反，当使用神经切线核（NTK）和He初始化进行初始化时，深度损害鲁棒性。此外，在非懒惰训练机制下，我们展示了双层ReLU网络的宽度如何有利于鲁棒性。我们的理论发展改进了[Huang et al. NeurIPS 21; Wu et al. NeurIPS 21]的结果，并与[Bubeck and Sellke NeurIPS 21; Bubeck et al. COLT 21]一致。
2023-02-09 cs.AI cs.LG
The Spectral Dimension of NTKs is Constant: A Theory of Implicit Regularization, Finite-Width Stability, and Scalable Estimation
MBZUAI（穆罕默德·本·拉谢德人工智能研究院）
本文提出通过NTK的有效秩理论，揭示深度网络隐式正则化和有限宽度稳定性，并设计可扩展估计器验证理论。
2025-11-30 cs.LG
Expected Gradients of Maxout Networks and Consequences to Parameter Initialization
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；UCLA（加州大学洛杉矶分校）
本文研究了maxout网络的梯度矩界限，提出避免梯度消失或爆炸的参数初始化策略，改进了深度maxout网络的SGD和Adam训练，并给出了线性区域数量、曲线长度失真及NTK的精细理论结果。
2023-05-18 cs.LG stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Spectral Bottleneck in Sinusoidal Representation Networks: Noise is All You Need
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出WINNER初始化方案，通过改进SIREN的频谱特征提升音频和图像拟合性能，揭示初始化对频谱瓶颈的关键影响。
2025-12-23 cs.CV cs.LG cs.SD
