Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS
Simons Institute for the Theory of Computing, University of California, Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
证明了当深度神经切线核和Laplace核都被限制在球面$\mathbb{S}^{d-1}$上时，它们的再生核Hilbert空间（RKHS）包含相同的函数集.此外，我们证明了指数幂核具有较小的权力（使内核不太顺利）导致一个较大的RKHS，当它被限制在球体$\mathbb{S}^{d-1}$，当它被定义在整个$\mathbb{R}^d$。
2021-03-18 cs.LG math.ST stat.ML
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels
University of British Columbia（不列颠哥伦比亚大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们提出了一种新的方法来近似主动学习的采集策略，这些策略是基于假设标记的候选数据点的再训练。虽然这在深度网络中通常是不可行的，但我们使用神经切核来近似再训练的结果，并证明这种近似即使在主动学习设置中也是渐进的-近似“前瞻”选择标准，所需的计算量要少得多。这也使我们能够进行顺序主动学习，即在流机制中更新模型，而无需在添加每个新数据点后使用SGD重新训练模型。此外，我们的查询策略，它更好地理解模型的预测将如何通过添加新的数据点与标准（“近视”）标准相比，大幅击败其他前瞻策略，并实现了与基于池的主动学习中的几个基准数据集上的最新方法相比相同或更好的性能。
2022-06-25 cs.LG stat.ML
Random Features for the Neural Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）
神经切线核（NTK）发现了深度神经网络和核方法之间的联系，具有优化和泛化的见解。受此启发，最近的研究报告称，与在小规模数据集上训练神经网络相比，NTK可以实现更好的性能。然而，由于核方法的计算限制，在大规模设置下的结果几乎没有研究。在这项工作中，我们提出了一种全连接ReLU网络NTK的有效特征映射构造，使我们能够将其应用于大规模数据集。我们将反余弦核的随机特征与基于草图的算法相结合，该算法可以相对于数据点的数量和输入尺寸线性运行。我们表明，所得到的功能的尺寸是远远小于其他基线特征图的建设，以实现可比的误差范围在理论和实践中。此外，我们利用杠杆得分为基础的采样的反余弦随机特征的改进的界限，并证明了所提出的特征映射到两层神经网络的NTK矩阵的谱近似保证。我们对各种机器学习任务进行基准测试，以证明所提出的方案的优越性。特别是，我们的算法可以运行几十个数量级的速度比精确的内核方法大规模的设置没有性能损失。
2021-04-03 cs.LG stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?
神经切线核（NTK）理论被广泛用于研究梯度下降下无限宽深度神经网络（DNN）的动力学行为。但无限宽网络的结果是否能为我们提供有关真实有限宽网络行为的提示呢？在本文中，我们实证研究了NTK理论在全连接ReLU和sigmoid DNN实践中的有效性。我们发现，网络是否处于NTK状态取决于随机初始化的超参数和网络的深度。特别是，NTK理论没有解释初始化足够深的网络的行为，使得它们的梯度在网络的层中传播时爆炸：内核在初始化时是随机的，在这种情况下在训练过程中会发生显着变化，这与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK状态，但随着深度的增加而变得不可训练。我们还描述了一个框架来研究DNN的泛化特性，特别是网络输出函数的方差，通过NTK理论，并讨论其局限性。
2022-02-01 cs.LG stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
New Insights into Graph Convolutional Networks using Neural Tangent Kernels
Technical University of Munich（慕尼黑工业大学）
该研究借助神经切线核（NTKs）解释图卷积网络（GCNs）深度与性能的关联规律，推导无限宽GCNs的NTKs，验证合适归一化可缓解深度带来的性能下降，并提出NTK作为无超参数的GCN高效代理模型。
2023-11-04 cs.LG stat.ML
FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis
Peking University（北京大学）；Princeton University（普林斯顿大学）；The University of Washington（华盛顿大学）
联邦学习（FL）是一种新兴的学习方案，它允许不同的分布式客户端在没有数据共享的情况下一起训练深度神经网络。神经网络由于其前所未有的成功而变得流行。据我们所知，FL的理论保证神经网络与显式形式和多步更新尚未探索。然而，FL中神经网络的训练分析是不平凡的，原因有两个：第一，我们优化的目标损失函数是非光滑和非凸的，第二，我们甚至没有在梯度方向上更新。现有的基于梯度下降方法的收敛结果严重依赖于梯度方向用于更新的事实。本文提出了一类新的FL收敛分析，联邦学习神经切线核（FL-NTK），它对应于FL中通过梯度下降训练的过参数化ReLU神经网络，并受到神经切线核（NTK）分析的启发。理论上，FL-NTK收敛到一个全局最优解的线性速率与适当调整的学习参数。此外，通过适当的分布假设，FL-NTK也可以实现良好的推广。
2021-05-11 cs.DC cs.LG stat.ML
Quantum tangent kernel
量子核方法是量子机器学习的关键方法之一，具有不需要优化、理论简单等优点。凭借这些特性，到目前为止，已经开发了几个实验演示和讨论的潜在优势。然而，与经典机器学习的情况一样，并非所有量子机器学习模型都可以被视为内核方法。在这项工作中，我们探索了一个量子机器学习模型与深度参数化的量子线路，旨在超越传统的量子核方法。在这种情况下，表示能力和性能有望得到提高，而训练过程可能是一个瓶颈，因为贫瘠的高原问题。然而，我们发现，一个足够深的量子线路的参数在训练过程中不会从其初始值移动太多，允许相对于参数的一阶扩展。这种行为类似于经典文献中的神经正切核，而这种深度变分量子机器学习可以用另一种涌现核--量子正切核来描述。数值模拟表明，所提出的量子正切核优于传统的量子核方法的ansatz生成的数据集。这项工作提供了一个超越传统量子核方法的新方向，并利用深度参数化的量子线路探索量子机器学习的潜在力量。
2022-11-24 quant-ph stat.ML
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University（得克萨斯农工大学）；University of Toronto（多伦多大学）
我们证明了在有限的深度和宽度上，随机初始化ReLU网络中神经切线核（NTK）的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此，即使在无限overparameterization的限制，NTK是不确定的，如果深度和宽度同时趋于无穷大。此外，我们证明，对于这样的深度和广度的网络，NTK在训练过程中有一个非平凡的演变，表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明，与相对较浅和较宽的网络不同，深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS（高等研究院）；Harvard University（哈佛大学）
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks
MPI-MIS（马克斯·普朗克数学研究所）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；UCLA（加州大学洛杉矶分校）
最近的一系列工作已经通过神经切线核（NTK）分析了深度神经网络的理论特性。特别是，NTK的最小特征值与记忆能力，梯度下降算法的全局收敛性和深度网络的推广有关。然而，现有的结果要么在两层设置提供界限，或假设的NTK矩阵的频谱有界远离0的多层网络。在本文中，我们为深度ReLU网的NTK矩阵的最小特征值提供了严格的界限，无论是在无限宽度的极限情况下还是有限宽度的情况下。在有限宽度设置中，我们考虑的网络架构相当普遍：我们需要存在一个宽层，大约有$N$神经元的数量级，$N$是数据样本的数量;其余层宽度的缩放是任意的（直到对数因子）。为了获得我们的结果，我们分析了各种数量的独立利益：我们给出的最小奇异值的隐藏特征矩阵的下界，和输入输出特征映射的Lipschitz常数的上界。
2022-08-21 cs.LG stat.ML
Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Pennsylvania（宾夕法尼亚大学）
本文研究随机特征与神经正切核模型的鲁棒性，证明随机特征在任何过参数化程度下都不鲁棒，而偶激活 NTK 在满足过参数化必要条件时即可达到鲁棒性下界，从而超越 Bubeck-Sellke 普遍定律并解决相关猜想。
2023-05-27 cs.LG stat.ML
Expressibility-induced Concentration of Quantum Neural Tangent Kernels
Nankai University（南开大学）；Tsinghua University（清华大学）；Hefei National Laboratory（合肥国家实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
该研究揭示量子神经切线核的可表达性诱导集中特性，证明高可表达性量子编码会引发核值指数集中于零，局部损失下可部分缓解，为宽量子变分电路设计提供参考。
2023-11-08 cs.AI cs.LG quant-ph
Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels
University of Maryland（马里兰大学）；Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学量子信息与计算机科学联合中心）；JPMorgan Chase & Co.（摩根大通公司）；Tsinghua University（清华大学）
量子神经网络（QNN）是一种参数化的映射，可以在近期噪声中尺度量子（NISQ）计算机上有效实现。当与经典的基于梯度的优化器相结合时，它可以用于监督学习。尽管现有的经验和理论研究，QNN训练的收敛性还没有完全理解。受神经正切核（NTK）在探索经典神经网络动力学方面的成功启发，最近的一系列工作提出通过检查正切核的量子版本来研究过参数化QNN。在这项工作中，我们研究了QNN的动力学，并表明与流行的观点相反，它与任何核回归都有质的不同：由于量子运算的酉性，在随机初始化时导出的正切核回归存在不可忽略的偏差。作为偏差的结果，我们证明了至多次线性收敛QNN与泡利测量，这是超出任何内核回归动力学的解释能力。然后，我们提出了实际的动力学QNN在过参数化的限制。新的动态捕捉到训练过程中收敛速度的变化，并意味着测量范围对QNN的快速收敛至关重要。
2023-03-26 cs.LG quant-ph
Learning with Neural Tangent Kernels in Near Input Sparsity Time
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经切线核（NTK）通过梯度下降来表征在最小二乘损失下训练的无限宽神经网络的行为。然而，尽管它的重要性，内核方法的超二次运行时间限制了NTK在大规模学习任务中的使用。为了用NTK加速核机器，我们提出了一种近输入稀疏时间算法，该算法将输入数据映射到随机化的低维特征空间，使得变换后的数据的内积近似于其NTK评估。我们的变换通过绘制反余弦核的多项式展开来工作。此外，我们提出了一个特征映射来近似NTK的卷积对应物，它可以使用仅在像素数量上呈线性的运行时来变换任何图像。我们表明，在标准的大规模回归和分类任务中，在我们的特征上训练的线性回归器优于训练的神经网络和NTK内核的Nystrom近似。
2021-07-27 cs.AI cs.DS cs.LG
Stability & Generalisation of Gradient Descent for Shallow Neural Networks without the Neural Tangent Kernel
University of Oxford（牛津大学）；DeepMind
我们重新审视GD训练overparameterized浅神经网络的平均算法稳定性，并证明了新的泛化和超额风险的界限，没有NTK或PL假设。特别是，我们显示预言型界限，揭示了GD的泛化和超额风险是由一个插值网络控制的最短GD路径从初始化（在某种意义上说，插值网络的最小相对范数）。虽然这对于核化插值是已知的，但我们的证明直接适用于GD训练的网络，而无需中间核化。同时，通过放松这里开发的预言不等式，我们恢复现有的NTK为基础的风险界限，在一个简单的方式，这表明我们的分析更紧密。最后，与大多数基于NTK的分析不同，我们专注于带有标签噪声的回归，并表明GD与早期停止是一致的。
2021-11-09 cs.LG math.ST stat.ML
Neural Networks as Kernel Learners: The Silent Alignment Effect
Harvard University（哈佛大学）
懒惰训练机制中的神经网络收敛到内核机器。在富特征学习机制中的神经网络能学习具有数据依赖内核的内核机器吗？我们证明，这确实可以发生，由于一种现象，我们长期沉默的对齐，这需要一个网络的切线内核的特征结构的演变，而小，之前的损失明显减少，并增长，只有在整体规模之后。我们表明，这样的效果发生在同质神经网络与小的初始化和白化数据。我们提供了一个线性网络的情况下，这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段会产生一个低秩的贡献，然后在整体规模上发展，产生一个函数，相当于最终网络的切线内核的内核回归解决方案。内核的早期谱学习取决于深度。我们还证明了非白化数据可以削弱沉默对齐效应。
2021-12-02 cs.LG stat.ML
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
在初始化时，人工神经网络（ANN）等价于无限宽度限制下的高斯过程，从而将它们连接到核方法。我们证明了人工神经网络在训练过程中的演变也可以描述的内核：在梯度下降的人工神经网络的参数，网络功能$f_θ$（将输入向量映射到输出向量）遵循内核梯度的功能成本（这是凸的，在对比参数成本）w.r.t.一个新的内核：神经切线核（NTK）。该核是描述人工神经网络泛化特征的核心。虽然NTK在初始化时是随机的，并且在训练过程中变化，但在无限宽度限制下，它收敛到一个显式限制核，并且在训练过程中保持不变。这使得在函数空间而不是参数空间中研究人工神经网络的训练成为可能。然后，训练的收敛性可以与限制NTK的正定性相关。证明了当数据支撑在球面上且非线性为非多项式时，极限NTK的正定性。然后，我们专注于最小二乘回归的设置，并表明在无限宽的限制，网络函数$f_θ$遵循线性微分方程在训练过程中。相对于NTK，沿着输入数据的最大核主成分的收敛是最快的，因此提出了提前停止的理论动机。最后，我们研究了NTK数值，观察其行为的宽网络，并将其与无限宽的限制。
2020-02-10 cs.LG cs.NE math.PR
Neural Tangent Kernel of Matrix Product States: Convergence and Applications
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了矩阵乘积态（MPS）的神经切核（NTK）及其在无限键维极限下的收敛性。我们证明了NTK的MPS渐近收敛到一个常数矩阵的梯度下降（训练）过程中（也是初始化阶段）的债券尺寸的MPS走向无穷大的观察，在MPS张量的变化在训练过程中渐近趋于零的无限极限。通过展示MPS的NTK的正定性，在函数空间（由MPS表示的函数空间）中训练期间MPS的收敛性得到保证，而无需对数据集进行任何额外的假设。然后，我们考虑设置（监督）回归均方误差（RMSE）和（无监督）Born Machines（BM），并分析它们的动力学在无限键尺寸限制。导出了描述MPS在RMSE和BM中的响应动力学的常微分方程（ODE），并以封闭形式求解。对于回归，我们考虑Mercer Kernels（高斯核），并发现MPS响应均值的演变遵循NTK的最大特征值。由于BM核函数的正交性，得到了训练过程中不同模式（样本）样本序列的演化和收敛的“特征时间”。
2021-11-28 cs.LG cs.NE quant-ph
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains
本文提出确定定义在一般域上的大规模核函数特征值衰减率的方法，分析了宽神经网络的最小最大最优性及过拟合问题。
2026-04-07 cs.LG stat.ML
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
University of California, Berkeley（加州大学伯克利分校）
当客户端具有不同的数据分布时，最先进的联邦学习方法的性能可能比集中式方法差得多。对于神经网络，即使当集中式SGD很容易找到对所有客户端同时执行的解决方案时，当前的联合优化方法也无法收敛到可比较的解决方案。我们发现，这种性能差异在很大程度上可以归因于非凸性带来的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的特征，但最终层未能利用它们。也就是说，应用于这个非凸问题的联邦优化扭曲了最终层的学习。利用这一观察，我们提出了一个训练-凸化-训练（TCT）过程来回避这个问题：首先，使用现成的方法学习特征（例如，FedAvg）;然后，优化从网络的经验神经切线核近似获得的凸化问题。当客户端具有不同的数据时，我们的技术在FMNIST上产生了高达+36%的准确性改进，在CIFAR 10上产生了+37%的准确性改进。
2022-10-05 cs.DC cs.LG math.OC
On the Generalization Power of Overfitted Two-Layer Neural Tangent Kernel Models
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
在本文中，我们研究了具有ReLU激活的双层神经网络的神经切线核（NTK）模型的min $\ell_2$ -范数过拟合解的泛化性能，该模型没有偏置项。我们表明，根据地面真值函数，过拟合NTK模型的测试误差表现出的特性是不同的“双下降”的其他overparameterized线性模型与简单的傅立叶或高斯特征。具体来说，对于一类可学习的功能，我们提供了一个新的上限的泛化误差接近一个小的极限值，即使当神经元的数量$p$接近无穷大。该极限值随着训练样本的数目$n$而进一步减小。对于这个类之外的函数，我们提供了一个泛化误差的下限，即使$n$和$p$都很大，也不会减小到零。
2023-03-07 cs.LG math.ST stat.ML
Scaling Neural Tangent Kernels via Sketching and Random Features
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）；KAIST（韩国科学技术院）
神经切线核（NTK）通过梯度下降来表征在最小平方损失下训练的无限宽神经网络的行为。最近的工作还报告说，NTK回归可以优于在小规模数据集上训练的有限宽神经网络。然而，核方法的计算复杂性限制了其在大规模学习任务中的应用。为了加速NTK的学习，我们通过绘制反余弦内核的多项式展开，为NTK设计了一个近输入稀疏时间近似算法：我们的NTK卷积对应物（CNTK）草图可以使用像素数的线性运行时间来转换任何图像。此外，我们证明了NTK矩阵的谱近似保证，通过结合随机特征（基于杠杆分数采样）的反余弦内核与草图算法。我们在各种大规模回归和分类任务上对我们的方法进行了基准测试，并表明在我们的CNTK特征上训练的线性回归器与CIFAR-10数据集上精确CNTK的准确性相匹配，同时实现了150倍的加速。
2021-12-08 cs.CV cs.DS cs.LG
When and why PINNs fail to train: A neural tangent kernel perspective
University of Pennsylvania（宾夕法尼亚大学）
物理信息神经网络（PINN）最近受到了极大的关注，这要归功于它们在处理涉及偏微分方程的广泛的正问题和逆问题方面的灵活性。然而，尽管它们在经验上取得了显著的成功，但人们对这种受约束的神经网络在通过梯度下降进行训练期间的行为知之甚少。更重要的是，人们对为什么这些模型有时根本无法进行训练知之甚少。在这项工作中，我们的目标是通过神经切线核（NTK）的镜头来研究这些问题; NTK是一种通过梯度下降在训练过程中捕获无限宽度限制中全连接神经网络行为的内核。具体来说，我们推导出PINN的NTK，并证明在适当的条件下，它收敛到一个确定性的内核，在无限宽的限制下，在训练过程中保持不变。这使我们能够通过限制NTK的镜头来分析PINN的训练动态，并发现导致总训练误差的不同损失分量的收敛速度存在显着差异。为了解决这个基本的病理，我们提出了一种新的梯度下降算法，利用NTK的特征值自适应校准的总训练误差的收敛速度。最后，我们进行了一系列的数值实验，以验证我们的理论的正确性和所提出的算法的实际有效性。本手稿随附的数据和代码可在\url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}上公开获取。
2020-07-28 cs.LG cs.NA math.NA
Generalized Tangent Kernel: A Unified Geometric Foundation for Natural Gradient and Standard Gradient
Horizon Robotics；Department of Mathematics and Statistics, Boston University（波士顿大学数学与统计学系）
本文提出 Generalized Tangent Kernel（GTK）统一自然梯度与标准梯度，证明其可在函数空间上定义黎曼度量，并为退化自然梯度及新型梯度下降方法提供理论框架。
2025-09-26 cs.LG
An Adaptive Tangent Feature Perspective of Neural Networks
Stanford University（斯坦福大学）；Rice University（莱斯大学）
本文提出自适应切空间特征框架，将特征线性变换与参数联合优化并转化为带结构化正则化的约束问题，揭示神经网络核函数变化与核对齐的细微机制。
2024-02-20 cs.CV cs.LG
On the Impacts of the Random Initialization in the Neural Tangent Kernel Theory
Tsinghua University（清华大学）
该研究探讨了随机初始化对神经正切核（NTK）理论的影响，证明宽神经网络随机初始化下的训练动力学收敛于对应NTK回归，且其泛化仍受维数灾难限制，凸显镜像初始化优势并指出NTK理论的局限性。
2024-10-08 cs.LG stat.ML
Deep Learning in Random Neural Fields: Numerical Experiments via Neural Tangent Kernel
LPIXEL Inc（LPIXEL公司）；The Institute of Statistical Mathematics（统计数学研究所）；AIST（产业技术综合研究所）；RIKEN AIP（理化学研究所人工智能项目中心）；RIKEN CBS（理化学研究所脑科学中心）；Teikyo University（帝京大学）；Araya Inc（Araya公司）
皮层中的生物神经网络形成神经场。场域中的神经元有自己的感受野，两个神经元之间的连接权重是随机的，但当它们在感受野中非常接近时高度相关。在本文中，我们调查这样的神经领域的多层架构，调查领域的监督学习。我们将场模型的性能与随机连接的深度网络的性能进行了实证比较。基于神经切线核机制的关键思想，研究了随机连接网络的行为，该机制是过参数化网络机器学习理论的最新发展;对于大多数随机连接的神经网络，研究表明全局极小值总是存在于其小邻域中。我们数值表明，这种说法也适用于我们的神经领域。更详细地说，我们的模型有两个结构：i）场中的每个神经元都有一个连续分布的感受野，ii）初始连接权重是随机的，但不是独立的，当神经元在每层中的位置接近时，具有相关性。我们表明，这样的多层神经场是更强大的比传统的模型，当输入模式被噪声干扰变形。此外，它的泛化能力可以略优于传统的模型。
2023-01-07 cs.LG
Benefits of Jointly Training Autoencoders: An Improved Neural Tangent Kernel Analysis
Iowa State University（爱荷华州立大学）；Texas A&M University（得克萨斯农工大学）；New York University（纽约大学）
最近在机器学习中的一个显着发现是，深度神经网络可以在大量过度参数化的情况下实现令人印象深刻的性能（在较低的训练误差和较高的泛化能力方面）。因此，在过去的一年里，社区对分析过参数化网络的优化和泛化特性越来越感兴趣，并且一些突破性的工作导致了重要的理论进展。然而，大多数现有的工作仅适用于监督学习场景，因此仅限于分类和回归等设置。相比之下，过度参数化在无监督环境中的作用受到的关注要少得多。在本文中，我们研究了具有ReLU激活的两层过参数化自编码器的梯度动力学。我们对给定的训练数据集做了很少的假设（除了温和的非退化条件）。从一个随机初始化的自动编码器网络开始，我们严格证明了梯度下降在两种学习机制中的线性收敛性，即：（i）弱训练机制，其中只有编码器被训练，以及（ii）联合训练机制，其中编码器和解码器都被训练。我们的研究结果表明，联合训练在寻找全局最优值方面优于弱训练，大大降低了所需的过度参数化水平。我们还分析了权重绑定自编码器的情况（这是实际设置中常用的架构选择），并证明在过度参数化的设置中，从随机初始化的点训练这样的网络会导致某些意想不到的退化。
2020-03-02 cs.LG stat.ML
Convergence analysis of wide shallow neural operators within the framework of Neural Tangent Kernel
Tsinghua University（清华大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对神经算子训练误差分析缺失的问题，本文在NTK框架下分析宽浅及物理信息浅神经算子的梯度下降收敛性，证明过参数化下连续与离散时间均可达到全局最小。
2025-01-10 cs.DS cs.LG math.OC
Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss
本文提出了一种基于随机算法的高效计算方法，用于在物理损失中自适应神经切线核权重的收敛与计算效率提升。
2025-11-19 cs.LG cs.NA math.NA
Neural Tangent Kernels for Complex Genetic Risk Prediction: Bridging Deep Learning and Kernel Methods in Genomics
针对遗传风险预测需兼顾非线性关系捕捉、可解释性与计算效率的需求，提出融合核方法与深度学习的NTK框架，经模拟和ADNI数据验证，其预测准确率优于传统方法，且具备可解释性与计算优势。
2025-10-01 stat.AP
Scaling Limits of Wide Neural Networks with Weight Sharing: Gaussian Process Behavior, Gradient Independence, and Neural Tangent Kernel Derivation
Microsoft Research AI（微软研究院AI）
机器学习理论和实践中的几个最新趋势，从最先进的高斯过程的设计到随机梯度下降（SGD）下深度神经网络（DNN）的收敛性分析，都发现研究宽随机神经网络是富有成效的。这些方法的核心是此类网络的某些扩展限制。我们统一这些结果通过引入一个直线\emph{tensor program}，可以表示大多数神经网络计算的概念，我们表征其缩放极限时，它的张量是大的和随机的。从我们的框架中得出（1）随机神经网络到高斯过程的收敛，用于诸如递归神经网络、卷积神经网络、残差网络、注意力及其任何组合的架构，具有或不具有批量归一化;（2）\emph{gradient independence assumption} --反向传播中的权重可以被假设为独立于正向传递中的权重--的条件，导致梯度动力学的正确计算，以及当其不正确时的校正;（3）神经切线核的收敛，该内核是最近提出的用于预测梯度下降下的神经网络的训练动力学的内核，在（1）中的所有架构的初始化时，没有批量归一化。在数学上，我们的框架是一般性的，足以重新推导经典的随机矩阵的结果，如循环和Marchenko-Pastur法律，以及最近的结果在神经网络雅可比奇异值。我们希望我们的工作为设计更强的高斯过程、避免梯度爆炸/消失的初始化方案以及更深入地理解现代架构中的SGD动态开辟了一条道路。
2020-04-04 cond-mat.dis-nn cs.LG cs.NE
Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Samsung Medical Center（三星医疗中心）；Sungkyunkwan University School of Medicine（成均馆大学医学院）；AITRICS
解释泛化和防止过度自信的预测是神经网络损失景观研究的中心目标。平坦性被定义为对预先训练的解决方案的扰动的损失不变性，被广泛接受为在这种情况下泛化的预测因子。然而，平坦性和推广界可以根据参数的尺度任意改变的问题被指出，和以前的研究部分解决了这个问题的限制：反直观地，他们的推广界仍然是可变的函数保持参数缩放变换或仅限于一个不切实际的网络结构。作为一个更根本的解决方案，我们提出了新的先验和后验分布不变的缩放变换的\textit{decomposing}的规模和连接的参数，从而使由此产生的泛化约束来描述一个广泛的一类网络的泛化能力与更实际的类的转换，如权重衰减与批量归一化。我们还表明，上述问题对拉普拉斯近似的不确定性校准产生不利影响，并提出了一个解决方案，使用我们的不变后验。我们的经验表明，我们的后验提供了有效的平坦度和校准措施，在这样一个实际的参数变换的情况下，低复杂性，支持其实际有效性符合我们的理由。
2022-09-30 cs.AI cs.LG
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Unveiling the Mechanism of Continuous Representation Full-Waveform Inversion: A Wave Based Neural Tangent Kernel Framework
School of Mathematics and Statistics, Xi’an Jiaotong University, Xi’an, Shaanxi, China（西安交通大学数学与统计学学院）；Macao Institute of Systems Engineering, Macau University of Science and Technology, Taipa, Macao（澳门系统工程研究院，澳门科技大学，路环，澳门）
本文提出基于波的神经切线核框架，揭示连续表示全波形反演的机制，通过分析神经切线核的特征，改进了全波形反演的鲁棒性和高频收敛性。
2026-03-23 cs.AI cs.LG physics.geo-ph
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania（宾夕法尼亚大学）
神经切线核（NTK）是训练过参数化神经网络（NN）的一种常用方法，但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质，这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中，我们介绍了一种新的方法，从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说，我们提出了两个标签感知内核，每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加，使用Hoeffding分解。通过理论和经验证据，我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
神经网络（NN）的训练动力学和泛化性能可以通过神经正切核（NTK）在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习，并成为静态内核机制之外网络卓越性能的基础。在这项工作中，我们试图从理论上理解内核对齐，一个突出的和无处不在的结构变化，使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型，其中NTK进化以加速训练，并表明对齐自然地出现在这种需求中。然后，我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述，并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中，我们发现了核专业化的现象，其中每个输出头的核函数优先与自己的目标函数对齐。总之，我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程学部）；Faculty of Science and Engineering, Waseda University（早稻田大学理工学部）；Faculty of Information Sciences, Hiroshima City University（广岛城大学信息科学学部）；Joint Graduate School of Math for Innovation, Kyushu University（九州大学创新数学研究生院）；The University of Electro-Communications（电子通信大学）
本文研究随机隐藏权重两层 ReLU 网络的 Fisher 信息矩阵与 NTK，揭示二者的线性变换关系，给出 NTK 谱分解、主要特征函数形式及网络函数的近似公式。
2025-07-25 cs.LG stat.ML
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
软树是决策树的一种正在研究的变体，它使用梯度方法更新分裂规则。虽然软树可以采用各种架构，但它们的影响在理论上并不为人所知。在本文中，我们制定和分析的神经切线核（NTK）诱导的软树集成任意树结构。这个内核导致了一个显着的发现，即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说，如果每个深度的叶子数量是固定的，那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同，即使它们不是同构的。我们还表明，NTK的非对称树，如决策列表不退化时，他们得到无限深。这与完美二叉树形成对比，完美二叉树的NTK已知会退化，并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
在实际应用中，树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则，软树使用梯度方法来训练，其中整个分裂操作以可微形式制定。虽然近年来，这种软树的集合越来越多地被使用，但很少有理论工作来理解它们的行为。通过对无限软树系综的研究，引入并研究了树神经切线核（TNTK），为研究无限软树系综的行为提供了新的思路.使用TNTK，我们从理论上确定了几个非平凡的属性，如全局收敛的训练，不经意的树结构的等价性，和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题，本文提出两种坐标嵌入以实现近似空间不变，并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
NFT-K: Non-Fungible Tangent Kernels
Rice University（莱斯大学）
深度神经网络由于其强大的经验性能（如视觉、RL和分类），已成为众多应用的关键。不幸的是，这些网络很难解释，这限制了它们在可解释性对安全性很重要的环境中的适用性，例如医学成像。一种类型的深度神经网络是神经切线核，其类似于提供可解释性的某些方面的核机器。为了进一步促进分类和层的可解释性，我们开发了一个新的网络作为多个神经切线核的组合，一个单独建模深度神经网络的每一层，而不是过去的工作，试图通过单个神经切线核来表示整个网络。我们在两个数据集上展示了该模型的可解释性，表明多核模型阐明了层与预测之间的相互作用。
2021-10-11 cs.LG
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford（牛津大学）；Google Research（谷歌研究院）
我们通过神经正切核（NTK）的镜头探索深度集成和高斯过程（GP）之间的联系：理解宽神经网络（NN）的训练动态的最新进展。以前的工作已经表明，即使在无限宽的限制下，当NN成为GP时，也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改，通过向每个合奏成员添加一个可计算的，随机的和不可训练的函数，这使得在无限宽度限制下的后验解释成为可能。当集成在一起时，我们训练的NN给出了后验预测分布的近似值，并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后，使用有限宽度NN，我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测，并且可以在各种分布外设置中优于标准深度集成，用于回归和分类任务。
2020-10-24 cs.LG stat.ML
On the infinite width limit of neural networks with a standard parameterization
Google（谷歌）
目前有两种参数化用于导出对应于无限宽度神经网络的固定核，NTK（神经切线核）参数化和朴素标准参数化。然而，将这两种参数化外推到无限宽是有问题的。标准参数化导致发散的神经切线核，而NTK参数化未能捕获有限宽度网络的关键方面，例如：训练动态对相对层宽度的依赖性，权重和偏差的相对训练动态，以及整体学习率规模。在这里，我们提出了一种改进的标准参数化的外推，保留所有这些属性的宽度被带到无穷大，并产生一个定义良好的神经切线核。我们的实验表明，所得到的内核通常达到类似的精度从NTK参数化，但更好地对应于典型的有限宽度网络的参数化。此外，通过仔细调整宽度参数，改进的标准参数化内核可以优于NTK参数化的内核。我们在https://github.com/google/neural-tangents上发布了实现这种改进的标准参数化的代码，作为神经切线库的一部分。
2020-04-18 cs.LG stat.ML
