On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
A Neural Tangent Kernel Perspective of GANs
Criteo AI Lab（Criteo人工智能实验室）；Sorbonne Université（索邦大学）；ETH Zürich（苏黎世联邦理工学院）；Thales（泰雷兹集团）
提出了一种新的生成对抗网络（GANs）分析理论框架。我们揭示了以前分析的一个根本缺陷，即通过错误地对GANs的训练方案进行建模，会受到定义不清的梯度的影响。我们克服了这个问题，这阻碍了GAN培训的原则性研究，解决它在我们的框架内，考虑到了GAN的架构。为此，我们通过神经切线核将无限宽神经网络的理论应用于神经网络。我们的特点是训练的网络的各种损失，并建立一般的可微性的网络。由此，我们获得了关于生成的分布收敛的新见解，推进了我们对GANs训练动态的理解。我们通过基于我们框架的分析工具包实证证实了这些结果，揭示了与GAN实践一致的直觉。
2022-11-07 cs.LG cs.NE stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
Quantum tangent kernel
量子核方法是量子机器学习的关键方法之一，具有不需要优化、理论简单等优点。凭借这些特性，到目前为止，已经开发了几个实验演示和讨论的潜在优势。然而，与经典机器学习的情况一样，并非所有量子机器学习模型都可以被视为内核方法。在这项工作中，我们探索了一个量子机器学习模型与深度参数化的量子线路，旨在超越传统的量子核方法。在这种情况下，表示能力和性能有望得到提高，而训练过程可能是一个瓶颈，因为贫瘠的高原问题。然而，我们发现，一个足够深的量子线路的参数在训练过程中不会从其初始值移动太多，允许相对于参数的一阶扩展。这种行为类似于经典文献中的神经正切核，而这种深度变分量子机器学习可以用另一种涌现核--量子正切核来描述。数值模拟表明，所提出的量子正切核优于传统的量子核方法的ansatz生成的数据集。这项工作提供了一个超越传统量子核方法的新方向，并利用深度参数化的量子线路探索量子机器学习的潜在力量。
2022-11-24 quant-ph stat.ML
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland at College Park（马里兰大学帕克分校）
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明，在归一化多通道输入和ReLU激活的情况下，这些具有统一度量的内核的特征函数由球谐函数的乘积形成，定义在不同像素的通道上。接下来，我们使用分层可因子分解核来绑定它们各自的特征值。我们表明，多项式的特征值衰减，量化的衰减率，并得出措施，反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels
University of British Columbia（不列颠哥伦比亚大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们提出了一种新的方法来近似主动学习的采集策略，这些策略是基于假设标记的候选数据点的再训练。虽然这在深度网络中通常是不可行的，但我们使用神经切核来近似再训练的结果，并证明这种近似即使在主动学习设置中也是渐进的-近似“前瞻”选择标准，所需的计算量要少得多。这也使我们能够进行顺序主动学习，即在流机制中更新模型，而无需在添加每个新数据点后使用SGD重新训练模型。此外，我们的查询策略，它更好地理解模型的预测将如何通过添加新的数据点与标准（“近视”）标准相比，大幅击败其他前瞻策略，并实现了与基于池的主动学习中的几个基准数据集上的最新方法相比相同或更好的性能。
2022-06-25 cs.LG stat.ML
Random Features for the Neural Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）
神经切线核（NTK）发现了深度神经网络和核方法之间的联系，具有优化和泛化的见解。受此启发，最近的研究报告称，与在小规模数据集上训练神经网络相比，NTK可以实现更好的性能。然而，由于核方法的计算限制，在大规模设置下的结果几乎没有研究。在这项工作中，我们提出了一种全连接ReLU网络NTK的有效特征映射构造，使我们能够将其应用于大规模数据集。我们将反余弦核的随机特征与基于草图的算法相结合，该算法可以相对于数据点的数量和输入尺寸线性运行。我们表明，所得到的功能的尺寸是远远小于其他基线特征图的建设，以实现可比的误差范围在理论和实践中。此外，我们利用杠杆得分为基础的采样的反余弦随机特征的改进的界限，并证明了所提出的特征映射到两层神经网络的NTK矩阵的谱近似保证。我们对各种机器学习任务进行基准测试，以证明所提出的方案的优越性。特别是，我们的算法可以运行几十个数量级的速度比精确的内核方法大规模的设置没有性能损失。
2021-04-03 cs.LG stat.ML
Enhanced Convolutional Neural Tangent Kernels
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute for Advanced Study（高等研究院）
最近的研究表明，对于具有$\ell_2$损失的训练，如果仅训练最后一层，则宽度（卷积层中的通道数）变为无穷大的卷积神经网络（CNN）对应于关于CNN高斯过程核（CNN-GP）的回归，并且如果训练所有层，则对应于关于卷积神经切线核（CNTK）的回归。计算CNTK的精确算法（Arora等人，2019）得出的发现是，CNTK在CIFAR-10上的分类准确度在相应CNN架构的分类准确度的6-7%以内（最佳数字约为78%），这对于固定内核来说是有趣的性能。在这里，我们展示了如何使用两个想法显着提高这些内核的性能。(1)使用称为局部平均池化（Local Average Pooling，简称EVM）的新操作修改内核，该操作保留了内核的高效可计算性，并继承了使用像素移位的标准数据增强的精神。由于核回归的二次训练成本，早期的论文无法结合朴素数据增强。这个想法的灵感来自于全局平均池（GAP），我们为CNN-GP和CNTK证明了它相当于完全翻译数据增强。(2)使用Coates等人（2011）提出的预处理技术表示输入图像，该技术使用由随机图像补丁组成的单个卷积层。在CIFAR-10上，所得到的内核，具有反向和水平翻转数据增强的CNN-GP，实现了89%的准确度，与AlexNet的性能相匹配（Krizhevsky等人，2012年）。请注意，这是我们所知道的最好的分类器结果，它不是一个经过训练的神经网络。对于…
2019-11-03 cs.CV cs.LG cs.NE
Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify；University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）
本文扩展NTK对应的高斯过程框架，在支持非零观测噪声的同时估计后验协方差以量化认知不确定性，并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
New Insights into Graph Convolutional Networks using Neural Tangent Kernels
Technical University of Munich（慕尼黑工业大学）
该研究借助神经切线核（NTKs）解释图卷积网络（GCNs）深度与性能的关联规律，推导无限宽GCNs的NTKs，验证合适归一化可缓解深度带来的性能下降，并提出NTK作为无超参数的GCN高效代理模型。
2023-11-04 cs.LG stat.ML
On Connecting Deep Trigonometric Networks with Deep Gaussian Processes: Covariance, Expressivity, and Neural Tangent Kernel
Rutgers University Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（高等研究院）
深度高斯过程（Deep Gaussian Process，DGP）作为贝叶斯学习中的先验模型，直观地发挥了函数组合的表达能力。DGP还提供了不同的建模能力，但推理是具有挑战性的，因为潜在函数空间中的边缘化是不容易处理的。根据Bochner定理，具有平方指数核的DGP可以被视为由随机特征层、正弦和余弦激活单元以及随机权重层组成的深度三角网络。在具有瓶颈的宽极限中，我们证明了权重空间视图产生与先前在函数空间中获得的相同的有效协方差函数。此外，改变网络参数的先验分布相当于采用不同的内核。因此，DGP可以被转换为深度校验的神经网络，使用它可以获得精确的最大后验估计。有趣的是，网络表示使得能够研究DGP的神经切线核，这也可以揭示棘手的预测分布的平均值。从统计学上讲，与浅层网络不同，有限宽度的深层网络具有偏离极限核的协方差，并且内部和外部宽度可能在特征学习中扮演不同的角色。数值模拟来支持我们的研究结果。
2022-07-30 cond-mat.dis-nn cs.LG stat.ML
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
University of California, Berkeley（加州大学伯克利分校）
当客户端具有不同的数据分布时，最先进的联邦学习方法的性能可能比集中式方法差得多。对于神经网络，即使当集中式SGD很容易找到对所有客户端同时执行的解决方案时，当前的联合优化方法也无法收敛到可比较的解决方案。我们发现，这种性能差异在很大程度上可以归因于非凸性带来的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的特征，但最终层未能利用它们。也就是说，应用于这个非凸问题的联邦优化扭曲了最终层的学习。利用这一观察，我们提出了一个训练-凸化-训练（TCT）过程来回避这个问题：首先，使用现成的方法学习特征（例如，FedAvg）;然后，优化从网络的经验神经切线核近似获得的凸化问题。当客户端具有不同的数据时，我们的技术在FMNIST上产生了高达+36%的准确性改进，在CIFAR 10上产生了+37%的准确性改进。
2022-10-05 cs.DC cs.LG math.OC
On the Generalization Power of Overfitted Two-Layer Neural Tangent Kernel Models
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
在本文中，我们研究了具有ReLU激活的双层神经网络的神经切线核（NTK）模型的min $\ell_2$ -范数过拟合解的泛化性能，该模型没有偏置项。我们表明，根据地面真值函数，过拟合NTK模型的测试误差表现出的特性是不同的“双下降”的其他overparameterized线性模型与简单的傅立叶或高斯特征。具体来说，对于一类可学习的功能，我们提供了一个新的上限的泛化误差接近一个小的极限值，即使当神经元的数量$p$接近无穷大。该极限值随着训练样本的数目$n$而进一步减小。对于这个类之外的函数，我们提供了一个泛化误差的下限，即使$n$和$p$都很大，也不会减小到零。
2023-03-07 cs.LG math.ST stat.ML
Single-level Adversarial Data Synthesis based on Neural Tangent Kernels
National Tsing Hua University（国立清华大学）
摘要生成对抗网络（GANs）在数据合成方面取得了令人印象深刻的性能，并推动了许多应用的发展。然而，GANs由于其双层目标而难以训练，这导致了收敛、模式坍塌和梯度消失的问题。在本文中，我们提出了一个新的生成模型称为生成对抗NTK（GA-NTK），有一个单级目标。GA-NTK保持了对抗学习的精神（这有助于生成合理的数据），同时避免了GANs的训练困难。这是通过用神经切线核（NTK-GP）将神经网络建模为高斯过程来完成的，NTK-GP的训练动态可以完全由封闭形式的公式来描述。我们分析了用梯度下降训练的GA-NTK的收敛性，并给出了收敛的充分条件。我们还进行了大量的实验来研究GA-NTK的优点和局限性，并提出了一些技术，使GA-NTK更实用。
2022-11-20 cs.LG
A Revision of Neural Tangent Kernel-based Approaches for Neural Networks
最近基于神经切线核（NTK）的理论工作揭示了过参数化网络的优化和推广，并部分弥合了其实际成功与经典学习理论之间的差距。（1）推导出了训练误差界，表明网络能够很好地拟合任何有限的训练样本，反映了训练速度依赖于数据复杂度的更严格特征。(2)利用数据相关的复杂性测度（CMD），得到了网络规模的泛化误差界不变量。从这个CMD界可以得出，网络可以推广任意光滑函数。(3)一个简单的和解析的核函数被推导出来，实际上相当于一个完全训练的网络。该内核在少样本学习方面优于其相应的网络和现有的黄金标准随机森林。为了保持所有这些结果，网络比例因子$κ$应相对于时间减小。样本量然而，在这种情况下，减少$κ$，我们证明，上述结果是令人惊讶的错误。这是因为当$κ$相对于时间减小时，训练好的网络输出值减小为零。n.为了解决这个问题，我们通过从本质上删除受$κ$影响的值来收紧密钥边界。我们更严格的分析解决了缩放问题，并使原始NTK为基础的结果的验证。
2020-08-06 cs.LG stat.ML
Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Pennsylvania（宾夕法尼亚大学）
本文研究随机特征与神经正切核模型的鲁棒性，证明随机特征在任何过参数化程度下都不鲁棒，而偶激活 NTK 在满足过参数化必要条件时即可达到鲁棒性下界，从而超越 Bubeck-Sellke 普遍定律并解决相关猜想。
2023-05-27 cs.LG stat.ML
On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective
CSIRO Space and Astronomy（澳大利亚联邦科学与工业研究组织空间与天文学部门）；RIKEN AIP（理化学研究所人工智能项目）
本文从 NTK 视角分析过参数化 VAE 中随机神经网络的优化轨迹，在温和假设下证明其收敛性，并建立其与 KRR 的新联系，实验验证了理论结论。
2024-09-09 cs.LG
Neural Networks as Kernel Learners: The Silent Alignment Effect
Harvard University（哈佛大学）
懒惰训练机制中的神经网络收敛到内核机器。在富特征学习机制中的神经网络能学习具有数据依赖内核的内核机器吗？我们证明，这确实可以发生，由于一种现象，我们长期沉默的对齐，这需要一个网络的切线内核的特征结构的演变，而小，之前的损失明显减少，并增长，只有在整体规模之后。我们表明，这样的效果发生在同质神经网络与小的初始化和白化数据。我们提供了一个线性网络的情况下，这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段会产生一个低秩的贡献，然后在整体规模上发展，产生一个函数，相当于最终网络的切线内核的内核回归解决方案。内核的早期谱学习取决于深度。我们还证明了非白化数据可以削弱沉默对齐效应。
2021-12-02 cs.LG stat.ML
Neural Tangent Kernels for Complex Genetic Risk Prediction: Bridging Deep Learning and Kernel Methods in Genomics
针对遗传风险预测需兼顾非线性关系捕捉、可解释性与计算效率的需求，提出融合核方法与深度学习的NTK框架，经模拟和ADNI数据验证，其预测准确率优于传统方法，且具备可解释性与计算优势。
2025-10-01 stat.AP
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains
本文提出确定定义在一般域上的大规模核函数特征值衰减率的方法，分析了宽神经网络的最小最大最优性及过拟合问题。
2026-04-07 cs.LG stat.ML
On the Convergence of Irregular Sampling in Reproducing Kernel Hilbert Spaces
Universität Hamburg（汉堡大学）
本文分析再生核希尔伯特空间中不规则采样算法的收敛性，在极简假设下推导核回归的逼近性质、RKHS范数误差估计及紧域一致收敛新结果，并给出Lipschitz和Hölder连续核的收敛速率。
2025-04-18 cs.LG cs.NA math.NA
Tensor Programs IIb: Architectural Universality of Neural Tangent Kernel Training Dynamics
Microsoft Research（微软研究院）；Apple Research（苹果研究院）
Yang（2020 a）最近表明，对于包括ResNet和Transformers等现代主食在内的一大类架构，初始化时的神经切线核（NTK）具有无限宽度限制。然而，他们的分析并不适用于培训。在这里，我们展示了相同的神经网络（在所谓的NTK参数化中）在训练过程中遵循函数空间中的内核梯度下降动态，其中内核是无限宽度的NTK。这就完成了NTK行为的 * 架构通用性 * 的证明。为了实现这一结果，我们应用了张量程序技术：将整个SGD动力学写入张量程序，并通过主定理进行分析。为了方便这个证明，我们开发了一个张量程序的图形符号。
2021-05-08 cs.LG cs.NE math.PR
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
On the linearity of large non-linear models: when and why the tangent kernel is constant
Department of Computer Science, The Ohio State University（俄亥俄州立大学计算机科学系）；Halicioğlu Data Science Institute, University of California, San Diego（加利福尼亚大学圣迭戈分校哈利西奥卢数据科学学院）
这项工作的目标是阐明的显着现象过渡到线性的某些神经网络，因为它们的宽度接近无穷大。我们表明，过渡到线性的模型，等价地，恒定的（神经）切线内核（NTK）的结果从网络的海森矩阵的范数作为网络宽度的函数的标度特性。我们提出了一个通用的框架，通过适用于标准类的神经网络的海森标度的切线核的恒定性。我们的分析提供了一个新的角度来看，常数正切核的现象，这是不同于广泛接受的“懒惰的训练”。此外，我们表明，过渡到线性不是一个广泛的神经网络的一般属性，并不持有时，网络的最后一层是非线性的。它也不是通过梯度下降成功优化所必需的。
2021-02-20 cs.LG stat.ML
Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks
Yale University（耶鲁大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Statistics and Data Science（统计与数据科学系）；Department of Mathematics（数学系）
研究了多层前向神经网络的共轭核和神经切核的特征值分布。在一个渐近制度，网络宽度线性增加的样本量，随机初始化的权重，并为输入样本满足近似成对正交的概念，我们表明，CK和NTK的特征值分布收敛到确定性的限制。CK的限制是通过在隐藏层上迭代Marcenko-Pastur映射来描述的。NTK的极限等价于CK矩阵跨层的线性组合的极限，并且可以通过扩展该Marcenko-Pastur映射的递归定点方程来描述。我们证明了这些渐近预测与合成和CIFAR-10训练数据的观测光谱的一致性，并且我们进行了一个小的模拟来研究这些光谱在训练过程中的演变。
2020-10-10 cs.LG math.PR math.ST
NFT-K: Non-Fungible Tangent Kernels
Rice University（莱斯大学）
深度神经网络由于其强大的经验性能（如视觉、RL和分类），已成为众多应用的关键。不幸的是，这些网络很难解释，这限制了它们在可解释性对安全性很重要的环境中的适用性，例如医学成像。一种类型的深度神经网络是神经切线核，其类似于提供可解释性的某些方面的核机器。为了进一步促进分类和层的可解释性，我们开发了一个新的网络作为多个神经切线核的组合，一个单独建模深度神经网络的每一层，而不是过去的工作，试图通过单个神经切线核来表示整个网络。我们在两个数据集上展示了该模型的可解释性，表明多核模型阐明了层与预测之间的相互作用。
2021-10-11 cs.LG
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania（宾夕法尼亚大学）
神经切线核（NTK）是训练过参数化神经网络（NN）的一种常用方法，但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质，这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中，我们介绍了一种新的方法，从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说，我们提出了两个标签感知内核，每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加，使用Hoeffding分解。通过理论和经验证据，我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
神经网络（NN）的训练动力学和泛化性能可以通过神经正切核（NTK）在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习，并成为静态内核机制之外网络卓越性能的基础。在这项工作中，我们试图从理论上理解内核对齐，一个突出的和无处不在的结构变化，使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型，其中NTK进化以加速训练，并表明对齐自然地出现在这种需求中。然后，我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述，并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中，我们发现了核专业化的现象，其中每个输出头的核函数优先与自己的目标函数对齐。总之，我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
An Application of the Holonomic Gradient Method to the Neural Tangent Kernel
本研究聚焦神经正切核的完整激活子分布对偶激活的数值评估问题，提出基于微分算子环计算机代数算法的方法，拓展了完整梯度法的应用场景。
2024-10-31 cs.LG
Weighted Neural Tangent Kernel: A Generalized and Improved Network-Induced Kernel
Shanghai Jiao Tong University（上海交通大学）
神经切线核（NTK）最近吸引了大量的研究，因为它描述了由梯度下降训练的过参数化神经网络（NN）的演化。然而，现在众所周知的是，梯度下降并不总是一个很好的优化神经网络，这可以部分解释NTK回归估计器的不令人满意的实际性能。在本文中，我们介绍了加权神经切线核（WNTK），一个广义的和改进的工具，它可以捕捉一个过参数化的神经网络的训练动态下，不同的优化。在理论上，在无限宽的限制下，我们证明了：i）WNTK在初始化和训练过程中的稳定性，以及ii）WNTK回归估计量和相应的NN估计量之间的等价性，对于不同的参数具有不同的学习率。在数值实验中，经验和解析WNTK都优于相应的NTK。
2021-03-22 cs.LG
Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程学部）；Faculty of Science and Engineering, Waseda University（早稻田大学理工学部）；Faculty of Information Sciences, Hiroshima City University（广岛城大学信息科学学部）；Joint Graduate School of Math for Innovation, Kyushu University（九州大学创新数学研究生院）；The University of Electro-Communications（电子通信大学）
本文研究随机隐藏权重两层 ReLU 网络的 Fisher 信息矩阵与 NTK，揭示二者的线性变换关系，给出 NTK 谱分解、主要特征函数形式及网络函数的近似公式。
2025-07-25 cs.LG stat.ML
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的神经网络最大平均离散（MMD）统计量，通过识别神经正切核（NTK）和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量，并执行基于NTK的双样本测试，以解决MMD统计量的内存和计算复杂性的长期挑战，这对于在线实现吸收新样本至关重要。从理论上讲，这样的连接使我们能够理解NTK检验统计量的属性，如第一类错误和执行双样本检验的检验能力，通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性，并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Efficient Analysis of the Distilled Neural Tangent Kernel
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出蒸馏神经切线核，通过数据集蒸馏和投影方法降低NTK计算复杂度，同时保持核结构和预测性能。
2026-02-17 cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Technologies（华为技术有限公司）
一项开创性的工作[Jacot等人，2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果，宽度趋于无穷大，有限宽度的校正，应用程序，并讨论了相应的方法的局限性。
2022-08-29 cs.LG
Tensor Programs II: Neural Tangent Kernel for Any Architecture
Microsoft Research AI（微软研究院AI）
我们证明了一个随机初始化的神经网络的 * 任何架构 * 有它的切线核（NTK）收敛到一个确定性的限制，网络宽度趋于无穷大。我们演示如何计算这个极限。在以前的文献中，对神经网络梯度的启发式研究通常假设前向传播中使用的每个权重矩阵与反向传播中使用的转置无关（Schoenholz et al. 2017）。这就是所谓的梯度独立假设（GIA）。我们确定了一个普遍满足的条件，我们称之为 * 简单GIA检查 *，这样基于GIA的NTK限值计算是正确的。相反，当简单GIA检查失败时，我们表明GIA可能会导致错误的答案。我们这里的材料以友好的方式呈现了Yang（2019 a）的NTK结果，并展示了用于理解广泛神经网络的 * 张量程序 * 技术。我们在https://github.com/thegregyang/NTK4A上提供了递归神经网络、Transformer和批量归一化的无限宽NTK的参考实现。
2020-11-30 cond-mat.dis-nn cs.LG cs.NE
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
Reverse Engineering the Neural Tangent Kernel
University of California, Berkeley（加州大学伯克利分校）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
开发指导神经网络设计的方法是深度学习理论面临的一个重要挑战。作为原则性神经架构设计的范例，我们提出了将高性能内核（更好地理解并符合第一原理设计）转换为等效网络架构（具有卓越的效率，灵活性和特征学习）。为此，我们建设性地证明，只要适当选择激活函数，任何正半定点积核可以实现为只有一个隐藏层的全连接神经网络的NNGP或神经切线核。我们验证了我们的建设数字和有限的全连接网络的设计工具，在几个实验中证明其实用性。
2022-08-13 cs.LG
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Neural Tangent Kernel of Matrix Product States: Convergence and Applications
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了矩阵乘积态（MPS）的神经切核（NTK）及其在无限键维极限下的收敛性。我们证明了NTK的MPS渐近收敛到一个常数矩阵的梯度下降（训练）过程中（也是初始化阶段）的债券尺寸的MPS走向无穷大的观察，在MPS张量的变化在训练过程中渐近趋于零的无限极限。通过展示MPS的NTK的正定性，在函数空间（由MPS表示的函数空间）中训练期间MPS的收敛性得到保证，而无需对数据集进行任何额外的假设。然后，我们考虑设置（监督）回归均方误差（RMSE）和（无监督）Born Machines（BM），并分析它们的动力学在无限键尺寸限制。导出了描述MPS在RMSE和BM中的响应动力学的常微分方程（ODE），并以封闭形式求解。对于回归，我们考虑Mercer Kernels（高斯核），并发现MPS响应均值的演变遵循NTK的最大特征值。由于BM核函数的正交性，得到了训练过程中不同模式（样本）样本序列的演化和收敛的“特征时间”。
2021-11-28 cs.LG cs.NE quant-ph
TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning
University of Washington（华盛顿大学）
当以顺序的方式学习新任务时，深度神经网络往往会忘记它们以前学习过的任务，这种现象称为灾难性遗忘。类增量学习方法的目的是解决这个问题，保持记忆的一些样本从以前学习的任务，并从中提取知识。然而，现有的方法很难在类之间平衡性能，因为它们通常使模型过拟合到最新的任务。在我们的工作中，我们提出了一种新的方法，切线内核增量学习（TKIL），实现类平衡的性能，以解决这些挑战。该方法保留了跨类的表示，并平衡了每个类的准确性，因此实现了更好的整体准确性和方差。TKIL方法是基于神经切线核（NTK）的，NTK将神经网络的收敛行为描述为无限宽极限下的核函数。在TKIL中，特征层之间的梯度被视为这些层的表示之间的距离，并且可以被定义为切线核损失（GTK损失），使得它与平均权重一起被最小化。这使得TKIL能够自动识别任务，并在推理过程中快速适应它。在具有各种增量学习设置的CIFAR-100和ImageNet数据集上的实验表明，这些策略使TKIL的性能优于现有的最先进的方法。
2022-06-17 cs.AI cs.LG q-bio.NC
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
软树是决策树的一种正在研究的变体，它使用梯度方法更新分裂规则。虽然软树可以采用各种架构，但它们的影响在理论上并不为人所知。在本文中，我们制定和分析的神经切线核（NTK）诱导的软树集成任意树结构。这个内核导致了一个显着的发现，即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说，如果每个深度的叶子数量是固定的，那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同，即使它们不是同构的。我们还表明，NTK的非对称树，如决策列表不退化时，他们得到无限深。这与完美二叉树形成对比，完美二叉树的NTK已知会退化，并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
在实际应用中，树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则，软树使用梯度方法来训练，其中整个分裂操作以可微形式制定。虽然近年来，这种软树的集合越来越多地被使用，但很少有理论工作来理解它们的行为。通过对无限软树系综的研究，引入并研究了树神经切线核（TNTK），为研究无限软树系综的行为提供了新的思路.使用TNTK，我们从理论上确定了几个非平凡的属性，如全局收敛的训练，不经意的树结构的等价性，和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Expressibility-induced Concentration of Quantum Neural Tangent Kernels
Nankai University（南开大学）；Tsinghua University（清华大学）；Hefei National Laboratory（合肥国家实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
该研究揭示量子神经切线核的可表达性诱导集中特性，证明高可表达性量子编码会引发核值指数集中于零，局部损失下可部分缓解，为宽量子变分电路设计提供参考。
2023-11-08 cs.AI cs.LG quant-ph
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题，本文提出两种坐标嵌入以实现近似空间不变，并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
Nonlocal Neural Tangent Kernels via Parameter-Space Interactions
本文提出非局部神经正切核（NNTK），用参数空间中的非局部交互近似替代局部梯度，克服了标准NTK依赖参数可微性的局限，将理论扩展至非平滑函数与更广泛的模型族，并通过数值研究验证了其固定核与注意力机制表述。
2025-09-15 cs.LG cs.NA math.NA
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
