Neural Kernels Without Tangents
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究了核空间中神经网络和简单构建块之间的联系。特别是，使用完善的功能空间工具，如直接和，平均，和时刻提升，我们提出了一个代数创建“合成”内核的功能袋。我们表明，这些操作对应于许多“神经切线核（NTK）"的积木。在实验上，我们表明，有一个神经网络架构和相关的内核之间的测试误差的相关性。我们构建了一个简单的神经网络架构，仅使用3x3卷积，2x2平均池化，ReLU，并使用SGD和MSE损失进行优化，在CIFAR10上实现了96%的准确度，其相应的组合内核实现了90%的准确度。我们还使用我们的结构来研究小数据集制度中的神经网络，NTK和组合内核的相对性能。特别是，我们发现，组成内核优于NTK和神经网络优于这两个内核的方法。
2020-03-05 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
On the linearity of large non-linear models: when and why the tangent kernel is constant
Department of Computer Science, The Ohio State University（俄亥俄州立大学计算机科学系）；Halicioğlu Data Science Institute, University of California, San Diego（加利福尼亚大学圣迭戈分校哈利西奥卢数据科学学院）
这项工作的目标是阐明的显着现象过渡到线性的某些神经网络，因为它们的宽度接近无穷大。我们表明，过渡到线性的模型，等价地，恒定的（神经）切线内核（NTK）的结果从网络的海森矩阵的范数作为网络宽度的函数的标度特性。我们提出了一个通用的框架，通过适用于标准类的神经网络的海森标度的切线核的恒定性。我们的分析提供了一个新的角度来看，常数正切核的现象，这是不同于广泛接受的“懒惰的训练”。此外，我们表明，过渡到线性不是一个广泛的神经网络的一般属性，并不持有时，网络的最后一层是非线性的。它也不是通过梯度下降成功优化所必需的。
2021-02-20 cs.LG stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania（宾夕法尼亚大学）
神经切线核（NTK）是训练过参数化神经网络（NN）的一种常用方法，但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质，这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中，我们介绍了一种新的方法，从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说，我们提出了两个标签感知内核，每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加，使用Hoeffding分解。通过理论和经验证据，我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
神经网络（NN）的训练动力学和泛化性能可以通过神经正切核（NTK）在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习，并成为静态内核机制之外网络卓越性能的基础。在这项工作中，我们试图从理论上理解内核对齐，一个突出的和无处不在的结构变化，使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型，其中NTK进化以加速训练，并表明对齐自然地出现在这种需求中。然后，我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述，并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中，我们发现了核专业化的现象，其中每个输出头的核函数优先与自己的目标函数对齐。总之，我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
A Neural Tangent Kernel Perspective of GANs
Criteo AI Lab（Criteo人工智能实验室）；Sorbonne Université（索邦大学）；ETH Zürich（苏黎世联邦理工学院）；Thales（泰雷兹集团）
提出了一种新的生成对抗网络（GANs）分析理论框架。我们揭示了以前分析的一个根本缺陷，即通过错误地对GANs的训练方案进行建模，会受到定义不清的梯度的影响。我们克服了这个问题，这阻碍了GAN培训的原则性研究，解决它在我们的框架内，考虑到了GAN的架构。为此，我们通过神经切线核将无限宽神经网络的理论应用于神经网络。我们的特点是训练的网络的各种损失，并建立一般的可微性的网络。由此，我们获得了关于生成的分布收敛的新见解，推进了我们对GANs训练动态的理解。我们通过基于我们框架的分析工具包实证证实了这些结果，揭示了与GAN实践一致的直觉。
2022-11-07 cs.LG cs.NE stat.ML
On Connecting Deep Trigonometric Networks with Deep Gaussian Processes: Covariance, Expressivity, and Neural Tangent Kernel
Rutgers University Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（高等研究院）
深度高斯过程（Deep Gaussian Process，DGP）作为贝叶斯学习中的先验模型，直观地发挥了函数组合的表达能力。DGP还提供了不同的建模能力，但推理是具有挑战性的，因为潜在函数空间中的边缘化是不容易处理的。根据Bochner定理，具有平方指数核的DGP可以被视为由随机特征层、正弦和余弦激活单元以及随机权重层组成的深度三角网络。在具有瓶颈的宽极限中，我们证明了权重空间视图产生与先前在函数空间中获得的相同的有效协方差函数。此外，改变网络参数的先验分布相当于采用不同的内核。因此，DGP可以被转换为深度校验的神经网络，使用它可以获得精确的最大后验估计。有趣的是，网络表示使得能够研究DGP的神经切线核，这也可以揭示棘手的预测分布的平均值。从统计学上讲，与浅层网络不同，有限宽度的深层网络具有偏离极限核的协方差，并且内部和外部宽度可能在特征学习中扮演不同的角色。数值模拟来支持我们的研究结果。
2022-07-30 cond-mat.dis-nn cs.LG stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程学部）；Faculty of Science and Engineering, Waseda University（早稻田大学理工学部）；Faculty of Information Sciences, Hiroshima City University（广岛城大学信息科学学部）；Joint Graduate School of Math for Innovation, Kyushu University（九州大学创新数学研究生院）；The University of Electro-Communications（电子通信大学）
本文研究随机隐藏权重两层 ReLU 网络的 Fisher 信息矩阵与 NTK，揭示二者的线性变换关系，给出 NTK 谱分解、主要特征函数形式及网络函数的近似公式。
2025-07-25 cs.LG stat.ML
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的神经网络最大平均离散（MMD）统计量，通过识别神经正切核（NTK）和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量，并执行基于NTK的双样本测试，以解决MMD统计量的内存和计算复杂性的长期挑战，这对于在线实现吸收新样本至关重要。从理论上讲，这样的连接使我们能够理解NTK检验统计量的属性，如第一类错误和执行双样本检验的检验能力，通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性，并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Quantum tangent kernel
量子核方法是量子机器学习的关键方法之一，具有不需要优化、理论简单等优点。凭借这些特性，到目前为止，已经开发了几个实验演示和讨论的潜在优势。然而，与经典机器学习的情况一样，并非所有量子机器学习模型都可以被视为内核方法。在这项工作中，我们探索了一个量子机器学习模型与深度参数化的量子线路，旨在超越传统的量子核方法。在这种情况下，表示能力和性能有望得到提高，而训练过程可能是一个瓶颈，因为贫瘠的高原问题。然而，我们发现，一个足够深的量子线路的参数在训练过程中不会从其初始值移动太多，允许相对于参数的一阶扩展。这种行为类似于经典文献中的神经正切核，而这种深度变分量子机器学习可以用另一种涌现核--量子正切核来描述。数值模拟表明，所提出的量子正切核优于传统的量子核方法的ansatz生成的数据集。这项工作提供了一个超越传统量子核方法的新方向，并利用深度参数化的量子线路探索量子机器学习的潜在力量。
2022-11-24 quant-ph stat.ML
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks
Yale University（耶鲁大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Statistics and Data Science（统计与数据科学系）；Department of Mathematics（数学系）
研究了多层前向神经网络的共轭核和神经切核的特征值分布。在一个渐近制度，网络宽度线性增加的样本量，随机初始化的权重，并为输入样本满足近似成对正交的概念，我们表明，CK和NTK的特征值分布收敛到确定性的限制。CK的限制是通过在隐藏层上迭代Marcenko-Pastur映射来描述的。NTK的极限等价于CK矩阵跨层的线性组合的极限，并且可以通过扩展该Marcenko-Pastur映射的递归定点方程来描述。我们证明了这些渐近预测与合成和CIFAR-10训练数据的观测光谱的一致性，并且我们进行了一个小的模拟来研究这些光谱在训练过程中的演变。
2020-10-10 cs.LG math.PR math.ST
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
在初始化时，人工神经网络（ANN）等价于无限宽度限制下的高斯过程，从而将它们连接到核方法。我们证明了人工神经网络在训练过程中的演变也可以描述的内核：在梯度下降的人工神经网络的参数，网络功能$f_θ$（将输入向量映射到输出向量）遵循内核梯度的功能成本（这是凸的，在对比参数成本）w.r.t.一个新的内核：神经切线核（NTK）。该核是描述人工神经网络泛化特征的核心。虽然NTK在初始化时是随机的，并且在训练过程中变化，但在无限宽度限制下，它收敛到一个显式限制核，并且在训练过程中保持不变。这使得在函数空间而不是参数空间中研究人工神经网络的训练成为可能。然后，训练的收敛性可以与限制NTK的正定性相关。证明了当数据支撑在球面上且非线性为非多项式时，极限NTK的正定性。然后，我们专注于最小二乘回归的设置，并表明在无限宽的限制，网络函数$f_θ$遵循线性微分方程在训练过程中。相对于NTK，沿着输入数据的最大核主成分的收敛是最快的，因此提出了提前停止的理论动机。最后，我们研究了NTK数值，观察其行为的宽网络，并将其与无限宽的限制。
2020-02-10 cs.LG cs.NE math.PR
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Neural Tangent Kernel of Matrix Product States: Convergence and Applications
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了矩阵乘积态（MPS）的神经切核（NTK）及其在无限键维极限下的收敛性。我们证明了NTK的MPS渐近收敛到一个常数矩阵的梯度下降（训练）过程中（也是初始化阶段）的债券尺寸的MPS走向无穷大的观察，在MPS张量的变化在训练过程中渐近趋于零的无限极限。通过展示MPS的NTK的正定性，在函数空间（由MPS表示的函数空间）中训练期间MPS的收敛性得到保证，而无需对数据集进行任何额外的假设。然后，我们考虑设置（监督）回归均方误差（RMSE）和（无监督）Born Machines（BM），并分析它们的动力学在无限键尺寸限制。导出了描述MPS在RMSE和BM中的响应动力学的常微分方程（ODE），并以封闭形式求解。对于回归，我们考虑Mercer Kernels（高斯核），并发现MPS响应均值的演变遵循NTK的最大特征值。由于BM核函数的正交性，得到了训练过程中不同模式（样本）样本序列的演化和收敛的“特征时间”。
2021-11-28 cs.LG cs.NE quant-ph
TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning
University of Washington（华盛顿大学）
当以顺序的方式学习新任务时，深度神经网络往往会忘记它们以前学习过的任务，这种现象称为灾难性遗忘。类增量学习方法的目的是解决这个问题，保持记忆的一些样本从以前学习的任务，并从中提取知识。然而，现有的方法很难在类之间平衡性能，因为它们通常使模型过拟合到最新的任务。在我们的工作中，我们提出了一种新的方法，切线内核增量学习（TKIL），实现类平衡的性能，以解决这些挑战。该方法保留了跨类的表示，并平衡了每个类的准确性，因此实现了更好的整体准确性和方差。TKIL方法是基于神经切线核（NTK）的，NTK将神经网络的收敛行为描述为无限宽极限下的核函数。在TKIL中，特征层之间的梯度被视为这些层的表示之间的距离，并且可以被定义为切线核损失（GTK损失），使得它与平均权重一起被最小化。这使得TKIL能够自动识别任务，并在推理过程中快速适应它。在具有各种增量学习设置的CIFAR-100和ImageNet数据集上的实验表明，这些策略使TKIL的性能优于现有的最先进的方法。
2022-06-17 cs.AI cs.LG q-bio.NC
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
软树是决策树的一种正在研究的变体，它使用梯度方法更新分裂规则。虽然软树可以采用各种架构，但它们的影响在理论上并不为人所知。在本文中，我们制定和分析的神经切线核（NTK）诱导的软树集成任意树结构。这个内核导致了一个显着的发现，即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说，如果每个深度的叶子数量是固定的，那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同，即使它们不是同构的。我们还表明，NTK的非对称树，如决策列表不退化时，他们得到无限深。这与完美二叉树形成对比，完美二叉树的NTK已知会退化，并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels
University of British Columbia（不列颠哥伦比亚大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们提出了一种新的方法来近似主动学习的采集策略，这些策略是基于假设标记的候选数据点的再训练。虽然这在深度网络中通常是不可行的，但我们使用神经切核来近似再训练的结果，并证明这种近似即使在主动学习设置中也是渐进的-近似“前瞻”选择标准，所需的计算量要少得多。这也使我们能够进行顺序主动学习，即在流机制中更新模型，而无需在添加每个新数据点后使用SGD重新训练模型。此外，我们的查询策略，它更好地理解模型的预测将如何通过添加新的数据点与标准（“近视”）标准相比，大幅击败其他前瞻策略，并实现了与基于池的主动学习中的几个基准数据集上的最新方法相比相同或更好的性能。
2022-06-25 cs.LG stat.ML
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
在实际应用中，树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则，软树使用梯度方法来训练，其中整个分裂操作以可微形式制定。虽然近年来，这种软树的集合越来越多地被使用，但很少有理论工作来理解它们的行为。通过对无限软树系综的研究，引入并研究了树神经切线核（TNTK），为研究无限软树系综的行为提供了新的思路.使用TNTK，我们从理论上确定了几个非平凡的属性，如全局收敛的训练，不经意的树结构的等价性，和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Random Features for the Neural Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）
神经切线核（NTK）发现了深度神经网络和核方法之间的联系，具有优化和泛化的见解。受此启发，最近的研究报告称，与在小规模数据集上训练神经网络相比，NTK可以实现更好的性能。然而，由于核方法的计算限制，在大规模设置下的结果几乎没有研究。在这项工作中，我们提出了一种全连接ReLU网络NTK的有效特征映射构造，使我们能够将其应用于大规模数据集。我们将反余弦核的随机特征与基于草图的算法相结合，该算法可以相对于数据点的数量和输入尺寸线性运行。我们表明，所得到的功能的尺寸是远远小于其他基线特征图的建设，以实现可比的误差范围在理论和实践中。此外，我们利用杠杆得分为基础的采样的反余弦随机特征的改进的界限，并证明了所提出的特征映射到两层神经网络的NTK矩阵的谱近似保证。我们对各种机器学习任务进行基准测试，以证明所提出的方案的优越性。特别是，我们的算法可以运行几十个数量级的速度比精确的内核方法大规模的设置没有性能损失。
2021-04-03 cs.LG stat.ML
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题，本文提出两种坐标嵌入以实现近似空间不变，并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
Enhanced Convolutional Neural Tangent Kernels
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute for Advanced Study（高等研究院）
最近的研究表明，对于具有$\ell_2$损失的训练，如果仅训练最后一层，则宽度（卷积层中的通道数）变为无穷大的卷积神经网络（CNN）对应于关于CNN高斯过程核（CNN-GP）的回归，并且如果训练所有层，则对应于关于卷积神经切线核（CNTK）的回归。计算CNTK的精确算法（Arora等人，2019）得出的发现是，CNTK在CIFAR-10上的分类准确度在相应CNN架构的分类准确度的6-7%以内（最佳数字约为78%），这对于固定内核来说是有趣的性能。在这里，我们展示了如何使用两个想法显着提高这些内核的性能。(1)使用称为局部平均池化（Local Average Pooling，简称EVM）的新操作修改内核，该操作保留了内核的高效可计算性，并继承了使用像素移位的标准数据增强的精神。由于核回归的二次训练成本，早期的论文无法结合朴素数据增强。这个想法的灵感来自于全局平均池（GAP），我们为CNN-GP和CNTK证明了它相当于完全翻译数据增强。(2)使用Coates等人（2011）提出的预处理技术表示输入图像，该技术使用由随机图像补丁组成的单个卷积层。在CIFAR-10上，所得到的内核，具有反向和水平翻转数据增强的CNN-GP，实现了89%的准确度，与AlexNet的性能相匹配（Krizhevsky等人，2012年）。请注意，这是我们所知道的最好的分类器结果，它不是一个经过训练的神经网络。对于…
2019-11-03 cs.CV cs.LG cs.NE
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford（牛津大学）；Google Research（谷歌研究院）
我们通过神经正切核（NTK）的镜头探索深度集成和高斯过程（GP）之间的联系：理解宽神经网络（NN）的训练动态的最新进展。以前的工作已经表明，即使在无限宽的限制下，当NN成为GP时，也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改，通过向每个合奏成员添加一个可计算的，随机的和不可训练的函数，这使得在无限宽度限制下的后验解释成为可能。当集成在一起时，我们训练的NN给出了后验预测分布的近似值，并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后，使用有限宽度NN，我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测，并且可以在各种分布外设置中优于标准深度集成，用于回归和分类任务。
2020-10-24 cs.LG stat.ML
On the infinite width limit of neural networks with a standard parameterization
Google（谷歌）
目前有两种参数化用于导出对应于无限宽度神经网络的固定核，NTK（神经切线核）参数化和朴素标准参数化。然而，将这两种参数化外推到无限宽是有问题的。标准参数化导致发散的神经切线核，而NTK参数化未能捕获有限宽度网络的关键方面，例如：训练动态对相对层宽度的依赖性，权重和偏差的相对训练动态，以及整体学习率规模。在这里，我们提出了一种改进的标准参数化的外推，保留所有这些属性的宽度被带到无穷大，并产生一个定义良好的神经切线核。我们的实验表明，所得到的内核通常达到类似的精度从NTK参数化，但更好地对应于典型的有限宽度网络的参数化。此外，通过仔细调整宽度参数，改进的标准参数化内核可以优于NTK参数化的内核。我们在https://github.com/google/neural-tangents上发布了实现这种改进的标准参数化的代码，作为神经切线库的一部分。
2020-04-18 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis
Peking University（北京大学）；Princeton University（普林斯顿大学）；The University of Washington（华盛顿大学）
联邦学习（FL）是一种新兴的学习方案，它允许不同的分布式客户端在没有数据共享的情况下一起训练深度神经网络。神经网络由于其前所未有的成功而变得流行。据我们所知，FL的理论保证神经网络与显式形式和多步更新尚未探索。然而，FL中神经网络的训练分析是不平凡的，原因有两个：第一，我们优化的目标损失函数是非光滑和非凸的，第二，我们甚至没有在梯度方向上更新。现有的基于梯度下降方法的收敛结果严重依赖于梯度方向用于更新的事实。本文提出了一类新的FL收敛分析，联邦学习神经切线核（FL-NTK），它对应于FL中通过梯度下降训练的过参数化ReLU神经网络，并受到神经切线核（NTK）分析的启发。理论上，FL-NTK收敛到一个全局最优解的线性速率与适当调整的学习参数。此外，通过适当的分布假设，FL-NTK也可以实现良好的推广。
2021-05-11 cs.DC cs.LG stat.ML
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?
神经切线核（NTK）理论被广泛用于研究梯度下降下无限宽深度神经网络（DNN）的动力学行为。但无限宽网络的结果是否能为我们提供有关真实有限宽网络行为的提示呢？在本文中，我们实证研究了NTK理论在全连接ReLU和sigmoid DNN实践中的有效性。我们发现，网络是否处于NTK状态取决于随机初始化的超参数和网络的深度。特别是，NTK理论没有解释初始化足够深的网络的行为，使得它们的梯度在网络的层中传播时爆炸：内核在初始化时是随机的，在这种情况下在训练过程中会发生显着变化，这与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK状态，但随着深度的增加而变得不可训练。我们还描述了一个框架来研究DNN的泛化特性，特别是网络输出函数的方差，通过NTK理论，并讨论其局限性。
2022-02-01 cs.LG stat.ML
Neural tangent kernels, transportation mappings, and universal approximation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文建立了浅神经切线核（NTK）的普适逼近率：网络权值只允许从随机初始化的微小变化，这意味着激活几乎不变，并且网络几乎等价于其线性化。具体地说，本文有两个主要贡献：一个通用的计划，近似函数与NTK的采样从运输映射之间的初始权重和它们的期望值，并通过傅立叶变换的运输映射的建设。关于第一个贡献，证明方案提供了另一个角度来看待NTK制度是如何从重新缩放中产生的：由于重新缩放，权重中的冗余允许单个权重按比例缩小。关于第二个贡献，最值得注意的传输映射断言，大致$1 / δ^{10d}$节点足以近似连续函数，其中$δ$取决于目标函数的连续性。相比之下，几乎相同的证明为浅ReLU网络产生了$1 / δ^{2d}$的界;这个差距为未来的工作提出了一个诱人的方向，将浅ReLU网络和它们的线性化分开。
2020-02-15 cs.LG stat.ML
The Differential Neural Tangent Kernel and Its Positivity
The Chinese University of Hong Kong（香港中文大学）
研究针对物理信息神经网络（PINN），提出微分神经切线核（DNTK）理论框架，通过NTK分析PINN，建立了无限宽度DNTK的正性，为训练PINN的梯度型算法分析奠定基础。
2026-07-14 cs.LG cs.NA math.NA
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University（得克萨斯农工大学）；University of Toronto（多伦多大学）
我们证明了在有限的深度和宽度上，随机初始化ReLU网络中神经切线核（NTK）的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此，即使在无限overparameterization的限制，NTK是不确定的，如果深度和宽度同时趋于无穷大。此外，我们证明，对于这样的深度和广度的网络，NTK在训练过程中有一个非平凡的演变，表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明，与相对较浅和较宽的网络不同，深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify；University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）
本文扩展NTK对应的高斯过程框架，在支持非零观测噪声的同时估计后验协方差以量化认知不确定性，并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
Topological Neural Tangent Kernel
Department of Computer Science, University of California Santa Barbara（加州大学圣芭芭拉分校计算机科学系）
本文提出拓扑神经切线核，通过结合低阶和高阶霍奇相互作用，使核对拓扑结构敏感，提升高阶交互的建模能力，验证了拓扑结构在关系学习中的有效性。
2026-05-01 cs.LG cs.SI math.AT
Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出更强数据集重构攻击，证明无限宽度下可恢复全部训练数据，并揭示攻击成功依赖对神经正切核极限的偏离，且重构图像多为离群点，可用于数据集蒸馏。
2023-11-09 cs.AI cs.LG cs.NE
Fast Finite Width Neural Tangent Kernel
Google Brain（谷歌大脑）
神经切线核（NTK），定义为$Θ_θ^f(x_1, x_2) = \left[\partial f(θ, x_1)\big/\partial θ\right] \left[\partial f(θ, x_2)\big/\partial θ\right]^T$，其中$\left[\partial f(θ, \cdot)\big/\partial θ\right]$是神经网络（NN）雅可比矩阵，已经成为深度学习的中心研究对象。在无限宽的限制下，NTK有时可以解析计算，对于理解NN架构的训练和推广非常有用。在有限宽度下，NTK还用于更好地初始化NN，比较模型之间的条件，执行架构搜索和进行元学习。不幸的是，有限宽度的NTK是出了名的昂贵的计算，这严重限制了它的实际效用。我们进行了第一次深入分析的计算和内存需求的NTK计算在有限宽度的网络。利用神经网络的结构，我们进一步提出了两种新的算法，改变了有限宽度NTK的计算和内存需求的指数，显着提高效率。我们的算法可以以黑盒的方式应用于任何可微函数，包括那些实现神经网络的函数。我们在https://github.com/google/neural-tangents的Neural Tangents包（arXiv：1912.02803）中开源了我们的实现。
2022-06-17 cs.AI cs.LG stat.ML
New Insights into Graph Convolutional Networks using Neural Tangent Kernels
Technical University of Munich（慕尼黑工业大学）
该研究借助神经切线核（NTKs）解释图卷积网络（GCNs）深度与性能的关联规律，推导无限宽GCNs的NTKs，验证合适归一化可缓解深度带来的性能下降，并提出NTK作为无超参数的GCN高效代理模型。
2023-11-04 cs.LG stat.ML
A Fast, Well-Founded Approximation to the Empirical Neural Tangent Kernel
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
针对 eNTK 随输出类别数产生高内存与计算开销的问题，本文证明“logits 之和”近似在宽读出层网络初始化时收敛到真实 eNTK，并通过实验验证其效果。
2023-06-07 cs.LG stat.ML
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（伦敦帝国理工学院）
本文针对 Laplace 贝叶斯超参数优化中梯度估计需遍历全量数据的问题，利用神经正切核提出可随机优化的边际似然线性化 Laplace 下界，从而在精度与计算成本间权衡并显著加速优化。
2023-06-06 cs.LG stat.ML
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs
University of Pennsylvania（宾夕法尼亚大学）
本研究通过神经正切核理论分析图神经网络中的对齐优化，证明最优图移位算子为输入输出数据的交叉协方差，实验验证其在多变量时间序列预测上优于仅用输入协方差的方法。
2023-10-16 cs.LG stat.ML
Stability & Generalisation of Gradient Descent for Shallow Neural Networks without the Neural Tangent Kernel
University of Oxford（牛津大学）；DeepMind
我们重新审视GD训练overparameterized浅神经网络的平均算法稳定性，并证明了新的泛化和超额风险的界限，没有NTK或PL假设。特别是，我们显示预言型界限，揭示了GD的泛化和超额风险是由一个插值网络控制的最短GD路径从初始化（在某种意义上说，插值网络的最小相对范数）。虽然这对于核化插值是已知的，但我们的证明直接适用于GD训练的网络，而无需中间核化。同时，通过放松这里开发的预言不等式，我们恢复现有的NTK为基础的风险界限，在一个简单的方式，这表明我们的分析更紧密。最后，与大多数基于NTK的分析不同，我们专注于带有标签噪声的回归，并表明GD与早期停止是一致的。
2021-11-09 cs.LG math.ST stat.ML
Representation Learning via Quantum Neural Tangent Kernels
Pritzker School of Molecular Engineering, The University of Chicago（芝加哥大学普利兹克分子工程学院）；Chicago Quantum Exchange（芝加哥量子交易所）；Kadanoff Center for Theoretical Physics, The University of Chicago（芝加哥大学卡达诺夫理论物理中心）；IBM Quantum, IBM Research – Zurich（IBM研究院（苏黎世）IBM量子部门）；IBM Quantum, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM量子部门）
变分量子线路用于量子机器学习和变分量子模拟任务。设计良好的变分电路或预测它们在给定的学习或优化任务中的表现仍然不清楚。在这里，我们讨论这些问题，分析变分量子线路使用神经正切核理论。我们定义了量子神经正切核，并推导出优化和学习任务中相关损失函数的动力学方程。我们解析地解决了冻结极限或懒惰训练机制中的动力学，其中变角变化缓慢，线性扰动就足够好了。我们扩展到一个动态的设置，包括二次修正的变角分析。然后，我们考虑混合量子经典架构，并定义了一个大的宽度限制的混合内核，表明混合量子经典神经网络可以近似高斯。这里提出的结果显示了限制，其中分析理解的训练动态变分量子线路，用于量子机器学习和优化问题，是可能的。这些分析结果得到了量子机器学习实验的数值模拟的支持。
2021-11-13 cs.AI cs.LG quant-ph
When can we Approximate Wide Contrastive Models with Neural Tangent Kernels and Principal Component Analysis?
Indian Institute of Technology Madras（印度马德拉斯理工学院）；Technical University of Munich（慕尼黑工业大学）
本文分析两层对比模型训练动态，首次给出对比损失下神经正切核收敛性结果，证明宽模型在余弦相似度损失下接近核PCA，且所学表示接近随机特征矩阵主成分。
2024-03-13 cs.LG stat.ML
Uncertainty Quantification with the Empirical Neural Tangent Kernel
School of Mathematics And Physics University of Queensland（数学与物理学院，昆士兰大学）；Dept. of Electrical and Electronic Engineering University of Melbourne（电子与电气工程系，墨尔本大学）；School of Mathematics and Statistics University of Melbourne（数学与统计学学院，墨尔本大学）；CIRES and School of Mathematics And Physics University of Queensland（CIRES和数学与物理学院，昆士兰大学）
本文提出一种基于经验神经正切核的事后采样UQ方法，通过在过参数化网络的线性化版本上进行梯度下降采样构建深度集成，在显著降低计算成本的同时保持回归与分类任务上的最先进不确定性量化性能。
2025-11-09 cs.LG stat.ML
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
University of California, Berkeley（加州大学伯克利分校）
当客户端具有不同的数据分布时，最先进的联邦学习方法的性能可能比集中式方法差得多。对于神经网络，即使当集中式SGD很容易找到对所有客户端同时执行的解决方案时，当前的联合优化方法也无法收敛到可比较的解决方案。我们发现，这种性能差异在很大程度上可以归因于非凸性带来的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的特征，但最终层未能利用它们。也就是说，应用于这个非凸问题的联邦优化扭曲了最终层的学习。利用这一观察，我们提出了一个训练-凸化-训练（TCT）过程来回避这个问题：首先，使用现成的方法学习特征（例如，FedAvg）;然后，优化从网络的经验神经切线核近似获得的凸化问题。当客户端具有不同的数据时，我们的技术在FMNIST上产生了高达+36%的准确性改进，在CIFAR 10上产生了+37%的准确性改进。
2022-10-05 cs.DC cs.LG math.OC
Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel
Stanford University（斯坦福大学）；Element AI（元素人工智能公司）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在适当初始化的宽网络中，小的学习率将深度神经网络（DNN）转换为神经切线核（NTK）机器，其训练动态通过初始化时网络的线性权重扩展来很好地近似。然而，标准训练与其线性化的不同之处还不为人所知。我们研究了非线性深度网络的训练动力学、损失景观的几何形状以及数据依赖性NTK的时间演化之间的关系。我们这样做是通过一个大规模的现象学分析的培训，综合各种措施的特点损失景观几何和NTK动态。在多个神经架构和数据集中，我们发现这些不同的度量以高度相关的方式发展，揭示了深度学习过程的普遍图景。在这张图中，深度网络训练表现出高度混沌的快速初始瞬态，在2到3个时期内确定了包含训练终点的最终线性连接的低损失盆地。在这种混沌瞬态期间，NTK快速变化，从训练数据中学习有用的特征，使其能够在不到3到4个时期内超过标准初始NTK 3倍。在这种快速的混沌瞬态之后，NTK以恒定的速度变化，其性能在15%到45%的训练时间内与完整网络训练的性能相匹配。总的来说，我们的分析揭示了在训练时间内各种指标之间的惊人相关性，在最初的几个时期中由快速的混沌到稳定的过渡所控制，这为开发更准确的深度学习理论带来了挑战和机遇。
2020-10-28 cs.LG stat.ML
