Understanding the Evolution of the Neural Tangent Kernel at the Edge of Stability
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气工程与计算机科学系）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
本文研究稳定边缘现象下神经正切核特征向量的演化，发现较大学习率能增强最终NTK主导特征向量与训练目标的对齐，并通过两层线性网络的理论分析揭示了其机制。
2025-07-17 cs.LG
The Neural Tangent Kernel for Classification
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学量化金融研究所）；OATML, University of Oxford（牛津大学OATML研究中心）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Spotify
本文通过识别宽神经网络在分类损失下保持懒惰训练的条件，将神经正切核理论扩展到分类问题，并分析了参数正则化对核常数性的影响以及预测器分布与贝叶斯方法的关系。
2026-05-22 cs.LG
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
神经网络（NN）的训练动力学和泛化性能可以通过神经正切核（NTK）在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习，并成为静态内核机制之外网络卓越性能的基础。在这项工作中，我们试图从理论上理解内核对齐，一个突出的和无处不在的结构变化，使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型，其中NTK进化以加速训练，并表明对齐自然地出现在这种需求中。然后，我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述，并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中，我们发现了核专业化的现象，其中每个输出头的核函数优先与自己的目标函数对齐。总之，我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Tensor Programs IIb: Architectural Universality of Neural Tangent Kernel Training Dynamics
Microsoft Research（微软研究院）；Apple Research（苹果研究院）
Yang（2020 a）最近表明，对于包括ResNet和Transformers等现代主食在内的一大类架构，初始化时的神经切线核（NTK）具有无限宽度限制。然而，他们的分析并不适用于培训。在这里，我们展示了相同的神经网络（在所谓的NTK参数化中）在训练过程中遵循函数空间中的内核梯度下降动态，其中内核是无限宽度的NTK。这就完成了NTK行为的 * 架构通用性 * 的证明。为了实现这一结果，我们应用了张量程序技术：将整个SGD动力学写入张量程序，并通过主定理进行分析。为了方便这个证明，我们开发了一个张量程序的图形符号。
2021-05-08 cs.LG cs.NE math.PR
Nonlocal Neural Tangent Kernels via Parameter-Space Interactions
本文提出非局部神经正切核（NNTK），用参数空间中的非局部交互近似替代局部梯度，克服了标准NTK依赖参数可微性的局限，将理论扩展至非平滑函数与更广泛的模型族，并通过数值研究验证了其固定核与注意力机制表述。
2025-09-15 cs.LG cs.NA math.NA
Few-shot Backdoor Attacks via Neural Tangent Kernels
University of Washington（华盛顿大学）
在后门攻击中，攻击者将损坏的示例注入训练集中。攻击者的目标是在测试输入中添加预定义的触发器时，使最终的训练模型预测攻击者所需的目标标签。这些攻击的核心是攻击的成功率和注入的损坏的训练样本的数量之间的权衡。我们提出这种攻击作为一种新的双层优化问题：构建强毒药的例子，最大限度地提高训练模型的攻击成功率。我们使用神经切线核来近似被攻击模型的训练动态，并自动学习强毒药示例。我们在CIFAR-10和ImageNet的子类上进行了实验，使用WideResNet-34和ConvNeXt架构进行周期性和补丁触发攻击，结果表明NTBA设计的中毒示例实现了90%的攻击成功率，注入的中毒示例数量比基线少十倍。我们提供了一个解释NTBA设计的攻击使用核线性回归分析。我们进一步证明了过度参数化的深度神经网络的脆弱性，这是由神经切线核的形状揭示的。
2022-10-12 cs.CR cs.LG
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories
East China Normal University（华东师范大学）；Tsinghua University（清华大学）
从统计角度研究神经网络特征学习，回顾NTK理论等，探讨固定核理论局限，将神经网络视为自适应特征模型，提出过参数化高斯序列模型作为原型，以研究特征学习特性并推动对神经网络的分析。
2026-07-29 cs.LG math.ST stat.TH
On the infinite width limit of neural networks with a standard parameterization
Google（谷歌）
目前有两种参数化用于导出对应于无限宽度神经网络的固定核，NTK（神经切线核）参数化和朴素标准参数化。然而，将这两种参数化外推到无限宽是有问题的。标准参数化导致发散的神经切线核，而NTK参数化未能捕获有限宽度网络的关键方面，例如：训练动态对相对层宽度的依赖性，权重和偏差的相对训练动态，以及整体学习率规模。在这里，我们提出了一种改进的标准参数化的外推，保留所有这些属性的宽度被带到无穷大，并产生一个定义良好的神经切线核。我们的实验表明，所得到的内核通常达到类似的精度从NTK参数化，但更好地对应于典型的有限宽度网络的参数化。此外，通过仔细调整宽度参数，改进的标准参数化内核可以优于NTK参数化的内核。我们在https://github.com/google/neural-tangents上发布了实现这种改进的标准参数化的代码，作为神经切线库的一部分。
2020-04-18 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
The Differential Neural Tangent Kernel and Its Positivity
The Chinese University of Hong Kong（香港中文大学）
研究针对物理信息神经网络（PINN），提出微分神经切线核（DNTK）理论框架，通过NTK分析PINN，建立了无限宽度DNTK的正性，为训练PINN的梯度型算法分析奠定基础。
2026-07-14 cs.LG cs.NA math.NA
The Positivity of the Neural Tangent Kernel
Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））；Centro de Análise Matemática, Geometria e Sistemas Dinâmicos, Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高级技术学院数学分析、几何与动力系统中心，里斯本大学）
本文针对任意深度前馈网络，证明非多项式激活函数下神经正切核严格正定，从而保证宽网络的记忆容量，并提出了多项式函数的新刻画。
2024-04-19 cs.AI cs.LG math.PR
Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel
Stanford University（斯坦福大学）；Element AI（元素人工智能公司）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在适当初始化的宽网络中，小的学习率将深度神经网络（DNN）转换为神经切线核（NTK）机器，其训练动态通过初始化时网络的线性权重扩展来很好地近似。然而，标准训练与其线性化的不同之处还不为人所知。我们研究了非线性深度网络的训练动力学、损失景观的几何形状以及数据依赖性NTK的时间演化之间的关系。我们这样做是通过一个大规模的现象学分析的培训，综合各种措施的特点损失景观几何和NTK动态。在多个神经架构和数据集中，我们发现这些不同的度量以高度相关的方式发展，揭示了深度学习过程的普遍图景。在这张图中，深度网络训练表现出高度混沌的快速初始瞬态，在2到3个时期内确定了包含训练终点的最终线性连接的低损失盆地。在这种混沌瞬态期间，NTK快速变化，从训练数据中学习有用的特征，使其能够在不到3到4个时期内超过标准初始NTK 3倍。在这种快速的混沌瞬态之后，NTK以恒定的速度变化，其性能在15%到45%的训练时间内与完整网络训练的性能相匹配。总的来说，我们的分析揭示了在训练时间内各种指标之间的惊人相关性，在最初的几个时期中由快速的混沌到稳定的过渡所控制，这为开发更准确的深度学习理论带来了挑战和机遇。
2020-10-28 cs.LG stat.ML
On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）
流行的想法是，正交权重是至关重要的，以加强动态等距和加快训练。线性网络中正交初始化导致的学习速度的增加已经得到了很好的证明。然而，虽然当满足动态等距条件时，这一点也适用于非线性网络，但这一争论背后的训练动力学尚未得到彻底探索。在这项工作中，我们研究了一系列架构中超宽网络的动态特性，包括全连接网络（FCN）和卷积神经网络（CNN），通过神经切线核（NTK）进行正交初始化。通过一系列的命题和引理，我们证明了当网络宽度为无穷大时，两个NTK相等，一个对应于高斯权重，一个对应于正交权重。此外，在训练期间，正交初始化的无限宽度网络的NTK理论上应该保持恒定。这表明正交初始化不能加速NTK（懒惰训练）机制中的训练，与流行的想法相反。为了探索在什么情况下可以正交加速训练，我们进行了彻底的实证调查以外的NTK制度。我们发现当超参数被设置为在非线性激活中实现线性区域时，正交初始化可以在大学习率或大深度的情况下提高学习速度。
2021-07-21 cs.LG stat.ML
Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training?
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；NAVER CLOVA
在神经架构搜索（NAS）中，降低架构评估的成本仍然是最关键的挑战之一。在众多绕过每个候选架构的训练以收敛以进行评估的努力中，神经切线核（NTK）正成为一个有前途的理论框架，其可用于在初始化时估计神经架构的性能。在这项工作中，我们重新审视了几个初始化的指标，可以从NTK，并揭示其关键的缺点。然后，通过对NTK时间演化的实证分析，我们推断出现代神经架构表现出高度的非线性特征，使得基于NTK的度量在没有一定量的训练的情况下无法可靠地估计架构的性能。考虑到这种非线性特性，我们引入了标签梯度对齐（LGA），一种新的基于NTK的度量，其固有的配方使其能够捕获大量的非线性优势，目前在现代神经架构。通过最小的训练量，LGA获得了与架构的训练后测试准确性有意义的等级相关性。最后，我们证明了LGA，辅以几个时代的训练，成功地指导现有的搜索算法，以显着降低搜索成本，以实现有竞争力的搜索性能。该代码可从以下网址获取：https://github.com/nutellamok/DemystifyingNTK。
2022-03-28 cs.AI cs.LG
NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective
School of CS & School of AI, Shanghai Jiao Tong University Shanghai Innovation Institute（计算机学院与人工智能学院，上海交通大学上海创新研究院）
针对多任务学习中的任务不平衡难题，该研究从神经切线核视角出发，通过扩展NTK矩阵与谱分析平衡任务收敛速度，提出NTKMTL及高效变体NTKMTL-SR，在多类基准任务上达到SOTA性能。
2025-10-21 cs.AI cs.LG
Finite-Width Neural Tangent Kernels from Feynman Diagrams
Department of Mathematical Sciences, Chalmers University of Technology（楚德大学技术学院数学科学系）；the University of Gothenburg（哥德堡大学）
引入费曼图计算有限宽神经正切核修正，简化代数运算并推导递归关系，证明ReLU等尺度不变非线性在Gram矩阵对角线上无有限宽修正。
2026-06-16 cs.LG hep-th
NFT-K: Non-Fungible Tangent Kernels
Rice University（莱斯大学）
深度神经网络由于其强大的经验性能（如视觉、RL和分类），已成为众多应用的关键。不幸的是，这些网络很难解释，这限制了它们在可解释性对安全性很重要的环境中的适用性，例如医学成像。一种类型的深度神经网络是神经切线核，其类似于提供可解释性的某些方面的核机器。为了进一步促进分类和层的可解释性，我们开发了一个新的网络作为多个神经切线核的组合，一个单独建模深度神经网络的每一层，而不是过去的工作，试图通过单个神经切线核来表示整个网络。我们在两个数据集上展示了该模型的可解释性，表明多核模型阐明了层与预测之间的相互作用。
2021-10-11 cs.LG
An Application of the Holonomic Gradient Method to the Neural Tangent Kernel
本研究聚焦神经正切核的完整激活子分布对偶激活的数值评估问题，提出基于微分算子环计算机代数算法的方法，拓展了完整梯度法的应用场景。
2024-10-31 cs.LG
Efficient Analysis of the Distilled Neural Tangent Kernel
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出蒸馏神经切线核，通过数据集蒸馏和投影方法降低NTK计算复杂度，同时保持核结构和预测性能。
2026-02-17 cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Technologies（华为技术有限公司）
一项开创性的工作[Jacot等人，2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果，宽度趋于无穷大，有限宽度的校正，应用程序，并讨论了相应的方法的局限性。
2022-08-29 cs.LG
Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel
University of Minnesota（明尼苏达大学）
图卷积网络是一类流行的深度神经网络算法，其在许多关系学习任务中显示出成功。尽管取得了成功，但图卷积网络表现出许多独特的特征，包括偏向于学习过平滑和同质函数，由于这些算法的复杂性，这些函数不容易诊断。我们建议通过研究层卷积网络的神经切线核来弥合这一理解上的差距--层卷积网络是图卷积网络的拓扑推广。为此，我们推导出层卷积网络的神经切线核的参数化，该参数化将函数分为两部分：一部分由图确定的前向扩散过程驱动，另一部分由节点激活对输出层的复合效应确定。这种几何聚焦的推导产生了许多我们详细讨论的直接见解。
2022-08-19 cs.LG
Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks
Weizmann Institute of Science（魏茨曼科学研究所）
深度残差网络架构已被证明比经典前馈网络实现更高的精度，但它们的成功仍然没有完全理解。通过各自的神经切线核（ResNTK），关注大规模过度参数化的、完全连接的、具有ReLU激活的残差网络，我们在这里提供了这些核的谱分析。具体来说，我们表明，很像NTK的全连接网络（FC-NTK），输入均匀分布在超球$\mathbb{S}^{d-1}$，ResNTK的本征函数是球谐函数和本征值衰减多项式与频率$k$为$k^{-d}$。这些反过来又意味着在其再生核希尔伯特空间中的函数集与FC-NTK的函数集相同，因此也与拉普拉斯核的函数集相同。我们进一步表明，通过借鉴拉普拉斯内核的类比，取决于选择一个超参数，在跳跃和剩余连接之间进行平衡，ResNTK可以随着深度而变得尖锐，就像FC-NTK一样，或者保持稳定的形状。
2021-04-07 cs.LG
Neural Tangent Kernel of Neural Networks with Loss Informed by Differential Operators
Tsinghua University（清华大学）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（雁栖湖北京数学科学与应用研究院）
本文针对物理信息损失下的深度神经网络建立NTK理论，分析其初始化与训练时的收敛及结构，证明微分算子通常不会加快特征值衰减或增强谱偏差，并以实验验证。
2025-03-14 cs.LG
Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Courant Institute, NYU（纽约大学柯朗研究所）；Rutgers University（罗格斯大学）；University of Washington（华盛顿大学）；University of Texas, El Paso（德克萨斯大学埃尔帕索分校）
本研究结合可解释AI的代理建模与核函数应用两大趋势，提出新型近似经验神经切线核及两种随机投影变体，验证了其作为神经网络代理模型的有效性，迹NTK性能最优，并配套开源了PyTorch计算工具。
2024-03-11 cs.LG
Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?
UCSB（加州大学圣巴巴拉分校）；Adobe（奥多比公司）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了求解图神经正切核（GNTK）是否等价于训练无限宽图神经网络，证明了图级回归的等价性，并首次提出并证明了节点级回归的GNTK公式与等价性。
2023-09-14 cs.LG
Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；EPFL（洛桑联邦理工学院）
我们研究了在可微模型（如神经网络）上使用梯度下降学习与使用相应的正切核的相对能力。我们表明，在一定条件下，梯度下降实现小的错误，只有当相关的正切核方法实现了一个非平凡的优势，随机猜测（又名。弱学习），尽管即使当梯度下降可以实现任意高的精度时，该优点也可能非常小。补充这一点，我们表明，如果没有这些条件，梯度下降实际上可以学习小的错误，即使没有核方法，特别是使用正切核，可以实现一个非平凡的优势，随机猜测。
2021-03-01 cs.LG stat.ML
Fast Graph Neural Tangent Kernel via Kronecker Sketching
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe 研究院）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
许多深度学习任务必须处理图形（例如，蛋白质结构、社交网络、源代码抽象语法树）。由于这些任务的重要性，人们转向图神经网络（GNNs）作为在图上学习的实际方法。GNN由于其令人信服的性能而得到广泛应用。不幸的是，使用GNN的一个主要障碍是GNN需要大量的时间和资源来进行训练。最近，一种用于在图数据上学习的新方法是图神经切线核（GNTK）[Du，Hou，Salakhutdinov，Poczos，Wang和Xu 19]。GNTK是神经切线核（NTK）[Jacot，Gabriel和Hongler 18]（一种核方法）在图形数据上的应用，解决NTK回归相当于使用梯度下降来训练无限宽的神经网络。使用GNTK的主要好处是，与任何内核方法类似，GNTK的参数可以在单个步骤中直接求解。这可以避免耗时的梯度下降。同时，草图已经越来越多地用于加速各种优化问题，包括解决核回归。给定$n$图的核矩阵，在求解核回归时使用草图法，可将计算时间减少到$o(n^3)$。但不幸的是，这样的方法通常需要事先对核矩阵有广泛的了解，而在GNTK的情况下，我们发现核矩阵的构造已经是$O(n^2N^4)$了，假设每个图都有$N$节点。当图$N$的大小增加时，核矩阵构造时间可能是主要的性能瓶颈。因此，一个自然的问题是，我们是否可以加快内核矩阵的构造，以改善GNTK回归的端到端运行时间。本文首次提出了在$o(n^2N^3)$运行时构…
2021-12-04 cs.LG
Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach
Chalmers University of Technology（查尔姆斯理工大学）
本文提出了一种有约束的策略梯度算法。我们通过以下步骤引入安全学习的约束。首先，放慢学习（惰性学习），使得可以借助于策略梯度定理和神经切线核来计算偶发策略改变。然后，这也使我们能够在任意状态下评估策略。本着同样的精神，学习可以被引导，通过用规定了期望动作概率的状态来增加事件批次来确保安全性。最后，可以在这些特定的状态-动作对处计算未来奖励（回报）的外生贴现和，使得策略网络满足约束。计算回报是基于求解线性方程组（等式约束）或约束二次规划（不等式约束，区域约束）。仿真结果表明，加入约束（外部信息）的学习，可以提高学习的速度和透明度合理，如果适当地选择约束。约束学习的效率在Cartpole和Lunar Lander OpenAI健身房环境中用浅而宽的ReLU网络进行了证明。本文的主要创新之处在于给出了神经切线核在强化学习中的实际应用。
2022-01-21 cs.LG
Design and Analysis of Robust Adaptive Filtering with the Hyperbolic Tangent Exponential Kernel M-Estimator Function for Active Noise Control
Department of Electrical Engineering, PUC-Rio（电气工程系，PUC-里约热内卢）
本文提出FXHEKM鲁棒自适应算法，用于脉冲噪声环境下的有源噪声控制，并通过统计分析和数值实验验证其在消除α稳定噪声方面优于竞争算法。
2025-08-18 cs.LG
Single-level Adversarial Data Synthesis based on Neural Tangent Kernels
National Tsing Hua University（国立清华大学）
摘要生成对抗网络（GANs）在数据合成方面取得了令人印象深刻的性能，并推动了许多应用的发展。然而，GANs由于其双层目标而难以训练，这导致了收敛、模式坍塌和梯度消失的问题。在本文中，我们提出了一个新的生成模型称为生成对抗NTK（GA-NTK），有一个单级目标。GA-NTK保持了对抗学习的精神（这有助于生成合理的数据），同时避免了GANs的训练困难。这是通过用神经切线核（NTK-GP）将神经网络建模为高斯过程来完成的，NTK-GP的训练动态可以完全由封闭形式的公式来描述。我们分析了用梯度下降训练的GA-NTK的收敛性，并给出了收敛的充分条件。我们还进行了大量的实验来研究GA-NTK的优点和局限性，并提出了一些技术，使GA-NTK更实用。
2022-11-20 cs.LG
A Special Case of Quadratic Extrapolation Under the Neural Tangent Kernel
Abiel J. Kim
该研究探讨了神经切线核下原点附近二次外推的特例，揭示了ReLU NTK外推的极值边界。
2025-12-11 cs.LG
Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
识别不熟悉的输入，也称为分布外（OOD）检测，是任何决策过程的关键属性。一种简单且经经验验证的技术是基于深度集成，其中不同神经网络上的预测方差用作输入不确定性的替代。然而，导致深度系综的不确定性估计的性能的归纳偏差的理论理解是缺失的。为了改善我们对它们行为的描述，我们研究了在简化的线性训练机制中运行的具有大层宽度的深度集成，其中使用梯度下降训练的函数可以由神经切线核描述。我们确定了两个噪声源，每个源在初始化时的预测方差中引起不同的归纳偏差。我们进一步从理论和经验上证明，这两种噪声源都会影响玩具模型和训练后现实环境中非线性深度合奏的预测方差。最后，我们提出了一些实用的方法来消除这些噪声源的一部分，从而在经过训练的深度集合中实现显著的变化和改进的OOD检测。
2022-10-18 cs.LG
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最先进的神经网络严重过度参数化，使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明，在一定的过参数化制度下，梯度下降的学习动力学由初始化时获得的某个内核（称为神经正切内核）控制。我们通过分析这个核和相应的函数空间（RKHS）来研究在这样的制度下学习的归纳偏差。特别是，我们研究了具有有限范数的函数的平滑性，近似性和稳定性，包括卷积网络情况下图像变形的稳定性，并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
Model Reprogramming Demystified: A Neural Tangent Kernel Perspective
National Taiwan University（台湾大学）；IBM Research（IBM研究院）
本文从神经正切核视角为模型重编程建立理论框架，揭示其成功由目标数据集上NTK矩阵特征值谱和源模型有效性决定，并通过大量实验验证理论发现。
2025-05-31 cs.LG
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland at College Park（马里兰大学帕克分校）
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明，在归一化多通道输入和ReLU激活的情况下，这些具有统一度量的内核的特征函数由球谐函数的乘积形成，定义在不同像素的通道上。接下来，我们使用分层可因子分解核来绑定它们各自的特征值。我们表明，多项式的特征值衰减，量化的衰减率，并得出措施，反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective
CSIRO Space and Astronomy（澳大利亚联邦科学与工业研究组织空间与天文学部门）；RIKEN AIP（理化学研究所人工智能项目）
本文从 NTK 视角分析过参数化 VAE 中随机神经网络的优化轨迹，在温和假设下证明其收敛性，并建立其与 KRR 的新联系，实验验证了理论结论。
2024-09-09 cs.LG
Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS
Simons Institute for the Theory of Computing, University of California, Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
证明了当深度神经切线核和Laplace核都被限制在球面$\mathbb{S}^{d-1}$上时，它们的再生核Hilbert空间（RKHS）包含相同的函数集.此外，我们证明了指数幂核具有较小的权力（使内核不太顺利）导致一个较大的RKHS，当它被限制在球体$\mathbb{S}^{d-1}$，当它被定义在整个$\mathbb{R}^d$。
2021-03-18 cs.LG math.ST stat.ML
NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel
ece（电气与计算机工程系）；sci（安全计算研究所）
针对去中心化联邦学习在统计异构场景下的性能瓶颈，提出融合神经切线核演化与模型平均的NTK-DFL方法，可提升准确率与收敛速度，通信轮次较基线减少4.6倍，且在多场景下具备鲁棒性。
2025-06-12 cs.LG
Generalized Tangent Kernel: A Unified Geometric Foundation for Natural Gradient and Standard Gradient
Horizon Robotics；Department of Mathematics and Statistics, Boston University（波士顿大学数学与统计学系）
本文提出 Generalized Tangent Kernel（GTK）统一自然梯度与标准梯度，证明其可在函数空间上定义黎曼度量，并为退化自然梯度及新型梯度下降方法提供理论框架。
2025-09-26 cs.LG
Neural Kernels Without Tangents
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究了核空间中神经网络和简单构建块之间的联系。特别是，使用完善的功能空间工具，如直接和，平均，和时刻提升，我们提出了一个代数创建“合成”内核的功能袋。我们表明，这些操作对应于许多“神经切线核（NTK）"的积木。在实验上，我们表明，有一个神经网络架构和相关的内核之间的测试误差的相关性。我们构建了一个简单的神经网络架构，仅使用3x3卷积，2x2平均池化，ReLU，并使用SGD和MSE损失进行优化，在CIFAR10上实现了96%的准确度，其相应的组合内核实现了90%的准确度。我们还使用我们的结构来研究小数据集制度中的神经网络，NTK和组合内核的相对性能。特别是，我们发现，组成内核优于NTK和神经网络优于这两个内核的方法。
2020-03-05 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
On the linearity of large non-linear models: when and why the tangent kernel is constant
Department of Computer Science, The Ohio State University（俄亥俄州立大学计算机科学系）；Halicioğlu Data Science Institute, University of California, San Diego（加利福尼亚大学圣迭戈分校哈利西奥卢数据科学学院）
这项工作的目标是阐明的显着现象过渡到线性的某些神经网络，因为它们的宽度接近无穷大。我们表明，过渡到线性的模型，等价地，恒定的（神经）切线内核（NTK）的结果从网络的海森矩阵的范数作为网络宽度的函数的标度特性。我们提出了一个通用的框架，通过适用于标准类的神经网络的海森标度的切线核的恒定性。我们的分析提供了一个新的角度来看，常数正切核的现象，这是不同于广泛接受的“懒惰的训练”。此外，我们表明，过渡到线性不是一个广泛的神经网络的一般属性，并不持有时，网络的最后一层是非线性的。它也不是通过梯度下降成功优化所必需的。
2021-02-20 cs.LG stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania（宾夕法尼亚大学）
神经切线核（NTK）是训练过参数化神经网络（NN）的一种常用方法，但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质，这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中，我们介绍了一种新的方法，从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说，我们提出了两个标签感知内核，每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加，使用Hoeffding分解。通过理论和经验证据，我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels
University of Maryland（马里兰大学）；Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学量子信息与计算机科学联合中心）；JPMorgan Chase & Co.（摩根大通公司）；Tsinghua University（清华大学）
量子神经网络（QNN）是一种参数化的映射，可以在近期噪声中尺度量子（NISQ）计算机上有效实现。当与经典的基于梯度的优化器相结合时，它可以用于监督学习。尽管现有的经验和理论研究，QNN训练的收敛性还没有完全理解。受神经正切核（NTK）在探索经典神经网络动力学方面的成功启发，最近的一系列工作提出通过检查正切核的量子版本来研究过参数化QNN。在这项工作中，我们研究了QNN的动力学，并表明与流行的观点相反，它与任何核回归都有质的不同：由于量子运算的酉性，在随机初始化时导出的正切核回归存在不可忽略的偏差。作为偏差的结果，我们证明了至多次线性收敛QNN与泡利测量，这是超出任何内核回归动力学的解释能力。然后，我们提出了实际的动力学QNN在过参数化的限制。新的动态捕捉到训练过程中收敛速度的变化，并意味着测量范围对QNN的快速收敛至关重要。
2023-03-26 cs.LG quant-ph
On the Neural Tangent Kernel of Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本研究探讨了深度平衡模型的神经正切核，发现在温和条件下，即使宽度和深度同时趋于无穷大，其NTK依然具有确定性，且可通过寻根法高效求解。
2023-10-21 cs.AI cs.LG
Wearing a MASK: Compressed Representations of Variable-Length Sequences Using Recurrent Neural Tangent Kernels
Rice University（莱斯大学）
高维数据给数据的使用带来了许多挑战，从可视化和解释，到预测和历史保存的存储。减少固定长度序列的维数的技术比比皆是，但这些方法很少推广到可变长度序列。为了解决这一差距，我们扩展现有的方法，依赖于使用内核的可变长度的序列，通过使用递归神经切线内核（RNTK）。由于具有ReLu激活的深度神经网络是一个最大仿射样条算子（MASO），因此我们将我们的方法称为最大仿射样条核（MASK）。我们演示了如何MASK可以用来扩展主成分分析（PCA）和t分布随机邻居嵌入（t-SNE），并应用这些新算法来分离从二阶微分方程采样的合成时间序列数据。
2021-04-17 cs.LG eess.SP
An Empirical Analysis of the Laplace and Neural Tangent Kernels
本研究实证分析拉普拉斯核与神经正切核在实际中的等价性，通过精确匹配核及高斯过程后验，并在回归任务中验证，揭示两者在有限维空间的实用关联。
2025-10-08 cs.LG math.FA math.ST
Mathematical Foundations of Neural Tangents and Infinite-Width Networks
Dept. of Artificial Intelligence & Machine Learning（人工智能与机器学习系）；Dept. of Computer Science Engineering（计算机科学工程系）；Dept. of Electrical & Electronics Engineering（电子与电气工程系）
本文提出 NTK-ECRN 架构，通过整合傅里叶特征嵌入和随机深度，实现对神经切线核在训练过程中演化的严谨分析，并验证了其在提升训练稳定性和泛化能力方面的有效性。
2025-12-09 cs.LG
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
