AdaKernel: Learning Adaptive Kernel Parameters for Spatiotemporal Graph Neural Networks
Sichuan University（四川大学）；PLA Academy of Military Science（中国人民解放军军事科学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对图神经网络中固定核参数导致模型容量受限的问题，提出AdaKernel方法，通过结构保持策略学习自适应核参数，在数据稀疏场景下优于固定先验和全隐式图结构方法。
2026-05-31 cs.LG
KerGNNs: Interpretable Graph Neural Networks with Graph Kernels
Yale University（耶鲁大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
图核历来是图分类任务中最广泛使用的技术。然而，这些方法遭受有限的性能，因为手工制作的图的组合功能。近年来，图神经网络（GNNs）由于其优越的性能，已成为下游图相关任务的最先进的方法。大多数GNN基于消息传递神经网络（MPNN）框架。然而，最近的研究表明，MPNN不能超过的权力的Weisfeiler-Lehman（WL）算法在图同构测试。为了解决现有的图形内核和GNN方法的局限性，在本文中，我们提出了一种新的GNN框架，称为\textit{Kernel Graph Neural Networks}（KerGNNs），它集成了图形内核到GNNs的消息传递过程。受卷积神经网络（CNN）中卷积滤波器的启发，KerGNNs采用可训练的隐藏图作为图滤波器，其与子图相结合以使用图核更新节点嵌入。此外，我们还证明了MPNN可以被视为Kerns的特殊情况。我们将KerGNN应用于多个与图相关的任务，并使用交叉验证与基准进行公平比较。我们表明，与现有的最先进的方法相比，我们的方法具有竞争力的性能，证明了提高GNN表示能力的潜力。我们还表明，KerGNNs中训练的图过滤器可以揭示数据集的局部图结构，与传统的GNN模型相比，这显着提高了模型的可解释性。
2022-02-25 cs.AI cs.LG
FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks
Indiana University（印第安纳大学）
我们开发了一个融合矩阵乘法内核，统一采样稠密矩阵乘法和稀疏稠密矩阵乘法下一个单一的操作称为FusedMM。通过使用用户定义的函数，FusedMM可以捕获流行的图嵌入和GNN方法所需的几乎所有计算模式。FusedMM比Deep Graph Library中的等效内核快一个数量级。FusedMM的优越性能来自于底层的向量化内核、合适的负载均衡方案和内存带宽的有效利用。FusedMM可以使用代码生成器调整其性能，并在Intel、AMD和ARM处理器上表现同样出色。FusedMM在不同的处理器上将端到端图嵌入算法的速度提高了28倍。
2021-10-27 cs.DC cs.LG cs.SI
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Neural Kernels Without Tangents
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究了核空间中神经网络和简单构建块之间的联系。特别是，使用完善的功能空间工具，如直接和，平均，和时刻提升，我们提出了一个代数创建“合成”内核的功能袋。我们表明，这些操作对应于许多“神经切线核（NTK）"的积木。在实验上，我们表明，有一个神经网络架构和相关的内核之间的测试误差的相关性。我们构建了一个简单的神经网络架构，仅使用3x3卷积，2x2平均池化，ReLU，并使用SGD和MSE损失进行优化，在CIFAR10上实现了96%的准确度，其相应的组合内核实现了90%的准确度。我们还使用我们的结构来研究小数据集制度中的神经网络，NTK和组合内核的相对性能。特别是，我们发现，组成内核优于NTK和神经网络优于这两个内核的方法。
2020-03-05 cs.LG stat.ML
On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
Neural Non-Stationary Spectral Kernel
Aalto University（阿尔托大学）；Silo AI
标准的核函数，如Matérn或RBF核函数，只对输入空间中的简单单调依赖进行编码。光谱混合核已被提出作为通用的，灵活的内核，用于学习和发现数据中更复杂的模式。谱混合核最近被推广到非平稳核取代的混合权重，频率均值和方差的输入相关的功能。这些函数本身也被建模为高斯过程。在本文中，我们提出了建模的超参数函数与神经网络，并提供了一个实验比较之间的平稳光谱混合物和两个非平稳光谱混合物。可扩展高斯过程推理的稀疏变分框架内考虑的所有内核。我们表明，内核的神经变体能够在几个基准数据集上实现最佳性能。
2018-11-27 cs.LG stat.ML
Deep Neural-Kernel Machines
Maastricht University（马斯特里赫特大学）
在本章中，我们回顾了与深度神经内核架构的最新进展相关的主要文献，这种方法寻求两种强大的模型之间的协同作用，即基于内核的模型和人工神经网络。引入的深度神经内核框架由神经网络架构和内核机器的混合组成。更准确地说，对于内核对应的模型是基于最小二乘支持向量机与显式特征映射。在这里，我们讨论使用一种形式的显式特征映射获得的随机傅立叶特征。由于这种显式的特征映射，一方面桥接两种架构变得更加简单，另一方面可以在原始中找到相关优化问题的解决方案，从而使模型可扩展到大规模数据集。我们首先介绍一个神经内核架构，它作为配备不同池化层的更深层模型的核心模块。特别是，我们回顾了三个神经内核机器的平均，最大输出和卷积池层。在平均池化层中，对先前表示层的输出进行平均。maxout层触发不同输入表示之间的竞争，并允许在同一模型中形成多个子网络。卷积池化层降低了多尺度输出表示的维度。与神经核模型、基于核的模型和经典神经网络结构进行了比较，并在多个基准数据集上进行了数值实验，验证了所引入模型的有效性。
2020-07-19 cs.LG stat.ML
BENK: The Beran Estimator with Neural Kernels for Estimating the Heterogeneous Treatment Effect
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种在截尾时间-事件数据条件下估计条件平均治疗效应的方法--神经核Beran估计方法。该方法背后的主要思想是应用Beran估计估计控制和治疗的生存函数。代替Beran估计器中的典型核函数，提出了以称为神经核的特定形式的神经网络的形式来实现核。条件平均治疗效果估计通过使用的生存函数作为控制和治疗神经网络的结果，其中包括一组共享参数的神经内核。神经核更灵活，可以准确地模拟特征向量的复杂位置结构。各种数值模拟实验说明了BENK，并将其与著名的T-学习者，S-学习者和X-学习者进行比较，用于基于Cox模型，随机生存森林和具有高斯核的Nadaraya-Watson回归的几种类型的控制和治疗结果函数。所提出的实现BENK的算法的代码可在https://github.com/Stasychbr/BENK中获得。
2022-11-19 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains
本文提出确定定义在一般域上的大规模核函数特征值衰减率的方法，分析了宽神经网络的最小最大最优性及过拟合问题。
2026-04-07 cs.LG stat.ML
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Neural Networks as Kernel Learners: The Silent Alignment Effect
Harvard University（哈佛大学）
懒惰训练机制中的神经网络收敛到内核机器。在富特征学习机制中的神经网络能学习具有数据依赖内核的内核机器吗？我们证明，这确实可以发生，由于一种现象，我们长期沉默的对齐，这需要一个网络的切线内核的特征结构的演变，而小，之前的损失明显减少，并增长，只有在整体规模之后。我们表明，这样的效果发生在同质神经网络与小的初始化和白化数据。我们提供了一个线性网络的情况下，这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段会产生一个低秩的贡献，然后在整体规模上发展，产生一个函数，相当于最终网络的切线内核的内核回归解决方案。内核的早期谱学习取决于深度。我们还证明了非白化数据可以削弱沉默对齐效应。
2021-12-02 cs.LG stat.ML
Kernel Neural Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Artificial Intelligence Research Institute（人工智能研究所）
我们研究了神经最优运输（NOT）算法，该算法使用一般的最优运输公式，并学习随机运输计划。我们表明，不与弱二次成本可能会学习假计划，这是不是最佳的。为了解决这个问题，我们引入核弱二次成本。我们表明，它们提供了改进的理论保证和实际性能。我们在未配对的图像到图像翻译任务上测试了不使用内核成本。
2023-03-01 cs.LG stat.ML
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最先进的神经网络严重过度参数化，使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明，在一定的过参数化制度下，梯度下降的学习动力学由初始化时获得的某个内核（称为神经正切内核）控制。我们通过分析这个核和相应的函数空间（RKHS）来研究在这样的制度下学习的归纳偏差。特别是，我们研究了具有有限范数的函数的平滑性，近似性和稳定性，包括卷积网络情况下图像变形的稳定性，并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Multi-Kernel Fusion for RBF Neural Networks
The University of Western Australia（西澳大利亚大学）；Karachi Institute of Economics and Technology（卡拉奇经济与技术学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
径向基函数神经网络（RBFNN）是一种简单而有效的结构设计，使其成为最流行的传统神经网络之一。当前一代的径向基函数神经网络配备有多个内核，与仅使用单个内核的上一代相比，其提供了显著的性能优势。在现有的多核RBF算法中，多核是由基核/主核的凸组合形成的。在本文中，我们提出了一种新的多核RBFNN，其中每个基本内核有自己的（本地）的权重。网络中的这种新颖的灵活性提供了更好的性能，例如更快的收敛速度，更好的局部最小值和对陷入局部最小值的弹性。这些性能增益是在一个有竞争力的计算复杂性相比，当代的多核RBF算法。所提出的算法进行了彻底的性能增益分析，使用数学和图形的说明，也评估了三种不同类型的问题，即：（i）模式分类，（ii）系统辨识和（iii）函数逼近。实验结果清楚地表明，该算法的优越性相比，现有的国家的最先进的多核方法。
2020-07-06 cs.LG stat.ML
Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective
the University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文利用双时间尺度极限与核视角分析两层神经网络的平均场动力学，证明其全局收敛及离散误差，并揭示其可学习数据依赖核、优于固定核方法。
2024-04-07 cs.LG stat.ML
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
神经网络（NN）的训练动力学和泛化性能可以通过神经正切核（NTK）在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习，并成为静态内核机制之外网络卓越性能的基础。在这项工作中，我们试图从理论上理解内核对齐，一个突出的和无处不在的结构变化，使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型，其中NTK进化以加速训练，并表明对齐自然地出现在这种需求中。然后，我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述，并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中，我们发现了核专业化的现象，其中每个输出头的核函数优先与自己的目标函数对齐。总之，我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions
University of Queensland（昆士兰大学）；University of Cambridge（剑桥大学）
在高斯过程（GP）模型中创建表达先验的简单、灵活的方法从基本内核的组合中产生新内核，例如，对周期性和线性内核求和可以捕获具有长期趋势的季节变化。尽管GP和贝叶斯神经网络（BNN）之间的联系已经得到了很好的研究，但BNN类似物尚未被探索。本文推导出BNN架构镜像这样的内核组合。此外，它还展示了BNN如何生成周期性内核，这在这种情况下通常很有用。这些想法提供了一个原则性的方法来设计BNN，将先验知识的功能。我们通过在监督和强化学习环境中的说明性实验展示了这些想法的实用价值。
2019-06-28 cs.LG stat.ML
Framing RNN as a kernel method: A neural ODE approach
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
在将递归神经网络（RNN）解释为连续时间神经微分方程的基础上，我们证明了在适当的条件下，RNN的解可以被视为输入序列的特定特征集（称为签名）的线性函数。这种连接允许我们将RNN框架为合适的再生核希尔伯特空间中的核方法。因此，我们获得了理论保证的推广和稳定性的一大类经常性网络。我们的研究结果在模拟数据集上进行了说明。
2021-10-29 cs.LG stat.ML
Uniform Generalization Bounds for Overparameterized Neural Networks
MediaTek Research（联发科研究）
在人工神经网络中的一个有趣的观察是它们的有利的泛化误差，尽管通常是非常过度参数化的。经典的统计学习方法在过参数化神经网络的情况下往往会导致空洞的泛化误差。采用最近发展起来的神经切核理论，证明了当真实数据生成模型属于与神经切核相对应的再生核Hilbert空间时，过参数化神经网络在核域中的一致推广界.重要的是，我们的边界捕获精确的出错率取决于激活函数的可微性。为了建立这些界限，我们提出了NT内核的信息增益作为衡量学习问题的复杂性。我们的分析使用了Mercer分解的NT内核的球谐函数和相应的特征值的衰减率的基础上。作为我们的结果的副产品，我们证明了对应于NT内核的RKHS与对应于Matérn内核家族的RKHS之间的等价性，表明NT内核诱导了一类非常一般的模型。我们进一步讨论了我们的分析的影响，最近的一些结果的遗憾界强化学习和强盗算法，它使用过参数化神经网络。
2021-10-11 cs.LG stat.ML
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania（宾夕法尼亚大学）
神经切线核（NTK）是训练过参数化神经网络（NN）的一种常用方法，但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质，这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中，我们介绍了一种新的方法，从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说，我们提出了两个标签感知内核，每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加，使用Hoeffding分解。通过理论和经验证据，我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Neural-Kernelized Conditional Density Estimation
NAIST（奈良先端科学技术大学院大学）；UCL（伦敦大学学院）；Univ. Helsinki（赫尔辛基大学）
条件密度估计是解决机器学习中各种问题的通用框架。在现有的方法中，非参数和/或基于核的方法通常难以用于大型数据集，而基于神经网络的方法通常对概率密度进行限制性的参数假设。在这里，我们提出了一种新的方法来估计基于得分匹配的条件密度。与现有的方法相比，我们采用可扩展的神经网络，但不做明确的参数假设密度。将分数匹配应用于神经网络的关键挑战是计算对数密度模型的一阶和二阶导数。我们通过开发一种新的神经核化方法来解决这一挑战，该方法可以应用于具有随机梯度下降的大型数据集，而再生核允许轻松计算分数匹配所需的导数。我们证明了神经核函数逼近器具有通用的逼近能力，并且我们的方法在条件密度估计中是一致的。数值结果表明，我们的方法是有用的高维条件密度估计，并与现有的方法相比毫不逊色。最后，我们证明了所提出的方法有有趣的连接到两个概率原则框架的表示学习：非线性充分降维和非线性独立成分分析。
2018-06-05 cs.LG stat.ML
Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）
我们从高斯过程和统计物理的理论方法推导出作为训练样本数量的函数的核回归的泛化性能的解析表达式。我们的表达式适用于广泛的神经网络，由于它们的训练和核回归与神经切线核（NTK）之间的等价性。通过计算由于内核的不同谱分量的总的泛化误差的分解，我们确定了一个新的谱原则：随着训练集的大小的增长，内核机器和神经网络适合连续更高的谱模式的目标函数。当数据从高维超球面上的均匀分布中采样时，包括NTK在内的点积核表现出学习阶段，其中学习目标函数的不同频率模式。我们用合成数据和MNIST数据集验证了我们的理论。
2021-02-25 cs.LG stat.ML
Random Features for the Neural Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）
神经切线核（NTK）发现了深度神经网络和核方法之间的联系，具有优化和泛化的见解。受此启发，最近的研究报告称，与在小规模数据集上训练神经网络相比，NTK可以实现更好的性能。然而，由于核方法的计算限制，在大规模设置下的结果几乎没有研究。在这项工作中，我们提出了一种全连接ReLU网络NTK的有效特征映射构造，使我们能够将其应用于大规模数据集。我们将反余弦核的随机特征与基于草图的算法相结合，该算法可以相对于数据点的数量和输入尺寸线性运行。我们表明，所得到的功能的尺寸是远远小于其他基线特征图的建设，以实现可比的误差范围在理论和实践中。此外，我们利用杠杆得分为基础的采样的反余弦随机特征的改进的界限，并证明了所提出的特征映射到两层神经网络的NTK矩阵的谱近似保证。我们对各种机器学习任务进行基准测试，以证明所提出的方案的优越性。特别是，我们的算法可以运行几十个数量级的速度比精确的内核方法大规模的设置没有性能损失。
2021-04-03 cs.LG stat.ML
Deep Maxout Network Gaussian Process
Rutgers University（罗格斯大学）
研究无限宽度神经网络对于更好地理解神经网络的实际应用具有重要意义。在这项工作中，我们推导出的深度，无限宽maxout网络和高斯过程（GP）的等价性和特征的maxout内核的组成结构。此外，我们建立了我们的深度maxout网络内核和深度神经网络内核之间的连接。我们还给出了一个有效的数值实现我们的内核，可以适应任何maxout秩。数值结果表明，基于深度maxout网络核的贝叶斯推断与有限宽度网络核和深度神经网络核相比，可以得到有竞争力的结果。这启发了我们，maxout激活也可以被合并到其他无限宽度的神经网络结构中，例如卷积神经网络（CNN）。
2022-08-26 cs.LG stat.ML
Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
INRIA University of Stuttgart（INRIA 斯图加特大学）
本文研究了非ReLU激活函数对神经内核和随机宽网络的影响，推导了这些内核的RKHS特性，并分析了不同激活函数在不同网络深度下的表现。
2026-04-27 cs.LG stat.ML
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
A Kernel-Expanded Stochastic Neural Network
Purdue University（普渡大学）
深度神经网络受到机器学习中许多基本问题的困扰。例如，它在训练中经常陷入局部极小值，并且其预测不确定性难以评估。为了解决这些问题，我们提出了所谓的核扩展随机神经网络（K-StoNet）模型，它采用支持向量回归（SVR）作为第一个隐藏层，并重新制定的神经网络作为一个潜在的变量模型。前者通过径向基函数（RBF）核将输入向量映射到无限维特征空间，确保其训练损失表面上没有局部极小值。后者将高维非凸神经网络训练问题分解为一系列低维凸优化问题，使其预测不确定性易于评估。K-StoNet可以使用估算正则化优化（IRO）算法轻松训练。与传统的深度神经网络相比，K-StoNet具有渐近收敛到全局最优值的理论保证，并且可以轻松评估预测的不确定性。仿真和实际数据的例子说明了新模型的训练，预测和不确定性量化的性能。
2022-01-14 cs.LG stat.ML
On the infinite width limit of neural networks with a standard parameterization
Google（谷歌）
目前有两种参数化用于导出对应于无限宽度神经网络的固定核，NTK（神经切线核）参数化和朴素标准参数化。然而，将这两种参数化外推到无限宽是有问题的。标准参数化导致发散的神经切线核，而NTK参数化未能捕获有限宽度网络的关键方面，例如：训练动态对相对层宽度的依赖性，权重和偏差的相对训练动态，以及整体学习率规模。在这里，我们提出了一种改进的标准参数化的外推，保留所有这些属性的宽度被带到无穷大，并产生一个定义良好的神经切线核。我们的实验表明，所得到的内核通常达到类似的精度从NTK参数化，但更好地对应于典型的有限宽度网络的参数化。此外，通过仔细调整宽度参数，改进的标准参数化内核可以优于NTK参数化的内核。我们在https://github.com/google/neural-tangents上发布了实现这种改进的标准参数化的代码，作为神经切线库的一部分。
2020-04-18 cs.LG stat.ML
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
Finite Versus Infinite Neural Networks: an Empirical Study
Google Brain（谷歌大脑）
我们进行了仔细的，彻底的，和大规模的实证研究之间的对应关系广泛的神经网络和核方法。通过这样做，我们解决了与无限宽神经网络的研究有关的各种悬而未决的问题。我们的实验结果包括：核方法优于完全连接的有限宽度网络，但不如卷积有限宽度网络;神经网络高斯过程（NNGP）核经常优于神经正切（NT）核;中心化和集成的有限网络具有降低的后验方差，并且表现得更类似于无限网络;权重衰减和使用大的学习率打破了有限和无限网络之间的对应关系; NTK参数化优于有限宽度网络的标准参数化;内核的对角正则化类似于早期停止;浮点精度将内核性能限制在临界数据集大小之外;正则化的ZCA白化提高了准确性;有限网络性能以双下降现象未捕获的方式非单调地依赖于宽度; CNN的等变性仅对远离核区域的窄网络有益。我们的实验还激发了一个改进的逐层缩放权重衰减，提高了有限宽度网络的泛化。最后，我们开发了使用NNGP和NT内核进行预测的改进的最佳实践，包括一种新的集成技术。使用这些最佳实践，我们实现了CIFAR-10分类的最先进的结果，对应于我们考虑的每个架构类的内核。
2020-09-08 cs.LG stat.ML
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?
神经切线核（NTK）理论被广泛用于研究梯度下降下无限宽深度神经网络（DNN）的动力学行为。但无限宽网络的结果是否能为我们提供有关真实有限宽网络行为的提示呢？在本文中，我们实证研究了NTK理论在全连接ReLU和sigmoid DNN实践中的有效性。我们发现，网络是否处于NTK状态取决于随机初始化的超参数和网络的深度。特别是，NTK理论没有解释初始化足够深的网络的行为，使得它们的梯度在网络的层中传播时爆炸：内核在初始化时是随机的，在这种情况下在训练过程中会发生显着变化，这与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK状态，但随着深度的增加而变得不可训练。我们还描述了一个框架来研究DNN的泛化特性，特别是网络输出函数的方差，通过NTK理论，并讨论其局限性。
2022-02-01 cs.LG stat.ML
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能学院）
本文提出适用于任意宽度、深度和拓扑的神经网络的新型核模型与精确表示理论，涵盖全局RKBS模型、局部LiNK模型及LeNK表示理论，并证明NTK为LiNK的一阶近似，为网络训练提供理论洞察。
2024-05-24 cs.AI cs.LG stat.ML
Learning with Hierarchical Gaussian Kernels
Universität Stuttgart（斯图加特大学）；Bosch Healthcare Solutions（博世医疗解决方案）
我们研究了高斯核加权和的迭代组合，并提供了一种解释，显示出与深度神经网络架构的一些相似之处。在理论方面，我们表明，这些内核是普遍的，支持向量机使用这些内核是普遍一致的。我们进一步描述了一种用于内核参数的参数优化方法，并将该方法与SVM、随机森林、多内核学习方法和一些深度神经网络进行了经验比较。
2016-12-02 cs.LG stat.ML
Low-Rank Embedding of Kernels in Convolutional Neural Networks under Random Shuffling
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所高级智能项目中心（AIP））；Guangdong University of Technology（广东工业大学）
虽然卷积神经网络（CNN）近年来已广泛应用于各种图像处理和计算机视觉任务，但如何在资源有限的平台上降低参数的存储成本仍然是一个具有挑战性的问题。在以前的研究中，张量分解（TD）通过将卷积层的内核嵌入到低秩子空间中来实现有希望的压缩性能。然而，TD的使用是在内核或其指定的变体上天真地使用。与传统的方法不同，本文表明，内核可以嵌入到更一般的，甚至是随机的低秩子空间。我们通过使用CIFAR-10的标准分类任务通过随机混洗张量分解（RsTD）压缩卷积层来证明这一点。此外，我们分析了训练数据的空间相似性如何影响核的低秩结构。实验结果表明，即使核被随机混洗，CNN也可以被显著压缩。此外，RsTD为基础的方法产生更稳定的分类精度比传统的TD为基础的方法在大范围的压缩比。
2018-10-31 cs.LG stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
A Kernel Perspective for Regularizing Deep Neural Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们提出了一种新的观点，通过使用再生核希尔伯特空间（RKHS）的范数来正则化深度神经网络。尽管这个范数不能计算，但它允许导致各种实际策略的上下近似。具体来说，这种观点（i）为许多现有的正则化原则提供了一个共同的保护伞，包括谱范数和梯度惩罚，或对抗性训练，（ii）导致新的有效正则化惩罚，（iii）建议结合下界和上界的混合策略，以获得更好的RKHS范数近似。我们的实验表明，这种方法在小数据集上学习时是有效的，或者可以获得对抗性强的模型。
2019-05-13 cs.LG stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS
Simons Institute for the Theory of Computing, University of California, Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
证明了当深度神经切线核和Laplace核都被限制在球面$\mathbb{S}^{d-1}$上时，它们的再生核Hilbert空间（RKHS）包含相同的函数集.此外，我们证明了指数幂核具有较小的权力（使内核不太顺利）导致一个较大的RKHS，当它被限制在球体$\mathbb{S}^{d-1}$，当它被定义在整个$\mathbb{R}^d$。
2021-03-18 cs.LG math.ST stat.ML
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Learning Neuron Non-Linearities with Kernel-Based Deep Neural Networks
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）
深度神经架构的有效性在实验和基础原则方面都得到了广泛的支持。还有明确的证据表明，激活函数（例如整流器和LSTM单元）在学习的复杂性中起着至关重要的作用。基于这一点，本文讨论了神经元非线性的最佳选择的功能框架，灵感来自经典的正则化参数。结果表明，最好的激活函数是由一个内核扩展的训练集，可以有效地近似在一个合适的一组点建模1-D集群。这个想法可以很自然地扩展到递归网络，其中基于内核的激活函数的表达能力是捕获长期依赖关系的关键因素。我们通过一系列具有挑战性的实验来证明这一特性，并将结果与基于最先进LSTM细胞的神经架构进行比较。
2018-10-05 cs.LG stat.ML
Fusarium Damaged Kernels Detection Using Transfer Learning on Deep Neural Network Architecture
Brazilian Agricultural Research Corporation (Embrapa)（巴西农业研究公司（Embrapa））；University of Passo Fundo (UPF)（帕苏丰杜大学（UPF））
目前的工作展示了迁移学习在预先训练的深度神经网络（DNN）中的应用，使用单个工作站上的小型图像数据集（$\approx$ 12，000），启用NVIDIA GPU卡，需要长达1小时才能完成训练任务并实现$94.7\%$的总体平均精度。DNN呈现外部测试数据集的误分类的$20\%$分数。所提出的方法的准确性相当于使用HSI方法$(81\%-91\%)$用于相同的任务，但具有独立于专用设备的优势，以分类小麦籽粒的FHB症状。
2018-01-31 cs.LG stat.ML
Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程学部）；Faculty of Science and Engineering, Waseda University（早稻田大学理工学部）；Faculty of Information Sciences, Hiroshima City University（广岛城大学信息科学学部）；Joint Graduate School of Math for Innovation, Kyushu University（九州大学创新数学研究生院）；The University of Electro-Communications（电子通信大学）
本文研究随机隐藏权重两层 ReLU 网络的 Fisher 信息矩阵与 NTK，揭示二者的线性变换关系，给出 NTK 谱分解、主要特征函数形式及网络函数的近似公式。
2025-07-25 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
Kernel-based Translations of Convolutional Networks
University of Washington（华盛顿大学）
卷积神经网络与大多数人工神经网络一样，通常被认为是与基于核的方法有本质区别的方法。我们提供了一个系统的翻译卷积神经网络（ConvNets）到他们的核心为基础的同行，卷积核网络（CKN），并证明这种看法是没有根据的正式和经验。我们表明，给定一个卷积神经网络，我们可以设计一个相应的卷积核网络，很容易使用一个新的随机梯度算法训练的基础上，一个准确的梯度计算，其性能与卷积神经网络同行。我们提出了实验结果，支持我们的索赔的里程碑ConvNet架构比较每个ConvNet的CKN对应在几个参数设置。
2019-03-19 cs.LG math.OC stat.ML
Kantorovich--Kernel Neural Operators: Approximation Theory, Asymptotics, and Neural Network Interpretation
Illinois Wesleyan University（伊利诺伊卫斯理大学）
本文研究多元Kantorovich核神经网络算子，证明多项逼近理论结果，分析深度复合算子的偏微分方程极限，并探讨其与经典正算子的联系。
2026-03-27 cs.LG math.FA stat.ML
