On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
Deep Neural-Kernel Machines
Maastricht University（马斯特里赫特大学）
在本章中，我们回顾了与深度神经内核架构的最新进展相关的主要文献，这种方法寻求两种强大的模型之间的协同作用，即基于内核的模型和人工神经网络。引入的深度神经内核框架由神经网络架构和内核机器的混合组成。更准确地说，对于内核对应的模型是基于最小二乘支持向量机与显式特征映射。在这里，我们讨论使用一种形式的显式特征映射获得的随机傅立叶特征。由于这种显式的特征映射，一方面桥接两种架构变得更加简单，另一方面可以在原始中找到相关优化问题的解决方案，从而使模型可扩展到大规模数据集。我们首先介绍一个神经内核架构，它作为配备不同池化层的更深层模型的核心模块。特别是，我们回顾了三个神经内核机器的平均，最大输出和卷积池层。在平均池化层中，对先前表示层的输出进行平均。maxout层触发不同输入表示之间的竞争，并允许在同一模型中形成多个子网络。卷积池化层降低了多尺度输出表示的维度。与神经核模型、基于核的模型和经典神经网络结构进行了比较，并在多个基准数据集上进行了数值实验，验证了所引入模型的有效性。
2020-07-19 cs.LG stat.ML
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains
本文提出确定定义在一般域上的大规模核函数特征值衰减率的方法，分析了宽神经网络的最小最大最优性及过拟合问题。
2026-04-07 cs.LG stat.ML
Neural Networks as Kernel Learners: The Silent Alignment Effect
Harvard University（哈佛大学）
懒惰训练机制中的神经网络收敛到内核机器。在富特征学习机制中的神经网络能学习具有数据依赖内核的内核机器吗？我们证明，这确实可以发生，由于一种现象，我们长期沉默的对齐，这需要一个网络的切线内核的特征结构的演变，而小，之前的损失明显减少，并增长，只有在整体规模之后。我们表明，这样的效果发生在同质神经网络与小的初始化和白化数据。我们提供了一个线性网络的情况下，这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段会产生一个低秩的贡献，然后在整体规模上发展，产生一个函数，相当于最终网络的切线内核的内核回归解决方案。内核的早期谱学习取决于深度。我们还证明了非白化数据可以削弱沉默对齐效应。
2021-12-02 cs.LG stat.ML
Kernel Neural Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Artificial Intelligence Research Institute（人工智能研究所）
我们研究了神经最优运输（NOT）算法，该算法使用一般的最优运输公式，并学习随机运输计划。我们表明，不与弱二次成本可能会学习假计划，这是不是最佳的。为了解决这个问题，我们引入核弱二次成本。我们表明，它们提供了改进的理论保证和实际性能。我们在未配对的图像到图像翻译任务上测试了不使用内核成本。
2023-03-01 cs.LG stat.ML
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最先进的神经网络严重过度参数化，使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明，在一定的过参数化制度下，梯度下降的学习动力学由初始化时获得的某个内核（称为神经正切内核）控制。我们通过分析这个核和相应的函数空间（RKHS）来研究在这样的制度下学习的归纳偏差。特别是，我们研究了具有有限范数的函数的平滑性，近似性和稳定性，包括卷积网络情况下图像变形的稳定性，并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
Multi-Kernel Fusion for RBF Neural Networks
The University of Western Australia（西澳大利亚大学）；Karachi Institute of Economics and Technology（卡拉奇经济与技术学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
径向基函数神经网络（RBFNN）是一种简单而有效的结构设计，使其成为最流行的传统神经网络之一。当前一代的径向基函数神经网络配备有多个内核，与仅使用单个内核的上一代相比，其提供了显著的性能优势。在现有的多核RBF算法中，多核是由基核/主核的凸组合形成的。在本文中，我们提出了一种新的多核RBFNN，其中每个基本内核有自己的（本地）的权重。网络中的这种新颖的灵活性提供了更好的性能，例如更快的收敛速度，更好的局部最小值和对陷入局部最小值的弹性。这些性能增益是在一个有竞争力的计算复杂性相比，当代的多核RBF算法。所提出的算法进行了彻底的性能增益分析，使用数学和图形的说明，也评估了三种不同类型的问题，即：（i）模式分类，（ii）系统辨识和（iii）函数逼近。实验结果清楚地表明，该算法的优越性相比，现有的国家的最先进的多核方法。
2020-07-06 cs.LG stat.ML
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能学院）
本文提出适用于任意宽度、深度和拓扑的神经网络的新型核模型与精确表示理论，涵盖全局RKBS模型、局部LiNK模型及LeNK表示理论，并证明NTK为LiNK的一阶近似，为网络训练提供理论洞察。
2024-05-24 cs.AI cs.LG stat.ML
Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective
the University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文利用双时间尺度极限与核视角分析两层神经网络的平均场动力学，证明其全局收敛及离散误差，并揭示其可学习数据依赖核、优于固定核方法。
2024-04-07 cs.LG stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Framing RNN as a kernel method: A neural ODE approach
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
在将递归神经网络（RNN）解释为连续时间神经微分方程的基础上，我们证明了在适当的条件下，RNN的解可以被视为输入序列的特定特征集（称为签名）的线性函数。这种连接允许我们将RNN框架为合适的再生核希尔伯特空间中的核方法。因此，我们获得了理论保证的推广和稳定性的一大类经常性网络。我们的研究结果在模拟数据集上进行了说明。
2021-10-29 cs.LG stat.ML
Uniform Generalization Bounds for Overparameterized Neural Networks
MediaTek Research（联发科研究）
在人工神经网络中的一个有趣的观察是它们的有利的泛化误差，尽管通常是非常过度参数化的。经典的统计学习方法在过参数化神经网络的情况下往往会导致空洞的泛化误差。采用最近发展起来的神经切核理论，证明了当真实数据生成模型属于与神经切核相对应的再生核Hilbert空间时，过参数化神经网络在核域中的一致推广界.重要的是，我们的边界捕获精确的出错率取决于激活函数的可微性。为了建立这些界限，我们提出了NT内核的信息增益作为衡量学习问题的复杂性。我们的分析使用了Mercer分解的NT内核的球谐函数和相应的特征值的衰减率的基础上。作为我们的结果的副产品，我们证明了对应于NT内核的RKHS与对应于Matérn内核家族的RKHS之间的等价性，表明NT内核诱导了一类非常一般的模型。我们进一步讨论了我们的分析的影响，最近的一些结果的遗憾界强化学习和强盗算法，它使用过参数化神经网络。
2021-10-11 cs.LG stat.ML
Kernel Machines Beat Deep Neural Networks on Mask-based Single-channel Speech Enhancement
The Ohio State University（俄亥俄州立大学）
本文提出了一种快速核方法用于基于掩码的单通道语音增强。具体来说，我们的方法解决了一个核回归问题与非光滑核函数（指数幂核）与高效的迭代法（EigenPro）。由于该方法简单，其超参数，如核带宽可以自动和有效地选择使用线搜索的训练数据的子样本。我们观察到的回归损失（均方误差）和语音增强的常规指标之间的经验相关性。这一观察结果证明了我们的训练目标是正确的，并激励我们通过训练每个频率子带的独立核模型来实现更低的回归损失。我们将我们的方法与基于掩模的HINT和TIMIT的最先进的深度神经网络进行了比较。实验结果表明，我们的核方法始终优于深度神经网络，同时需要更少的训练时间。
2018-11-06 cs.LG cs.SD eess.AS
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Neural-Kernelized Conditional Density Estimation
NAIST（奈良先端科学技术大学院大学）；UCL（伦敦大学学院）；Univ. Helsinki（赫尔辛基大学）
条件密度估计是解决机器学习中各种问题的通用框架。在现有的方法中，非参数和/或基于核的方法通常难以用于大型数据集，而基于神经网络的方法通常对概率密度进行限制性的参数假设。在这里，我们提出了一种新的方法来估计基于得分匹配的条件密度。与现有的方法相比，我们采用可扩展的神经网络，但不做明确的参数假设密度。将分数匹配应用于神经网络的关键挑战是计算对数密度模型的一阶和二阶导数。我们通过开发一种新的神经核化方法来解决这一挑战，该方法可以应用于具有随机梯度下降的大型数据集，而再生核允许轻松计算分数匹配所需的导数。我们证明了神经核函数逼近器具有通用的逼近能力，并且我们的方法在条件密度估计中是一致的。数值结果表明，我们的方法是有用的高维条件密度估计，并与现有的方法相比毫不逊色。最后，我们证明了所提出的方法有有趣的连接到两个概率原则框架的表示学习：非线性充分降维和非线性独立成分分析。
2018-06-05 cs.LG stat.ML
Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）
我们从高斯过程和统计物理的理论方法推导出作为训练样本数量的函数的核回归的泛化性能的解析表达式。我们的表达式适用于广泛的神经网络，由于它们的训练和核回归与神经切线核（NTK）之间的等价性。通过计算由于内核的不同谱分量的总的泛化误差的分解，我们确定了一个新的谱原则：随着训练集的大小的增长，内核机器和神经网络适合连续更高的谱模式的目标函数。当数据从高维超球面上的均匀分布中采样时，包括NTK在内的点积核表现出学习阶段，其中学习目标函数的不同频率模式。我们用合成数据和MNIST数据集验证了我们的理论。
2021-02-25 cs.LG stat.ML
A Novel Adaptive Kernel for the RBF Neural Networks
Iqra University（伊克拉大学）；The University of Western Australia（西澳大学）
提出了一种新的径向基函数（RBF）神经网络自适应核函数。建议的内核自适应融合的欧几里得和余弦距离的措施，利用两者的往复性质。所提出的框架使用梯度下降法动态地适应参与内核的权重，从而减轻了对预定权重的需求。所提出的方法优于人工融合的内核估计，即非线性系统识别，模式分类和函数逼近的三个主要问题。
2019-05-09 cs.CV cs.LG math.OC
Random Features for the Neural Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）
神经切线核（NTK）发现了深度神经网络和核方法之间的联系，具有优化和泛化的见解。受此启发，最近的研究报告称，与在小规模数据集上训练神经网络相比，NTK可以实现更好的性能。然而，由于核方法的计算限制，在大规模设置下的结果几乎没有研究。在这项工作中，我们提出了一种全连接ReLU网络NTK的有效特征映射构造，使我们能够将其应用于大规模数据集。我们将反余弦核的随机特征与基于草图的算法相结合，该算法可以相对于数据点的数量和输入尺寸线性运行。我们表明，所得到的功能的尺寸是远远小于其他基线特征图的建设，以实现可比的误差范围在理论和实践中。此外，我们利用杠杆得分为基础的采样的反余弦随机特征的改进的界限，并证明了所提出的特征映射到两层神经网络的NTK矩阵的谱近似保证。我们对各种机器学习任务进行基准测试，以证明所提出的方案的优越性。特别是，我们的算法可以运行几十个数量级的速度比精确的内核方法大规模的设置没有性能损失。
2021-04-03 cs.LG stat.ML
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Fast Neural Kernel Embeddings for General Activations
Yale University（耶鲁大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
无限宽度限制通过在神经网络和核方法之间建立联系，为深度学习的泛化和优化方面提供了启示。尽管它们很重要，但由于它们的（超）二次运行时间和内存复杂性，这些内核方法的实用性在大规模学习设置中受到限制。此外，大多数关于神经内核的先前工作都集中在ReLU激活上，这主要是由于其受欢迎程度，但也是由于难以计算用于一般激活的此类内核。在这项工作中，我们通过提供与一般激活一起工作的方法来克服这些困难。首先，我们编译和扩展的激活函数的列表，承认确切的双重激活表达式计算神经内核。当精确的计算是未知的，我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法，该方法可以近似任何多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，用于广泛的激活函数，超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球，我们的方法不受这样的限制，并适用于任何数据集的点在$\mathbb{R}^d$。此外，我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸，适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上，相对于精确卷积NTK（CNTK）计算，我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
Do Kernel and Neural Embeddings Help in Training and Generalization?
Chalmers University of Technology（查尔姆斯理工大学）
神经网络的优化和泛化性能的最新研究结果表明，在一个简单的两层网络中，标签与相应的Gram矩阵的特征向量的对齐决定了训练过程中优化的收敛性。这样的分析也提供了上界的泛化误差。我们通过实验研究了这些结果对嵌入更深层次网络的影响。我们认为最后隐藏层之前的层产生输入数据的不同表示，然后将其馈送到两层模型。我们表明，这些表示提高优化和泛化。特别是，我们调查三个内核表示时，馈送到最后的隐藏层：高斯内核和它的近似随机傅立叶特征，内核设计模仿表示产生的神经网络，最后一个最佳内核设计对齐的数据与目标标签。由这些内核引起的近似表示被馈送到神经网络，并对最终模型的优化和泛化性能进行评估和比较。
2023-02-02 cs.AI cs.LG stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
On regularization for a convolutional kernel in neural networks
China University of Geosciences（中国地质大学）；University of Kentucky（肯塔基大学）
卷积神经网络是深度学习中的一种重要模型。为了避免梯度爆炸/消失问题并且为了提高神经网络的可推广性，期望具有几乎保持范数的卷积运算，或者具有对应于围绕$1$定界的卷积核的变换矩阵的奇异值。我们提出了一个惩罚函数，可以用于卷积神经网络的优化，以约束周围的$1$的变换矩阵的奇异值。我们推导出一种算法来根据卷积核对该罚函数进行梯度下降最小化。数值算例验证了该方法的有效性。
2019-06-21 cs.LG cs.NA math.NA
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
Adaptive kernel predictors from feature-learning infinite limits of neural networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学校）；Center for Brain Sciences（脑科学中心）；Kempner Institute（凯普纳研究所）
本文证明在特征学习无穷宽度机制下训练的神经网络可由数据相关核的核机器描述，推导出两种核预测器，并在基准数据集上实现更低的测试损失。
2025-09-10 cond-mat.dis-nn cs.LG stat.ML
A Kernel-Expanded Stochastic Neural Network
Purdue University（普渡大学）
深度神经网络受到机器学习中许多基本问题的困扰。例如，它在训练中经常陷入局部极小值，并且其预测不确定性难以评估。为了解决这些问题，我们提出了所谓的核扩展随机神经网络（K-StoNet）模型，它采用支持向量回归（SVR）作为第一个隐藏层，并重新制定的神经网络作为一个潜在的变量模型。前者通过径向基函数（RBF）核将输入向量映射到无限维特征空间，确保其训练损失表面上没有局部极小值。后者将高维非凸神经网络训练问题分解为一系列低维凸优化问题，使其预测不确定性易于评估。K-StoNet可以使用估算正则化优化（IRO）算法轻松训练。与传统的深度神经网络相比，K-StoNet具有渐近收敛到全局最优值的理论保证，并且可以轻松评估预测的不确定性。仿真和实际数据的例子说明了新模型的训练，预测和不确定性量化的性能。
2022-01-14 cs.LG stat.ML
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?
神经切线核（NTK）理论被广泛用于研究梯度下降下无限宽深度神经网络（DNN）的动力学行为。但无限宽网络的结果是否能为我们提供有关真实有限宽网络行为的提示呢？在本文中，我们实证研究了NTK理论在全连接ReLU和sigmoid DNN实践中的有效性。我们发现，网络是否处于NTK状态取决于随机初始化的超参数和网络的深度。特别是，NTK理论没有解释初始化足够深的网络的行为，使得它们的梯度在网络的层中传播时爆炸：内核在初始化时是随机的，在这种情况下在训练过程中会发生显着变化，这与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK状态，但随着深度的增加而变得不可训练。我们还描述了一个框架来研究DNN的泛化特性，特别是网络输出函数的方差，通过NTK理论，并讨论其局限性。
2022-02-01 cs.LG stat.ML
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
在初始化时，人工神经网络（ANN）等价于无限宽度限制下的高斯过程，从而将它们连接到核方法。我们证明了人工神经网络在训练过程中的演变也可以描述的内核：在梯度下降的人工神经网络的参数，网络功能$f_θ$（将输入向量映射到输出向量）遵循内核梯度的功能成本（这是凸的，在对比参数成本）w.r.t.一个新的内核：神经切线核（NTK）。该核是描述人工神经网络泛化特征的核心。虽然NTK在初始化时是随机的，并且在训练过程中变化，但在无限宽度限制下，它收敛到一个显式限制核，并且在训练过程中保持不变。这使得在函数空间而不是参数空间中研究人工神经网络的训练成为可能。然后，训练的收敛性可以与限制NTK的正定性相关。证明了当数据支撑在球面上且非线性为非多项式时，极限NTK的正定性。然后，我们专注于最小二乘回归的设置，并表明在无限宽的限制，网络函数$f_θ$遵循线性微分方程在训练过程中。相对于NTK，沿着输入数据的最大核主成分的收敛是最快的，因此提出了提前停止的理论动机。最后，我们研究了NTK数值，观察其行为的宽网络，并将其与无限宽的限制。
2020-02-10 cs.LG cs.NE math.PR
Learning with Hierarchical Gaussian Kernels
Universität Stuttgart（斯图加特大学）；Bosch Healthcare Solutions（博世医疗解决方案）
我们研究了高斯核加权和的迭代组合，并提供了一种解释，显示出与深度神经网络架构的一些相似之处。在理论方面，我们表明，这些内核是普遍的，支持向量机使用这些内核是普遍一致的。我们进一步描述了一种用于内核参数的参数优化方法，并将该方法与SVM、随机森林、多内核学习方法和一些深度神经网络进行了经验比较。
2016-12-02 cs.LG stat.ML
Kernel-Based Approaches for Sequence Modeling: Connections to Neural Methods
Duke University（杜克大学）
我们研究时间依赖的数据分析的角度来看，经常性的内核机器，从隐藏单元和门控记忆细胞的模型自然出现。通过考虑记忆单元的动态选通，导出了与长短期记忆（LSTM）递归神经网络密切相关的模型。将此设置扩展到$n$ -gram滤波器，卷积神经网络（CNN）、门控CNN和循环加性网络（RAN）也被恢复为特殊情况。我们的分析为LSTM提供了一个新的视角，同时也将其扩展到$n$ -gram卷积滤波器。实验是在自然语言处理任务和局部场电位分析（神经科学）上进行的。我们证明了我们从内核中获得的变体与传统的神经方法相当甚至更好。对于神经科学应用，新模型相对于现有技术水平表现出显着的改进。
2019-10-09 cs.LG cs.NE stat.ML
A Kernel Perspective for Regularizing Deep Neural Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们提出了一种新的观点，通过使用再生核希尔伯特空间（RKHS）的范数来正则化深度神经网络。尽管这个范数不能计算，但它允许导致各种实际策略的上下近似。具体来说，这种观点（i）为许多现有的正则化原则提供了一个共同的保护伞，包括谱范数和梯度惩罚，或对抗性训练，（ii）导致新的有效正则化惩罚，（iii）建议结合下界和上界的混合策略，以获得更好的RKHS范数近似。我们的实验表明，这种方法在小数据集上学习时是有效的，或者可以获得对抗性强的模型。
2019-05-13 cs.LG stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Vector-Valued Reproducing Kernel Banach Spaces for Neural Networks and Operators
Mathematics of Imaging & AI, Department of Applied Mathematics, University of Twente（图像与人工智能数学、应用数学系、特文特大学）
研究神经网络背后函数空间，提出向量值再生核巴拿赫空间伴随对概念，扩展核定义，证明浅度\(\mathbb{R}^d\)值神经网络及神经算子模型属于积分vv - RKBS，并建立表示定理，揭示函数空间优化与神经架构的关系。
2026-07-27 cs.AI cs.LG math.FA
Learning with Neural Tangent Kernels in Near Input Sparsity Time
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经切线核（NTK）通过梯度下降来表征在最小二乘损失下训练的无限宽神经网络的行为。然而，尽管它的重要性，内核方法的超二次运行时间限制了NTK在大规模学习任务中的使用。为了用NTK加速核机器，我们提出了一种近输入稀疏时间算法，该算法将输入数据映射到随机化的低维特征空间，使得变换后的数据的内积近似于其NTK评估。我们的变换通过绘制反余弦核的多项式展开来工作。此外，我们提出了一个特征映射来近似NTK的卷积对应物，它可以使用仅在像素数量上呈线性的运行时来变换任何图像。我们表明，在标准的大规模回归和分类任务中，在我们的特征上训练的线性回归器优于训练的神经网络和NTK内核的Nystrom近似。
2021-07-27 cs.AI cs.DS cs.LG
FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis
Peking University（北京大学）；Princeton University（普林斯顿大学）；The University of Washington（华盛顿大学）
联邦学习（FL）是一种新兴的学习方案，它允许不同的分布式客户端在没有数据共享的情况下一起训练深度神经网络。神经网络由于其前所未有的成功而变得流行。据我们所知，FL的理论保证神经网络与显式形式和多步更新尚未探索。然而，FL中神经网络的训练分析是不平凡的，原因有两个：第一，我们优化的目标损失函数是非光滑和非凸的，第二，我们甚至没有在梯度方向上更新。现有的基于梯度下降方法的收敛结果严重依赖于梯度方向用于更新的事实。本文提出了一类新的FL收敛分析，联邦学习神经切线核（FL-NTK），它对应于FL中通过梯度下降训练的过参数化ReLU神经网络，并受到神经切线核（NTK）分析的启发。理论上，FL-NTK收敛到一个全局最优解的线性速率与适当调整的学习参数。此外，通过适当的分布假设，FL-NTK也可以实现良好的推广。
2021-05-11 cs.DC cs.LG stat.ML
Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks
Department of Physics, Harvard University（哈佛大学物理系）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
超越训练数据集的泛化是机器学习的主要目标，但泛化的理论理解仍然是许多模型的一个开放问题。最近在深度神经网络中的观察加剧了对新理论的需求，其中过度参数化导致更好的性能，与经典统计学的传统智慧相矛盾。在本文中，我们研究了核回归的泛化误差，核回归除了是一种流行的机器学习方法外，还包括用梯度下降训练的无限过参数化神经网络。我们使用统计力学的技术，推导出适用于任何内核或数据分布的泛化误差的解析表达式。我们提出了我们的理论应用到真实和合成数据集，并为许多内核，包括那些从训练深度神经网络在无限宽的限制。我们阐明了一个归纳的核回归解释数据的偏见与“简单的功能”，这是确定通过解决核特征函数问题的数据分布。这种简单性的概念使我们能够表征内核是否与学习任务兼容，从而从少量训练示例中获得良好的泛化性能。我们发现，更多的数据可能会损害泛化时，噪音或不能表达的内核，导致非单调的学习曲线可能有许多峰值。为了进一步理解这些现象，我们转向广泛的旋转不变核，这与在无限宽度限制下训练深度神经网络有关，并在数据来自球对称分布且输入维数很大时对其进行详细的数学分析。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization
NTT Communication Science Laboratories（NTT通信科学实验室）
对于具有复杂结构的高维数据上的贝叶斯优化（BO），基于神经网络的高斯过程（GP）内核已被用于通过深度学习的高表示能力来学习灵活的代理函数。然而，现有的方法通过最大化边缘似然来训练神经网络，这并不直接改善BO性能。在本文中，我们提出了一个元学习方法BO与神经网络为基础的内核，最大限度地减少真正的最佳值和BO发现的最佳值之间的预期差距。我们建模的政策，这需要当前评估的数据点作为输入，并输出下一个数据点进行评估，由神经网络，其中神经网络为基础的内核，GP，和互信息为基础的采集功能作为其层。利用我们的模型，通过将间隙反向传播通过采集函数和GP，将基于神经网络的内核训练为适合于采集函数。我们的模型是由多个任务的强化学习框架训练的。由于神经网络在不同的任务之间共享，我们可以从多个训练任务中收集关于BO的知识，并将这些知识用于看不见的测试任务。在使用三个文本文档数据集的实验中，我们证明了所提出的方法比现有的方法实现了更好的BO性能。
2021-11-01 cs.AI cs.LG stat.ML
Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels
University of Maryland（马里兰大学）；Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学量子信息与计算机科学联合中心）；JPMorgan Chase & Co.（摩根大通公司）；Tsinghua University（清华大学）
量子神经网络（QNN）是一种参数化的映射，可以在近期噪声中尺度量子（NISQ）计算机上有效实现。当与经典的基于梯度的优化器相结合时，它可以用于监督学习。尽管现有的经验和理论研究，QNN训练的收敛性还没有完全理解。受神经正切核（NTK）在探索经典神经网络动力学方面的成功启发，最近的一系列工作提出通过检查正切核的量子版本来研究过参数化QNN。在这项工作中，我们研究了QNN的动力学，并表明与流行的观点相反，它与任何核回归都有质的不同：由于量子运算的酉性，在随机初始化时导出的正切核回归存在不可忽略的偏差。作为偏差的结果，我们证明了至多次线性收敛QNN与泡利测量，这是超出任何内核回归动力学的解释能力。然后，我们提出了实际的动力学QNN在过参数化的限制。新的动态捕捉到训练过程中收敛速度的变化，并意味着测量范围对QNN的快速收敛至关重要。
2023-03-26 cs.LG quant-ph
Learning a smooth kernel regularizer for convolutional neural networks
Center for Neural Science（神经科学中心）；New York University（纽约大学）；Department of Psychology and Center for Data Science（心理学系与数据科学中心）
现代深度神经网络需要大量的数据来进行训练，通常需要数百或数千个标记的示例来学习有效的表示。为了让这些网络能够处理更少的数据，必须在其架构中构建更多的结构，或者从以前的经验中学习。在用于对象识别的大型数据集上训练的卷积神经网络（CNN）的学习权重包含大量的结构。这些表征与初级视觉皮层中的简单细胞有相似之处，初级视觉皮层中的感受野是平滑的，包含许多微结构。在现代CNN架构的内核权重上增加平滑度约束是改善其样本复杂度的一种有前途的方法。我们提出了一个平滑的核正则化器，它鼓励卷积核权重中的空间相关性。这个正则化的相关参数是从以前的经验中学习的，产生一个分层贝叶斯解释的方法。我们表明，我们的相关正则化可以帮助约束模型的视觉识别，提高了L2正则化基线。
2019-03-05 cs.CV cs.LG stat.ML
Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed
Laboratoire de Physique de l’École Normale Supérieure（巴黎高等师范学院物理实验室）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；Sorbonne Paris Cité（巴黎索邦西岱大学）；EPFL（洛桑联邦理工学院）；International School of Advanced Studies (SISSA)（国际高等研究学院）
最近的一系列理论工作表明，具有一定初始化的神经网络的动力学很好地捕捉核方法。同时的实验工作表明，核方法可以接近神经网络的性能上的一些图像分类任务。这些结果提出了一个问题，即神经网络是否只有在内核也成功学习的情况下才能成功学习，尽管神经网络更具表达力。在这里，我们从理论上证明了只有几个隐藏神经元的两层神经网络（2LNN）可以在简单的高斯混合分类任务上击败核学习的性能。我们研究了样本数量与输入维度成线性比例的高维限制，并表明虽然小型2LNN在此任务上实现了接近最佳的性能，但惰性训练方法（如随机特征和核方法）却没有。我们的分析是基于一组封闭方程的推导，这些方程跟踪2LNN的学习动态，从而可以提取网络的渐近性能作为信噪比和其他超参数的函数。最后，我们说明了如何过度参数化的神经网络导致更快的收敛，但并没有提高其最终的性能。
2021-06-10 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Shallow Neural Hawkes: Non-parametric kernel estimation for Hawkes processes
Indian Institute of Science（印度科学学院）
多维Hawkes过程（MHP）是一类自激和互激的点过程，它的应用范围很广，从地震预测到高频交易中的订单模型。本文的主要贡献有两点：首先，我们为Hawkes过程的对数似然估计找到了一个无偏估计量，从而有效地利用随机梯度下降法进行极大似然估计。第二个贡献是，我们提出了一个特定的单隐层神经网络的MHP的底层内核的非参数估计。我们在合成数据集和真实数据集上对所提出的模型进行了评估，发现该方法具有与现有估计方法相当或更好的性能。浅层神经网络的使用确保了我们不会在Hawkes模型的可解释性上妥协，同时具有估计任何非标准Hawkes激发核的灵活性。
2020-06-03 cs.LG q-fin.TR stat.ML
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science（魏茨曼科学研究所）；Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题，提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹，实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Deep Networks are Reproducing Kernel Chains
University of Twente（特温特大学）
本文提出链式再生核 Banach 空间 cRKBS，通过组合核刻画深度网络，并证明其与有限数据集上深度神经网络的对应关系及每层至多 N 个神经元的稀疏 ERM 解。
2025-01-07 cs.LG math.FA stat.ML
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT（麻省理工学院）
经验风险最小化（ERM）在机器学习中无处不在，并且是大多数监督学习方法的基础。虽然已经有大量的工作，各种ERM问题的算法，确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题，包括内核支持向量机，内核岭回归，并训练神经网络的最后一层。特别是，我们给这些问题的复杂性理论假设的基础上，如强指数时间假设的条件硬度结果。在这些假设下，我们表明，有没有算法，解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失，这是主要的计算负担，在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Exemplar-based synthesis of geology using kernel discrepancies and generative neural networks
Heriot-Watt University（赫瑞-瓦特大学）
我们提出了一个框架，地质图像的合成的基础上，一个样本图像。我们合成新的实现，使实现和样本图像之间的补丁分布的差异最小化。这种差异是量化使用核方法的两个样本测试称为最大平均差异。为了实现快速合成，我们在离线阶段训练生成神经网络，以在部署期间有效地对实现进行采样，同时还提供合成过程的参数化。我们评估一个经典的二进制图像表示渠道地下油藏的框架，发现该方法再现的视觉模式和空间统计学（图像直方图和两点概率函数）的范例图像。
2018-09-21 cs.CV cs.LG stat.AP
What Can ResNet Learn Efficiently, Going Beyond Kernels?
Microsoft Research AI（微软研究院人工智能部门）；Stanford University（斯坦福大学）
ResNet等神经网络如何有效地学习CIFAR-10，测试准确率超过96%，而其他方法，特别是内核方法相对落后？我们能否为这一差距提供更多的理论依据？最近，有一个有影响力的工作线将神经网络与过参数化机制中的内核联系起来，证明它们可以学习某些概念类，这些概念类也可以由具有类似测试错误的内核学习。然而，神经网络能证明比内核更好地学习某些概念类吗？我们在免费分发的环境中对此做出了积极的回答。我们证明了神经网络可以有效地学习一类著名的函数，包括那些由三层残差网络定义的光滑激活，没有任何分布假设。同时，我们证明了这类函数中存在简单函数，使得在相同数量的训练样本下，神经网络获得的测试误差可以比任何核方法小得多，包括神经切线核（NTK）。主要的直觉是，多层神经网络可以使用不同的层隐式地执行分层学习，这与“一次性”学习算法（例如核方法）相比降低了样本复杂度。在后续工作[2]中，这种分层学习理论得到了进一步加强，以便在训练深度网络时纳入“向后特征校正”过程。最后，我们还证明了ResNet相对于其他学习方法（包括线性回归）在任意特征映射上的计算复杂度优势。
2020-06-01 cs.DS cs.LG cs.NE
Scaling Neural Tangent Kernels via Sketching and Random Features
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）；KAIST（韩国科学技术院）
神经切线核（NTK）通过梯度下降来表征在最小平方损失下训练的无限宽神经网络的行为。最近的工作还报告说，NTK回归可以优于在小规模数据集上训练的有限宽神经网络。然而，核方法的计算复杂性限制了其在大规模学习任务中的应用。为了加速NTK的学习，我们通过绘制反余弦内核的多项式展开，为NTK设计了一个近输入稀疏时间近似算法：我们的NTK卷积对应物（CNTK）草图可以使用像素数的线性运行时间来转换任何图像。此外，我们证明了NTK矩阵的谱近似保证，通过结合随机特征（基于杠杆分数采样）的反余弦内核与草图算法。我们在各种大规模回归和分类任务上对我们的方法进行了基准测试，并表明在我们的CNTK特征上训练的线性回归器与CIFAR-10数据集上精确CNTK的准确性相匹配，同时实现了150倍的加速。
2021-12-08 cs.CV cs.DS cs.LG
Expressibility-induced Concentration of Quantum Neural Tangent Kernels
Nankai University（南开大学）；Tsinghua University（清华大学）；Hefei National Laboratory（合肥国家实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
该研究揭示量子神经切线核的可表达性诱导集中特性，证明高可表达性量子编码会引发核值指数集中于零，局部损失下可部分缓解，为宽量子变分电路设计提供参考。
2023-11-08 cs.AI cs.LG quant-ph
Convergence analysis of wide shallow neural operators within the framework of Neural Tangent Kernel
Tsinghua University（清华大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对神经算子训练误差分析缺失的问题，本文在NTK框架下分析宽浅及物理信息浅神经算子的梯度下降收敛性，证明过参数化下连续与离散时间均可达到全局最小。
2025-01-10 cs.DS cs.LG math.OC
Neural Tangent Kernels for Complex Genetic Risk Prediction: Bridging Deep Learning and Kernel Methods in Genomics
针对遗传风险预测需兼顾非线性关系捕捉、可解释性与计算效率的需求，提出融合核方法与深度学习的NTK框架，经模拟和ADNI数据验证，其预测准确率优于传统方法，且具备可解释性与计算优势。
2025-10-01 stat.AP
An Empirical Analysis of the Laplace and Neural Tangent Kernels
本研究实证分析拉普拉斯核与神经正切核在实际中的等价性，通过精确匹配核及高斯过程后验，并在回归任务中验证，揭示两者在有限维空间的实用关联。
2025-10-08 cs.LG math.FA math.ST
