Do Kernel and Neural Embeddings Help in Training and Generalization?
Chalmers University of Technology（查尔姆斯理工大学）
神经网络的优化和泛化性能的最新研究结果表明，在一个简单的两层网络中，标签与相应的Gram矩阵的特征向量的对齐决定了训练过程中优化的收敛性。这样的分析也提供了上界的泛化误差。我们通过实验研究了这些结果对嵌入更深层次网络的影响。我们认为最后隐藏层之前的层产生输入数据的不同表示，然后将其馈送到两层模型。我们表明，这些表示提高优化和泛化。特别是，我们调查三个内核表示时，馈送到最后的隐藏层：高斯内核和它的近似随机傅立叶特征，内核设计模仿表示产生的神经网络，最后一个最佳内核设计对齐的数据与目标标签。由这些内核引起的近似表示被馈送到神经网络，并对最终模型的优化和泛化性能进行评估和比较。
2023-02-02 cs.AI cs.LG stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
A Statistical Difference between Single-Layer Learning and Hierarchical Learning in Wide Neural Networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
研究宽神经网络中单层与分层学习的差异，通过研究三层有限但大量隐藏单元的神经网络，发现训练输入到隐藏层权重泛化误差更小，且固定权重设置在参数空间有奇异性，揭示奇异性在宽神经网络中有重要作用。
2026-07-28 cs.LG math.ST stat.ML
Kernel Methods and Multi-layer Perceptrons Learn Linear Models in High Dimensions
Halıcıoğlu Data Science Institute, UCSD（加州大学圣迭戈分校哈利西奥卢数据科学研究所）；Department of Electrical and Computer Engineering, NYU（纽约大学电气与计算机工程系）；Department of Electrical and Computer Engineering, UCLA（加州大学洛杉矶分校电气与计算机工程系）；Department of Statistics, UCLA（加州大学洛杉矶分校统计系）
高维现象的经验观察，如双下降行为，吸引了很多的兴趣，在理解经典技术，如核方法，以及它们的含义，解释泛化性能的神经网络。许多最近的作品分析这样的模型在一定的高维制度，协变量是独立的，样本的数量和协变量的数量以固定的比例增长（即比例渐近）。在这项工作中，我们表明，对于一个大类的内核，包括全连接网络的神经正切内核，核方法只能执行以及线性模型在这个政权。更令人惊讶的是，当数据是由输入和响应之间的关系可能是非常非线性的核模型生成时，我们证明了线性模型实际上是最优的，即线性模型在所有线性或非线性模型中实现了最小风险。这些结果表明，高维分析需要更复杂的模型，而不是独立的功能的数据。
2022-01-20 cs.LG stat.ML
Multi-Layer Kernel Machines: Fast and Optimal Nonparametric Regression with Uncertainty Quantification
本文提出多层核机器框架，通过多层结构和随机特征近似核岭回归，在保持极小极大最优性的同时将计算时间降至$O(n^2\log^2 n)$，并利用共形预测实现不确定性量化。
2024-03-14 stat.ME
Feature Understanding and Sparsity Enhancement via 2-Layered kernel machines (2L-FUSE)
本文提出基于两层核机器学习形状矩阵以增强回归稀疏性，通过特征分解识别关键方向，在合成及地磁暴数据上实现不损性能的最小特征集。
2025-09-09 astro-ph.SR cs.NA math.NA
Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints
KU Leuven（鲁汶大学）
我们介绍了Constr-DRKM，一个深度内核方法的无监督学习解开数据表示。我们建议通过对潜在变量的正交约束来增强用于核PCA的原始深度限制核机公式，以促进解纠缠，并使其能够在不首先定义稳定目标的情况下进行优化。在说明了一个端到端的训练过程的基础上，二次惩罚优化算法与热启动，我们定量评估所提出的方法的有效性，在解开特征学习。我们证明了四个基准数据集，这种方法执行类似的整体$β$ -VAE的一些解纠缠指标时，很少的训练点是可用的，而不太敏感的随机性和超参数选择比$β$ -VAE。我们还提出了一个确定性的初始化Constr-DRKM的训练算法，显着提高了结果的再现性。最后，我们经验性地评估和讨论了所提出的方法中层数的作用，检查了每一层中每个主成分的影响，并表明较低层中的组件作为局部特征检测器捕获数据分布的广泛趋势，而更深层中的组件使用前一层学习的表示，更准确地再现更高级别的特征。
2020-11-25 cs.LG stat.ML
Stacked Kernel Network
Beihang University（北京航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）
核方法是捕捉数据背后的非线性模式的强大工具。它们隐式地学习再生核希尔伯特空间（RKHS）中的高维（甚至无限）非线性特征，同时通过利用核技巧使计算易于处理。经典的核方法学习单层非线性特征，其表示能力可能是有限的。受最近深度神经网络（DNN）学习多层分层表示的成功的启发，我们提出了一种堆叠核网络（SKN），它学习基于RKHS的非线性特征的层次结构。SKN交织了几层非线性变换（从线性空间到RKHS）和线性变换（从RKHS到线性空间）。与DNN类似，SKN由多层隐藏单元组成，但每个隐藏单元由RKHS函数而不是有限维向量参数化。我们提出了三种在SKN中表示RKHS函数的方法：（1）非参数表示，（2）参数表示和（3）随机傅立叶特征表示。此外，我们扩展SKN到CNN架构称为堆叠核卷积网络（SKCN）。SKCN通过卷积运算学习基于RKHS的非线性特征的层次结构，每个滤波器也由RKHS函数而不是CNN中的有限维矩阵参数化，这适用于图像输入。在不同数据集上的实验证明了SKN和SKCN的有效性，优于竞争对手的方法。
2017-11-25 cs.CV cs.LG stat.ML
Linearized two-layers neural networks in high dimension
Stanford University（斯坦福大学）
我们考虑学习一个未知的功能$f_{\star}$的$d$维球体上的平方损失，给定独立同分布的问题。采样$\{(y_i,{\boldsymbol x}_i)\}_{i\le n}$和$y_i=f_{\star}({\boldsymbol x}_i)+\varepsilon_i$，其中${\boldsymbol x}_i$是均匀分布在球体上的特征向量。我们研究了两类流行的模型，它们可以被视为两层神经网络围绕随机初始化的线性化：Rahimi-Recht（RF）的随机特征模型; Jacot-Gabriel-Hongler（NT）的神经切线核模型。这两种方法也可以被视为随机近似的内核岭回归（相对于不同的内核），并享有普遍的近似性能时，神经元$N$发散，为一个固定的尺寸$d$。我们考虑两个具体的制度：近似限制制度，其中$n=\infty$，而$d$和$N$是大的，但有限的;和样本量有限的制度，其中$N=\infty$，而$d$和$n$是大的，但有限的。在第一个制度中，我们证明，如果$d^{\ell + δ} \le N\le d^{\ell+1-δ}$小$δ> 0$，那么\RF \，有效地适合度$\ell$多项式的原始功能，和\NT \，适合度$(\ell+1)$多项式。在第二种情况下，RF和NT都简化为具有旋转不变核的核方法。我们证明了，如果样本的数量是$d^{\ell + δ} \le n…
2020-02-17 cs.LG math.ST stat.TH
Fast learning rate of deep learning via a kernel perspective
The University of Tokyo（东京大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；RIKEN（理化学研究所）
我们开发了一个新的理论框架来分析深度学习的泛化误差，并推导出两个代表性算法的新的快速学习率：经验风险最小化和贝叶斯深度学习。深度学习的一系列理论分析揭示了它的高表达能力和普适逼近能力。虽然这些分析是高度非参数，现有的泛化误差分析主要是在一个固定的尺寸参数模型。为了弥补这一差距，我们开发了一个无限维的模型，该模型是基于一个整体的形式进行分析的通用近似能力。这允许我们定义一个再生核希尔伯特空间对应于每一层。我们的观点是将普通的有限维深度神经网络视为无限维深度神经网络的有限近似。逼近误差由每层再生核希尔伯特空间的自由度来评价。为了估计一个好的有限维模型，我们考虑了经验风险最小化和贝叶斯深度学习。我们推导出了它的推广误差界，并证明了有限维近似的参数个数存在偏差-方差权衡。我们表明，最佳的内部层的宽度可以确定通过自由度和收敛速度可以比$O(1/\sqrt{n})$速度，这已在现有的研究中所示。
2017-05-29 cs.LG math.ST stat.ML
Consistency of Interpolation with Laplace Kernels is a High-Dimensional Phenomenon
MIT（麻省理工学院 (MIT)）
证明了当输入维数为常数时，对应于Laplace核的再生核Hilbert空间中的最小范数插值是不相容的。下限适用于任何内核带宽选择，即使是基于数据选择的。结果支持了经验观察，即RKHS中的最小范数插值（即精确拟合训练数据）适用于某些高维数据集，但不适用于低维数据集。
2018-12-28 cs.LG math.ST stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods
Inria（法国国家信息与自动化技术研究所）；PSL Research University（巴黎萨克雷大学）
提出通过正则化经验风险最小化进行特征学习的新方法BKerNN，结合核方法与神经网络，理论证明其风险收敛速率，实验显示其优于核岭回归且媲美单隐藏层神经网络。
2025-04-30 cs.LG stat.ML
Deep Kernel Learning via Random Fourier Features
Shanghai Jiao Tong University（上海交通大学）
核学习方法是最有效的学习方法之一，在过去的几十年里得到了广泛的研究。然而，当处理复杂的任务，经典的核方法是不够灵活或“丰富”的描述数据，因此不能产生令人满意的性能。在本文中，通过随机傅立叶特征（RFF），我们成功地将深度架构融入到内核学习中，这显着提高了内核机器的灵活性和丰富性，同时保持了内核处理小数据的优势。使用RFF，我们可以建立一个深层结构，并使RFF层中的每个内核都可以端到端地训练。由于具有不同分布的RFF可以表示不同的内核，因此我们的模型能够为每一层找到合适的内核，这比传统的基于内核的方法更加灵活，其中内核是预先选择的。这一事实也有助于在架构中产生更复杂的内核级联连接。在小数据集（小于1000个样本）上，由于过度拟合，深度学习通常不适合，与高级内核方法相比，我们的方法具有更好的性能。在大规模数据集上，包括非图像和图像分类任务，我们的方法也具有竞争力的性能。
2019-10-07 cs.LG stat.ML
Information Plane Analysis of Deep Neural Networks via Matrix-Based Renyi's Entropy and Tensor Kernels
UiT The Arctic University of Norway（挪威北极大学）；University of Florida（佛罗里达大学）
最近，通过信息平面（IP）理论分析深度神经网络（DNN）作为深入了解其泛化能力的工具获得了极大的关注。然而，如何估计每个隐藏层与输入/期望输出之间的互信息（MI）以构造IP并不明显。例如，具有许多神经元的隐藏层需要对与这些层相关联的高维具有鲁棒性的MI估计器。MI估计器还应该能够自然地处理卷积层，同时在计算上易于扩展到大型网络。到目前为止，现有的IP方法都无法研究真正深度的卷积神经网络（CNN），例如\ VGG-16在本文中，我们提出了一种IP分析，使用新的基于矩阵的Rényi熵与卷积层上的张量核相结合，利用核方法的能力来表示独立于数据维度的概率分布的属性。所获得的结果为以前关于小规模DNN的文献提供了新的启发，但是使用了一种全新的方法。重要的是，新框架使我们能够提供对当代大型DNN和CNN的第一次全面的IP分析，研究不同的训练阶段，并为大型神经网络的训练动态提供新的见解。
2019-09-25 cs.LG stat.ML
Approximation and Learning with Deep Convolutional Models: a Kernel Perspective
New York University（纽约大学）
深度卷积网络在涉及图像或音频等高维数据的任务上的经验成功表明，它们可以有效地近似某些非常适合此类任务的函数。在本文中，我们通过核方法的镜头来研究这一点，通过考虑具有两个或三个卷积和池化层的简单分层核，受到卷积核网络的启发。这些在标准视觉数据集上实现了良好的经验性能，同时提供了对其功能空间的精确描述，从而对其归纳偏差产生了新的见解。我们表明，RKHS由补丁之间的相互作用项的添加剂模型，其规范鼓励这些条款之间的空间相似性，通过池层。然后，我们提供了泛化界，说明如何池化和补丁产生改进的样本复杂性保证时，目标函数提出这样的假设。
2022-03-18 cs.LG stat.ML
Exchangeability and Kernel Invariance in Trained MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
在机器学习模型的分析中，假设参数是IID通常是方便的。当通过诸如SGD的训练过程更新参数时，不满足该假设。IID条件的放松是一种概率对称，称为交换对称。我们显示的意义上，在MLP的权重是可交换的。这产生的结果是，在某些情况下，全连接层的逐层内核在训练期间保持近似恒定。我们确定了一个急剧变化的宏观行为的网络权重之间的协方差从零开始变化。
2018-10-27 cs.LG stat.ML
Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations
ETH Zürich（苏黎世联邦理工学院）
该研究提出核序列演化的理论框架，证明非线性激活的深度神经网络中核序列全局收敛到唯一不动点，拓展至残差与归一化层网络也成立，为理解深度网络隐式偏差及架构对表征演化的影响提供新见解。
2024-10-29 cs.AI cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Learning with convolution and pooling operations in kernel methods
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
最近的实证研究表明，受卷积神经网络（CNN）启发的分层卷积核可以显著提高图像分类任务中核方法的性能。对它们成功的一个广泛接受的解释是，这些架构编码了适合自然图像的假设类。然而，理解卷积架构中近似和泛化之间的精确相互作用仍然是一个挑战。在本文中，我们考虑的协变量（图像像素）均匀分布在超立方体上的程式化设置，并准确地描述了由单层卷积，池化和下采样操作组成的内核的RKHS。我们使用这个特征来计算尖锐的渐近的推广误差为任何给定的功能在高维。特别是，我们量化了通过卷积操作强制局部性和平均池化近似平移不变性带来的样本复杂度增益。值得注意的是，这些结果提供了卷积和池化操作如何在一层卷积核中权衡近似与泛化能力的精确描述。
2022-06-02 cs.LG stat.ML
What Can ResNet Learn Efficiently, Going Beyond Kernels?
Microsoft Research AI（微软研究院人工智能部门）；Stanford University（斯坦福大学）
ResNet等神经网络如何有效地学习CIFAR-10，测试准确率超过96%，而其他方法，特别是内核方法相对落后？我们能否为这一差距提供更多的理论依据？最近，有一个有影响力的工作线将神经网络与过参数化机制中的内核联系起来，证明它们可以学习某些概念类，这些概念类也可以由具有类似测试错误的内核学习。然而，神经网络能证明比内核更好地学习某些概念类吗？我们在免费分发的环境中对此做出了积极的回答。我们证明了神经网络可以有效地学习一类著名的函数，包括那些由三层残差网络定义的光滑激活，没有任何分布假设。同时，我们证明了这类函数中存在简单函数，使得在相同数量的训练样本下，神经网络获得的测试误差可以比任何核方法小得多，包括神经切线核（NTK）。主要的直觉是，多层神经网络可以使用不同的层隐式地执行分层学习，这与“一次性”学习算法（例如核方法）相比降低了样本复杂度。在后续工作[2]中，这种分层学习理论得到了进一步加强，以便在训练深度网络时纳入“向后特征校正”过程。最后，我们还证明了ResNet相对于其他学习方法（包括线性回归）在任意特征映射上的计算复杂度优势。
2020-06-01 cs.DS cs.LG cs.NE
Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis
IIT Kanpur（印度理工学院坎普尔分校）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
谱分析是一个强大的工具，它可以将任何函数分解成更简单的部分。在机器学习中，默瑟定理推广了这一思想，为任何核和输入分布提供了频率递增函数的自然基础。最近，一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中，我们分析了深层神经网络的逐层谱偏置，并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明，初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。
2022-01-07 cs.LG stat.ML
Learning Hierarchical Feature Space Using CLAss-specific Subspace Multiple Kernel -- Metric Learning for Classification
过去十年来，分类的度量学习得到了深入研究。其思想是学习一个度量空间，该度量空间是从赋范向量空间中导出的，在该赋范向量空间上，来自不同类别的数据被很好地分离。因此，不同的分离度量导致度量学习模型中目标函数的各种设计。一个经典的度量是Mahalanobis距离，其中设计线性变换矩阵并将其应用于原始数据集以获得配备有欧几里德范数的新子空间。内核化版本也已经开发出来，随后是多内核学习模型。在本文中，我们认为度量学习是在相应的度量空间中识别关于高类可分性的最佳核函数。贡献是双重的：1）不需要像在大多数度量学习技术中那样的成对计算; 2）使用CLAs特定（多个）核度量学习（CLAS（M）K-ML）来实现更好的灵活性和更低的计算复杂性。所提出的技术可以被认为是任何核方法或核近似技术的预处理步骤。还提出了一个扩展的分层学习结构，以进一步提高分类性能，其中在每一层上，CLASMK计算的基础上选择的“边缘”子集和特征向量的构建，通过连接的功能，从所有以前的层。
2019-10-21 cs.LG stat.ML
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks
MPI-MIS（马克斯·普朗克数学研究所）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；UCLA（加州大学洛杉矶分校）
最近的一系列工作已经通过神经切线核（NTK）分析了深度神经网络的理论特性。特别是，NTK的最小特征值与记忆能力，梯度下降算法的全局收敛性和深度网络的推广有关。然而，现有的结果要么在两层设置提供界限，或假设的NTK矩阵的频谱有界远离0的多层网络。在本文中，我们为深度ReLU网的NTK矩阵的最小特征值提供了严格的界限，无论是在无限宽度的极限情况下还是有限宽度的情况下。在有限宽度设置中，我们考虑的网络架构相当普遍：我们需要存在一个宽层，大约有$N$神经元的数量级，$N$是数据样本的数量;其余层宽度的缩放是任意的（直到对数因子）。为了获得我们的结果，我们分析了各种数量的独立利益：我们给出的最小奇异值的隐藏特征矩阵的下界，和输入输出特征映射的Lipschitz常数的上界。
2022-08-21 cs.LG stat.ML
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
University of California, Berkeley（加州大学伯克利分校）
当客户端具有不同的数据分布时，最先进的联邦学习方法的性能可能比集中式方法差得多。对于神经网络，即使当集中式SGD很容易找到对所有客户端同时执行的解决方案时，当前的联合优化方法也无法收敛到可比较的解决方案。我们发现，这种性能差异在很大程度上可以归因于非凸性带来的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的特征，但最终层未能利用它们。也就是说，应用于这个非凸问题的联邦优化扭曲了最终层的学习。利用这一观察，我们提出了一个训练-凸化-训练（TCT）过程来回避这个问题：首先，使用现成的方法学习特征（例如，FedAvg）;然后，优化从网络的经验神经切线核近似获得的凸化问题。当客户端具有不同的数据时，我们的技术在FMNIST上产生了高达+36%的准确性改进，在CIFAR 10上产生了+37%的准确性改进。
2022-10-05 cs.DC cs.LG math.OC
Grassmannian Packings in Neural Networks: Learning with Maximal Subspace Packings for Diversity and Anti-Sparsity
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；UnifyID AI Labs（UnifyID人工智能实验室）
在CNN内核中通常观察到内核稀疏性（“垂死的ReLU”）和缺乏多样性，这降低了模型容量。从信息论和无线通信中汲取灵感，我们通过CNN中的格拉斯曼子空间填充问题展示了编码理论和深度学习的交叉。我们提出了Grassmannian包装的初始内核层被初始化最大程度地远离弦或Fubini学习距离的基础上。用格拉斯曼填充初始化的卷积核表现出不同的特征，并得到不同的表示。我们发现，格拉斯曼包装，特别是在初始层中，解决了内核稀疏性并鼓励多样性，同时提高了浅层和深层CNN的分类精度，具有更好的收敛速度。
2019-11-18 cs.IT cs.LG math.IT
End-to-end Kernel Learning via Generative Random Fourier Features
Shanghai Jiao Tong University（上海交通大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出一种端到端核学习框架，利用生成式随机傅里叶特征网络与线性分类器联合训练，替代传统两阶段方法，在真实分类任务中取得更优泛化性能并增强对抗鲁棒性。
2024-01-16 cs.LG stat.ML
A Class of Random-Kernel Network Models
Mathematical Reviews（数学评论）
本研究提出由确定性核组合构建深度、仅最外层含随机性的随机核网络，证明其在样本复杂度上优于浅层模型，建立了深度分离定理。
2025-09-01 cs.LG cs.NA math.FA
On the Generalization Power of the Overfitted Three-Layer Neural Tangent Kernel Model
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
本文研究了过参数化三层NTK模型的推广性能。我们表明，对于一组特定的地面真值函数（我们称之为“可学习集”），过拟合的3层NTK的测试误差的上限是一个表达式，随着两个隐藏层的神经元数量的减少。与仅存在一个隐藏层的2层NTK不同，3层NTK涉及两个隐藏层之间的相互作用。我们的上限表明，在两个隐藏层之间，测试误差相对于第二隐藏层（更接近输出的一个）中的神经元数量下降得更快，而不是相对于第一隐藏层（更接近输入的一个）。我们还表明，无偏置的3层NTK模型的可学习集不小于神经元中有各种偏置选择的2层NTK模型的可学习集。然而，在实际的推广性能方面，我们的研究结果表明，3层NTK比2层NTK对偏差的选择要不敏感得多，特别是当输入维数很大时。
2022-06-04 cs.LG math.ST stat.ML
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Graph-Embedded Multi-layer Kernel Extreme Learning Machine for One-class Classification or (Graph-Embedded Multi-layer Kernel Ridge Regression for One-class Classification)
Indian Institute of Technology Indore（印度理工学院印多尔分校）
大脑可以通过只使用正常样本来检测异常值。类似地，单类分类（OCC）也仅使用正常样本来训练模型，并且经训练的模型可用于离群值检测。在本文中，OCC的多层架构提出了堆叠各种图形嵌入核岭回归（KRR）为基础的自动编码器在一个层次的方式。这些自动编码器在两种类型的图形嵌入下制定，即基于局部和全局方差的嵌入。这个图形嵌入探索样本和自动编码器的多层之间的关系，将输入特征投影到新的特征空间中。该架构的最后一层是基于图嵌入回归的单类分类器。自动编码器使用无监督学习方法，最后一层使用半监督（仅通过正样本进行训练并获得封闭形式的解决方案）学习方法。该方法在21个公开的基准数据集上进行了实验评估。实验结果验证了所提出的单类分类器的有效性超过11个现有的最先进的基于核的单类分类器。弗里德曼测试也进行了验证的统计显着性的索赔的优越性，建议的一类分类器比现有的国家的最先进的方法。本文利用两种图嵌入方法，提出了4种基于图嵌入多层KRR的单类分类器变体。所有4种变体在本文讨论的各种标准方面都比现有的一类分类器表现得更好。因此，它可以是OCC任务的可行替代方案。在未来，各种其他类型的自动编码器可以在所提出的架构中进行探索。
2019-04-13 cs.LG stat.ML
Multi-layer Kernel Ridge Regression for One-class Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在本文中，多层架构（在一个层次的方式）通过堆叠各种核岭回归（KRR）为一类分类的自动编码器，被称为MKOC。MKOC有多层自动编码器将输入特征投影到新的特征空间，最后一层是基于回归的单类分类器。自动编码器使用无监督的学习方法，最后一层使用半监督（仅由正样本训练）的学习方法。建议的MKOC实验评估15个公开的基准数据集。实验结果验证了所提出的方法的有效性超过现有的11个国家的最先进的基于核的一类分类器。弗里德曼测试也进行了验证的统计显着性的索赔的优越性，建议的一类分类器比现有的国家的最先进的方法。
2018-06-01 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks
Yale University（耶鲁大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Statistics and Data Science（统计与数据科学系）；Department of Mathematics（数学系）
研究了多层前向神经网络的共轭核和神经切核的特征值分布。在一个渐近制度，网络宽度线性增加的样本量，随机初始化的权重，并为输入样本满足近似成对正交的概念，我们表明，CK和NTK的特征值分布收敛到确定性的限制。CK的限制是通过在隐藏层上迭代Marcenko-Pastur映射来描述的。NTK的极限等价于CK矩阵跨层的线性组合的极限，并且可以通过扩展该Marcenko-Pastur映射的递归定点方程来描述。我们证明了这些渐近预测与合成和CIFAR-10训练数据的观测光谱的一致性，并且我们进行了一个小的模拟来研究这些光谱在训练过程中的演变。
2020-10-10 cs.LG math.PR math.ST
Deep Multiple Kernel Learning
University of Pittsburgh（匹兹堡大学）
深度学习方法主要应用于大型人工神经网络。尽管这些大型网络具有最先进的性能，但通常不能很好地推广到样本量有限的数据集。在本文中，我们通过学习多层内核来采取不同的方法。我们在每层组合内核，然后对支持向量机留一误差的估计进行优化，而不是对双目标函数进行优化。我们在各种数据集上的实验表明，每一层都可以连续地提高性能，而只需要几个基本内核。
2013-10-11 cs.LG stat.ML
Deep Layer-wise Networks Have Closed-Form Weights
目前，神经科学界对大脑执行反向传播（BP）的可能性存在争议。为了更好地模拟大脑，已经提出了一种仅使用“单次向前传递”来训练网络\textit{one layer at a time}的方法，作为绕过BP的替代方案;我们将这些网络称为“逐层”网络。我们通过回答两个悬而未决的问题来继续分层网络的工作。第一，$\textit{do they have a closed-form solution?}$第二，$\textit{how do we know when to stop adding more layers?}$这项工作证明了核均值嵌入是实现网络全局最优的封闭形式权重，同时驱动这些网络收敛到一个高度理想的分类核;我们称之为$\textit{Neural Indicator Kernel}$。
2022-02-07 cs.LG math.ST stat.ML
Improving Sample Efficiency with Normalized RBF Kernels
University of Hildesheim（希尔德斯海姆大学）
在深度学习模型中，用更少的数据学习更多变得越来越重要。本文探讨了如何训练具有归一化径向基函数（RBF）核的神经网络以获得更好的样本效率。此外，我们展示了这种输出层如何找到嵌入空间，其中类是紧凑的和良好分离的。为了实现这一点，我们提出了一个两阶段的方法来训练这些类型的神经网络分类任务。在CIFAR-10和CIFAR-100上的实验表明，与SoftMax输出层网络相比，采用归一化核作为输出层的网络具有更高的样本效率、更高的紧致度和更好的可分性。
2020-07-31 cs.LG stat.ML
Deep regularization and direct training of the inner layers of Neural Networks with Kernel Flows
Caltech（加州理工学院）
提出了一种基于核流的人工神经网络正则化方法。KFs被引入作为回归/克里金法中的核选择方法，其基础是将随机批次数据集中的插值点数量减半所导致的准确性损失最小化。编写用于ANN的组成结构的函数表示的$f_θ(x) = \big(f^{(n)}_{θ_n}\circ f^{(n-1)}_{θ_{n-1}} \circ \dots \circ f^{(1)}_{θ_1}\big)(x)$，内层输出$h^{(i)}(x) = \big(f^{(i)}_{θ_i}\circ f^{(i-1)}_{θ_{i-1}} \circ \dots \circ f^{(1)}_{θ_1}\big)(x)$定义特征图和内核$k^{(i)}(x,x')=\exp(- γ_i \|h^{(i)}(x)-h^{(i)}(x')\|_2^2)$的层次结构。当与一批数据集组合时，这些内核产生KF损失$e_2^{(i)}$（通过使用随机的一半批次来预测另一半批次而产生的$L^2$回归误差），这取决于内层$θ_1,\ldots,θ_i$（和$γ_i$）的参数。所提出的方法简单地包括在聚合这些KF损失的一个子集与一个经典的输出损失。我们在CNN和WRN上测试了所提出的方法，而没有改变结构或输出分类器，并报告减少了测试错误，减少了泛化差距，并增加了对分布偏移的鲁棒性，而不会显着增加计算复杂性。我们怀疑这些结果可能是由这样一个…
2020-08-07 cs.LG stat.ML
AutoQ: Automated Kernel-Wise Neural Network Quantization
Indiana University Bloomington（印第安纳大学伯明顿分校）
网络量化是能够在低功耗移动设备上部署卷积神经网络（CNN）的最硬件友好的技术之一。最近的网络量化技术独立地对卷积层中的每个权重核进行加权以获得更高的推理精度，因为层中的权重核表现出不同的方差，因此具有不同的冗余量。量化比特数（QBN）直接决定推理精度、延迟、能量和硬件开销。为了有效地减少冗余并加速CNN推理，应该使用不同的QBN量化各种权重核。然而，现有的工作仅使用一个QBN来对每个卷积层或整个CNN进行卷积，因为为每个权重核搜索QBN的设计空间太大。手工制作的启发式内核明智的QBN搜索是如此复杂，领域专家只能获得次优的结果。即使是基于深度强化学习（DRL）和深度确定性策略梯度（DDPG）的代理也很难找到可以实现合理推理精度的基于内核的QBN配置。在本文中，我们提出了一种基于分层DRL的核网络量化技术，AutoQ，自动搜索每个权重核的QBN，并为每个激活层选择另一个QBN。与现有的基于DRL的量化模型相比，AutoQ量化的模型平均推理延迟降低了54.06%，推理能耗降低了50.69%，而推理准确率基本相同.
2020-02-07 cs.LG stat.ML
Deep Kernel Posterior Learning under Infinite Variance Prior Weights
Aalto University（阿尔托大学）；Purdue University（普渡大学）
针对深度核过程缺乏随机性导致无法进行表示学习的问题，提出在无限宽度且权重具有无限方差椭圆分布的贝叶斯深度网络中，通过条件高斯表示实现具有α-稳定边缘分布的随机核递归链接，从而支持后验学习并在计算与统计上优于现有方法。
2025-05-02 cs.LG stat.ML
Kernel Dependence Network
Northeastern University（东北大学）；University College London（伦敦大学学院）
我们提出了一种贪婪策略来频谱训练深度网络进行多类分类。每一层都被定义为一个线性权重的组合，高斯核的特征图作为激活函数。在每一层，通过使用希尔伯特施密特独立准则（HSIC）最大化层输出和标签之间的依赖性来学习线性权重。通过限制Stiefel流形上的解空间，我们演示了如何在频谱上解决我们的网络结构（内核依赖网络或KNet），同时利用特征值自动找到网络的宽度和深度。我们在理论上保证了全局最优解的存在，同时提供了对我们网络泛化能力的深入了解。
2020-11-09 cs.LG stat.ML
Deep Layer-wise Networks Have Closed-Form Weights
Northeastern University（东北大学）；University College London（伦敦大学学院）
目前，神经科学界对大脑执行反向传播（BP）的可能性存在争议。为了更好地模拟大脑，已经提出了一种仅使用“单次向前传递”来训练网络$\textit{one layer at a time}$的方法，作为绕过BP的替代方案;我们将这些网络称为“逐层”网络。我们通过回答两个悬而未决的问题来继续分层网络的工作。首先，$\textit{do they have a closed-form solution?}$其次，$\textit{how do we know when to stop adding more layers?}$这项工作证明了内核均值嵌入是实现网络全局最优的封闭形式权重，同时驱动这些网络收敛到一个高度理想的内核进行分类;我们称之为$\textit{Neural Indicator Kernel}$。
2022-02-09 cs.LG stat.ML
Kernel Quantization for Efficient Network Compression
Columbia University（哥伦比亚大学）；Peking University（北京大学）；Deepwise AI Lab（深度智耀人工智能实验室）；The University of Hong Kong（香港大学）
本文提出了一种新的网络压缩框架核量化（KQ），旨在有效地将任何预训练的全精度卷积神经网络（CNN）模型转换为低精度版本，而不会造成显着的性能损失。与现有的方法与重量位长度的斗争，KQ有潜力提高压缩比，通过考虑卷积核作为量化单元。受权重剪枝到滤波器剪枝的演变的启发，我们提出了在核和权重两个层次上进行剪枝。我们不是用低位索引来表示每个权重参数，而是学习一个内核码本，并用相应的低位索引替换卷积层中的所有内核。因此，KQ可以用低比特索引和具有有限大小的核码本来表示卷积层中的权重张量，这使得KQ能够实现显著的压缩比。然后，我们进行一个6位的参数量化的核心码本，以进一步减少冗余。在ImageNet分类任务上进行的大量实验证明，KQ在VGG和ResNet18中平均分别需要1.05和1.62位来表示卷积层中的每个参数，并在几乎没有精度损失的情况下实现了最先进的压缩比。
2020-03-11 cs.LG stat.ML
A Frobenius norm regularization method for convolutional kernels to avoid unstable gradient problem
China University of Geosciences（中国地质大学）
卷积神经网络是深度学习的一个非常重要的模型。在训练过程中，如果层的雅可比矩阵的奇异值围绕$1$有界，可以避免梯度爆炸/消失问题，提高神经网络的泛化能力。我们提出了一个新的惩罚函数的卷积核，让相应的变换矩阵的奇异值是有界的$1$。我们展示了如何进行梯度型方法。惩罚是关于对应于卷积核的结构化变换矩阵。这提供了一种关于卷积层权重的新正则化方法。
2019-07-25 cs.LG stat.ML
Post Training in Deep Learning with Last Kernel
CMLA, ENS Paris-Saclay, CNRS（巴黎萨克雷高等师范学校数学及其应用中心，法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
深度学习方法的主要挑战之一是选择合适的训练策略。特别是，额外的步骤，如无监督的预训练，已被证明可以大大提高深层结构的性能。在本文中，我们提出了一个额外的训练步骤，称为后训练，它只优化网络的最后一层。我们表明，这个过程可以分析的内核理论的背景下，第一层计算嵌入的数据和最后一层的统计模型，以解决这个嵌入的基础上的任务。这一步确保数据的嵌入或表示以最佳方式用于所考虑的任务。然后在具有各种数据集的多个架构上测试这个想法，表明它始终提供性能提升。
2017-10-31 cs.LG stat.ML
Enhanced Convolutional Neural Tangent Kernels
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute for Advanced Study（高等研究院）
最近的研究表明，对于具有$\ell_2$损失的训练，如果仅训练最后一层，则宽度（卷积层中的通道数）变为无穷大的卷积神经网络（CNN）对应于关于CNN高斯过程核（CNN-GP）的回归，并且如果训练所有层，则对应于关于卷积神经切线核（CNTK）的回归。计算CNTK的精确算法（Arora等人，2019）得出的发现是，CNTK在CIFAR-10上的分类准确度在相应CNN架构的分类准确度的6-7%以内（最佳数字约为78%），这对于固定内核来说是有趣的性能。在这里，我们展示了如何使用两个想法显着提高这些内核的性能。(1)使用称为局部平均池化（Local Average Pooling，简称EVM）的新操作修改内核，该操作保留了内核的高效可计算性，并继承了使用像素移位的标准数据增强的精神。由于核回归的二次训练成本，早期的论文无法结合朴素数据增强。这个想法的灵感来自于全局平均池（GAP），我们为CNN-GP和CNTK证明了它相当于完全翻译数据增强。(2)使用Coates等人（2011）提出的预处理技术表示输入图像，该技术使用由随机图像补丁组成的单个卷积层。在CIFAR-10上，所得到的内核，具有反向和水平翻转数据增强的CNN-GP，实现了89%的准确度，与AlexNet的性能相匹配（Krizhevsky等人，2012年）。请注意，这是我们所知道的最好的分类器结果，它不是一个经过训练的神经网络。对于…
2019-11-03 cs.CV cs.LG cs.NE
Kernels and Submodels of Deep Belief Networks
研究了随机分层网络中表示为可见边缘分布的分解概率分布的混合。我们从分布的核转换的角度出发，给出了深度信念网络（DBN）和其他没有横向连接的网络的分布式表示的统一画面。我们描述的组合和几何性质的一组内核和产品的内核可实现的DBN的网络参数的变化。我们描述了明确的类概率分布，包括指数族，可以学习的DBN。我们使用这些子模型来限制DBN的最大和预期Kullback-Leibler近似误差，这取决于它们包含的隐藏层和单元的数量。
2012-11-05 stat.ML
Invariance of Weight Distributions in Rectified MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
分析神经网络的一个有趣的方法是研究神经网络的等价核，这一方法重新受到关注。这是基于这样的事实，即具有一个隐藏层、一定的权重分布、激活函数和无限数量的神经元的全连接前馈网络可以被视为到希尔伯特空间的映射。对于所有旋转不变的权重分布，我们推导出具有ReLU或Leaky ReLU激活的MLP的等效内核，推广了之前需要高斯权重分布的结果。此外，中心极限定理被用来表明，对于某些激活函数，内核对应的层具有$0$平均值和有限的绝对三阶矩的重量分布是渐近普遍的，以及近似的内核对应的层与球形高斯权重。在深度网络中，随着深度的增加，等效内核接近病态不动点，这可以用来解释为什么训练随机初始化的网络会很困难。我们的研究结果也有影响的权重初始化。
2018-06-01 cs.LG stat.ML
Deep Convolutional Networks as shallow Gaussian Processes
University of Cambridge（剑桥大学）
我们证明了在无限多个卷积滤波器的限制下，具有适当先验的（残差）卷积神经网络（CNN）的输出是一个高斯过程（GP），扩展了密集网络的类似结果。对于一个CNN，等价的核可以被精确地计算出来，并且与"深度核"不同，它的参数非常少：只有原始CNN的超参数。此外，我们表明，这个内核有两个属性，使它能够有效地计算;评估一对图像的内核的成本类似于通过原始CNN的单次前向传递，每层只有一个过滤器。相当于32层ResNet的内核在MNIST上获得了0.84%的分类错误，这是具有可比数量参数的GP的新记录。
2019-05-05 cs.LG stat.ML
Low-Rank Embedding of Kernels in Convolutional Neural Networks under Random Shuffling
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所高级智能项目中心（AIP））；Guangdong University of Technology（广东工业大学）
虽然卷积神经网络（CNN）近年来已广泛应用于各种图像处理和计算机视觉任务，但如何在资源有限的平台上降低参数的存储成本仍然是一个具有挑战性的问题。在以前的研究中，张量分解（TD）通过将卷积层的内核嵌入到低秩子空间中来实现有希望的压缩性能。然而，TD的使用是在内核或其指定的变体上天真地使用。与传统的方法不同，本文表明，内核可以嵌入到更一般的，甚至是随机的低秩子空间。我们通过使用CIFAR-10的标准分类任务通过随机混洗张量分解（RsTD）压缩卷积层来证明这一点。此外，我们分析了训练数据的空间相似性如何影响核的低秩结构。实验结果表明，即使核被随机混洗，CNN也可以被显著压缩。此外，RsTD为基础的方法产生更稳定的分类精度比传统的TD为基础的方法在大范围的压缩比。
2018-10-31 cs.LG stat.ML
Generalized Dilation Neural Networks
South-Westphalia University of Applied Science（西南威斯特伐利亚应用科学大学）
已知普通卷积神经网络不仅在图像识别任务中而且在自然语言处理和时间序列分析中提供优异的性能。卷积层的优势之一是能够使用各种参数化卷积核来学习输入域中空间关系的特征。然而，在时间序列分析中，这种空间关系的学习不一定是必需的，也不是有效的。在这种情况下，推荐对时间依赖性进行建模的内核或具有更宽空间分辨率的内核，以用于更有效的训练，如膨胀内核所提出的。然而，膨胀必须是先验固定的，这限制了内核的灵活性。我们提出了广义扩张网络，它在两个方面推广了初始扩张。首先，我们为膨胀层推导出一个端到端的可学习架构，其中也可以学习膨胀率。其次，我们打破了严格的膨胀结构，因为我们开发了在输入空间中独立操作的内核。
2019-05-08 cs.LG stat.ML
Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程学部）；Faculty of Science and Engineering, Waseda University（早稻田大学理工学部）；Faculty of Information Sciences, Hiroshima City University（广岛城大学信息科学学部）；Joint Graduate School of Math for Innovation, Kyushu University（九州大学创新数学研究生院）；The University of Electro-Communications（电子通信大学）
本文研究随机隐藏权重两层 ReLU 网络的 Fisher 信息矩阵与 NTK，揭示二者的线性变换关系，给出 NTK 谱分解、主要特征函数形式及网络函数的近似公式。
2025-07-25 cs.LG stat.ML
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
