The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题，找到最好的插值从一类未知的超参数的内核，假设只有噪音是平方可积的。我们提供有限样本保证的问题，表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类（例如，平方指数内核与未知的长度尺度），我们的研究结果表明，超参数优化增加了样本的复杂性只有一个对数因子，在设置中，最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证，结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
On the Complexity of Learning with Kernels
Università degli Studi di Milano（米兰大学）；Microsoft Research（微软研究院）；Tel-Aviv University（特拉维夫大学）；Weizmann Institute of Science（魏茨曼科学研究所）
核学习的一个公认的局限性是需要处理核矩阵，其大小是训练样本数量的二次方。已经提出了许多方法来减少这种计算成本，主要是通过使用核矩阵项的子集，或某种形式的低秩矩阵近似，或随机投影方法。在本文中，我们研究的误差下限可通过这种方法作为一个功能的项目的数量在核矩阵或近似核矩阵的秩。我们发现，有内核学习问题，没有这样的方法将导致非平凡的计算节省。我们的研究结果还量化了问题的难度如何取决于参数，如损失函数的性质，正则化参数，期望的预测的范数，和核矩阵秩。我们的研究结果还表明，更有效的内核学习可能是可能的。
2014-11-05 cs.LG stat.ML
Kernel Selection is Model Selection: A Unified Complexity-Penalized Approach for MMD Two-Sample Tests
H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CP-MMD方法，通过将核选择建模为模型选择问题，统一处理MMD两样本检验中的复杂性惩罚，实现无网格的连续参数类最大化，提升检验效能并保证无条件I型错误率。
2026-05-07 cs.LG stat.ML
Distributed Tree Kernels
University of Rome Tor Vergata（罗马第二大学）
在本文中，我们提出了分布式树核（DTK）作为一种新的方法，以减少时间和空间复杂度的树核。使用线性复杂度算法计算树的向量，我们将树片段的特征空间嵌入到低维空间中，其中核计算直接用点积完成。我们发现DTK更快，与树内核相关，并在两个自然语言处理任务中获得统计相似的性能。
2012-06-18 cs.LG stat.ML
The Teaching Dimension of Kernel Perceptron
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Chicago（芝加哥大学）
本文研究了在线性设定条件下的数控机床示教问题，在线性设定条件下可以实现精确示教。然而，很少有人知道非线性学习者的教学。在这里，我们为不同特征映射家族的核化感知器建立了教学的样本复杂度，也就是教学维度。作为热身，我们表明，教学的复杂性是$Θ(d)$的精确教学的线性感知器在$\mathbb{R}^d$，和$Θ(d^k)$的内核感知器的阶为$k$的多项式内核。此外，在一定的光滑假设下的数据分布，我们建立了严格的约束的复杂性近似教学高斯核感知器。我们提供了一些典型的设置下的线性，多项式和高斯核感知器的最佳（近似）教学集的数值例子。
2021-02-24 cs.AI cs.LG
Linear Self-Attention Approximation via Trainable Feedforward Kernel
Czech Technical University in Prague（捷克布拉格技术大学）
为了追求更快的计算速度，高效的Transformers展示了令人印象深刻的各种方法-达到次二次注意力复杂度的模型可以利用稀疏性或输入的低秩近似来减少参与密钥的数量;其他降低复杂度的方法包括局部敏感散列，密钥池，额外的内存来存储压缩或与其他架构（如CNN）混合的信息。通常基于强大的数学基础，内核化方法允许线性复杂度近似注意力，同时保持高准确性。因此，在本文中，我们的目标是扩展可训练核方法的思想，以近似Transformer架构的自注意力机制。
2022-11-08 cs.AI cs.LG
Tight Kernel Query Complexity of Kernel Ridge Regression and Kernel $k$-means Clustering
Carnegie Mellon University（卡内基梅隆大学）
我们提出了严格的下界的核评估所需的数量近似解决内核岭回归（KRR）和内核$k$ -均值聚类（KKMC）的$n$输入点。对于KRR，我们的相对误差逼近目标函数的最小值的界是$Ω(nd_{\mathrm{eff}}^λ/\varepsilon)$，其中$d_{\mathrm{eff}}^λ$是有效的统计维数，它紧到$\log(d_{\mathrm{eff}}^λ/\varepsilon)$因子。对于KKMC，我们找到一个$k$ -聚类实现目标函数的相对误差近似的界限是$Ω(nk/\varepsilon)$，这是紧到一个$\log(k/\varepsilon)$因素。我们的KRR结果解决了El Alaoui和Mahoney的一个开放问题的变体，即有效统计维度是否是抽样复杂性的下限。此外，对于重要的实际情况下，当输入是高斯的混合，我们提供了一个KKMC算法绕过上述下限。
2019-05-15 cs.DS cs.LG
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT（麻省理工学院）
经验风险最小化（ERM）在机器学习中无处不在，并且是大多数监督学习方法的基础。虽然已经有大量的工作，各种ERM问题的算法，确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题，包括内核支持向量机，内核岭回归，并训练神经网络的最后一层。特别是，我们给这些问题的复杂性理论假设的基础上，如强指数时间假设的条件硬度结果。在这些假设下，我们表明，有没有算法，解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失，这是主要的计算负担，在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Optimality Implies Kernel Sum Classifiers are Statistically Efficient
Purdue University（普渡大学）
为了分析最优核和分类器的样本复杂度，我们提出了一种新的优化工具与学习理论界的组合。这与适用于所有（潜在次优）分类器的典型学习理论结果形成对比。我们的工作也证明了在以前的工作中对多内核学习的假设。作为我们分析的副产品，我们还提供了一种新形式的Rademacher复杂性的假设类只包含最佳分类。
2019-06-02 cs.LG stat.ML
Regularized Kernel Recursive Least Square Algoirthm
University of Florida（佛罗里达大学）
在大多数自适应信号处理应用中，假设系统线性，因此使用自适应线性滤波器。传统的监督自适应滤波器依赖于纠错学习的自适应能力。核方法是一种用于模式分析和统计信号处理的强有力的非参数建模工具。通过非线性映射，核方法将数据转换为再生核希尔伯特空间中的一组点。KRLS算法在稳态情况下具有较高的精度和较快的收敛速度。然而，良好的性能是以高计算复杂度为代价的。核方法中的稀疏化与较低的计算复杂性和内存消耗有关。
2015-08-28 cs.LG stat.ML
Nearly Optimal Algorithms with Sublinear Computational Complexity for Online Kernel Regression
Tianjin University（天津大学）
针对在线核回归中遗憾界与计算成本的权衡难题，提出AOGD-ALD和NONS-ALD两种算法，通过动态维护近正交基近似核映射，在次线性复杂度下实现两类近优遗憾界。
2023-06-14 cs.LG stat.ML
Optimal Time Complexity Algorithms for Computing General Random Walk Graph Kernels on Sparse Graphs
Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
提出首个线性时间复杂度随机算法，用于稀疏图上通用随机游走图核的无偏近似，比同类方法快27倍，可处理大128倍的图，支持带标签实例，实现高效隐式图核学习。
2026-08-27 cs.LG stat.ML
Super-Samples from Kernel Herding
Department of Computer Science（计算机科学系）；Yahoo! Research（雅虎研究院）；University of California, Irvine（加州大学欧文分校）
利用核技巧将羊群算法推广到连续空间。由此产生的“内核羊群”算法是一个无限内存的确定性过程，学习近似PDF与样本的集合。我们表明，核羊群减少的期望在希尔伯特空间中的函数的错误率O（1/T），这是比通常的O（1/pT）iid随机样本快得多。我们说明内核羊群近似贝叶斯预测分布。
2012-03-15 cs.LG stat.ML
Response to Promises and Pitfalls of Deep Kernel Learning
New York University（纽约大学）；UC San Diego（圣地亚哥大学）；Carnegie Mellon University（卡内基梅隆大学）；Meta；MBZUAI（马克斯·普朗克人工智能研究所）
本文反驳了深度核学习中边际似然分解的观点，指出重新参数化会引入新的数据拟合项，从而数据拟合与复杂度平衡仍主导核超参数选择。
2025-09-25 cs.LG stat.ML
Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels
Charles River Analytics（查尔斯河分析公司）
高斯过程是概率机器学习的强大模型，但其$O(N^3)$推理复杂性限制了其应用。我们提出了一种方法，用于导出具有紧凑空间支持的核函数的参数族，从而产生自然稀疏的核矩阵，并通过稀疏线性代数实现快速高斯过程推理。这些族推广了已知的紧支撑核函数，例如Wendland多项式。该核函数族的参数可以使用最大似然估计从数据中学习。或者，我们可以使用凸优化快速计算目标核的紧凑近似。我们证明了这些近似在对直接从目标GP提取的数据进行建模时，在精确模型上产生的误差最小，并且在现实世界的信号重建任务中可以优于传统的GP内核，同时表现出次二次推理复杂性。
2020-06-05 cs.LG stat.ML
Measuring Sample Quality with Kernels
Stanford University（斯坦福大学）；Microsoft Research New England（微软新英格兰研究院）
近似马尔可夫链蒙特卡罗（MCMC）提供了更快速的采样的承诺，在更有偏见的推理的代价。由于标准的MCMC诊断无法检测到这些偏差，研究人员开发了可计算的Stein差异度量，可证明确定样本向其目标分布的收敛。最近，这种方法与再生核的理论相结合，定义了一个封闭形式的内核斯坦差异（KSD）可计算的内核评估跨对的样本点。我们开发了一个理论的弱收敛的KSD的斯坦的方法的基础上，证明了常用的KSD无法检测到非收敛，即使是高斯目标，并表明核缓慢衰减的尾巴证明确定收敛的一大类目标分布。由此产生的收敛确定KSD是适合于比较偏置的，准确的，和确定性的样本序列和更简单的计算和并行化比替代斯坦差异。我们使用我们的工具来比较有偏的采样器，选择采样器超参数，并改善现有的KSD方法的单样本假设检验和样本质量的改善。
2020-10-15 cs.LG stat.ML
Fast Causal Discovery by Approximate Kernel-based Generalized Score Functions with Linear Computational Complexity
Fudan University（复旦大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Tongji University（同济大学）
针对核广义评分函数因果发现的高计算复杂度问题，提出低秩近似与复合矩阵运算规则，实现 O(n) 时间和空间复杂度，并在合成及真实数据上保持相当准确率。
2025-06-07 cs.LG stat.ML
Approximate is Good Enough: Probabilistic Variants of Dimensional and Margin Complexity
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提出和研究近似的概念，尺寸和利润的复杂性，这对应于最小的尺寸或规范的嵌入所需的近似，而不是准确地表示，一个给定的假设类。我们表明，这样的概念不仅是足够的学习使用线性预测或内核，但不像确切的变种，也是必要的。因此，它们更适合于讨论线性或核方法的局限性。
2020-03-09 cs.LG stat.ML
Kernels on Sample Sets via Nonparametric Divergence Estimates
Carnegie Mellon University（卡内基梅隆大学）
大多数机器学习算法，如分类或回归，将单个数据点视为感兴趣的对象。在这里，我们考虑扩展机器学习算法来对数据点组进行操作。我们建议将一组数据点视为独立同分布。从该组的基础特征分布中提取样本集。我们的方法采用内核机器上的内核i.i.d.。向量的样本集。我们在成对的分布上定义某些核函数，然后使用非参数估计器来一致地估计基于样本集的这些函数。估计的Gram矩阵到对称半正定矩阵锥的投影使我们能够使用核机器进行分类，回归，异常检测和分布空间中的低维嵌入。我们提出了几个数值实验上的真实和模拟数据集，以证明我们的新方法的优点。
2021-01-14 cs.LG stat.ML
Meta Two-Sample Testing: Learning Kernels for Testing with Limited Data
University of Oxford（牛津大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Australian AI Institute, UTS（悉尼科技大学澳大利亚人工智能研究院）；Gatsby Unit, UCL（伦敦大学学院盖茨比中心）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
现代基于核的双样本测试在区分复杂的高维分布方面取得了巨大的成功，并使用了适当的学习核。以前的工作已经证明，这种内核学习过程是成功的，假设从每个分布观察到大量的样本。然而，在数据样本数量非常有限的现实场景中，识别一个足够强大的内核来区分复杂的分布可能具有挑战性。我们通过引入Meta双样本测试（M2ST）问题来解决这个问题，该问题旨在利用相关任务的（丰富的）辅助数据来找到一种算法，该算法可以快速识别新目标任务的强大测试。我们提出了两个具体的算法，这项任务：一个通用的计划，提高了基线和一个更适合的方法，表现更好。我们提供了理论依据和经验证据，我们提出的元测试计划直接从稀缺的观察学习基于内核的测试，并确定这种计划将是成功的。
2022-01-04 cs.AI cs.LG stat.ME
Time-aware Large Kernel Convolutions
Carleton University（卡尔顿大学）
到目前为止，大多数最先进的序列建模架构使用注意力来构建基于语言的任务的生成模型。这些模型中的一些使用所有可用的序列令牌来生成注意力分布，这导致$O(n^2)$的时间复杂度。或者，它们利用具有大小为$k$的softmax归一化内核的dependency卷积作为有限窗口自注意，导致时间复杂度为$O(k{\cdot}n)$。在本文中，我们介绍了时间感知大内核（Taq）卷积，这是一种新的自适应卷积运算，它学习预测求和内核的大小，而不是使用固定大小的内核矩阵。该方法产生$O(n)$的时间复杂度，有效地使序列编码过程与令牌的数量成线性关系。我们评估了所提出的方法在大规模标准机器翻译，抽象摘要和语言建模数据集，并表明，TaLK卷积构成了一个有效的改进其他注意力/卷积为基础的方法。
2020-06-19 cs.CL cs.LG stat.ML
Improving Sample Efficiency with Normalized RBF Kernels
University of Hildesheim（希尔德斯海姆大学）
在深度学习模型中，用更少的数据学习更多变得越来越重要。本文探讨了如何训练具有归一化径向基函数（RBF）核的神经网络以获得更好的样本效率。此外，我们展示了这种输出层如何找到嵌入空间，其中类是紧凑的和良好分离的。为了实现这一点，我们提出了一个两阶段的方法来训练这些类型的神经网络分类任务。在CIFAR-10和CIFAR-100上的实验表明，与SoftMax输出层网络相比，采用归一化核作为输出层的网络具有更高的样本效率、更高的紧致度和更好的可分性。
2020-07-31 cs.LG stat.ML
Kernel Change-point Detection with Auxiliary Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）
检测时间序列中突然属性变化的出现是一个具有挑战性的问题。核两样本检验方法比传统的参数方法对样本分布的假设更少。然而，选择核在实践中是不平凡的。虽然人们已经研究了双样本检验的核选择问题，但在变点检测问题中样本的不足阻碍了核选择算法的成功。在本文中，我们提出了KL-CPD，一种新的内核学习框架的时间序列CPD，通过辅助生成模型优化测试功率的下限。KL-CPD通过深度核参数化，将数据驱动的核赋予核双样本测试，以检测实际应用中不同类型的变点。在我们对基准数据集和模拟研究的比较评估中，所提出的方法显着优于其他最先进的方法。
2019-01-18 cs.LG stat.ML
A Rigorous, Tractable Measure of Model Complexity
KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
本文提出了一种严格且易于计算的模型复杂度度量方法，基于模型在不同输入上的梯度相似性，适用于参数模型和非参数模型，并扩展了多项式度数、核长度尺度等模型特定复杂度度量，同时揭示了随机傅里叶特征、随机森林、神经网络和梯度提升中的双下降现象。
2026-11-05 cs.LG stat.ML
Learning Deep Kernels for Non-Parametric Two-Sample Tests
University College London（伦敦大学学院）；University of Technology Sydney（悉尼科技大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一类基于核的双样本检验，其目的是确定两组样本是否来自同一分布。我们的测试是由深度神经网络参数化的内核构建的，经过训练以最大化测试能力。这些测试适应空间上分布平滑度和形状的变化，特别适合高维和复杂的数据。相比之下，在先前的内核测试工作中使用的简单内核是空间均匀的，并且仅在长度尺度上是自适应的。我们解释了这个计划如何包括流行的基于分类器的双样本测试作为一个特例，但在一般情况下，他们的改进。我们为所提出的自适应方法提供了一致性的第一个证明，该方法既适用于深度特征上的内核，也适用于更简单的径向基内核或多内核学习。在实验中，我们在基准和真实数据的假设检验中建立了我们的深度内核的卓越性能。我们基于深度内核的两个示例测试的代码可以在https://github.com/fengliu90/DK-for-TST上找到。
2021-01-14 cs.LG stat.ME stat.ML
Kernel-Complexity Edge Sanitization for Training-Free Defense against Structural Graph Attacks
Dartmouth College（达特茅斯学院）
针对图神经网络易受结构攻击的问题，提出无训练、模型无关的核复杂度边清洗（KCES）框架，基于图核复杂度量化边影响并剪除高KC边，实验证明其高效且优于现有防御。
2026-09-10 cs.AI cs.LG
Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）；Supercomputing and Cloud Computing Institute（超级计算与云计算研究院）；State University of New York, New Paltz（纽约州立大学新帕尔茨分校）
多核聚类（MKC）致力于从一组基本核中实现最佳信息融合。由于距离-距离相似性估计的不可靠性会降低聚类性能，因此构造精确的局部核矩阵具有重要的应用价值。虽然现有的局部化MKC算法与全局设计的竞争者相比表现出更好的性能，但大多数算法广泛采用KNN机制通过考虑τ -最近邻来定位核矩阵。然而，这种粗略的方式遵循了不合理的策略，即不同邻居的排序重要性相等，这在应用中是不切实际的。为了缓解这些问题，本文提出了一种新的局部样本加权多核聚类（LSWMKC）模型。我们首先在核空间中构造了一个一致判别亲和图，揭示了潜在的局部结构。此外，学习的亲和图的最佳邻域核输出具有自然稀疏性和清晰的块对角结构。此外，LSWMKC implementation优化不同的邻居与相应的样本的自适应权重。实验结果表明，我们的LSWMKC具有更好的局部流形表示，并优于现有的核或基于图的聚类算法。LSWMKC的源代码可以从https://github.com/liliangnudt/LSWMKC公开访问。
2022-07-05 cs.AI cs.LG
Statistical Estimation of Ergodic Markov Chain Kernel over Discrete State Space
我们研究了从一个长的状态观测序列估计离散状态马尔可夫链核参数的统计复杂性。在有限的情况下，我们的特点（模对数因子）的极大极小样本估计的复杂性相对于运营商的无穷范数，而在可数无限的情况下，我们分析的问题相对于一个自然的条目明智的范数来自全变差。我们表明，在这两种情况下，样本的复杂性是由未知链的混合性质，其中，在有限状态的情况下，有已知的有限样本估计完全经验的置信区间。
2020-08-13 cs.LG math.ST stat.ML
A Differentially Private Kernel Two-Sample Test
MPI-IS（马克斯·普朗克智能系统研究所）；University Of Oxford（牛津大学）
核双样本检验是一种有用的统计工具，可以确定数据样本是否来自不同的分布，而无需对这些分布进行任何参数假设。然而，原始数据样本可能会暴露参与科学研究的个人的敏感信息，这使得当前的测试容易受到隐私泄露的影响。因此，我们设计了一个新的框架，内核的两个样本测试符合差分隐私约束，以保证在数据中的主题的隐私。与现有的差分私有参数测试，简单地添加噪声的数据，基于核的测试施加了一个挑战，由于检验统计量的原始数据的复杂依赖，因为这些统计量对应于估计的距离之间的表示的概率测度在希尔伯特空间。我们的方法考虑有限维近似这些表示。因此，得到一个简单的卡方检验，其中检验统计量取决于样本之间的经验差异的均值和协方差，我们为了隐私保证而对其进行扰动。我们调查我们的框架在两个现实的设置中的效用，并得出结论，我们的方法只需要一个相对温和的增加样本量，以实现类似的水平的权力，在这两种设置中的非私人测试。
2018-08-01 cs.LG stat.ML
Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）
针对Transformer过度自信问题，提出KEP-SVGP方法，利用核SVD处理注意力核不对称性，构建不确定性自注意力，降低复杂度并在分布内外基准上验证性能。
2024-05-28 cs.AI cs.CV cs.LG
B-tests: Low Variance Kernel Two-Sample Tests
Center for Visual Computing（视觉计算中心）；École Centrale Paris（巴黎中央理工学院）；Gatsby Unit（盖茨比单元）；University College London（伦敦大学学院）；Équipe GALEN（GALEN团队）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）
介绍了一类最大均值差异（MMD）核两样本检验。检验家族的成员被称为块检验或B检验，因为检验统计量是在样本子集上计算的MMD的平均值。块大小的选择允许控制测试功率和计算时间之间的权衡。在这方面，$B$-测试族结合了先前提出的MMD双样本测试的有利特性：B-测试比线性时间测试更强大，其中块只是样本对，但它们比二次时间测试更有效，其中使用包含所有样本的单个大块来计算U-统计量。B检验的另一个重要优点是它们的渐近正态零分布：这与U统计量相反，U统计量在零假设下退化，并且零分布的估计需要计算。最近的结果核选择的假设检验无缝转移到B-检验，产生一种方法来优化测试电源通过内核的选择。
2014-02-10 cs.LG stat.ML
On the Sample Complexity of Learning under Invariance and Geometric Stability
New York University（纽约大学）
许多监督学习问题涉及高维数据，如图像，文本或图形。为了有效地利用数据，利用手头问题中的某些几何先验通常是有用的，例如平移不变性，置换子群或小变形的稳定性。我们研究了学习问题的样本复杂性，其中目标函数呈现出这样的不变性和稳定性，通过考虑球面上的这些函数的球谐分解。我们提供了非参数的收敛速度的核方法，并显示改进的样本复杂性的一个因素，等于组的大小时，使用不变的内核组，相比相应的非不变的内核。当样本量足够大时，这些改进是有效的，并且具有依赖于群的谱性质的渐近行为。最后，这些增益被扩展到不变性组之外，以涵盖对小变形的几何稳定性，在这里被建模为置换的子集（不一定是子群）。
2021-11-05 cs.LG stat.ML
Generalization Bounds on Multi-Kernel Learning with Mixed Datasets
University of Cambridge（剑桥大学）
本文提出了新的推广界的多核学习问题。受传感器网络和时空模型中的应用的启发，我们假设数据集是混合的，其中每个样本都是从有限的马尔可夫链池中提取的。我们的学习内核的界限承认$O(\sqrt{\log m})$依赖于基础内核的数量和$O(1/\sqrt{n})$依赖于训练样本的数量。然而，一些$O(1/\sqrt{n})$条款被添加到补偿样本之间的依赖性相比，现有的泛化边界的多核学习与i.i.d.数据集。
2022-10-12 cs.LG stat.ML
The Exact Sample Complexity Gain from Invariances for Kernel Regression
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；TU Munich（慕尼黑工业大学）
本文从理论角度研究了核回归中利用不变性提升样本复杂性的机制，推导了在紧致流形上核岭回归的最小最大最优速率，并揭示了群作用对样本复杂性的影响。
2023-11-06 cs.LG
Improved Kernel Alignment Regret Bound for Online Kernel Learning
Tianjin University（天津大学）
本文提出改进的在线核学习算法，在Hinge损失下优化核对齐遗憾界，依据特征值衰减率实现更优的遗憾与计算复杂度，并扩展到批量学习提升风险界。
2024-03-13 cs.LG
One-Class Kernel Spectral Regression
Bilkent university（比尔肯特大学）；university of Surrey（萨里大学）
本文介绍了一种新的高效的非线性一类分类器制定的瑞利商准则优化。该方法，在再生核希尔伯特空间中操作，最小化目标分布沿最佳投影方向的分散，同时保持正观测的投影远离负类的平均值。我们提供了一个图形嵌入视图的问题，然后可以有效地解决使用谱回归方法。从这个意义上说，不像以前的类似方法，往往需要昂贵的密集矩阵的特征计算，所提出的方法投下的问题考虑到一个回归框架，这是计算上更有效。特别是，它表明，所提出的方法的主要复杂性是计算的核矩阵的复杂性。所提出的单类分类器的其他吸引人的特征是：1-以增量方式训练的能力（允许在流数据场景中的应用，同时还降低非流操作模式中的计算复杂性）; 2-无监督，但提供用于在可用时使用负训练样本来精炼解决方案的选项;最后但并非最不重要的是，3-使用核技巧，这有助于将数据非线性映射到高维特征空间，以寻求更好的解决方案。
2019-02-10 cs.LG stat.ML
KCES: Training-Free Defense for Robust Graph Neural Networks via Kernel Complexity
Dartmouth College（达特茅斯学院）
针对图神经网络易受对抗攻击的问题，本文提出基于图核复杂度（GKC）的免训练边净化防御框架KCES，通过剪除高KC分数边增强鲁棒性，可即插即用且优于现有方法。
2025-06-19 cs.LG
Path Integral Control by Reproducing Kernel Hilbert Space Embedding
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）；FU Berlin（柏林自由大学）
本文将随机最优控制问题的路径积分形式嵌入再生核Hilbert空间。使用一致的，基于样本的嵌入估计导致一个无模型的，非参数的方法来计算控制问题的近似解。这种提法承认一个分解的问题成一个不变的和任务相关的组件。因此，与该领域中先前的基于样本的方法相比，我们更有效地利用了样本数据，例如，通过允许跨任务重复使用样本。测试问题的数值例子，说明了样本效率，提供。
2012-08-13 cs.LG stat.ML
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）
核在线凸优化（Kernel Online Convex Optimization，KOCO）是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法，如函数梯度下降，每次迭代只需要$\mathcal{O}(t)$时间和空间，并且，当损失的唯一信息是它们的凸性时，实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此，核问题中的许多常见损失，如平方损失、逻辑损失和平方铰链损失，都具有可以利用的更强的曲率。在这种情况下，二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾，我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$，其中$d_{\text{eff}}$是问题的有效维度，通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中，我们介绍了核在线牛顿步骤（KONS），一个新的二阶KOCO方法，也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性，我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$，并表明，对于一个选定的参数$γ\leq 1$，我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Exponentially Consistent Kernel Two-Sample Tests
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Syracuse University（雪城大学）
给定来自未知分布$P$和$Q$的两组独立样本，双样本检验决定是否拒绝$P=Q$的原假设。最近的注意力集中在核两样本测试，因为检验统计量易于计算，收敛速度快，并且具有有限样本估计的低偏差。然而，仍然缺乏一个准确的表征渐近性能的测试，特别是，在大样本限制的第二类错误概率衰减到零的速度。在这项工作中，我们建立了一类核双样本检验是指数一致的波兰，局部紧Hausdorff样本空间，例如，$\mathbb R^d$。所得到的指数衰减率进一步被证明是最佳的所有两个样本测试满足水平约束，是独立的特定内核，只要它们是有界连续和特性。我们的研究结果获得了新的见解相关的问题，如公平的替代测试和内核选择策略。最后，作为一个应用程序，我们表明，基于内核的测试实现了最佳的检测离线变化检测的非参数设置。
2018-05-21 cs.IT cs.LG math.IT
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel（卡塞尔大学）
支持向量机（SVM）中的核函数需要评估输入样本的相似性，以便例如对这些样本进行分类。除了诸如高斯（即，径向基函数（RBF）或多项式核，也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中，我们将通过概率混合密度模型来捕获数据中的结构，例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量，例如，马氏距离的高斯混合的情况下，我们推导出一个新的核，责任加权马氏（RWM）核。基本上，该内核强调模型组件的影响，假设任何两个被比较的样本都来自模型组件（即“负责的”模型组件）。我们将看到，在许多部分标记数据可用的应用中，该内核优于RBF内核和其他捕获数据结构的内核（例如Laplacian SVM中的KNN内核），即，用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法（如顺序最小优化）一起使用，并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而，对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中，我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性，它们对反同态作用的稳定性，以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后，我们描述了相应的再生核希尔伯特空间（RKHS），表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开，并提供模型复杂性的规范度量，即RKHS范数，它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型，我们的稳定性分析也适用于卷积网络与一般的激活，如整流线性单元，我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Generalization bound for kernel similarity learning
Spotify（声田）
相似性学习已经引起了人们的极大兴趣，并且是许多科学和工业应用的重要工具。在这个框架中，我们希望推断点之间相对于任意距离函数$d$的距离（相似性）。在这里，我们将问题公式化为从特征空间$\mathcal{X}$到任意向量空间$\mathcal{Y}$的回归，其中欧几里得距离与$d$成比例。然后，我们给出了推广误差的拉德马赫复杂度界。我们发现，在高概率情况下，复杂度是由$\mathcal{X}$的半径和$\mathcal{Y}$的半径的最大值的限制。
2016-10-20 cs.LG stat.ML
Efficient online learning with kernels for adversarial large scale problems
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们感兴趣的是一个在线学习的框架，该框架具有低维但大规模和潜在的对抗性数据集的内核。我们研究核岭回归的在线变化的计算和理论性能。尽管它的简单性，我们研究的算法是第一个实现最佳遗憾的广泛的内核，每轮复杂度为$n^α$与$α< 2$。我们考虑的算法是基于近似的核与基函数的线性跨度。我们的贡献是双重的：1）对于高斯核，我们建议通过泰勒展开预先（独立于数据）构建基础。对于$d$维输入，我们提供了一个（接近）最优遗憾顺序$O((\log n)^{d+1})$与每轮的时间复杂度和空间复杂度$O((\log n)^{2d})$。这使得该算法是一个合适的选择，尽快$n \gg e^d$，这可能发生在场景中的小尺寸和大规模的数据集; 2）对于一般的核与低有效维数，基函数的更新顺序在数据自适应的方式通过采样Nystr{<$}m点。在这种情况下，我们的算法改进了已知的在线内核回归的计算权衡。
2019-05-29 cs.LG math.ST stat.ML
New Probabilistic Bounds on Eigenvalues and Eigenvectors of Random Kernel Matrices
Aalto University, School of Science（阿尔托大学理学院）；Waseda University（早稻田大学）
核方法是解决不同机器学习问题的成功方法。这种成功主要源于使用特征映射和内核矩阵。一些方法依赖于核矩阵的特征值/特征向量，而对于其他方法，谱信息可以用于估计超额风险。一个重要的问题仍然是样本特征值/特征向量与总体值有多接近。本文改进了以往关于一般核矩阵特征值集中界的结果。对于距离和内积核函数，例如径向基函数，我们提供了新的浓度界，其特征在于样本协方差矩阵的特征值。同时，更清晰的边界的障碍是占和部分解决。作为一个案例研究，我们推导出样本核目标对准的浓度不等式。
2012-02-14 cs.LG stat.ML
Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning
BandGapAI（BandGapAI公司）
期望最大化（EM）通常被认为是一种用于估计混合分布参数的无监督学习方法，然而当类别标签可用时，它也可以用于监督学习。因此，EM已被应用于训练神经网络，包括概率径向基函数（PRBF）网络或共享核（SK）模型。本文解决了以前的工作在这方面的两个主要缺点：缺乏严谨的EM训练算法的推导和计算复杂性的技术，这限制了它的低维数据集。我们首先提出了一个详细的推导EM高斯共享核模型PRBF分类器，利用数据关联理论，以获得完整的数据可能性，鲍姆的辅助功能（E-步骤）和随后的最大化（M-步骤）。为了降低SKEM算法的复杂性，我们将特征空间划分为$R$非重叠的变量子集。所得到的联合数据似然的产品分解，这是准确的，当特征分区是独立的，允许SKEM被并行实现，并在$R^2$倍较低的复杂性。分区SKEM算法的操作演示的MNIST数据集，并与其非分区对应。它最终以降低的复杂性提高性能是可以实现的。与标准分类算法的比较提供了一些其他基准数据集。
2022-05-31 cs.LG stat.ML
Domain Adaptive Learning Based on Sample-Dependent and Learnable Kernels
School of Electronics and Information Technology, Sun Yat-Sen University（中山大学电子与信息工程学院）
再生核希尔伯特空间（RKHS）是机器学习中各种核方法的通用数学平台。核学习的目的是根据不同的机器学习场景和训练样本学习出合适的RKHS。由于RKHS是由核函数唯一生成的，因此核学习可以被视为核函数学习。提出了一种基于样本相关可学习核的领域自适应学习方法（SDLK-DAL）。我们工作的第一个贡献是提出了一个样本依赖的和可学习的正定二次核函数（PDQK）框架。与学习高斯核函数的指数参数或核组合的系数不同，PDQK是一个正定二次函数，其中对称半正定矩阵是机器学习应用中的可学习部分.第二个贡献是将PDQK应用于领域自适应学习（DAL）。我们的方法通过最小化源域和目标域数据之间的平均差异来学习PDQK，然后将数据转换为由PDQK生成的优化RKHS。我们进行了一系列的实验，由PDQK确定的RKHS取代了几个国家的最先进的DAL算法，我们的方法取得了更好的性能。
2021-02-18 cs.LG
Two-sample Statistics Based on Anisotropic Kernels
Duke University（杜克大学）；University of California, San Diego（加州大学圣地亚哥分校）；Yale University（耶鲁大学）
本文介绍了一种新的基于核的最大均值离散（MMD）统计量，用于测量有限多个多元样本下两个分布之间的距离。当分布是局部低维时，通过结合局部协方差阵和构造各向异性核，可以使所提出的检验更强大地区分某些替代方案。核矩阵是不对称的;它计算$n$数据点和一组$n_R$参考点之间的亲和度，其中$n_R$可以比$n$小得多。该统计量可看作一类特殊的再生核Hilbert空间MMD，在对核函数的适当假设下，只要$\|p-q\| \sqrt{n} \to \infty $，证明了检验的相合性，并得到了检验功效的有限样本下界.流式细胞术和扩散MRI数据集的应用程序进行了演示，这促使所提出的方法来比较分布。
2018-08-30 cs.LG stat.AP stat.CO
Iteratively reweighted kernel machines efficiently learn sparse functions
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究证明经典核方法也能实现神经网络特有的低维表征学习与层级结构学习能力，通过迭代重加权核机器可高效学习层级多项式，并用数值实验验证了相关理论。
2025-10-03 cs.LG math.OC math.ST
DUAL: Learning Diverse Kernels for Aggregated Two-sample and Independence Testing
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；UBC & Amii（不列颠哥伦比亚大学及Amii）
针对多核聚合检验中核相似导致信息重叠的问题，提出基于核协方差的聚合统计量与带选择推断的检验框架，在保证核多样性的同时提升检验功效，并在理论上证明了其一致性与优越性能。
2025-10-13 cs.LG
Robust Kernel Density Estimation
University of Michigan（密歇根大学）
我们提出了一种非参数密度估计的方法，表现出鲁棒性的污染的训练样本。该方法通过将传统的核密度估计器（KDE）与经典的$M$估计的思想相结合来实现鲁棒性。我们解释的KDE的基础上的径向，半正定内核作为一个样本均值在相关的再生核希尔伯特空间。由于样本均值对异常值敏感，我们通过$M$ -估计对其进行鲁棒估计，得到鲁棒核密度估计（RKDE）。一个RKDE可以有效地计算通过内核化迭代重加权最小二乘（IRWLS）算法。给出了核化IRWLS收敛于$M$ -估计目标函数全局极小的充要条件。RKDE的鲁棒性证明了一个代表定理，影响函数，密度估计和异常检测的实验结果。
2011-09-06 cs.LG stat.ME stat.ML
Kernel Learning for Sample Constrained Black-Box Optimization
本文针对样本受限的黑盒优化问题，提出在变分自编码器潜空间中构建连续核空间并辅助优化高斯过程核的 KOBO，以更少样本取得优于现有方法的表现。
2025-07-28 cs.LG
Heat-Kernel Entropy Profiles and Geometric Effective Sample Size for Weighted Measures on Manifolds
Baruch College（巴克尔学院）
研究紧致流形上加权测度，引入热核熵剖面这一多尺度总结方法，通过内在热流扩散加权原子并跟踪尺度不均匀性，可计算二阶Rényi熵的几何有效样本量，实验表明其能揭示传统总结遗漏的结构。
2026-07-31 cs.LG stat.ME stat.ML
Quantum Kernels for Parity-Structured Classification: A Hybrid Pipeline
Texas A\&M University, Department of Mathematics College Station, TX, USA ORCID: 0000-0001-7448-5723
本文研究量子核在奇偶复杂度下的优势，通过混合流程揭示奇偶结构，发现高复杂度下量子核性能显著优于经典方法。
2026-05-07 cs.LG quant-ph
