On the Sample Complexity of Learning under Invariance and Geometric Stability
New York University（纽约大学）
许多监督学习问题涉及高维数据，如图像，文本或图形。为了有效地利用数据，利用手头问题中的某些几何先验通常是有用的，例如平移不变性，置换子群或小变形的稳定性。我们研究了学习问题的样本复杂性，其中目标函数呈现出这样的不变性和稳定性，通过考虑球面上的这些函数的球谐分解。我们提供了非参数的收敛速度的核方法，并显示改进的样本复杂性的一个因素，等于组的大小时，使用不变的内核组，相比相应的非不变的内核。当样本量足够大时，这些改进是有效的，并且具有依赖于群的谱性质的渐近行为。最后，这些增益被扩展到不变性组之外，以涵盖对小变形的几何稳定性，在这里被建模为置换的子集（不一定是子群）。
2021-11-05 cs.LG stat.ML
One-Class Kernel Spectral Regression
Bilkent university（比尔肯特大学）；university of Surrey（萨里大学）
本文介绍了一种新的高效的非线性一类分类器制定的瑞利商准则优化。该方法，在再生核希尔伯特空间中操作，最小化目标分布沿最佳投影方向的分散，同时保持正观测的投影远离负类的平均值。我们提供了一个图形嵌入视图的问题，然后可以有效地解决使用谱回归方法。从这个意义上说，不像以前的类似方法，往往需要昂贵的密集矩阵的特征计算，所提出的方法投下的问题考虑到一个回归框架，这是计算上更有效。特别是，它表明，所提出的方法的主要复杂性是计算的核矩阵的复杂性。所提出的单类分类器的其他吸引人的特征是：1-以增量方式训练的能力（允许在流数据场景中的应用，同时还降低非流操作模式中的计算复杂性）; 2-无监督，但提供用于在可用时使用负训练样本来精炼解决方案的选项;最后但并非最不重要的是，3-使用核技巧，这有助于将数据非线性映射到高维特征空间，以寻求更好的解决方案。
2019-02-10 cs.LG stat.ML
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而，对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中，我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性，它们对反同态作用的稳定性，以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后，我们描述了相应的再生核希尔伯特空间（RKHS），表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开，并提供模型复杂性的规范度量，即RKHS范数，它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型，我们的稳定性分析也适用于卷积网络与一般的激活，如整流线性单元，我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Generalization bound for kernel similarity learning
Spotify（声田）
相似性学习已经引起了人们的极大兴趣，并且是许多科学和工业应用的重要工具。在这个框架中，我们希望推断点之间相对于任意距离函数$d$的距离（相似性）。在这里，我们将问题公式化为从特征空间$\mathcal{X}$到任意向量空间$\mathcal{Y}$的回归，其中欧几里得距离与$d$成比例。然后，我们给出了推广误差的拉德马赫复杂度界。我们发现，在高概率情况下，复杂度是由$\mathcal{X}$的半径和$\mathcal{Y}$的半径的最大值的限制。
2016-10-20 cs.LG stat.ML
Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning
BandGapAI（BandGapAI公司）
期望最大化（EM）通常被认为是一种用于估计混合分布参数的无监督学习方法，然而当类别标签可用时，它也可以用于监督学习。因此，EM已被应用于训练神经网络，包括概率径向基函数（PRBF）网络或共享核（SK）模型。本文解决了以前的工作在这方面的两个主要缺点：缺乏严谨的EM训练算法的推导和计算复杂性的技术，这限制了它的低维数据集。我们首先提出了一个详细的推导EM高斯共享核模型PRBF分类器，利用数据关联理论，以获得完整的数据可能性，鲍姆的辅助功能（E-步骤）和随后的最大化（M-步骤）。为了降低SKEM算法的复杂性，我们将特征空间划分为$R$非重叠的变量子集。所得到的联合数据似然的产品分解，这是准确的，当特征分区是独立的，允许SKEM被并行实现，并在$R^2$倍较低的复杂性。分区SKEM算法的操作演示的MNIST数据集，并与其非分区对应。它最终以降低的复杂性提高性能是可以实现的。与标准分类算法的比较提供了一些其他基准数据集。
2022-05-31 cs.LG stat.ML
Fast Approximation and Estimation Bounds of Kernel Quadrature for Infinitely Wide Models
RIKEN AIP（日本理化学研究所革新智能综合研究中心）
无限宽模型是特征图的加权积分$\int φ(x,v) d μ(v)$。该模型擅长处理无限数量的特征，因此已被用于深度学习的理论研究。核求积是一种基于核的数值积分方案，用于快速逼近期望值$\int f(x) d p(x)$。在这项研究中，关于重量$μ$作为一个有符号（或复杂/向量值）分布的参数，我们开发的一般核求积（GKQ）的参数分布。所提出的方法可以实现一个快速的近似速度$O(e^{-p})$与参数数$p$，这是比传统的巴伦的速度，和一个快速的估计速度$\widetilde{O}(1/n)$与样本量$n$。因此，我们得到了一个新的基于范数的复杂性度量的无限宽模型。由于GKQ隐式地进行经验风险最小化，因此我们可以理解复杂性度量也反映了梯度学习设置中的泛化性能。
2020-07-07 cs.LG stat.ML
Efficient and principled score estimation with Nyström kernel exponential families
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学组）
我们提出了一种快速的方法与统计保证学习指数族密度模型的自然参数是在再生核希尔伯特空间，可能是无限维的。该模型通过拟合对数密度的导数（分数）来学习，从而避免了计算归一化常数的需要。我们的方法提高了计算效率的早期解决方案，通过使用低秩，Nyström样的解决方案。新的解决方案保留了满秩解决方案的一致性和收敛速度（完全在Fisher距离，几乎在其他距离），保证了成本和存储减少的程度。我们评估的方法在实验中的密度估计和自适应哈密顿蒙特卡罗采样器的建设。与使用去噪自动编码器的现有得分学习方法相比，我们的估计器在估计得分时根据经验更具数据效率，运行速度更快，并且参数更少（可以以原则和可解释的方式进行调整），此外还提供统计保证。
2021-01-14 cs.LG stat.ME stat.ML
Iteratively reweighted kernel machines efficiently learn sparse functions
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究证明经典核方法也能实现神经网络特有的低维表征学习与层级结构学习能力，通过迭代重加权核机器可高效学习层级多项式，并用数值实验验证了相关理论。
2025-10-03 cs.LG math.OC math.ST
Minimum complexity interpolation in random features models
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
尽管核方法有许多吸引人的特性，但它们受到维数灾难的严重影响。例如，在$\mathbb{R}^d$中的内积核的情况下，对于强烈依赖于方向的小子集（脊函数）的函数，再生核希尔伯特空间（RKHS）范数通常非常大。相应地，这样的函数很难使用核方法学习。这一观察激发了对核方法的推广的研究，其中RKHS范数-等价于加权$\ell_2$范数-被加权函数$\ell_p$范数取代，我们称之为$\mathcal{F}_p$范数。不幸的是，这些方法的可操作性尚不清楚。核技巧是不可用的，最小化这些范数需要解决一个无限维凸问题。我们研究随机特征近似这些规范，并表明，对于$p>1$，近似原始学习问题所需的随机特征的数量是上界的样本量的多项式。因此，在这些情况下，使用$\mathcal{F}_p$范数的学习是容易处理的。我们介绍了一个证明技术的基础上，在对偶的均匀浓度，这可以在过参数化模型的研究更广泛的兴趣。对于$p= 1$，我们对随机特征近似的保证失效。相反，我们证明学习与$\mathcal{F}_1$规范是$\mathsf{NP}$ -硬随机减少的基础上学习半空间噪声的问题。
2021-11-05 cs.LG math.ST stat.ML
Fast Learning Rate of Non-Sparse Multiple Kernel Learning and Optimal Regularization Strategies
本文给出了多核学习（MKL）在一般正则化下的一个新的推广误差界，并讨论了什么样的正则化能给出较好的预测精度。本文的主要目标是稠密型正则化，包括\ellp -MKL。根据最近的数值实验，稀疏正则化并不一定表现出良好的性能相比，密集型正则化。基于这一事实，本文给出了一个通用的理论工具，以获得快速学习率的MKL，适用于任意混合范数型正则化的统一方式。这使我们能够比较各种类型的正则化的泛化性能。因此，我们观察到候选再生核希尔伯特空间（RKHS）的复杂性的均匀性影响的正则化策略（\ell 1或密集）是首选。事实上，在所有RKHS的复杂度均匀相同的齐次复杂度设置中，\ell 1-正则化在所有各向同性范数中是最优的。另一方面，在非齐次复杂度设置中，密集型正则化可以显示出比稀疏\ell 1-正则化更好的学习率。我们还表明，我们的学习率达到了极大极小的下限均匀的复杂性设置。
2011-11-16 stat.ML
Kernel clustering: density biases and solutions
核方法由于其通用性和区分能力而在聚类中很受欢迎。然而，我们发现，许多内核聚类标准的密度偏差理论上解释了一些实际上显着的文物在过去的经验观察。例如，我们提供了条件，并正式证明了密度模式的隔离偏置在核K-均值的一个共同的一类内核。我们称之为Breiman的偏见，因为它与Breiman之前在Gini不纯的决策树学习中发现的直方图模式隔离相似。我们还将我们的分析扩展到其他流行的内核聚类方法，例如平均/归一化切割或优势集，其中密度偏差可以采取不同的形式。例如，通过基于切割的标准分裂孤立点本质上是稀疏子集偏差，这与密度模式偏差相反。我们的研究结果表明，核聚类中密度偏差的原则性解决方案应该直接解决数据的不均匀性。我们表明，密度均衡可以隐式地实现使用局部自适应权重或局部自适应内核。此外，密度均衡使许多流行的核聚类目标等价。我们的合成和真实数据实验说明了密度偏差和提出的解决方案。我们预计，对内核聚类限制及其原则性解决方案的理论理解对于跨学科的广泛数据分析应用将是重要的。
2017-12-06 stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM（概率与统计建模实验室）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；LMO（奥赛数学实验室）
针对核方法立方复杂度难以处理大规模数据的问题，提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架，在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
Non-linear reduced modeling of dynamical systems using kernel methods and low-rank approximation
本文提出将动力系统轨迹嵌入 RKHS，并结合低秩约束优化闭式解与核计算，实现非线性动力学的数据驱动高效降阶建模。
2025-02-19 stat.ML
Lepskii Principle in Supervised Learning
在使用再生核方法的监督学习的设置中，我们提出了一个依赖于数据的正则化参数选择规则，该规则自适应于目标函数的未知正则性，并且对于最小二乘（预测）误差和再生核希尔伯特空间（重建）范数误差都是最优的。它是基于修改后的Lepskii平衡原则，使用不同的家庭规范。
2019-05-26 math.ST stat.TH
Structure-Adaptive Estimation of Heterogeneous Treatment Effects with Kernel Methods
Columbia IEOR（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于核岭回归的最优算法，用于在结构简单的情况下估计CATE，并通过模型选择步骤实现对未知正则性的适应。
2026-11-10 math.ST stat.ME stat.ML
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题，找到最好的插值从一类未知的超参数的内核，假设只有噪音是平方可积的。我们提供有限样本保证的问题，表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类（例如，平方指数内核与未知的长度尺度），我们的研究结果表明，超参数优化增加了样本的复杂性只有一个对数因子，在设置中，最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证，结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
On the Complexity of Learning with Kernels
Università degli Studi di Milano（米兰大学）；Microsoft Research（微软研究院）；Tel-Aviv University（特拉维夫大学）；Weizmann Institute of Science（魏茨曼科学研究所）
核学习的一个公认的局限性是需要处理核矩阵，其大小是训练样本数量的二次方。已经提出了许多方法来减少这种计算成本，主要是通过使用核矩阵项的子集，或某种形式的低秩矩阵近似，或随机投影方法。在本文中，我们研究的误差下限可通过这种方法作为一个功能的项目的数量在核矩阵或近似核矩阵的秩。我们发现，有内核学习问题，没有这样的方法将导致非平凡的计算节省。我们的研究结果还量化了问题的难度如何取决于参数，如损失函数的性质，正则化参数，期望的预测的范数，和核矩阵秩。我们的研究结果还表明，更有效的内核学习可能是可能的。
2014-11-05 cs.LG stat.ML
Kernel Selection is Model Selection: A Unified Complexity-Penalized Approach for MMD Two-Sample Tests
H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CP-MMD方法，通过将核选择建模为模型选择问题，统一处理MMD两样本检验中的复杂性惩罚，实现无网格的连续参数类最大化，提升检验效能并保证无条件I型错误率。
2026-05-07 cs.LG stat.ML
Distributed Tree Kernels
University of Rome Tor Vergata（罗马第二大学）
在本文中，我们提出了分布式树核（DTK）作为一种新的方法，以减少时间和空间复杂度的树核。使用线性复杂度算法计算树的向量，我们将树片段的特征空间嵌入到低维空间中，其中核计算直接用点积完成。我们发现DTK更快，与树内核相关，并在两个自然语言处理任务中获得统计相似的性能。
2012-06-18 cs.LG stat.ML
Sample Complexity of Kernel-Based Q-Learning
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
现代强化学习（RL）往往面临着巨大的状态-动作空间。现有的分析结果通常是设置与少量的状态动作，或简单的模型，如线性建模的Q函数。为了得到统计上有效的RL策略，处理大的状态-动作空间，更一般的Q函数，最近的一些作品已经考虑使用核岭回归的非线性函数逼近。在这项工作中，我们推导出基于核的Q-学习的样本复杂性时，生成模型存在。我们提出了一个非参数Q学习算法，它可以在任意大规模的折扣MDP中找到一个$ε$ -最优策略。所提出的算法的样本复杂度是相对于$ε$和核的复杂度（在其信息增益方面）的阶最优。据我们所知，这是第一个结果显示有限样本的复杂性下，这样一个一般的模型。
2023-02-01 cs.AI cs.LG stat.ML
Optimality Implies Kernel Sum Classifiers are Statistically Efficient
Purdue University（普渡大学）
为了分析最优核和分类器的样本复杂度，我们提出了一种新的优化工具与学习理论界的组合。这与适用于所有（潜在次优）分类器的典型学习理论结果形成对比。我们的工作也证明了在以前的工作中对多内核学习的假设。作为我们分析的副产品，我们还提供了一种新形式的Rademacher复杂性的假设类只包含最佳分类。
2019-06-02 cs.LG stat.ML
Nearly Optimal Algorithms with Sublinear Computational Complexity for Online Kernel Regression
Tianjin University（天津大学）
针对在线核回归中遗憾界与计算成本的权衡难题，提出AOGD-ALD和NONS-ALD两种算法，通过动态维护近正交基近似核映射，在次线性复杂度下实现两类近优遗憾界。
2023-06-14 cs.LG stat.ML
Optimal Time Complexity Algorithms for Computing General Random Walk Graph Kernels on Sparse Graphs
Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
提出首个线性时间复杂度随机算法，用于稀疏图上通用随机游走图核的无偏近似，比同类方法快27倍，可处理大128倍的图，支持带标签实例，实现高效隐式图核学习。
2026-08-27 cs.LG stat.ML
Response to Promises and Pitfalls of Deep Kernel Learning
New York University（纽约大学）；UC San Diego（圣地亚哥大学）；Carnegie Mellon University（卡内基梅隆大学）；Meta；MBZUAI（马克斯·普朗克人工智能研究所）
本文反驳了深度核学习中边际似然分解的观点，指出重新参数化会引入新的数据拟合项，从而数据拟合与复杂度平衡仍主导核超参数选择。
2025-09-25 cs.LG stat.ML
Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels
Charles River Analytics（查尔斯河分析公司）
高斯过程是概率机器学习的强大模型，但其$O(N^3)$推理复杂性限制了其应用。我们提出了一种方法，用于导出具有紧凑空间支持的核函数的参数族，从而产生自然稀疏的核矩阵，并通过稀疏线性代数实现快速高斯过程推理。这些族推广了已知的紧支撑核函数，例如Wendland多项式。该核函数族的参数可以使用最大似然估计从数据中学习。或者，我们可以使用凸优化快速计算目标核的紧凑近似。我们证明了这些近似在对直接从目标GP提取的数据进行建模时，在精确模型上产生的误差最小，并且在现实世界的信号重建任务中可以优于传统的GP内核，同时表现出次二次推理复杂性。
2020-06-05 cs.LG stat.ML
Fast Causal Discovery by Approximate Kernel-based Generalized Score Functions with Linear Computational Complexity
Fudan University（复旦大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Tongji University（同济大学）
针对核广义评分函数因果发现的高计算复杂度问题，提出低秩近似与复合矩阵运算规则，实现 O(n) 时间和空间复杂度，并在合成及真实数据上保持相当准确率。
2025-06-07 cs.LG stat.ML
Lepskii Principle for Distributed Kernel Ridge Regression
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
针对分布式核岭回归中不共享本地数据时的参数选择难题，提出基于 Lepskii 原理和双重加权平均的自适应 Lep-AdaDKRR，并证明其具备最优学习率与多方面自适应能力。
2024-09-08 cs.LG
Tight Kernel Query Complexity of Kernel Ridge Regression and Kernel $k$-means Clustering
Carnegie Mellon University（卡内基梅隆大学）
我们提出了严格的下界的核评估所需的数量近似解决内核岭回归（KRR）和内核$k$ -均值聚类（KKMC）的$n$输入点。对于KRR，我们的相对误差逼近目标函数的最小值的界是$Ω(nd_{\mathrm{eff}}^λ/\varepsilon)$，其中$d_{\mathrm{eff}}^λ$是有效的统计维数，它紧到$\log(d_{\mathrm{eff}}^λ/\varepsilon)$因子。对于KKMC，我们找到一个$k$ -聚类实现目标函数的相对误差近似的界限是$Ω(nk/\varepsilon)$，这是紧到一个$\log(k/\varepsilon)$因素。我们的KRR结果解决了El Alaoui和Mahoney的一个开放问题的变体，即有效统计维度是否是抽样复杂性的下限。此外，对于重要的实际情况下，当输入是高斯的混合，我们提供了一个KKMC算法绕过上述下限。
2019-05-15 cs.DS cs.LG
Time-aware Large Kernel Convolutions
Carleton University（卡尔顿大学）
到目前为止，大多数最先进的序列建模架构使用注意力来构建基于语言的任务的生成模型。这些模型中的一些使用所有可用的序列令牌来生成注意力分布，这导致$O(n^2)$的时间复杂度。或者，它们利用具有大小为$k$的softmax归一化内核的dependency卷积作为有限窗口自注意，导致时间复杂度为$O(k{\cdot}n)$。在本文中，我们介绍了时间感知大内核（Taq）卷积，这是一种新的自适应卷积运算，它学习预测求和内核的大小，而不是使用固定大小的内核矩阵。该方法产生$O(n)$的时间复杂度，有效地使序列编码过程与令牌的数量成线性关系。我们评估了所提出的方法在大规模标准机器翻译，抽象摘要和语言建模数据集，并表明，TaLK卷积构成了一个有效的改进其他注意力/卷积为基础的方法。
2020-06-19 cs.CL cs.LG stat.ML
Near-Optimal Sample Complexity in Reward-Free Kernel-Based Reinforcement Learning
University College London（伦敦大学学院）；MediaTek Research（联发科技研究）
本研究在奖励无关的基于核的强化学习框架下，用更简单的算法和更广泛的核函数，推导了新的置信区间，确定了近最优策略的样本复杂度，并验证了理论结果。
2025-09-11 cs.LG
Learning the kernel matrix via predictive low-rank approximations
University of Ljubljana（卢布尔雅那大学）
在大数据时代，多个数据源的有效和准确的低秩近似是必不可少的。基于核的学习算法在大数据集上的扩展受到全核矩阵的O（n^2）计算和存储复杂度的限制，这是大多数最近的核学习算法所要求的。我们提出了Mklaren算法来近似多个核矩阵学习回归模型，这是完全基于几何概念。该算法不需要访问完整的内核矩阵，但它占所有内核之间的相关性。它使用不完全Cholesky分解，其中枢轴选择基于组合低维特征空间中的最小角度回归。该算法具有线性复杂度的数据点和核的数量。当显式特征空间诱导的内核可以构建，从对偶到原始岭回归权重的映射用于模型解释。Mklaren算法在8个标准回归数据集上进行了测试。当使用多个内核进行学习时，它优于当代的内核矩阵近似方法。它可以识别相关的内核，在相同的迭代次数下，比其他多内核学习方法获得最高的解释方差。测试精度，相当于一个使用完整的内核矩阵，实现了在显着较低的近似秩。当样本数或内核数超过3000时，观察到两个数量级的运行时间差异。
2016-05-09 cs.LG stat.ML
Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control（代尔夫特系统与控制中心）；Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机，用于在张量网络假设下实现原理化的不确定性估计，在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
The Exact Sample Complexity Gain from Invariances for Kernel Regression
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；TU Munich（慕尼黑工业大学）
本文从理论角度研究了核回归中利用不变性提升样本复杂性的机制，推导了在紧致流形上核岭回归的最小最大最优速率，并揭示了群作用对样本复杂性的影响。
2023-11-06 cs.LG
The Teaching Dimension of Kernel Perceptron
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Chicago（芝加哥大学）
本文研究了在线性设定条件下的数控机床示教问题，在线性设定条件下可以实现精确示教。然而，很少有人知道非线性学习者的教学。在这里，我们为不同特征映射家族的核化感知器建立了教学的样本复杂度，也就是教学维度。作为热身，我们表明，教学的复杂性是$Θ(d)$的精确教学的线性感知器在$\mathbb{R}^d$，和$Θ(d^k)$的内核感知器的阶为$k$的多项式内核。此外，在一定的光滑假设下的数据分布，我们建立了严格的约束的复杂性近似教学高斯核感知器。我们提供了一些典型的设置下的线性，多项式和高斯核感知器的最佳（近似）教学集的数值例子。
2021-02-24 cs.AI cs.LG
Improved Kernel Alignment Regret Bound for Online Kernel Learning
Tianjin University（天津大学）
本文提出改进的在线核学习算法，在Hinge损失下优化核对齐遗憾界，依据特征值衰减率实现更优的遗憾与计算复杂度，并扩展到批量学习提升风险界。
2024-03-13 cs.LG
KCES: Training-Free Defense for Robust Graph Neural Networks via Kernel Complexity
Dartmouth College（达特茅斯学院）
针对图神经网络易受对抗攻击的问题，本文提出基于图核复杂度（GKC）的免训练边净化防御框架KCES，通过剪除高KC分数边增强鲁棒性，可即插即用且优于现有方法。
2025-06-19 cs.LG
Statistical Estimation of Ergodic Markov Chain Kernel over Discrete State Space
我们研究了从一个长的状态观测序列估计离散状态马尔可夫链核参数的统计复杂性。在有限的情况下，我们的特点（模对数因子）的极大极小样本估计的复杂性相对于运营商的无穷范数，而在可数无限的情况下，我们分析的问题相对于一个自然的条目明智的范数来自全变差。我们表明，在这两种情况下，样本的复杂性是由未知链的混合性质，其中，在有限状态的情况下，有已知的有限样本估计完全经验的置信区间。
2020-08-13 cs.LG math.ST stat.ML
Linear Self-Attention Approximation via Trainable Feedforward Kernel
Czech Technical University in Prague（捷克布拉格技术大学）
为了追求更快的计算速度，高效的Transformers展示了令人印象深刻的各种方法-达到次二次注意力复杂度的模型可以利用稀疏性或输入的低秩近似来减少参与密钥的数量;其他降低复杂度的方法包括局部敏感散列，密钥池，额外的内存来存储压缩或与其他架构（如CNN）混合的信息。通常基于强大的数学基础，内核化方法允许线性复杂度近似注意力，同时保持高准确性。因此，在本文中，我们的目标是扩展可训练核方法的思想，以近似Transformer架构的自注意力机制。
2022-11-08 cs.AI cs.LG
Efficient online learning with kernels for adversarial large scale problems
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们感兴趣的是一个在线学习的框架，该框架具有低维但大规模和潜在的对抗性数据集的内核。我们研究核岭回归的在线变化的计算和理论性能。尽管它的简单性，我们研究的算法是第一个实现最佳遗憾的广泛的内核，每轮复杂度为$n^α$与$α< 2$。我们考虑的算法是基于近似的核与基函数的线性跨度。我们的贡献是双重的：1）对于高斯核，我们建议通过泰勒展开预先（独立于数据）构建基础。对于$d$维输入，我们提供了一个（接近）最优遗憾顺序$O((\log n)^{d+1})$与每轮的时间复杂度和空间复杂度$O((\log n)^{2d})$。这使得该算法是一个合适的选择，尽快$n \gg e^d$，这可能发生在场景中的小尺寸和大规模的数据集; 2）对于一般的核与低有效维数，基函数的更新顺序在数据自适应的方式通过采样Nystr{<$}m点。在这种情况下，我们的算法改进了已知的在线内核回归的计算权衡。
2019-05-29 cs.LG math.ST stat.ML
Perturbational Complexity by Distribution Mismatch: A Systematic Analysis of Reinforcement Learning in Reproducing Kernel Hilbert Space
Princeton University（普林斯顿大学）；Flatiron Institute（熨斗研究所）
现有的强化学习（RL）理论分析大多局限于表格设置或线性模型，这是由于难以处理高维空间和不确定环境中的函数逼近问题。这项工作提供了一个新的视角到这一挑战，通过分析RL在一般的再生核希尔伯特空间（RKHS）。考虑一类Markov决策过程$\mathcal{M}$，其奖励函数位于RKHS的单位球内，转移概率位于给定的任意集合内.我们定义了一个称为扰动复杂度的量由分布失配$Δ_{\mathcal{M}}(ε)$来表征的复杂性，可容许的状态-动作分布空间中的RKHS与尺度$ε$的扰动。我们表明，$Δ_{\mathcal{M}}(ε)$给出了所有可能的算法的误差的下限和两个特定的算法（拟合奖励和拟合Q-迭代）的RL问题的上限。因此，$Δ_\mathcal{M}(ε)$相对于$ε$的衰减度量了RL问题在$\mathcal{M}$上的难度。我们还提供了一些具体的例子，并讨论了在这些例子中，$Δ_{\mathcal{M}}(ε)$是否衰减快。作为一个副产品，我们表明，当奖励函数位于一个高维RKHS，即使转移概率是已知的，行动空间是有限的，它仍然是可能的RL问题，从维数灾难。
2022-03-28 cs.LG
Asymptotic Optimism of Random-Design Linear and Kernel Regression Models
Department of Statistics, Rice University（里士大学统计系）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Amazon（亚马逊公司）；Department of Statistics, the Ohio State University（俄亥俄州立大学统计系）
本文推导了随机设计下线性回归及核岭回归的闭式渐近乐观度，提出以尺度化乐观度作为预测复杂度度量，并从理论和实验上揭示了ReLU神经网络与切线核模型在该度量下的行为差异。
2025-08-16 cs.LG math.ST stat.ML
Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Jilin University（吉林大学）
针对现有成对学习OGD算法仅适用于线性模型、需样本独立假设的问题，提出基于随机样本与移动平均的轻量级核化OGD算法，结合随机傅里叶特征降核计算复杂度，在多场景下性能更优。
2024-02-02 cs.LG
The Maximum von Neumann Entropy Principle: Theory and Applications in Machine Learning
Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）
本文提出最大冯·诺依曼熵原理，通过博弈论框架为核学习中的熵最大化提供理论基础，并展示其在核表示选择和矩阵补全中的应用。
2026-02-02 cs.IT cs.LG math.IT
Efficient Kernel UCB for Contextual Bandits
Criteo AI Lab（Criteo人工智能实验室）；Inria（法国国家信息与自动化研究所）；NYU Center for Data Science（纽约大学数据科学中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
在本文中，我们解决了核UCB算法在上下文强盗的计算效率。虽然标准方法需要O（CT^3）的复杂度，其中T是地平线，常数C与优化UCB规则有关，但我们提出了一种有效的上下文算法来解决大规模问题。具体来说，我们的方法依赖于上下文和动作的联合内核嵌入的增量Nystrom近似。这使得我们可以实现O（CTm^2）的复杂度，其中m是Nystrom点的数量。为了恢复与标准核化UCB算法相同的遗憾，m需要是问题的有效维数的阶，其至多为O（\sqrt（T）），并且在某些情况下几乎是常数。
2022-02-11 cs.LG
Neural Generalization of Multiple Kernel Learning
Saarland University（萨尔大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Aalto University（阿尔托大学）
该研究将典型多核学习算法解释为线性激活的单层神经网络，提出带非线性激活的多层神经泛化多核学习框架NGMKL，提升了算法复杂度与识别准确率。
2023-05-04 cs.LG
Graph-Aided Online Multi-Kernel Learning
University of California, Irvine（加州大学欧文分校）
多核学习（MKL）已广泛应用于函数逼近任务。MKL的关键问题是将内核组合到指定的字典中。字典中包含不相关的核会降低MKL的准确性，并增加计算复杂性。为了提高函数逼近的精度，降低计算复杂性，研究了数据驱动的核函数选择方法.具体地说，基于内核之间的相似性，新的框架构造和细化一个图，以帮助选择一个子集的内核。此外，随机特征近似被用来使连续获得的数据的在线实施。理论分析表明，我们提出的算法享有更严格的次线性遗憾界相比，最先进的基于图的在线MKL替代品。在一些真实数据集上的实验也展示了我们新的图形辅助框架的优势。
2021-02-09 cs.LG
Quantum Kernels for Parity-Structured Classification: A Hybrid Pipeline
Texas A\&M University, Department of Mathematics College Station, TX, USA ORCID: 0000-0001-7448-5723
本文研究量子核在奇偶复杂度下的优势，通过混合流程揭示奇偶结构，发现高复杂度下量子核性能显著优于经典方法。
2026-05-07 cs.LG quant-ph
Labeled Subgraph Entropy Kernel
近年来，核方法在相似性度量中得到了广泛的应用。具体而言，图核被广泛用于生物信息学、化学和金融数据分析领域。然而，现有的方法，特别是基于熵的图核，受到大的计算复杂性和节点级信息的忽视。本文提出了一种新的标记子图熵图核，它在结构相似性评估中表现良好。设计了一种动态规划子图枚举算法，有效地降低了时间复杂度。特别地，我们提出了标记子图，它丰富了子结构拓扑的语义信息。类比统计力学中气体团簇的团簇膨胀过程，重新推导了配分函数，并计算了全局图熵来表征网络。为了测试我们的方法，我们应用了几个真实世界的数据集，并评估了不同任务的效果。为了捕捉更多的实验细节，我们定量和定性地分析了不同的拓扑结构的贡献。实验结果成功地证明了我们的方法的有效性，优于几个国家的最先进的方法。
2023-03-21 cs.LG
Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）
针对Transformer过度自信问题，提出KEP-SVGP方法，利用核SVD处理注意力核不对称性，构建不确定性自注意力，降低复杂度并在分布内外基准上验证性能。
2024-05-28 cs.AI cs.CV cs.LG
The Signature Kernel is the solution of a Goursat PDE
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）
最近，人们对开发用于序列数据学习的核方法越来越感兴趣。特征核是一种学习工具，具有处理不规则采样的多元时间序列的潜力。在“Kernels for sequentially ordered data”中，作者介绍了一种用于截断版本的内核技巧，避免了直接计算中涉及的指数复杂性。在这里，我们表明，连续可微的路径，签名内核解决了双曲型偏微分方程，并认识到与一类众所周知的微分方程在文献中称为Goursat问题的连接。该Goursat PDE仅取决于输入序列的增量，不需要显式计算签名，并且可以使用最先进的抛物型PDE数值求解器有效地求解，从而为未截断的签名核提供核技巧，其原始复杂度与来自“用于顺序排序数据的核”的方法相同，但具有PDE数值方案非常适合GPU并行化的优点，这有效地将输入序列长度的复杂度降低了完整的数量级。此外，我们将前面的分析扩展到几何粗糙路径的空间，并使用粗糙路径理论的经典结果，建立签名核的粗糙版本解决了类似于上述Goursat PDE的粗糙积分方程。最后，我们实证证明了我们的PDE内核作为机器学习工具在处理序列数据的各种机器学习应用程序中的有效性。我们在https://github.com/crispitagorico/sigkernel上公开发布了sigkernel库。
2021-03-20 cs.LG math.AP
Kernel-Complexity Edge Sanitization for Training-Free Defense against Structural Graph Attacks
Dartmouth College（达特茅斯学院）
针对图神经网络易受结构攻击的问题，提出无训练、模型无关的核复杂度边清洗（KCES）框架，基于图核复杂度量化边影响并剪除高KC边，实验证明其高效且优于现有防御。
2026-09-10 cs.AI cs.LG
Geometry-Aware Graph Construction via Adaptive Spectral Bandwidth Control
University of Southern California（南加州大学）
该研究提出自适应谱带宽控制方法，使核化图方法的带宽与流形固有复杂度匹配，在CIFAR-100上验证其可提升自监督学习嵌入的分类与标签传播准确率。
2026-09-04 cs.LG eess.SP
Fast Newton method solving KLR based on Multilevel Circulant Matrix with log-linear complexity
Xidian University（西安电子科技大学）
核逻辑回归（KLR）是机器学习中常用的非线性分类器。随着数据量的爆炸式增长，大型稠密核矩阵的存储和计算是扩展KLR的主要挑战。即使采用Nyström近似求解KLR，也面临着$O(nc^2)$的时间复杂度和$O(nc)$的空间复杂度，其中$n$是训练实例的数量，$c$是采样大小。本文利用多级循环矩阵的存储和计算优势，提出了一种快速牛顿法，有效地求解大规模KLR问题。具体地，通过用MCM近似核矩阵，存储空间减少到$O(n)$，并且进一步将牛顿方程的系数矩阵近似为MCM，牛顿迭代的计算复杂性减少到$O(n \log n)$。由于MCM（或其逆）与向量的乘法可以用多维快速傅立叶变换（mFFT）实现，因此该方法的每次迭代时间复杂度为对数线性。对一些大规模二分类和多分类问题的实验结果表明，该方法使KLR能够在不牺牲测试准确性的情况下以更少的内存消耗和更少的训练时间扩展到大规模问题。
2022-07-28 cs.LG
