A Fast Kernel-based Conditional Independence test with Application to Causal Discovery
University of Hamburg（汉堡大学）
本文提出FastKCI，一种基于核的快速条件独立性检验方法，通过并行化和专家混合策略提升计算效率，适用于大规模因果发现任务。
2025-12-04 cs.AI cs.LG stat.ML
Fast Gaussian process inference by exact Matérn kernel decomposition
Guangdong Provincial/Zhuhai Key Laboratory of Interdisciplinary Research and Application for Data Science, Beijing Normal-Hong Kong Baptist University（广东/珠海交叉学科与数据科学应用重点实验室，北京师范大学-香港 Baptist大学）；EDF Lab, FiME (Laboratoire de Finance des Marchés de l’Énergie)（EDF实验室，FiME（能源市场金融实验室））
本文提出一种基于精确核分解为加权经验累积分布函数的快速高斯过程推断算法，适用于半整数平滑参数的多元Matérn核，采用分治策略，有效处理数十万数据点的低维问题。
2025-08-03 cs.DS cs.LG stat.CO
Fast Evaluation of Additive Kernels: Feature Arrangement, Fourier Methods, and Kernel Derivatives
University of Technology Chemnitz（开姆尼茨工业大学）
针对高维特征空间中核矩阵向量乘积近似性能下降的问题，提出基于非均匀快速傅里叶变换（NFFT）的加性核快速评估技术，并提供了严格的误差分析，同时支持核超参数导数矩阵的近似，在多个数据集上验证了其有效性。
2024-04-26 cs.LG cs.NA math.NA
Deep Kernel Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
我们引入了可扩展的深度内核，它将深度学习架构的结构特性与内核方法的非参数灵活性相结合。具体来说，我们转换的输入的光谱混合基内核与一个深的架构，使用本地内核插值，诱导点，和结构利用（克罗内克和Toeplitz）代数的可扩展的内核表示。这些封闭形式的内核可以作为标准内核的直接替代品，在表达能力和可伸缩性方面都有好处。我们通过高斯过程的边缘似然性共同学习这些内核的属性。$n$训练点的推理和学习成本为$O(n)$，每个测试点的预测成本为$O(1)$。在大量不同的应用程序集合中，包括具有200万个示例的数据集，我们通过灵活的内核学习模型和独立的深度架构，展示了可扩展高斯过程的性能改进。
2015-11-06 cs.AI cs.LG stat.ME
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程，其协方差（核）由最近提出的稳定样条核给出，该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性，我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下，并采用一种新的马尔可夫链蒙特卡罗（MCMC）方法求解。特别是，利用拉普拉斯随机变量的高斯尺度混合物的表示，我们设计了一个吉布斯采样器，快速收敛到目标分布。数值模拟表明，在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
The Fast Kernel Transform
Cornell University（康奈尔大学）
核方法是现代机器学习算法的一个高效且广泛使用的集合。实际上所有这些方法的基本限制是涉及简单地二次缩放的核矩阵的计算（例如，构造核矩阵和矩阵向量乘法）或三次（求解线性系统）与数据集的大小$N.$我们提出了快速核变换（FKT），一种通用算法，用于计算具有准线性复杂度的中等维度数据集的矩阵向量乘法（MVMs）。通常，基于分析的快速乘法方法需要针对特定内核进行专门的开发。相比之下，我们的计划是基于自动微分和自动符号计算，利用底层内核的分析结构。这使得FKT可以很容易地应用于广泛的内核，包括高斯，Matern和有理二次协方差函数和物理激励的格林函数，包括拉普拉斯和亥姆霍兹方程。此外，FKT保持了高的、可量化的和可控的精度水平--这是许多加速方法所缺乏的特性。我们说明了FKT的有效性和多功能性，通过提供时间和准确性基准，并将其应用于规模的随机邻域嵌入（t-SNE）和高斯过程的大型现实世界的数据集。
2021-06-08 cs.LG cs.NA math.NA
Recursive Multikernel Filters Exploiting Nonlinear Temporal Structure
University of Cantabria（坎塔布里亚大学）；Sapienza University（罗马大学）
在核方法中，通常通过使用时间延迟嵌入作为输入来包括关于数据的时间信息。最近，通过在再生核Hilbert空间中显式定义伽马滤波器，提出了一种替代公式，从而产生了一个复杂的模型，其中多个核对输入信号的不同时间组合进行操作。在原始公式中，然后简单地组合内核以获得单个内核矩阵（例如通过平均），这提供了计算优势，但丢弃了关于信号的时间结构的重要信息。受多核学习工作的启发，我们通过单独考虑不同的内核来克服这个缺点。我们提出了一种有效的策略，在训练阶段自适应地组合和选择这些内核。由此产生的批处理和在线算法自动学习处理从输入信号中提取的高度非线性的时间信息，这些信息隐式地编码在核值中。我们评估了我们的建议在几个人工和真实的任务，表明它可以优于经典的方法，在批量和在线设置。
2017-06-12 cs.LG stat.ML
Fast Optimal Bandwidth Selection for RBF Kernel using Reproducing Kernel Hilbert Space Operators for Kernel Based Classifiers
IRISA（法国信息与随机系统研究所）
基于核的方法在许多遥感分类任务中表现出了有效的性能。然而，它们的性能显着依赖于其超参数。估计参数的常规技术具有高计算复杂度。因此，这封信的目的是提出一种快速有效的方法来选择高斯核的带宽参数在基于核的分类方法。提出的方法是基于再生核希尔伯特空间中的算子，并在支持向量机和PerTurbo分类方法上进行评估。高光谱数据集进行的实验表明，我们提出的方法优于国家的最先进的方法在计算时间和分类性能。
2018-04-14 cs.LG stat.ML
A Fast, Principled Working Set Algorithm for Exploiting Piecewise Linear Structure in Convex Problems
University of Washington（华盛顿大学）
通过将优化简化为一系列更小的子问题，工作集算法实现了许多机器学习问题的快速收敛。尽管有这样的性能，工作集实现经常诉诸于算法来确定子问题的大小，组成和停止标准。我们提出了BlitzWS，一个工作集算法与有用的理论保证。我们的理论将子问题的大小和停止标准与每次迭代的进度相关联。这一结果激发了优化算法参数和丢弃不相关组件的策略，因为BlitzWS朝着解决方案前进。BlitzWS适用于许多凸问题，包括训练L1正则化模型和支持向量机。我们展示了这种多功能性与实证比较，这表明BlitzWS确实是一个快速的算法。
2018-07-20 cs.LG stat.ML
A la Carte - Learning Fast Kernels
Carnegie Mellon University（卡内基梅隆大学）；Google Strategic Technologies（谷歌战略技术部门）；Georgia Institute of Technology（佐治亚理工学院）
核方法在学习大型现代数据集的丰富统计表示方面具有很大的潜力。然而，与神经网络相比，核方法被认为缺乏可扩展性和灵活性。我们介绍了一系列快速，灵活，轻参数化和通用的内核学习方法，来自Fastfood基函数扩展。我们提供的机制来学习这些扩展，这只需要O（mlogd）的时间和O（m）的内存，为m个基函数和d输入尺寸组的频谱频率的属性。我们表明，所提出的方法可以学习广泛的内核，在准确性，速度和内存消耗方面优于替代品。
2014-12-19 cs.LG stat.ML
Very Fast Kernel SVM under Budget Constraints
ENSEA（法国高等电力学院）；Université de Cergy-Pontoise（塞尔吉-蓬图瓦兹大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种快速在线核SVM算法在紧预算约束。我们建议使用LVQ分割输入空间，并在每个聚类中训练一个核SVM。为了允许在线训练，我们建议使用不同的策略限制每个集群的支持向量集的大小。我们在实验中表明，我们的算法能够实现高精度，同时在训练和评估中每秒处理的样本数量非常多。
2016-12-31 cs.LG stat.ML
Fast Graph Kernel with Optical Random Features
LightOn（LightOn公司）
图核是图分类的经典方法。然而，它遭受了高的计算成本，由于同构测试，它包括。作为一个通用的代理，并且通常以丢失一些信息为代价，这个测试可以有效地被计算各种图形特征的用户定义的映射所取代。在本文中，我们建议在graphlet框架内利用内核随机特征，并与平均内核度量建立理论联系。如果这种方法对于通常的随机特征仍然是昂贵的，那么我们将结合可以在恒定时间内计算的光学随机特征。实验表明，所得到的算法是数量级更快的graphlet内核相同，或更好的精度。
2020-10-16 cs.LG stat.ML
Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
Aalto University（阿尔托大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
核函数是一种强有力的工具，通过核技巧来增强$k$ -均值聚类算法。已知所选核函数的参数可以对结果具有显著影响。在监督设置中，这些可以通过交叉验证进行调整，但对于聚类来说，这并不简单，通常采用分类法。在本文中，我们研究了核参数对核$k$ -均值的影响。特别是，我们推导出一个下界，紧到常数因子，低于该参数的RBF内核将使内核$k$ -意味着毫无意义。我们认为，网格搜索可以是无效的超参数搜索在这种情况下，并提出了一种替代算法。此外，我们提供了一个有效的实现的基础上快速近似取幂可证明的质量保证。我们的实验结果表明，我们的方法能够有效地揭示一组丰富而有用的超参数值。
2020-06-24 cs.LG stat.ML
Fast Approximation and Estimation Bounds of Kernel Quadrature for Infinitely Wide Models
RIKEN AIP（日本理化学研究所革新智能综合研究中心）
无限宽模型是特征图的加权积分$\int φ(x,v) d μ(v)$。该模型擅长处理无限数量的特征，因此已被用于深度学习的理论研究。核求积是一种基于核的数值积分方案，用于快速逼近期望值$\int f(x) d p(x)$。在这项研究中，关于重量$μ$作为一个有符号（或复杂/向量值）分布的参数，我们开发的一般核求积（GKQ）的参数分布。所提出的方法可以实现一个快速的近似速度$O(e^{-p})$与参数数$p$，这是比传统的巴伦的速度，和一个快速的估计速度$\widetilde{O}(1/n)$与样本量$n$。因此，我们得到了一个新的基于范数的复杂性度量的无限宽模型。由于GKQ隐式地进行经验风险最小化，因此我们可以理解复杂性度量也反映了梯度学习设置中的泛化性能。
2020-07-07 cs.LG stat.ML
Fast Kernel k-means Clustering Using Incomplete Cholesky Factorization
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
基于核的聚类算法可以识别和捕捉数据集中的非线性结构，从而可以获得比线性聚类更好的性能。然而，计算和存储整个核矩阵占用大量内存，这是基于核的聚类很难处理大规模的数据集。在本文中，我们采用不完全Cholesky分解加速核聚类和节省内存空间。提出的核$k$ -均值聚类的核心思想是，我们近似的低秩矩阵和转置的产品的整个核矩阵使用不完全Cholesky分解。然后将线性$k$均值聚类应用于低秩矩阵的转置的列。我们分析和经验表明，该算法的性能是类似的内核$k$均值聚类算法，但我们的方法可以处理大规模的数据集。
2020-02-07 cs.LG stat.ML
fastkqr: A Fast Algorithm for Kernel Quantile Regression
Department of Statistics and Actuarial Science, University of Iowa（统计与精算科学系，爱荷华大学）；Department of Statistics, University of Connecticut（统计系，康涅狄格大学）
本文提出名为 fastkqr 的新算法，通过有限平滑算法和谱技术加速再生核 Hilbert 空间中的分位数回归计算，并扩展至数据驱动交叉惩罚以解决可解释性问题，精度匹配现有算法且速度提升最高达一个数量级。
2025-08-12 cs.LG stat.ML
ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels
Monash University（莫纳什大学）
大多数用于时间序列分类的方法达到最先进的精度具有高的计算复杂性，即使对于较小的数据集也需要大量的训练时间，并且对于较大的数据集是难以处理的。此外，许多现有的方法专注于单一类型的特征，如形状或频率。在最近卷积神经网络在时间序列分类方面取得成功的基础上，我们证明使用随机卷积核的简单线性分类器可以实现最先进的准确性，而计算费用仅为现有方法的一小部分。
2019-10-29 cs.LG stat.ML
Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们试图解决一个长期开放的问题，非正定（non-PD）核在机器学习社区：一个给定的non-PD核可以被分解为两个PD核的差（称为正分解）？通过引入\emph{signed measure}，将正分解转化为测度分解：一系列非PD核可以与特定有限Borel测度的线性组合相关联，我们将这个问题作为一个分布视图。通过这种方式，我们的基于分布的框架提供了一个充分和必要的条件来回答这个开放的问题。具体地说，这种解决方案在实践中也是计算上可实现的，以在大样本情况下缩放非PD内核，这使我们能够设计第一个随机特征算法来获得无偏估计。在多个基准数据集上的实验结果验证了该算法的有效性。
2021-02-09 cs.LG stat.ML
Fast training of large kernel models with delayed projections
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌公司）；IIT Bombay（印度理工学院孟买分校）
本文提出EigenPro4算法，通过将延迟投影引入预条件随机梯度下降，使核机器能随数据与模型规模高效扩展，在多个数据集上实现大幅训练加速并保持或提升分类准确率。
2024-11-25 cs.LG stat.ML
Far-Field Compression for Fast Kernel Summation Methods in High Dimensions
我们考虑在高维快速核求和：给定一个大的$d$维（与$d \gg 3$）和一个对势函数（{ \em核}函数）的点集，我们计算所有成对的核相互作用的加权和在集合中的每个点。直接求和等价于（密集）矩阵向量乘法，并与点数成二次方。快速核求和算法将此成本降低到对数线性或线性复杂度。树码和快速多极方法（Fast Multipole Method，FIMPS）通过构建彼此远离的点的相互作用的近似表示来提供巨大的加速比。在代数方面，这些表示对应于整体相互作用矩阵的块的低秩近似。现有的方法需要大量的内核评估与增加$d$和数据集中的点的数量。为了解决这个问题，我们使用一个随机代数的方法，我们首先采样块的行，然后构建其近似的，低秩插值分解。我们研究这种方法的可行性理论和实验。我们提供了一个新的理论结果，显示了更严格的约束上的重建误差均匀采样行比现有的国家的最先进的。我们证明了我们的采样方法是有竞争力的现有的（但过于昂贵）的方法从文献中。我们还为拉普拉斯、高斯和多项式内核构建内核矩阵--所有这些都是物理和数据分析中常用的。我们探讨这些矩阵块的数值特性，并表明，他们是服从我们的方法。根据不同的数据集，我们的随机算法可以成功地计算低秩近似在高维。我们报告了环境维度从4到1000的数据集的结果。
2015-02-13 cs.LG stat.ML
Fast Prediction with SVM Models Containing RBF Kernels
KU Leuven（鲁汶大学）
我们提出了一个近似方案的支持向量机模型，使用RBF核。一个二阶麦克劳林级数近似用于支持向量和测试实例之间的内积的指数。该近似适用于所有的核方法，其特征在于核评估的总和，并且不对数据规范化做任何假设。近似模型的预测速度不再与支持向量的数量有关，而是与输入维度的数量成二次关系。如果输入维度的数量与支持向量的数量相比很小，则近似模型的预测速度明显更快，并且内存占用更小。一个优化的C++实现，以评估在一组实际测试中的预测速度的增益。我们还提供了一种方法来验证近似精度，在训练模型之前或运行时，以确保精度损失保持可接受且在已知范围内。
2014-10-03 cs.LG stat.ML
Fast Sketching of Polynomial Kernels of Polynomial Degree
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
核方法是机器学习的基础，更快的核近似算法为机器学习中的许多核心任务提供了直接的加速。多项式核特别重要，因为其他核通常可以通过泰勒级数展开由多项式核近似。不经意草图绘制中的最新技术将运行时间对多项式核的次数$q$的依赖性从指数降低到多项式，这对于高斯核是有用的，对于高斯核，$q$可以被选择为是多对数的。然而，对于更缓慢增长的内核，如神经正切和反余弦内核，$q$需要是多项式的，以前的工作会导致运行时间的多项式因子减慢。我们给出了一个新的不经意的草图，大大提高了这个运行时间，通过消除对$q$的依赖，在领先的顺序项。结合一种新的采样方案，我们给出了最快的算法来近似一个大家庭的缓慢增长的内核。
2021-08-21 cs.DS cs.LG stat.ML
Fast and Scalable Score-Based Kernel Calibration Tests
Gatsby Computational Neuroscience Unit（加布特计算神经科学单位）；University College London（伦敦大学学院）；Department of Information Technology（信息技术系）；Uppsala University（乌普萨拉大学）；Division of Statistics and Machine Learning（统计与机器学习 division）；Linköping University（林雪平大学）
本文提出KCCSD检验，一种非参数核方法，用于评估概率模型校准，避免期望近似并控制第一类错误，在合成数据上验证了其有效性。
2025-10-16 cs.LG stat.ML
FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种基于一般参数化核和事件离散化的快速梯度求解器FaDIn，用于高效进行Hawkes过程推断，在脑磁图信号建模中实现了优于现有技术的模式延迟估计。
2023-08-02 cs.LG stat.ML
Fast Computation of Subpath Kernel for Trees
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
核方法是分析结构化数据（如序列、树和图）的一种潜在方法，然而，无序树尚未得到广泛研究。Kimura et al.（2011）提出了一种基于子路径的无序树的核函数，子路径是树的垂直子结构，负责其中的层次信息。他们的内核在精度和速度方面表现出实际上很好的性能;然而，线性时间计算在理论上不能保证，不像Vishwanathan和Smola（2003）提出的其他无序树内核。在本文中，我们提出了一个理论上保证线性时间内核计算算法，实际上是快速的，我们提出了一个有效的预测算法，其运行时间只取决于输入树的大小。实验结果表明，本文提出的算法在实际应用中是非常有效的.
2012-06-18 cs.DS cs.LG stat.ML
Extending Kernel PCA through Dualization: Sparsity, Robustness and Fast Algorithms
KU Leuven（鲁汶大学）
该研究通过凸函数差值的对偶化重新审视KPCA，提出可表示为Moreau envelopes的目标函数以兼顾鲁棒性与稀疏性，基于梯度的高效算法避免了格拉姆矩阵的昂贵SVD，实验证实训练速度显著提升且兼具鲁棒性和稀疏性优势。
2023-06-09 cs.LG stat.ML
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology（华南理工大学）
分层强化学习（HRL）利用时间上扩展的动作或选项从更高维的角度做出决策，以减轻稀疏奖励问题，这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计，要么需要大量的探索来自动从数据中学习选项。为了实现快速探索，而不使用手动设计，我们设计了一个多目标的HRL算法，由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱，因为它是由三个不同的子目标指导的，但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标，探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验，这是一个著名的稀疏奖励环境，在这样做的过程中，我们实现了与最先进的HRL方法相同的性能，同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
LMKL-Net: A Fast Localized Multiple Kernel Learning Solver via Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Cambridge, MA 02139-1955（剑桥，马萨诸塞州 02139-1955（注意：此部分为地址，不应作为机构提取））
在本文中，我们提出使用LMKL-Net（一种前馈深度神经网络）解决局部化多核学习（LMKL）。与以前的作品相比，作为一个学习原则，我们提出{ \em parameterizing}的门函数学习内核组合权重和多类分类器在LMKL使用的注意力网络（AN）和多层感知器（MLP），分别。通过这种方式，我们可以通过AN和MLP的顺序应用（近似）学习LMKL中的（非线性）决策函数。根据基准数据集的经验，我们证明了整体LMKL-Net不仅可以在准确性方面优于最先进的MKL求解器，而且可以更快地训练{ \em两个数量级}，并且对于大规模学习来说内存占用要小得多。
2018-05-22 cs.CV cs.LG stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Fast Convergence Rate of Multiple Kernel Learning with Elastic-net Regularization
我们研究了弹性网络正则化的多核学习算法的学习率，弹性网络正则化由一个用于引入稀疏性的$\ell_1$正则化器和一个用于控制光滑性的$\ell_2$正则化器组成.我们专注于一个稀疏的设置，其中内核的总数是大的，但地面真值的非零分量的数量相对较小，并证明弹性网MKL实现最小最大学习率的$\ell_2$ -混合范数球。我们的边界比以往任何时候都更尖锐的收敛速度，并具有一个性质，即越光滑的真相，收敛速度越快。
2011-07-13 stat.ML
Fast Polynomial Kernel Classification for Massive Data
Jiangxi Normal University（江西师范大学）；Xi’an Jiaotong University（西安交通大学）；University of Sydney（悉尼大学）
在大数据时代，期望开发高效的机器学习算法来解决诸如存储瓶颈、算法可扩展性和可解释性的海量数据挑战。在本文中，我们开发了一种新的高效的分类算法，称为快速多项式核分类（FPC），以克服可扩展性和存储的挑战。我们的主要工具是一个合适的选择功能映射的基础上多项式核和交替方向的方法乘数（ADMM）算法相关的非光滑凸优化问题。快速学习率以及可行性验证，包括ADMM求解器的效率与收敛保证和中心点的选择，建立证明FPC的理论行为。一系列的模拟和实际数据应用验证了我们的理论断言。数值结果表明，FPC显着减少了现有的学习计划，如支持向量机，Nyström和随机特征方法的计算负担和存储空间，而不会牺牲他们的泛化能力。
2022-11-11 cs.LG math.OC stat.ML
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley（加州大学伯克利分校）
核岭回归（KRR）是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本，计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似，并研究了如何小的投影尺寸$m$可以选择，同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图，包括那些基于高斯和随机Hadamard矩阵，我们证明，它足以选择草图尺寸$m$成比例的统计尺寸（模对数因子）。因此，我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM（概率与统计建模实验室）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；LMO（奥赛数学实验室）
针对核方法立方复杂度难以处理大规模数据的问题，提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架，在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
Stochastic Variational Deep Kernel Learning
Cornell University（康奈尔大学）；CMU（卡内基梅隆大学）
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程，该过程将深度内核学习方法推广到分类，多任务学习，加性协方差结构和随机梯度训练。具体来说，我们将加性基础内核应用于深度神经架构的输出特征子集，并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内，我们推导出一个有效的形式的随机变分推断，利用本地内核插值，诱导点，和结构利用代数。我们在几个分类基准上显示了独立深度网络，SVM和最先进的可扩展高斯过程的性能改进，包括包含600万个训练点的航班延误数据集，CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
Fast Summation of Radial Kernels via QMC Slicing
Université Paris Dauphine-PSL（巴黎多芬大学-PSL大学）；UCL（伦敦大学学院）；Technische Universität Berlin（柏林工业大学）
本文提出一种基于QMC切片和快速傅里叶求和的径向核快速求和算法，通过球面求积规则选择投影，显著优于现有方法。
2025-02-24 cs.LG cs.NA math.NA
Fast Neural Kernel Embeddings for General Activations
Yale University（耶鲁大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
无限宽度限制通过在神经网络和核方法之间建立联系，为深度学习的泛化和优化方面提供了启示。尽管它们很重要，但由于它们的（超）二次运行时间和内存复杂性，这些内核方法的实用性在大规模学习设置中受到限制。此外，大多数关于神经内核的先前工作都集中在ReLU激活上，这主要是由于其受欢迎程度，但也是由于难以计算用于一般激活的此类内核。在这项工作中，我们通过提供与一般激活一起工作的方法来克服这些困难。首先，我们编译和扩展的激活函数的列表，承认确切的双重激活表达式计算神经内核。当精确的计算是未知的，我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法，该方法可以近似任何多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，用于广泛的激活函数，超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球，我们的方法不受这样的限制，并适用于任何数据集的点在$\mathbb{R}^d$。此外，我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸，适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上，相对于精确卷积NTK（CNTK）计算，我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
The fast committor machine: Interpretable prediction with kernels
Colorado State University（科罗拉多州立大学）；Drexel University（德雷塞尔大学）；University of California San Diego（加州大学圣迭戈分校）
针对随机系统中承诺函数的近似问题，提出基于核的快速承诺函数机（FCM）算法，采用随机线性代数确定系数实现线性时间复杂度，实验显示其在精度、速度和可解释性上均优于同参数量神经网络。
2024-08-10 cs.LG cs.NA math.NA
Approximate Kernel-based Conditional Independence Tests for Fast Non-Parametric Causal Discovery
基于约束的因果发现（CCD）算法需要快速准确的条件独立性（CI）测试。核条件独立性检验（KCIT）是目前最流行的非参数条件下的CI检验方法之一，但由于该检验方法与样本量的关系不大，许多研究者无法将其应用于大数据集。因此，我们设计了两个松弛称为随机条件独立性测试（RCIT）和随机条件相关性测试（RCoT），这两个近似KCIT利用随机傅立叶特征。在实践中，这两个拟议的测试规模与样本量线性和返回准确的p值比KCIT在大样本量的背景下快得多。使用RCIT或RCoT运行的CCD算法也返回至少与使用KCIT运行的相同算法一样准确的图形，但运行时间大大减少。
2017-04-13 stat.ME stat.ML
A fast and effective kernel two-sample test for large-scale data
针对现有核两样本检验在高维大规模数据下计算量大、部分备择假设效果差的问题，提出一种无需参数优化、高维下更稳健且检验功效高的新方法，经合成与真实数据验证效果良好。
2025-10-02 stat.ME stat.ML
Fast, Precise Myelin Water Quantification using DESS MRI and Kernel Learning
目的：研究使用快速双回波稳态（DESS）扫描和带内核的机器学习进行髓鞘水含量定量的可行性。研究方法：我们优化了稳态（SS）扫描的组合，以精确估计两室信号模型的快速弛豫信号分数ff，并受扫描时间约束。我们估计FF从优化的DESS收购使用最近开发的方法，通过回归内核（PERK）的快速参数估计。我们比较了DESS PERK ff估计传统的髓鞘水分数（MWF）估计从一个较长的多回波自旋回波（MESE）采集模拟，在体内和体外研究。结果：模拟表明，DESS PERK ff估计和MESE MWF估计达到可比的误差水平。体内和离体实验表明，MESE MWF和DESS PERK ff估计是WM髓鞘水含量的定量可比测量。据我们所知，这些实验是第一次证明髓鞘水图像从SS收购，定量类似于传统的MESE MWF图像。结论：可以设计快速DESS扫描的组合以实现精确的ff估计。PERK非常适合ff估计。DESS PERK ff和MESE MWF估计值是WM髓鞘水含量的定量相似测量。
2018-09-24 physics.med-ph stat.ML
Dual-Tree Fast Gauss Transforms
核密度估计（KDE）是一种流行的统计技术，用于在最小假设的情况下估计潜在的密度分布。虽然它们可以被证明可以实现任何输入分布的渐近估计最优性，但最优参数的交叉验证需要大量的计算，主要是核求和。本文提出了一种改进的双树算法，第一个实用的核求和算法的一般维数。我们的扩展是基于快速高斯变换所使用的高斯核的级数展开。首先，我们推导出两个额外的分析机制，用于扩展原始算法，利用分层数据结构，展示了第一个真正的分层快速高斯变换。其次，我们展示了如何将双树方法中的级数展开近似与用户可控的相对误差界相结合来计算核求和。我们评估我们的算法在真实世界的数据集的背景下，最佳带宽选择内核密度估计。我们的结果表明，我们的新算法是唯一一种保证硬相对误差界并在交叉验证过程中评估的广泛带宽范围内提供快速性能的算法。
2011-02-14 cs.DS stat.CO stat.ML
Symmetric and antisymmetric kernels for machine learning problems in quantum physics and chemistry
我们通过对称化和反对称化传统核函数得到了对称和反对称核函数，并分析了它们的性质。特别是，我们计算得到的多项式内核的特征空间维度，证明了对称和反对称高斯内核诱导的再生核希尔伯特空间在对称和反对称函数的空间中是稠密的，并提出了反对称高斯内核的斯莱特行列式表示，即使状态空间是高维的，也可以进行有效的评估。此外，我们表明，通过利用对称或反对称的训练数据集的大小可以显着减少。结果说明了指导性的例子和简单的量子物理和化学应用。
2021-06-26 math-ph math.MP physics.chem-ph
Fast rates for support vector machines using Gaussian kernels
对于二进制分类，我们建立了学习率的顺序为$n^{-1}$的支持向量机（SVM）铰链损失和高斯RBF内核。这些速率是在两个假设所考虑的分布：Tsybakov的噪声假设建立一个小的估计误差，和一个新的几何噪声条件，这是用来约束的近似误差。与以前提出的概念为界的近似误差，几何噪声假设不采用任何平滑假设。
2007-08-14 math.ST stat.ML stat.TH
Fast learning rate of multiple kernel learning: Trade-off between sparsity and smoothness
我们研究了多核学习（MKL）与$\ell_1$和弹性网络正则化的学习率。弹性网络正则化是用于诱导稀疏性的$\ell_1$正则化器和用于控制平滑性的$\ell_2$正则化器的组合。我们专注于稀疏设置，其中内核的总数很大，但地面真值的非零分量的数量相对较小，并且显示出比$\ell_1$和弹性网络正则化的学习速率更快的收敛速率。我们的分析揭示了正则化函数的选择和性能之间的一些关系。如果地面真理是光滑的，我们显示了更快的收敛速度的弹性网络正则化与更少的条件比$\ell_1$ -正则化;否则，更快的收敛速度的$\ell_1$ -正则化。
2013-08-26 math.ST stat.ML stat.TH
Fast Spectrum Estimation of Some Kernel Matrices
Emory University（埃默里大学）
提出一种无需显式构造完整核矩阵即可估计其所有特征值量级的框架，适用于均匀分布点集上快速衰减核函数生成的矩阵，并给出理论保证和实验验证。
2026-05-25 cs.NA math.NA stat.ML
