Scalable Linearized Laplace Approximation via Surrogate Neural Kernel
Machine Learning Group - Computer Science Department Escuela Politécnica Superior（计算机科学系机器学习小组）；Computer Science Department Escuela Politécnica Superior（计算机科学系）；Universidad Autónoma de Madrid（马德里自治大学）；Universidad Pontificia de Comillas（天主教comillas大学）；Aalborg University Copenhagen（哥本哈根奥胡斯大学）；Centro de Investigación Avanzada en Física Fundamental Universidad Autónoma de Madrid（马德里自治大学先进物理基础研究中心）
本文提出了一种通过代理神经网络学习紧凑特征表示，以复现神经切线核并提升大规模预训练模型预测不确定性估计的方法。
2026-02-03 cs.LG
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University（卡内基梅隆大学）；Philips Research Hamburg（飞利浦汉堡研究院）
我们引入了一个新的结构化核插值（SKI）框架，该框架推广和统一了可伸缩高斯过程（GP）的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导（又名插值）点的数量、插值策略和GP协方差核。SKI还提供了一种机制，通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值，我们引入了KISS-GP，它1）比诱导点替代方案更具可扩展性，2）自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益，而不需要任何网格数据，3）可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O（n）。我们评估KISS-GP的核矩阵近似，核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
ALinFiK: Learning to Approximate Linearized Future Influence Kernel for Scalable Third-Party LLM Data Valuation
Google LLC（谷歌公司）；Rochester Institute of Technology（罗切斯特理工学院）；Stevens Institute of Technology（史蒂文斯理工学院）；Northeastern University（东北大学）
本文提出 LinFiK 衡量训练样本对 LLM 未来性能的影响，并通过 ALinFiK 学习近似以实现高效、可扩展的第三方数据估值，效果与效率均优于基线。
2025-05-12 cs.LG
Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
University of Waterloo（滑铁卢大学）；Vector Institute for AI（Vector人工智能研究院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在应用联邦学习（FL）框架的典型场景中，客户端通常没有足够的训练数据来生成准确的模型。因此，不仅提供点估计，而且还提供某种置信度概念的模型是有益的。高斯过程（GP）是一个强大的贝叶斯模型，具有自然校准的方差估计。然而，学习一个独立的全局GP是具有挑战性的，因为合并局部内核会导致隐私泄漏。为了保护隐私，以前考虑联邦GP的作品通过关注个性化设置或学习局部模型的集合来避免学习全局模型。我们提出了联邦贝叶斯神经回归（FedBNR），这是一种学习可扩展的独立全球联邦GP的算法，该算法尊重客户的隐私。我们通过定义统一的随机内核，将深度内核学习和随机特性结合起来，以实现可扩展性。我们表明，这种随机内核可以恢复任何平稳内核和许多非平稳内核。然后，我们推导出一种学习全局预测模型的原则性方法，就好像所有客户端数据都是集中的一样。我们还学习全局内核与知识蒸馏方法的非相同和独立分布（非i.i.d.）客户.在真实世界的回归数据集上进行了实验，与其他联邦GP模型相比，实验显示出统计上的显着改进。
2022-06-13 cs.LG
Scalable Kernel Learning via the Discriminant Information
Princeton University（普林斯顿大学）
核近似方法创建显式的低维核特征映射，以处理标准技术的高计算和存储复杂性。这项工作研究了一种监督核学习方法来优化这种映射。我们利用判别信息标准，一种与判别分析有很强联系的类可分性度量。通过推广这种措施，以涵盖更广泛的内核映射和学习设置，我们开发了可扩展的方法来学习具有高鉴别力的内核功能。在几个数据集上的实验结果表明，我们的技术可以提高最先进的核学习方法的优化和泛化性能。
2020-02-14 cs.LG stat.ML
TabKDE: Simple and Scalable Tabular Data Generation with Kernel Density Estimates
University of Utah（犹他大学）；Visa Research（Visa研究）
本文提出了一种基于核密度估计的表格数据生成方法，能够在无需大量训练时间的情况下实现与现有方法相当的准确性和防泄漏性能，并且能够高效处理大规模数据集。
2026-05-17 cs.LG
Scalable Bayesian Deep Learning with Kernel Seed Networks
The University of Queensland（昆士兰大学）
本文讨论了贝叶斯深度神经网络的可扩展性问题。深度神经网络的性能受到了这些算法不确定性校准措施的影响。这限制了它们在计算机辅助诊断和自主车辆导航等高风险领域的应用。贝叶斯深度学习（BDL）为在神经网络中表示不确定性提供了一种很有前途的方法。然而，BDL需要一组单独的参数来存储模型权重的均值和标准差，以学习分布。这导致模型参数的数量增加了2倍。为了解决这个问题，我们提出了一种执行BDL的方法，即内核种子网络（KSN），它不需要增加2倍的参数数量。KSN使用1x1卷积运算来学习参数分布的压缩潜在空间表示。在本文中，我们将展示如何使KSN优于传统的BDL方法，同时减少所需参数的数量高达6.6倍。
2021-04-19 cs.LG
Tanimoto Random Features for Scalable Molecular Machine Learning
University of Cambridge（剑桥大学）
本文提出两类新颖的 Tanimoto 核随机特征，使其可扩展至大型数据集，并扩展至实值向量；理论上给出 Gram 矩阵谱范数误差界，实验证明其能有效近似真实数据集系数，并助力分子性质预测与优化。
2023-11-13 cs.LG
A Geometric Algorithm for Scalable Multiple Kernel Learning
我们提出了一个几何公式的多核学习（MKL）问题。为此，我们重新解释学习核权重的问题，寻找一个核，最大限度地提高两个凸多面体之间的最小（核）距离。这种解释结合新的结构见解，从我们的几何公式，使我们能够减少MKL问题的一个简单的优化程序，产生可证明的收敛性以及质量保证。因此，我们的方法可以有效地扩展到比大多数现有方法可以处理的更大的数据集。对11个数据集的实证评估表明，我们的速度明显更快，甚至可以与统一的未加权内核组合相媲美。
2014-03-15 cs.LG stat.ML
Topology Based Scalable Graph Kernels
Yahoo Research（雅虎研究院）；Intel Inc.（英特尔公司）
我们提出了一个新的图核的图分类和比较使用奥利维尔里奇曲率。图中边的Ricci曲率描述了局部邻域的连通性。密集连接邻域中的边具有正曲率，而用作局部桥的边具有负曲率。我们使用的边缘曲率分布，形成一个图形的核心，然后使用比较和聚类图。曲率核纯粹使用图形拓扑，因此在节点属性不可用时用于设置。
2019-07-15 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Microsoft Research New England（微软新英格兰研究院）；New York University（纽约大学）
我们引入了一个新的可扩展的变分高斯过程近似，它提供了一个高保真度的近似，同时保持普遍适用性。我们提出了谐波核分解（HKD），它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性，使大量的诱导点在一个低的计算成本。我们证明，在一系列的回归和分类问题，我们的方法可以利用输入空间的对称性，如翻译和反射，它显着优于标准的变分方法的可扩展性和准确性。值得注意的是，我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Scalable Learning in Reproducing Kernel Krein Spaces
King’s College London（伦敦国王学院）；University of Nottingham（诺丁汉大学）
我们提供了第一个数学上完整的推导的Nyström方法的低秩近似的不定内核，并提出了一个有效的方法，找到一个近似的特征分解这样的内核矩阵。在此基础上，我们设计了高度可扩展的方法来学习再生核Kre \u <$n空间。所设计的方法提供了一个原则和理论上有充分依据的手段来解决大规模的学习问题与不确定的内核。我们工作的主要动机来自于结构化表示的问题（例如，图形、字符串、时间序列），其中相对容易基于领域专家的直觉和/或知识来设计成对（DIS）相似性函数。这些函数通常不是正定的，并且通常远远超出实践者的专业知识来验证这种情况。设计的方法的有效性进行评估经验上使用结构化和矢量数据表示定义的不确定内核。
2019-05-30 cs.LG stat.ML
Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
最近的工作表明，高斯过程的推理可以有效地使用迭代法，只依赖于矩阵向量乘法（MVMs）。结构化核插值（SKI）通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是，这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习，利用产品的内核结构。我们证明，这种技术是广泛适用的，导致线性而不是指数运行时间与SKI的尺寸，以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
Scalable Optimal Margin Distribution Machine
National Engineering Research Center for Big Data Technology and System（国家大数据技术与系统工程研究中心）；Huazhong University of Science and Technology（华中科技大学）
针对最优间隔分布机（ODM）的可扩展性问题，提出可扩展ODM方案，通过分布感知划分（非线性核）和扩展通信高效SVRG（线性核）实现近十倍加速，且几乎不损失泛化性能。
2023-06-11 cs.LG
Scalable Semi-supervised Learning with Graph-based Kernel Machine
Deakin University（迪肯大学）
获取标签通常成本高昂，而在现代机器学习应用中，未标记的数据通常很容易获得。半监督学习提供了一个原则性的机器学习框架来解决这种情况，并已成功应用于许多实际应用和行业。然而，大多数现有的半监督学习方法在应用于现代和大规模数据集时遇到两个严重的限制：计算负担和内存使用需求。为此，我们在本文中提出了基于图的半监督核机器（GKM），一种方法，利用基于核的方法的泛化能力与几何和分布的信息，制定通过频谱图诱导数据的半监督学习的目的。我们提出的GKM可以直接求解的原始形式，使用随机梯度下降法与理想的收敛速度$O(\frac{1}{T})$。此外，我们的公式适用于机器学习文献中广泛的重要损失函数（例如，铰链、平滑铰链、Logistic、L1和ε不敏感）和平滑函数（即，$l_p(t) = |t|^p$与$p\ge1$）。我们进一步表明，著名的拉普拉斯支持向量机是一个特殊的情况下，我们的配方。我们在几个基准数据集上验证了我们提出的方法，以证明GKM适用于大规模数据集，因为它在内存使用方面是最佳的，并且产生了优异的分类精度，同时与最先进的基线相比，实现了显着的计算速度提高。
2017-04-06 cs.LG
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Istituto Italiano di Tecnologia（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题，从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充，理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Italian Institute of Technology（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了如何高维的因果推断任务可以自然地铸造稀疏函数估计问题，导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充Rademacher泛化界方面的理论分析。
2013-03-08 cs.LG stat.ML
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University（纽约大学）；Stanford University（斯坦福大学）
用于可扩展高斯过程的最先进方法使用迭代算法，需要具有协方差核的快速矩阵向量乘法（MVMs）。结构化内核插值（SKI）框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中，我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格，我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维，同时保持强大的预测性能。此外，我们还提供了一个CUDA实现的Simplex-GP，这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Force-Aware Neural Tangent Kernels for Scalable and Robust Active Learning of MLIPs
InstaDeep；Department of Engineering, University of Cambridge（工程系，剑桥大学）
本文提出一种线性可扩展的主动学习框架，结合力感知神经切线核，有效提升MLIPs在大规模候选池中的鲁棒性和效率，验证了其在多个数据集上的优越性能。
2026-05-15 cs.LG
Accurate Kernel Learning for Linear Gaussian Markov Processes using a Scalable Likelihood Computation
ExxonMobil Research and Engineering Company（埃克森美孚研究与工程公司）
我们报告了一个精确的似然计算线性高斯马尔可夫过程，是更可扩展的复杂模型和稀疏采样信号比现有的算法。通过消除卡尔曼似然中的重复计算，并通过使用状态转移方程的对角化形式，实现了更好的缩放。使用这种有效的计算，我们研究了核学习的准确性，使用极大似然和后验均值在模拟实验中。具有参考先验的后验均值对于复杂模型和稀疏采样更准确。由于其较低的计算负荷，极大似然估计是一个有吸引力的选择，更密集的采样信号和低阶模型。我们确认估计行为的实验数据，通过他们的应用洞穴数据。
2018-05-18 cs.LG stat.ML
Scalable Learning of Determinantal Point Processes with Kernel-Structured Interactions
ZOZO Research Institute（ZOZO研究所）
本研究针对行列式点过程（DPPs）学习中表达能力与计算可扩展性的权衡问题，提出结合非线性核与随机特征的方法，在真实数据集上实现了更优泛化与参数效率。
2026-10-12 cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck（吕贝克大学医用电工研究所）
高斯过程（GPs）的应用，以大数据集是有限的，由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性，其中之一是利用内核矩阵中的结构。然而，以前的方法，不能很容易地处理非平稳过程。本文提出了一个有效的GP框架，扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程，这是常用的分离问题的背景下，例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵，允许有效的推理。核学习是通过优化边际似然来完成的，边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University（康奈尔大学）；Phillips Research Hamburg（飞利浦研究汉堡）
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程（GP）的核学习等各种应用，必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量，只有快速矩阵向量乘法（MVMs）。这些随机逼近基于Chebyshev、Lanczos和代理模型，即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现，Lanczos一般优于Chebyshev的内核学习，和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Hierarchically Compositional Kernels for Scalable Nonparametric Learning
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tel Aviv University（特拉维夫大学）；Google Brain, NYC（谷歌大脑（纽约））
我们提出了一类新的内核，以减轻高计算成本的大规模非参数学习的核方法。所提出的内核是基于底层数据域的分层分区定义的，其中Nyström方法（全局低秩近似）以分层方式与局部无损近似相结合。核心保持（严格）正定性。相应的核矩阵承认递归非对角低秩结构，这允许快速线性代数计算。通过抑制数据维数的影响，将训练回归和分类器的内存和算法复杂度从$O(n^2)$和$O(n^3)$分别降低到$O(nr)$和$O(nr^2)$，其中$n$是训练样本的个数，$r$是层次结构中每一层上的秩.虽然其他随机近似核需要类似的复杂性，实验结果表明，所提出的核实现了匹配性能与较小的$r$。我们展示了全面的实验，以显示有效地使用所提出的内核的数据大小高达数百万的顺序。
2017-08-14 cs.LG stat.ML
Graph Random Features for Scalable Gaussian Processes
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google DeepMind（谷歌DeepMind）；Alan Turing Institute（艾伦·图灵研究所）
本研究将图随机特征应用于可扩展高斯过程，将时间复杂度从$O(N^3)$降至$O(N^{3/2})$，支持单芯片上超过$10^6$节点的图贝叶斯优化，并保持性能。
2025-09-25 cs.LG
Fast and Scalable Score-Based Kernel Calibration Tests
Gatsby Computational Neuroscience Unit（加布特计算神经科学单位）；University College London（伦敦大学学院）；Department of Information Technology（信息技术系）；Uppsala University（乌普萨拉大学）；Division of Statistics and Machine Learning（统计与机器学习 division）；Linköping University（林雪平大学）
本文提出KCCSD检验，一种非参数核方法，用于评估概率模型校准，避免期望近似并控制第一类错误，在合成数据上验证了其有效性。
2025-10-16 cs.LG stat.ML
Tensor Sketch: Fast and Scalable Polynomial Kernel Approximation
School of Computer Science University of Auckland（奥克兰大学计算机科学学院）；Computer Science Department University of Copenhagen（哥本哈根大学计算机科学系）
该研究提出高效随机特征映射Tensor Sketch，用于多项式核逼近，具备低时间复杂度与理论误差保证，适用于高维大规模数据集，可作为核方法扩展的核心计算工具。
2025-05-18 cs.DS cs.LG
Scalable Kernel Methods via Doubly Stochastic Gradients
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
一般的看法是，核方法是不可扩展的，神经网络是非线性学习问题的首选方法。还是我们对内核方法的尝试还不够努力？在这里，我们提出了一种方法，使用一个新的概念，称为“双随机功能梯度”的内核方法的规模。我们的方法依赖于这样一个事实，即许多核方法可以表示为凸优化问题，我们通过对函数梯度进行两个无偏随机近似来解决问题，一个使用随机训练点，另一个使用与内核相关的随机函数，然后使用这个嘈杂的函数梯度下降。我们证明了在$t$迭代后，由该过程产生的函数在速率$O(1/t)$下收敛到再生核Hilbert空间中的最优函数，并达到了$O(1/\sqrt{t})$的推广性能.这种双重随机性也使我们能够避免保持支持向量，并在一个小的内存占用，这是线性的迭代次数和独立的数据维度实现算法。我们的方法可以很容易地扩展核方法的制度，这是由神经网络占主导地位。我们表明，我们的方法可以在MNIST的800万个手写数字，MolecularSpace的230万个能量材料和ImageNet的100万张照片等数据集中实现与神经网络竞争的性能。
2015-09-10 cs.LG stat.ML
DKL-KAN: Scalable Deep Kernel Learning using Kolmogorov-Arnold Networks
School of Mechanical Engineering（机械工程学院）；Purdue University（普渡大学）；RTX Technology Research Center（RTX技术研究中心）
本文提出DKL-KAN，用Kolmogorov-Arnold网络替代MLP构建可扩展深度核，并在高斯过程框架下优化核参数，在少样本数据上优于DKL-MLP，而DKL-MLP在大规模数据上更具可扩展性和预测精度。
2024-07-30 cs.LG stat.ML
From Sorting Algorithms to Scalable Kernels: Bayesian Optimization in High-Dimensional Permutation Spaces
State Key Laboratory of Precision and Intelligent Chemistry（精准与智能化学国家重点实验室）
针对高维排列空间贝叶斯优化中表示可扩展性差的问题，提出基于排序算法的核函数框架，其中Mallows核是枚举排序的特例，而新提出的Merge核通过归并排序的分解结构实现Θ(n log n)复杂度且无信息损失，在低维性能相当，高维显著提升优化效果与计算效率。
2026-06-15 cs.AI cs.LG
Scalable Deep Basis Kernel Gaussian Processes
School of Industrial and Systems Engineering（工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出了一种基于深度基核的可扩展GP回归器，通过显式低秩结构实现线性复杂度推断，并解决边际似然最大化导致的不确定性问题，提升了大规模回归任务的性能。
2026-02-04 cs.LG stat.ML
Kernel Interpolation for Scalable Online Gaussian Processes
New York University（纽约大学）；Cornell University（康奈尔大学）
高斯过程（GP）为在线设置中的性能提供了黄金标准，例如样本有效控制和黑盒优化，其中我们需要在以顺序方式获取数据时更新后验分布。然而，在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量，同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置，贝叶斯优化，主动采样，以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Scalable GPU-Accelerated Euler Characteristic Curves: Optimization and Differentiable Learning for PyTorch
本文提出优化GPU内核与可微PyTorch层，实现欧拉特征曲线计算16-2000倍加速，支持端到端学习，并探讨下游应用与扩展。
2025-10-23 cs.LG
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford（牛津大学）；DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步，通过采用高斯过程（GP）的核搜索算法为回归问题提供可解释的统计模型。但是，由于模型选择的$O(N^3)$运行时间，这不会扩展。我们提出了可扩展的内核组成（SKC），一个可扩展的内核搜索算法，扩展自动统计更大的数据集。在这样做时，我们推导出一个便宜的上限的GP边际似然，三明治的边际似然与变分下限。我们表明，上界是显着更紧密的下界，因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Deep unfolding of MCMC kernels: scalable, modular & explainable GANs for high-dimensional posterior sampling
Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）；School of Mathematical and Computer Sciences, Heriot-Watt University（赫瑞-瓦特大学数学与计算机科学学院）；School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文提出通过深度展开Langevin MCMC算法设计可扩展、模块化且可解释的GANs，用于高维后验采样，实现高效且稳定的采样性能。
2026-02-24 cs.LG
Scalable Sampling for Nonsymmetric Determinantal Point Processes
Yale University（耶鲁大学）；Criteo AI Lab（Criteo人工智能实验室）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）
$M$项集合上的决定点过程（DPP）是一个模型，由对称核矩阵参数化，为这些项的每个子集分配概率。最近的研究表明，去除核对称约束，产生非对称DPP（NDPP），可以为机器学习应用带来显着的预测性能增益。然而，现有的工作留下了开放的问题，可扩展的NDPP采样。只有一种已知的基于Cholesky分解的DPP采样算法也可以直接应用于NDPP。不幸的是，它的运行时在$M$中是立方的，因此不能扩展到大型项集合。在这项工作中，我们首先注意到，该算法可以转化为一个线性时间与低秩结构的内核。此外，我们开发了一个可扩展的次线性时间拒绝采样算法，通过构建一个新的建议分布。此外，我们表明，施加一定的结构约束的NDPP内核使我们能够绑定的拒绝率的方式，只依赖于内核的秩。在我们的实验中，我们比较了所有这些采样器在各种现实任务中的速度。
2022-04-19 cs.LG stat.ML
Scalable Kernel Clustering: Approximate Kernel k-means
Michigan State University（密歇根州立大学）；Michigan Tech University（密歇根理工大学）
基于核的聚类算法具有捕捉真实世界数据中非线性结构的能力。在各种基于核的聚类算法中，核k-means由于其简单的迭代性质和易于实现而受到欢迎。然而，它的运行时复杂度和内存占用增加的平方方面的数据集的大小，因此，大型数据集不能有效地聚类。在本文中，我们提出了一个近似方案的基础上随机化，称为近似核k-means。我们使用几个采样点和数据集中的所有点之间的核相似性来近似聚类中心。我们表明，该方法实现了更好的聚类性能比传统的低秩核近似基于聚类方案。我们还证明了它的运行时间和内存需求显着低于内核k-means，只有一个小的减少在几个公共领域的大数据集的聚类质量。然后，我们采用集成聚类技术，以进一步提高我们的算法的性能。
2014-02-16 cs.CV cs.DS cs.LG
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research（IBM研究院）；CMU（卡内基梅隆大学）；WUSTL（华盛顿大学圣路易斯分校）；GMU（乔治梅森大学）；UDEL（特拉华大学）；Huawei（华为）
图核被广泛用于度量图之间的相似性。许多现有的图核，它专注于局部模式图，而不是他们的全局属性，遭受显着的结构信息丢失时表示图。最近的一些全局图核，它利用图的几何节点嵌入的对齐，产生最先进的性能。然而，这些图核不一定是正定的。更重要的是，计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中，我们提出了一个新的家庭的全球对齐图的内核，它考虑到了全球性的图形，通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比，该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs}，它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入，这被称为“随机图嵌入”（RGE）。特别是，RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明，RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Learning Scalable Deep Kernels with Recurrent Structure
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
语音、机器人、金融和生物学中的许多应用程序都处理顺序数据，其中排序和循环结构是常见的。然而，标准内核函数无法轻松捕获这种结构。为了模拟这样的结构，我们提出了表达高斯过程的封闭形式的核函数。由此产生的模型GP-LSTM完全封装了长短期记忆（LSTM）递归网络的归纳偏差，同时保留了高斯过程的非参数概率优势。我们通过使用新的可证明收敛的半随机梯度过程优化高斯过程边际似然来学习所提出的内核的属性，并利用这些内核的结构进行可扩展的训练和预测。这种方法为贝叶斯LSTM提供了一种实用的表示方法。我们在几个基准测试中展示了最先进的性能，并彻底研究了一个相应的自动驾驶应用程序，其中GP-LSTM提供的预测不确定性具有独特的价值。
2017-10-05 cs.AI cs.LG stat.ML
Kernel-Based Distributed Q-Learning: A Scalable Reinforcement Learning Approach for Dynamic Treatment Regimes
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Center for Intelligent Decision-Making and Machine Learning（智能决策与机器学习中心）
针对利用大规模电子健康记录构建动态治疗方案的问题，提出一种可扩展的基于核的分布式Q学习算法，在显著降低深度强化学习计算复杂度的同时保持相当的累积奖励泛化性能。
2025-02-17 cs.AI cs.LG
Scalable Gaussian process inference via neural feature maps
School of Mathematics University of Bristol（数学系英国布里斯托尔大学）
本文提出一种基于神经特征图构建表达性核函数的高斯过程框架，通过低秩近似Gram矩阵实现后验一致性，并引入乘积特征图核解决过平滑问题，实现快速、可扩展且准确的高斯过程推断。
2026-07-27 cs.LG stat.ML
Scalable Neural Network Kernels
Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）；Google Research（谷歌研究院）；Waymo（威摩科技）
该研究提出可扩展神经网络核（SNNKs）替代前馈层，兼具高效计算与更强表达力，结合神经网络打包流程可压缩模型，甚至绕过反向传播，还提出通用随机特征机制，实验显示参数最多减5倍且精度有竞争力。
2024-03-05 cs.AI cs.LG
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Matérn Correlations
Texas A&M University（得克萨斯农工大学）
本文提出了一种精确的、可扩展的Matérn相关的一维高斯过程回归算法，其平滑参数$ν$为半整数。该算法只需要$\mathcal{O}(ν^3 n)$操作和$\mathcal{O}(νn)$存储。由于$ν$被选择为固定的，并且在大多数应用中通常非常小，因此这导致线性成本求解器。该方法可以应用于多维问题，如果使用全网格或稀疏网格设计。该方法是基于一种新的理论Matérn相关函数。我们发现，这些相关函数的一个适当的重新安排可以产生一个compensated支持的功能，称为“内核包”。使用一组核包作为基函数导致协方差阵的稀疏表示，从而导致所提出的算法。仿真研究表明，所提出的算法，适用时，是显着优于现有的替代品的计算时间和预测精度。
2022-03-09 cs.LG stat.ME stat.ML
Fast and Scalable Adversarial Training of Kernel SVM via Doubly Stochastic Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；University of Pittsburgh（匹兹堡大学）；JD Finance America Corporation（京东金融美国公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
对抗攻击通过生成与自然样本几乎无法区分的样本，对学习模型构成严重威胁。防御对抗攻击是可靠学习系统的关键要素。支持向量机是一种经典的学习算法，即使在当前的深度学习时代，它仍然是一种重要的学习算法。虽然近年来人们对提高学习模型的对抗鲁棒性进行了广泛的研究，但大多局限于深度神经网络（DNNs），而核支持向量机的研究还处于空白状态。本文针对核支持向量机，提出了adv-SVM，通过对抗训练来提高其对抗鲁棒性，这已被证明是最有前途的防御技术。据我们所知，这是致力于核SVM的快速和可扩展的对抗训练的第一项工作。具体地说，我们首先建立了原始空间和核空间之间样本扰动的联系，然后基于这种联系给出了核支持向量机对抗性训练的一种简化的等价形式。接下来，基于两个无偏随机近似的双随机梯度（DSG）（即，一个是关于训练点，另一个是关于随机特征）被应用于更新我们的目标函数的解。最后，证明了在步长不变和步长递减的情况下，经DSG优化后的算法以O（1/t）的速度收敛到最优解。综合实验结果表明，我们的对抗性训练算法对各种攻击具有鲁棒性，同时具有类似的效率和可扩展性与经典的DSG算法。
2021-07-21 cs.CR cs.LG
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology（斯蒂文斯理工学院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而，核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的，有很多输入点。核近似，例如，Nyström方法，已被应用在以前的工作，以近似解决内核学习问题时，上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类，并表明，应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配，满足$1 + ε$近似比的内核$k$ -均值成本函数，相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分，这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为，谱聚类使用Nyström近似-一个流行的和计算效率高，但理论上不健全的方法，非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
Deep Kernel Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
我们引入了可扩展的深度内核，它将深度学习架构的结构特性与内核方法的非参数灵活性相结合。具体来说，我们转换的输入的光谱混合基内核与一个深的架构，使用本地内核插值，诱导点，和结构利用（克罗内克和Toeplitz）代数的可扩展的内核表示。这些封闭形式的内核可以作为标准内核的直接替代品，在表达能力和可伸缩性方面都有好处。我们通过高斯过程的边缘似然性共同学习这些内核的属性。$n$训练点的推理和学习成本为$O(n)$，每个测试点的预测成本为$O(1)$。在大量不同的应用程序集合中，包括具有200万个示例的数据集，我们通过灵活的内核学习模型和独立的深度架构，展示了可扩展高斯过程的性能改进。
2015-11-06 cs.AI cs.LG stat.ME
Block Basis Factorization for Scalable Kernel Matrix Evaluation
Stanford University（斯坦福大学）；Duke University（杜克大学）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
核方法广泛应用于机器学习中，但是，它们受到核矩阵的构造、应用和存储的二次复杂性的限制。低秩矩阵近似算法被广泛用于解决这个问题，并降低了运算和存储成本。然而，我们观察到，对于一些具有广泛的类内变异性的数据集，较小类的最佳核参数会产生一个矩阵，该矩阵不太适合低秩方法。在本文中，我们提出了一种有效的结构化低秩近似方法-块基分解（BBF）-及其快速构造算法来近似径向基函数（RBF）核矩阵。我们的方法具有线性内存成本和浮点运算的许多机器学习内核。BBF适用于广泛的内核带宽参数，并显着扩展了低秩近似方法的适用范围。我们的实证结果表明，稳定性和优越性的最先进的核近似算法。
2021-05-04 cs.LG cs.NA math.NA
Private, Efficient and Scalable Kernel Learning for Medical Image Analysis
Department of Computer Science, Leipzig University（莱比锡大学计算机科学系）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能研究中心（ScaDS.AI））；Medical Data Privacy and Privacy-preserving Machine Learning (MDPPML)（医疗数据隐私与隐私保护机器学习（MDPPML））；Institute for Bioinformatics and Medical Informatics (IBMI)（生物信息学与医学信息学研究所）
针对医学图像分析中核方法面临的隐私和高维挑战，提出基于随机编码的OKRA方法，提升可扩展性和速度，并在临床数据集上优于现有方法。
2024-10-21 cs.CR cs.LG
Scalable Lévy Process Priors for Spectral Kernel Learning
Cornell University（康奈尔大学）
高斯过程是函数上的丰富分布，具有由核函数确定的泛化特性。当用于长程外推时，预测对核参数的选择特别敏感。因此，在我们的预测分布中考虑内核的不确定性是至关重要的。我们提出了一个分布的内核通过建模的频谱混合密度与Lévy过程。由此产生的分布支持所有平稳协方差-包括流行的RBF，周期性和Matérn内核-结合归纳偏差，实现自动和数据有效的学习，长距离外推和最先进的预测性能。所提出的模型还提出了一种谱正则化的方法，因为Lévy过程引入了混合成分的稀疏诱导先验，允许自动选择模型阶数和修剪无关成分。我们利用所提出的过程的代数结构的$\mathcal{O}(n)$培训和$\mathcal{O}(1)$预测。我们进行外推合理的不确定性估计的几个基准，表明该模型可以恢复灵活的地面真协方差，它是鲁棒的初始化错误。
2018-02-02 cs.AI cs.LG stat.ML
Moment kernels: a simple and scalable approach for equivariance to rotations and reflections in deep convolutional networks
Department of Computational Medicine University of California, Los Angeles（计算医学系 加州大学洛杉矶分校）
本文提出矩核，一种简单可扩展的正交变换等变卷积核，在生物医学图像任务中提升方向一致性，避免群卷积的方向通道扩展，适配标准CNN工作流程。
2026-08-03 cs.CV cs.LG
Enhancing Kernel Power K-means: Scalable and Robust Clustering with Random Fourier Features and Possibilistic Method
针对核幂k均值可扩展性差、抗噪性弱的问题，提出结合随机傅里叶特征的RFF-KPKM及融合可能性机制的多核扩展IP-RFF-MKPKM，给出理论保证并通过实验验证其性能优势。
2025-11-13 cs.AI cs.LG
Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more
University of Haifa（海法大学）
Coreset（或core-set）是输入集$P$相对于给定\emph{monotonic}函数$f:\mathbb{R}\to\mathbb{R}$的小加权\emph{subset} $Q$，\emph{provably}将其拟合损失$\sum_{p\in P}f(p\cdot x)$近似为给定$x\in\mathbb{R}^d$的\emph{any}。使用$Q$，通过在$Q$上运行\emph{existing}优化算法，我们可以获得使该损失最小化的$x^*$的近似值。在这项工作中，我们提供：（i）证明了对于一般单调损失函数，存在没有小于$n=|P|$的余集的集合的下界。(ii)一个证明，在一个自然的假设下，例如逻辑回归和S形激活函数，一个小coreset存在于\emph{any}输入$P$。(iii)一个通用的coreset建设算法，计算这样一个小coreset $Q$在$O(nd+n\log n)$的时间，和（iv）实验结果表明，我们的coresets是有效的，在实践中比理论预测小得多。
2021-12-23 cs.DS cs.LG
