Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations
Georgia Tech（佐治亚理工学院）；Baidu Inc.（百度公司）
我们提出并分析了一种新的框架，学习稀疏表示，基于两种统计技术：核平滑和边际回归。所提出的方法提供了一个灵活的框架，将特征相似性或时间信息存在于数据集，通过非参数核平滑。我们提供了泛化界的字典学习使用平滑稀疏编码，并显示如何样本的复杂性取决于所使用的核函数的L1范数。此外，我们建议使用边际回归获得稀疏代码，这显着提高了速度，并允许一个扩展到大字典的大小很容易。我们证明了所提出的方法的优点，无论是在精度和速度方面，通过大量的实验，在几个真实的数据集。此外，我们还演示了如何使用所提出的方法来改善半监督稀疏编码。
2012-10-03 cs.LG stat.ML
Compressible Spectral Mixture Kernels with Sparse Dependency Structures for Gaussian Processes
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Central South University（中南大学）
本文提出一种具有稀疏依赖结构的可压缩谱混合核（SMD），通过互协方差和互卷积推广依赖结构，并用时间-相位延迟增强表达力，结合结构自适应算法，提升高斯过程的泛化性能。
2023-07-26 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Kernel Interpolation with Sparse Grids
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对结构化核插值（SKI）因密集网格随维度指数增长而难以扩展的问题，本文提出在SKI中使用稀疏网格，并设计了近线性时间矩阵-向量乘法算法及基于单纯形的插值方案，使SKI能在保持精度的同时扩展到更高维度。
2023-05-23 cs.AI cs.LG stat.ML
Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR)
Max Planck Institute for Astrophysics（马克斯·普朗克天体物理研究所）
高斯过程（GP）是一种高度表达的概率模型。一个主要的限制是它们的计算复杂性。简单地说，精确GP推断需要$\mathcal{O}(N^3)$计算，其中$N$表示建模点的数量。目前的方法，以克服这一限制要么依赖于稀疏，结构化或随机表示的数据或内核，通常涉及嵌套优化来评估一个GP。我们提出了一种新的，生成的方法命名为迭代图细化（ICR）模型GP几乎任意间隔的点在$\mathcal{O}(N)$时间衰减内核没有嵌套优化。ICR通过将不同分辨率的建模位置的视图与用户提供的坐标图相结合来表示长距离和短距离相关性。在我们的实验中，点的间距变化超过两个数量级，ICR的准确性与最先进的GP方法相当。ICR在CPU和GPU上的计算速度方面优于现有方法一个数量级，并且已经成功地应用于对具有$122$十亿个参数的GP进行建模。
2022-06-21 cs.LG stat.ML
Variational zero-inflated Gaussian processes with sparse kernels
零膨胀的数据集，具有超过零的输出，通常在气候或罕见事件建模等问题中遇到。传统的机器学习方法往往会高估非零值，从而导致性能较差。我们提出了一种新的模型家庭的零膨胀高斯过程（ZiGP）的零膨胀数据集，通过学习潜在的概率高斯过程，可以零出内核的行和列时，信号是不存在的稀疏内核。ZiGP对于使强大的高斯过程网络更易于解释特别有用。我们引入稀疏GP网络，通过稀疏混合信号实现可变阶潜在建模。我们推导出非平凡的随机变分推断可追溯的可扩展学习的稀疏内核在这两个模型。新的输出稀疏方法提高了零膨胀数据的预测和潜在混合模型的可解释性。
2018-03-13 stat.ML
Parsimonious Online Learning with Kernels via Sparse Projections in Function Space
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管它们的吸引力，流行的看法是，非参数函数逼近技术不扩展到流数据，由于它们需要的存储量的棘手的增长。为了以内存负担得起的方式解决这个问题，我们提出了一种基于函数随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的监督稀疏化。该方法，称为简约的在线学习与内核（POLK），提供了一个可控的权衡？它的解决方案的准确性和它所需要的内存量之间的关系。我们得出的条件下，生成的函数序列几乎肯定收敛到最优函数，我们建立的内存需求仍然有限。我们评估POLK内核多类逻辑斯谛回归和内核铰链损失分类三个典型的数据集：合成高斯混合模型，MNIST手写数字，和Brodatz纹理数据库。在所有这三个任务中，我们观察到一个有利的权衡目标函数评估，分类性能，和复杂性的非参数回归提取的方法。
2016-12-13 cs.LG stat.ML
Bayesian Sparse Factor Analysis with Kernelized Observations
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
多视图问题可以用潜变量模型来解决，因为它们能够找到低维投影，这些投影可以公平地捕捉到覆盖每个数据的多个视图之间的相关性。另一方面，高维和非线性问题传统上由核方法处理，在潜在投影和数据本身之间引入（非）线性函数。然而，它们通常会带来可伸缩性问题和过度拟合的暴露。在这里，我们建议合并这两种方法到一个模型，使我们可以利用多视图潜在模型和核方法的最佳功能，而且，克服他们的局限性。特别是，我们将概率因子分析与我们所说的核化观测相结合，其中模型的重点不是重建数据本身，而是重建它与核函数测量的其他数据点的关系。该模型可以组合多种类型的视图（内核化或非内核化），并且可以处理异构数据并在半监督设置中工作。此外，通过包括足够的先验知识，它可以为核化观测提供紧凑的解决方案-基于贝叶斯相关向量（RV）的自动选择-并且可以包括特征选择功能。使用几个公共数据库，我们证明了我们的方法（及其扩展）的潜力w.r.t.常见的多视图学习模型，例如核典型相关分析或流形相关性确定。
2021-01-27 cs.LG stat.ML
Generalization Guarantees for a Binary Classification Framework for Two-Stage Multiple Kernel Learning
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了两阶段多核学习的TS-MKL框架的泛化界。我们还提出了TS-MKL框架内的稀疏核学习公式的界限。
2013-02-02 cs.LG stat.ML
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下，对多输出核方法的兴趣都在增加。从高斯过程的角度来看，多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程（CP）。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence（2009）最近提出了一种CP的稀疏近似，可以实现有效的推理。在本文中，我们在两个方向上扩展这项工作：我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数，我们考虑基于变分方法的近似推理的替代方法，将Titsias（2009）的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩，编译器的性能和金融时间序列。
2009-12-16 stat.ML
A Sparse Bayesian Learning Algorithm for Estimation of Interaction Kernels in Motsch-Tadmor Model
Department of Mathematics, Great Bay University（广东大湾大学数学系）；Department of Mathematics, University of California, Santa Barbara（加州大学圣芭芭拉分校数学系）
针对Motsch-Tadmor模型中非对称交互核的估计问题，提出一种基于变分框架和稀疏贝叶斯学习的算法，实现核函数的鲁棒识别与不确定性量化。
2026-06-02 cs.LG math.DS stat.ML
Iteratively reweighted kernel machines efficiently learn sparse functions
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究证明经典核方法也能实现神经网络特有的低维表征学习与层级结构学习能力，通过迭代重加权核机器可高效学习层级多项式，并用数值实验验证了相关理论。
2025-10-03 cs.LG math.OC math.ST
Classification Algorithm of Speech Data of Parkinsons Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample Feature Selection
Chongqing Radio and TV University（重庆广播电视大学）；Chongqing University（重庆大学）
帕金森病（PD）患者的标记语音数据是稀缺的，在现有的数据集中，训练和测试数据的统计分布有显着差异。为了解决这些问题，必须考虑降维和增加样本。提出了一种基于稀疏核迁移学习并结合样本和特征并行优化的局部放电分类算法。采用稀疏迁移学习从公共数据集中提取PD语音特征的有效结构信息作为源域数据，并对快速ADDM迭代进行改进，以提高信息抽取性能。为了实现并行优化，考虑样本和特征之间的潜在关系，以获得高质量的组合特征。首先，从特定的公共语音数据集中提取特征，以构造作为源域的特征数据集。然后，PD目标域，包括训练和测试数据集，进行卷积稀疏编码，可以提取更深入的信息。其次，实现了并行优化。为了进一步提高分类性能，设计了卷积核优化机制。利用两个有代表性的公共数据集和一个自构造数据集，对三十多个相关算法进行了实验比较。实验结果表明，以Sakar数据集、MaxLittle数据集和DNSH数据集为目标域时，该算法在分类精度上有明显的提高。该研究还发现，与非迁移学习方法相比，本文中的算法有很大的改进，表明迁移学习更有效，并且具有更可接受的时间成本。
2020-02-10 cs.LG eess.SP
Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）
针对Transformer过度自信问题，提出KEP-SVGP方法，利用核SVD处理注意力核不对称性，构建不确定性自注意力，降低复杂度并在分布内外基准上验证性能。
2024-05-28 cs.AI cs.CV cs.LG
Effective regions and kernels in continuous sparse regularisation, with application to sketched mixtures
本文推进了基于Beurling-LASSO的测度连续稀疏正则化理论，证明了sinc-4核满足LPC假设，引入核切换分析为平移不变核提供误差界条件，并使BLASSO保证自适应噪声水平，应用于混合模型估计。
2025-10-14 math.ST stat.ML stat.TH
SIKA-GP: Accelerating Gaussian Process Inference with Sparse Inducing Kernel Approximations for Bayesian Deep Learning
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, US；Department of Industrial；Systems Engineering, Texas A\&M University, College Station, US
提出SIKA-GP方法，通过基于二元有序模板基的稀疏诱导核近似，将高斯过程推断的计算复杂度降低至O(log M)，并实现高效张量化GPU计算，可自然嵌入贝叶斯神经网络，在视觉和Transformer语言基准上显著加速训练和推断而不牺牲预测性能。
2026-05-26 cs.LG math.PR stat.CO
Connections and Equivalences between the Nyström Method and Sparse Variational Gaussian Processes
University of Oxford（牛津大学）；EURECOM（欧洲通信研究院）；University of Adelaide（阿德莱德大学）
我们研究了稀疏近似方法之间的联系，使核方法和高斯过程（GP）可扩展到大规模数据，重点是Nyström方法和稀疏变分高斯过程（SVGP）。虽然GP的稀疏近似方法和核方法具有一些代数相似性，但文献缺乏对它们如何以及为什么相关的深入理解。这可能会对GP和内核社区之间的通信造成障碍，使得难以将结果从一端传输到另一端。我们的动机是消除这一障碍，澄清稀疏近似GP和核方法之间的联系。在这项工作中，我们研究了两种流行的方法，Nyström和SVGP近似，在回归问题的背景下，并建立它们之间的各种连接和等价性。特别是，我们提供了一个RKHS解释的SVGP近似，并表明，证据下界的SVGP包含的Nyström近似的目标函数，揭示了两种方法之间的代数等价性的起源。我们还研究了最近建立的SVGP的收敛结果，以及它们如何与Nyström方法的近似质量相关。
2023-02-08 cs.LG math.ST stat.ME
Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University at Buffalo（布法罗大学）
高斯过程（GP）是一种在科学和工程应用中用于随机函数逼近的重要数学框架。这一成功在很大程度上归功于GP的分析易处理性，鲁棒性，非参数结构和自然包含的不确定性量化。不幸的是，精确GP的使用对于大型数据集是非常昂贵的，这是由于它们在计算中的$O(N^3)$和在存储中的$O(N^2)$的不利的数值复杂性。所有现有的解决这个问题的方法都利用某种形式的近似-通常考虑完整数据集的子集或找到代表性的伪点，使协方差阵结构良好且稀疏。这些近似方法可能导致函数近似的不准确性，并且经常限制用户在设计表达性内核时的灵活性。而不是通过数据点的几何形状和结构诱导稀疏性，我们建议利用自然发生的稀疏性，允许内核发现-而不是诱导-稀疏结构。本文的前提是，GP在其最原始的形式下通常是自然稀疏的，但常用的内核不允许我们利用这种稀疏性。精确且同时稀疏的GP的核心概念依赖于内核定义，这些内核定义提供了足够的灵活性来学习和编码非零协方差和零协方差。这种超灵活、紧支持和非静态内核的原理，结合HPC和约束优化，使我们能够扩展精确的GP远远超过500万个数据点。
2022-05-18 cs.LG math.PR stat.CO
Variational Semi-blind Sparse Deconvolution with Orthogonal Kernel Bases and its Application to MRFM
当成像器件的点扩散函数（点扩散函数）部分已知时，提出了一种联合图像重建和点扩散函数估计的变分贝叶斯方法。为了解决这个半盲反卷积问题，为PSF和3D图像指定先验分布。联合图像重建和PSF估计，然后在贝叶斯框架内进行，使用变分算法来估计后验分布。图像先验分布施加了一个明确的原子措施，对应于图像稀疏。重要的是，所提出的贝叶斯反卷积算法不需要手动调整。仿真结果清楚地表明，半盲反卷积算法相比，毫不逊色于以前的马尔可夫链蒙特卡罗（MCMC）版本的近视稀疏重建。它显著优于依赖于PSF的完美知识的假设的失配非盲算法。该算法说明了从磁共振力显微镜（MRFM）的实际数据。
2013-03-15 physics.data-an stat.ML
Improved Asymptotics for Zeros of Kernel Estimates via a Reformulation of the Leadbetter-Cryer Integral
估计核平滑器的假拐点的期望数量。为了获得小的噪声限制，我们使用的Leadbetter-Cryer积分的可微高斯过程的零交叉的预期数量的重新制定。
2018-03-11 eess.SP math.PR math.ST
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology（KTH皇家理工学院）
在稀疏噪声的存在下，我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模，训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数，我们提出了一个迭代加权最小二乘（IRLS）的方法，是适合于内核替换或内核技巧，由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性，主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
Sparse Approximation of a Kernel Mean
University of Michigan（密歇根大学）
在机器学习问题中，核均值经常用于表示概率分布。特别地，众所周知的核密度估计和核均值嵌入都具有核均值的形式。不幸的是，内核方法面临着可扩展性问题。例如，核密度估计器的单点评估需要在训练样本量中线性的计算时间。为了解决这一挑战，我们提出了一种方法来有效地构建一个稀疏近似的内核的意思。我们这样做，首先建立一个基于不相干的边界上的近似误差，然后注意到，对于径向内核的情况下，可以通过解决$k$中心问题的界限最小化。其结果是一个线性时间构造的稀疏核平均值，这也自然地适合于自动稀疏选择方案。我们通过研究涉及核均值的三个问题来展示我们方法的计算增益：分布的欧几里得嵌入，类比例估计和使用均值漂移算法的聚类。
2015-03-01 cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
Kernel Deformed Exponential Families for Sparse Continuous Attention
Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）
注意力机制采用关于概率权重的数据表示的期望。这将创建侧重于重要功能的汇总统计信息。最近，（Martins et al. 2020，2021）提出了连续注意力机制，重点关注指数和变形指数家族的单峰注意力密度：后者具有稀疏支持。（Farinhas et al. 2021）将其扩展到使用高斯混合注意力密度，这是一个具有密集支持的灵活类。在本文中，我们扩展到两个一般的灵活类：核指数家庭和我们的新的稀疏对应核变形指数家庭。理论上，我们证明了核指数和变形指数族的新的存在性结果，并且变形的情况下具有类似的逼近能力的核指数族。实验表明，核变形指数族可以处理数据域的多个紧凑区域。
2021-11-12 cs.LG stat.ML
Non-Sparse Regularization for Multiple Kernel Learning
University of California（加利福尼亚大学）；Technische Universität Berlin（柏林工业大学）；Yahoo! Research（雅虎研究院）；Friedrich Miescher Laboratory（弗里德里希·米歇尔实验室）；Max Planck Society（马克斯·普朗克学会）；LIFE Biosystems GmbH（生命生物系统有限公司）
当特征的正确选择未知时，学习多个核的线性组合是一种有吸引力的策略。以前的多内核学习（MKL）方法促进稀疏内核组合，以支持可解释性和可扩展性。不幸的是，在实际应用中很少观察到这种1-范数MKL优于平凡基线。为了允许鲁棒的内核混合，我们推广MKL任意规范。我们对现有的几种MKL公式之间的联系提出了新的见解，并为任意范数（如p>1的p-范数）开发了两种有效的交错优化策略。根据经验，我们证明，与常用的包装方法相比，交错优化策略要快得多。通过理论分析和人工控制数据实验，验证了稀疏、非稀疏和$\ell_\infty$ -范数MKL在不同情况下的适用性。将p-范数MKL应用于计算生物学的三个现实问题的实验表明，非稀疏MKL实现了超越最先进水平的精度。
2010-10-26 cs.LG stat.ML
Scaling Continuous Kernels with Sparse Fourier Domain Learning
Southern Methodist University（南卫理公会大学）；University of California San Diego（加州大学圣迭戈分校）
针对连续核学习中计算与内存需求高、存在谱偏差的问题，提出傅里叶域稀疏学习方法，可高效扩展连续核、降低资源需求并缓解谱偏差。
2024-09-15 cs.LG stat.ML
Non-Negative Kernel Sparse Coding for the Classification of Motion Data
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
我们感兴趣的运动数据分解成一个稀疏的线性组合的基函数，使有效的数据处理。我们结合了两个突出的框架：动态时间规整（DTW），它提供了特别成功的成对运动数据比较，和稀疏编码（SC），它使矢量数据自动分解成一个稀疏的线性组合的基本向量。我们对SC进行了如下增强：一种有效的核化，其将其应用领域扩展到诸如DTW提供的一般相似性数据，以及其对信号和基向量的非负线性表示的限制，以保证有意义的字典。运动捕捉基准的实证评估表明，我们的框架解释和歧视的关注的有效性。
2019-03-12 cs.LG stat.ML
Learning Dynamical Systems from Data: A Simple Cross-Validation Perspective, Part V: Sparse Kernel Flows for 132 Chaotic Dynamical Systems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Imperial College London（帝国理工学院）；Zhejiang Zhelixin Credit Investigation Co., Ltd.（浙江浙里信征信有限公司）；Caltech（加州理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
从有限数量的观测状态回归动力系统的向量场是学习此类系统的代理模型的自然方法。从数据中学习动力系统的一种简单且可解释的方法是用一个可通过使用核流学习的数据适应核来插值其向量场。核流方法是一种可训练的机器学习方法，它基于这样的前提来学习核的最佳参数：如果使用一半的数据，准确性没有显着损失，则核是好的。目标函数可以是短期预测或用于核流的其他变体的一些其他目标。然而，这种方法受到基础内核选择的限制。在本文中，我们介绍了\emph{Sparse Kernel Flows }的方法，以便从一个大的内核字典开始学习"最好的"内核。它是基于稀疏化的内核是一个线性组合的基本内核。我们将这种方法应用于132个混沌系统的库。
2023-02-27 cs.LG stat.ML
From Adaptive Kernel Density Estimation to Sparse Mixture Models
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；imec（比利时微电子研究中心）；Xi’an Jiaotong University（西安交通大学）
我们介绍了一个气球估计在广义期望最大化方法估计的所有参数的高斯混合模型给定一个数据样本的混合成分。这种正则化策略没有明确限制模型大小，而是产生低复杂度的稀疏模型，其中有效混合成分的数量随着平滑概率参数$\mathbf{P>0}$的增加而减少。这种半参数方法从非参数自适应核密度估计（KDE）过渡到参数普通最小二乘，当$\mathbf{P=1}$。实验表明，更简单的稀疏混合模型保留了自适应KDE解决方案中存在的细节水平。
2018-12-11 cs.LG stat.ML
Sparse GPU Kernels for Deep Learning
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；DeepMind
科学工作负载传统上利用高水平的稀疏性来加速计算并减少内存需求。虽然深度神经网络可以变得稀疏，但在GPU上实现实际的加速是困难的，因为这些应用具有相对中等的稀疏性水平，不足以使现有的稀疏内核优于其密集的对应物。在这项工作中，我们研究了深度学习应用中的稀疏矩阵，并确定了可用于加速计算的有利属性。基于这些见解，我们开发了高性能的GPU内核的两个稀疏矩阵运算广泛适用于神经网络：稀疏矩阵稠密矩阵乘法和采样稠密矩阵乘法。我们的内核在Nvidia V100 GPU上达到单精度峰值的27%。使用我们的内核，我们展示了稀疏的Transformer和MobileNet模型，实现了1.2- 2.1倍的加速比和高达12.8倍的内存节省，而不牺牲准确性。
2020-08-31 cs.DC cs.LG stat.ML
Sparse Kernel PCA for Outlier Detection
Indian Institute of Technology Bombay（孟买印度理工学院）
在本文中，我们提出了一种新的方法来执行稀疏核主成分分析（SKPCA），并从数学上分析SKPCA的有效性。我们将SKPCA公式化为具有弹性网络正则化的约束优化问题（Hastie等人）。在核特征空间，并解决它。我们认为离群检测（其中采用KPCA）作为SKPCA的应用，使用RBF核。我们在5个真实世界的数据集上进行了测试，结果表明，仅使用4%（甚至更少）的主成分（PC），其中每个PC在所有5个数据集的最坏情况下平均具有不到12%的非零元素，我们能够几乎匹配，并且在3个数据集中甚至优于KPCA。我们还比较了我们的方法的性能与最近提出的SKPCA方法由王等人。并表明，我们的方法在精度和稀疏性方面表现更好。我们还提供了一个新的概率证明，证明稀疏解决方案的存在，使用RBF核的KPCA。据我们所知，这是第一次尝试从理论上分析SKPCA的有效性。
2018-09-13 cs.LG stat.ML
Sparse Robust Classification via the Kernel Mean
Decisions 360；Google Research, NY（谷歌研究纽约分部）；University of Tübingen（图宾根大学）
本文提出让核评估的权重相等以简化分类规则，探讨了该核均值分类规则的一致性、鲁棒性和稀疏化。
2025-10-13 cs.LG stat.ML
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
最近的进展表明，广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题，这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核（与Bregman矩阵发散的对称版本有关），我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本，可以有效地解决。此外，我们提出了一个算法学习黎曼字典（用于稀疏编码），紧密联系的斯坦内核。几个分类任务（人脸识别，纹理分类，人的重新识别）的实验表明，所提出的稀疏编码方法实现了显着的改善，在歧视的准确性，在比较国家的最先进的方法，如张量稀疏编码，黎曼局部保持投影，和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Sparse Least Squares Low Rank Kernel Machines
The University of Sydney（悉尼大学）；University of Reading（雷丁大学）
提出了一种低秩核最小二乘支持向量机（LR-LSSVM）的一般框架。具有受控模型大小的低秩核的特殊结构为所提出的模型带来了稀疏性和计算效率。同时，提出了一种两步优化算法与三种不同的标准，并进行了各种实验，使用所谓的鲁棒RBF核的例子来验证模型。实验结果表明，该算法的性能与现有的几种核机器相当或更好。
2019-10-18 cs.AI cs.LG stat.ML
Sparse Additive Functional and Kernel CCA
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；University of Chicago（芝加哥大学）
典型相关分析（CCA）是寻找两个随机向量分量之间相关性的经典工具。近年来，CCA已被广泛应用于基因组数据的分析，其中研究人员通常对一组患者样本进行多项分析。最近的工作提出了稀疏的CCA的变种，以解决这些数据的高维性。然而，经典的和稀疏的CCA是基于线性模型，并因此在他们的能力有限，以找到一般的相关性。在本文中，我们提出了两种方法，高维非参数CCA，最近的发展在高维非参数回归的基础上。我们提出了这两种方法的估计程序，并分析其理论性质的高维设置。我们证明了这些程序的有效性，发现非线性相关性，通过广泛的模拟，以及通过实验与基因组数据。
2012-06-18 cs.LG stat.ML
Sparse Multiple Kernel Learning: Alternating Best Response and Semidefinite Relaxations
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种稀疏多核学习方法，通过交替最佳响应算法和半正定松弛，实现高效且精确的核选择与优化。
2025-12-02 cs.LG stat.ML
A General Kernel Framework for Non-CND Distance Measures Using |D|-Dimensional Sparse Landmark Embeddings
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对核方法需CND距离的限制，提出稀疏地标嵌入核，通过紧支撑凸包嵌入任意距离为PSD核，理论保证并实验超越基线。
2026-10-21 cs.LG math.PR stat.ML
Nonparametric Basis Pursuit via Sparse Kernel-based Learning
信号处理的基本任务，如采样，重建，最小均方误差插值和预测，可以被视为再生核希尔伯特空间的棱镜下。赋予这一优势与当代稀疏感知建模和处理的进步，促进了本文所倡导的非参数基追求，作为基于核的学习（KBL）方法融合的总体框架，利用稀疏线性回归，核范数正则化和字典学习。新的稀疏KBL工具箱超越了将稀疏参数方法转化为非参数方法，并结合了多核选择和矩阵平滑等新的可能性。稀疏KBL信号处理应用的影响，说明通过测试案例，从认知无线电传感，微阵列数据填补，网络流量预测。
2013-02-21 cs.CV cs.IT cs.LG
Confident Kernel Sparse Coding and Dictionary Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
近年来，基于核的稀疏编码（K-SRC）由于其在特征空间中的非线性数据结构的有效表示而受到特别的关注。然而，现有的K-SRC方法的训练和测试优化框架之间缺乏一致性。在这项工作中，我们提出了一种新的信心K-SRC和字典学习算法（CKSC），其重点是基于其在核空间中的表示的数据的判别重建。CKSC的重点是通过加权贡献来重建每个数据样本，这些贡献对其相应的数据类别有信心。我们采用新的判别条件，将此方案应用于我们算法中的训练和测试框架。这种特定的设计增加了这些优化框架的一致性，并提高了召回阶段的区分性能。此外，CKSC直接将监督信息用于其词典学习框架中，以增强词典的区分性结构。对于实证评估，我们在DynTex++和UTKinect等多变量时间序列基准上实现了我们的CKSC算法。我们的索赔有关的优越性能的算法是合理的，通过比较其分类结果的国家的最先进的K-SRC算法。
2019-03-12 cs.LG stat.ML
Sparse Attention as Compact Kernel Regression
Instituto Superior Técnico & Instituto de Telecomunicações, Universidade de Lisboa, Portugal（里斯本大学理工学院及电信研究所，葡萄牙）；Champalimaud Research, Lisbon, Portugal（Champalimaud研究，葡萄牙里斯本）；TransPerfect, Lisbon, Portugal（TransPerfect，葡萄牙里斯本）；Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，美国匹兹堡）
本文通过核理论将稀疏注意力与紧凑核回归联系起来，揭示了ReLU和sparsemax注意力与Epanechnikov核回归的关系，并展示了核方法在注意力设计中的应用。
2026-10-28 cs.LG
Optimal Time Complexity Algorithms for Computing General Random Walk Graph Kernels on Sparse Graphs
Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
提出首个线性时间复杂度随机算法，用于稀疏图上通用随机游走图核的无偏近似，比同类方法快27倍，可处理大128倍的图，支持带标签实例，实现高效隐式图核学习。
2026-08-27 cs.LG stat.ML
Learning High Order Feature Interactions with Fine Control Kernels
EPFL（洛桑联邦理工学院）
我们提供了一种学习稀疏统计模型的方法，该模型使用底层原子特征集之间所有可能的乘法相互作用作为特征。虽然由此产生的优化问题是指数级的，我们的方法导致的算法，往往可以解决这些问题，准确地或提供近似的解决方案的基础上结合高度相关的功能。我们还介绍了一个算法范例，精细控制内核框架，如此命名，因为它是基于Fenchel对偶，是让人想起内核方法。它的理论是为大型稀疏学习问题量身定制的，它导致了有效的交互特征筛选规则。这些规则的灵感来自于市场篮子分析的Apriori算法-这也属于精细控制核的范围，并且可以应用于多个学习问题，包括Lasso和稀疏矩阵估计。生物医学数据集上的实验证明了我们的方法在推导算法中的有效性，这些算法有效地产生了交互模型，这些模型达到了最先进的精度并且是可解释的。
2020-02-09 cs.LG stat.ML
Hierarchical Multiple Kernel K-Means Algorithm Based on Sparse Connectivity
针对层次化多核聚类中层间信息交互不足及全连通降低一致性矩阵多样性的问题，提出SCHMKKM算法，通过稀疏率控制分配矩阵实现局部特征融合，并在多数据集上验证其优于FCHMKKM。
2024-10-27 cs.LG
Learning primal-dual sparse kernel machines
Indian Institute of Technology, Palakkad（印度理工学院帕拉卡德分校）；Aix-Marseille University（艾克斯-马赛大学）
传统上，核方法依赖于表示定理，该定理指出学习问题的解决方案是作为映射到再生核希尔伯特空间（RKHS）的数据的线性组合而获得的。虽然从理论的角度来看很优雅，但该定理对于算法对大型数据集的可扩展性以及学习函数的可解释性来说是禁止的。在本文中，而不是使用传统的表示定理，我们建议在RKHS中搜索一个解决方案，该解决方案在原始数据空间中具有预图像分解，其中元素不一定对应于训练集中的元素。然后，我们基于梯度的优化方法取决于在输入空间中优化可能的稀疏元素，并使我们能够获得具有原始和对偶稀疏性的基于核的模型。我们通过Rademacher界给出了该方法的推广能力的理论依据。我们的实验证明了更好的可扩展性和可解释性与传统的基于内核的模型的准确性。
2021-08-27 cs.LG
Robust Kernel Sparse Subspace Clustering
Ruđer Bošković Institute（鲁杰·博什科维奇研究所）
针对现有核子空间聚类无法处理非高斯稀疏损坏的问题，提出首个鲁棒核稀疏子空间聚类算法，经两个数据集和Wilcoxon检验验证，性能显著优于线性鲁棒基线，且原理可推广至其他子空间聚类算法。
2024-01-30 cs.LG
Analyzing sparse dictionaries for online learning with kernels
Institut Charles Delaunay (CNRS)（夏尔·德拉诺研究所（法国国家科学研究中心））；Université de technologie de Troyes（特鲁瓦技术大学）
本文针对核方法在线学习中的稀疏字典问题，基于四种主流稀疏性度量开展分析，通过特征值分析揭示其共有性质，并证明参数空间与字典诱导特征空间存在拟等距关系，为核在线学习的稀疏字典构建提供理论支撑。
2014-09-21 cs.CV cs.IT cs.LG
Efficient Tensor Kernel methods for sparse regression
最近，经典的核方法已经通过引入合适的张量核来扩展，以便在底层回归问题的解决方案中促进稀疏性。实际上，他们解决了一个lp范数正则化问题，p=m/（m-1），m是偶数，这恰好接近套索问题。然而，该方法的一个主要缺点是存储张量需要大量的内存，最终限制了其适用性。在这项工作中，我们解决这个问题，提出两个进步。首先，我们通过引入一种新的、更有效的数据存储布局，直接降低了内存需求。其次，我们使用Nystrom类型的子采样方法，该方法允许训练阶段使用较少数量的数据点，从而降低计算成本。在人工数据集和读数据集上的实验表明了所提改进的有效性。最后，我们以C++实现cose为例，以进一步加快计算速度。
2020-03-23 cs.LG cs.PF stat.ML
Optimal Sparse Kernel Learning for Hyperspectral Anomaly Detection
U.S. Army Research Laboratory（美国陆军研究实验室）；Rice University（莱斯大学）
提出了一种基于稀疏核学习的支持向量数据描述（SVDD）异常检测框架。在这项工作中，最佳的稀疏特征选择异常检测建模为一个混合规划（MIP）问题。由于MIP的高计算复杂性，它被放松成一个二次约束线性规划（QCLP）问题。QCLP问题可以通过使用迭代优化方法来实际解决，在该方法中，与单个子集相反，迭代地找到多个特征子集。基于QCLP的迭代优化问题在称为\emph{Empirical Kernel Feature Space}（EKFS）的有限空间中而不是在输入空间或\emph{Reproducing Kernel Hilbert Space}（RKHS）中求解。这是可能的，因为EKFS和相应的RKHS的几何特性保持相同。现在，可以在有限的EKFS中对数据进行显式的非线性利用，从而获得最佳的特征排名。基于高光谱图像的实验结果表明，所提出的方法可以提供更好的性能比当前国家的最先进的技术。
2015-06-08 cs.LG
CoRE Kernels
Rutgers University（罗格斯大学）
术语“核心内核”代表相关相似内核。在许多应用中（例如，视觉），数据通常是高维、稀疏和非二进制的。我们提出了两种类型的（非线性）非二进制稀疏数据的核心，并通过分类实验证明了新的内核的有效性。Core内核很简单，没有调优参数。然而，训练非线性核SVM在时间和存储器上可能是（非常）昂贵的，并且可能不适合真正的大规模工业应用（例如搜索）。为了使所提出的核心内核更实用，我们开发了基本的概率哈希算法，将非线性内核转换为线性内核。
2014-04-24 cs.DS cs.LG stat.ME
Celty: SpMSpV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference
Yale University（耶鲁大学）；University of Southern California（南加州大学）
针对双稀疏LLM推理中spMspV workload处理低效问题，提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构，实现最高5.3倍加速。
2026-09-09 cs.AR cs.LG
A joint optimization approach to identifying sparse dynamics using least squares kernel collocation
Department of Applied Mathematics, University of Washington（应用数学系，华盛顿大学）
本文提出了一种联合优化方法，通过结合稀疏恢复与RKHS理论，实现从稀少噪声观测中高效学习稀疏动力学方程。
2026-02-20 cs.LG math.DS stat.ME
Improved Coresets for Kernel Density Estimates
University of Utah（犹他大学）
我们研究核密度估计的核心集的构造。也就是说，我们展示了如何用一个更小的点集的核密度估计来近似一个大的点集所描述的核密度估计。对于特征核（包括高斯核和拉普拉斯核），我们的近似保留了误差$ε$内的核密度估计之间的$L_\infty$误差，具有核心集大小$2/ε^2$，但没有数据的其他方面，包括维度，点集的直径或其他近似所共有的核的带宽。当维度是不受限制的，我们表明这个界是紧的，这些内核以及一个更广泛的集。这项工作提供了一个仔细的分析迭代弗兰克-沃尔夫算法适应这种情况下，一种算法称为\emph{kernel herding}。该分析将涵盖统计学、机器学习和几何学的广泛工作结合在一起。当尺寸$d$是恒定的，我们证明了更严格的边界上的coreset的大小，特别是高斯内核，表明它是有界的轴对齐的矩形的coreset的大小。目前最著名的构造性界限是$O(\frac{1}ε \log^d \frac{1}ε)$，而非构造性界限可以通过$\sqrt{\log \frac{1}ε}$来改进。这改进了$d \geq 3$的多项式最佳恒定维数界限。
2017-10-11 cs.CG cs.LG stat.ML
Fourier Sparse Leverage Scores and Approximate Kernel Learning
Texas A&M University（德克萨斯农工大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）
我们证明了新的明确的上界的杠杆分数的傅立叶稀疏函数下的高斯和拉普拉斯措施。特别是，我们研究$s$ -稀疏函数的形式$f(x) = \sum_{j=1}^s a_j e^{i λ_j x}$的系数$a_j \in \mathbb{C}$和频率$λ_j \in \mathbb{R}$。在各种度量下的傅立叶稀疏杠杆分数在近似理论中具有纯数学意义，我们的工作扩展了统一度量的现有结果[Erd 17，CP 19 a]。实际上，我们的边界是由两个重要的应用在机器学习的动机：1。核近似他们产生一个新的随机傅立叶特征算法近似高斯和柯西（有理二次）核矩阵。对于低维数据，我们的方法使用一个接近最佳数量的功能，其运行时间是多项式的近似核矩阵的$statistical\ dimension$。这是第一个“不经意的素描方法”，除了多项式核之外，任何核都具有此属性，解决了[AKM+17，AKK+20 b]的公开问题。2.主动学习。当数据服从高斯或拉普拉斯分布时，它们可以用作鲁棒主动学习的非均匀采样分布。使用[AKM+19]的框架，我们为带限和多带插值以及高斯过程回归提供了基本上最优的结果。这些结果推广了现有的工作，只适用于均匀分布的数据。
2021-07-08 cs.DS cs.LG math.CA
Learning the kernel matrix by resampling
Northwestern Polytechnical University（西北工业大学）
在这篇抽象的论文中，我们介绍了一个新的核学习方法的非参数密度估计。估计器由一组k-质心聚类组成。每个聚类随机选择具有随机选择的特征的数据点作为其质心，并通过单最近邻优化来学习独热编码器。估计器为每个数据点生成稀疏表示。然后，我们从数据的稀疏表示构造一个非线性核矩阵。所提出的核方法的一个主要优点是，它是相对不敏感的自由参数，因此，它可以产生合理的结果，而无需参数调整。另一个优点是它很简单。我们推测，该方法可以找到它的应用在许多学习任务或方法，稀疏表示或核矩阵的探索。在这个初步的研究中，我们已经应用核矩阵的谱聚类。我们的实验结果表明，所提出的方法产生的核优于良好的调整高斯RBF核。这篇摘要文章是用来保护这个想法的，完整的版本将在以后更新。
2017-08-01 cs.LG
