Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK
UT Austin（德克萨斯大学奥斯汀分校）；NEC Labs America（美国 NEC 实验室）；Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）；OSU（俄亥俄州立大学）
该研究针对偏置常数初始化的单隐层ReLU网络，提出偏置广义NTK框架，证明其训练全程稀疏激活且收敛速度与稠密网络相当，还得到首个依赖稀疏度的Rademacher泛化界及更紧致的核最小特征值下界。
2024-10-29 cs.LG
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
On the Self-Penalization Phenomenon in Feature Selection
University of California, Berkeley（加州大学伯克利分校）；The Voleon Group（沃利恩集团）
我们描述了一种基于一族内核最小化的隐式稀疏诱导机制：\begin{equation*} \min_{β, f}~\widehat{\mathbb{E}}[L(Y, f(β^{1/q} \odot X)] + λ_n \|f\|_{\mathcal{H}_q}^2~~\text{subject to}~~β\ge 0, \end{equation*}，其中$L$是损失，$\odot$是坐标乘法，$\mathcal{H}_q$是基于内核$k_q(x, x') = h(\|x-x'\|_q^q)$的再现内核Hilbert空间，其中$\|\cdot\|_q$是$\ell_q$范数。使用梯度下降来优化这个目标相对于$β$导致精确稀疏平稳点的概率很高。稀疏性是在不使用任何公知的显式稀疏化技术的情况下实现的，例如惩罚（例如，$\ell_1$）、提前停止或后处理（例如，剪切）。作为一个应用程序，我们使用这种稀疏诱导机制，建立算法一致的特征选择。
2021-10-12 cs.LG math.ST stat.ML
Generalization Guarantees for Sparse Kernel Approximation with Entropic Optimal Features
Texas A&M University（得克萨斯农工大学）
尽管核方法取得了成功，但在实践中，它们的计算成本很高。在本文中，在代替常用的内核扩展相对于$N$输入，我们开发了一种新的最优设计内核功能之间的熵最大化。该过程导致相对于熵最优特征（Entropy Optimal Features，EVM）的核扩展，由于特征的不相似性而显著地改善了数据表示。在温和的技术假设下，我们的泛化界限表明，仅使用$O(N^{\frac{1}{4}})$特征（不考虑对数因子），我们可以实现最佳统计准确性（即，$O(1/\sqrt{N})$）。我们的设计的显着特点是它的稀疏性，显着降低了时间和空间成本。我们在基准数据集上的数值实验验证了该方法在核近似方面优于现有的核近似方法。
2020-02-11 cs.LG stat.ML
Optimization with Sparsity-Inducing Penalties
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；University of California（加利福尼亚大学）
稀疏估计方法旨在使用或获得数据或模型的简约表示。它们最初致力于线性变量选择，但现在已经出现了许多扩展，例如结构化稀疏或内核选择。事实证明，许多相关的估计问题可以通过用适当的非光滑范数正则化经验风险来转化为凸优化问题。本文的目标是从一个一般的角度来介绍专门用于这种稀疏诱导处罚的优化工具和技术。我们涵盖近端方法，块坐标下降，重新加权$\ell_2$惩罚技术，工作集和同伦方法，以及非凸配方和扩展，并提供了一个广泛的实验，从计算的角度来看，各种算法进行比较。
2011-11-22 cs.LG math.OC stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Istituto Italiano di Tecnologia（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题，从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充，理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Italian Institute of Technology（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了如何高维的因果推断任务可以自然地铸造稀疏函数估计问题，导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充Rademacher泛化界方面的理论分析。
2013-03-08 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL（洛桑联邦理工学院）
在本文中，我们提供了一个广义全变差（gTV）正则化的监督学习的Banach空间公式。我们确定类的核函数，在这个框架中是允许的。然后，我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明，该解决方案承认一个自适应位置的多核扩展。在该表示中，活动内核的数量由数据点的数量上限，而gTV正则化对内核系数施加$\ell_1$惩罚。最后，我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Exploiting sparsity to build efficient kernel based collaborative filtering for top-N item recommendation
University of Padova（帕多瓦大学）
越来越多的隐式反馈数据集的可用性提高了开发有效的协同过滤技术，能够处理不对称的明确的正反馈和模糊的负反馈的兴趣。在本文中，我们提出了一个原则性的基于核的协同过滤方法的前N项的建议与隐式反馈。我们提出了一个有效的实现使用的线性内核，我们展示了如何将其推广到内核的点积家庭保持效率。我们还研究了影响标准余弦核稀疏性的元素。该分析表明，核的稀疏性强烈地依赖于数据集的属性，特别是依赖于长尾分布。我们比较我们的方法与国家的最先进的算法取得了良好的效果，无论是在效率和有效性。
2016-12-17 cs.AI cs.IR cs.LG
Extending Kernel PCA through Dualization: Sparsity, Robustness and Fast Algorithms
KU Leuven（鲁汶大学）
该研究通过凸函数差值的对偶化重新审视KPCA，提出可表示为Moreau envelopes的目标函数以兼顾鲁棒性与稀疏性，基于梯度的高效算法避免了格拉姆矩阵的昂贵SVD，实验证实训练速度显著提升且兼具鲁棒性和稀疏性优势。
2023-06-09 cs.LG stat.ML
Is Input Sparsity Time Possible for Kernel Low-Rank Approximation?
MIT（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩近似是用于加速核方法的常用工具：$n \times n$核矩阵$K$通过秩- $k$矩阵$\tilde K$来近似，该秩-$k$矩阵可以存储在更少的空间中并且更快地处理。在这项工作中，我们研究了计算效率低秩核近似的限制。我们表明，对于广泛的一类内核，包括流行的高斯和多项式内核，计算相对误差$k$秩近似$K$是至少一样困难的输入数据矩阵$A \in \mathbb{R}^{n \times d}$乘以任意矩阵$C \in \mathbb{R}^{d \times k}$。除非在快速矩阵乘法方面有所突破，否则当$k$不是太大时，这需要$Ω(nnz(A)k)$时间，其中$nnz(A)$是$A$中非零的数目。这个下限匹配，在许多参数制度，最近的工作次二次时间算法的低秩近似的一般内核[MM 16，MW 17]，表明这些算法不太可能得到显着改善，特别是$O(nnz(A))$输入稀疏运行时。同时也有希望：我们首次证明了$O(nnz(A))$时间近似对于一般径向基函数核是可能的（例如，高斯核）的核化数据集的低秩近似的密切相关的问题。
2017-11-05 cs.DS cs.LG
Mustafar: Promoting Unstructured Sparsity for KV Cache Pruning in LLM Inference
Department of Computer Science, University of Maryland（计算机科学系，马里兰大学）；d-Matrix
Mustafar提出基于非结构化稀疏性的KV缓存剪枝方法，无需微调即可实现高达70%稀疏率，并通过位图格式与自定义注意力内核将吞吐量最高提升2.23倍。
2025-11-06 cs.LG
Improving Sparsity in Kernel Adaptive Filters Using a Unit-Norm Dictionary
Center for Mathematical Modeling Universidad de Chile Email
核自适应滤波器是一类自适应非线性时间序列模型，具有从序列数据中学习表达性自回归模式的能力。然而，对于平凡的单调信号，它们很难执行准确的预测，同时将计算复杂度保持在期望的范围内。这是因为当新的观察结果与算法过去看到的结果相差甚远时，它们会被合并到字典中。我们提出了一种新的方法来内核自适应滤波，比较新的观察对字典样本的单位范数（归一化）版本，这意味着新的观察，看起来像以前的样本，但有不同的幅度不添加到字典。我们通过提出单位范数高斯核来实现这一点，并为这种新的核定义了一个稀疏化标准。这种新的方法验证了两个真实世界的数据集对标准KAF的归一化均方误差和字典大小。
2017-07-13 cs.LG stat.ML
Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
该研究提出新型网格谱混合乘积核与稀疏线性多核学习框架，结合量化ADMM与分布式逐次凸逼近算法，实现高效隐私保护的高斯过程超参数分布式优化，性能与效率更优。
2025-01-16 cs.LG eess.SP math.OC
Celty: SpMSpV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference
Yale University（耶鲁大学）；University of Southern California（南加州大学）
针对双稀疏LLM推理中spMspV workload处理低效问题，提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构，实现最高5.3倍加速。
2026-09-09 cs.AR cs.LG
Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm
DEIB, Politecnico di Milano（米兰理工大学DEIB学院）；Centro di Eccellenza DEWS, DISIM, Università degli Studi dell’Aquila（阿奎拉大学DISIM学院）
本文提出了一种二元核对数回归方法，通过诱导稀疏性并保持高测试精度，实现了预测准确性和稀疏性之间的良好平衡。
2025-12-22 cs.LG math.OC
Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University at Buffalo（布法罗大学）
高斯过程（GP）是一种在科学和工程应用中用于随机函数逼近的重要数学框架。这一成功在很大程度上归功于GP的分析易处理性，鲁棒性，非参数结构和自然包含的不确定性量化。不幸的是，精确GP的使用对于大型数据集是非常昂贵的，这是由于它们在计算中的$O(N^3)$和在存储中的$O(N^2)$的不利的数值复杂性。所有现有的解决这个问题的方法都利用某种形式的近似-通常考虑完整数据集的子集或找到代表性的伪点，使协方差阵结构良好且稀疏。这些近似方法可能导致函数近似的不准确性，并且经常限制用户在设计表达性内核时的灵活性。而不是通过数据点的几何形状和结构诱导稀疏性，我们建议利用自然发生的稀疏性，允许内核发现-而不是诱导-稀疏结构。本文的前提是，GP在其最原始的形式下通常是自然稀疏的，但常用的内核不允许我们利用这种稀疏性。精确且同时稀疏的GP的核心概念依赖于内核定义，这些内核定义提供了足够的灵活性来学习和编码非零协方差和零协方差。这种超灵活、紧支持和非静态内核的原理，结合HPC和约束优化，使我们能够扩展精确的GP远远超过500万个数据点。
2022-05-18 cs.LG math.PR stat.CO
Grassmannian Mixture-of-Experts: Concentration-Controlled Routing on Subspace Manifolds
Department of Computer Science Iowa State University（计算机科学系爱荷华州立大学）
GrMoE通过Grassmannian流形上的浓度控制机制，实现子空间路由的稀疏性优化与负载平衡改进。
2026-02-19 cs.LG
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks
Weill Cornell Medical College of Cornell University（康奈尔大学威尔康奈尔医学院）；Cornell Tech（康奈尔理工学院）
本文研究了宽度极限下稀疏神经活动对深度贝叶斯神经网络泛化性能的影响，推导出含ReLU和预定活跃神经元比例的NNGP核，发现浅层稀疏网络表现更优，并用核岭回归理论加以验证。
2023-05-17 cond-mat.dis-nn cs.LG q-bio.NC
AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
AdaptGear提出利用子图层级密度特征定制内核并动态选择最优内核集合，以平衡稀疏性收益与执行效率，在NVIDIA GPU上实现GNN训练最高6.49倍加速。
2023-05-27 cs.DC cs.LG
Kernel Task-Driven Dictionary Learning for Hyperspectral Image Classification
Pennsylvania State University（宾夕法尼亚州立大学）；Army Research Laboratory（陆军研究实验室）
字典学习算法已经成功地用于重建和判别任务，其中输入信号由几个字典原子的线性组合表示。虽然这些方法通常是在输入域中的$\ell_1$稀疏约束（先验）下开发的，但最近的研究已经证明了在核域中使用结构化稀疏先验的稀疏表示的优点。提出了一种核域有监督字典学习算法用于高光谱图像分类。在所提出的配方中，字典和分类器联合获得最佳的分类性能。监督配方是任务驱动的，并提供了学习功能的高光谱数据，非常适合分类任务。此外，该算法使用联合（$\ell_{12}$）稀疏性之前，强制相邻像素之间的合作。仿真结果表明了所提出的字典学习算法的有效性。
2015-02-10 cs.CV cs.LG stat.ML
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
对于监督学习和无监督学习，正定核允许使用大的且可能无限维的特征空间，其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中，我们探讨了稀疏诱导范数，如l1-范数或块l1-范数的惩罚。我们假设，内核分解成一个大的总和，可以嵌入在一个有向无环图的个别基础内核，我们表明，它是可以通过一个分层的多内核学习框架，在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明，通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
Columbia University（哥伦比亚大学）
研究针对线性注意力在状态跟踪和长上下文记忆的局限，提出半直接傅里叶增量注意力（SFDA），通过构造性分块-WY分解，实现精确仿射分块转移等，经数值验证和实验表明其能学习循环记忆，优于禁用相位的KDA基线。
2026-07-15 cs.LG
Efficient Neural Controlled Differential Equations via Attentive Kernel Smoothing
Applied AI Institute（应用人工智能研究所）；Risk AI Research Lab（风险人工智能研究实验室）
提出用核/高斯过程平滑替代插值构建神经CDE路径，结合注意力多视图CDE恢复细节，在降低函数评估次数的同时实现最优精度。
2026-07-02 cs.LG
Initialising Kernel Adaptive Filters via Probabilistic Inference
Universidad de Chile（智利大学）
我们提出了一个概率框架（i）确定内核自适应滤波器（KAF）的初始设置和（ii）构建完全自适应KAF，其中除了权重和字典，内核参数顺序学习。这是通过将估计器公式化为概率模型并在内核参数、权重和字典上定义专用的先验分布来实现的，从而强制执行诸如稀疏性之类的期望属性。然后，可以使用数据的子集来训练模型，以初始化标准KAF，或者在每次新的观察变得可用时顺序地更新模型。由于模型的非线性/非高斯特性，学习和推理是使用基于梯度的最大后验优化和马尔可夫链蒙特卡罗方法实现的，并且可以自信地用于计算预测。所提出的框架进行了验证的非线性时间序列的合成和现实世界的性质，在均方误差和稀疏的学习字典方面，它优于标准的KAF。
2017-07-11 cs.LG stat.ML
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
Leverage Score Sampling for Tensor Product Matrices in Input Sparsity Time
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种输入稀疏时间采样算法，可以频谱近似的Gram矩阵对应的$q$倍列的$q$矩阵的张量积使用一个接近最佳的样本数，改善了所有以前已知的方法，聚$(q)$因素。此外，对于数据集的$q$折叠自张量的重要特殊情况，这是度$q$多项式核的特征矩阵，我们的方法的运行时间的前导项与输入数据集的大小成比例，并且不依赖于$q$。先前的技术要么在其运行时引起多边形$(q)$减速，要么以具有次优目标维度为代价去除对$q$的依赖性，并且在其运行时二次依赖于数据点的数量。我们的采样技术依赖于$q$部分相关的随机投影的集合，其可以在仅取决于$X$的大小的总时间中同时应用于数据集$X$，并且同时它们的$q$倍克罗内克积充当$X^{\otimes q}$的列跨度中的任何固定向量的近等距。我们还表明，我们的采样方法推广到其他类别的内核超出多项式，如高斯和神经切线核。
2022-06-24 cs.DS cs.LG
Sparse Representer Theorems for Learning in Reproducing Kernel Banach Spaces
School of Mathematics, Jilin University（吉林大学数学学院）；Department of Mathematics and Statistics, Old Dominion University（奥多明尼昂大学数学与统计系）
本文针对再生核巴拿赫空间（RKBS）中的最小范数插值与正则化学习模型，建立显式表示定理，提出可实现稀疏核表示的RKBS充分条件，分析正则化参数对稀疏性的影响，并证明两类特定RKBS具备稀疏表示定理。
2024-03-07 cs.LG math.FA
Sparse GPU Kernels for Deep Learning
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；DeepMind
科学工作负载传统上利用高水平的稀疏性来加速计算并减少内存需求。虽然深度神经网络可以变得稀疏，但在GPU上实现实际的加速是困难的，因为这些应用具有相对中等的稀疏性水平，不足以使现有的稀疏内核优于其密集的对应物。在这项工作中，我们研究了深度学习应用中的稀疏矩阵，并确定了可用于加速计算的有利属性。基于这些见解，我们开发了高性能的GPU内核的两个稀疏矩阵运算广泛适用于神经网络：稀疏矩阵稠密矩阵乘法和采样稠密矩阵乘法。我们的内核在Nvidia V100 GPU上达到单精度峰值的27%。使用我们的内核，我们展示了稀疏的Transformer和MobileNet模型，实现了1.2- 2.1倍的加速比和高达12.8倍的内存节省，而不牺牲准确性。
2020-08-31 cs.DC cs.LG stat.ML
Structured Pruning of Deep Convolutional Neural Networks
Seoul National University（首尔大学）
深度学习算法的实时的应用经常受到高计算复杂性和频繁的存储器访问的阻碍。网络剪枝是解决这一问题的一种很有前途的技术。然而，修剪通常会导致不规则的网络连接，不仅需要额外的表示工作，而且不适合并行计算。我们介绍了卷积神经网络在不同尺度下的结构稀疏性，包括通道稀疏性、核稀疏性和核内稀疏性。这种结构化稀疏性对于嵌入式计算机、并行计算环境和基于硬件的系统上的直接计算资源节省是非常有利的。为了确定网络连接和路径的重要性，所提出的方法使用粒子滤波方法。每个粒子的重要性权重分配通过计算相应的连接模式的错误分类率。修剪后的网络被重新训练，以补偿由于修剪而造成的损失。在实现卷积矩阵产品，我们特别表明，内核内跨越稀疏与一个简单的约束，可以显着降低内核和特征映射矩阵的大小。最终对修剪后的网络进行定点优化，降低了字长精度。这导致总存储大小的显著减小，从而为基于片上存储器的深度神经网络的实现提供优势。
2015-12-29 cs.LG cs.NE stat.ML
Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection
George Mason University（乔治梅森大学）
本文系统梳理了高斯过程回归中自动相关性确定（ARD）的理论基础、算法实践与渐近性质，论证其通过边际似然实现有效稀疏性，并对比多种变量选择方法，指出其优势在于与核学习集成、软件支持广泛且成本低。
2026-09-29 cs.LG stat.ML
Improved Algorithms for Kernel Matrix-Vector Multiplication Under Sparsity Assumptions
MIT（麻省理工学院）；EPFL（瑞士联邦理工学院）；Tel Aviv University（特拉维夫大学）
针对注意力矩阵快速处理需求，提出稀疏性假设下非对称高斯核矩阵-向量乘法的首个次平方时间算法，经LLM等场景实验验证假设成立，实现n次平方、d线性的误差可控计算。
2025-07-31 cs.DS cs.LG
Samplet basis pursuit: Multiresolution scattered data approximation with sparsity constraints
Istituto Eulero, Università della Svizzera italiana（瑞士意大利语区大学欧勒研究所）；Università della Svizzera italiana（瑞士意大利语区大学）；Universität Basel（巴塞尔大学）
本文提出Samplet基追踪方法，通过$\ell_1$正则化在samplet坐标下实现散乱数据的多分辨率稀疏逼近，并结合软收缩与半光滑Newton法实现大规模快速求解，在曲面重建和温度数据重建中优于单尺度方法。
2024-04-02 cs.LG cs.NA math.NA
Neural signature kernels as infinite-width-depth-limits of controlled ResNets
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
本文研究随机初始化受控 ResNet 的无限宽深极限，证明其收敛到由 PDE 刻画的 Gaussian 过程，并提出神经签名核，同时刻画有限宽度网络向随机向量场 Neural CDE 的收敛。
2023-06-04 cs.LG math.DS math.PR
A Mechanistic Interpretation of Prescribed-Parameter Convolutional Kernels
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；UC3M-Santander Big Data Institute（UC3M-桑坦德大数据研究所）
该研究从理论上分析了Rocket算法，将其随机卷积核形式化为压缩感知中的随机投影，证明其能保留判别模式并表达数据稀疏性，同时满足平移不变性和噪声鲁棒性，为参数优化提供指导。
2026-10-28 cs.LG stat.ML
Analyzing sparse dictionaries for online learning with kernels
Institut Charles Delaunay (CNRS)（夏尔·德拉诺研究所（法国国家科学研究中心））；Université de technologie de Troyes（特鲁瓦技术大学）
本文针对核方法在线学习中的稀疏字典问题，基于四种主流稀疏性度量开展分析，通过特征值分析揭示其共有性质，并证明参数空间与字典诱导特征空间存在拟等距关系，为核在线学习的稀疏字典构建提供理论支撑。
2014-09-21 cs.CV cs.IT cs.LG
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels
The University of Utah（犹他大学）；The University of Sheffield（谢菲尔德大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；International Computer Science Institute（国际计算机科学研究所）
针对数据稀疏、噪声及缺乏不确定性量化等问题，提出基于核学习与贝叶斯尖峰与厚板先验的方程发现方法KBASS，结合EP-EM算法与张量代数实现高效推断与计算，在ODE和PDE发现任务中展现优势。
2024-04-22 cs.LG stat.ML
Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
研究大语言模型推理成本挑战，提出含稀疏张量核层等的三层矩阵存储格式，设计联合稀疏张量核与CUDA核的SpMM内核，实现了在现代GPU上超越密集矩阵乘法，取得显著加速。
2026-07-13 cs.AI cs.AR cs.LG
Sparseout: Controlling Sparsity in Deep Networks
University of Saskatchewan（萨斯喀彻温大学）
Dropout通常用于帮助减少深度神经网络中的过拟合。稀疏性是神经网络的一个潜在的重要属性，但并不被基于丢弃的正则化显式控制。在这项工作中，我们提出了Sparseout一个简单而有效的变体Dropout，可用于控制神经网络中激活的稀疏性。我们从理论上证明了Sparseout等价于广义线性模型特征的$L_q$惩罚，而Dropout是Sparseout在神经网络中的一个特例.我们的经验表明，Sparseout是计算成本低，能够控制所需的稀疏激活水平。我们在图像分类和语言建模任务上评估了Sparseout，以了解稀疏性对这些任务的影响。我们发现，稀疏的激活是有利的语言建模性能，而图像分类受益于密集的激活。Sparseout提供了一种在最先进的深度学习模型中研究稀疏性的方法。Sparseout的源代码可以在\url{https://github.com/najeebkhan/sparseout}上找到。
2019-04-17 cs.LG cs.NE stat.ML
Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks
University of Southern California（南加利福尼亚大学）
处理深度卷积神经网络的高能源成本阻碍了它们在嵌入式系统和物联网设备等能源受限平台中的普遍部署。这项工作引入了具有预定义稀疏2D内核的卷积层，这些内核具有在过滤器内和过滤器之间周期性重复的支持集。由于我们的周期性稀疏内核的有效存储，由于减少了DRAM访问，参数节省可以转化为能源效率的显著提高，从而有望显着改善训练和推理的能耗和准确性之间的权衡。为了评估这种方法，我们在ResNet 18和VGG 16架构的稀疏变体中使用两个广泛接受的数据集CIFAR-10和Tiny ImageNet进行了实验。与基线模型相比，我们提出的稀疏变体需要的模型参数减少了82%，FLOP减少了5.6倍，ResNet 18在CIFAR-10上的准确性损失可以忽略不计。对于在Tiny ImageNet上训练的VGG 16，我们的方法需要的FLOP减少了5.8倍，模型参数减少了83.3%，而前5名（前1名）的准确率仅下降了1.2%（2.1%）。我们还比较了我们提出的架构与ShuffleNet和MobileNetV 2的性能。使用类似的超参数和FLOP，我们的ResNet 18变体的平均精度提高了2.8%。
2020-02-04 cs.CV cs.LG cs.PF
High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
研究了监督学习中高维非线性变量的选择问题。我们的方法是基于执行线性选择指数之间的许多适当定义的正定内核，表征原始变量之间的非线性相互作用。为了有效地选择这些许多内核，我们使用的问题的自然层次结构扩展的多内核学习框架，可以嵌入在一个有向无环图的内核，我们表明，它是可以通过一个图形适应的稀疏诱导规范，在多项式时间在选定的内核的数量进行内核选择。此外，我们研究了变量选择在高维环境中的一致性，表明在某些假设下，我们的正则化框架允许一些无关变量，这些变量在观测数量上是指数级的。我们对合成数据集和UCI存储库数据集的模拟显示了非线性回归问题的最新预测性能。
2009-09-04 cs.LG math.ST stat.TH
Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions
UC Berkeley（加州大学伯克利分校）
针对非马尔可夫环境下霍克斯驱动随机微分方程的随机控制问题，提出Hawkes-CT DDPG算法，通过马尔可夫化近似实现无模型学习，并在三类核上与离散时间强化学习方法对比。
2026-08-20 cs.LG math.OC stat.ML
Learn To be Efficient: Build Structured Sparsity in Large Language Models
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对大语言模型推理开销高的问题，提出训练算法LTE以构建更结构化的激活稀疏性，适配多种激活函数的模型，在多项任务上优于现有基线，结合硬件优化可显著降低推理延迟。
2024-12-12 cs.AI cs.CL cs.LG
Sparse Computations in Deep Learning Inference
Computing Systems Laboratory (CSLab), National Technical University of Athens, Greece（计算系统实验室（CSLab），国家技术大学（雅典））；Artificial Intelligence and Learning Systems Laboratory (AILS), National Technical University of Athens, Greece（人工智能与学习系统实验室（AILS），国家技术大学（雅典））；Intelligent Robotics and Automation Laboratory (IRAL), National Technical University of Athens, Greece（智能机器人与自动化实验室（IRAL），国家技术大学（雅典））；Max Planck Institute for Software Systems (MPI-SWS), Germany（马克斯·普朗克软件系统研究所（MPI-SWS），德国）；School of Computing Science, University of Glasgow, United Kingdom（计算科学学院，格拉斯哥大学）
本文探讨了深度学习推理中稀疏计算的多种形式及其优化方法，旨在为性能工程师提供高效稀疏模型开发和部署的指导。
2025-12-02 cs.AI cs.CE cs.LG
