Sparse Additive Model Pruning for Order-Based Causal Structure Learning
本文提出基于稀疏加法模型的因果结构学习剪枝方法，通过高效算法提升剪枝效率并保持高准确性。
2026-02-17 cs.LG stat.ML
Representing Additive Gaussian Processes by Sparse Matrices
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）
本研究证明加性Matérn高斯过程的后验均值、方差、对数似然及梯度均可由稀疏矩阵/向量表示，将相关计算复杂度降至O(n log n)，并应用于贝叶斯优化大幅降低采集函数等的计算复杂度。
2023-04-29 cs.LG stat.ML
Detecting Nonlinear Causality in Multivariate Time Series with Sparse Additive Models
提出了一种利用稀疏加性模型（SpAM）检测多维离散时间序列中非线性因果关系的非参数方法。我们发现，当输入到SpAM是一个$β$混合时间序列，该模型可以拟合的线性组合的一组B-样条基，然后解决一组套索型优化问题的非凸正则化的每个未知函数。理论上，我们刻画了所提出的稀疏估计在函数估计和模型选择中的预言统计性质。数值上，我们提出了一个有效的路径迭代收缩阈值算法（PISTA），驯服的非凸性，并保证线性收敛到所需的稀疏估计的高概率。
2018-04-26 cs.LG stat.ME stat.ML
Low-rank Interaction with Sparse Additive Effects Model for Large Data Frames
Centre de Mathématiques Appliquées（应用数学中心）；École Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；The Chinese University of Hong Kong（香港中文大学）；ESSEC Business School（埃塞克高等商学院）；CREST（法国经济统计与计量研究中心）；ENSAE（法国国立统计与经济管理学院）
机器学习的许多应用都涉及大型数据框架的分析-收集异构测量（二进制，数值，计数等）的矩阵。跨样本-具有缺失值。低秩模型，如Udell等人所研究的。[30]，在这个框架中很受欢迎，用于可视化，聚类和缺失值填补等任务。然而，具有统计保证和有效优化的可用方法不允许对主要加性效应（如行和列）或协变量效应进行显式建模。在本文中，我们介绍了一个低秩交互作用和稀疏加性效应（LORIS）模型，它结合了字典上的矩阵回归和低秩设计，同时估计主效应和交互作用。我们提供统计保证的形式上界的两个组件的估计误差。然后，我们介绍了一种混合坐标梯度下降（MCGD）方法，可证明次线性收敛到最优解，是计算效率高的大规模数据集。我们的模拟和调查数据表明，该方法具有明显的优势，比目前的做法，其中包括在预处理步骤中分别处理添加剂的影响。
2018-12-20 cs.LG stat.ML
Sparse Additive Functional and Kernel CCA
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；University of Chicago（芝加哥大学）
典型相关分析（CCA）是寻找两个随机向量分量之间相关性的经典工具。近年来，CCA已被广泛应用于基因组数据的分析，其中研究人员通常对一组患者样本进行多项分析。最近的工作提出了稀疏的CCA的变种，以解决这些数据的高维性。然而，经典的和稀疏的CCA是基于线性模型，并因此在他们的能力有限，以找到一般的相关性。在本文中，我们提出了两种方法，高维非参数CCA，最近的发展在高维非参数回归的基础上。我们提出了这两种方法的估计程序，并分析其理论性质的高维设置。我们证明了这些程序的有效性，发现非线性相关性，通过广泛的模拟，以及通过实验与基因组数据。
2012-06-18 cs.LG stat.ML
An Additive Model View to Sparse Gaussian Process Classifier Design
Yahoo! Labs（雅虎实验室）；Indian Institute of Science（印度科学学院）
我们考虑的问题，设计一个稀疏高斯过程分类器（SGPC），推广良好。将SGPC设计看作是构建一个类似于boosting的加性模型，我们提出了一种高效的SGPC设计方法来执行预测损失函数的逐阶段优化。我们介绍了两个关键组件的新方法，即，场地参数估计和基向量选择。所提出的基于自适应采样的基向量选择方法有助于以降低的计算成本实现提高的泛化性能。该方法也可与其它场地参数估计方法结合使用。它具有与众所周知的信息向量机相似的计算和存储复杂性，适用于大型数据集。超参数可以通过优化预测损失函数来确定。实验结果表明，所提出的基向量选择方法在几个基准数据集上具有更好的泛化性能，特别是对于相对较小的基向量集大小或困难的数据集。
2012-06-26 cs.LG stat.ML
FAST: An Optimization Framework for Fast Additive Segmentation in Transparent ML
Massachusetts Institute of Technology（麻省理工学院）
本研究提出用于透明机器学习的快速可加分段优化框架FAST，通过新颖优化流程将加性模型拟合速度提升约2个数量级，还开发了配套特征选择算法，兼顾模型效率与可解释性。
2025-07-30 cs.LG stat.ML
Sparse Partially Linear Additive Models
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
广义部分线性加性模型（GPLAM）是一种灵活且可解释的构建预测模型的方法。它以相加的方式组合特征，允许每个特征对响应具有线性或非线性影响。然而，将哪些特征视为线性或非线性的选择通常被假定为已知的。因此，为了使GPLAM在$a~priori$对特征知之甚少的情况下成为一种可行的方法，必须克服两个主要的模型选择挑战：决定模型中包含哪些特征，以及确定对这些特征中的哪些进行非线性处理。我们介绍了稀疏部分线性加性模型（SPLAM），它结合了模型拟合和$both$这些模型选择的挑战到一个单一的凸优化问题。SPLAM提供了套索和稀疏加性模型之间的桥梁。通过统计预言不等式和全面的模拟，我们证明了SPLAM可以在广泛的统计制度，包括高维（$p\gg N$）设置优于其他方法。我们开发了高效的算法，应用于具有50万个样本和超过45，000个特征的真实数据集，具有出色的预测性能。
2018-03-27 cs.LG stat.ME stat.ML
Modelling local and global phenomena with sparse Gaussian processes
Helsinki University of Technology（赫尔辛基工业大学）
最近的许多工作都涉及稀疏近似，以加快高斯过程回归从不利的O（n3）缩放计算时间为O（nm2）。到目前为止，工作集中在模型与一个协方差函数。然而，在许多实际情况下，具有多个协方差函数的加性模型可能表现得更好，因为数据可能包含长和短长度尺度现象。长尺度可以用全局稀疏近似（如完全独立条件（FIC））来捕获，短尺度可以自然地用具有紧支持（CS）的协方差函数来建模。CS协方差函数导致自然稀疏的协方差矩阵，其在计算上比完整的协方差矩阵更便宜。在本文中，我们提出了一个新的稀疏高斯过程模型与两个附加组件：FIC的长尺度和CS协方差函数的短尺度。我们给出了理论和实验结果，并表明在一定条件下，该模型具有相同的计算复杂性的FIC。我们还比较了所提出的模型的模型性能的加性模型近似的完全和部分独立的条件（PIC）。我们使用真实的数据集，并表明我们的模型优于FIC和PIC近似的数据集与两个添加剂的现象。
2012-06-13 cs.LG stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型（GAM）是统计学家感兴趣的一类广泛使用的模型，因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里，我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程（GP），并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件，并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Sparse Deep Additive Model with Interactions: Enhancing Interpretability and Predictability
Department of Mathematics and Statistics（数学与统计学系）；Georgia State University（佐治亚州立大学）；Tri-institutional Center for Translational Research in Neuroimaging and Data Science（神经影像与数据科学转化研究三机构中心）
本文提出了一种结合稀疏特征选择与深度子网络的稀疏深度加法模型与交互（SDAMI），通过三阶段策略实现高维回归中的可解释性和预测性提升。
2026-05-18 cs.LG stat.ML
Additive function approximation in the brain
University of Washington（华盛顿大学）
许多生物学习系统，如蘑菇体、海马体和小脑，都是由稀疏连接的神经元网络构成的。为了对这种网络有一个新的理解，我们研究了由稀疏随机特征引起的函数空间，并描述了哪些函数可以学习，哪些不能学习。每个神经元具有$d$输入的网络被发现等价于阶数为$d$的加性模型，而具有度分布的网络结合了不同阶数的加性项。我们确定了稀疏性的三个具体优势：加性函数近似是一个强大的归纳偏差，限制了维数灾难，稀疏网络对输入中的离群噪声是稳定的，稀疏随机特征是可扩展的。因此，即使是简单的大脑架构也可以是强大的函数逼近器。最后，我们希望这项工作有助于在计算神经科学家中推广网络的核心理论。
2019-09-13 cs.LG cs.NE q-bio.NC
Meta Additive Model: Interpretable Sparse Learning With Auto Weighting
College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）
本文提出元加法模型（MAM），通过双层优化框架实现数据驱动的个体损失加权，提升在高维数据中的稀疏学习性能，理论和实验均证明其在鲁棒回归和不平衡分类中的优越性。
2026-04-22 cs.AI cs.LG stat.ML
Classification by sparse generalized additive models
Tel Aviv University（特拉维夫大学）
该研究提出带稀疏组Lasso/Slope型惩罚的稀疏广义加性分类模型，可适配未知稀疏性与平滑性，在多类函数空间达近极小极大率，并用模拟和真实数据验证了性能。
2024-05-15 cs.LG math.ST stat.ME
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania（宾夕法尼亚大学）
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是，神经可加模型（NAM）为黑盒深度学习提供了可解释性，并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力，我们提出了稀疏神经添加模型（SNAM），该模型采用组稀疏正则化（例如Group LASSO），其中每个特征由子网络学习，该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性，采用新的技术来处理非参数真理，从而扩展了经典的稀疏线性模型，如LASSO，它只适用于参数真理。具体来说，我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$，和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM，类似于LASSO，可以有精确的支持恢复，即完美的特征选择，适当的正则化。此外，我们表明，SNAM可以很好地推广，并保持“可识别性”，恢复每个功能的效果。通过大量的实验验证了我们的理论，并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse Additive Models with Feature Division and Decorrelation
The Chinese University of Hong Kong（香港中文大学）；New York University（纽约大学）；East China Normal University（华东师范大学）
本文提出分布式算法DDAC-SpAM，通过特征划分、去相关和合并三步在高维稀疏可加模型中实现稀疏模式恢复与统计推断，兼顾理论与实证效果。
2023-07-08 cs.LG math.ST stat.AP
PENDANTSS: PEnalized Norm-ratios Disentangling Additive Noise, Trend and Sparse Spikes
RWTH Aachen University（亚琛工业大学）；Univ. Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）；IFP Energies nouvelles（法国石油与新能源研究院）
去噪、去趋势、去卷积：通常的恢复任务，传统上解耦。耦合公式需要复杂的不适定反问题。我们提出PENDANTSS的联合趋势去除和盲反卷积稀疏峰状信号。它混合了一个简约的先验假设，即平滑趋势和噪声可以通过低通滤波在一定程度上分离。我们结合广义准范数比SOOT/SPOQ稀疏惩罚$\ell_p/\ell_q$与BEADS三元辅助源分离算法。这导致了一个收敛和有效的工具，一个新的信任区域块交替可变度量的前向-后向方法。当应用于典型的峰值分析化学信号时，它优于可比方法。提供可复制的代码。
2023-02-16 cs.LG eess.SP math.OC
Exploring and Interacting with the Set of Good Sparse Generalized Additive Models
Duke University（杜克大学）；The University of British Columbia（不列颠哥伦比亚大学）
本文提出用椭球体近似稀疏广义加性模型的Rashomon集合，以支持用户探索多种近优模型，解决变量重要性、约束建模及形状突变等实际问题。
2023-11-17 cs.AI cs.LG stat.ML
MOSAIC: Module Discovery via Sparse Additive Identifiable Causal Learning for Scientific Time Series
University of Illinois Chicago（伊利诺伊大学香槟分校）；Case Western Reserve University（凯斯西储大学）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI
MOSAIC通过稀疏加法可识别因果学习，在科学时间序列中发现模块结构，通过稀疏解码器恢复观测变量支持，实现可解释的潜在机制发现。
2026-10-19 cs.AI cs.LG
Kernel-Based Sparse Additive Nonlinear Model Structure Detection through a Linearization Approach
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出一种数据驱动方法，通过线性化将连续时间稀疏加性非线性系统近似为LPV模型，利用RKHS稀疏估计器检测梯度与Hessian非零元素，从而确定模型结构，数值模拟验证了有效性。
2025-08-02 cs.LG cs.SY eess.SY
Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Sparse Additive Off-Policy Evaluation for Reinforcement Learning with Potentially Limited Number of Trajectories
Yale University（耶鲁大学）；London School of Economics and Political Science（伦敦政治经济学院）；George Washington University（乔治华盛顿大学）；University of Miami（迈阿密大学）
该研究提出了稀疏加性离线策略评估框架，用稀疏加性结构的非线性函数建模Q函数，推导了与环境维度对数相关的误差界，还提出组稀疏性特征筛选方法，可在轨迹有限时实现准确的值函数估计。
2026-08-25 cs.LG math.ST stat.ML
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Prototype-guided transfer of sparse literature knowledge for electrolyte additive discovery
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
研究针对电解液添加剂发现中实验验证分子稀疏的问题，开发原型引导分子智能框架ProtoMI，结合文献与未标注数据筛选候选物，成功发现提升电池性能的含硼添加剂TNDB，为数据稀缺场景的分子发现提供了高效方案。
2026-09-03 cs.LG physics.chem-ph
SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
稀疏收缩加性模型和稀疏随机特征模型已经被分别开发作为学习低阶函数的方法，其中变量之间的相互作用很少，但都没有提供计算效率。另一方面，基于$\ell_2$的收缩加性模型是有效的，但不提供特征选择，因为得到的系数向量是密集的。受迭代幅度修剪技术在神经网络彩票发现中的成功启发，提出了一种新的方法--稀疏随机特征模型（ShRIMP）--来有效地拟合具有稀疏变量依赖形式的固有低维结构的高维数据。我们的方法可以被看作是一个组合的过程来构造和找到稀疏彩票的两层密集网络。我们解释了观察到的好处SHRIMP通过细化分析的泛化误差阈值基追踪和由此产生的界限特征值。通过对合成数据和真实世界基准数据集的函数逼近实验，我们表明SHRIMP获得了比最先进的稀疏特征和加法方法（如SRFE-S，SSAM和SALSA）更好或具有竞争力的测试精度。同时，SHRIMP进行特征选择与低计算复杂性，是鲁棒的修剪率，表明所获得的子网络的结构的鲁棒性。我们通过SHRIMP了解彩票假说，注意到我们的模型和权重/神经元子网络之间的对应关系。
2021-12-07 cs.LG math.OC stat.ML
Learning Sparse Additive Models with Interactions in High Dimensions
ETH Zürich（苏黎世联邦理工学院）；UT Austin（德克萨斯大学奥斯汀分校）
如果函数$f: \mathbb{R}^d \rightarrow \mathbb{R}$具有$f(\mathbf{x}) = \sum_{l \in \mathcal{S}}ϕ_{l}(x_l)$的形式，则它被称为稀疏加性模型（SPAM），其中$\mathcal{S} \subset [d]$，$|\mathcal{S}| \ll d$。假设$ϕ_l$和$\mathcal{S}$是未知的，从其样本估计$f$的问题已经被广泛研究。在这项工作中，我们考虑了广义垃圾邮件，允许二阶相互作用项。对于某些$\mathcal{S}_1 \subset [d], \mathcal{S}_2 \subset {[d] \choose 2}$，函数$f$被假定为以下形式：$$f(\mathbf{x}) = \sum_{p \in \mathcal{S}_1}ϕ_{p} (x_p) + \sum_{(l,l^{\prime}) \in \mathcal{S}_2}ϕ_{(l,l^{\prime})} (x_{l},x_{l^{\prime}}).$$假定$ϕ_{p},ϕ_{(l,l^{\prime})}$、$\mathcal{S}_1$和$\mathcal{S}_2$是未知的，我们提供了一个查询$f$并精确恢复$\mathcal{S}_1,\mathcal{S}_2$的随机算法。因此，这也使我们能够估计…
2016-04-18 cs.IT cs.LG math.IT
Kernel Multigrid: Accelerate Back-fitting via Sparse Gaussian Process Regression
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）
本文针对加性高斯过程训练中回拟收敛慢的问题，提出核多重网格算法，通过稀疏高斯过程回归处理残差，将迭代次数从$\mathcal{O}(n\log n)$降至$\mathcal{O}(\log n)$，并验证了其高效性。
2024-03-30 cs.LG stat.ML
Modelling Cellular Perturbations with the Sparse Additive Mechanism Shift Variational Autoencoder
insitro
本文提出SAMS-VAE模型，通过稀疏全局潜在变量建模干预效应，实现扰动模型的组合性、解耦性和可解释性，并在单细胞数据上验证了其泛化能力和生物学机制相关性。
2024-01-16 cs.AI cs.LG q-bio.QM
Sparse Oblique Rule Boosting for Simpler Additive Rule Ensembles
Monash University（莫纳什大学）；University of Haifa（海法大学）
本文提出稀疏斜规则提升方法，通过可学习稀疏线性变换扩展规则条件，使决策区域成为斜多面体，在14个任务上以更低模型复杂度保持或提升精度，兼顾可解释性与准确性。
2026-09-09 cs.LG
Doping: A technique for efficient compression of LSTM models using sparse structured additive matrices
SambaNova Systems（桑巴诺瓦系统公司）；Arm ML Research（Arm机器学习研究部）
结构化矩阵，例如从Kronecker产品（KP）导出的矩阵，在压缩神经网络方面是有效的，但当应用于大型模型时可能导致不可接受的精度损失。在本文中，我们提出了掺杂的概念-除了一个非常稀疏的矩阵的结构矩阵。掺杂促进了少量参数的附加自由度，允许它们独立地偏离固定结构。为了训练具有掺杂结构矩阵的LSTM，我们引入了额外的参数矩阵，同时缓慢退火其稀疏水平。然而，我们发现，性能下降，因为我们慢慢稀疏的掺杂矩阵，由于结构化和稀疏矩阵之间的协矩阵自适应（CMA）。我们解决了这个过度依赖于稀疏矩阵使用一个共同的矩阵脱落正则化（CMR）计划。我们提供的经验证据表明，掺杂，CMA和CMR的概念一般适用于多个结构矩阵（克罗内克积，LMF，混合矩阵分解）。此外，掺杂克罗内克积矩阵的结果表明，在4个自然语言处理应用中，在大压缩因子（10 - 25倍）下具有最先进的精度，精度损失较小。Doped KP压缩技术通过在相似的精度下实现1.3 - 2.4倍的压缩因子，优于先前最先进的压缩结果，同时还大幅击败了修剪和低秩方法等强大的替代方案（8%或更高）。此外，我们表明，掺杂KP可以部署在商品硬件上使用当前的软件栈，并实现2.5 - 5.5倍的推理运行时速度超过基线。
2021-02-14 cs.LG
Learning Sparse Nonparametric DAGs
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
我们开发了一个从数据中学习稀疏非参数有向无环图（DAG）的框架。我们的方法是基于最近的代数特征的DAG，导致了一个完全连续的程序，基于分数的学习的DAG模型参数化的线性结构方程模型（SEM）。我们利用非参数稀疏偏导数的基础上，扩展这种代数特征的非参数SEM，从而在一个连续的优化问题，可以应用于各种非参数和半参数模型，包括GLM，加性噪声模型，指数模型作为特殊情况。与需要特定建模选择，损失函数或算法的现有方法不同，我们提出了一个完全通用的框架，可以应用于一般非线性模型（例如，没有加性噪声），一般可微损失函数和通用黑盒优化例程。该代码可在https://github.com/xunzheng/notears上获得。
2020-03-23 cs.LG stat.ME stat.ML
A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds
UC Berkeley（加州大学伯克利分校）；Chan-Zuckerberg Biohub（陈-扎克伯格生物中心）
决策树是重要的，既作为可解释的模型服从高风险决策，并作为集成方法，如随机森林和梯度提升的构建块。然而，它们的统计特性还没有得到很好的理解。引用最多的先前的作品集中在经典的非参数回归设置中的CART导出逐点一致性保证。我们采取不同的方法，并主张研究决策树的泛化性能相对于不同的生成回归模型。这使我们能够引出他们的归纳偏见，即算法对新数据进行归纳（或不进行归纳）的假设，从而指导从业者何时以及如何应用这些方法。在本文中，我们专注于稀疏加法生成模型，这既有低的统计复杂性和一些非参数的灵活性。我们证明了一个尖锐的平方误差推广下界的一大类决策树算法适合稀疏加性模型与$C^1$组件功能。令人惊讶的是，这个界限比估计这种稀疏加性模型的极大极小率差得多。效率低下不是因为贪婪，而是因为当我们仅对每个叶子平均响应时，检测全局结构的能力下降，这一观察结果表明有机会改进基于树的算法，例如，通过分层收缩。为了证明这些界限，我们开发了新的技术机器，建立了一个新的连接之间的决策树估计和率失真理论，信息论的一个子领域。
2021-10-18 cs.IT cs.LG math.IT
Fast Automatic Smoothing for Generalized Additive Models
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
多重广义可加模型（GAM）是一种分布回归，其中概率分布的参数通过平滑函数依赖于预测器，通过$L_2$正则化选择平滑度。多个GAM允许通过在分布的任何或所有参数中并入解释性信息来进行更精细的统计推断。由于其非线性，灵活性和可解释性，GAM被广泛使用，但可靠和快速的自动平滑方法在大型数据集仍然缺乏，尽管最近的进展。我们开发了一个通用的方法，自动学习的最佳程度的$L_2$正则化多个GAM使用经验贝叶斯方法。平滑函数被惩罚不同的量，其通过近似期望最大化算法通过最大化边际似然来同时学习，该近似拉普拉斯近似在E步处涉及双拉普拉斯近似，并导致有效的M步。实证分析表明，所得到的算法是数值稳定的，比现有的方法更快，达到了最先进的精度。为了说明，我们将其应用到极值数据分析中的一个重要而具有挑战性的问题。
2018-09-25 cs.LG stat.CO stat.ME
FlagGAM: Rule-Basis Generalized Additive Models for Explainable Tabular Prediction
EECS Department, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院电子工程与计算机科学系）；Sloan School of Management, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院斯隆管理学院）
提出FlagGAM框架，通过规则定义的基函数分离特征级规则构建与预测，在保持可解释性的同时提升对不完美输入的鲁棒性。
2026-06-23 cs.LG
HARFE: Hard-Ridge Random Feature Expansion
University of Waterloo（滑铁卢大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出硬岭随机特征展开方法HARFE，结合硬阈值追踪算法与稀疏岭回归，采用随机稀疏连接模式匹配加性假设，证明收敛性且在实验中误差优于或持平于前沿算法。
2023-05-02 cs.LG math.OC stat.ML
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM（概率与统计建模实验室）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；LMO（奥赛数学实验室）
针对核方法立方复杂度难以处理大规模数据的问题，提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架，在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
Fast Evaluation of Additive Kernels: Feature Arrangement, Fourier Methods, and Kernel Derivatives
University of Technology Chemnitz（开姆尼茨工业大学）
针对高维特征空间中核矩阵向量乘积近似性能下降的问题，提出基于非均匀快速傅里叶变换（NFFT）的加性核快速评估技术，并提供了严格的误差分析，同时支持核超参数导数矩阵的近似，在多个数据集上验证了其有效性。
2024-04-26 cs.LG cs.NA math.NA
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
SparseDNN: Fast Sparse Deep Learning Inference on CPUs
Stanford University（斯坦福大学）
在过去的几年里，算法和系统在支持有效的深度学习推理方面取得了巨大的飞跃。修剪和量化算法现在可以一致地将神经网络压缩一个数量级。对于压缩的神经网络，已经设计了大量的推理框架来最大化目标硬件的性能。虽然我们在OpenVINO和MNN等生产框架中找到了对量化神经网络的成熟支持，但仍然缺乏对修剪稀疏神经网络的支持。为了应对这一挑战，我们提出了SparseDNN，这是一个针对CPU的稀疏深度学习推理引擎。我们提出了一个稀疏代码生成器的内核级优化，以加速稀疏运算符和新的网络级优化迎合稀疏网络。我们表明，我们的稀疏代码生成器可以实现显着的速度比国家的最先进的稀疏和密集的图书馆。在Huggingface pruneBERT等端到端基准测试中，SparseDNN使用最先进的OpenVINO实现了高达5倍的吞吐量提升。开放源代码库：https://github.com/marsupialtail/sparsednn。
2021-07-21 cs.LG
Fast and Accurate Pseudoinverse with Sparse Matrix Reordering and Incremental Approach
Jeonbuk National University（全北国立大学）；Ajou University（亚洲大学）
如何高效、准确地计算稀疏特征矩阵的伪逆矩阵来求解优化问题？伪逆是矩阵逆的一种推广，它已被广泛用作机器学习中求解线性系统的基本构建块。然而，伪逆的近似计算，更不用说精确计算，是非常耗时的，由于其苛刻的时间复杂度，这限制了它被应用于大数据。本文提出了一种基于增量奇异值分解的稀疏矩阵伪逆算法FastPI（Fast PseudoInverse）。基于观察到许多真实世界的特征矩阵是稀疏和高度偏斜的，FastPI重新排序和划分特征矩阵，并从划分的分量中递增地计算低秩SVD。为了展示所提出的FastPI的有效性，我们将其应用于现实世界的多标签线性回归问题。通过大量的实验，我们证明了FastPI计算伪逆比其他近似方法更快，而不会损失精度。%，并且与基于满秩SVD的方法相比使用更少的内存。结果表明，我们的方法有效地计算低秩伪逆的大型和稀疏的矩阵，其他现有的方法不能处理有限的时间和空间。
2020-11-09 cs.LG
Fast Sparse 3D Convolution Network with VDB
提出一种基于NanoVDB的稀疏三维卷积网络实现，内存占用小且性能高，在高分辨率三维物体分类任务上比稠密CNN快约20倍。
2023-11-15 cs.CV cs.LG
Empirical study of PROXTONE and PROXTONE$^+$ for Fast Learning of Large Scale Sparse Models
Fujitsu Research & Development Center（富士通研发中心）
PROXTONE是求解大规模非光滑凸优化问题\cite{shi2015large}的一种新颖、快速的方法。在这项工作中，我们尝试使用PROXTONE方法来解决大规模\emph{non-smooth non-convex}问题，例如用于嵌入式或移动终端的稀疏深度神经网络（稀疏DNN）或稀疏卷积神经网络（稀疏CNN）的训练。PROXTONE的收敛速度比一阶方法快得多，而一阶方法易于推导和控制解的稀疏性。因此，在某些应用中，为了快速训练稀疏模型，我们提出结合两种方法的优点，即在前几个时期使用PROXTONE来达到最优解的邻域，然后在随后的训练中使用一阶方法来探索稀疏的可能性。我们将这种方法称为PROXTONE plus（PROXTONE $^+$）。在我们的实验中，PROXTONE和PROXTONE $^+$都进行了测试，并表明这两种方法至少在不同的稀疏模型学习问题上将收敛速度提高了两倍，同时将DNN模型的大小减少到0.5%。所有算法的源代码可根据要求提供。
2016-04-18 cs.AI cs.LG
Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
自适应稀疏编码方法学习一组可能过完备的基函数，从而可以通过线性组合这些基函数的一个小子集来重建自然图像块。由于计算稀疏表示所需的优化算法的高昂成本，这些方法对视觉对象识别任务的适用性受到限制。在这项工作中，我们提出了一个简单而有效的算法来学习基函数。经过训练后，该模型还提供了一个快速平滑的近似器来实现最佳表示，在视觉对象识别任务中实现了比精确稀疏编码算法更好的准确性。
2010-10-18 cs.CV cs.LG
Identifying Critical Phases for Disease Onset with Sparse Haematological Biomarkers
Aalborg University（奥尔堡大学）；Tel-Aviv University（特拉维夫大学）；Meta；Aalborg University Hospital（奥尔堡大学医院）
针对临床血液检测采样不规则、传统插补方法易引入偏差且缺乏可解释性的问题，提出基于GNAN的方法，将生物标志物轨迹建模为时间加权有向图，可显式分解特征与时间贡献、检测疾病关键时间点，兼具可解释性与临床应用价值。
2025-03-18 cs.LG q-bio.QM
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法，用于大规模稀疏数据集的非负矩阵分解与KL散度优化，实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
