Beyond L1: Faster and Better Sparse Models with skglm
Mila（米拉研究所）；UdeM（蒙特利尔大学）；Luxembourg Centre for Systems Biomedicine（卢森堡系统生物医学中心）；University of Luxembourg（卢森堡大学）；Univ. Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCB Lyon 1（里昂第一大学克洛德·贝尔纳分校）
本文提出了一种新的快速算法来估计任何具有凸或非凸可分惩罚的稀疏广义线性模型。通过依赖坐标下降、工作集和安德森加速，我们的算法能够在几秒钟内解决数百万个样本和特征的问题。它处理以前未处理的模型，并广泛显示，以改善最先进的算法。我们提供了一个灵活的scikit-learn兼容包，可以轻松处理自定义的错误和惩罚。
2023-03-06 cs.LG stat.ML
FasterAI: A Lightweight Library for Creating Sparse Neural Networks
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）
FasterAI是一个基于PyTorch的库，旨在促进深度神经网络压缩技术的利用，如稀疏化，修剪，知识蒸馏或正则化。该库旨在实现快速实施和实验。更具体地说，压缩技术正在利用fastai和Pytorch Lightning等库的回调系统来带来用户友好的高级API。FasterAI的主要资产是其轻量级，但功能强大，使用简单。事实上，由于它是以非常细粒度的方式开发的，用户可以通过使用不同的参数组合来创建数千个独特的实验。在本文中，我们重点介绍FasterAI的稀疏化功能，它代表了库的核心。在FasterAI中执行神经网络的稀疏化只需要在传统的训练循环中添加一行代码，但允许执行最先进的技术，如彩票假设实验
2022-07-03 cs.AI cs.LG
Sparse Mixers: Combining MoE and Mixing to build a more efficient BERT
Google Research（谷歌研究院）
我们将稀疏门控混合专家（MoE）的能力与线性混合变换的速度和稳定性相结合，设计了稀疏混合器编码器模型。Sparse Mixer在GLUE和SuperGLUE上的表现略优于（<1%）BERT，但更重要的是，训练速度快了65%，推理速度快了61%。我们还提出了一个更快的变体，简单地命名为快速稀疏混合器，它在SuperGLUE上的性能略低于BERT，但训练和运行速度几乎是它的两倍。我们证明这两个模型的设计仔细烧蚀通过各种混合机制，MoE配置和超参数。Sparse Mixer克服了MoE模型的许多延迟和稳定性问题，并提供了服务稀疏学生模型的前景，而无需将其提取为密集变体。
2022-10-13 cs.CL cs.LG
FASTER-CE: Fast, Sparse, Transparent, and Robust Counterfactual Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amira Learning（Amira学习）；CognitiveScale（认知规模）
在过去的几年里，反事实解释作为一种以人为中心的理解个体黑箱模型预测的有用方式，已经越来越受欢迎。虽然在文献中已经确定了高质量反事实所需的几个属性，但三个关键问题：解释生成的速度，解释的鲁棒性/敏感性和简洁性（稀疏性）相对未被探索。在本文中，我们提出了FASTER-CE：一套新的算法来生成快速，稀疏和强大的反事实解释。其关键思想是有效地找到有前途的搜索方向，通过自动编码器指定的潜在空间中的反事实。这些方向是基于相对于每个原始输入特征以及目标的梯度来确定的，如在潜在空间中估计的。快速检查最有希望的梯度方向的组合以及结合额外的用户定义的约束的能力使我们能够生成多个反事实的解释，这些解释是稀疏的，现实的，并且对输入操作是鲁棒的。通过对不同复杂度的三个数据集的实验，我们表明，FASTER-CE不仅比其他最先进的方法更快地生成多个解释，而且在考虑更大的理想（而且往往是冲突）属性集时也显着优越。具体来说，我们提出了多个性能指标的结果：稀疏性，接近性，有效性，生成速度和解释的鲁棒性，以突出FASTER-CE系列的功能。
2022-10-12 cs.LG
Proximal SCOPE for Distributed Sparse Learning: Better Data Partition Implies Faster Convergence Rate
Nanjing University（南京大学）
多台机器集群的分布式稀疏学习在机器学习中引起了广泛关注，特别是对于具有高维数据的大规模应用。实现稀疏学习的一种流行方法是使用$L_1$正则化。在本文中，我们提出了一种新的方法，称为近端\mbox{SCOPE} ~（\mbox{pSCOPE}），分布式稀疏学习$L_1$正则化。pSCOPE基于\underline{c}操作性\underline{a}可操作性\underline{l}局部\underline{l}可操作性~（\mbox{CALL}）框架。在\mbox{pSCOPE}的\mbox{CALL}框架中，我们发现数据划分会影响学习过程的收敛性，因此我们定义了一个度量数据划分优劣的指标。基于定义的度量，我们从理论上证明了pSCOPE是收敛的线性收敛速度，如果数据划分是足够好的。我们还证明了更好的数据划分意味着更快的收敛速度。此外，pSCOPE还具有通信效率。在真实数据集上的实验结果表明，pSCOPE可以优于其他最先进的分布式稀疏学习方法。
2018-10-26 cs.LG stat.ML
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
ShanghaiTech University（上海科技大学）；BIGAI（北京智源人工智能研究院）
针对自回归Transformer长序列处理的计算与内存瓶颈，提出结合评分网络与可微SPARSEK算子的稀疏注意力机制，实现生成阶段线性复杂度与恒定内存，性能与速度优于现有方法且易集成到预训练LLMs。
2024-06-24 cs.CL cs.LG
Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation
Cardiff University（卡迪夫大学）；Osaka City University（大阪市立大学）；Beijing Jiaotong University（北京交通大学）；Shenzhen University（深圳大学）；Shenzhen Zhuiyi Technology Co., Ltd.（深圳追一科技有限公司）；Chinese Academy of Science（中国科学院）
softmax函数在人工神经网络中被广泛用于多类分类问题，其中softmax变换强制输出为正且和为1，并且相应的损失函数允许使用最大似然原理来优化模型。但softmax在高维分类时给损失函数留有很大的优化空间，在一定程度上导致了算法性能的下降。在本文中，我们提供了一个简单而简洁的softmax的变体，即稀疏softmax，以减轻在高维分类问题，在传统的softmax中发生的问题的实证研究。我们在几个跨学科的任务中评估了我们的方法，实验结果表明，sparse-softmax比基线模型更简单，更快，并且产生更好的结果。
2021-12-23 cs.CL cs.LG
Towards More Efficient Stochastic Decentralized Learning: Faster Convergence and Sparse Communication
Zhejiang University（浙江大学）；Massachusetts Institute of Technology（麻省理工学院）；South China University of Technology（华南理工大学）
近年来，分散优化问题越来越受到人们的关注.大多数现有的方法是确定性的，每次迭代成本高，并具有二次依赖于问题的条件数的收敛速度。此外，即使数据集是稀疏的，密集的通信也是必要的，以确保收敛。在本文中，我们推广的分散优化问题的单调算子根查找问题，并提出了一个随机算法DSBA，（i）几何收敛率线性依赖于问题的条件数，（ii）可以实现使用稀疏通信。此外，DSBA处理学习问题，如AUC最大化，这在去中心化环境中无法有效解决。凸极小化和AUC最大化实验验证了该方法的有效性。
2018-05-25 cs.LG stat.ML
Transformers Learn Faster with Semantic Focus
IBM Research（IBM研究院）；Centaur AI Institute（半人马人工智能研究院）
本研究从可学习性和泛化性角度发现，依赖输入的稀疏注意力（语义聚焦）能加速 Transformer 收敛并提升泛化，且从理论上解释了其优势条件。
2025-06-18 cs.LG
ClosNets: a Priori Sparse Topologies for Faster DNN Training
Boston University（波士顿大学）
深度神经网络（DNN）中的全连接层通常是训练过程中的吞吐量和功耗瓶颈。这是由于它们的大小和低数据重用。修剪密集层可以显着减少这些网络的大小，但这种方法只能在训练后应用。在这项工作中，我们提出了一种新的全连接层，可以在不牺牲精度的情况下降低DNN的内存需求。我们用稀疏矩阵的乘积替换稠密矩阵，稀疏矩阵的拓扑是我们事先选择的。这使我们能够：（1）训练显著更小的网络而不损失准确性，以及（2）存储网络权重而不必存储连接索引。因此，由于网络规模较小，我们实现了显着的训练加速，并且每个时期的计算量减少。我们测试了几种稀疏层拓扑结构，发现Clos网络由于其高路径多样性，浅度和高模型精度而表现良好。使用ClosNets，我们能够将密集层的大小减少多达一个数量级，而不会影响模型的准确性。
2018-02-12 cs.AR cs.LG
SPADE: Faster Drug Discovery by Learning from Sparse Data
NVIDIA（英伟达）
SPADE通过从稀疏数据中学习，以更少的测试次数找到高质量的药物分子，相比深度学习和贝叶斯优化方法在样本效率上提升了7%-32%，且在评分速度上快10倍。
2026-05-06 cs.AI cs.LG
The Iterative Optimal Brain Surgeon: Faster Sparse Recovery by Leveraging Second-Order Information
Yandex Research（Yandex研究院）；Skoltech（斯科尔科沃科学技术研究院）；Institute of Science Technology Austria (ISTA)（奥地利科学技术研究所）
本文将最优脑外科医生框架的二阶曲率信息引入经典迭代稀疏恢复算法（如IHT）的投影步骤，提出具有理论保证的新算法，并在视觉和语言任务上验证了其对Transformer模型稀疏化的有效性。
2024-08-30 cs.LG
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick（华威大学）
可扩展的算法来解决优化和回归任务，甚至近似，需要与大型数据集一起工作。在本文中，我们研究有效的技术，从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”（IHS），并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下，同时大大提高了时间成本。其结果是，我们获得了显着更快的算法约束回归，稀疏和密集的输入。我们的经验结果表明，对于稀疏数据，我们可以以大约100倍的速度汇总数据，而令人惊讶的是，对于密集数据，我们可以以10倍的速度汇总数据！因此，可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
AdaSplash-2: Faster Differentiable Sparse Attention
Carnegie Mellon University（卡内基梅隆大学）；Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室）；University of Edinburgh（爱丁堡大学）
本文提出AdaSplash-2，通过新颖的直方图初始化方法减少计算τ的迭代次数，提升稀疏注意力效率，适用于中高块稀疏性场景，提升训练速度和下游任务性能。
2026-04-16 cs.CL cs.LG
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；IBM Research（IBM研究院）
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长，推动了许多神经网络的规模和内存需求，超出了可用加速器的能力。稀疏深度神经网络（SpDNN）已经显示出控制大型神经网络内存占用的前景。然而，在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性，我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明，所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍，在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现，我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
Efficient Sparse Artificial Neural Networks
Sharif University of Technology（谢里夫理工大学）
作为人工神经网络（ANN）的灵感来源，大脑基于稀疏结构。这种稀疏的结构有助于大脑消耗更少的能量，学习更容易，更好地概括模式比任何其他ANN。在本文中，提出了两种进化方法，采用稀疏的ANN。在所提出的方法中，网络的稀疏结构以及其参数值在学习过程中进行训练和更新。仿真结果表明，这两种方法具有更好的精度和更快的收敛速度，而他们需要更少的训练样本相比，他们的稀疏和非稀疏的同行。此外，所提出的方法显着提高泛化能力，减少参数的数量。例如，通过利用我们提出的用于ImageNet数据集图像分类的方法对ResNet47网络进行稀疏化，使用的参数减少了40%，而与密集网络和稀疏网络相比，模型的前1精度分别提高了12%和5%。作为另一个例子，针对CIFAR10数据集提出的方法收敛到其最终结构的速度比其稀疏对应物快7倍，而最终精度提高了6%。
2021-03-13 cs.AI cs.LG
Fast Sparse 3D Convolution Network with VDB
提出一种基于NanoVDB的稀疏三维卷积网络实现，内存占用小且性能高，在高分辨率三维物体分类任务上比稠密CNN快约20倍。
2023-11-15 cs.CV cs.LG
Faster Clustering via Non-Backtracking Random Walks
Tufts University（塔夫茨大学）
本文提出了VEC-NBT，无监督图聚类技术VEC的变化，它提高了原算法的性能显着稀疏图。VEC采用最先进的word 2 vec模型的一种新的应用，通过图的节点上的随机游动将图嵌入到欧几里得空间中。在VEC-NBT中，我们修改了原来的算法，使用非回溯随机游动，而不是在VEC中使用的正常回溯随机游动。我们引入一个修改的非回溯随机游走，我们称之为勉强回溯随机游走，并表明经验，使用这种模型的随机游动的VEC-NBT需要更短的步行图上获得的结果具有可比性或更高的精度比VEC，特别是稀疏图。
2017-08-26 cs.LG cs.SI stat.ML
Fast Learning-based Registration of Sparse 3D Clinical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
我们介绍了SparseVM，这是一种比以前更快、更准确地配准临床质量3D MR扫描的方法。临床扫描的可变形对准或配准是许多临床神经科学研究的基本任务。然而，大多数配准算法都是为高分辨率研究质量扫描而设计的。与研究质量的扫描相比，临床扫描通常是稀疏的，在研究质量的扫描中丢失高达86%的切片。现有的方法用于注册这些稀疏的图像是不准确的或非常缓慢。我们提出了一种基于学习的配准方法SparseVM，它比最准确的临床配准方法更准确，速度也快了几个数量级。据我们所知，这是第一种使用专门针对临床图像配准的深度学习的方法。我们证明了我们的方法在临床上获得的MRI数据集的中风患者和模拟稀疏MRI数据集。我们的代码可以作为VoxelMorph包的一部分在http://voxelmorph.mit.edu/上找到。
2020-04-06 cs.CV cs.LG q-bio.QM
Faster Causal Attention Over Large Sequences Through Sparse Flash Attention
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
本文扩展 FlashAttention 以支持 key/query dropping、基于哈希等动态稀疏注意力模式，在无复杂度开销且不损失困惑度的情况下，显著提升长序列语言模型训练速度。
2023-06-01 cs.AI cs.CL cs.LG
Pixelated Butterfly: Simple and Efficient Sparse training for Neural Network Models
Stanford University（斯坦福大学）；SambaNova Systems, Inc（SambaNova系统公司）；Peking University（北京大学）；Adobe Research（Adobe研究院）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
过参数化神经网络泛化能力很好，但训练成本很高。理想情况下，人们希望在保持其泛化优势的同时降低其计算成本。稀疏模型训练是实现这一目标的一种简单而有前途的方法，但由于现有方法存在精度损失、训练运行时间缓慢或难以稀疏化所有模型组件等问题，因此仍然存在挑战。其核心问题是在一组离散的稀疏矩阵上搜索稀疏掩码是困难和昂贵的。为了解决这个问题，我们的主要观点是优化具有固定结构的稀疏矩阵的连续超集，称为蝴蝶矩阵的积。由于蝶形矩阵不是硬件有效的，我们提出了简单的蝶形（块和平面）的变种，以利用现代硬件。我们的方法（像素化蝴蝶）使用基于平坦块蝴蝶和低秩矩阵的简单固定稀疏模式来稀疏大多数网络层（例如，注意，MLP）。我们通过经验验证，Pixelated Butterfly比Butterfly快3倍，并加快了训练速度，以实现有利的准确性-效率权衡。在ImageNet分类和WikiText-103语言建模任务中，我们的稀疏模型的训练速度比密集的MLP-Mixer，视觉Transformer和GPT-2介质快2.5倍，准确性没有下降。
2022-05-11 cs.LG
Sparse-Dyn: Sparse Dynamic Graph Multi-representation Learning via Event-based Sparse Temporal Attention Network
University of Colorado Denver（科罗拉多大学丹佛分校）
动态图神经网络已广泛应用于图结构数据的建模和表示学习。当前的动态表示学习主要集中在导致时间信息丢失的离散学习和涉及大量计算的连续学习。在这项工作中，我们提出了一种新的动态图神经网络，稀疏Dyn。它自适应地将时间信息编码成具有等量时间拓扑结构的补丁序列。因此，在避免使用导致信息丢失的快照的同时，它还实现了更精细的时间粒度，这接近于连续网络所能提供的。此外，我们还设计了一个轻量级的模块，稀疏时间Transformer，通过结构邻域和时间动态计算节点表示。由于全连接注意连词被简化，计算成本远低于当前的最先进的。链接预测实验进行了连续和离散图数据集。通过与几种最先进的图嵌入基线进行比较，实验结果表明，Sparse-Dyn具有更快的推理速度，同时具有竞争力的性能。
2022-02-10 cs.LG
Sparse Representation Classification via Screening for Graphs
University of Delaware（特拉华大学）；Intel Labs（英特尔实验室）；Temple University（天普大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
稀疏表示分类器（SRC）的工作以及满足子空间假设的图像识别问题。在本文中，我们提出了一个新的实现SRC通过筛选，建立其等价于原来的SRC正则性条件下，并证明其分类的一致性随机图从随机块模型。结果表明，通过模拟和真实数据实验，新算法实现了相当的数值性能，但显着更快。
2019-06-04 cs.LG stat.ML
Faster Approximation Algorithms for Parameterized Graph Clustering and Edge Labeling
Texas A&M University（德克萨斯农工大学）
针对 NP 难的 LambdaCC 参数化图聚类框架，提出基于新型参数化边标注问题的快速纯组合近似算法，显著提升可扩展性，并为既有启发式方法提供事后近似保证。
2023-06-08 cs.DM cs.DS cs.LG
Finding trainable sparse networks through Neural Tangent Transfer
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）；University of Basel（巴塞尔大学）
深度神经网络已经极大地改变了机器学习，但它们的内存和能量需求是巨大的。相比之下，真正的生物神经网络的要求是相当温和的，而这种紧缩的一个特征可能是它们的稀疏连接。在深度学习中，在特定任务上表现良好的可训练稀疏网络通常使用标签相关的修剪标准来构建。在这篇文章中，我们介绍了神经切线转移，这是一种以无标签方式找到可训练稀疏网络的方法。具体来说，我们发现稀疏网络的训练动态，其特点是神经切线核，模仿那些密集的网络在函数空间。最后，我们在几个标准分类任务上评估了我们的标签不可知方法，并表明所得到的稀疏网络在收敛速度更快的同时实现了更高的分类性能。
2020-07-24 cs.LG cs.NE stat.ML
Sparse Hierarchical Tucker Factorization and its Application to Healthcare
Georgia Institute of Technology（佐治亚理工学院）
本文提出稀疏分层Tucker分解方法，用于处理稀疏高阶张量数据。该方法通过嵌套采样技术解决传统分层Tucker方法的可扩展性问题，提升了效率和准确性，并在医疗数据集上验证了其性能。
2016-10-25 cs.LG cs.NA math.NA
Sparse Gaussian Processes with Spherical Harmonic Features
Amazon Research（亚马逊研究院）
我们引入了一类新的域间变分高斯过程（GP）的数据被映射到单位超球，以使用球谐表示。我们的推理方案是可比的变分傅立叶特征，但它不受维数灾难，并导致诱导变量之间的对角协方差阵。这使得推理速度加快，因为它绕过了对大型协方差阵求逆的需要。我们的实验表明，我们的模型能够拟合具有600万个条目的数据集的回归模型，与标准稀疏GP相比快两个数量级，同时保持最先进的准确性。我们还展示了具有竞争力的性能与非共轭似然分类。
2020-06-30 cs.LG stat.ML
Learning Bayesian Network Structure from Massive Datasets: The "Sparse Candidate" Algorithm
Hebrew University（希伯来大学）；Institute of Computer Science（计算机科学研究所）；Center for Neural Computations（神经计算中心）
学习贝叶斯网络通常被视为一个优化问题，其中的计算任务是找到一个最大化统计动机得分的结构。总的来说，现有的学习工具使用标准的启发式搜索技术来解决这个优化问题。由于搜索空间非常大，这样的搜索过程可能花费大部分时间来检查非常不合理的候选。当我们处理实例数量或属性数量都很大的数据集时，这个问题变得至关重要。在本文中，我们介绍了一种算法，通过限制搜索空间来实现更快的学习。这种迭代算法将每个变量的父变量限制为属于候选变量的一个小子集。然后，我们搜索满足这些约束的网络。然后，学习的网络用于为下一次迭代选择更好的候选者。我们评估该算法的合成和现实生活中的数据。我们的研究结果表明，它是显着快于替代搜索过程中学习的结构质量没有损失。
2013-01-23 cs.AI cs.LG stat.ML
