Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Department of Clinical Engineering, Komatsu University(小松大学临床工程系)
针对层次稀疏预测编码中迭代推理成本高的问题,提出混合摊销推理方法,结合LISTA式编码器快速初始化与少量能量校正步骤,在保持稀疏性和重建质量的同时显著降低延迟。
2026-07-28 cs.LG
On the challenges of learning with inference networks on sparse, high-dimensional data
MIT(麻省理工学院);Netflix;Google(谷歌)
我们研究了非线性因子分析(NFA)中的参数估计,其中生成模型由深度神经网络参数化。最近的工作集中在使用推理(或识别)网络学习这样的模型;我们在建模大型,稀疏,高维数据集时发现了一个关键问题-欠拟合。我们研究了拟合不足的程度,强调其严重程度随着数据的稀疏性而增加。我们提出的方法来解决它通过迭代优化的启发随机变分推断\citep{hoffman2013stochastic}和改进的稀疏数据表示用于推理。所提出的技术大大提高了这些强大模型拟合稀疏数据的能力,在基准文本计数数据集上获得了最先进的结果,并在前N个推荐任务上获得了出色的结果。
2017-10-17 cs.LG stat.ML
Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University(斯坦福大学);Amazon Search(亚马逊搜索)
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中,这些模型在极端规模下运行,其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的,因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而,目前还没有专门为稀疏结构设计的稀疏矩阵技术,在基于树的模型中遇到极端的多标签排名/分类(XMR/XMC)问题。为了解决这个问题,我们提出了屏蔽稀疏块乘法(MSCM)技术,一个稀疏矩阵技术专门为XMR树。MSCM易于实现,可并行化,并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性,我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题,并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度,因为它给出了与标准稀疏矩阵技术完全相同的结果。因此,我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
通过信息投影的近似推理最近被引入作为一种通用的方法,用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性,提出了有效的算法,通过信息投影的近似推理,适用于任何结构的变量集,承认枚举使用\emph{matroid}。我们表明,由此产生的信息投影可以减少到组合子模优化拟阵约束。此外,利用最新的子模块优化的进展,我们提供了一个有效的贪婪算法,具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的,正如我们所展示的,包括组稀疏回归,组稀疏主成分分析和稀疏典型相关分析等。此外,模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比,建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Multi-DNN Inference of Sparse Models on Edge SoCs
SparseLoom通过模型缝合技术在边缘SoC上实现高效多DNN推断,降低SLO违反率并提升吞吐量
2026-03-10 cs.DC cs.LG cs.PF
Sparse Group Lasso: Optimal Sample Complexity, Convergence Rate, and Statistical Inference
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了高维双稀疏线性回归的稀疏群Lasso,其中感兴趣的参数同时是元素和群稀疏的。这个问题是同时结构化模型的一个重要实例,同时结构化模型是统计学和机器学习中一个积极研究的课题。在无噪声的情况下,匹配的上界和下界的样本复杂度分别建立了稀疏向量的精确恢复和近似稀疏向量的稳定估计。在有噪声的情况下,估计误差的上限和匹配的极大极小下界。我们还考虑了去偏稀疏群Lasso,并研究了它的渐近性质,以便进行统计推断。最后,数值研究提供了支持的理论结果。
2022-05-07 cs.LG math.ST stat.ML
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University(科罗拉多州立大学)
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署,因为它们提供紧凑的模型大小,同时保持推理准确性。由于参数矩阵的稀疏性,稀疏神经网络原则上可以在加速器架构中被利用,以改善能量效率和延迟。然而,为了在实践中实现这些改进,需要探索稀疏感知的软硬件协同设计。在本文中,我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明,与最先进的稀疏电子神经网络加速器相比,SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比,可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan(密歇根大学);University of Southern California(南加州大学)
在本文中,我们研究的问题,推断时变马尔可夫随机场(MRF),其中底层的图形模型是稀疏的,随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计(MLE),其通常遭受弱统计保证和高计算时间。相反,我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化,并可以解决在近线性的时间和内存。此外,我们表明,该估计享有可证明的小估计误差。作为一个特殊的情况下,我们推导出尖锐的统计保证稀疏变化的高斯MRF(GMRF)在高维制度的推断,表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效:它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Inference via Sparse Coding in a Hierarchical Vision Model
University of Miami(迈阿密大学);University of Kentucky(肯塔基大学)
稀疏编码由于其计算优势和与生物学的联系而被纳入视觉皮层模型。但是稀疏度水平如何有助于视觉任务的性能还没有得到很好的理解。在这项工作中,稀疏编码已被集成到现有的分层V2模型中(Hosoya和Hyvärinen,2015),但用显式稀疏编码取代其独立分量分析(ICA),其中稀疏度可以控制。经过训练后,具有较高稀疏度的稀疏编码基函数类似于不同的结构,如曲线和角点。通过图像分类任务评估模型的贡献,特别是与中级视觉相关的任务,包括图形-背景分类、纹理分类和两条线刺激之间的角度预测。此外,与已经在V2中报道的纹理敏感性测量(Freeman等人,2013),以及删除区域推断任务。实验结果表明,虽然稀疏编码在图像分类方面的表现不如ICA,但只有稀疏编码能够更好地匹配V2的纹理敏感度水平并推断删除的图像区域,这两者都是通过增加稀疏编码中的稀疏度来实现的。更高程度的稀疏性允许在更大的删除图像区域上进行推断。这里描述了在稀疏编码中允许这种推理能力的机制。
2022-01-16 cs.CV cs.LG
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University(普渡大学)
提出首个完全稀疏的贝叶斯神经网络框架SSVI,通过交替优化稀疏子空间基选择与参数,在训练和推断全程保持高稀疏性,大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);New York University(纽约大学)
自适应稀疏编码方法学习一组可能过完备的基函数,从而可以通过线性组合这些基函数的一个小子集来重建自然图像块。由于计算稀疏表示所需的优化算法的高昂成本,这些方法对视觉对象识别任务的适用性受到限制。在这项工作中,我们提出了一个简单而有效的算法来学习基函数。经过训练后,该模型还提供了一个快速平滑的近似器来实现最佳表示,在视觉对象识别任务中实现了比精确稀疏编码算法更好的准确性。
2010-10-18 cs.CV cs.LG
Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction
KAIST(韩国国立科学技术院)
Delta Attention通过Delta校正解决稀疏注意力推理中的分布偏移问题,提升性能并保持高稀疏度,使模型在处理大规模预填充时速度显著提高。
2025-11-22 cs.LG
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University(普渡大学)
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战,并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功,但大多数稀疏深度学习算法缺乏理论支持。另一方面,另一系列的工作提出了理论框架,计算上是不可行的。在本文中,我们训练稀疏的深度神经网络,在尖峰和板先验下进行完全贝叶斯处理,并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率,证明了变分贝叶斯方法的一致性。值得注意的是,我们的实证结果表明,这种变分过程提供了贝叶斯预测分布方面的不确定性量化,也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
Sparse Upcycling: Inference Inefficient Finetuning
Databricks(达特睿奇科技)
本研究比较了将稠密模型转为 MoE 架构的 Sparse Upcycling 与持续预训练的效果,发现前者质量提升超 20%,但会导致约 40% 的推理速度下降,揭示了质量与效率的权衡。
2024-11-13 cs.CL cs.LG
DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos
Graz University of Technology(格拉茨技术大学);Meta Reality Labs(Meta现实实验室)
本文提出DeltaCNN框架,通过稀疏帧差分更新和端到端稀疏传播,在不重训练的情况下实现视频CNN推理高达7倍加速,精度损失极小。
2023-09-02 cs.CV cs.LG
FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
Peking University(北京大学);The University of Hong Kong(香港大学);ByteDance Inc(字节跳动公司)
本文提出FlexPrefill,一种上下文感知的稀疏注意力机制,通过动态调整稀疏模式与计算预算,提升长序列推理中预填充阶段的效率与准确性。
2025-02-28 cs.CL cs.LG
SparseDVFS: Sparse-Aware DVFS for Energy-Efficient Edge Inference
Harbin Institute of Technology(哈尔滨工业大学)
本文提出SparseDVFS框架,通过区分计算密集型密集运算符和内存密集型稀疏运算符,利用专用频率三元组提升边缘推理能效,实验表明在保持成本优势的同时实现78.17%的能效提升。
2026-03-23 cs.LG
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology(麻省理工学院)
近年来,在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而,在现代硬件(如GPU)上很难利用由此产生的非结构化稀疏模式。因此,在权重中施加稀疏结构的修剪策略变得更加流行。然而,这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中,我们介绍了SparseRT,这是一个代码生成器,它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层,当在深度学习中对数百个测试用例进行评估时,我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍,在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积,我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST(CREST(经济与统计研究中心));ENSAE(ENSAE(国立统计与经济管理学院));Institut Polytechnique de Paris(巴黎理工学院)
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时,最近的一些工作为深度神经网络提供了理论依据和新的见解,用于在非参数回归等通常设置中估计平滑函数。在本文中,我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是,我们强调估计和逼近论之间的连接,通过经典的偏差方差权衡,并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外,我们表明,通过ELBO最大化的神经网络架构的模型选择框架不会过拟合,并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
Celty: SpMSpV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference
Yale University(耶鲁大学);University of Southern California(南加州大学)
针对双稀疏LLM推理中spMspV workload处理低效问题,提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构,实现最高5.3倍加速。
2026-09-09 cs.AR cs.LG
Bayesian inference via sparse Hamiltonian flows
University of British Columbia(不列颠哥伦比亚大学)
贝叶斯核心集是数据的一个小的加权子集,在贝叶斯推断期间替换完整的数据集,目的是降低计算成本。虽然过去的工作经验表明,经常存在一个低推理误差的核心集,有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢,需要在核心集构建后进行二次推理步骤,并且不提供数据边缘证据的界限。在这项工作中,我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样,然后优化由核心集权重参数化的哈密顿流,并包括周期性动量准刷新步骤。理论结果表明,该方法能够指数压缩的数据集在一个代表性的模型,和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明,稀疏哈密顿流提供准确的后验近似显着减少运行时间相比,竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
Mobility Inference on Long-Tailed Sparse Trajectory
Beihang University(北京航空航天大学)
分析城市中的城市轨迹已成为数据采掘的一个重要课题。我们如何从原始轨迹数据中建模由停留和旅行组成的人类移动性?我们如何从单一轨迹信息推断出这样的移动模型?我们如何进一步推广移动性推断,以适应随着时间的推移稀疏采样的真实世界轨迹数据?在本文中,基于正式和严格的定义的停留/旅行的流动性,我们提出了一个单一的轨迹推理算法,利用一个通用的长尾稀疏模式的大规模轨迹数据。该算法保证了停留/旅行推理的100%的精度与可证明的召回下限。此外,我们引入了一个编码器-解码器学习架构,承认多个轨迹作为输入。通过自定义的嵌入和学习机制,该架构针对移动性推理问题进行了优化。对4000万城市用户的三个轨迹数据集的评估验证了所提出的推理算法的性能保证,并证明了我们的深度学习模型与众所周知的序列学习方法相比的优越性。在极稀疏的轨迹上,深度学习模型通过对大规模通用训练数据的经验证的可扩展性和可推广性,实现了比单轨迹推理算法高2 $\times$的总体准确性。
2020-01-21 cs.LG cs.SI stat.ML
Inference of Sparse Networks with Unobserved Variables. Application to Gene Regulatory Networks
Princeton University(普林斯顿大学)
网络是复杂系统建模的统一框架,网络推理问题在许多领域中经常遇到。在这里,我开发并应用了一种生成式方法来进行网络推理(RCweb),用于网络稀疏且潜在(未观察到)变量影响观察到的变量的情况。从所有可能解释数据方差的因子分析(FA)分解中,RCweb选择与稀疏底层网络一致的FA分解。稀疏性约束是由一种新的方法,显着优于(在精度,鲁棒性噪声,复杂性缩放,和计算效率)贝叶斯方法和MLE方法使用L1范数松弛,如K-SVD和L1-基于稀疏主成分分析(PCA)。从模拟模型的结果表明,RCweb恢复精确的模型结构的稀疏性低(非稀疏)为50%,未观测到的观测变量的比例高达2。RCweb对噪声具有鲁棒性,随着噪声水平的增加,参数范围逐渐减小。
2014-06-01 cs.LG q-bio.MN q-bio.QM
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
SparLeak: Privacy Leakage from Sparse Attention in LLM Inference on Shared GPUs
Shandong University(山东大学);Waseda University(早稻田大学)
SparLeak利用稀疏注意力引发的GPU内存访问侧信道,通过相位感知攻击提取轨迹,实现查询属性推断与响应重建,在真实服务下成功率分别达90.9%和87.3%。
2026-10-01 cs.CR cs.LG
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);IBM Research(IBM研究院)
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长,推动了许多神经网络的规模和内存需求,超出了可用加速器的能力。稀疏深度神经网络(SpDNN)已经显示出控制大型神经网络内存占用的前景。然而,在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性,我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明,所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍,在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现,我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
Escoin: Efficient Sparse Convolutional Neural Network Inference on GPUs
University of Texas at Austin(德克萨斯大学奥斯汀分校)
深度神经网络在许多人工智能应用(例如计算机视觉)中已经实现了显著的准确性,但代价是大量参数和高计算复杂性。权值修剪可以通过去除网络中的冗余参数来压缩DNN模型,但它会带来权值矩阵的稀疏性,从而使GPU上的计算效率低下。虽然修剪可以去除80%以上的权重,但在GPU上运行模型时,它实际上会损害推理性能(速度)。两个主要问题导致GPU上的性能不令人满意。首先,降低矩阵乘法上的卷积减少了数据重用机会并浪费了内存带宽。其次,修剪带来的稀疏性使得计算不规则,这导致在大规模并行GPU上运行时效率低下。为了克服这两个限制,我们提出了Escort,一个有效的稀疏卷积神经网络的GPU。我们选择直接计算稀疏卷积,而不是使用降低方法。然后,我们为直接稀疏卷积内核编排并行性和局部性,并应用定制的优化技术来进一步提高性能。在NVIDIA GPU上的测试表明,与CUBLAS和SPARSE相比,Escort可以分别将稀疏卷积速度提高2.63倍和3.07倍,推理速度提高1.43倍和1.69倍。
2019-04-03 cs.CV cs.DC cs.LG
PSI-SINDy: Post-Selection Inference for Sparse Identification of Nonlinear Dynamics
本研究针对SINDy存在的选择偏差、测量误差及共享噪声问题,提出定制化后选择推断方法PSI-SINDy,通过数据细分分解轨迹,经理论验证和数值实验证实其有效性。
2026-10-09 cs.LG stat.ML
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick(华威大学)
最先进的深度神经网络(DNN)具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的,在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战,以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降(SGD)算法中的前馈(推断)和反向传播步骤都涉及连续的稀疏矩阵向量乘法(SpMV)。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案,以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分,权值矩阵表示连续层之间的神经元连接。然后,我们提出了一种新的超图模型划分权重矩阵,以减少总的通信量,并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明,所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案,我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
Beijing University of Technology(北京理工大学);Microsoft Research(微软研究院);Beijing Jiaotong University(北京交通大学)
本文提出Fluxion,通过输出感知的KV预算分配、头特定的稀疏配置和跨设备协调执行,提升长上下文推断的效率与准确性,实测在多种任务中取得显著加速效果。
2026-05-08 cs.AI cs.LG cs.PF
AntMan: Sparse Low-Rank Compression to Accelerate RNN inference
Microsoft Research(微软研究院)
基于复杂RNN模型的广泛采用受到其推理性能,成本和内存要求的阻碍。为了解决这个问题,我们开发了AntMan,将结构化稀疏性与低秩分解相结合,以减少RNN的模型计算,大小和执行时间,同时达到所需的精度。AntMan扩展了基于知识蒸馏的训练,以有效地学习压缩模型。我们的评估表明,AntMan提供了高达100倍的计算减少与不到1点的准确率下降的语言和机器阅读理解模型。我们的评估还表明,对于给定的精度目标,AntMan产生的模型比最先进的模型小5倍。最后,我们表明,AntMan提供了超线性的速度增益相比,理论加速,证明其实用价值的商品硬件。
2019-10-02 cs.LG stat.ML
Scout Before You Attend: Sketch-and-Walk Sparse Attention for Efficient LLM Inference
Department of Computer Science, Rice University(计算机科学系, Rice大学);Department of Computer Science, Stevens Institute of Technology(计算机科学系, Stevens理工学院)
Sketch&Walk通过无需训练的稀疏注意力方法,在高效LLM推理中实现高精度和速度提升。
2026-02-07 cs.AI cs.LG
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University(湖南大学);Tencent(腾讯)
提出自索引注意力框架,利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索,支持KV缓存压缩,在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea(电气电子工程系,首尔国立大学,首尔,韩国)
提出Token Sparse Attention,一种轻量级动态令牌级稀疏化机制,通过交错选择令牌并在注意力前后压缩/解压缩,实现高效长上下文推理,在128K上下文中获得高达3.23倍加速且精度损失小于1%。
2026-05-29 cs.CL cs.LG
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Unbabel
结构化预测需要操纵大量的组合结构,例如,依赖树或比对,作为潜在变量或输出变量。最近,SparseMAP方法已被提出作为最大后验概率(MAP)和边际推理的可微稀疏替代方案。SparseMAP返回少量结构的组合,这在某些下游应用程序中是一个理想的属性。然而,SparseMAP需要一个易于处理的MAP推理oracle。这排除了,例如,循环图模型或具有逻辑约束的因子图,这通常需要近似推理。在本文中,我们介绍了LP-SparseMAP,SparseMAP的扩展,解决了这个限制,通过局部多面体松弛。LP-SparseMAP使用因子图的灵活和强大的域特定语言来定义和反向传播任意隐藏结构,支持粗分解,硬逻辑约束和高阶相关性。我们推导出使用LP-SparseMAP作为隐藏层或输出层所需的前向和后向算法。在三个结构化预测任务的实验表明,与SparseMAP和结构化SVM相比,它具有优势。
2020-08-05 cs.CL cs.LG stat.ML
Q-Sparse: All Large Language Models can be Fully Sparsely-Activated
Microsoft Research(微软研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 Q-Sparse 方法,通过 top-K 稀疏化和直通估计器实现大型语言模型的全稀疏激活,在保持性能的同时大幅提升推理效率,并适用于多种训练设置与模型精度。
2024-07-24 cs.CL cs.LG
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis(加利福尼亚大学戴维斯分校)
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题,提出迭代后对社区分配后验做硬阈值的改进方法,理论证明其在平均节点度有界时可准确恢复社区标签,数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding
SparseSpec通过自推测解码框架和稀疏注意力机制,显著提升了大规模推理模型的推理效率和内存利用率。
2025-12-01 cs.AI cs.LG
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Fast and More Powerful Selective Inference for Sparse High-order Interaction Model
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);University of Tokyo(东京大学)
自动化的高风险决策,如医疗诊断,需要具有高度可解释性和可靠性的模型。稀疏高阶相互作用模型(SHIM)是一种可解释的、可靠的、具有良好预测能力的模型。然而,由于组合效应的固有高维性,找到统计上显著的高阶相互作用是具有挑战性的。数据驱动建模中的另一个问题是“挑选樱桃”的效果。选择偏差我们的主要贡献是扩展最近开发的参数规划方法选择性推理高阶相互作用模型。对樱桃树(所有可能的相互作用)进行彻底搜索可能是令人生畏的,即使对于小规模的问题也是不切实际的。我们引入了一个有效的修剪策略,并证明了所提出的方法使用合成和真实数据的计算效率和统计功效。
2021-06-09 cs.LG stat.ML
Sparse Gaussian Process Variational Autoencoders
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
在现代科学和工程中,大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型(GP-DGMs),其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似,这对于GP的计算效率是必不可少的,它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器(SGP-VAE)的发展,其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点,SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理,而无需额外的训练。SGP-VAE在各种实验中进行了评估,其中它优于替代方法,包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Learning and Inference in Sparse Coding Models with Langevin Dynamics
University of California Berkeley(加州大学伯克利分校);Intel Corporation(英特尔公司)
我们描述了一个随机的,动态的系统能够推理和学习的概率潜变量模型。这种模型中最具挑战性的问题--对潜变量的后验分布进行采样--被提议通过利用电子和神经系统中固有的随机性的自然来源来解决。我们证明了这一想法的稀疏编码模型推导出一个连续时间方程,通过朗之万动力学推断其潜变量。通过根据另一个连续时间方程同时进化来学习模型参数,从而绕过了对数字时钟或全局时钟的需要。此外,我们表明,朗之万动力学导致一个有效的程序,从后验分布中的“L0稀疏”制度,鼓励潜变量被设置为零,而不是有一个小的L1规范的采样。这允许模型适当地结合稀疏性的概念,而不是必须诉诸于稀疏性的放松版本来使优化易于处理。在合成和自然图像数据集上对所提出的动态系统进行的模拟表明,该模型能够进行概率正确的推理,从而能够学习字典以及先验参数。
2022-04-23 cs.LG stat.ML
Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
研究大语言模型推理成本挑战,提出含稀疏张量核层等的三层矩阵存储格式,设计联合稀疏张量核与CUDA核的SpMM内核,实现了在现代GPU上超越密集矩阵乘法,取得显著加速。
2026-07-13 cs.AI cs.AR cs.LG
SDQ: Sparse Decomposed Quantization for LLM Inference
Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达)
针对大语言模型参数量大、计算与内存需求高难以广泛部署的问题,本文提出稀疏分解量化方法SDQ,结合结构化稀疏与量化提升效率,实验实现4倍有效计算吞吐量且质量下降不足1%。
2024-06-19 cs.AI cs.LG
SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学);Rutgers University(罗格斯大学)
SLoPe是一种LLM预训练方法,通过在预训练末期加入低秩适配器并采用双重剪枝反向传递,在提升稀疏模型准确率的同时加速训练与推理并降低内存占用。
2025-01-25 cs.AI cs.LG
Redistribution-based Cost Inference Improves Sparse Safe Offline RL
University of the Witwatersrand(威特沃特斯兰德大学)
针对安全离线强化学习中稀疏轨迹级停止反馈问题,提出RCI框架转换为密集每步代价,经理论证明转换无损,实验在两类任务上违规率更低且鲁棒性好。
2026-08-13 cs.AI cs.LG
An Efficient Sparse Inference Software Accelerator for Transformer-based Language Models on CPUs
Intel(英特尔);Intel Labs(英特尔实验室);Stanford University(斯坦福大学)
提出一种面向CPU的高效稀疏推理软件栈,利用Intel Deep Learning Boost优化SpMM计算,在多种Transformer模型和稀疏率下显著超越现有稀疏库与主流推理框架,实现大幅加速。
2023-06-28 cs.AI cs.CL cs.LG
MotionDeltaCNN: Sparse CNN Inference of Frame Differences in Moving Camera Videos
Graz University of Technology(格拉茨技术大学);Meta Reality Labs(Meta现实实验室)
针对 DeltaCNN 仅适用于静态相机的问题,本文提出 MotionDeltaCNN,利用球面缓冲区和填充卷积高效融合新显露区域,在不增加内存占用的情况下将运动相机视频推理性能最高提升 90%。
2023-08-14 cs.CV cs.LG
R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI
本文提出R-Sparse,一种免训练的激活稀疏方法,通过利用输入通道和权重奇异值的秩感知稀疏性替换LLM线性层,在50%稀疏度下保持性能并实现43%端到端效率提升。
2025-04-28 cs.LG
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology(代尔夫特理工大学);MRC Brain Network Dynamics Unit(医学研究委员会脑网络动力学组);University of Oxford(牛津大学)
智能代理必须在复杂的环境中追求他们的目标,部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功,但是这些代理通常难以在稀疏奖励环境中学习,通常需要许多环境交互才能良好地执行,并且通常在计算上非常昂贵。主动推理是一种基于模型的方法,它指导代理探索不确定的状态,同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理,它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题,由于其目标函数,鼓励直接探索不确定的状态,具有非常高的样本效率。此外,我们的模型在计算上非常轻,可以以完全在线的方式操作,同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力,在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性,这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数,简化了复杂的目标的表达,并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Reconstruction of gene regulatory network via sparse optimization
College of Mathematics and Statistics, Shenzhen University(深圳大学数学与统计学院)
在本文中,我们测试了几个稀疏优化算法的基础上的DREAM5基因调控网络推理挑战赛的公共数据集。研究发现,引入20%的调控网络作为先验已知数据,可以为推理算法的参数选择提供依据,从而提高预测效率和精度。除了测试常见的稀疏优化方法外,我们还通过将它们装袋来开发投票算法。在DREAM5数据集上的实验表明,基于稀疏优化的适度关系推理效果良好,在三个数据集上取得了比官方DREAM5结果更好的结果。然而,传统的独立算法的性能在面对不同的数据集时差异很大,而我们的投票算法在四个数据集中的三个上取得了最好的结果。
2022-11-11 cs.LG math.OC q-bio.MN