Doping: A technique for efficient compression of LSTM models using sparse structured additive matrices
SambaNova Systems(桑巴诺瓦系统公司);Arm ML Research(Arm机器学习研究部)
结构化矩阵,例如从Kronecker产品(KP)导出的矩阵,在压缩神经网络方面是有效的,但当应用于大型模型时可能导致不可接受的精度损失。在本文中,我们提出了掺杂的概念-除了一个非常稀疏的矩阵的结构矩阵。掺杂促进了少量参数的附加自由度,允许它们独立地偏离固定结构。为了训练具有掺杂结构矩阵的LSTM,我们引入了额外的参数矩阵,同时缓慢退火其稀疏水平。然而,我们发现,性能下降,因为我们慢慢稀疏的掺杂矩阵,由于结构化和稀疏矩阵之间的协矩阵自适应(CMA)。我们解决了这个过度依赖于稀疏矩阵使用一个共同的矩阵脱落正则化(CMR)计划。我们提供的经验证据表明,掺杂,CMA和CMR的概念一般适用于多个结构矩阵(克罗内克积,LMF,混合矩阵分解)。此外,掺杂克罗内克积矩阵的结果表明,在4个自然语言处理应用中,在大压缩因子(10 - 25倍)下具有最先进的精度,精度损失较小。Doped KP压缩技术通过在相似的精度下实现1.3 - 2.4倍的压缩因子,优于先前最先进的压缩结果,同时还大幅击败了修剪和低秩方法等强大的替代方案(8%或更高)。此外,我们表明,掺杂KP可以部署在商品硬件上使用当前的软件栈,并实现2.5 - 5.5倍的推理运行时速度超过基线。
2021-02-14 cs.LG
SHUFFLESPARSE: Learned Shuffles for Structured Sparse Networks
Department of Computer Science(计算机科学系);The Institute of Optics(光学研究所)
研究针对结构化权重稀疏性在准确性上落后于非结构化动态稀疏训练的问题,提出SHUFFLESPARSE方法,通过学习排列矩阵缩小精度差距,在多种结构上验证有效,还能提升预训练语言模型剪枝的零样本精度,确立学习排列为恢复精度的通用工具。
2026-07-22 cs.LG
Optimized Structured Sparse Sensing Matrices for Compressive Sensing
Technion - Israel Institute of Technology(以色列理工学院);The Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰斯·霍普金斯大学);Colorado School of Mines(科罗拉多矿业学院)
本文考虑设计一个由稀疏矩阵和稠密基矩阵组成的鲁棒结构稀疏感知矩阵,以有效地捕获信号。我们通过最小化等价字典的Gram矩阵和目标Gram矩阵之间的距离来设计鲁棒结构稀疏感知矩阵。此外,正则化被添加到执行的优化的结构化稀疏传感矩阵的稀疏表示误差(SRE)的感兴趣的信号的鲁棒性。提出了一种具有全局序列收敛性的交替极小化算法来求解相应的优化问题。对合成数据和自然图像的数值实验表明,所得到的结构化传感矩阵比随机稠密传感矩阵具有更高的信号重构能力。
2019-02-05 cs.LG eess.SP
Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data
Independent Researcher(独立研究者)
本文提出ORiGAMi模型,通过自回归Transformer架构实现半结构化记录的建模与合成,无需扁平化处理,提升隐私保护和基准性能。
2026-04-30 cs.LG
Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达)
针对结构化稀疏硬件灵活性有限且需微调的问题,提出利用分配律将非结构化稀疏张量分解为结构化稀疏张量的近似方法,并开发软件框架TASDER,无需微调即可加速DNN,显著提升EDP和实际系统速度。
2025-05-24 cs.AI cs.AR cs.LG
SF-GRASS: Solver-Free Graph Spectral Sparsification
Stevens Institute of Technology(史蒂文斯理工学院);Michigan Technological University(密歇根理工大学)
最近的谱图稀疏化技术在加速许多数值和图形算法方面表现出了良好的性能,例如用于求解大型稀疏矩阵的迭代法,无向图的谱划分,电力/热网格的无向量验证,大型图的表示学习等。然而,先前的谱图稀疏化方法依赖于快速拉普拉斯矩阵求解器,这些求解器通常在实践中具有挑战性。这项工作,第一次,介绍了一种无求解器的方法(SF-GRASS)的频谱图稀疏化,利用新兴的频谱图粗化和图形信号处理(GSP)技术。我们引入了一个局部谱嵌入方案,用于有效地识别谱临界边缘,这些边缘是保持图谱特性的关键,例如前几个拉普拉斯特征值和特征向量。由于SF-GRASS中的关键核函数可以使用稀疏矩阵向量乘法(SpMV)有效地实现,因此所提出的谱方法易于实现并且具有固有的并行友好性。我们广泛的实验结果表明,所提出的方法可以产生一个层次的高品质的光谱稀疏在近线性时间的各种现实世界中,大规模的图形和电路网络相比,与现有的国家的最先进的谱方法。
2020-08-17 cs.DS cs.LG cs.NA
SparseMAP: Differentiable Sparse Structured Inference
Cornell University(康奈尔大学);Unbabel;Instituto de Telecomunicações(电信研究所);NTT Communication Science Laboratories(NTT通信科学实验室)
结构化预测需要在组合数量的结构上进行搜索。为了解决这个问题,我们引入了SparseMAP:一种新的稀疏结构化推理方法,以及它的自然损失函数。SparseMAP只自动选择几个全局结构:它位于MAP推理和边缘推理之间,MAP推理选择单个结构,边缘推理为所有结构分配概率质量,包括不可信的结构。重要的是,SparseMAP可以仅使用对MAP oracle的调用来计算,使其适用于具有棘手的边缘推理的问题,例如,线性分配稀疏性使梯度反向传播效率高,无论结构如何,使我们能够用通用和稀疏结构的隐藏层来增强深度神经网络。依赖解析和自然语言推理的实验表明,竞争力的准确性,提高可解释性,并捕捉自然语言的歧义,这是有吸引力的管道系统的能力。
2018-06-20 cs.CL cs.LG stat.ML
LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Unbabel
结构化预测需要操纵大量的组合结构,例如,依赖树或比对,作为潜在变量或输出变量。最近,SparseMAP方法已被提出作为最大后验概率(MAP)和边际推理的可微稀疏替代方案。SparseMAP返回少量结构的组合,这在某些下游应用程序中是一个理想的属性。然而,SparseMAP需要一个易于处理的MAP推理oracle。这排除了,例如,循环图模型或具有逻辑约束的因子图,这通常需要近似推理。在本文中,我们介绍了LP-SparseMAP,SparseMAP的扩展,解决了这个限制,通过局部多面体松弛。LP-SparseMAP使用因子图的灵活和强大的域特定语言来定义和反向传播任意隐藏结构,支持粗分解,硬逻辑约束和高阶相关性。我们推导出使用LP-SparseMAP作为隐藏层或输出层所需的前向和后向算法。在三个结构化预测任务的实验表明,与SparseMAP和结构化SVM相比,它具有优势。
2020-08-05 cs.CL cs.LG stat.ML
Structured Sparse Convolutional Autoencoder
University of Louisville(路易斯维尔大学)
本文旨在通过捕获对象的结构来改进卷积网络(Convnet)中的特征学习。在提取的特征图上施加一个新的稀疏函数来捕捉学习对象的结构和形状,提取可解释的特征以提高预测性能。所提出的算法是基于组织内和跨featuremap的激活通过约束节点的活动,通过$\ell_{2}$和$\ell_{1}$规范化的结构化形式。
2017-01-02 cs.LG cs.NE
Dynamic Sparse Training with Structured Sparsity
University of Calgary(卡尔加里大学);Massachusetts Institute of Technology(麻省理工学院);IAIFI;Google DeepMind(谷歌DeepMind);University of Guelph(圭尔夫大学);Vector Institute for AI(矢量人工智能研究院)
本文提出结构化动态稀疏训练方法 SRigL,通过恒定扇入约束学习 N:M 结构化稀疏性并结合神经元消融,在多种神经网络上实现领先的稀疏训练性能与显著的实际推理加速。
2024-02-21 cs.CV cs.LG
Sparse data to structured imageset transformation
Centre for Medical Image Computing, University College London(伦敦大学学院医学影像中心)
如果样本和特征的数量非常大,那么涉及稀疏数据集的机器学习问题可能会受益于卷积神经网络的使用。这种数据集在各种不同的领域中越来越频繁地遇到。我们将这些数据集转换为图像集,同时尝试为每个图像结构提供适合用于卷积神经网络的图像结构。在两个公开的稀疏数据集上的实验结果表明,与其他方法相比,该方法可以提高分类性能,这可能归因于在所得图像上形成视觉上可区分的形状。
2020-05-07 cs.LG eess.IV
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield(谢菲尔德大学);University of Oxford(牛津大学)
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架,它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法,并给出了后验分布的理论推导。的推理框架进行了全面评估合成,真实的视频和脑电图(EEG)数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比,该方法的F测度提高了15%。此外,所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性,源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
SPP-SBL: Space-Power Prior Sparse Bayesian Learning for Block Sparse Recovery
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University(北京航空航天大学数学科学学院教育部数学、信息与行为重点实验室)
本文提出SPP-SBL方法,通过空间功率先验和EM算法结合高阶方程求解,解决块稀疏信号结构未知的恢复问题,提升恢复精度。
2026-04-10 cs.LG math.OC
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University(斯坦福大学)
本文研究了CNN的结构化稀疏训练,采用逐步修剪技术,在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构,以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间,稀疏水平,和学习率配置方面的各种权衡。我们表明,我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本,同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性,我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明,与70%的目标稀疏,超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
Learning Efficient Structured Sparse Models
Tel Aviv University(特拉维夫大学);University of Minnesota(明尼苏达大学)
我们提出了一个全面的框架结构化稀疏编码和建模扩展最近的想法,使用可学习的快速回归近似精确的稀疏代码。为此,我们开发了一种新的块坐标邻近分裂方法的迭代解的分层稀疏编码问题,并显示出一个有效的前馈架构来自其迭代。这种架构忠实地近似精确的结构化稀疏码的复杂性的标准优化方法的一小部分。我们还表明,通过使用不同的训练目标函数,可学习的稀疏编码器不再局限于仅仅是一个预先给定的字典的精确稀疏代码的近似,在早期的配方,但可以作为全功能的稀疏编码器,甚至建模。一个简单的实现显示了几个数量级的加速相比,国家的最先进的最小的性能下降,使所提出的框架适合于实时的和大规模的应用。
2012-06-18 cs.CV cs.LG stat.ML
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University(爱荷华州立大学);New York University(纽约大学);Duke University(杜克大学)
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化(Hyper parameter Optimization,HPO)和神经结构搜索(Neural Architecture Search,NAS)。在本文的第一部分,我们建立了一个新的连接HPO和结构化稀疏恢复。特别是,我们表明,一个特殊的编码的超参数空间,使一个自然的组稀疏恢复制定,这与HyperBand(多臂强盗策略)时,导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分,我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法,我们提出了一种新的算法,我们称之为CoNAS,通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后,我们在几个数据集上验证了我们的方法,并发现了迄今为止尚未报道的新架构,与现有的NAS方法相比,在性能和搜索时间方面都取得了有竞争力(或更好)的结果。
2020-07-07 cs.LG stat.ML
Sparse Stochastic Zeroth-Order Optimization with an Application to Bandit Structured Prediction
Amazon Research(亚马逊研究院);Heidelberg University(海德堡大学)
随机零阶(SZO)或无梯度优化允许仅依赖于参数扰动下的函数评估来优化任意函数,然而,SZO方法的迭代复杂度与扰动函数的维数成比例。我们表明,在结构化预测应用中具有自然稀疏模式的情况下,该因子可以减少到输入输出对上的活动特征的预期数量。我们给出了一个一般的证明,适用于稀疏SZO优化Lipschitz连续,非凸,随机目标,并提出了一个实验评估线性强盗结构预测任务与稀疏字为基础的特征表示,证实我们的理论结果。
2020-11-10 cs.CL cs.LG stat.ML
Towards Structured Dynamic Sparse Pre-Training of BERT
Graphcore Research(Graphcore研究院)
大语言模型的无监督训练识别算法是一个重要而活跃的研究领域。在这项工作中,我们开发和研究了一个简单的,动态的总是稀疏的预训练方法的BERT语言建模任务,它利用周期性的压缩步骤的基础上幅度修剪,然后随机参数重新分配。这种方法使我们能够实现帕累托改进的浮点运算(FLOPs)的数量在静态稀疏和密集的模型在广泛的网络规模。此外,我们还证明了在使用粗粒度块稀疏性时,训练仍然是FLOP高效的,这使得它特别有希望在现代硬件加速器上高效执行。
2021-08-13 cs.CL cs.LG
Sparse Gaussian Processes: Structured Approximations and Power-EP Revisited
Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
本文提出块对角缩放矩阵改进稀疏变分高斯过程,并将结构化近似后验引入 Power-EP 框架,在保持计算成本的同时提升回归性能,为实践者提供灵活替代方案。
2025-07-03 cs.LG stat.ML
ElfCore: A 28nm Neural Processor Enabling Dynamic Structured Sparse Training and Online Self-Supervised Learning with Activity-Dependent Weight Update
Institute of Neuroinformatics University of Zurich(神经信息学研究所 瑞士苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
ElfCore是一种28纳米神经处理器,通过动态结构稀疏训练和活动依赖权重更新,实现低功耗高效的学习与信号处理。
2025-12-24 cs.AR cs.LG
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
通过信息投影的近似推理最近被引入作为一种通用的方法,用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性,提出了有效的算法,通过信息投影的近似推理,适用于任何结构的变量集,承认枚举使用\emph{matroid}。我们表明,由此产生的信息投影可以减少到组合子模优化拟阵约束。此外,利用最新的子模块优化的进展,我们提供了一个有效的贪婪算法,具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的,正如我们所展示的,包括组稀疏回归,组稀疏主成分分析和稀疏典型相关分析等。此外,模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比,建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Structured Priors for Sparse-Representation-Based Hyperspectral Image Classification
The Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Army Research Laboratory(美国陆军研究实验室)
逐像素分类是高光谱图像分析中最重要的步骤之一,其中每个像素被分配到一个预定义的类。稀疏表示分类器(SRC)通过将测试像素表示为标记像素的一个小子集的线性组合,与传统的分类器如支持向量机(SVM)相比,给出了更合理的结果。最近,通过加入额外的结构稀疏先验,第二代SRC出现在文献中,并报告进一步提高HSI的性能。这些先验是基于利用相邻像素之间的空间依赖性,字典的固有结构,或两者兼而有之。在本文中,我们回顾和比较几个结构化的先验稀疏表示为基础的HSI分类。我们还提出了一个新的结构先验称为低秩组先验,它可以被认为是低秩先验的修改。此外,我们将研究不同的结构先验如何改善HSI分类的结果。
2014-01-16 cs.CV cs.LG stat.ML
RadiX-Net: Structured Sparse Matrices for Deep Neural Networks
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度神经网络(DNN)的规模正在迅速增长,超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net,它们在稀疏拓扑上进行初始化和训练,既不参考父密集DNN,也不进行后续修剪。我们提出了一种确定性地生成RadiX-Nets的算法:稀疏DNN拓扑结构,作为一个整体,比X-Net拓扑结构更加多样化,同时保留了X-Nets所需的特性。我们进一步提出了一个基于长期观察的功能分析猜想,即稀疏神经网络拓扑结构可以获得与密集拓扑结构相同的表达能力
2019-04-30 cs.LG stat.ML
Tight Measurement Bounds for Exact Recovery of Structured Sparse Signals
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
标准压缩感测结果表明,为了精确地恢复R ^p中的s稀疏信号,需要O(s)。log(p))测量。虽然这个界限在实践中非常有用,但现实世界的信号往往不仅稀疏,而且还表现出稀疏模式的结构。本文主要研究群体结构模式。在该模型下,信号系数组一起是活动的(或非活动的)。组是预定义的,但是活动的组的特定集合(即,在信号支持中)必须从测量中学习。我们表明,利用知识的群体,可以进一步减少所需的精确信号恢复测量的数量,并推导出所需的测量数量的普遍界限。这个界限是普遍的,因为它只取决于所考虑的群体的数量,而不取决于群体的具体情况(例如,组成、大小、范围、重叠等)。实验表明,我们的结果适用于各种重叠群配置。
2011-10-18 cs.LG stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
我们研究的问题,学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例:1)基于l1/l2混合范数惩罚的重叠组套索惩罚,以及2)图引导融合惩罚。对于这两种类型的惩罚,由于其不可分离性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一个通用的优化方法,称为平滑邻近梯度方法,它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明,所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
A Nonconvex Approach for Structured Sparse Learning
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
稀疏学习是机器学习、统计估计、信号处理等领域的一个重要研究课题。在本文中,我们专注于结构化稀疏学习的$\ell_q$分析优化问题($0< q \leq 1$)。与以前的工作相比,我们建立了较弱的条件,精确恢复在无噪声的情况下和更严格的非渐近上界的估计误差在噪声的情况下。我们进一步证明了非凸的$\ell_q$分析优化可以做恢复与较低的样本复杂性和更广泛的范围内的cosparity比其凸对应。此外,我们发展了一个迭代重加权的方法来解决变分框架下的优化问题。理论分析表明,我们的方法是能够追求一个局部极小值接近全局极小值。初步计算实验的实验结果表明,我们的非凸方法优于其凸对应和其他国家的最先进的方法。
2015-03-07 cs.IT cs.LG math.IT
SPECTRA: Sparse Structured Text Rationalization
Instituto de Telecomunicações(葡萄牙电信研究所);Instituto Superior Técnico(高等理工学院);Unbabel(Unbabel公司)
选择性合理化的目的是产生决策以及合理性(例如,文本突出显示或两个句子之间的单词对齐)。通常,基本原理被建模为随机二进制掩码,需要基于采样的梯度估计器,这使得训练复杂化,并且需要仔细的超参数调整。稀疏注意力机制是一种确定性的替代方案,但它们缺乏一种使基本原理提取规则化的方法(例如,以控制文本突出显示的稀疏度或对齐的数量)。在本文中,我们提出了一个统一的框架,确定性提取结构化的解释,通过约束推理的因素图,形成一个可微层。我们的方法极大地简化了训练和合理性规则化,在性能和提取的合理性方面通常优于以前的工作。我们进一步提供了一个比较研究的随机和确定性的方法提取分类和自然语言推理任务的理由,共同评估其预测能力,质量的解释,和模型的可变性。
2021-09-09 cs.CL cs.LG
TRACE: Retrospective Streaming Generation of Physical Fields under Sparse Structured Sensing
Zhejiang University(浙江大学)
本文提出TRACE框架,针对结构化感知下的物理场重构问题,通过近似贝叶斯推理、卡尔曼滤波与回溯式平滑提升重构质量,在多类物理场实验中表现优于或匹配基线方法。
2026-08-28 cs.LG stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research(微软研究院);Technicolor R & I(汤姆逊研发中心);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一些学习应用程序需要解决高维回归问题,其中相关特征属于少量(重叠)组。对于非常大的数据集和标准稀疏性约束下,硬阈值方法已被证明是非常有效的,但这种方法需要NP硬投影时,处理重叠的群体。在本文中,我们表明,这种NP难预测不仅可以避免呼吁子模块优化,但这样的方法来与强有力的理论保证,即使在存在条件不佳的数据(即当两个功能有相关性$\geq 0.99$),现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡,并可以扩展到显着困难的问题,如稀疏重叠组。真实和合成数据上的实验验证了我们的主张,并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University(北京大学)
本文提出了一种新的潜在语义学习方法,用于从大量具有结构化稀疏表示的丰富中级特征(即视觉关键字)的词汇中提取高级特征(即潜在语义),这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构,我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法,而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是,我们构建了L1-图的结构化稀疏表示,这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中,我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核,学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同,本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构,从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
A Regularized Framework for Sparse and Structured Neural Attention
Cornell University(康奈尔大学);NTT Communication Science Laboratories(NTT通信科学实验室)
现代神经网络通常增加了注意力机制,它告诉网络在输入中关注哪里。在本文中,我们提出了一个新的框架,稀疏和结构化的注意,建立在一个平滑的最大算子。我们表明,该算子的梯度定义了一个映射,从实际值的概率,适合作为一个注意力机制。我们的框架包括softmax和最近提出的sparsemax作为特例的轻微推广。然而,我们还展示了我们的框架如何结合现代结构化的惩罚,从而产生更可解释的注意力机制,专注于输入的整个部分或组。我们推导出有效的算法来计算我们的注意力机制的向前和向后传递,使其能够在用反向传播训练的神经网络中使用。为了展示它们作为现有替代品的潜力,我们在三个大规模任务上评估了我们的注意力机制:文本蕴涵,机器翻译和句子摘要。我们的注意力机制在不牺牲性能的情况下提高了可解释性;值得注意的是,在文本蕴涵和摘要方面,我们优于基于softmax和sparsemax的标准注意力机制。
2019-02-23 cs.CL cs.LG stat.ML
Federated Structured Sparse PCA for Anomaly Detection in IoT Networks
School of Mechatronic Engineering and Automation(机械电子工程与自动化学院);Shanghai University(上海大学)
针对现有联邦PCA方法缺乏稀疏性整合的问题,提出融合双重稀疏正则化的联邦结构化稀疏PCA方法FedSSP,基于近端交替最小化求解,可提升IoT网络异常检测的可解释性与准确率。
2025-10-28 cs.LG math.OC
Learning Achievement Structure for Structured Exploration in Domains with Sparse Reward
University of Toronto(多伦多大学);Vector Institute(向量研究所)
该研究提出多阶段强化学习算法SEA,通过离线学习成就表示、启发式恢复依赖图、在线交互探索的方式,在稀疏奖励的高维观测困难环境中准确恢复成就结构并提升探索效果。
2023-04-30 cs.AI cs.LG
Calendar-Structured Sparse Principal Component Analysis for Interpretable Multi-Periodic Electricity Consumption Profiles
University of Alicante(阿利坎特大学);University of La Laguna(拉古纳大学)
本文提出Calendar-SPCA,一种将日历多周期结构融入稀疏主成分分析的表示学习方法,在智能电表数据上以高方差保留率和稀疏性生成可解释的周期模式。
2026-09-17 cs.AI cs.LG
On The Complexity of Sparse Label Propagation
Aalto University(阿尔托大学)
本文研究了最近提出的用于处理网络结构化数据的稀疏标签传播算法的计算复杂度。稀疏标签传播相当于一个凸优化问题,可以被认为是从稀疏向量到网络结构数据集的基追踪的扩展。使用一个标准的一阶预言机模型,我们的特点稀疏标签传播的迭代次数,以达到规定的精度。特别是,我们推导出达到一定精度所需的迭代次数的上限,并表明该上限对于具有链结构的数据集是尖锐的(例如,时间序列)。
2018-05-29 cs.LG stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中,我们提出了一个自然图像的生成模型,该模型由深层的潜在随机变量层组成,每个变量都遵循一种新的分布类型,我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏,同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数,我们用变分自动编码器近似隐变量的后验。然而,编码器参数化了一种新型的结构化变分近似,而不是进行通常的平均场假设,该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似,我们能够对具有多层潜在随机变量的深度模型进行联合训练,而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Graph-Sparse LDA: A Topic Model with Structured Sparsity
Harvard University(哈佛大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
主题建模最初是为了对文本进行建模而设计的,现在已经成为揭示医学、金融和视觉等领域潜在结构的强大工具。模型的目标根据应用而有所不同:在某些情况下,发现的主题可能用于预测或其他下游任务。在其他情况下,专题本身的内容可能具有内在的科学意义。不幸的是,即使使用现代稀疏技术,由于底层空间的高维性,所发现的主题通常也难以解释。为了提高主题的可解释性,我们引入了Graph-Sparse LDA,这是一种分层主题模型,它利用了单词之间关系的知识(例如,如由本体编码的)。在我们的模型中,主题总结了一些潜在的概念词从底层图,解释观察到的话。Graph-Sparse LDA在两个真实世界的生物医学数据集上恢复稀疏的、可解释的摘要,同时匹配最先进的预测性能。
2014-11-21 cs.CL cs.LG stat.ML
Tuning-Free Structured Sparse PCA via Deep Unfolding Networks
School of Mechatronic Engineering and Automation, Shanghai University(上海大学机电工程与自动化学院)
本文提出一种基于深度展开网络的无调参结构化稀疏PCA方法,通过整合$\ell_1$和$\ell_{2,1}$范数并结合ADMM框架实现正则化参数自动学习,有效降低了计算成本与敏感性。
2025-04-04 cs.LG math.OC
Learning Sparse Structured Ensembles with SG-MCMC and Network Pruning
Speech Processing and Machine Intelligence (SPMI) Lab(语音处理与机器智能(SPMI)实验室);Tsinghua University(清华大学)
已知神经网络的集合比单个网络更鲁棒和准确,然而通常在训练和测试中具有线性增加的成本。在这项工作中,我们提出了一个两阶段的方法来学习稀疏结构集成(SSE)的神经网络。在第一阶段中,我们运行具有组稀疏先验的SG-MCMC,以从网络参数的后验分布中提取样本的集合。在第二阶段,我们对每个采样网络进行权重修剪,然后对剩余的连接进行再训练。在这种使用SG-MCMC和修剪学习SSE的方式中,由于SG-MCMC增强了对模型参数空间的探索,我们不仅实现了高预测精度,而且在神经网络集成的训练和测试中显着降低了内存和计算成本。这在学习FNN和LSTM的SSE集成的实验中得到了彻底的评估。例如,在基于LSTM的语言建模(LM)中,我们通过学习4个大型LSTM模型的SSE,与基线大型LSTM LM相比,它总共只有30%的模型参数和70%的计算,从而获得了21%的LM困惑相对减少。据我们所知,这项工作是第一个方法和实证研究集成SG-MCMC,组稀疏先验和网络修剪一起学习NN集成。
2018-05-23 cs.LG stat.ML
Meta-learning three-factor plasticity rules for structured credit assignment with sparse feedback
本文提出元学习三因素可塑性规则,用于递归网络在稀疏反馈下的结构化信用分配学习。
2025-12-11 cond-mat.dis-nn cs.LG physics.bio-ph
Samoyeds: Accelerating MoE Models with Structured Sparsity Leveraging Sparse Tensor Cores
Shanghai Jiao Tong University(上海交通大学);Shanghai Enflame Technology Co.Ltd(上海天数智芯半导体有限公司)
提出 Samoyeds 系统,通过同时利用激活与参数的结构化稀疏、定制数据格式及稀疏-稀疏矩阵乘法内核,在 SpTCs 上高效加速 MoE LLM。
2025-03-13 cs.AI cs.DC cs.LG
LoSparse: Structured Compression of Large Language Models based on Low-Rank and Sparse Approximation
Georgia Tech(佐治亚理工学院);Microsoft Azure(微软Azure)
提出LoSparse模型压缩技术,通过低秩矩阵与稀疏矩阵之和近似权重矩阵,结合低秩近似与剪枝优势,在自然语言任务中显著优于现有方法。
2023-06-26 cs.CL cs.LG
Do algorithms and barriers for sparse principal component analysis extend to other structured settings?
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院)
在 spiked Wishart 模型下研究 union-of-subspace 结构的主成分分析,建立依赖几何特性的基本极限,证明 projected power method 的局部收敛性,并通过对 path 和 tree sparsity 的分析展示计算难度证据。
2023-12-31 cs.LG stat.ML
SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
针对长上下文大语言模型原生注意力二次复杂度导致首令牌生成延迟高的问题,提出自适应结构化近无损稀疏注意力方法SampleAttention,无需额外训练即可无缝替换原生注意力,在几乎无损的前提下最高将首令牌生成时间降低2.42倍。
2025-09-03 cs.AI cs.CL cs.LG
Parametric Maxflows for Structured Sparse Learning with Convex Relaxations of Submodular Functions
The Institute of Scientific and Industrial Research, Osaka University(大阪大学科学与工业研究所);The University of Tokyo(东京大学)
本文提出利用参数最大流优化解决结构稀疏学习中的凸松弛子模函数问题,展示现有结构惩罚满足条件,可快速求解正则化学习。
2015-09-14 cs.LG cs.NA math.NA
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution
Harvard University(哈佛大学);Weizmann Institute of Science(魏茨曼科学研究所)
针对压缩稀疏多通道盲反卷积问题,提出了一种学习结构的展开神经网络。在这个问题中,每个通道的测量值被给出为公共源信号和稀疏滤波器的卷积。与以前的作品中,压缩是通过随机投影或通过应用一个固定的结构化压缩矩阵来实现不同,本文提出了从数据中学习压缩矩阵。给定完整的测量值,所提出的网络以无监督的方式进行训练,以学习源和估计稀疏滤波器。然后,给定估计的源,我们学习结构化压缩算子,同时优化信号重建和稀疏滤波器恢复。压缩的有效结构允许其实际的硬件实现。所提出的神经网络是一种基于展开方法构建的自动编码器:在训练时,编码器使用压缩算子和源将压缩测量映射到稀疏滤波器的估计中,线性卷积解码器重建完整的测量。我们证明,我们的方法是优于经典的结构化压缩稀疏多通道盲反卷积方法的精度和速度的稀疏滤波器恢复。
2021-02-12 cs.LG eess.SP
RNM-TD3: N:M Semi-structured Sparse Reinforcement Learning From Scratch
Deggendorf Institute of Technology(德格多夫技术学院);Department of Engineering Technology(工程技术系);Technical University of Denmark(丹麦技术大学)
RNM-TD3通过N:M结构稀疏性在强化学习中实现压缩、性能和硬件效率的平衡,优于密集模型并在稀疏度下表现优异。
2026-02-16 cs.AR cs.LG
Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
Apple MPS(苹果MPS)
本文提出UniMatrix系列模型,通过结构递归状态和稀疏检索机制,在保持参数效率的同时提升语言模型性能,但长程行为仍需进一步优化。
2026-04-01 cs.CL cs.LG
Multi-dimensional signal approximation with sparse structured priors using split Bregman iterations
CEA(法国原子能委员会);Université Paris-Sud(巴黎南大学);Mensia Technologies S.A.(Mensia科技公司);PSL, Université Paris-Dauphine(巴黎文理研究大学-巴黎多菲纳大学)
本文讨论了结构约束的多维信号稀疏分解到过完备的向量族,称为字典。本文的贡献有三个方面。首先,一个通用的时空正则化项的设计和使用与标准的$\ell_1$正则化项,以执行稀疏分解保持信号的时空结构。其次,提出了一种基于分裂Bregman方法的优化算法来处理相关的优化问题,并分析了其收敛性。我们有充分依据的方法产生相同的精度,在国家的最先进的其他算法,在收敛速度方面有显着的收益。最后,通过对人工问题和实际问题的实证分析,验证了该方法的通用性和有效性。在人工问题上,所提出的正则化包含总变分最小化并恢复预期的分解。在实际的脑电脑电波分解问题上,该方法在P300诱发电位检测方面优于同类方法,使用结构化的空间先验来指导分解。
2016-09-29 cs.CV cs.DS cs.LG
Accelerated Structured Alternating Projections for Robust Spectrally Sparse Signal Recovery
University of California, Los Angeles(加州大学洛杉矶分校);Hong Kong University of Science and Technology(香港科技大学);Southwestern University of Finance and Economics(西南财经大学);Shenzhen University(深圳大学)
考虑由具有或不具有阻尼的$r$复正弦曲线组成的频谱稀疏信号$\boldsymbol{x}$。研究了在完全观测条件下谱稀疏信号的鲁棒恢复问题,即从$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$的和$\boldsymbol{z}=\boldsymbol{x}+\boldsymbol{s}$中恢复$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$。本文利用$\boldsymbol{x}$构造的Hankel矩阵的低秩性质,将该问题转化为一个低秩Hankel矩阵的鲁棒恢复问题.我们开发了一个高效的非凸算法,创造加速结构交替投影(ASAP)。ASAP的高计算效率和低空间复杂度是通过结构矩阵的快速计算和加速低秩近似的子空间投影方法来实现的。在对$\boldsymbol{x}$和$\boldsymbol{s}$的一些温和的假设下,建立了ASAP的线性收敛速度的理论恢复保证。合成和真实世界的数据的经验性能比较证实了ASAP的优势,在计算效率和鲁棒性方面。
2021-01-16 cs.IT cs.LG eess.SP
Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data
NTT Communication Science Laboratories(NTT通信科学实验室);Kanagawa University(神奈川大学)
针对大规模高维稀疏数据集,提出了一种结构友好的k均值聚类算法SIVF。算法在时间上的效率通常由诸如相似性计算之类的高成本操作的数量来衡量。然而,在实践中,它在很大程度上取决于该算法如何适应的计算机系统的架构,它是executedon.We建议SIVF采用不变的基于质心对的过滤器(ICP),以减少数据对象和质心的所有集群之间的相似性计算的数量。为了最大限度地提高ICP性能,SIVF利用一个质心集的一个倒置的文件,结构,以减少管道的危险。我们证明在我们的实验中,真正的大规模文档数据集,SIVF操作速度更高,内存消耗比现有的算法。我们的性能分析表明,SIVF实现了更高的速度,通过抑制性能下降的因素,而不是更少的相似性计算的高速缓存未命中和分支误预测的数量。
2021-03-30 cs.AR cs.LG stat.ML
Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization
Google(谷歌);National University of Singapore(新加坡国立大学)
映射和定位,最好是从少量的观察,是机器人的基本任务。我们通过将空间结构(可微映射)和端到端学习结合在一个新的神经网络架构中来解决这些任务:可微映射网络(DMN)。DMN构造了一个空间结构化的视图嵌入图,并使用它进行后续的视觉定位与粒子滤波。由于DMN架构是端到端可微的,因此我们可以使用梯度下降来联合学习地图表示和定位。我们将DMN应用于稀疏视觉定位,其中机器人需要在新的环境中相对于来自已知视点的少量图像进行定位。我们使用模拟环境和具有挑战性的现实世界街景数据集来评估DMN。我们发现,DMN学习有效的地图表示视觉定位。空间结构的好处随着较大的环境、用于映射的更多视点以及当训练数据稀缺时而增加。项目网址:http://sites.google.com/view/differentiable-mapping
2020-05-19 cs.CV cs.LG cs.RO
Sparse Bayesian Deep Functional Learning with Structured Region Selection
School of Statistics and Data Science, Shanghai University of Finance and Economics(上海金融学院统计与数据科学学院);School of Statistics(统计学院);Data Science, Shanghai University of Finance(金融大学数据科学学院);Department of Biostatistics, Yale School of Public Health(耶鲁大学公共卫生学院生物统计学系)
提出稀疏贝叶斯函数深度神经网络(sBayFDNN),通过深度贝叶斯架构学习自适应函数嵌入以捕捉复杂非线性关系,并利用结构化先验实现具有量化不确定性的可解释区域选择,理论上首次为贝叶斯深度函数模型提供了近似误差界、后验一致性和区域选择一致性的严格保证。
2026-06-03 cs.LG stat.AP stat.ML
Freeze, Then Select: Structured Field Adapters and Stability-Validated Weak Selection for PDE Discovery from Sparse Observations
该研究针对稀疏观测的PDE发现问题,提出冻结后选择方法,结合结构化场适配器与SVWS,在6种稀疏MDBench场景中实现最高精确支持集恢复率,尤其在Kuramoto-Sivashinsky动力学上优势显著。
2026-08-03 cs.LG cs.NA math.NA