Detecting Nonlinear Causality in Multivariate Time Series with Sparse Additive Models
提出了一种利用稀疏加性模型(SpAM)检测多维离散时间序列中非线性因果关系的非参数方法。我们发现,当输入到SpAM是一个$β$混合时间序列,该模型可以拟合的线性组合的一组B-样条基,然后解决一组套索型优化问题的非凸正则化的每个未知函数。理论上,我们刻画了所提出的稀疏估计在函数估计和模型选择中的预言统计性质。数值上,我们提出了一个有效的路径迭代收缩阈值算法(PISTA),驯服的非凸性,并保证线性收敛到所需的稀疏估计的高概率。
2018-04-26 cs.LG stat.ME stat.ML
Fast Sparse Classification for Generalized Linear and Additive Models
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
我们提出了稀疏广义线性和加法模型的快速分类技术。这些技术可以在几分钟内处理数千个特征和数千个观察结果,即使存在许多高度相关的特征。对于快速稀疏逻辑回归,我们的计算速度比其他最佳子集搜索技术要快,这要归功于逻辑损失的线性和二次替代切割,这使我们能够有效地筛选要消除的特征,以及使用优先级队列,有利于更均匀地探索特征。作为一种替代的逻辑损失,我们提出了指数损失,它允许在每次迭代的线搜索的解析解。我们的算法通常比以前的方法快2到5倍。它们生成可解释的模型,其准确性可与具有挑战性的数据集上的黑盒模型相媲美。
2022-10-30 cs.LG stat.ML
Generalized Sparse Additive Model with Unknown Link Function
School of Electronic Information;Communications Huazhong University of Science;College of Informatics Huazhong Agricultural University Wuhan, China
针对现有广义加性模型无法同时估计链接函数、组件函数和变量交互的问题,提出GSAMUL模型,利用B样条基和MLP网络分别估计组件函数与未知链接函数,并结合$L_{2,1}$范数正则化项实现变量选择与隐藏交互,理论保证了近似过程的收敛性,实验验证了其有效性。
2024-10-11 cs.LG stat.ML
MOSAIC: Module Discovery via Sparse Additive Identifiable Causal Learning for Scientific Time Series
University of Illinois Chicago(伊利诺伊大学香槟分校);Case Western Reserve University(凯斯西储大学);Carnegie Mellon University(卡内基梅隆大学);MBZUAI
MOSAIC通过稀疏加法可识别因果学习,在科学时间序列中发现模块结构,通过稀疏解码器恢复观测变量支持,实现可解释的潜在机制发现。
2026-10-19 cs.AI cs.LG
Sparse Partially Linear Additive Models
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
广义部分线性加性模型(GPLAM)是一种灵活且可解释的构建预测模型的方法。它以相加的方式组合特征,允许每个特征对响应具有线性或非线性影响。然而,将哪些特征视为线性或非线性的选择通常被假定为已知的。因此,为了使GPLAM在$a~priori$对特征知之甚少的情况下成为一种可行的方法,必须克服两个主要的模型选择挑战:决定模型中包含哪些特征,以及确定对这些特征中的哪些进行非线性处理。我们介绍了稀疏部分线性加性模型(SPLAM),它结合了模型拟合和$both$这些模型选择的挑战到一个单一的凸优化问题。SPLAM提供了套索和稀疏加性模型之间的桥梁。通过统计预言不等式和全面的模拟,我们证明了SPLAM可以在广泛的统计制度,包括高维($p\gg N$)设置优于其他方法。我们开发了高效的算法,应用于具有50万个样本和超过45,000个特征的真实数据集,具有出色的预测性能。
2018-03-27 cs.LG stat.ME stat.ML
Sparse Additive Model Pruning for Order-Based Causal Structure Learning
本文提出基于稀疏加法模型的因果结构学习剪枝方法,通过高效算法提升剪枝效率并保持高准确性。
2026-02-17 cs.LG stat.ML
Representing Additive Gaussian Processes by Sparse Matrices
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Fudan University(复旦大学)
本研究证明加性Matérn高斯过程的后验均值、方差、对数似然及梯度均可由稀疏矩阵/向量表示,将相关计算复杂度降至O(n log n),并应用于贝叶斯优化大幅降低采集函数等的计算复杂度。
2023-04-29 cs.LG stat.ML
Low-rank Interaction with Sparse Additive Effects Model for Large Data Frames
Centre de Mathématiques Appliquées(应用数学中心);École Polytechnique(巴黎综合理工学院);INRIA(法国国家信息与自动化研究所);The Chinese University of Hong Kong(香港中文大学);ESSEC Business School(埃塞克高等商学院);CREST(法国经济统计与计量研究中心);ENSAE(法国国立统计与经济管理学院)
机器学习的许多应用都涉及大型数据框架的分析-收集异构测量(二进制,数值,计数等)的矩阵。跨样本-具有缺失值。低秩模型,如Udell等人所研究的。[30],在这个框架中很受欢迎,用于可视化,聚类和缺失值填补等任务。然而,具有统计保证和有效优化的可用方法不允许对主要加性效应(如行和列)或协变量效应进行显式建模。在本文中,我们介绍了一个低秩交互作用和稀疏加性效应(LORIS)模型,它结合了字典上的矩阵回归和低秩设计,同时估计主效应和交互作用。我们提供统计保证的形式上界的两个组件的估计误差。然后,我们介绍了一种混合坐标梯度下降(MCGD)方法,可证明次线性收敛到最优解,是计算效率高的大规模数据集。我们的模拟和调查数据表明,该方法具有明显的优势,比目前的做法,其中包括在预处理步骤中分别处理添加剂的影响。
2018-12-20 cs.LG stat.ML
Sparse Additive Functional and Kernel CCA
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);University of Chicago(芝加哥大学)
典型相关分析(CCA)是寻找两个随机向量分量之间相关性的经典工具。近年来,CCA已被广泛应用于基因组数据的分析,其中研究人员通常对一组患者样本进行多项分析。最近的工作提出了稀疏的CCA的变种,以解决这些数据的高维性。然而,经典的和稀疏的CCA是基于线性模型,并因此在他们的能力有限,以找到一般的相关性。在本文中,我们提出了两种方法,高维非参数CCA,最近的发展在高维非参数回归的基础上。我们提出了这两种方法的估计程序,并分析其理论性质的高维设置。我们证明了这些程序的有效性,发现非线性相关性,通过广泛的模拟,以及通过实验与基因组数据。
2012-06-18 cs.LG stat.ML
An Additive Model View to Sparse Gaussian Process Classifier Design
Yahoo! Labs(雅虎实验室);Indian Institute of Science(印度科学学院)
我们考虑的问题,设计一个稀疏高斯过程分类器(SGPC),推广良好。将SGPC设计看作是构建一个类似于boosting的加性模型,我们提出了一种高效的SGPC设计方法来执行预测损失函数的逐阶段优化。我们介绍了两个关键组件的新方法,即,场地参数估计和基向量选择。所提出的基于自适应采样的基向量选择方法有助于以降低的计算成本实现提高的泛化性能。该方法也可与其它场地参数估计方法结合使用。它具有与众所周知的信息向量机相似的计算和存储复杂性,适用于大型数据集。超参数可以通过优化预测损失函数来确定。实验结果表明,所提出的基向量选择方法在几个基准数据集上具有更好的泛化性能,特别是对于相对较小的基向量集大小或困难的数据集。
2012-06-26 cs.LG stat.ML
Classification by sparse generalized additive models
Tel Aviv University(特拉维夫大学)
该研究提出带稀疏组Lasso/Slope型惩罚的稀疏广义加性分类模型,可适配未知稀疏性与平滑性,在多类函数空间达近极小极大率,并用模拟和真实数据验证了性能。
2024-05-15 cs.LG math.ST stat.ME
AFSD-Physics: Exploring the governing equations of temperature evolution during additive friction stir deposition by a human-AI teaming approach
University of Tennessee(田纳西大学);Oak Ridge National Laboratory(橡树岭国家实验室)
针对增材摩擦搅拌沉积(AFSD)过程建模的早期阶段问题,提出人机协同的AFSD-Physics方法,结合第一性原理模型与AI,从7075铝合金30层沉积实验数据中学习物理可解释的温度演化控制方程,实现高精度低计算成本预测并验证了泛化能力。
2024-01-29 cond-mat.mtrl-sci cs.AI cs.LG
Additive function approximation in the brain
University of Washington(华盛顿大学)
许多生物学习系统,如蘑菇体、海马体和小脑,都是由稀疏连接的神经元网络构成的。为了对这种网络有一个新的理解,我们研究了由稀疏随机特征引起的函数空间,并描述了哪些函数可以学习,哪些不能学习。每个神经元具有$d$输入的网络被发现等价于阶数为$d$的加性模型,而具有度分布的网络结合了不同阶数的加性项。我们确定了稀疏性的三个具体优势:加性函数近似是一个强大的归纳偏差,限制了维数灾难,稀疏网络对输入中的离群噪声是稳定的,稀疏随机特征是可扩展的。因此,即使是简单的大脑架构也可以是强大的函数逼近器。最后,我们希望这项工作有助于在计算神经科学家中推广网络的核心理论。
2019-09-13 cs.LG cs.NE q-bio.NC
DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse Additive Models with Feature Division and Decorrelation
The Chinese University of Hong Kong(香港中文大学);New York University(纽约大学);East China Normal University(华东师范大学)
本文提出分布式算法DDAC-SpAM,通过特征划分、去相关和合并三步在高维稀疏可加模型中实现稀疏模式恢复与统计推断,兼顾理论与实证效果。
2023-07-08 cs.LG math.ST stat.AP
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania(宾夕法尼亚大学)
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是,神经可加模型(NAM)为黑盒深度学习提供了可解释性,并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力,我们提出了稀疏神经添加模型(SNAM),该模型采用组稀疏正则化(例如Group LASSO),其中每个特征由子网络学习,该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性,采用新的技术来处理非参数真理,从而扩展了经典的稀疏线性模型,如LASSO,它只适用于参数真理。具体来说,我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$,和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM,类似于LASSO,可以有精确的支持恢复,即完美的特征选择,适当的正则化。此外,我们表明,SNAM可以很好地推广,并保持“可识别性”,恢复每个功能的效果。通过大量的实验验证了我们的理论,并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
Modelling local and global phenomena with sparse Gaussian processes
Helsinki University of Technology(赫尔辛基工业大学)
最近的许多工作都涉及稀疏近似,以加快高斯过程回归从不利的O(n3)缩放计算时间为O(nm2)。到目前为止,工作集中在模型与一个协方差函数。然而,在许多实际情况下,具有多个协方差函数的加性模型可能表现得更好,因为数据可能包含长和短长度尺度现象。长尺度可以用全局稀疏近似(如完全独立条件(FIC))来捕获,短尺度可以自然地用具有紧支持(CS)的协方差函数来建模。CS协方差函数导致自然稀疏的协方差矩阵,其在计算上比完整的协方差矩阵更便宜。在本文中,我们提出了一个新的稀疏高斯过程模型与两个附加组件:FIC的长尺度和CS协方差函数的短尺度。我们给出了理论和实验结果,并表明在一定条件下,该模型具有相同的计算复杂性的FIC。我们还比较了所提出的模型的模型性能的加性模型近似的完全和部分独立的条件(PIC)。我们使用真实的数据集,并表明我们的模型优于FIC和PIC近似的数据集与两个添加剂的现象。
2012-06-13 cs.LG stat.ML
PENDANTSS: PEnalized Norm-ratios Disentangling Additive Noise, Trend and Sparse Spikes
RWTH Aachen University(亚琛工业大学);Univ. Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);IFP Energies nouvelles(法国石油与新能源研究院)
去噪、去趋势、去卷积:通常的恢复任务,传统上解耦。耦合公式需要复杂的不适定反问题。我们提出PENDANTSS的联合趋势去除和盲反卷积稀疏峰状信号。它混合了一个简约的先验假设,即平滑趋势和噪声可以通过低通滤波在一定程度上分离。我们结合广义准范数比SOOT/SPOQ稀疏惩罚$\ell_p/\ell_q$与BEADS三元辅助源分离算法。这导致了一个收敛和有效的工具,一个新的信任区域块交替可变度量的前向-后向方法。当应用于典型的峰值分析化学信号时,它优于可比方法。提供可复制的代码。
2023-02-16 cs.LG eess.SP math.OC
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)(工程学院);Laboratory of Applied Photonics Devices (LAPD)(应用光子器件实验室);Optics Laboratory(光学实验室)
本文提出SMoE-VAE架构,通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构,揭示数据量与专家特化的权衡,为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
Sparse Deep Additive Model with Interactions: Enhancing Interpretability and Predictability
Department of Mathematics and Statistics(数学与统计学系);Georgia State University(佐治亚州立大学);Tri-institutional Center for Translational Research in Neuroimaging and Data Science(神经影像与数据科学转化研究三机构中心)
本文提出了一种结合稀疏特征选择与深度子网络的稀疏深度加法模型与交互(SDAMI),通过三阶段策略实现高维回归中的可解释性和预测性提升。
2026-05-18 cs.LG stat.ML
Modelling Cellular Perturbations with the Sparse Additive Mechanism Shift Variational Autoencoder
insitro
本文提出SAMS-VAE模型,通过稀疏全局潜在变量建模干预效应,实现扰动模型的组合性、解耦性和可解释性,并在单细胞数据上验证了其泛化能力和生物学机制相关性。
2024-01-16 cs.AI cs.LG q-bio.QM
Kernel-Based Sparse Additive Nonlinear Model Structure Detection through a Linearization Approach
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出一种数据驱动方法,通过线性化将连续时间稀疏加性非线性系统近似为LPV模型,利用RKHS稀疏估计器检测梯度与Hessian非零元素,从而确定模型结构,数值模拟验证了有效性。
2025-08-02 cs.LG cs.SY eess.SY
Sparse Additive Off-Policy Evaluation for Reinforcement Learning with Potentially Limited Number of Trajectories
Yale University(耶鲁大学);London School of Economics and Political Science(伦敦政治经济学院);George Washington University(乔治华盛顿大学);University of Miami(迈阿密大学)
该研究提出了稀疏加性离线策略评估框架,用稀疏加性结构的非线性函数建模Q函数,推导了与环境维度对数相关的误差界,还提出组稀疏性特征筛选方法,可在轨迹有限时实现准确的值函数估计。
2026-08-25 cs.LG math.ST stat.ML
Exploring Targeted Universal Adversarial Perturbations to End-to-end ASR Models
Google Inc.(谷歌公司)
虽然端到端自动语音识别(e2 e ASR)模型在许多应用中被广泛部署,但是很少有研究来理解模型对对抗性扰动的鲁棒性。在本文中,我们探讨是否存在一个有针对性的通用扰动向量e2 e ASR模型。我们的目标是找到可能误导模型的扰动,以预测给定的目标转录,如“谢谢”或任何输入话语上的空字符串。我们研究了两种不同的攻击,即加性和前置扰动,以及它们在最先进的LAS,CTC和RNN-T模型上的性能。我们发现,LAS是最容易受到扰动的三个模型。RNN-T对加性扰动更鲁棒,特别是在长话语上。CTC对加性扰动和前置扰动都是鲁棒的。为了攻击RNN-T,我们发现前置扰动比附加扰动更有效,并且可以误导模型预测任意长度的话语上的相同短目标。
2021-04-06 cs.LG cs.SD eess.AS
TimberTrek: Exploring and Curating Sparse Decision Trees with Interactive Visualization
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
鉴于成千上万个同样准确的机器学习(ML)模型,用户如何在其中进行选择?最近的ML技术使领域专家和数据科学家能够为稀疏决策树生成一个完整的罗生门集-一个几乎最优的可解释ML模型的巨大集合。为了帮助ML从业者从这个罗生门集合中识别具有理想属性的模型,我们开发了TimberTrek,这是第一个交互式可视化系统,它可以大规模总结数千棵稀疏决策树。两个使用场景强调了TimberTrek如何使用户能够轻松地探索、比较和策划与其领域知识和价值观相一致的模型。我们的开源工具直接在用户的计算笔记本和Web浏览器中运行,降低了创建更负责任的ML模型的障碍。TimberTrek可在以下公开演示链接中获得:https://poloclub.github.io/timbertrek。
2022-09-19 cs.AI cs.HC cs.LG
Prototype-guided transfer of sparse literature knowledge for electrolyte additive discovery
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
研究针对电解液添加剂发现中实验验证分子稀疏的问题,开发原型引导分子智能框架ProtoMI,结合文献与未标注数据筛选候选物,成功发现提升电池性能的含硼添加剂TNDB,为数据稀缺场景的分子发现提供了高效方案。
2026-09-03 cs.LG physics.chem-ph
Exploring the Effect of Sparse Recovery on the Quality of Image Superresolution
Fresno City College(弗雷斯诺城市学院)
本文研究稀疏恢复算法选择对基于耦合字典的图像超分辨率重建质量的影响,并通过实验寻找最佳稀疏恢复算法。
2023-08-04 cs.CV cs.LG eess.IV
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Stanford University(斯坦福大学);NVIDIA(英伟达);Tsinghua University(清华大学)
稀疏性通过跳过零来帮助降低深度神经网络的计算复杂性。利用稀疏性被列为下一代DNN加速器(如TPU)的高优先级。稀疏性的结构,即,修剪的粒度影响硬件加速器设计的效率以及预测的准确性。粗粒度修剪创建规则的稀疏模式,使其更适合硬件加速,但保持相同的精度更具挑战性。在本文中,我们定量地衡量稀疏规律性和预测精度之间的权衡,提供了如何保持准确性,同时有更多的结构化稀疏模式的见解。我们的实验结果表明,粗粒度的修剪可以实现类似于非结构化修剪的稀疏率,而不会损失准确性。此外,由于索引节省效果,粗粒度修剪能够获得比细粒度稀疏在相同的精度阈值更好的压缩比。基于最近的稀疏卷积神经网络加速器(SCNN),我们的实验进一步证明,与细粒度稀疏相比,粗粒度稀疏节省了约2倍的内存引用。由于存储器访问比算术运算贵两个数量级以上,稀疏结构的规则性导致更有效的硬件设计。
2017-06-05 cs.LG stat.ML
SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning
University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
稀疏收缩加性模型和稀疏随机特征模型已经被分别开发作为学习低阶函数的方法,其中变量之间的相互作用很少,但都没有提供计算效率。另一方面,基于$\ell_2$的收缩加性模型是有效的,但不提供特征选择,因为得到的系数向量是密集的。受迭代幅度修剪技术在神经网络彩票发现中的成功启发,提出了一种新的方法--稀疏随机特征模型(ShRIMP)--来有效地拟合具有稀疏变量依赖形式的固有低维结构的高维数据。我们的方法可以被看作是一个组合的过程来构造和找到稀疏彩票的两层密集网络。我们解释了观察到的好处SHRIMP通过细化分析的泛化误差阈值基追踪和由此产生的界限特征值。通过对合成数据和真实世界基准数据集的函数逼近实验,我们表明SHRIMP获得了比最先进的稀疏特征和加法方法(如SRFE-S,SSAM和SALSA)更好或具有竞争力的测试精度。同时,SHRIMP进行特征选择与低计算复杂性,是鲁棒的修剪率,表明所获得的子网络的结构的鲁棒性。我们通过SHRIMP了解彩票假说,注意到我们的模型和权重/神经元子网络之间的对应关系。
2021-12-07 cs.LG math.OC stat.ML
Exploring Task Performance with Interpretable Models via Sparse Auto-Encoders
The University of Sheffield(谢菲尔德大学);Tianjin University(天津大学);University of Manchester(曼彻斯特大学);Kyushu University(九州大学);City University of Hong Kong(香港城市大学)
本研究利用稀疏自编码器分解大型语言模型,提取单语义特征以识别内部误解,并通过自动重构提示词提升数学推理和隐喻检测等下游任务性能。
2025-07-08 cs.CL cs.LG
Learning Sparse Additive Models with Interactions in High Dimensions
ETH Zürich(苏黎世联邦理工学院);UT Austin(德克萨斯大学奥斯汀分校)
如果函数$f: \mathbb{R}^d \rightarrow \mathbb{R}$具有$f(\mathbf{x}) = \sum_{l \in \mathcal{S}}ϕ_{l}(x_l)$的形式,则它被称为稀疏加性模型(SPAM),其中$\mathcal{S} \subset [d]$,$|\mathcal{S}| \ll d$。假设$ϕ_l$和$\mathcal{S}$是未知的,从其样本估计$f$的问题已经被广泛研究。在这项工作中,我们考虑了广义垃圾邮件,允许二阶相互作用项。对于某些$\mathcal{S}_1 \subset [d], \mathcal{S}_2 \subset {[d] \choose 2}$,函数$f$被假定为以下形式:$$f(\mathbf{x}) = \sum_{p \in \mathcal{S}_1}ϕ_{p} (x_p) + \sum_{(l,l^{\prime}) \in \mathcal{S}_2}ϕ_{(l,l^{\prime})} (x_{l},x_{l^{\prime}}).$$假定$ϕ_{p},ϕ_{(l,l^{\prime})}$、$\mathcal{S}_1$和$\mathcal{S}_2$是未知的,我们提供了一个查询$f$并精确恢复$\mathcal{S}_1,\mathcal{S}_2$的随机算法。因此,这也使我们能够估计…
2016-04-18 cs.IT cs.LG math.IT
Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts
McGill University(麦吉尔大学);Mila(Mila实验室);Microsoft(微软公司);Université de Montréal(蒙特利尔大学);ServiceNow(ServiceNow公司);Georgia Institute of Technology(佐治亚理工学院)
本文研究了稀疏适配器作为模块化架构构建块的属性,提出了一种简单的训练方法,在合并多达20个NLP任务时,其合并后的分布内性能优于LoRA和全模型合并。
2025-07-14 cs.LG
A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds
UC Berkeley(加州大学伯克利分校);Chan-Zuckerberg Biohub(陈-扎克伯格生物中心)
决策树是重要的,既作为可解释的模型服从高风险决策,并作为集成方法,如随机森林和梯度提升的构建块。然而,它们的统计特性还没有得到很好的理解。引用最多的先前的作品集中在经典的非参数回归设置中的CART导出逐点一致性保证。我们采取不同的方法,并主张研究决策树的泛化性能相对于不同的生成回归模型。这使我们能够引出他们的归纳偏见,即算法对新数据进行归纳(或不进行归纳)的假设,从而指导从业者何时以及如何应用这些方法。在本文中,我们专注于稀疏加法生成模型,这既有低的统计复杂性和一些非参数的灵活性。我们证明了一个尖锐的平方误差推广下界的一大类决策树算法适合稀疏加性模型与$C^1$组件功能。令人惊讶的是,这个界限比估计这种稀疏加性模型的极大极小率差得多。效率低下不是因为贪婪,而是因为当我们仅对每个叶子平均响应时,检测全局结构的能力下降,这一观察结果表明有机会改进基于树的算法,例如,通过分层收缩。为了证明这些界限,我们开发了新的技术机器,建立了一个新的连接之间的决策树估计和率失真理论,信息论的一个子领域。
2021-10-18 cs.IT cs.LG math.IT
Sparse Oblique Rule Boosting for Simpler Additive Rule Ensembles
Monash University(莫纳什大学);University of Haifa(海法大学)
本文提出稀疏斜规则提升方法,通过可学习稀疏线性变换扩展规则条件,使决策区域成为斜多面体,在14个任务上以更低模型复杂度保持或提升精度,兼顾可解释性与准确性。
2026-09-09 cs.LG
Doping: A technique for efficient compression of LSTM models using sparse structured additive matrices
SambaNova Systems(桑巴诺瓦系统公司);Arm ML Research(Arm机器学习研究部)
结构化矩阵,例如从Kronecker产品(KP)导出的矩阵,在压缩神经网络方面是有效的,但当应用于大型模型时可能导致不可接受的精度损失。在本文中,我们提出了掺杂的概念-除了一个非常稀疏的矩阵的结构矩阵。掺杂促进了少量参数的附加自由度,允许它们独立地偏离固定结构。为了训练具有掺杂结构矩阵的LSTM,我们引入了额外的参数矩阵,同时缓慢退火其稀疏水平。然而,我们发现,性能下降,因为我们慢慢稀疏的掺杂矩阵,由于结构化和稀疏矩阵之间的协矩阵自适应(CMA)。我们解决了这个过度依赖于稀疏矩阵使用一个共同的矩阵脱落正则化(CMR)计划。我们提供的经验证据表明,掺杂,CMA和CMR的概念一般适用于多个结构矩阵(克罗内克积,LMF,混合矩阵分解)。此外,掺杂克罗内克积矩阵的结果表明,在4个自然语言处理应用中,在大压缩因子(10 - 25倍)下具有最先进的精度,精度损失较小。Doped KP压缩技术通过在相似的精度下实现1.3 - 2.4倍的压缩因子,优于先前最先进的压缩结果,同时还大幅击败了修剪和低秩方法等强大的替代方案(8%或更高)。此外,我们表明,掺杂KP可以部署在商品硬件上使用当前的软件栈,并实现2.5 - 5.5倍的推理运行时速度超过基线。
2021-02-14 cs.LG
Learning Sparse Nonparametric DAGs
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
我们开发了一个从数据中学习稀疏非参数有向无环图(DAG)的框架。我们的方法是基于最近的代数特征的DAG,导致了一个完全连续的程序,基于分数的学习的DAG模型参数化的线性结构方程模型(SEM)。我们利用非参数稀疏偏导数的基础上,扩展这种代数特征的非参数SEM,从而在一个连续的优化问题,可以应用于各种非参数和半参数模型,包括GLM,加性噪声模型,指数模型作为特殊情况。与需要特定建模选择,损失函数或算法的现有方法不同,我们提出了一个完全通用的框架,可以应用于一般非线性模型(例如,没有加性噪声),一般可微损失函数和通用黑盒优化例程。该代码可在https://github.com/xunzheng/notears上获得。
2020-03-23 cs.LG stat.ME stat.ML
Exploring the Lottery Ticket Hypothesis with Explainability Methods: Insights into Sparse Network Performance
Boston University(波士顿大学)
本研究利用Grad-CAM和PCBMs方法,探索彩票假说中剪枝网络性能变化的原因,发现剪枝导致概念和像素不一致,从而造成性能下降。
2023-07-07 cs.CV cs.LG
M6-T: Exploring Sparse Expert Models and Beyond
Alibaba Group(阿里巴巴集团)
混合专家模型(Mixture-of-Experts,MoE)具有参数多而计算量小的优点,已成为模型缩放的一种趋势。然而,MoE层如何通过利用具有稀疏激活的参数来带来质量增益仍然是一个谜。在这项工作中,我们研究了稀疏专家模型中的几个关键因素。我们观察到,负载不平衡可能不是一个重要的问题,影响模型的质量,相反的观点,最近的研究,而稀疏激活的专家$k$和专家容量$C$在顶部- $k$路由的数量可以显着地在这种情况下,有所作为。此外,我们向前迈出了一步,提出了一个简单的方法,称为专家原型,专家分成不同的原型,并适用于$k$顶- $1$路由。这种策略提高了模型质量,但保持了恒定的计算成本,我们对超大规模模型的进一步探索反映出它在训练更大的模型时更有效。我们将模型规模扩大到超过$1$万亿参数,并仅在$480$ NVIDIA V100- 32 GB GPU上实现它,与最近在$2048$ TPU内核上的SOTA相比。所提出的巨型模型在相同大小的基线上实现了大幅加速收敛。
2021-08-09 cs.CL cs.LG
Kernel Multigrid: Accelerate Back-fitting via Sparse Gaussian Process Regression
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Fudan University(复旦大学)
本文针对加性高斯过程训练中回拟收敛慢的问题,提出核多重网格算法,通过稀疏高斯过程回归处理残差,将迭代次数从$\mathcal{O}(n\log n)$降至$\mathcal{O}(\log n)$,并验证了其高效性。
2024-03-30 cs.LG stat.ML
Exploring the Whole Rashomon Set of Sparse Decision Trees
Duke University(杜克大学);Fujitsu Laboratories Ltd.(富士通实验室有限公司);The University of British Columbia(不列颠哥伦比亚大学)
在任何给定的机器学习问题中,可能有许多模型几乎可以同样好地解释数据。然而,大多数学习算法只返回这些模型中的一个,使得从业者没有实用的方法来探索可能具有超出损失函数内所能表达的期望属性的替代模型。罗生门集是这些几乎最优模型的集合。罗生门集可能非常复杂,特别是对于允许复杂交互项的高度非线性函数类,例如决策树。我们提供了第一个技术,完全枚举的罗生门集稀疏决策树,事实上,我们的工作提供了第一个完整的枚举的任何罗生门集的非平凡的问题,一个高度非线性的离散函数类。这使得用户能够在几乎同样好的所有模型中对模型选择进行前所未有的控制。我们表示罗生门集在一个专门的数据结构,支持有效的查询和采样。我们展示了罗生门集的三个应用:1)它可以用来研究几乎最优树集合的变量重要性(而不是单个树),2)准确度的罗生门集可以枚举平衡准确度和F1得分的罗生门集,3)完整数据集的罗生门集可以用来生成仅用数据集的子集构造的罗生门集。因此,我们能够用一个新的镜头来检查罗生门集合,使用户能够选择模型,而不是受只产生单个模型的算法的支配。
2022-10-25 cs.AI cs.LG
Exploring Sparse Autoencoders in Text-Based Causal Confounding Adjustment
Johns Hopkins University(约翰斯·霍普金斯大学);Williams College(威廉姆斯学院);Cohere
该研究针对文本因果混淆调整的表示权衡问题,提出基于稀疏自编码器(SAE)的迭代特征选择流程,经半合成评估验证其调整效果更优,还针对多标签未观测混淆变量的复杂场景开展了评估。
2026-09-02 cs.CL cs.LG
FlagGAM: Rule-Basis Generalized Additive Models for Explainable Tabular Prediction
EECS Department, Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院电子工程与计算机科学系);Sloan School of Management, Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院斯隆管理学院)
提出FlagGAM框架,通过规则定义的基函数分离特征级规则构建与预测,在保持可解释性的同时提升对不完美输入的鲁棒性。
2026-06-23 cs.LG
Exploring Prime Number Classification: Achieving High Recall Rate and Rapid Convergence with Sparse Encoding
本文提出一种结合机器学习与数论的新方法,通过稀疏编码与传统神经网络结合,实现高召回率和快速收敛,验证了在素数识别中的有效性。
2026-03-31 cs.LG math.NT
HARFE: Hard-Ridge Random Feature Expansion
University of Waterloo(滑铁卢大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究提出硬岭随机特征展开方法HARFE,结合硬阈值追踪算法与稀疏岭回归,采用随机稀疏连接模式匹配加性假设,证明收敛性且在实验中误差优于或持平于前沿算法。
2023-05-02 cs.LG math.OC stat.ML
Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach
Central South University(中南大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对传统向量量化因不可微、表征能力弱而难以提升时空预测精度的问题,提出具备完全可微性的稀疏软向量量化方法,在多个时空基准数据集上取得当前最优效果。
2025-05-18 cs.CV cs.LG
Learning to Solve Tasks with Exploring Prior Behaviours
King’s College London(伦敦国王学院);Harbin Institute of Technology(哈尔滨工业大学);University of Aberdeen(阿伯丁大学);Tsinghua University(清华大学)
本文提出IRDEC方法,通过内在奖励驱动智能体探索并获取先验行为,再结合演示中的任务行为,在不增加先验行为演示的情况下解决稀疏奖励任务,并在多个导航和操作任务上优于基线。
2023-07-06 cs.AI cs.LG cs.RO
Continual Learning with Dynamic Sparse Training: Exploring Algorithms for Effective Model Updates
Eindhoven University of Technology(埃因霍温理工大学);University of Luxembourg(卢森堡大学)
本文首次实证研究动态稀疏训练各组件在持续学习中的作用,在CIFAR100和miniImageNet上分析初始化、增长策略与自适应性,发现不同稀疏度下最优配置不同,自适应性有助于提升持续学习性能。
2023-12-04 cs.CV cs.LG
SegCompass: Exploring Interpretable Alignment with Sparse Autoencoders for Enhanced Reasoning Segmentation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Meituan, Beijing(美团,北京);University of Chinese Academy of Sciences(中国科学院大学);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
本文提出SegCompass,一种通过稀疏自编码器实现可解释对齐的端到端模型,以提升推理分割的性能和可解释性。
2026-05-21 cs.CV cs.LG cs.MM