Highly Efficient Structural Learning of Sparse Staged Trees
IE University(IE大学);Universitat de València(瓦伦西亚大学)
分级树模型是贝叶斯网络的一种非对称扩展,它的几种结构学习算法已经被定义。然而,随着所考虑的变量数量的增加,它们不能有效地扩展。在这里,我们介绍了第一个可扩展的结构学习算法的阶段树,搜索空间的模型,只有少量的依赖关系可以施加。模拟研究以及现实世界的应用程序说明了我们的例程和实际使用这种数据学习阶段树。
2022-06-14 cs.LG stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文的主要贡献是一种新的子空间聚类方法,该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类(SSC)中的回归技术,通过用称为有序加权$\ell_1$(OWL)最小化的泛化来替换$\ell_1$最小化,该泛化同时执行相关变量的回归和聚类。利用随机几何图理论,我们证明了OWL回归在每个子空间内选择更多的点,从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类,与SSC相比显著降低了计算复杂性。在实验中,我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Tree Search Network for Sparse Regression
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
我们考虑经典的稀疏回归问题的恢复稀疏信号$x_0$给定的测量向量$y = Φx_0+w$。提出了一种基于深度神经网络的稀疏回归树搜索算法。TSN通过执行具有修剪的树搜索来提高为稀疏回归设计的深度神经网络的信号重构性能。在无噪声和有噪声的情况下都可以观察到,TSN恢复合成信号和真实信号的复杂度比传统的树搜索低,并且对于广泛用于稀疏回归的各种类型的感测矩阵$Φ$,TSN优于现有算法。
2019-04-01 cs.LG eess.SP stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University(杜克大学)
本文提出OKRidge算法,通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题,用于识别非线性动力系统的稀疏控制方程,实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
Guaranteed Scalable Learning of Latent Tree Models
University of Maryland(马里兰大学);Microsoft(微软);HEALTH[at]SCALE;Flatiron Health;Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
我们提出了一个集成的方法,在潜在的树图模型的结构和参数估计。我们的整体方法遵循“分而治之”的策略,在一小组变量上学习模型,并迭代地合并到一个全局解决方案中。结构学习涉及组合操作,如最小生成树的建设和局部递归分组;参数学习是基于矩量法和张量分解。对于离散分布、高斯分布和高斯混合分布的线性多变量隐树模型,该方法能够以较低的样本复杂度正确地恢复未知的树结构和模型参数.我们的批量异步并行算法是并行实现的,并行计算的复杂性只增加了数学的变量的数量和线性的每个变量的维数。
2019-12-17 cs.LG stat.ML
Scalable Whitebox Attacks on Tree-based Models
Borealis AI
对抗鲁棒性是保证机器学习模型可靠性的基本安全标准之一。虽然在过去的十年中引入了各种对抗性鲁棒性测试方法,但我们注意到其中大多数与不可微模型(如树集合)不兼容。由于树集成在工业中得到了广泛的应用,这揭示了对抗鲁棒性研究与实际应用之间的一个关键差距。提出了一种新的树集成模型的白盒对抗鲁棒性测试方法。具体地说,所提出的方法通过温度控制的sigmoid函数平滑树集合,这使得基于梯度下降的对抗攻击成为可能。通过利用采样和对数导数技巧,所提出的方法可以扩展到以前无法管理的测试任务。我们在多个公共数据集(和相应的模型)上将该方法与随机扰动和黑盒方法进行了比较。我们的结果表明,该方法可以1)成功地揭示树集成模型的对抗脆弱性,而不会造成测试的计算压力,2)灵活地平衡搜索性能和时间复杂度,以满足各种测试标准。
2022-03-31 cs.LG stat.ML
XGBoost: A Scalable Tree Boosting System
University of Washington(华盛顿大学)
树提升是一种高效且广泛使用的机器学习方法。在本文中,我们描述了一个名为XGBoost的可扩展端到端树提升系统,该系统被数据科学家广泛使用,以在许多机器学习挑战中取得最先进的结果。我们提出了一种新的稀疏感知算法的稀疏数据和加权分位数草图近似树学习。更重要的是,我们提供了对缓存访问模式,数据压缩和分片的见解,以建立一个可扩展的树提升系统。通过结合这些见解,XGBoost可以使用比现有系统少得多的资源扩展到数十亿个示例。
2016-06-10 cs.LG
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT(麻省理工学院);Cornell(康奈尔大学);Stanford(斯坦福大学)
ControlBurn是一个Python包,用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合,优先考虑具有少量特征的基函数,然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此,ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性:例如,它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径(任何数量的选定特征的预测误差)。对于较大的数据集,运行时在样本和特征的数量上线性缩放(最多为对数因子),并且包支持使用草图加速。此外,ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的:它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
Carnegie Mellon University(卡内基梅隆大学)
在许多现实问题中,样本之间和特征之间都存在复杂的依赖关系。两个图的克罗内克和或笛卡尔积(每个图对特征和样本之间的依赖性进行建模)由于其更直观的稀疏结构而被用作矩阵变量高斯分布的逆协方差阵,作为克罗内克积逆协方差阵的替代。然而,现有的稀疏Kronecker和逆协方差估计的方法是有限的,因为它们不能扩展到超过几百个特征和样本,并且不可识别的参数在估计中构成挑战。在本文中,我们介绍了EiGLasso,稀疏Kronecker和逆协方差估计的高度可扩展的方法,基于牛顿的方法结合特征分解的两个图,利用Kronecker和的结构。EiGLasso通过基于样本和特征图的特征分解来近似Hessian,进一步减少了计算时间。EiGLasso实现了精确Hessian的二次收敛和近似Hessian的线性收敛。我们描述了一个简单的新方法来估计不可识别的参数,概括了现有的方法。在模拟和真实世界的数据,我们证明了EiGLasso实现了两到三个数量级的速度相比,现有的方法。
2021-05-20 cs.LG stat.ML
Beyond Trees: Classification with Sparse Pairwise Dependencies
Weizmann Institute of Science(魏茨曼科学研究所);Princeton University(普林斯顿大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Texas A&M University(得克萨斯农工大学)
几种分类方法假设底层分布遵循树形结构的图形模型。事实上,树捕获变量对之间的统计依赖性,这对于实现低分类错误可能至关重要。所得分类器在对应于树边缘的对数变换的单变量和双变量密度中是线性的。然而,在实践中,观察到的数据可能无法很好地用树来近似。然而,出于精确分类的成对依赖关系的重要性,在这里,我们建议通过单变量和双变量对数变换密度的稀疏线性组合来近似最优决策边界。我们所提出的方法是半参数的性质:我们非参数估计的单变量和双变量密度,删除几乎独立使用希尔伯特-施密特独立性标准的变量对,并最终构建一个线性SVM上保留的对数转换密度。我们证明使用合成和真实的数据,我们得到的分类,表示SLB(稀疏对数双变量密度),是有竞争力的流行的分类方法。
2020-04-16 cs.LG stat.ML
Simple and Scalable Sparse k-means Clustering via Feature Ranking
Department of Statistical Science, Duke University(杜克大学统计科学系);Departments of Computational Medicine, Statistics, and Human Genetics, UCLA(加州大学洛杉矶分校计算医学、统计与人类遗传学系)
聚类是无监督学习中的一项基本活动,当特征空间是高维时,聚类是非常困难的。幸运的是,在许多现实场景中,只有少数特征与区分聚类相关。这激发了稀疏聚类技术的发展,这种技术通常依赖于高计算复杂度的外部算法中的k均值。目前的技术还需要仔细调整收缩参数,进一步限制了它们的可扩展性。在本文中,我们提出了一个新的框架,稀疏k均值聚类,是直观的,简单的实现,并具有竞争力的国家的最先进的算法。我们表明,我们的算法享有一致性和收敛性的保证。我们的核心方法很容易推广到几个特定于任务的算法,如聚类属性的子集和部分观察到的数据设置。我们通过模拟实验和真实数据基准,包括三体小鼠蛋白质表达的案例研究,彻底展示了这些贡献。
2020-10-22 cs.LG stat.ML
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University(哈佛大学);Manifold AI(Manifold人工智能公司)
给定一组观测信号的卷积字典,精心设计的自动编码器能否在存在噪声的情况下恢复字典?我们引入了一个自动编码器架构,称为约束循环稀疏自动编码器(CRsAE),回答这个问题的肯定。给定输入信号和近似字典,编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此,编码器和解码器的参数不是独立的,这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架,只有知道源(字典元素)的数量,并假设稀疏-许多可以重叠,是能够分离它们。我们证明了它的实用程序的背景下,尖峰排序,计算神经科学中的声源分离问题。我们证明了CRsAE的能力,以恢复潜在的字典,并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau(澳门大学)
本文提出DQN-SBL方法,通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$,解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题,并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
Scalable Grouped Gaussian Processes via Direct Cholesky Functional Representations
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
我们考虑多任务回归模型,其中观测被假设为几个潜在节点和权重函数的线性组合,所有这些都来自高斯过程(GP)先验,允许分组潜在函数之间的非零协方差。我们表明,当这些分组功能是有条件的独立给定一个组相关的枢轴,它是可以直接通过稀疏Cholesky因子参数化的先验,从而避免他们的计算在推理过程中。此外,我们建立的内核是乘法可分离的输入点自然产生这样的稀疏参数化,没有任何额外的假设。最后,我们将这些稀疏结构的使用扩展到变分推断中的近似后验,进一步提高了函数数量的可扩展性。我们在分布式太阳能预测的多任务数据集上测试了我们的方法,结果表明它优于几个多任务GP基线,并且我们的稀疏规范比非稀疏规范实现了相同或更好的准确性。
2019-07-22 cs.LG stat.ML
Optimal Sparse Decision Trees
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);The University of British Columbia(不列颠哥伦比亚大学)
针对传统决策树缺乏最优性保证的问题,本文提出首个面向二值变量的实用最优稀疏决策树算法 OSDT,通过解析界与位向量等系统技术协同优化搜索,在可扩展性、速度和最优性证明上表现更优。
2023-09-26 cs.LG stat.ML
Sparse tree-based initialization for neural networks
Boston University(波士顿大学);Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院)
专用的神经网络(NN)架构被设计用于处理特定的数据类型(例如用于图像的CNN或用于文本的RNN),这将它们列为处理这些数据的最先进方法之一。不幸的是,还没有发现处理表格数据的架构,树集成方法(树提升,随机森林)通常表现出最好的预测性能。在这项工作中,我们提出了一种新的稀疏初始化技术(潜在的深)多层感知器(MLP):我们首先训练一个基于树的程序来检测功能的相互作用,并使用由此产生的信息来初始化网络,随后通过标准的随机梯度策略进行训练。在几个表格数据集上的数值实验表明,这种新的,简单易用的方法在泛化能力和计算时间方面都是默认MLP初始化甚至现有复杂深度学习解决方案的可靠并发。事实上,这种明智的MLP初始化将产生的NN方法提升到处理表格数据时梯度提升的有效竞争对手的水平。此外,这样的初始化能够保持通过训练在网络的第一层中引入的权重的稀疏性。这一事实表明,这个新的初始化器在NN训练期间操作隐式正则化,并强调第一层充当稀疏特征提取器(如CNN中的卷积层)。
2022-09-30 cs.LG stat.ML
A density peaks clustering algorithm with sparse search and K-d tree
Harbin University of Science and Technology(哈尔滨理工大学)
密度峰聚类算法由于其简单、实用而成为聚类算法中的一个新的研究热点。然而,有一个主要的缺点:它是耗时的,由于其高计算复杂度。为此,提出了一种基于稀疏搜索和K-d树的密度峰值聚类算法。首先,利用K-d树计算一个稀疏距离矩阵来代替原来的满秩距离矩阵,从而加快了局部密度的计算。其次,提出了一种稀疏搜索策略,利用$k$最近邻点集与局部密度较大的数据点集的交集来加速相对分离度的计算。采用决策值二阶差分法自适应地确定聚类中心。最后,在不同分布特征的数据集上进行了实验,并与其他六种聚类算法进行了比较。证明了该算法能有效地将原DPC的计算复杂度从$O(n^2K)$降低到$O(n(n^{1-1/K}+k))$。特别是对于较大的数据集,效率得到了更显著的提高。此外,聚类精度也得到了一定程度的提高。因此,可以得出结论,新提出的算法的整体性能是优秀的。
2022-07-19 cs.LG stat.ML
Scalable Deep Generative Modeling for Sparse Graphs
Google Research(谷歌研究院);DeepMind
学习图生成模型对于深度学习来说是一项具有挑战性的任务,并且在化学、生物学和社会科学等一系列领域具有广泛的适用性。然而,当前的深度神经方法具有有限的可扩展性:对于具有$n$节点和$m$边的图,现有的深度神经方法需要通过建立邻接矩阵来实现$Ω(n^2)$复杂度。另一方面,许多现实世界的图实际上是稀疏的,在这个意义上,$m\ll n^2$。在此基础上,我们开发了一种新的自回归模型,命名为BiGG,利用这种稀疏性,以避免生成完整的邻接矩阵,并大大降低了图形生成的时间复杂度$O((n + m)\log n)$。此外,在训练期间,该自回归模型可以与$O(\log n)$同步阶段并行化,这使得它比需要$Ω(n)$的其他自回归模型更有效。在几个基准上的实验表明,所提出的方法不仅可以扩展到比以前的深度自回归图生成模型更大的图形数量级,而且可以产生更好的图形生成质量。
2020-06-28 cs.LG stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University(东南大学)
由于张量数据越来越频繁地出现在各种科学研究和实际应用中,分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题,我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model(FasTR). FasTR首先将张量系数分解为分量向量,然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性,FasTR能够并行求解,其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明,与四种基线模型相比,在每种情况下,FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
本文介绍了第一个可证明准确的算法,用于分布式环境中的差异私有、自上而下的决策树学习(Balcan等人,2012年)。我们提出了DP-TopDown,一个通用的隐私保护决策树学习算法,并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明,如果数据集足够大,则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私,准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics(北京应用物理与计算数学研究所)
提出自适应多分辨率高斯过程框架,利用自然数据稀疏协方差矩阵实现精确推断,训练成本O(n log²n),预测成本O(log^d n),兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
L0Learn: A Scalable Package for Sparse Learning using L0 Regularization
Google Research(谷歌研究院);Massachusetts Institute of Technology(麻省理工学院)
本研究推出开源包L0Learn,基于坐标下降和局部组合优化实现可扩展的$\u2113_0$正则化稀疏学习,支持百万级特征问题,性能对标前沿工具,提供R和Python接口。
2023-06-09 cs.LG cs.MS stat.CO
Scalable Feature Selection for (Multitask) Gradient Boosted Trees
Amazon(亚马逊)
梯度提升决策树(GBDTs)被广泛用于在搜索和推荐中建立排名和相关性模型。延迟和可解释性等考虑因素要求使用尽可能少的特征来训练这些模型。GBDT模型中的特征选择通常涉及按重要性对特征进行排序并选择前几个,或者通过执行完全向后特征消除例程。先前提出的动态特征选择方法随着特征的数量而次优地缩放,这在高维设置中可能是令人生畏的。我们开发了一个可扩展的前向特征选择变体GBDT,通过一个新的组测试程序,在高维工作良好,并享有良好的理论性能和计算保证。我们通过对公共和专有数据集的广泛实验表明,所提出的方法在训练时间上提供了显着的加速,同时在模型性能指标方面与现有的GBDT方法一样具有竞争力。我们还将该方法扩展到多任务设置,允许从业者选择跨任务的共同特征,以及选择特定于任务的特征。
2021-09-05 cs.LG stat.ML
Scalable Hierarchical Clustering with Tree Grafting
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);IBM(国际商业机器公司)
我们介绍Grinch,一个新的算法,大规模的,非贪婪的层次聚类与一般的连接功能,计算任意两个点集之间的相似性。Grinch的关键组件是它的旋转和移植子例程,这些子例程在新点到达时有效地重新配置层次结构,支持发现具有复杂结构的集群。Grinch的动机是一个新的概念的分离性与联动功能的聚类:我们证明,当模型是一致的地面真相聚类,Grinch保证产生一个集群树包含地面真相,独立的数据到达顺序。我们在基准和作者共指数据集(具有标准和学习的链接函数)上的实证结果表明,Grinch比其他可扩展方法更准确,并且比层次凝聚聚类快几个数量级。
2019-12-31 cs.DS cs.LG stat.ML
TRUST: Transparent, Robust and Ultra-Sparse Trees
University of Wisconsin -- Madison(威斯康星大学麦迪逊分校)
TRUST是一种结合随机森林准确性与浅层树和稀疏线性模型可解释性的新型回归树,利用大语言模型增强透明性,在基准测试中优于其他可解释模型并匹配随机森林性能。
2025-06-18 cs.AI cs.LG stat.ME
Optimal Sparse Regression Trees
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出了一种基于动态规划与边界的方法构建可证明的最优稀疏回归树,利用1维k-Means聚类算法的新颖下界,在几秒内解决包含大量样本和高度相关特征数据集的优化问题。
2023-04-10 cs.LG
Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University(斯坦福大学);Amazon Search(亚马逊搜索)
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中,这些模型在极端规模下运行,其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的,因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而,目前还没有专门为稀疏结构设计的稀疏矩阵技术,在基于树的模型中遇到极端的多标签排名/分类(XMR/XMC)问题。为了解决这个问题,我们提出了屏蔽稀疏块乘法(MSCM)技术,一个稀疏矩阵技术专门为XMR树。MSCM易于实现,可并行化,并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性,我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题,并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度,因为它给出了与标准稀疏矩阵技术完全相同的结果。因此,我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法,结合MetaTree Transformer架构,以更低计算成本实现与真实数据或最优树预训练相当的性能,推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
Optimal Sparse Survival Trees
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
针对生存分析中现有树方法依赖启发式算法可能产生次优模型的问题,提出带边界的动态规划方法,可快速找到可证明最优的稀疏生存树。
2024-05-22 cs.LG
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Fast and Scalable Learning of Sparse Changes in High-Dimensional Gaussian Graphical Model Structure
University of Virginia(弗吉尼亚大学)
我们专注于两个$p$维高斯图模型(GGM)的依赖结构的变化估计的问题。以前的研究稀疏变化估计GGM涉及昂贵和困难的非光滑优化。我们提出了一种新的方法DIFFEE,用于在高维情况下通过基本估计器估计DIFFerential网络。通过一个更快的封闭式解决方案来解决EEE,使其能够在大规模环境中工作。我们进行了严格的统计分析表明,令人惊讶的是,ESTEE实现了相同的渐近收敛速度的国家的最先进的估计,更难以计算。我们在多个合成数据集和一个关于大脑连接的真实数据上的实验结果显示,与基线相比,性能有了很大的提高,并且具有显著的计算优势。
2018-05-23 cs.AI cs.LG stat.ML
Scalable Sparse Regression for Model Discovery: The Fast Lane to Insight
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院)
针对动力学系统数据充足但数学描述不足的问题,提出通用稀疏回归算法SPRINT,通过带解析界的二分法加速零向量最优秩1修正识别,大幅提升模型发现效率。
2024-05-14 cs.LG physics.data-an stat.ML
Building Sparse Deep Feedforward Networks using Tree Receptive Fields
The Hong Kong University of Science and Technology(香港科技大学)
稀疏连接是卷积神经网络和递归神经网络成功背后的重要因素。本文研究了前馈神经网络的稀疏连通性学习问题。关键的想法是,一个单元应该连接到下一级的少量单元,这些单元具有很强的相关性。我们使用Chow-Liu的算法来学习当前级别单元的树结构概率模型,使用树来识别强相关的单元子集,并在子集上引入具有感受野的新单元。在新单元上重复该过程以构建多层隐藏单元。由此产生的模型被称为TRF网络。实验结果表明,与密集FNN相比,TRF-net以更少的参数和更稀疏的结构实现了更好或相当的分类性能。它们也更容易解释。
2018-07-17 cs.LG
Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base
Google, Inc(谷歌公司)
我们描述了一种新的方式来表示一个符号知识库(KB)称为稀疏矩阵具体化KB。这种表示使神经模块能够完全可区分,忠实于KB的原始语义,表达能力足以对多跳推理进行建模,并且可扩展性足以与实际的大KB一起使用。稀疏矩阵具体化的知识库可以分布在多个GPU上,可以扩展到数千万个实体和事实,并且比朴素的稀疏矩阵实现快几个数量级。具体化的知识库使非常简单的端到端的架构,以获得竞争力的性能上的几个基准代表两个家庭的任务:知识库完成,并学习语义解析器从外延。
2020-02-14 cs.CL cs.LG stat.ML
Learning Sparse Deep Feedforward Networks via Tree Skeleton Expansion
Department of Computer Science and Engineering(计算机科学与工程系);The Hong Kong University of Science and Technology(香港科技大学)
尽管深度学习很受欢迎,但深度模型的结构学习仍然是一个相对欠开发的领域。相比之下,结构学习已经被广泛研究了概率图模型(PGMs)。特别是,已经开发了一种有效的算法用于学习一类称为分层潜在树模型(HLTM)的树结构PGM,其中在底部有一层观察变量,在顶部有多层潜在变量。在本文中,我们提出了一个简单的方法来学习的前馈神经网络(FNN)的结构的基础上HLTM。其思想是扩展HLTM树骨架中的连接,并将结果结构用于FNN。以这种方式学习的FNN结构的一个重要特征是它们是稀疏的。我们提出了大量的实证结果表明,与手动调整的标准FNN相比,通过我们的方法学习的稀疏FNN可以用更少的参数实现更好或相当的分类性能。它们也更容易解释。
2018-03-16 cs.LG
Sparse Oblique Decision Tree for Power System Security Rules Extraction and Embedding
University of Washington(华盛顿大学);Tsinghua University(清华大学)
增加可变发电的渗透对电力系统的运行可靠性有实质性的影响。这种可变性所产生的更高程度的不确定性使得更难以确定给定的操作条件是安全的还是不安全的。数据驱动技术提供了一种有前途的方法来识别安全规则,可以嵌入到经济调度模型,以保持电力系统运行状态的安全。本文提出了使用稀疏加权斜决策树来学习准确,可理解和可嵌入的安全规则,这些规则是线性的,可以使用递归算法提取为稀疏矩阵。然后,这些矩阵可以很容易地嵌入作为安全约束的电力系统经济调度计算使用大M方法。在几个具有高可再生能源渗透率的大型数据集上的测试表明了该方法的有效性。特别是,稀疏加权斜决策树优于最先进的加权斜决策树,同时保持安全规则简单。当嵌入到经济调度中时,这些规则显着增加了安全状态的百分比,并减少了平均求解时间。
2020-04-20 cs.LG cs.SY eess.SY
Scalable Optimal Multiway-Split Decision Trees with Constraints
IBM Research(IBM研究院)
近年来,人们对使用混合整数规划(MIP)学习最优决策树的兴趣激增,因为基于启发式的方法不能保证最优性,并且发现将对许多实际应用至关重要的约束结合起来具有挑战性。然而,建立在基于弧的公式上的现有MIP方法不能很好地缩放,因为二进制变量的数量是$\mathcal{O}(2^dN)$的数量级,其中$d$和$N$指的是树的深度和数据集的大小。此外,它们只能处理样本级约束和线性度量。在本文中,我们提出了一种新的基于路径的MIP制定决策变量的数量是独立的$N$。我们提出了一个可扩展的列生成框架,以解决最佳的MIP。我们的框架产生了一个多路分裂树,这是更可解释的比典型的二叉分裂树,由于其较短的规则。我们的方法可以处理非线性指标,如F1得分,并纳入更广泛的一类约束。我们通过大量的实验证明了它的有效性。我们展示了包含多达1,008,372个样本的数据集的结果,而现有的基于MIP的决策树模型在超过几千个点的数据上无法很好地扩展。我们报告优越的或有竞争力的结果相比,最先进的基于MIP的方法,在运行时间减少了24倍。
2023-02-14 cs.LG
Training-Free Guidance Beyond Differentiability: Scalable Path Steering with Tree Search in Diffusion and Flow Models
Princeton University(普林斯顿大学)
针对不可微目标与离散分布下的免训练生成引导问题,提出 TreeG 树搜索路径转向框架,在三类任务中显著超越基线并展现推理时计算可扩展性。
2025-06-11 cs.LG
Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features
MIT Sloan School of Management(麻省理工学院斯隆管理学院);MIT Operations Research Center(麻省理工学院运筹学研究中心);MIT Center for Statistics(麻省理工学院统计中心)
决策树是机器学习工具箱中最有用和最流行的方法之一。在本文中,我们考虑学习最优决策树的问题,这是一个组合优化问题,是具有挑战性的规模解决。文献中的一种常见方法是使用贪婪算法,这可能不是最佳的。最近,人们对使用各种方法学习最优决策树产生了极大的兴趣(例如,基于整数规划、动态规划)--为了实现计算可伸缩性,这些方法中的大多数集中于具有二进制特征的分类任务。本文提出了一种新的基于分枝定界的离散优化方法来获得最优决策树。不同于现有的定制方法,我们考虑了回归和分类任务的连续功能。我们的方法的基本思想是基于特征分布的分位数分割搜索空间--导致沿着BnB迭代的底层优化问题的上界和下界。我们提出的算法Quant-BnB表现出显着的加速比现有的方法在各种真实的数据集上的浅最优树。
2022-06-29 cs.LG
The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems
Recombee(Recombee公司);Czech Technical University in Prague(捷克技术大学布拉格分校);Charles University Prague(布拉格查尔斯大学)
针对工业级推荐系统高基数实体密集嵌入存储访问的内存瓶颈,提出一种轻量级可学习嵌入压缩技术,将嵌入投影到高维稀疏激活空间,在保性能的同时降内存,为大规模推荐系统效率提升提供了可行思路并开源代码。
2025-05-16 cs.IR cs.LG
Sparse residual tree and forest
Princeton University(普林斯顿大学)
稀疏残差树(SRT)是一种自适应的多元散乱数据逼近方法。它导致稀疏和稳定的近似数据是足够的或冗余的地区,并指出可能的局部区域,需要数据细化。稀疏剩余森林(SRF)是SRT预测器的组合,根据SRT的误差特性进一步提高逼近精度和稳定性。分层并行SRT算法是基于树分解和自适应径向基函数(RBF)的探索,从而为每个孩子的稀疏和适当的RBF细化添加到近似通过最小化从其父继承的残差的范数。收敛结果建立SRT和SRF。SRT的最坏情况时间复杂度为初始工作的$\mathcal{O}(N\log_2N)$和每次预测的$\mathcal{O}(\log_2N)$,同时,最坏情况存储要求为$\mathcal{O}(N\log_2N)$,其中$N$数据点可以是任意分布的。数值实验进行了几个说明性的例子。
2019-02-18 cs.LG cs.NA math.NA
Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning
Nanyang Technical University(南阳技术大学);Mila - Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学);The AGH University of Krakow(克拉科夫AGH大学)
本文重新思考动态稀疏训练在可扩展深度强化学习中的作用,发现其提供模块特定益处并补充架构改进,进而提出模块特定训练(MST)框架,在不修改算法的情况下显著提升多种RL算法的可扩展性。
2025-10-14 cs.LG
SORTeD Rashomon Sets of Sparse Decision Trees: Anytime Enumeration
Delft University of Technology(代尔夫特理工大学)
本文提出SORTD框架,针对稀疏决策树Rashomon集枚举的NP难问题,通过按目标值顺序枚举实现随时行为,实验显示运行时间比现有方法降低最多两个数量级,并支持可分离全序目标及偏序目标的后评估。
2025-11-05 cs.LG
Fast Optimization of Weighted Sparse Decision Trees for use in Optimal Treatment Regimes and Optimal Policy Design
University of British Columbia(不列颠哥伦比亚大学);Duke University(杜克大学)
稀疏决策树是可解释模型的最常见形式之一。虽然最近的进展已经产生了完全优化稀疏决策树进行预测的算法,但这项工作并没有解决策略设计,因为算法不能处理加权数据样本。具体来说,它们依赖于损失函数的离散性,这意味着不能直接使用实值权重。例如,现有技术中没有一种产生在各个数据点上结合逆倾向加权的策略。我们提出了三种有效的稀疏加权决策树优化算法。第一种方法直接优化加权损失函数;然而,对于大型数据集,它往往在计算上效率低下。我们的第二种方法,更有效地扩展,将权重转换为整数值,并使用数据复制将加权决策树优化问题转换为未加权(但更大)的对应问题。我们的第三个算法可以扩展到更大的数据集,它使用一个随机过程,以与其权重成比例的概率对每个数据点进行采样。我们提出了两种快速方法的误差的理论界限,并通过实验表明,这些方法可以比加权损失的直接优化快两个数量级,而不会损失显着的准确性。
2022-10-25 cs.AI cs.LG
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University(上海交通大学);University of South Florida(佛罗里达州立大学)
针对马尔可夫决策过程中决策树策略优化难的问题,提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法,实现了可解释性与可扩展性兼具的高质量策略,速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick(华威大学)
最先进的深度神经网络(DNN)具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的,在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战,以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降(SGD)算法中的前馈(推断)和反向传播步骤都涉及连续的稀疏矩阵向量乘法(SpMV)。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案,以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分,权值矩阵表示连续层之间的神经元连接。然后,我们提出了一种新的超图模型划分权重矩阵,以减少总的通信量,并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明,所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案,我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts
McGill University(麦吉尔大学);Mila(Mila实验室);Microsoft(微软公司);Université de Montréal(蒙特利尔大学);ServiceNow(ServiceNow公司);Georgia Institute of Technology(佐治亚理工学院)
本文研究了稀疏适配器作为模块化架构构建块的属性,提出了一种简单的训练方法,在合并多达20个NLP任务时,其合并后的分布内性能优于LoRA和全模型合并。
2025-07-14 cs.LG
Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA
Hong Kong University of Science and Technology(香港科技大学);Indian Institute of Technology (IIT) Goa(印度理工学院果阿分校)
决策树是各种应用场景中常用的机器学习模型。在大数据时代,传统的决策树归纳算法由于对数据存储的严格要求而不适合学习大规模数据集。在线决策树学习算法已被设计来解决这个问题,同时训练与传入的样本,并提供推理结果。然而,即使是最新的在线树学习算法仍然遭受高内存使用或高计算强度与依赖性和长延迟,使它们具有挑战性的硬件实现。为了克服这些困难,我们引入了一个新的基于分位数的算法,以改善归纳的Hoeffding树,一个国家的最先进的在线学习模型。所提出的算法是轻量级的内存和计算需求,同时仍然保持较高的泛化能力。从硬件的角度研究了一系列针对该算法的优化技术,包括粗粒度和细粒度并行、动态和基于内存的资源共享、带数据转发的流水线等。我们进一步提出了一个高性能,硬件高效和可扩展的在线决策树学习系统的现场可编程门阵列(FPGA)与系统级优化技术。实验结果表明,我们提出的算法优于国家的最先进的Hoeffding树学习方法,导致0.05%至12.3%的提高推理精度。完整学习系统在FPGA上的实际实现表明,与最先进的设计相比,执行时间加快了384倍至1581倍。
2020-09-03 cs.DC cs.LG
Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models
School of Computing(计算机学院);The Australian National University(澳大利亚国立大学)
本研究提出利用离散稀疏自编码器发现大语言模型可解释回路的方法,通过正负例训练与编码重叠分析,无需消融实验即可识别相关注意力头,在三项任务上精准率、召回率优于基线且运行效率大幅提升,为机制可解释性研究提供新方向。
2024-05-21 cs.CL cs.LG
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology(埃因霍温理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Derby(德比大学)
通过深度学习在各个领域的成功,人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性(例如稀疏性、无标度性)中获得灵感,我们认为(与一般实践相反)人工神经网络也不应该具有完全连接的层。在这里,我们提出了人工神经网络的稀疏进化训练,在学习过程中,将两个连续神经元层的初始稀疏拓扑(Erdens-Rényi随机图)进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前,减少了二次参数的数量,而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机,多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa(比萨大学);ISTI-CNR
该研究提出基于TTVAE的TREVIS方法,将决策树映射至潜在空间实现梯度优化,所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Sparse tree search optimality guarantees in POMDPs with continuous observation spaces
University of California, Berkeley(加州大学伯克利分校);University of Colorado, Boulder(科罗拉多大学博尔德分校)
针对连续状态与观测空间 POMDP 中观测似然加权缺乏理论证明的问题,本文提出并分析 POWSS,证明其能高概率准确估计 Q 值并随计算增加趋近最优。
2023-06-05 cs.LG cs.RO cs.SY
Revisiting Tree Search for LLMs: Gumbel and Sequential Halving for Budget-Scalable Reasoning
本文提出ReSCALE,通过将Gumbel采样和顺序削减替代传统方法,实现大语言模型在推理中的可扩展推理能力提升,解决了搜索预算增加时准确率下降的问题。
2026-03-22 cs.AI cs.LG
TimberTrek: Exploring and Curating Sparse Decision Trees with Interactive Visualization
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
鉴于成千上万个同样准确的机器学习(ML)模型,用户如何在其中进行选择?最近的ML技术使领域专家和数据科学家能够为稀疏决策树生成一个完整的罗生门集-一个几乎最优的可解释ML模型的巨大集合。为了帮助ML从业者从这个罗生门集合中识别具有理想属性的模型,我们开发了TimberTrek,这是第一个交互式可视化系统,它可以大规模总结数千棵稀疏决策树。两个使用场景强调了TimberTrek如何使用户能够轻松地探索、比较和策划与其领域知识和价值观相一致的模型。我们的开源工具直接在用户的计算笔记本和Web浏览器中运行,降低了创建更负责任的ML模型的障碍。TimberTrek可在以下公开演示链接中获得:https://poloclub.github.io/timbertrek。
2022-09-19 cs.AI cs.HC cs.LG