Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文的主要贡献是一种新的子空间聚类方法,该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类(SSC)中的回归技术,通过用称为有序加权$\ell_1$(OWL)最小化的泛化来替换$\ell_1$最小化,该泛化同时执行相关变量的回归和聚类。利用随机几何图理论,我们证明了OWL回归在每个子空间内选择更多的点,从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类,与SSC相比显著降低了计算复杂性。在实验中,我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University(杜克大学)
本文提出OKRidge算法,通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题,用于识别非线性动力系统的稀疏控制方程,实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
Carnegie Mellon University(卡内基梅隆大学)
在许多现实问题中,样本之间和特征之间都存在复杂的依赖关系。两个图的克罗内克和或笛卡尔积(每个图对特征和样本之间的依赖性进行建模)由于其更直观的稀疏结构而被用作矩阵变量高斯分布的逆协方差阵,作为克罗内克积逆协方差阵的替代。然而,现有的稀疏Kronecker和逆协方差估计的方法是有限的,因为它们不能扩展到超过几百个特征和样本,并且不可识别的参数在估计中构成挑战。在本文中,我们介绍了EiGLasso,稀疏Kronecker和逆协方差估计的高度可扩展的方法,基于牛顿的方法结合特征分解的两个图,利用Kronecker和的结构。EiGLasso通过基于样本和特征图的特征分解来近似Hessian,进一步减少了计算时间。EiGLasso实现了精确Hessian的二次收敛和近似Hessian的线性收敛。我们描述了一个简单的新方法来估计不可识别的参数,概括了现有的方法。在模拟和真实世界的数据,我们证明了EiGLasso实现了两到三个数量级的速度相比,现有的方法。
2021-05-20 cs.LG stat.ML
L0Learn: A Scalable Package for Sparse Learning using L0 Regularization
Google Research(谷歌研究院);Massachusetts Institute of Technology(麻省理工学院)
本研究推出开源包L0Learn,基于坐标下降和局部组合优化实现可扩展的$\u2113_0$正则化稀疏学习,支持百万级特征问题,性能对标前沿工具,提供R和Python接口。
2023-06-09 cs.LG cs.MS stat.CO
Simple and Scalable Sparse k-means Clustering via Feature Ranking
Department of Statistical Science, Duke University(杜克大学统计科学系);Departments of Computational Medicine, Statistics, and Human Genetics, UCLA(加州大学洛杉矶分校计算医学、统计与人类遗传学系)
聚类是无监督学习中的一项基本活动,当特征空间是高维时,聚类是非常困难的。幸运的是,在许多现实场景中,只有少数特征与区分聚类相关。这激发了稀疏聚类技术的发展,这种技术通常依赖于高计算复杂度的外部算法中的k均值。目前的技术还需要仔细调整收缩参数,进一步限制了它们的可扩展性。在本文中,我们提出了一个新的框架,稀疏k均值聚类,是直观的,简单的实现,并具有竞争力的国家的最先进的算法。我们表明,我们的算法享有一致性和收敛性的保证。我们的核心方法很容易推广到几个特定于任务的算法,如聚类属性的子集和部分观察到的数据设置。我们通过模拟实验和真实数据基准,包括三体小鼠蛋白质表达的案例研究,彻底展示了这些贡献。
2020-10-22 cs.LG stat.ML
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University(哈佛大学);Manifold AI(Manifold人工智能公司)
给定一组观测信号的卷积字典,精心设计的自动编码器能否在存在噪声的情况下恢复字典?我们引入了一个自动编码器架构,称为约束循环稀疏自动编码器(CRsAE),回答这个问题的肯定。给定输入信号和近似字典,编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此,编码器和解码器的参数不是独立的,这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架,只有知道源(字典元素)的数量,并假设稀疏-许多可以重叠,是能够分离它们。我们证明了它的实用程序的背景下,尖峰排序,计算神经科学中的声源分离问题。我们证明了CRsAE的能力,以恢复潜在的字典,并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau(澳门大学)
本文提出DQN-SBL方法,通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$,解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题,并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics(北京应用物理与计算数学研究所)
提出自适应多分辨率高斯过程框架,利用自然数据稀疏协方差矩阵实现精确推断,训练成本O(n log²n),预测成本O(log^d n),兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan(密歇根大学);University of Southern California(南加州大学)
在本文中,我们研究的问题,推断时变马尔可夫随机场(MRF),其中底层的图形模型是稀疏的,随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计(MLE),其通常遭受弱统计保证和高计算时间。相反,我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化,并可以解决在近线性的时间和内存。此外,我们表明,该估计享有可证明的小估计误差。作为一个特殊的情况下,我们推导出尖锐的统计保证稀疏变化的高斯MRF(GMRF)在高维制度的推断,表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效:它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Generalized and Scalable Optimal Sparse Decision Trees
University of British Columbia(不列颠哥伦比亚大学);Duke University(杜克大学)
从计算的角度来看,决策树优化是非常困难的,但对于可解释的机器学习领域来说是必不可少的。尽管在过去的40年里一直在努力,但直到最近才取得了优化突破,使实用算法能够找到最佳决策树。这些新技术有可能引发范式转变,其中可以构建稀疏决策树来有效地优化各种目标函数,而不依赖于贪婪分裂和修剪算法,这些算法通常会导致次优解。在这项工作中的贡献是提供一个通用的框架决策树优化,解决了两个重要的开放问题,在该地区:不平衡数据的处理和充分优化连续变量。我们提出的技术,产生最佳的决策树在各种目标,包括F-分数,AUC,和部分区域下的ROC凸包。我们还介绍了一个可扩展的算法,产生可证明的最佳结果,在连续变量的存在下,并加快了决策树建设的几个数量级相对于最先进的。
2022-11-22 cs.LG stat.ML
Scalable Grouped Gaussian Processes via Direct Cholesky Functional Representations
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
我们考虑多任务回归模型,其中观测被假设为几个潜在节点和权重函数的线性组合,所有这些都来自高斯过程(GP)先验,允许分组潜在函数之间的非零协方差。我们表明,当这些分组功能是有条件的独立给定一个组相关的枢轴,它是可以直接通过稀疏Cholesky因子参数化的先验,从而避免他们的计算在推理过程中。此外,我们建立的内核是乘法可分离的输入点自然产生这样的稀疏参数化,没有任何额外的假设。最后,我们将这些稀疏结构的使用扩展到变分推断中的近似后验,进一步提高了函数数量的可扩展性。我们在分布式太阳能预测的多任务数据集上测试了我们的方法,结果表明它优于几个多任务GP基线,并且我们的稀疏规范比非稀疏规范实现了相同或更好的准确性。
2019-07-22 cs.LG stat.ML
Fast and Scalable Learning of Sparse Changes in High-Dimensional Gaussian Graphical Model Structure
University of Virginia(弗吉尼亚大学)
我们专注于两个$p$维高斯图模型(GGM)的依赖结构的变化估计的问题。以前的研究稀疏变化估计GGM涉及昂贵和困难的非光滑优化。我们提出了一种新的方法DIFFEE,用于在高维情况下通过基本估计器估计DIFFerential网络。通过一个更快的封闭式解决方案来解决EEE,使其能够在大规模环境中工作。我们进行了严格的统计分析表明,令人惊讶的是,ESTEE实现了相同的渐近收敛速度的国家的最先进的估计,更难以计算。我们在多个合成数据集和一个关于大脑连接的真实数据上的实验结果显示,与基线相比,性能有了很大的提高,并且具有显著的计算优势。
2018-05-23 cs.AI cs.LG stat.ML
Scalable Group Level Probabilistic Sparse Factor Analysis
许多数据驱动的方法存在提取功能磁共振成像(fMRI)数据的神经表示,但他们中的大多数缺乏适当的概率公式。我们提出了一个组级可扩展的概率稀疏因子分析(psFA),允许空间稀疏的地图,组件修剪使用自动相关性确定(ARD)和主题特定的异方差空间噪声建模。对于基于任务和静息状态的功能磁共振成像,我们表明,稀疏性约束引起的组件类似于通过组独立成分分析获得的组件。噪声建模表明,通过试验设计,在通常与激活相关的区域中噪声降低。psFA模型识别稀疏分量,概率设置提供了处理参数不确定性的自然方法。变分贝叶斯框架很容易扩展到更复杂的噪声模型比目前考虑的。
2016-12-14 stat.AP stat.ML
Scalable Deep Generative Modeling for Sparse Graphs
Google Research(谷歌研究院);DeepMind
学习图生成模型对于深度学习来说是一项具有挑战性的任务,并且在化学、生物学和社会科学等一系列领域具有广泛的适用性。然而,当前的深度神经方法具有有限的可扩展性:对于具有$n$节点和$m$边的图,现有的深度神经方法需要通过建立邻接矩阵来实现$Ω(n^2)$复杂度。另一方面,许多现实世界的图实际上是稀疏的,在这个意义上,$m\ll n^2$。在此基础上,我们开发了一种新的自回归模型,命名为BiGG,利用这种稀疏性,以避免生成完整的邻接矩阵,并大大降低了图形生成的时间复杂度$O((n + m)\log n)$。此外,在训练期间,该自回归模型可以与$O(\log n)$同步阶段并行化,这使得它比需要$Ω(n)$的其他自回归模型更有效。在几个基准上的实验表明,所提出的方法不仅可以扩展到比以前的深度自回归图生成模型更大的图形数量级,而且可以产生更好的图形生成质量。
2020-06-28 cs.LG stat.ML
Scalable Sparse Regression for Model Discovery: The Fast Lane to Insight
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院)
针对动力学系统数据充足但数学描述不足的问题,提出通用稀疏回归算法SPRINT,通过带解析界的二分法加速零向量最优秩1修正识别,大幅提升模型发现效率。
2024-05-14 cs.LG physics.data-an stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University(东南大学)
由于张量数据越来越频繁地出现在各种科学研究和实际应用中,分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题,我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model(FasTR). FasTR首先将张量系数分解为分量向量,然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性,FasTR能够并行求解,其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明,与四种基线模型相比,在每种情况下,FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
SVGP-KAN 通过稀疏变分推断和 KAN 结构,实现可扩展且可解释的概率 KAN,适用于大规模科学数据集,并能识别相关输入和功能关系。
2025-11-29 cs.LG stat.ML
Scalable Bayesian Optimization via Focalized Sparse Gaussian Processes
Tsinghua University(清华大学);Google DeepMind(谷歌DeepMind)
本文提出聚焦GP和FocalBO方法,通过稀疏高斯过程提升贝叶斯优化效率,实现对高维问题的高效优化。
2025-12-17 cs.LG stat.ML
Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base
Google, Inc(谷歌公司)
我们描述了一种新的方式来表示一个符号知识库(KB)称为稀疏矩阵具体化KB。这种表示使神经模块能够完全可区分,忠实于KB的原始语义,表达能力足以对多跳推理进行建模,并且可扩展性足以与实际的大KB一起使用。稀疏矩阵具体化的知识库可以分布在多个GPU上,可以扩展到数千万个实体和事实,并且比朴素的稀疏矩阵实现快几个数量级。具体化的知识库使非常简单的端到端的架构,以获得竞争力的性能上的几个基准代表两个家庭的任务:知识库完成,并学习语义解析器从外延。
2020-02-14 cs.CL cs.LG stat.ML
Scoup-SMT: Scalable Coupled Sparse Matrix-Tensor Factorization
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
我们如何才能将人类大脑中的神经活动联系起来,因为它会对单词做出反应,而行为数据则表现为对这些单词的问题的回答?简而言之,我们想找到潜在的变量,既解释大脑活动,也解释行为反应。我们表明,这是耦合矩阵张量分解(CMTF)问题的一个实例。我们提出了侦察SMT,一种新颖的,快速的,并行算法,解决了CMTF问题,并产生一个稀疏的潜在的低秩子空间的数据。在我们的实验中,我们发现Scoup-SMT比最先进的CMTF算法快50-100倍,稀疏性增加了5倍。此外,我们扩展了Scoup-SMT处理缺失数据,而不会降低性能。我们将Scoup-SMT应用于BrainQ,这是一个由(名词,大脑体素,人类受试者)张量和(名词,属性)矩阵组成的数据集,沿着名词维度耦合。Scoup-SMT能够找到有意义的潜在变量,并以具有竞争力的准确性预测大脑活动。最后,我们展示了Scoup-SMT的一般性,通过将其应用于Facebook数据集(用户,朋友,墙上的帖子);在那里,Scoup-SMT发现垃圾邮件般的异常。
2013-02-28 cs.LG stat.ML
Sparse High-Dimensional Regression: Exact Scalable Algorithms and Phase Transitions
我们提出了一种新的二元凸重构稀疏回归问题,构成了一个新的对偶的角度来看。我们设计了一种新的割平面法,并提供证据表明,它可以解决可证明的最优性的稀疏回归问题的样本量n和数量的回归p在100,000秒,这是两个数量级优于目前的最先进的,在秒。解决非常高维问题的能力使我们能够观察到新的相变现象。传统的复杂性理论认为问题的难度随着问题的大小而增加,与此相反,稀疏回归问题具有这样的性质,即随着样本个数$n$的增加,问题变得更容易,因为解决方案恢复了100%的真实信号,并且我们的方法非常快地解决了问题(实际上比Lasso更快),而对于小的样本个数n,我们的方法需要更长的时间来解决问题,但重要的是,最优解提供了统计上更相关的回归量。我们认为,我们的精确稀疏回归方法提出了一个更好的替代启发式方法目前可用。
2017-09-28 math.OC stat.ML
Accurate Kernel Learning for Linear Gaussian Markov Processes using a Scalable Likelihood Computation
ExxonMobil Research and Engineering Company(埃克森美孚研究与工程公司)
我们报告了一个精确的似然计算线性高斯马尔可夫过程,是更可扩展的复杂模型和稀疏采样信号比现有的算法。通过消除卡尔曼似然中的重复计算,并通过使用状态转移方程的对角化形式,实现了更好的缩放。使用这种有效的计算,我们研究了核学习的准确性,使用极大似然和后验均值在模拟实验中。具有参考先验的后验均值对于复杂模型和稀疏采样更准确。由于其较低的计算负荷,极大似然估计是一个有吸引力的选择,更密集的采样信号和低阶模型。我们确认估计行为的实验数据,通过他们的应用洞穴数据。
2018-05-18 cs.LG stat.ML
A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia(弗吉尼亚大学)
在高维(大$p$)环境下,针对多个相关任务(大$K$)联合估计多个稀疏高斯图模型(sGGM)是一项重要的任务.大多数以前的研究多个sGGM的联合估计依赖于惩罚对数似然估计,涉及昂贵和困难的非光滑优化。我们提出了一种新的方法,FASJEM为\underline{fa} st和\underline{s}可伸缩的\underline{j}点结构- \underline{e}估计的\underline{m}多sGGM在大规模。作为第一个使用Elementary Estimate框架的联合sGGM研究,我们的工作有三个主要贡献:(1)我们通过可并行的入口方式求解FASJEM。(2)我们选择了一个近似算法来优化FASJEM。这提高了从$O(Kp^3)$到$O(Kp^2)$的计算效率,并减少了从$O(Kp^2)$到$O(K)$的存储器需求。(3)我们从理论上证明了FASJEM实现了一致的估计与$O(\log(Kp)/n_{tot})$的收敛速度。在几个合成数据集和四个真实世界的数据集上,FASJEM在准确性、计算复杂性和内存成本方面比基线有了显着的改进。
2018-03-20 cs.LG cs.PF stat.ML
Scalable sparse covariance estimation via self-concordance
我们考虑一类凸极小化问题,由一个自协调函数,如$\log\det$度量,凸数据保真度项$h(\cdot)$和正则化-可能是非光滑-功能$g(\cdot)$。这类问题最近引起了极大的兴趣,主要是由于它们在一流的应用程序中无处不在。在这个\emph{locally} Lipschitz连续梯度设置下,我们分析了近似牛顿格式的收敛行为,并增加了可能存在的不精确估计的扭曲。我们证明有吸引力的收敛速度保证和增强国家的最先进的优化方案,以适应这种发展。稀疏协方差估计的实验结果表明,我们的算法的优点,无论是在恢复效率和复杂度。
2014-05-13 cs.IT math.IT math.OC
Scalable high-resolution forecasting of sparse spatiotemporal events with kernel methods: a winning solution to the NIJ "Real-Time Crime Forecasting Challenge"
我们提出了一个通用的时空事件预测方法,我们开发的国家司法研究所(NIJ)的实时犯罪预测挑战。我们的方法是一个时空预测模型相结合的可扩展随机再生核希尔伯特空间(RKHS)的方法近似高斯过程与自回归平滑内核的正则化监督学习框架。虽然平滑核捕获了当前在犯罪预测领域中使用的两种主要方法,即核密度估计(KDE)和自激点过程(SEPP)模型,但是该模型的RKHS分量可以被理解为对流行的对数高斯Cox过程模型的近似。对于推理,我们离散的时空点模式,并学习使用泊松似然和高效的基于梯度的优化方法的对数强度函数。模型超参数,包括RKHS近似的质量,空间和时间的内核长度尺度,自回归滞后的数量,平滑内核的带宽,以及细胞的形状,大小和旋转,使用交叉验证学习。由此产生的预测显着超过基线KDE估计和SEPP模型的稀疏事件。
2019-07-24 stat.AP stat.ML
Scalable Bigraphical Lasso: Two-way Sparse Network Inference for Count Data
University of Leeds(利兹大学);University of Cambridge(剑桥大学)
传统上,统计数据集的数据点数量大于特征($n > p$)。经典统计学的标准模型迎合了数据点被认为在给定参数的情况下是条件独立的情况。然而,对于$n\approx p$或$p > n$,这些模型的确定性较差。Kalaitzis等人(2013)介绍了双图套索,一种基于图的笛卡尔积的稀疏精度矩阵的估计器。不幸的是,由于内存要求,原始的双图套索算法不适用于大p和n的情况。我们利用笛卡尔积图的特征值分解,提出了一个更有效的版本的算法,减少了内存需求从$O(n^2p^2)$到$O(n^2 + p^2)$。在不同的应用领域,如生物学,医学和社会科学中的许多数据集都带有计数数据,基于高斯的模型不适用。我们的多路网络推理方法可用于离散数据。我们的方法考虑了实例和特征之间的依赖关系,降低了高维数据的计算复杂性,并能够处理离散和连续数据。合成和真实数据集的数值研究,展示了我们的方法的性能。
2022-03-15 cs.LG stat.AP stat.ML
A Fast and Scalable Joint Estimator for Integrating Additional Knowledge in Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia(弗吉尼亚大学)
我们考虑的问题,包括额外的知识估计稀疏高斯图形模型(sGGM)从聚集的样本,经常出现在生物信息学和神经成像应用。先前的联合sGGM估计器或者不能使用现有的知识,或者不能在高维(大$p$)情况下扩展到许多任务(大$K$)。在本文中,我们提出了一种新的\underline{J}点\underline{E}基本\underline{E} stiffening结合额外的\underline{K} noprony(JEEK)推断多个相关的稀疏高斯图模型从大规模异构数据。使用领域知识作为权重,我们设计了一种新的混合范数作为最小化目标,以执行两个加权稀疏约束的叠加,一个是共享的相互作用,另一个是特定于任务的结构模式。这使得JEEK能够根据手头的领域优雅地考虑各种形式的现有知识,并避免设计特定于知识的优化。JEEK是通过一个快速和条目式并行解决方案,大大提高了最先进的$O(p^5K^4)$到$O(p^2K^4)$的计算效率。我们进行了严格的统计分析表明,JEEK实现了相同的收敛速度$O(\log(Kp)/n_{tot})$的最先进的估计,更难以计算。从经验上讲,在多个合成数据集和两个真实数据上,JEEK在实现相同水平的预测准确度的同时,显著优于最先进的速度。R http://jointnets.org/
2019-04-16 cs.LG stat.ML
A Scalable Gradient-Based Optimization Framework for Sparse Minimum-Variance Portfolio Selection
School of Mathematics and Statistics(数学与统计学学院);University of New South Wales(新南威尔士大学);School of Mathematical and Physical Sciences(数学与物理科学学院);University of Technology Sydney(技术大学悉尼分校);Bayes Business School(贝叶斯商学院);City St George’s, University of London(伦敦大学城圣乔治学院);Faculty of Science and Engineering(科学与工程学院);Macquarie University(麦考瑞大学)
针对稀疏最小方差投资组合的基数约束混合整数规划求解瓶颈,提出基于 Boolean 松弛和凸凹目标连续调控的可扩展梯度优化框架。
2025-05-15 cs.LG math.OC q-fin.PM
Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University(约翰斯·霍普金斯大学)
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而,正则化子的选择可以极大地影响理论和实践。例如,保证$\ell_1$正则化给出子空间保持亲和性(即,在来自不同子空间的点之间没有连接)在广泛的条件下(例如,任意子空间和损坏的数据)。然而,它需要解决一个大规模的凸优化问题。另一方面,$\ell_2$和核范数正则化提供了有效的封闭形式解,但是需要非常强的假设来保证子空间保持亲和性,例如,独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明,该方法是计算效率和保证在广泛的条件下,给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性,并在手写数字和人脸聚类中的应用表明,该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系);Department of Mathematics, Tufts University(塔夫茨大学数学系)
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法,结合最优传输几何与稀疏表示学习,在多模态数据上验证效用并推导泛化界,为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates
Booz Allen Hamilton(博思艾伦汉密尔顿公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Laboratory for Physical Sciences(物理科学实验室)
针对大规模分布式训练中通信成本高、现有方法更新发散且难处理高维稀疏性的问题,提出通信高效的分布式逻辑回归方案,仅需少量更新即可大幅提升准确率,运行速度更优。
2024-07-08 cs.DC cs.LG stat.ML
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations
EURECOM(欧洲通信与网络研究院);Aalto University(阿尔托大学);CSIRO’s Data61(联邦科学与工业研究组织数据61部门)
基于诱导变量的变分推断技术为高斯过程(GP)模型的可伸缩后验估计提供了一个优雅的框架。除了实现可扩展性之外,它们相对于使用直接边际似然最大化的稀疏近似的主要优点之一是,它们为诱导输入(即诱导变量的位置)的点估计提供了鲁棒的替代方案。在这项工作中,我们挑战的共同智慧,优化诱导输入的变分框架产生最佳性能。我们表明,通过重新审视旧的模型近似,例如具有强大的基于采样的推理方法的完全独立的训练条件,以贝叶斯方式处理诱导位置和GP超参数可以显着提高性能。基于随机梯度哈密顿蒙特卡罗,我们开发了一种完全贝叶斯方法来构建可扩展的GP和深度GP模型,并通过几个回归和分类问题的广泛实验活动来展示其最先进的性能。
2021-02-23 cs.LG stat.ML
Scalable Graph Embeddings via Sparse Transpose Proximities
Renmin University of China(中国人民大学)
图嵌入学习图中节点的低维表示,并有效地保留图结构。最近,在这一新兴的研究领域取得了重大进展。然而,有几个基本问题仍然悬而未决。首先,现有的方法不能保持有向图上的出度分布。第二,许多现有的方法采用基于随机游走的邻近性,从而在无向图上遭受冲突的优化目标。最后,现有的因式分解方法无法同时实现可扩展性和非线性。本文对有向图和无向图的图嵌入技术进行了深入的研究。分析了导致出度分布失真和优化目标冲突的根本原因。我们提出{ \em转置邻近},一个统一的方法,解决这两个问题。基于转置邻近的概念,我们设计了\strap,一个基于因子分解的图嵌入算法,同时实现了可扩展性和非线性。\strap利用{ \em后推}算法来有效地计算稀疏{ \em个性化PageRank(PPR)}作为其转置邻近度。通过施加稀疏性约束,我们能够对邻近矩阵应用非线性运算,并执行有效的矩阵分解来导出嵌入向量。最后,我们提出了一个广泛的实验研究,评估各种图形嵌入算法的有效性,我们表明,\strap优于国家的最先进的方法的有效性和可扩展性。
2019-05-16 cs.AI cs.DS cs.LG
Weisfeiler and Leman go sparse: Towards scalable higher-order graph embeddings
基于$1$维Weisfeiler-Leman算法的图核和相应的神经架构最近成为(监督)图学习的强大工具。然而,由于算法的纯局部性质,它们可能会错过给定数据中的基本模式,并且只能处理二元关系。$k$维Weisfeiler-Leman算法通过考虑在顶点集上定义的$k$元组来解决这个问题,并定义了这些顶点元组之间的邻接的适当概念。因此,它考虑了顶点之间的高阶交互。然而,它不能扩展,并且在机器学习设置中使用时可能会出现过拟合。因此,它仍然是一个重要的开放问题,设计基于WL的图学习方法,同时表达,可扩展,和非过拟合。在这里,我们提出了局部变量和相应的神经架构,它们考虑了原始邻域的子集,使它们更具可扩展性,并且不太容易过拟合。在区分非同构图的能力方面,我们的算法(之一)的表达能力严格高于原始算法。我们的实验研究证实,本地算法,内核和神经架构,导致大大减少计算时间,并防止过拟合。内核版本在广泛的基准数据集上建立了一个新的最先进的图分类,而神经版本在大规模分子回归任务上表现出良好的性能。
2020-10-19 cs.DM cs.DS stat.ML
Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Matérn Correlations
Texas A&M University(得克萨斯农工大学)
本文提出了一种精确的、可扩展的Matérn相关的一维高斯过程回归算法,其平滑参数$ν$为半整数。该算法只需要$\mathcal{O}(ν^3 n)$操作和$\mathcal{O}(νn)$存储。由于$ν$被选择为固定的,并且在大多数应用中通常非常小,因此这导致线性成本求解器。该方法可以应用于多维问题,如果使用全网格或稀疏网格设计。该方法是基于一种新的理论Matérn相关函数。我们发现,这些相关函数的一个适当的重新安排可以产生一个compensated支持的功能,称为“内核包”。使用一组核包作为基函数导致协方差阵的稀疏表示,从而导致所提出的算法。仿真研究表明,所提出的算法,适用时,是显着优于现有的替代品的计算时间和预测精度。
2022-03-09 cs.LG stat.ME stat.ML
Scalable and Sustainable Deep Learning via Randomized Hashing
Rice University(莱斯大学)
当前的深度学习架构正在变得越来越大,以便从复杂的数据集中学习。这些架构需要庞大的矩阵乘法运算来训练数百万个参数。相反,另一个日益增长的趋势是将深度学习引入低功耗嵌入式设备。从计算和能源的角度来看,与深度网络的训练和测试相关的矩阵运算非常昂贵。我们提出了一种新的基于哈希的技术,以大幅减少训练和测试深度网络所需的计算量。我们的方法结合了最近的想法,从自适应辍学和随机散列最大内积搜索,以有效地选择具有最高激活的节点。我们的深度学习新算法通过在显著更少的(稀疏)节点上操作,降低了正向和反向传播的总体计算成本。因此,我们的算法只使用了总乘法的5%,同时平均保持在原始模型精度的1%以内。所提出的基于散列的反向传播的一个独特性质是更新总是稀疏的。由于稀疏的梯度更新,我们的算法非常适合异步和并行训练,从而随着核心数量的增加而接近线性加速。我们证明了我们提出的算法的可扩展性和可持续性(能源效率),通过严格的实验评估几个真实的数据集。
2016-12-05 cs.LG cs.NE stat.ML
SparCML: High-Performance Sparse Communication for Machine Learning
将机器学习技术应用于科学和工业中快速增长的数据需要高度可扩展的算法。大型数据集通常是分布在许多节点上的“数据并行”处理。每个节点对整体梯度的贡献使用全局allreduce求和。这种allreduce是单一通信,因此是大多数机器学习工作负载的可扩展性瓶颈。我们经常观察到,许多梯度值(接近)为零,导致稀疏的稀疏通信。为了利用这一洞察力,我们分析,设计,并实现了一组通信高效的协议稀疏输入数据,结合高效的机器学习算法,可以利用这些原语。我们的通信协议通过允许进程贡献任意稀疏的输入数据向量来概括标准的集体操作。我们的通用通信库SparCML扩展了MPI以支持其他功能,例如非阻塞(异步)操作和低精度数据表示。因此,SparCML及其技术将成为未来高度可扩展的机器学习框架的基础。
2019-08-16 cs.DC stat.ML
Macau: Scalable Bayesian Multi-relational Factorization with Side Information using MCMC
我们提出澳门,一个强大而灵活的贝叶斯分解方法的异构数据。我们的模型可以分解任何一组可以由关系模型表示的实体和关系,包括张量和每个实体的多个关系。Macau还可以结合辅助信息,特别是实体和关系特征,这对于预测稀疏观察的关系至关重要。Macau可扩展到数百万个实体实例、数亿个观测值和具有数百万个维度的稀疏实体特征。为了实现按比例放大,我们专门设计了实体和关系特征的采样过程,主要依赖于线性回归中的噪声注入。我们在一系列实验中展示了Macau的性能和先进功能,包括具有挑战性的药物蛋白活性预测任务。
2015-12-17 stat.ML
Scalable and Robust Sparse Subspace Clustering Using Randomized Clustering and Multilayer Graphs
Amirkabir University of Technology(阿米卡比尔理工大学);Université de Mons(蒙斯大学);Faculté Polytechnique(理工学院)
稀疏子空间聚类(SSC)是当前最先进的方法之一,用于将数据点划分为子空间的并集,具有强有力的理论保证。然而,它对于大数据集是不实用的,因为它需要为每个数据点求解LASSO问题,其中每个LASSO问题中的变量的数量是数据点的数量。为了提高SSC的可扩展性,我们建议使用随机分层聚类方法选择几组锚点,并且对于每组锚点,解决每个数据点的LASSO问题,仅允许锚点具有非零权重(这大大减少了变量的数量)。这将生成一个多层图,其中每一层对应于一组不同的锚点。使用正交矩阵的格拉斯曼流形,共享层之间的连接总结在一个单一的子空间。最后,我们使用该子空间内的$k$均值聚类来聚类数据点,类似于SSC中的谱聚类。我们在合成和真实世界的数据集上表明,所提出的方法不仅允许SSC扩展到大规模数据集,而且它也更加鲁棒,因为它在噪声数据和具有接近子空间和离群值的数据上表现得更好,同时它不容易过度分割。
2018-02-23 cs.CV stat.ML
Triply-Scalable Equivariant Gaussian Process Modeling
Institute of Mathematical Statistics and Actuarial Science(数理统计与精算科学研究所);University of Bern(伯尔尼大学)
提出三重可扩展等变高斯过程,通过等变稀疏变分与无矩阵全GP实现,高效处理高维对称数据,并在分子性质预测中实现低计算成本的不确定性量化。
2026-09-21 cs.LG math.ST stat.AP
FREESIA: Covariance-Aware Posterior Transport for Expressive and Scalable Data Assimilation
Tongji University(同济大学);University of South Carolina(南卡罗来纳大学)
针对高维稀疏观测下非线性数据同化的多峰后验推断难题,提出免训练、渐近精确的协方差感知后验传输方法,嵌入交叉协方差并校正后验,在多个基准上显著提升精度。
2026-09-29 cs.LG cs.NA math.NA
A Unified Parallel Algorithm for Regularized Group PLS Scalable to Big Data
偏最小二乘(PLS)方法已被大量利用来分析两组数据之间的关联。这些强大的方法可以应用于数据集的变量的数量大于观察的数量,并在变量之间存在高度共线性。不同的稀疏版本的PLS已被开发来整合多个数据集,同时选择的贡献变量。稀疏建模是获得更好的估计值和识别多个数据集之间关联的关键因素。PLS方法的稀疏版本的基石是矩阵的SVD(从原始数据矩阵的收缩版本构建)和线性回归中的最小二乘最小化之间的联系。我们在这里提出了最流行的PLS方法的准确描述,以及它们的数学证明。提出了一种统一的算法来执行所有四种类型的PLS,包括其正则化版本。提供了减少计算时间的各种方法,我们展示了整个过程如何可扩展到大数据集。
2017-02-23 stat.ML
Large-Scale Optimization Algorithms for Sparse Conditional Gaussian Graphical Models
研究了L1正则化条件高斯图模型的可扩展优化问题。条件高斯图模型是将高斯图模型推广到条件分布的一种模型,它可以对受条件输入变量影响的输出网络进行建模。虽然存在用于稀疏高斯图形模型估计的高度可扩展的优化方法,但是用于条件高斯图形模型的现有技术方法不够有效,并且更重要的是,由于非常大的问题的存储器约束而失败。在本文中,我们提出了一个新的优化过程的基础上,牛顿法,有效地迭代两个子问题,导致大幅改善计算时间相比,以前的方法。然后,我们将我们的方法扩展到内存约束下的大型问题,使用块坐标下降来限制内存使用,同时实现快速收敛。使用合成和基因组数据,我们证明了我们的方法可以在一台机器上在一天多一点的时间内高精度地解决一百万维的问题。
2015-12-26 stat.ML