Homogeneity in Regression
本文探讨了高维回归系数的齐次性问题,它是稀疏性概念的推广,具有更广泛的适用性。当人们期望对应于相邻地理区域或协变量的相似聚类的回归系数近似相同时,就会出现同质性。稀疏性对应于具有已知原子零点的均匀性的特殊情况。在这篇文章中,我们提出了一种新的方法,称为聚类算法,通过数据驱动的分割(DRDD)回归探索同质性。提供了新的数学增益,可以通过探索均匀性。分析了两个版本的统计特性。特别是,我们提出的估计量的渐近正态性,这表明更好的估计精度齐次参数比没有齐次探索。当我们的方法与稀疏性探索相结合时,可以实现比单独的稀疏性探索更高的效率。这为在高维回归中探索低维结构的能力提供了额外的见解:同质性和稀疏性。新开发的方法进一步说明了模拟研究和实际数据的应用。
2013-03-29 stat.ME
Predictive Hierarchical Clustering: Learning clusters of CPT codes for improving surgical outcomes
我们开发了一种新的算法,预测层次聚类(PHC),凝聚层次聚类的当前程序术语(CPT)代码。我们的预测层次聚类旨在对数据中发现的子组进行聚类,而不是对单个观察进行聚类,以便发现的聚类导致分类模型的最佳性能。因此,合并是基于贝叶斯假设检验来选择的,贝叶斯假设检验选择导致最佳模型拟合的子组配对,如通过预测似然性所测量的。我们在合并聚类的概率上放置一个Dirichlet先验,允许我们调整聚类的大小和稀疏性。其动机是使用ACS NSQIP(美国外科医师学会国家手术质量改进计划)的数据预测患者特定的手术结果。手术结局的一个重要预测因素是CPT代码所描述的实际手术操作。我们使用PHC将CPT代码(表示为亚组)聚类在一起,与目前使用的基于临床判断的聚类相比,这种方式使我们能够更好地预测患者特定的结局。
2017-08-01 stat.AP stat.ME
The Geometry of Uniqueness, Sparsity and Clustering in Penalized Estimation
给出了惩罚项由多面体单位球范数给出的惩罚最小二乘估计唯一性的充要条件,涵盖了SLOPE、PACS、融合、聚类和经典LASSO等方法以及相关的基追踪方法.我们认为一个强大的类型的独特性,是相关的统计问题。唯一性条件是几何的,并且涉及设计矩阵的行跨度如何与对偶范数单位球的面相交,这对于SLOPE由符号置换面体给出。基于此条件的进一步考虑还允许导出稀疏性和聚类特征的结果。特别是,我们定义了一个SLOPE模式的概念来描述这种方法的稀疏性和聚类特性,并提供了一个几何特征的访问SLOPE模式。
2022-11-07 math.ST stat.ME stat.TH
Discriminative variable selection for clustering with the sparse Fisher-EM algorithm
最近,由于对高维数据聚类的需求越来越大,对聚类变量选择的兴趣也越来越大。变量的选择特别允许简化聚类和结果的解释。现有的方法已经证明了聚类变量选择的效率,但结果要么是非常耗时或不够稀疏,在高维空间。这项工作提出了通过在Fisher-期望最大化算法的加载矩阵中引入稀疏性来执行鉴别变量的选择。这种聚类方法最近已被提出的同时可视化和聚类的高维数据。它是基于一个潜在的混合模型,适合的数据到一个低维的判别子空间。在这项工作中,提出了三种不同的方法,通过$\ell_{1}$型惩罚引入稀疏的判别子空间的方向矩阵。模拟和真实世界的数据集与现有方法的实验比较表明,所提出的方法的兴趣。应用程序的分割的高光谱图像的行星火星。
2012-04-10 math.ST stat.ME stat.TH
Bayesian Nonparametric Factor Analysis via Marginalized Dirichlet Process Column Clustering with Spike-and-Slab Sparsity
St. Xavier’s College (Autonomous), Kolkata(加尔各答圣泽维尔学院(自治));Indian Statistical Institute(印度统计研究所)
提出一种边缘化狄利克雷过程列聚类与尖峰- slab稀疏性的贝叶斯非参数因子模型,自适应推断因子数并合并冗余字典,实现最优收缩率,在模拟和乳腺癌数据中优于基线。
2026-09-29 math.ST stat.AP stat.ME
Subspace clustering in high-dimensions: Phase transitions & Statistical-to-Computational gap
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-PSL大学);CNRS(法国国家科学研究中心)
本文研究高维稀疏k-高斯混合模型下的子空间聚类,给出统计最优重构误差的渐近刻画与信息论阈值,发现AMP算法存在统计-计算鸿沟,并讨论了亚广延稀疏性下不同算法的性能。
2022-12-01 cond-mat.dis-nn cs.LG math.PR
Multivariate sparse clustering for extremes
确定极端事件发生的方向是多元极值分析中的一个主要挑战。本文利用Meyer和Wintenberger(2021)引入的稀疏正则变分的概念,推导了一个随机向量X的尾部相关性.这种方法依赖于欧氏投影到单纯形,它比标准方法更好地展示了X尾部的稀疏结构。我们的程序基于一个严格的方法,旨在捕捉集群的极值坐标的X。它还包括确定阈值,超过该阈值,X所取的值被认为是极端值。我们提供了一个有效的和可扩展的算法,称为肌肉,并将其应用于数值例子,突出我们的研究结果的相关性。最后,我们用财务回报数据来说明我们的方法。
2023-01-06 math.ST stat.TH
Consistent spectral clustering in sparse tensor block models
Department of Mathematics and Systems Analysis, Aalto University(奥卢大学数学与系统分析系)
本文提出了一种针对稀疏整数valued张量数据的谱聚类算法,通过修剪步骤和密度阈值实现一致性,并基于新颖的集中界分析了信号损失与噪声减少的权衡。
2025-12-04 cs.LG math.PR math.ST
Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures
我们考虑在高维数据点的聚类问题,即当数据点的数量可能比维度的数量小小于。具体来说,我们考虑一个高斯混合模型(GMM)与非球形高斯分量,其中的集群区分只有几个相关的尺寸。我们提出的方法是一个最近的高斯混合模型和稀疏线性判别分析(LDA)的学习参数的方法相结合。除了聚类分配之外,该方法还返回与聚类相关的特征集的估计值。我们的研究结果表明,样本聚类的复杂性取决于相关的特征集的稀疏性,而只有缩放与周围的维度。此外,我们需要更温和的假设比现有的工作在高维聚类。特别是,我们不需要球形集群,也不需要沿相关维度的平均分离。
2014-06-09 math.ST stat.ML stat.TH
Sparse Oracle Inequalities for Variable Selection via Regularized Quantization
我们给出了关于通过加权Lasso $k$ -均值算法结合量化和变量选择的过程的预言不等式。结果是来自一般家庭的权重,它可以调整到大小的变量以不同的方式的影响。此外,这些理论的保证证明,以适应相应的稀疏性的最佳码本,如果合适的。即使没有稀疏性假设的最佳码本,我们的程序被证明是接近稀疏近似的最佳码本,已经做了回归的广义线性模型。如果最佳码本有一个稀疏的支持,我们还表明,这种支持可以渐近恢复,给误分类概率的渐近上界。这些结果与高斯混合模型在任意维度的稀疏性假设的手段,这是基于模型的聚类的标准分布。
2016-07-06 math.ST stat.TH
Edge-exchangeable graphs and sparsity
许多流行的随机图模型的一个已知缺点是,Aldous-Hoover定理保证这些图以概率1稠密;也就是说,边的数量随着节点的数量二次增长。在观察到的图形中,这种行为被认为是不现实的。我们定义了一个随机图的边交换的概念,与随机图的无限交换的概念相反-传统上依赖于图中节点(而不是边)的交换。我们表明,与节点交换模型不同,边交换模型包含已知提供随机图的投影序列的模型,该随机图规避了Aldous-Hoover定理并表现出稀疏性,即,边数与节点数的次二次增长。我们展示了如何边交换图自然地涉及到现有的概念交换集群(又名。分区)和其他熟悉的组合结构。
2016-03-22 math.ST stat.ME stat.ML
Consistent Spectral Clustering of Network Block Models under Local Differential Privacy
该研究针对局部边差分隐私下的SBM与DCBM网络谱聚类问题,采用边翻转随机响应机制,推导了匹配无隐私场景收敛速率的理论保证,并通过实验验证了稠密及温和稀疏网络下的一致性结果。
2021-09-20 cs.CR cs.SI math.ST
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS(法国国家科学研究中心);GIPSA-lab(格勒诺布尔交互作用物理与声学实验室);IMB, Université de Bourgogne(勃艮第大学数学研究所)
在本文中,我们分析的谱聚类(SC)算法在动态随机块模型(DSBM)的经典变种。现有的研究结果表明,在相对稀疏的情况下,期望的程度增长的nodes的数量,保证在静态的情况下,可以扩展到动态的情况下,并产生改进的误差界时DSBM是足够光滑的时间,也就是说,社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果:DSBM越规则,它就越稀疏,同时仍然保证一致的恢复。特别是,一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子,并作为我们分析的副产品,我们获得了据我们所知的最佳光谱浓度范围,可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Perfect Clustering in Very Sparse Diverse Multiplex Networks
University of Central Florida(中佛罗里达大学)
针对 DIMPLE-SGRDPG 多层网络的层组恢复问题,提出汇集各层信息的张量聚类方法,在更稀疏条件下实现完美聚类并达到接近计算下界。
2025-07-25 cs.LG math.ST stat.ME