A Nonparametric Bayesian Method for Clustering of High-Dimensional Mixed Dataset
本文是从高吞吐量混合数据集的聚类问题出发的。这些数据集的聚类可以提供对生物学关联的深入了解。在这种情况下,一个开放的问题是同时聚类高维混合数据集。本文填补了这一空白,并提出了一种非参数贝叶斯方法称为Gen-VariScan的高维混合数据集的双聚类。Gen-VariScan利用广义线性模型(GLM)和潜在变量方法来整合混合数据集。我们利用Poisson Dirichlet过程(PDP)来识别混合协变量的低维结构。我们发现,协变量协聚类检测是后验一致的,随着受试者和协变量的数量的增长。通过数值模拟和数据分析,验证了Gen-VariScan的优越性。作为一个副产品,我们推导出一个工作值的方法来执行beta回归。本文的补充材料可在网上查阅。
2018-08-14 stat.ME
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University(雅盖隆大学)
在本文中,我们提出了一个混合模型,SparseMix,稀疏高维二进制数据的聚类,它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比,SparseMix:-是专门为处理稀疏数据而设计的,-可以通过在线Hartigan优化算法有效地实现,-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究,这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外,构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Simultaneous Registration and Clustering for Multi-dimensional Functional Data
在过去的十年中,具有不对齐问题的函数数据的聚类引起了人们的广泛关注。大多数方法都是在函数数据注册后进行聚类,很少有同时使用函数变量和标量变量的研究。在本文中,我们提出了一个同时注册和聚类(SRC)模型,通过两个级别的模型,允许使用这两种类型的变量,也允许同时注册和聚类。对于从不同未知组中的受试者收集的数据,使用具有时间规整的高斯过程函数回归模型作为第一级模型;使用依赖于标量变量的分配模型作为第二级模型,提供组上的进一步信息。前者同时对多维功能数据(二维或三维曲线)进行配准和建模。这种方法是使用一个期望最大化算法,并检查模拟数据和真实数据。
2017-11-13 stat.ME
High-Dimensional Clustering via Nearest-Neighbor Asymmetry
University of California, Davis(加州大学戴维斯分校)
本文提出NAC算法,通过最近邻不对称性进行高维聚类,结合加权内部边统计量和对比统计量,适应不同分离模式,适用于小样本高维数据。
2026-05-14 stat.ME
Sparse Bayesian Hierarchical Modeling of High-dimensional Clustering Problems
聚类是微阵列数据分析中最广泛使用的程序之一,例如其目的是基于观察到的不同组织之间遗传标记的异质性来发现癌症亚型。众所周知,在这样的高维环境中,许多噪声变量的存在可以压倒嵌入在高维空间中的少数信号。我们提出了一种新的贝叶斯方法的基础上的Dirichlet过程与稀疏事先,同时进行变量选择和聚类,也发现变量,只区分一个子集的集群组件。与以往的贝叶斯公式,我们使用狄利克雷过程(DP)的样本聚类以及正则化的高维均值/方差结构。为了解决这种双重使用DP带来的计算挑战,我们建议使用嵌入在马尔可夫链蒙特卡罗(MCMC)更新的顺序采样方案,以改善现有算法的DP混合模型的天真实现。我们的方法被证明在一个模拟研究和说明与白血病基因表达数据集。
2009-04-19 stat.CO stat.ME
Model-based Clustering using Automatic Differentiation: Confronting Misspecification and High-Dimensional Data
National University of Singapore(新加坡国立大学)
我们研究了两个实际上重要的情况下,基于模型的聚类使用高斯混合模型:(1)当有错误的规格和(2)在高维数据,在最近的进展,梯度下降(GD)的优化使用自动微分(AD)。我们的模拟研究表明,EM有更好的聚类性能,衡量调整后的兰德指数,相比GD的情况下,误指定,而在高维数据GD优于EM。我们观察到,EM和GD都有许多解决方案具有高可能性,但聚类解释较差。为了解决这个问题,我们设计了一个新的惩罚条款的基础上的库尔贝克-莱布勒散度对拟合组件之间的可能性。这种惩罚可能性的梯度的封闭形式表达式很难导出,但AD可以毫不费力地完成,说明了基于AD的优化的优点。扩展这种惩罚高维数据和模型选择进行了讨论。合成和真实数据集上的数值实验证明了使用所提出的惩罚似然方法进行聚类的有效性。
2020-07-08 cs.LG stat.CO stat.ML
Escaping the curse of dimensionality in Bayesian model based clustering
贝叶斯混合模型被广泛用于高维数据的聚类,并具有适当的不确定性量化。然而,随着观察维度的增加,后验推理往往倾向于支持太多或太少的聚类。本文通过研究具有固定样本量和增加数据维度的非标准设置中的随机划分后验来解释这种行为。我们提供的条件下,有限样本后验往往分配给每个观察到一个不同的集群或所有的观察到同一个集群的尺寸增长。有趣的是,这些条件不依赖于聚类先验的选择,只要所有可能的观测到聚类的分区都具有正的先验概率,并且不管真实的数据生成模型如何都成立。然后,我们提出了一类潜在的混合贝叶斯聚类(兰姆)的一组低维潜变量诱导分区的观察数据。该模型是适合可扩展的后验推理,我们表明,它可以避免在温和的假设下的高维陷阱。所提出的方法在模拟研究中具有良好的性能,并应用于基于scRNAseq推断细胞类型。
2022-11-21 stat.CO stat.ME
A Sparse Factor Model for Clustering High-Dimensional Longitudinal Data
本文提出一种基于稀疏因子模型的贝叶斯非参数混合方法,通过在潜在因子层面进行聚类并利用Dirichlet过程先验估计簇数,有效解决了高维混合类型纵向数据的聚类难题。
2023-11-24 stat.AP stat.ME
A Data-Informed Variational Clustering Framework for Noisy High-Dimensional Data
Department of Mathematics, Fu Jen Catholic University, Taipei, Taiwan(辅仁大学数学系,台北,台湾)
本文提出DIVI框架,结合全局特征门控与基于分割的自适应结构生长,以稳定优化并学习特征相关性,提升高维噪声环境下聚类性能。
2026-04-08 cs.LG stat.ML
Spectral Clustering with Likelihood Refinement for High-dimensional Latent Class Recovery
Columbia University(哥伦比亚大学)
本文提出了一种基于谱聚类和似然细化的两阶段算法,用于高维二元响应的潜在类别恢复,通过理论保证和实验验证展示了其优越性能。
2026-02-13 stat.ME
A Bayesian non-parametric method for clustering high-dimensional binary data
Systems Biology Ireland(爱尔兰系统生物学);University College Dublin(都柏林大学)
在许多现实生活中的问题,对象描述了大量的二进制功能。例如,文档的特征在于存在或不存在某些关键字;癌症患者的特征在于存在或不存在某些突变等。在这种情况下,基于这种高维二进制特征将类似的对象/配置文件分组在一起是可取的,但具有挑战性。在这里,我提出了一个贝叶斯非参数算法聚类高维二进制数据。它使用狄利克雷过程(DP)混合模型和模拟退火,不仅聚类二进制数据,而且还找到数据中的最佳聚类数。使用模拟数据集对算法的性能进行了评估,并与其他算法进行了比较。它优于所有其他聚类方法,在模拟研究中进行了测试。它还用于对来自文档分析、手写图像分析和癌症研究的真实数据集进行聚类。它成功地根据主题划分了一组文档,基于不同书写风格的手写图像,并确定了化疗治疗的组织和突变特异性。
2016-03-08 cs.LG stat.AP stat.ML
Subspace Clustering with the Multivariate-t Distribution
许多现代数据集需要适合于分析非常高维数据的聚类过程。在基于模型的聚类中,一种称为高维数据聚类(HDDC)的方法使用一系列高斯混合模型进行聚类。HDDC基于高维数据通常存在于低维子空间中的想法;因此,可以估计观察到的数据的每个子群体的固有维度,并且可以在该低维子空间中执行聚类分析。因此,只有一小部分的参数总数需要估计和计算效率的参数估计计划的基础上的期望最大化算法开发。这一系列的模型已经获得了关注,由于其优越的分类性能相比,其他家庭的混合模型,但是,它仍然受到通常的限制高斯混合模型为基础的方法。在本文中,提出了一个强大的模拟的HDDC方法。这种方法,它扩展了HDDC程序,包括多变量- t分布,包括28个模型,纠正了HDDC程序的上述缺点。我们的tHDDC程序适合模拟和真实的数据集,并进行比较,HDDC程序使用的图像重建问题,从火星表面的卫星图像。
2017-06-27 stat.ME
Bayesian clustering of high-dimensional data via latent repulsive mixtures
针对高维数据聚类难题,提出基于排斥点过程先验的潜在得分混合模型,实现同时降维与聚类,在模型误设下更稳健且优于标准方法。
2024-06-01 stat.ME
Joint Representation Learning and Clustering via Gradient-Based Manifold Optimization
Department of Statistics Florida State University Tallahassee, Florida, USA(统计学系佛罗里达州立大学塔拉萨斯, 佛罗里达州, 美国);Department of Mathematics Florida State University Tallahassee, Florida, USA(数学系佛罗里达州立大学塔拉萨斯, 佛罗里达州, 美国)
本文提出一种联合学习降维与聚类的流形学习框架,通过梯度流形优化同时学习降维参数和聚类结果,在模拟数据和MNIST数据集上验证了其优于传统聚类算法的性能。
2026-04-15 cs.LG stat.ML
Feature Selection For High-Dimensional Clustering
我们提出了一个非参数的方法来选择高维聚类问题中的信息功能。我们从使用多模态测试的筛选步骤开始。然后,我们应用核密度估计和模式聚类的选择功能。该方法的输出包括相关特征的列表和聚类分配。我们提供明确的界限上的差错率的聚类结果。此外,我们提供了第一个误差界的模式为基础的聚类。
2014-06-09 math.ST stat.ML stat.TH
Strong Consistency of Reduced K-means Clustering
Reduced k-means clustering是一种在低维子空间中对对象进行聚类的方法。该方法的优点是同时获得了对象的聚类和反映聚类结构的低维子空间。本文讨论了常规k-均值聚类与约简k-均值聚类之间的关系。本文给出了当样本量无限增加时,约简k-均值聚类估计量几乎必然收敛的条件。本文提供了一个更一般的模型,考虑传统的k-均值聚类和减少k-均值聚类的结果。此外,提出了一种新的准则及其一致性估计,以确定最佳的子空间的维数,给定的聚类数。
2014-02-13 math.ST stat.TH
Model-based regression clustering for high-dimensional data. Application to functional data
有限混合回归模型可用于对不同亚群的响应和预测因子之间的关系进行建模。本文研究了高维预测和高维响应问题,提出了两种处理方法。我们建议使用Lasso估计器来考虑稀疏性,并对秩进行惩罚,以考虑矩阵结构。然后,我们将这些程序扩展到功能的情况下,预测和响应的功能。为此,我们使用基于小波的方法。最后,对于每种情况,我们都提供了算法,并在模拟和真实数据集上应用和评估我们的方法。
2016-01-06 math.ST stat.TH
Adaptive Manifold Clustering
聚类方法试图划分数据,使得元素与同一聚类中的元素比与不同聚类中的元素更相似。在这项任务中的主要挑战是缺乏一个统一的定义的集群,特别是对于高维数据。已经提出了不同的方法和途径来解决这个问题。本文继续Efimov,Adamyan和Spokoiny(2019)的研究,其中提供了一种称为自适应权重聚类(AWC)的自适应非参数聚类的新方法。该方法允许在非常弱的建模假设下分析具有任意形状的未知数的不平衡簇的高维数据。该过程展示了最先进的性能,即使对于大数据维度D也非常有效。然而,Efimov,Adamyan和Spokoiny(2019)的理论研究非常有限,并没有真正解决效率问题。本文在理解AWC过程的显著性能方面迈出了重要的一步,特别是在高维情况下。该方法是基于自适应聚类和流形学习相结合的思想。流形假设意味着高维数据可以很好地近似为小d的d维流形,有助于克服维数灾难问题,并获得只依赖于固有维数d的聚类分离的精确界限。我们还解决了参数调整的问题。我们的一般理论结果说明了一些数值实验。
2022-07-05 math.ST stat.TH
Strong Consistency of Factorial K-means Clustering
FKM(Factorial k-means)聚类是一种在低维子空间中对对象进行聚类的方法。该方法的优点是同时得到了对象的划分和反映聚类结构的低维子空间。给出了当样本量无限增加时,FKM聚类估计量几乎必然收敛的条件。结果证明了一个更一般的模型,包括FKM聚类。
2014-02-13 math.ST stat.TH
Discriminative variable selection for clustering with the sparse Fisher-EM algorithm
最近,由于对高维数据聚类的需求越来越大,对聚类变量选择的兴趣也越来越大。变量的选择特别允许简化聚类和结果的解释。现有的方法已经证明了聚类变量选择的效率,但结果要么是非常耗时或不够稀疏,在高维空间。这项工作提出了通过在Fisher-期望最大化算法的加载矩阵中引入稀疏性来执行鉴别变量的选择。这种聚类方法最近已被提出的同时可视化和聚类的高维数据。它是基于一个潜在的混合模型,适合的数据到一个低维的判别子空间。在这项工作中,提出了三种不同的方法,通过$\ell_{1}$型惩罚引入稀疏的判别子空间的方向矩阵。模拟和真实世界的数据集与现有方法的实验比较表明,所提出的方法的兴趣。应用程序的分割的高光谱图像的行星火星。
2012-04-10 math.ST stat.ME stat.TH
A Probabilistic $\ell_1$ Method for Clustering High Dimensional Data
Princeton University(普林斯顿大学);Rutgers University(罗格斯大学)
一般来说,聚类问题是NP难的,并且对于非平凡的实例不能建立全局最优性。对于高维数据,基于距离的聚类或分类方法面临着额外的困难,即在非常高维的空间中距离的不可靠性。我们提出了一个基于距离的迭代法聚类数据在非常高维的空间,使用$\ell_1$度量,是不太敏感的高维比欧几里德距离。对于$\mathbb{R}^n$中的$K$簇,问题分解为通过概率耦合的$K$问题,并且迭代简化为寻找线上的点的$Kn$加权中值。该算法的复杂度与数据空间的维数成线性关系,并且随着维数的增加,其性能有明显的提高。
2016-04-22 cs.LG math.OC math.ST
Phase Transitions for High Dimensional Clustering and Related Problems
考虑一个两类聚类问题,其中我们观察到$X_i = \ell_i μ+ Z_i$、$Z_i \stackrel{iid}{\sim} N(0, I_p)$、$1 \leq i \leq n$。特征向量$μ\in R^p$是未知的,但可能是稀疏的。类标签$\ell_i\in\{-1, 1\}$也是未知的,主要的兴趣是估计它们。我们对统计极限感兴趣。在二维相空间中标定有用特征的稀有度和强度,我们找到了不可能区域和可能区域的精确划分。在前一种情况下,有用的特征对于成功的聚类来说太罕见/太弱。在后者中,有用的特征足够强大,可以成功聚类。利用Le Cam的实验比较思想,将结果推广到色噪声的情况。我们还将聚类的统计极限研究扩展到信号恢复和假设检验。我们比较了三个问题的统计极限,并揭示了一些有趣的见解。我们提出了经典的PCA和重要特征PCA(IF-PCA)的聚类。对于阈值$t > 0$,IF-PCA通过将经典PCA应用于具有大于$t$的$L^2$ -范数的$X$的所有列来聚类。我们还提出了两种聚合方法。对于“可能性区域”中的任何参数,这些方法中的某些方法都能生成成功的聚类。我们发现一个有趣的相变IF-PCA。我们的结果需要细致的分析,特别是在后选择随机矩阵理论和下界参数。
2016-06-08 math.ST stat.ML stat.TH
Transfer Learning in High-Dimensional Clustering: Minimax Thresholds and Applications in Single-Cell Data
Columbia University(哥伦比亚大学);Ohio State University(俄亥俄州立大学)
研究高维聚类中迁移学习问题,开发极小极大最优迁移辅助聚类方法,刻画一致目标聚类相变,可自适应选择聚类方式,扩展技术适应多社区多源数据集,模拟和实例分析验证方法有效性。
2026-07-29 math.ST stat.ME stat.ML
Spectral clustering and the high-dimensional stochastic blockmodel
网络或图可以很容易地表示以交互单元或参与者为特征的各种数据源。社交网络代表了人们之间的交流,就是一个例子。由高度关联的行为者组成的社区或集群构成了若干经验网络结构的一个基本特征。谱聚类是一种流行的和计算上可行的方法来发现这些社区。随机块模型[社交网络5(1983)109- 137]是一个具有明确定义的社区的社会网络模型;每个节点是一个社区的成员。对于从随机块模型生成的网络,我们通过谱聚类来限制“误聚类”的节点数量。本文中的渐近结果是第一个聚类结果,允许模型中的簇的数量随着节点的数量而增长,因此命名为高维。为了研究随机块模型下的谱聚类,我们首先证明了在更一般的潜在空间模型下,归一化图拉普拉斯算子的特征向量渐近收敛到“总体”归一化图拉普拉斯算子的特征向量。除了对谱聚类的影响外,这还提供了对图形可视化技术的深入了解。本文研究随机矩阵特征向量的方法是新颖的。
2011-12-13 math.ST stat.ML stat.TH
Factor Modelling for Clustering High-dimensional Time Series
我们提出了一种新的无监督学习方法聚类大量的时间序列的基础上的潜在因素结构。除了影响所有相关时间序列的一些公共因子之外,每个聚类的特征在于其自身的聚类特殊因子。我们的设置还提供了一些灵活性,即某些时间序列可能不属于任何聚类。对于公共因子、簇-特殊因子、潜在簇的估计,建立了与显式收敛速度的一致性。数值说明与模拟数据以及一个真实的数据的例子也报告。作为一个副产品,提出的新方法还显着推进了Lam和Yao(2012)的因子模型的统计推断。
2022-09-08 math.ST stat.ME stat.TH
Minimax-Optimal Spectral Clustering with Covariance Projection for High-Dimensional Anisotropic Mixtures
Department of Statistics, Columbia University(哥伦比亚大学统计学系)
本文提出了一种基于协方差投影的谱聚类方法,以应对高维各向异性混合物中的复杂噪声结构,通过改进的重新分配步骤和理论分析,实现了最小最大最优的聚类性能。
2026-01-26 math.ST stat.ME stat.ML
Hanson-Wright inequality in Hilbert spaces with application to $K$-means clustering for non-Euclidean data
在可分的希尔伯特空间中,得到了独立次高斯随机变量二次型的无量纲Hanson-Wright不等式.我们的不等式是有限维欧氏随机向量的经典Hanson-Wright不等式的无限维推广。我们说明了一个应用程序的广义$K$ -均值聚类问题的非欧几里德数据。具体而言,我们建立了指数收敛速率的半定松弛的广义$K$ -手段,这与一个简单的舍入算法意味着真正的聚类结构的确切恢复。
2020-07-08 math.PR math.ST stat.TH
Influential Feature PCA for high dimensional clustering
我们考虑一个聚类问题,我们观察特征向量$X_i \in R^p$,$i = 1, 2, \ldots, n$,从$K$可能的类。类标签是未知的,主要的兴趣是估计它们。我们主要感兴趣的是现代政权的$p \gg n$,经典的聚类方法面临的挑战。我们提出了影响特征PCA(IF-PCA)作为一种新的聚类过程。在IF-PCA中,我们选择了一小部分的功能与最大的Kolmogorov-Smirnov(KS)的分数,其中的阈值是通过调整最近的概念更高的批评,获得的第一个$(K-1)$左奇异向量的后选择归一化的数据矩阵,然后估计标签通过应用经典的k-均值对这些奇异向量。可以看出,IF-PCA是一种免调谐的聚类方法。我们将IF-PCA应用于$10$基因微阵列数据集。该方法在聚类方面具有较好的性能。特别是,在三个数据集,IF-PCA的错误率只有$29\%$或更少的错误率的其他方法。我们还重新发现了\cite{Efron}对微阵列数据的经验无效现象。通过细致的分析,特别是后选择特征分析,我们得到严格的概率界的Kolmogorov-Smirnov统计,并表明,IF-PCA产生聚类一致性在广泛的背景下。聚类问题与稀疏PCA和低秩矩阵恢复问题有关,但在重要方面有所不同。我们揭示了一个有趣的相变现象与这些问题,并确定每个感兴趣的范围。
2015-12-16 math.ST stat.ME stat.TH
Modified Multidimensional Scaling and High Dimensional Clustering
多维尺度是统计学和机器学习中一种重要的降维工具。然而,很少有表征其统计性能的理论结果存在,更不用说任何在高维。通过考虑一个统一的框架,包括低,中,高的维度,我们研究了多维标度的设置聚类噪声数据。我们的研究结果表明,经典的多维尺度可以修改,以进一步提高嵌入样本的质量,特别是当噪声水平增加。为此,我们提出了{ \it修改的多维尺度},它适用于一个非线性变换的样本特征值。非线性变换依赖于维数、样本量和噪声矩。我们表明,修改后的多维尺度其次是各种聚类算法可以实现准确的恢复,即,所有的聚类标签都可以以概率趋于1的方式被正确地恢复。数值模拟和两个实际数据的应用提供了强有力的支持,我们提出的方法。
2022-03-29 cs.LG math.ST stat.ME
Subspace Clustering via Thresholding and Spectral Clustering
ETH Zurich(苏黎世联邦理工学院)
我们考虑的问题,聚类一组高维数据点到低维线性子空间的集合。子空间的数量、维度和方向都是未知的。我们提出了一个简单的和低复杂度的聚类算法的基础上阈值的数据点之间的相关性,其次是谱聚类。概率性能分析表明,该算法成功,即使当子空间相交时,当子空间的维度在环境维度中线性缩放(最多为对数因子)时。此外,我们证明了该算法也成功的数据点,受到擦除的擦除缩放(最多的对数因子)的数量在环境维度的线性。最后,我们提出了一个简单的方案,可证明检测离群值。
2013-03-15 cs.IT cs.LG math.IT