Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法,推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值,而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同,我们的聚类过程是一个标准的均值聚类,尽管所研究的模型是一种回归类型,相应的算法只涉及低维参数。因此,即使样本量很大,也是简单和稳定的。通过仿真研究和对汽车销售数据的分析,进一步说明了该方法的优越性。
2017-11-01 stat.ME
Resistant convex clustering: How does the fusion penalty enhance resistantance?
针对带平方误差损失的凸聚类易受异常值影响的问题,提出抗扰凸聚类方法,理论证明其在超半数观测为异常值时才失效,融合惩罚可增强抗扰性,数值实验验证了其性能优势。
2024-10-09 stat.ME
The Why and How of Convex Clustering
本文综述了凸聚类方法,探讨其基于凸优化的无虚假局部极小值、全局极小化器稳定等特性,并提供了理论直觉、实用指导、算法计算成本及广泛应用的灵活性。
2025-09-18 stat.ME stat.ML
Convex Covariate Clustering for Classification
聚类,像协变量选择分类,是压缩和解释数据的重要步骤。然而,协变量的聚类通常是独立于分类步骤执行的,这可能导致不期望的聚类结果,损害可解释性和压缩率。因此,我们提出了一种方法,可以聚类协变量,同时考虑到样本的类标签信息。我们制定的问题作为一个凸优化问题,它使用的协变量之间的先验相似性信息,并从类标记的样本的信息。与普通的凸聚类一样[Chi和Lange,2015],所提出的方法提供了一个独特的全局最小值,使其对初始化不敏感。为了解决凸问题,我们提出了一个专门的交替方向的乘法器(ADMM),它的规模高达几千个变量。此外,为了避免计算昂贵的交叉验证,我们提出了一个模型选择标准的基础上近似的边缘似然。合成和真实数据上的实验证实了所提出的聚类方法和选择标准的有效性。
2020-04-07 stat.CO stat.ME stat.ML
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
凸聚类是一种很有前途的新方法,聚类的经典问题,结合了强大的性能,在实证研究和严格的理论基础。尽管有这些优点,凸聚类还没有被广泛采用,由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍,我们引入了正则化,这是一种创新技术,用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果,保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中,产生了用于计算聚类解路径的凸聚类算法CARP(Convex Clustering via Acromic Regularization Paths)。在基因组学和文本分析的示例数据集上,CARP提供了比现有方法快100倍的速度,同时获得了比标准方法更精细的近似网格。此外,CARP能够改进聚类解决方案的可视化:CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图,并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现,可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute(佛罗里达大学信息学研究所);Rice University(莱斯大学)
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中,通常的做法是首先对数据进行降噪,可能使用小波降噪,然后应用聚类算法。在本文中,我们开发了一种稀疏凸小波聚类方法,同时去噪和发现群体。我们的方法利用凸融合的罚款,以实现凝聚和组稀疏的罚款去噪,通过稀疏在小波域。与通常的去噪然后聚类的做法相反,我们的方法是一个统一的,凸的方法,同时执行。我们的方法产生去噪(小波稀疏)聚类质心,既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data
在混合多视图数据中,在同一组样本上测量多组不同的特征。通过整合所有可用的数据源,我们试图发现可能隐藏在一个单一的数据视图的个人主义集群分析的样本之间的共同的组结构。虽然这种综合聚类的几种技术已被探索,我们提出并开发了一个凸形式化,将继承强大的统计,数学和经验性质的日益流行的凸聚类方法。具体来说,我们的综合广义凸聚类优化(iGecco)方法采用不同的凸距离,损失,或分歧的每个不同的数据视图与联合凸融合惩罚,导致共同的群体。此外,当每个数据源都是高维的时,集成混合多视图数据通常具有挑战性。为了在这种情况下进行特征选择,我们开发了一种自适应的移位组套索惩罚,通过将其缩小到特定的损失中心来选择特征。我们所谓的iGecco+方法从每个数据视图中选择最适合确定组的特征,通常会导致改进的综合聚类。为了适应我们的模型,我们开发了一种新型的广义多块ADMM算法,使用子问题近似,更有效地适合我们的大数据集模型。通过文本挖掘和基因组学的一系列数值实验和真实数据示例,我们表明iGecco+对于高维混合多视图数据具有优异的经验性能。
2019-12-11 stat.ME stat.ML
Provable Convex Co-clustering of Tensors
聚类分析是复杂异构数据模式发现的基本工具。流行的聚类方法主要集中在向量或矩阵变量数据,不适用于一般阶张量,这在现代科学和商业应用中经常出现。此外,由于其非凸公式的性质,现有的张量聚类解决方案的统计保证和计算效率之间存在差距。在这项工作中,我们通过开发一个可证明的张量共聚类凸公式来弥合这一差距。我们的凸共聚类(CoCo)估计享有稳定性保证,其计算和存储成本是多项式的数据的大小。我们进一步建立了一个非渐近误差界的CoCo估计,这揭示了一个令人惊讶的“祝福的维度”的现象,不存在于向量或矩阵变量聚类分析。我们的理论研究结果得到了广泛的模拟研究的支持。最后,我们将CoCo估计应用于一家大型在线公司的广告点击张量数据的聚类分析。我们的聚类结果提供了有意义的商业见解,以提高广告效果。
2020-10-23 stat.AP stat.CO stat.ME
Exact Clustering in Tensor Block Model: Statistical Optimality and Computational Limit
高阶聚类的目的是识别神经成像,基因组学,社会网络研究等多路数据集中常见的异构子结构,这个问题的非凸性和不连续性在统计和计算方面都提出了重大挑战。在本文中,我们提出了一个张量块模型和计算效率的方法,\emph{high-order Lloyd algorithm}(HLloyd),高阶谱聚类(HSC),高阶聚类。收敛性保证和统计最优性建立了一个温和的亚高斯噪声假设下,所提出的程序。在高斯张量块模型下,我们完全描述了基于三种不同信噪比制度实现高阶精确聚类的计算-计算权衡。该分析依赖于高阶谱扰动分析和张量估计中的“奇异值无间隙”误差界的新技术,这与文献中的矩阵谱分析有很大不同。最后,我们通过在合成和真实数据集上的大量实验,展示了所提出的方法的优点。
2022-10-10 math.ST stat.ME stat.ML
Constrained convex clustering for interpretable spatial domain detection in spot-based spatial transcriptomics
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
本文提出DUET方法,用于空间转录组学中同时识别空间域和估计细胞类型比例,提升数据解释性和生物学意义。
2026-09-29 stat.AP stat.ME
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
神经元功能分组的知识可以揭示神经回路的结构,并且在许多类型的神经影像学研究中是有价值的。然而,通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此,以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中,我们提出了聚类高斯图形模型(GGM)和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法(ADMM)算法求解相应的凸优化问题。此外,我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University(九州大学大学院数理学府);Faculty of Mathematics, Kyushu University(九州大学数理学部)
针对多任务学习中忽略异常任务的问题,提出MTLRRC方法,结合鲁棒正则化聚类与非凸组惩罚,实现鲁棒任务聚类与异常检测,并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
Clustering in statistical ill-posed linear inverse problems
在许多统计线性逆问题中,需要在没有有界逆的算子下从噪声图像中恢复相似曲线的类。这类问题出现在许多应用领域。然而,在这样的问题中,在预处理步骤中执行聚类,然后分别针对每个聚类平均值求解逆问题。因此,通常只对估计步骤检查程序的误差。本文的目的是研究,通过理论和模拟,聚类的一般不适定的线性反问题的解决方案的准确性的影响。特别地,我们假设观察到$X_m = A f_m + δε_m$、$m=1, \cdots, M$,其中函数$f_m$可以被分组到$K$类中,并且需要恢复向量函数${\bf f}= (f_1,\cdots, f_M)^T$。我们构造了一个作为惩罚最优化问题解的${\bf f}$的估计量,并导出了一个关于其精度的预言不等式。通过推导误差的上界和极小极大下界,我们确认估计是极小极大最优或近似极小极大最优的对数因子的观察。我们的估计过程的优点之一是,我们不假设集群的数量是已知的。我们的结论是,聚类在预处理步骤是有益的,当问题是适度不适定的。当问题严重不适定时,应用它时应极其小心。
2020-03-23 math.ST stat.ME stat.TH
Supervised Convex Clustering
聚类长期以来一直是一种流行的无监督学习方法,用于识别相似对象的组,并在许多应用中从未标记的数据中发现模式。然而,由于其无监督的性质,对估计的聚类进行有意义的解释往往具有挑战性。同时,在许多现实世界的场景中,有一些嘈杂的监督辅助变量,例如,主观诊断意见,这与未标记数据的观测异质性有关。通过利用来自监督辅助变量和未标记数据的信息,我们试图发现可能被完全无监督分析隐藏的更科学的可解释的群体结构。在这项工作中,我们提出并开发了一种新的统计模式发现方法,称为监督凸聚类(SCC),它从两个信息源中借用力量,并通过联合凸融合惩罚来指导寻找更可解释的模式。我们开发了几个扩展SCC整合不同类型的监督辅助变量,调整额外的协变量,并找到biclusters。我们通过模拟和阿尔茨海默病基因组学的案例研究证明了SCC的实际优势。具体来说,我们发现了新的候选基因以及阿尔茨海默病的新亚型,这可能会导致更好地理解导致老年人认知能力下降异质性的潜在遗传机制。
2020-05-25 stat.ME stat.ML
U-statistical inference for hierarchical clustering
聚类方法在高维数据的模式识别中有着重要的应用价值。然而,量化聚类中的不确定性是一个具有挑战性的问题,特别是在处理高维低样本量(HDLSS)数据时。我们在这里开发了一个U-统计为基础的聚类方法,评估聚类的统计意义,是专门针对HDLSS的情况。这些非参数方法依赖于对数据的非常少的假设,因此可以应用于欧几里德距离捕获相关特征的广泛数据集。我们提出了两个重要的聚类算法,层次化的方法和非嵌套的版本。为了做到这一点,我们首先提出了一个相关的U-统计量的扩展,并发展其渐近理论。我们的方法进行了测试,通过广泛的模拟,发现比竞争对手的替代品更强大。它们在从遗传学到图像识别问题的两个应用中进一步展示。
2018-05-30 stat.ME
Tensor Clustering with Planted Structures: Statistical Optimality and Computational Limits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
本文研究 CHC 与 ROHC 两类植入结构张量聚类,给出检测与恢复的统计边界和多项式时间计算阈值,并证明低信噪比下基于 HPC/HPDS 猜想的困难性。
2023-10-02 cs.CC cs.LG math.ST
Fitting Sparse Markov Models to Categorical Time Series Using Convex Clustering
本文提出一种基于凸聚类和正则化的稀疏马尔可夫模型拟合方法,通过BIC选择正则化参数,并证明其模型选择一致性,模拟和疾病亚型分类实证验证了方法的有效性。
2025-07-02 stat.ME stat.ML
Multi-Task Learning Regression via Convex Clustering
针对分组融合正则化会跨聚类迁移信息的问题,提出引入质心参数、分离回归与聚类参数的多任务回归方法,并通过模拟和真实数据验证其精度提升。
2023-04-26 stat.ME stat.ML
Statistical Significance for Hierarchical Clustering
聚类分析已被证明是一个宝贵的工具,探索和无监督的高维数据集的分析。在聚类方法中,分层方法在基因组学和其他领域享有相当大的普及,因为它们能够同时发现多层聚类结构。聚类分析中一个关键且具有挑战性的问题是,所识别的聚类是否代表重要的潜在结构,或者是自然采样变化的伪影。已经提出了一些方法来解决这个问题的上下文中的层次聚类,其中的问题是进一步复杂的自然树结构的分区,以及所需的测试来解析嵌套集群的层的多样性。在本文中,我们提出了一个基于蒙特卡罗的方法来测试统计显着性的层次聚类,解决了这些问题。该方法被实现为一个顺序的测试程序,保证控制的家庭明智的错误率。我们的方法提供了理论上的理由,并通过几个模拟研究和应用程序的两个癌症基因表达数据集说明了它的权力,以检测真正的聚类结构。
2014-11-19 stat.ME
Efficient Clustering for Stretched Mixtures: Landscape and Optimality
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
本文考虑了一个典型的聚类问题,其中一个接收未标记的样本从一个平衡的混合物的两个椭圆分布和目标的分类器来估计标签。许多流行的方法,包括PCA和k-means,都要求混合物的各个成分是球形的,当它们被拉伸时,性能很差。为了克服这个问题,我们提出了一个非凸的程序,寻求仿射变换,把数据变成一个一维的点云集中在$-1$和$1$,之后聚类变得容易。我们的理论贡献是双重的:(1)我们表明,非凸损失函数具有理想的几何性质时,样本量超过一些常数倍的尺寸,(2)我们利用这一点来证明,一个有效的一阶算法实现接近最佳的统计精度没有良好的初始化。我们还提出了一个通用的聚类方法与灵活的选择功能转换和损失的目标。
2021-11-27 cs.LG math.OC math.ST
Biconvex Clustering
凸聚类由于其吸引人的理论和计算特性而受到越来越多的关注,但其优点在高维数据面前变得有限。在这样的设置中,依赖于$k$ -最近邻的成对亲和度项变得不好指定,并且欧几里得拟合度量提供较弱的区分能力。为了克服这些问题,我们建议修改凸聚类目标,使特征权重与质心联合优化。由此产生的问题成为双凸,因此在统计和算法上仍然表现良好。特别是,我们推导出一个快速算法与封闭形式的更新和收敛保证,并建立有限样本的预测误差的界限。在可解释的正则条件下,误差界分析意味着所提出的估计的一致性。双凸聚类在整个聚类任务中执行特征选择:由于学习的权重改变了有效的特征表示,成对的亲和力可以在迭代中自适应地更新,而不是在可疑的特征空间中预先计算。我们验证了真实和模拟数据的贡献,表明我们的方法有效地解决了维度的挑战,同时减少了对现有方法中典型的精心调整的几何学的依赖。
2021-04-01 stat.ME
A statistical test to identify differences in clustering structures
对功能磁共振成像(fMRI)数据进行统计推断是脑成像领域的一项重要任务。一个主要的假设是,精神障碍的存在与否可以用大脑中神经元的差异聚类来解释。鉴于这一事实,它显然是感兴趣的,以解决的问题,集群的属性是否发生了变化的患者和对照组之间。在脑成像中接近组差异的正常方法是使用适当的检验(例如t检验)对平均组响应之间的差异进行逐体素单变量分析,并将所得的“显著不同的体素”组装成聚类,再次在聚类水平上进行检验。当然,在这种方法中,主要的体素级测试对任何聚类结构都是盲目的。在聚类水平上直接评估组间差异(或组内重现性)在脑成像中很少见。出于这个原因,我们引入了一种新的统计测试,称为ANOVA-聚类结构变异性分析,它在统计上测试两个或多个种群是否使用特定特征进行了聚类。该方法允许我们同时比较多个组的聚类结构,并确定有助于差分聚类的特征。我们说明了通过模拟和应用程序组成的ADHD儿童和对照组的fMRI数据集的ANOVA的性能。结果表明,他们之间的大脑的聚类结构有一些差异,证实了文献中的假设。此外,我们还确定了一些以前未描述的大脑区域,产生了新的假设来进行经验检验。
2013-11-26 stat.ME
Statistical clustering of temporal networks through a dynamic stochastic block model
离散时间动态网络中的统计节点聚类是一个新兴的领域,提出了许多挑战。在这里,我们探讨的统计特性和频率推理的模型,结合了随机块模型(SBM)的静态部分与独立的马尔可夫链的节点组的演变,通过时间。我们对二进制数据以及加权动态随机图(具有离散或连续边缘值)进行建模。我们的方法,动机的重要性,控制标签切换问题在不同的时间步长,重点是检测组内的连接行为稳定的特点。我们研究了模型参数的可辨识性,提出了一种基于变分期望最大化算法的推理过程,以及一个模型选择标准来选择组数。我们仔细讨论了我们的初始化策略中起着重要作用的方法,并比较我们的过程与现有的合成数据集。我们还说明了我们的动态接触网络,高中生和其他两个动物的相互作用的遭遇之一的方法。该方法的一个实现可以作为一个名为dynsbm的R软件包获得。
2016-06-22 stat.ME
A Doubly-Enhanced EM Algorithm for Model-Based Tensor Clustering
现代科学研究经常以张量的形式收集数据集,这就要求创新的统计分析方法。特别是,迫切需要张量聚类方法来理解数据中的异质性。我们提出了一个张量正态混合模型(TNMM)的方法,使概率解释和计算的易处理性。我们的统计模型利用张量协方差结构来减少简约建模的参数数量,同时明确利用相关性来更好地进行变量选择和聚类。我们提出了一个双重增强的期望最大化(DEEM)算法在此模型下进行聚类。E步和M步都是为张量数据精心定制的,以考虑高维的统计精度和计算成本。理论研究证实,即使张量的每个模式的维度以样本量的指数速率增长,DEEM也能实现一致的聚类。数值研究表明,与现有的方法相比,DEEM具有良好的性能。
2021-04-25 stat.ME
Network Lasso: Clustering and Optimization in Large Graphs
凸优化是现代数据分析的重要工具,因为它提供了一个框架来制定和解决机器学习和数据采掘中的许多问题。然而,一般的凸优化求解器不能很好地扩展,并且可扩展的求解器通常专门用于仅处理一类狭窄的问题。因此,需要简单的、可扩展的算法来解决许多常见的优化问题。在本文中,我们介绍了\emph{network lasso},一个泛化的组套索网络设置,允许同时聚类和优化图。我们开发了一个算法的基础上交替方向的乘法器(ADMM)来解决这个问题,在一个分布式和可扩展的方式,它允许保证全局收敛,即使在大型图形。我们还研究了这种方法的非凸扩展。然后,我们证明了许多类型的问题可以在我们的框架中表达。我们特别关注三个方面-二元分类,预测房价和时间序列数据中的事件检测-将网络套索与基线方法进行比较,并表明它是解决大型优化问题的快速准确方法。
2015-07-01 cs.SI math.OC stat.AP
The elbow statistic: Multiscale clustering statistical significance
ElbowSig是一种用于多尺度聚类分析的统计方法,通过归一化离散曲率统计量评估聚类异质性序列,提供多尺度结构的显著性检测。
2026-03-03 cs.LG stat.ME stat.ML
Convex and Non-convex Approaches for Statistical Inference with Class-Conditional Noisy Labels
我们研究了在观测标签中含有类条件噪声的逻辑斯谛回归的估计和检验问题,这在正未标记(PU)学习环境中具有重要意义。标签噪声问题属于广义线性模型(GLM)的一个特殊子类,我们讨论了解决这个问题的凸和非凸方法。基于极大似然估计的非凸方法可以得到具有多个最优性质的估计量,而凸方法在优化方面具有明显的优势。我们证明了在低维设置,这两个估计是一致的和渐近正态的,其中的非凸估计的渐近方差小于凸对应。我们还量化了效率差距,这提供了深入了解这两种方法是可比的。在高维设置中,我们表明,这两个估计程序实现$\ell_2$ -在温和的条件下,在极小极大最佳$\sqrt{s\log p/n}$率一致。最后,我们提出了一个推理过程中使用的去偏置方法。我们通过模拟和真实数据的例子验证我们的理论研究结果。
2020-08-12 stat.ME
Post-clustering difference testing: valid inference and practical considerations
聚类是无监督分析方法的一部分,包括将样本分组为同质和独立的观测子组,也称为聚类。为了解释聚类,通常使用统计假设检验来推断将估计的聚类彼此显著分离的变量。然而,数据驱动的假设被认为是推理过程,因为假设是来自聚类结果。这种数据的双重使用导致传统的假设检验无法控制第一类错误率,特别是因为聚类过程中的不确定性及其可能产生的潜在人为差异。我们提出了三种新颖的统计假设检验来解释聚类过程。我们的测试有效地控制第一类错误率,通过识别只包含一个真正的信号分离组的观察变量。
2022-10-24 stat.ME
Developments in statistical inference when assessing spatiotemporal disease clustering with the tau statistic
tau统计量$τ$使用地理位置和通常的症状发作时间来评估来自流行病学数据的全球时空聚类。通过与开放获取麻疹数据集的基线分析进行比较,我们测试了不同的因素,这些因素可能会影响基于统计数据的聚类或偏倚聚类范围估计的图形假设检验。通过重新分析这些数据,我们发现用于构建tau估计值的置信区间和置信区间(CI)类型的空间自助抽样方法可以使聚类范围估计值产生偏差。我们认为,偏差校正和加速(BCa)CI是必不可少的非对称样本自助分布的tau估计。我们还发现了反对没有时空聚类的证据,$p$ -值$\in$ [0,0.014](全局包络检验)。我们开发了Loh & Stein空间自举抽样方法的tau特异性修改,该方法提供了更精确的自举tau估计值和比先前发表的估计聚类终点高20%(36.0 m; 95%BCa CI(14.9,46.6)vs 30 m),以及疾病几率升高的聚类面积增加了44%。范围估计中出现的适度径向偏差在区域尺度上增加了一倍以上,公共卫生资源与之成比例。这种差异可能对控制产生重要影响。在图形摘要中说明了无聚类的假设检验和tau统计量的聚类范围估计的正确做法。我们提倡正确实施这一有用的统计数据,最终减少疾病聚类分析过程中控制政策决策的不准确性。
2020-03-09 stat.AP stat.ME
Clustering Hierarchies via a Semi-Parametric Generalized Linear Mixed Model: a statistical significance-based approach
Politecnico di Milano(米兰理工大学);Human Technopole(人类技术极点研究所)
本文提出一种基于统计显著性的半参数广义线性混合模型方法,通过计算置信区域并合并重叠的支撑点来对层级数据进行聚类,避免了任意阈值参数,并在 PISA 数据和模拟研究中验证了有效性。
2023-02-23 stat.AP stat.CO stat.ME
Statistical Significance of Clustering using Soft Thresholding
聚类方法已经在生物信息学和其他领域带来了许多重要的发现。使用它们的一个主要挑战是确定哪些聚类代表重要的底层结构,而不是虚假的采样伪像。当数据维数非常高时,这一挑战尤其严重,并且可用的方法非常少。聚类的统计显著性(SigClust)是近年来发展起来的一种适用于高维低样本量数据的聚类评价工具。SigClust方法的一个重要组成部分是将单个聚类定义为从多变量高斯分布中采样的数据子集。SigClust的实现需要估计零多元高斯分布的协方差阵的特征值。我们表明,原来的特征值估计可以导致一个测试,遭受严重的通货膨胀的第一类错误,在重要的情况下,有几个非常大的特征值。本文解决了这个关键的挑战,使用一种新的基于似然的软阈值方法来估计这些特征值,这导致了大大改善SigClust。SigClust性能的主要改进是基于理论聚类指数的新概念的数学分析和广泛的模拟研究。一些癌症基因组数据的应用进一步证明了这些改进的有用性。
2021-10-18 stat.CO stat.ME
Statistical development and assessment of summary measures to account for isotopic clustering of Fourier transform mass spectrometry data in clinical diagnostic studies
基于质谱的临床蛋白质组学已成为高通量蛋白质分析和生物标志物发现的有力工具。近年来质谱技术的进步极大地促进了蛋白质组学在生物医学研究中的应用。然而,蛋白质组表达的复杂性在总结和分析所获得的数据时引入了新的统计挑战。用于最佳处理蛋白质组数据的统计方法目前是一个不断增长的研究领域。在本文中,我们提出了简单,但适当的方法来预处理,总结和分析高通量MALDI-FTICR质谱数据,收集的病例对照的方式,同时处理伴随着这些数据的统计挑战。肽分子的同位素分布的已知统计特性用于预处理光谱,并将蛋白质组表达转化为浓缩的数据集。关于所识别的同位素簇的强度水平或形状的信息用于导出疾病状态分配的诊断规则将基于的汇总测量。结果表明,所识别的同位素簇的形状和整体强度水平都携带关于类结果的信息,并且可以用于预测疾病的存在或不存在。
2016-02-09 stat.AP stat.ME