Selective inference for multiple pairs of clusters after K-means clustering
本文扩展 K-means 聚类后的成对选择性推断至多对聚类检验,并处理方差未知情形,提出控制第一类错误的方法,理论及实证验证有效。
2024-05-25 stat.ME
Hypothesis Testing for Parsimonious Gaussian Mixture Models
具有特征分解协方差结构的高斯混合模型构成了用于聚类和分类的最流行的混合模型族,即,高斯简约聚类模型(GPCM)。虽然GPCM家族已经使用了近20年,但在特定情况下选择家族中的最佳成员仍然是一个棘手的问题。似然比检验就是为解决这一问题而发展起来的。这些似然比检验使用异方差模型下的备择假设,但提供了更多的灵活性和现实世界的适用性比以前的方法,比较同方差高斯混合与异方差之一。一路上,一个新的极大似然估计程序开发的两个成员的GPCM家庭。模拟表明,只有当样本量相当大并且混合组分分离良好时,$χ^2$参考分布才能合理地近似LR统计量;因此,遵循Lo(2008),采用参数自助法。此外,通过将Greselin和Punzo(2013)的思想推广到聚类环境,引入了一个封闭的测试过程,定义了似然比检验作为局部测试,以评估一般家庭中的唯一模型。这种似然比测试程序的优点是通过应用程序的著名的虹膜数据集。
2014-05-02 stat.CO stat.ME
Goodness-of-fit testing of the distribution of posterior classification probabilities for validating model-based clustering
Univ. Rennes, Ensai, CNRS, CREST-UMR 9194(雷恩大学,ENSAI,CNRS,CREST);Université Bretagne Sud, UMR CNRS 6205, LMBA(南布列塔尼大学,CNRS联合研究单位6205,LMBA)
本文提出一种新的内部良率检验方法,通过测试后验分类概率在单位简单上的规范性,评估模型聚类结果的可靠性,适用于高维数据及无外部标签的情况。
2026-03-27 math.ST stat.TH
Spatial Clustering Tests Based on Domination Number of a New Random Digraph Family
我们使用的控制数的参数化的随机有向图的家庭称为比例边接近捕捉有向图(PCD)测试多元空间点模式。这个有向图族是基于来自不同类的数据点的相对位置。我们扩展的比例边PCD的控制数的分布结果,并使用控制数作为一个统计测试隔离和协会对完全的空间随机性。我们证明了当一类的规模固定而另一类(其点构成有向图的顶点)的规模趋于无穷大时,PCD的控制数服从二项分布;当两类的规模都趋于无穷大时,PCD的控制数服从渐近正态性.我们通过Monte Carlo模拟评估了有限样本测试的性能,证明了测试的一致性下的替代品,并建议修正的支持限制类的兴趣点和小样本。我们找到了最佳的参数来测试每个隔离和关联的替代品。此外,本文中讨论的方法也适用于更高维度的数据。
2009-09-16 math.PR math.ST stat.ME
Selective inference for k-means clustering
我们考虑的问题,通过k-均值聚类确定的观察集群之间的差异的均值测试。在这种情况下,经典的假设检验会导致第一类错误率的膨胀。为了克服这个问题,我们采取了选择性推理的方法。我们提出了一个有限样本的p值,控制选择性第一类错误的一对集群之间的差异,使用k-均值聚类的测试,并表明,它可以有效地计算。我们将我们的建议应用于模拟,手写数字数据和单细胞RNA测序数据。
2022-03-29 stat.ME stat.ML
Using Ordinal Data to Assess Distance Learning
关于李克特量表数据应被视为有序还是连续的,存在一些分歧。本文将Likert数据视为有序数据,使用非参数假设检验和聚类来验证那些在假设检验中有显著结果的变量。
2020-11-16 cs.CY stat.ME
Functional Post-Clustering Selective Inference with Applications to EHR Data Analysis
University of Pennsylvania(宾夕法尼亚大学);Vanderbilt University(范德堡大学);Duke University(杜克大学)
本文针对聚类后数据的选择偏差问题,提出适用于纵向数据的选择性推断方法,经模拟及AKI的EHR数据验证可调整偏差、控制错误率,具应用优势。
2026-08-18 stat.AP stat.CO stat.ME
Multiple Hypothesis Testing To Estimate The Number Of Communities in Stochastic Block Models
本文提出一种基于似然的方法和新的顺序多重检验方法,用于估计随机块模型中的社区数量,适用于噪声scRNA-seq数据集。
2026-02-15 math.ST stat.ME stat.TH
Testing and estimation of clustered signals
针对大规模多重检验问题,提出了一种变点检测方法。与经典的变点设置不同,信号在一个集群中的大小可以不同。信号上的聚类结构使我们能够有效地描绘信号和非信号段之间的边界。新的检验统计量提出了一个和/或多个实现的观察。导出了它们的渐近分布。我们还研究了相关的方差估计问题。我们允许的方差是异方差的多个实现的情况下,这大大扩展了所提出的方法的适用性。仿真研究表明,该方法具有良好的性能。我们的程序被应用到{基于阵列的比较基因组杂交(aCGH)}数据集。
2021-04-29 stat.ME
Some Clustering-based Change-point Detection Methods Applicable to High Dimension, Low Sample Size Data
高维观测序列中的变点检测是一个非常具有挑战性的问题,并且当样本量(即,序列长度)小。本文提出了几种基于聚类的变点检测方法,可以方便地应用于高维、低样本量的情况。首先,我们考虑单变点问题。使用基于一些合适的相异性措施的k-均值聚类,我们提出了一些方法来测试存在的变点,并估计其位置。在适当的正则条件下,研究了这些方法的高维行为。接下来,我们扩展我们的方法检测多个变点。我们进行了广泛的数值研究,我们提出的方法与一些国家的最先进的方法的性能进行比较。
2021-11-28 stat.ME
Multiple Hypothesis Testing To Estimate The Number of Communities in Sparse Stochastic Block Models
基于网络的集群方法通常需要指定社区数量\emph{a priori}。此外,用于估计社区数量的大多数现有方法假设社区数量是固定的并且不随网络大小$n$而缩放。假设社区的数量随着网络大小$n$而增加的少数方法仅在网络的平均度$d$至少与$O(n)$一样快地增长(即,密集的情况)或位于窄范围内。这在聚类大规模网络数据时提出了挑战,特别是当网络的平均度$d$增长慢于$O(n)$的速率时(即,sparse case)。为了解决这个问题,我们提出了一个新的顺序过程,利用多个假设检验和Erdös Rényi图的谱特性估计稀疏随机块模型(SBM)中的社区数。我们证明了我们的方法的稀疏SBMs的稀疏参数的范围很广的一致性。因此,我们发现,我们的方法可以估计社区$K^{(n)}_{\star}$的数量与$K^{(n)}_{\star}$增加的速度高达$O(n^{(1 - 3γ)/(4 - 3γ)})$,其中$d = O(n^{1 - γ})$。此外,我们表明,我们的方法可以适应作为一个停止规则,在估计社区的二叉树随机块模型的数量。我们在六个参考单细胞RNA测序数据集上对我们的方法与其他竞争方法的性能进行了基准测试。最后,我们通过数值模拟和使用它来聚类真实的单细胞RNA测序数据集,证明了我们的方法的有用性。
2022-01-12 stat.ME
Clustering and Classification of Genetic Data Through U-Statistics
遗传数据通常是分类的,具有复杂的依赖结构,并不总是很好地理解。因此,基于遗传数据的聚类和分类虽然高度相关,但却是具有挑战性的统计问题。在这里,我们考虑一个高度通用的U-统计的方法建立在非参数聚类的数据点对之间的差异。在这项工作中,我们提出了统计测试,以评估考虑到多重检验问题组的同质性,和一个聚类算法的基础上,组内和组间的差异,大大加快了同质性测试。我们还提出了一个测试,以验证两组中的一个样本的分类意义。一个蒙特卡罗模拟研究,以评估权力的分类测试,考虑到不同的群体大小和程度的分离。还通过模拟分析了同质性检验的大小和功效,并将其与竞争方法进行了比较。最后,该方法被应用到三个不同的遗传数据集:全球人类遗传多样性,乳腺肿瘤基因表达和登革热病毒血清型。这些应用程序展示了这个统计框架的能力,以回答不同的生物学问题,同时适应不同的数据库的特异性。
2016-06-10 q-bio.GN stat.AP stat.ME
Analytic inference with two-way clustering
CREST-ENSAE(法国国家统计与经济研究所数据科学研究中心);INRAE(法国国家农业、食品与环境研究院)
本文提出了一种双聚类下的解析推断方法,解决了高斯和非高斯情况下推断的有效性问题,并通过模拟验证了其有效性。
2026-02-18 econ.EM stat.ME
Hierarchical Clustering With Confidence
University of Michigan(密歇根大学);University of Southern California(南加州大学)
本文提出一种随机化层次聚类方法,通过在每个聚类节点构造有效p值,用于检验贪婪合并的证据,提高了聚类稳定性评估的可靠性。
2026-03-14 math.ST stat.ME stat.ML
Inference on effect size after multiple hypothesis testing
University of Gothenburg(哥德堡大学);the University of Tokyo(东京大学);Nanyang Technological University(南洋理工大学)
本文提出在多重假设检验后对显著效应的效应量进行有效推断的新方法,通过选择性条件推断原理,修正传统估计的偏差并调整置信区间。
2025-12-09 econ.EM math.ST stat.TH
A Novel Bayesian Multiple Testing Approach to Deregulated miRNA Discovery Harnessing Positional Clustering
microRNA(miRNAs)是一类非编码的小分子RNA,是基因表达的调控因子。近年来,研究人员对研究miRNAs在正常细胞以及疾病过程中的作用产生了巨大且不断增长的兴趣。因此,为了研究miRNAs在口腔癌中的作用,我们分析miRNAs的表达水平以鉴定在癌组织中具有统计学显著差异表达的miRNAs。在这篇文章中,我们提出了一种新的贝叶斯层次模型的miRNA表达数据。大量证据表明,人类基因组中miRNAs的转录过程是一个潜在的过程,有助于观察到的表达水平。我们在分析中考虑了miRNA的位置聚类,并通过适当的高斯过程非参数化地模拟了潜在的转录现象。为了测试的目的,我们采用了一种新的贝叶斯多重检验方法,我们主要集中在利用假设之间的依赖结构,以获得更好的结果,同时也确保在许多方面的最优性。事实上,我们的非边际方法产生的结果与基础科学知识相一致,而这些知识是非常流行的Benjamini-Hochberg方法所遗漏的。
2018-04-11 stat.AP stat.ME
Flexible parametric bootstrap for testing homogeneity against clustering and assessing the number of clusters
聚类分析中有两个众所周知的难题,即估计聚类数量和检查待聚类的总体是否实际上不同质。给定一个数据集,聚类方法和聚类验证指数,本文提出建立空模型,捕捉不能被解释为指示聚类的数据的结构特征。人工数据集从空模型中采样,参数从原始数据集估计。这可用于检验同质总体相对于聚类备选方案的原假设。它还可以用于校准验证指数,以估计聚类数,通过考虑任何给定数量的聚类的空模型下的指数的预期分布。该方法说明了三个例子,涉及各种不同的聚类技术(分割围绕medoids,分层方法,高斯混合模型),验证指标(平均轮廓宽度,预测强度和BIC),和问题,如混合类型的数据,时间和空间自相关。
2015-02-09 stat.ME
Testing Equivalence of Clustering
在本文中,我们测试是否两个数据集共享一个共同的聚类结构。作为一个领先的例子,我们专注于比较聚类结构在两个独立的随机样本从两个混合的多元正态分布。这些正态分布的平均参数被视为潜在未知的冗余参数,并允许不同。假设知识的平均参数,我们首先确定的相位图的测试问题的整个范围内的信噪比,通过提供两个下界和测试,实现它们。当冗余参数是未知的,我们提出的测试,实现检测边界自适应,只要环境尺寸的数据集以次线性速率增长的样本量。
2022-11-18 math.ST stat.ME stat.TH
False Discovery Rate Control via Data Splitting for Testing-after-Clustering
针对聚类后特征检验的“双重蘸取”假阳性膨胀问题,提出基于数据拆分的FDR控制方法,含单次与多重拆分方案,经理论证明与实验验证,适配单细胞分析流程且弱信号下表现更优。
2024-10-09 stat.AP stat.ME
Non-Parametric Cluster Significance Testing with Reference to a Unimodal Null Distribution
聚类分析是一种无监督的学习策略,可以用来识别未知结构数据集中的观测子集。这种策略对于分析诸如微阵列基因表达数据的高维数据特别有用。许多聚类方法是可用的,但它是具有挑战性的,以确定所确定的集群代表不同的子组。我们提出了一种新的策略,通过比较原始数据的簇内平方和与聚类一个适当的单峰零分布产生的簇内平方和,来研究识别出的簇的意义。我们为这个问题提出的零分布使用核密度估计,因此不需要数据遵循任何特定的分布。我们发现,我们的方法可以准确地测试聚类的存在,即使当特征的数量很高。
2016-10-06 stat.ME stat.ML
A similarity measure for second order properties of non-stationary functional time series with applications to clustering and testing
由于数据存储技术的激增,需要开发适当的技术来识别模式,并从由此产生的巨大的数据集提取知识,这些数据集可以被视为依赖功能数据的集合,这在许多科学领域越来越受到关注。我们开发了一个相似性度量的频谱密度运营商的功能时间序列的集合,这是基于聚合的希尔伯特-施密特差异的个人随时间变化的频谱密度运营商。在相当一般的条件下,得到了相应估计量的渐近性质,并建立了渐近正态性。引入的统计本身自然量化功能时间序列,我们随后利用,以建立一个谱聚类算法之间的相似性。我们的算法是第一个在非平稳(功能)时间序列的分析,并能够发现特定的模式,通过分组在一起的“类似”系列成集群,从而大大降低了分析的复杂性。该算法实现简单,计算可行。作为进一步的应用,我们提供了一个简单的测试的假设,两个非平稳功能时间序列的二阶属性相吻合。
2018-12-01 math.ST stat.ME stat.TH
Powerful Significance Testing for Unbalanced Clusters
针对传统SigClust在不平衡簇场景下检验效力不足的问题,提出一种基于k-means聚类新颖推广的显著性检验方法,在平衡与不平衡场景下均有效,并用肾癌基因表达数据集验证了价值。
2023-08-24 stat.ME
Model-based testing for space-time interaction using point processes: An application to psychiatric hospital admissions in an urban area
时空相互作用是传染病和地震发生所固有的,而其他事件,如癌症或犯罪的传播则不那么明显。时空聚类的统计显著性检验通常评估事件的空间和时间(转换)距离之间的相关性。虽然通过简单吸引人,这些经典的测试不调整潜在的人口,也不能解释相互作用的距离衰减。我们建议使用一个地方病流行点过程模型的框架来共同估计由季节性和区域性特征解释的背景事件率,以及代表感兴趣的假设的叠加流行病成分。我们通过分析瑞士苏黎世(2007-2012年)的精神病住院病例来说明这种新的基于模型的时空相互作用测试。一些社会经济因素被认为与入院率有关,但没有证据表明这些病例普遍聚集。
2016-05-02 physics.soc-ph stat.AP stat.ME
Selective inference after convex clustering with $\ell_1$ penalization
Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Institut universitaire de France (IUF)(法兰西学院);INSA(国立应用科学学院)
本文针对带 $\ell_1$ 惩罚的凸聚类提出基于多面体条件高斯向量的选择性推断方法,给出一维及多维情形下具有统计保证的检验程序,并实现于 R 包 poclin。
2025-11-09 math.ST stat.ME stat.TH
Selective inference for clustering with unknown variance
针对已知协方差假设下的聚类选择性推断无法适配未知噪声水平的问题,提出方差未知场景下的选择性推断方法,可在控制第一类错误时保持高检验效能。
2023-07-21 stat.ME
Testing for a Change in Mean After Changepoint Detection
虽然有许多方法可用于检测时间序列中的结构变化,但很少有程序可用于量化检测后这些估计的不确定性。在这项工作中,我们填补了这一空白,提出了一个新的框架来测试的原假设,有没有变化的平均值周围的估计变点。我们进一步表明,它是可以有效地进行这种框架的情况下,估计的二进制分割及其变体,$\ell_{0}$分割,或融合套索的变点。我们的设置使我们能够以比现有方法少得多的信息为条件,从而产生更高的测试能力。我们应用我们的建议在一个模拟研究和染色体鸟嘌呤胞嘧啶含量的数据集。这些方法可以在R包ChangepointInference中免费获得,网址是https://jewellsean.github.io/changepoint-inference/。
2021-04-15 stat.ME
Clustering and Variable Selection in the Presence of Mixed Variable Types and Missing Data
我们考虑的问题,基于模型的聚类存在许多相关的,混合的连续和离散变量,其中一些可能有缺失值。离散变量被视为一个潜在的连续变量的方法和狄利克雷过程被用来构建一个未知数量的组件的混合模型。还执行变量选择以识别对确定聚类成员关系最有影响的变量。这项工作的动机是需要根据许多认知和/或行为测试分数对被认为可能患有自闭症谱系障碍(ASD)的患者进行聚类。数据集中有适度数量的患者(约480)以及许多(约100)测试评分变量(其中许多是离散值和/或缺失)。这项工作的目标是(i)将这些患者聚类到相似的组中,以帮助识别具有相似临床表现的患者,以及(ii)识别通知聚类的稀疏测试子集,以消除不必要的测试。所提出的方法相比,非常有利的其他方法,通过模拟这种类型的问题。ASD分析的结果表明,三个集群是最有可能的,而只有四个测试分数具有高(>0.5)后验概率的信息。这将导致更有效和信息量更大的测试。在许多相关的,连续/离散的变量与缺失值的基础上进行聚类观察的需要,是健康科学以及许多其他学科中的一个常见问题。
2018-03-11 stat.ME
Testing the Missing Completely at Random Assumption for Functional Data
Graz University of Technology(格拉茨工业大学);Masaryk University(马萨里克大学);University Bonn(波恩大学)
针对仅在部分定义域上观测到的函数型数据,开发统计检验确定函数与观测定义域是否独立,引入基于观测模式划分的检验框架及聚类方法,建立渐近结果并应用于实际数据。
2026-07-07 stat.ME
Inferring Treatment Effects After Testing Instrument Strength in Linear Models
IV研究中的常见做法是检查仪器强度,即其与治疗的相关性,使用回归的F检验。如果F统计量高于某个阈值(通常为10),则认为该仪器满足三个核心IV假设之一,并用于检验处理效应。然而,在许多情况下,对处理效应的推断没有考虑到先验进行的强度测试。在本文中,我们表明,不考虑这种预检验会严重扭曲分布的检验统计量,并提出了一种方法来纠正这种扭曲,产生有效的推断。在我们的方法中,一个关键的见解是将F-检验作为一个随机凸优化问题,并利用最近的方法进行选择性推理。我们证明,我们的方法提供了条件和边际第一类错误控制。我们还将我们的方法扩展到弱仪器设置。最后,我们重新分析了教育对收入的影响的研究,我们表明,不考虑预测试可以大大改变原来的结论教育的影响。
2020-03-14 stat.ME
Testing for Parallelism Between Trends in Multiple Time Series
本文研究了多个非平稳时间序列的趋势推断问题。为了检验趋势是否相互平行,我们使用了基于非参数趋势估计量与其平均值之间的L2距离的平行性指数。得到了检验统计量的中心极限定理,并建立了检验的相合性。我们提出了一个基于模拟的近似分布的检验统计量,显着改善后的正常近似。该测试也适用于设计一个聚类算法。最后,有限样本的测试性能进行评估,通过模拟和测试方法说明了时间序列从摩托罗拉手机活动在美国。
2011-05-24 math.ST stat.ME stat.TH