Clustering with Statistical Error Control
本文提出了一种聚类方法,允许严格的统计差错控制类似于统计测试。我们开发的集群和集群本身的未知数的估计。估计量依赖于一个调整参数α,它类似于统计假设检验的显着性水平。通过选择alpha,可以控制高估簇的真实数量的概率,而低估的概率是渐近可忽略的。此外,估计的聚类不同于真实聚类的概率被控制。在理论部分的文件,这些报表的正式版本的统计差错控制推导出一个标准的模型设置凸集群。模拟研究和两个应用程序的温度和基因表达微阵列数据补充了理论分析。
2017-07-12 math.ST stat.TH
Nonparametric Hypothesis Testing of High-dimensional Clustering With Application to Single-cell RNA Data
University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
针对高维聚类显著性检验中高斯假设不可靠的问题,提出基于对数凹分布的非参数方法SigClust-LCP,结合分数匹配估计器,在控制第一类错误和保持功效的同时,避免单细胞数据中的虚假亚聚类。
2026-09-09 stat.AP stat.CO stat.ME
Multiple Hypothesis Testing To Estimate The Number Of Communities in Stochastic Block Models
本文提出一种基于似然的方法和新的顺序多重检验方法,用于估计随机块模型中的社区数量,适用于噪声scRNA-seq数据集。
2026-02-15 math.ST stat.ME stat.TH
The Value of Feedback in Decentralized Detection
我们考虑分散的二进制假设检验问题的反馈网络中,其中一些或所有的传感器可以访问其他传感器的观察压缩摘要。我们研究某些双消息反馈架构,其中每个传感器发送两个消息到一个融合中心,第二个消息的基础上的全部或部分知识的第一个消息的其他传感器。我们还研究了一个消息反馈架构,其中每个传感器发送一个消息到一个融合中心,一组传感器具有全部或部分知识的消息,从传感器不在该组。根据Neyman-Pearson或贝叶斯公式,我们表明,渐近最优(在大量传感器的限制)检测性能(量化的误差指数)不受益于反馈消息,如果融合中心记住所有传感器消息。然而,反馈可以提高贝叶斯检测性能的单消息反馈架构,如果融合中心有有限的内存,在这种情况下,我们确定相应的最佳误差指数。
2011-08-31 cs.IT math.IT stat.AP
Hypothesis Testing for Parsimonious Gaussian Mixture Models
具有特征分解协方差结构的高斯混合模型构成了用于聚类和分类的最流行的混合模型族,即,高斯简约聚类模型(GPCM)。虽然GPCM家族已经使用了近20年,但在特定情况下选择家族中的最佳成员仍然是一个棘手的问题。似然比检验就是为解决这一问题而发展起来的。这些似然比检验使用异方差模型下的备择假设,但提供了更多的灵活性和现实世界的适用性比以前的方法,比较同方差高斯混合与异方差之一。一路上,一个新的极大似然估计程序开发的两个成员的GPCM家庭。模拟表明,只有当样本量相当大并且混合组分分离良好时,$χ^2$参考分布才能合理地近似LR统计量;因此,遵循Lo(2008),采用参数自助法。此外,通过将Greselin和Punzo(2013)的思想推广到聚类环境,引入了一个封闭的测试过程,定义了似然比检验作为局部测试,以评估一般家庭中的唯一模型。这种似然比测试程序的优点是通过应用程序的著名的虹膜数据集。
2014-05-02 stat.CO stat.ME
A statistical test to identify differences in clustering structures
对功能磁共振成像(fMRI)数据进行统计推断是脑成像领域的一项重要任务。一个主要的假设是,精神障碍的存在与否可以用大脑中神经元的差异聚类来解释。鉴于这一事实,它显然是感兴趣的,以解决的问题,集群的属性是否发生了变化的患者和对照组之间。在脑成像中接近组差异的正常方法是使用适当的检验(例如t检验)对平均组响应之间的差异进行逐体素单变量分析,并将所得的“显著不同的体素”组装成聚类,再次在聚类水平上进行检验。当然,在这种方法中,主要的体素级测试对任何聚类结构都是盲目的。在聚类水平上直接评估组间差异(或组内重现性)在脑成像中很少见。出于这个原因,我们引入了一种新的统计测试,称为ANOVA-聚类结构变异性分析,它在统计上测试两个或多个种群是否使用特定特征进行了聚类。该方法允许我们同时比较多个组的聚类结构,并确定有助于差分聚类的特征。我们说明了通过模拟和应用程序组成的ADHD儿童和对照组的fMRI数据集的ANOVA的性能。结果表明,他们之间的大脑的聚类结构有一些差异,证实了文献中的假设。此外,我们还确定了一些以前未描述的大脑区域,产生了新的假设来进行经验检验。
2013-11-26 stat.ME
Decentralized Two-Sided Sequential Tests for A Normal Mean
本文讨论了正态均值$μ$的双侧分散序贯检验。假设在具有有限本地存储器的单传感器网络系统中,i.i.d.在本地传感器处观察到正常的原始观测,并将其量化为发送到融合中心的二进制消息,融合中心在原假设PDMATHAMN和备择假设$H_1: μ= \pm 1.$之间做出最终决定。我们提出了使用串联量化器(或等效地,单次反馈)的思想的分散式顺序测试。令人惊讶的是,我们提出的测试只使用形式$I(X_{n} \ge λ),$的量化器,但它被证明是渐近贝叶斯。此外,通过采用不变性的原则,我们还研究了分散不变测试的形式$I(|X_{n}| > λ),$的静态量化器,并表明,$λ= 0.5$只会导致一个次优分散不变序列测试。数值模拟进行支持我们的论点。
2009-01-09 math.ST stat.TH
Using Ordinal Data to Assess Distance Learning
关于李克特量表数据应被视为有序还是连续的,存在一些分歧。本文将Likert数据视为有序数据,使用非参数假设检验和聚类来验证那些在假设检验中有显著结果的变量。
2020-11-16 cs.CY stat.ME
Selective inference for k-means clustering
我们考虑的问题,通过k-均值聚类确定的观察集群之间的差异的均值测试。在这种情况下,经典的假设检验会导致第一类错误率的膨胀。为了克服这个问题,我们采取了选择性推理的方法。我们提出了一个有限样本的p值,控制选择性第一类错误的一对集群之间的差异,使用k-均值聚类的测试,并表明,它可以有效地计算。我们将我们的建议应用于模拟,手写数字数据和单细胞RNA测序数据。
2022-03-29 stat.ME stat.ML
Developments in statistical inference when assessing spatiotemporal disease clustering with the tau statistic
tau统计量$τ$使用地理位置和通常的症状发作时间来评估来自流行病学数据的全球时空聚类。通过与开放获取麻疹数据集的基线分析进行比较,我们测试了不同的因素,这些因素可能会影响基于统计数据的聚类或偏倚聚类范围估计的图形假设检验。通过重新分析这些数据,我们发现用于构建tau估计值的置信区间和置信区间(CI)类型的空间自助抽样方法可以使聚类范围估计值产生偏差。我们认为,偏差校正和加速(BCa)CI是必不可少的非对称样本自助分布的tau估计。我们还发现了反对没有时空聚类的证据,$p$ -值$\in$ [0,0.014](全局包络检验)。我们开发了Loh & Stein空间自举抽样方法的tau特异性修改,该方法提供了更精确的自举tau估计值和比先前发表的估计聚类终点高20%(36.0 m; 95%BCa CI(14.9,46.6)vs 30 m),以及疾病几率升高的聚类面积增加了44%。范围估计中出现的适度径向偏差在区域尺度上增加了一倍以上,公共卫生资源与之成比例。这种差异可能对控制产生重要影响。在图形摘要中说明了无聚类的假设检验和tau统计量的聚类范围估计的正确做法。我们提倡正确实施这一有用的统计数据,最终减少疾病聚类分析过程中控制政策决策的不准确性。
2020-03-09 stat.AP stat.ME
Multiple Hypothesis Testing To Estimate The Number of Communities in Sparse Stochastic Block Models
基于网络的集群方法通常需要指定社区数量\emph{a priori}。此外,用于估计社区数量的大多数现有方法假设社区数量是固定的并且不随网络大小$n$而缩放。假设社区的数量随着网络大小$n$而增加的少数方法仅在网络的平均度$d$至少与$O(n)$一样快地增长(即,密集的情况)或位于窄范围内。这在聚类大规模网络数据时提出了挑战,特别是当网络的平均度$d$增长慢于$O(n)$的速率时(即,sparse case)。为了解决这个问题,我们提出了一个新的顺序过程,利用多个假设检验和Erdös Rényi图的谱特性估计稀疏随机块模型(SBM)中的社区数。我们证明了我们的方法的稀疏SBMs的稀疏参数的范围很广的一致性。因此,我们发现,我们的方法可以估计社区$K^{(n)}_{\star}$的数量与$K^{(n)}_{\star}$增加的速度高达$O(n^{(1 - 3γ)/(4 - 3γ)})$,其中$d = O(n^{1 - γ})$。此外,我们表明,我们的方法可以适应作为一个停止规则,在估计社区的二叉树随机块模型的数量。我们在六个参考单细胞RNA测序数据集上对我们的方法与其他竞争方法的性能进行了基准测试。最后,我们通过数值模拟和使用它来聚类真实的单细胞RNA测序数据集,证明了我们的方法的有用性。
2022-01-12 stat.ME
Selective inference for multiple pairs of clusters after K-means clustering
本文扩展 K-means 聚类后的成对选择性推断至多对聚类检验,并处理方差未知情形,提出控制第一类错误的方法,理论及实证验证有效。
2024-05-25 stat.ME
Asynchronous Gossip Algorithms for Rank-Based Statistical Methods
LTCI;Télécom Paris Institut Polytechnique de Paris(巴黎高等电信学院)
本文提出异步八卦算法以计算基于秩的稳健统计量,首次用于Wilcoxon秩和检验,并提供收敛性保证与实验验证。
2025-09-11 cs.LG stat.ML
Testing for a difference in means of a single feature after clustering
针对聚类后比较两组特征均值时经典检验错误率膨胀的问题,提出一种新的选择性检验方法,可在有限样本下控制第一类错误率并高效计算,模拟和单细胞RNA测序数据验证了其有效性。
2023-11-27 q-bio.QM stat.AP stat.ME
Co-Clustering Multi-View Data Using the Latent Block Model
本文提出多视图LBM扩展潜在块模型以处理多视图数据,采用结合Gibbs采样器的随机EM算法估计参数并推导ICL准则确定簇数,同时整合假设检验与稀疏惩罚,为高维多视图问题提供新见解。
2024-01-09 stat.ME
Functional Post-Clustering Selective Inference with Applications to EHR Data Analysis
University of Pennsylvania(宾夕法尼亚大学);Vanderbilt University(范德堡大学);Duke University(杜克大学)
本文针对聚类后数据的选择偏差问题,提出适用于纵向数据的选择性推断方法,经模拟及AKI的EHR数据验证可调整偏差、控制错误率,具应用优势。
2026-08-18 stat.AP stat.CO stat.ME
A Novel Theoretical Analysis for Clustering Heteroscedastic Gaussian Data without Knowledge of the Number of Clusters
Lab-STICC, IMT Atlantique(Lab-STICC,IMT Atlantique)
本文提出一种新的成本函数用于估计聚类中心,证明在测量向量数量和聚类中心距离足够大时,固定点即为聚类中心,并引入Wald核进行聚类,提出CENTRE-X算法在复杂度和性能上优于传统算法。
2026-04-02 cs.LG stat.ML
Predictive Hierarchical Clustering: Learning clusters of CPT codes for improving surgical outcomes
我们开发了一种新的算法,预测层次聚类(PHC),凝聚层次聚类的当前程序术语(CPT)代码。我们的预测层次聚类旨在对数据中发现的子组进行聚类,而不是对单个观察进行聚类,以便发现的聚类导致分类模型的最佳性能。因此,合并是基于贝叶斯假设检验来选择的,贝叶斯假设检验选择导致最佳模型拟合的子组配对,如通过预测似然性所测量的。我们在合并聚类的概率上放置一个Dirichlet先验,允许我们调整聚类的大小和稀疏性。其动机是使用ACS NSQIP(美国外科医师学会国家手术质量改进计划)的数据预测患者特定的手术结果。手术结局的一个重要预测因素是CPT代码所描述的实际手术操作。我们使用PHC将CPT代码(表示为亚组)聚类在一起,与目前使用的基于临床判断的聚类相比,这种方式使我们能够更好地预测患者特定的结局。
2017-08-01 stat.AP stat.ME
Spatial clustering of extreme annual precipitation in Uruguay
这项工作的主要目标是研究乌拉圭境内最大年降雨量(通过每日观测)的空间格局,并说明最近提出的两种新统计工具的应用情况。在第一阶段,将研究各气象站年最大降水量的分布。在第二阶段,将采用空间聚类方法。为了得到每个站的最大值的分布,我们使用了截断的Cramér-von Mises假设检验(第一个统计工具),并表明它改进了经典的似然比检验的性能。结果发现,在18个研究地点的分布,最适合的数据是Gumbel型,并为其他两个,它是Fréchet型。关于聚类方法,使用了两种方法,其中一种是使用估计参数进行聚类,另一种是使用F-madogram作为距离的PAM方法,突出了乌拉圭全境的同质性。这项工作的另一个新颖之处(第二个统计工具)包括,作为聚类的补充,最近提出的独立性测试的基础上复发率。
2021-12-09 stat.AP
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI