Change Point Analysis of Multivariate Data: Using Multivariate Rank-based Distribution-free Nonparametric Testing via Measure Transportation with Applications in Tumor Microarrays and Dementia
在本文中,我提出了一个通用的算法,通过多变量分布自由的非参数检验的概念的基础上,由测量运输定义的秩的多个变点分析。多元秩和通常的一维秩都有一个重要的性质:它们都是分布自由的。这一发现允许在原假设下创建无分布的非参数检验。这种方法在各种领域的应用,在本文中,我实现了这种算法的微阵列数据集的个人膀胱肿瘤,ECoG快照癫痫患者,并在CASI分数的轨迹的背景下,教育水平和痴呆状态。每个变化点表示认知能力评分多年变化率的变化,表明存在临床前痴呆。在这里,我将估计一个多变量时序观测序列中的变点数量及其位置。本文将研究多个变点问题,在一个广泛的设置中,观察到的分布和数量的变化点是未指定的,而不是假设的时间序列观测遵循参数模型或有一个变点,因为在这一领域的许多作品假设。这里的目标是创建一个算法来检测变化点,同时尽可能少地对数据集进行假设。给出了这种新算法的理论性质以及估计变点的近似数目和位置的条件。该算法也已在GitHub上提供的R包recp中成功实现。本文的一个部分专门介绍此过程的执行以及recp包的使用。
2021-11-07 stat.ME
A comparison of the Benjamini-Hochberg procedure with some Bayesian rules for multiple testing
在建模推理的精神,微阵列作为稀疏混合物的多重测试,我们提出了一个类似的方法来简化版本的数量性状基因座(QTL)定位。与微阵列的情况不同,在微阵列中测试的数量通常达到数万,在QTL扫描中进行的测试的数量通常不超过数百。然而,在典型的情况下,QTL作图的重要替代物的稀疏性$p$与微阵列的稀疏性在相同的范围内。为了方法上的兴趣,以及一些相关的应用,我们也考虑非稀疏混合。使用模拟以及理论观察,我们研究错误发现率(FDR),功率和误分类概率的Benjamini-Hochberg(BH)程序及其修改,以及各种参数和非参数贝叶斯和参数经验贝叶斯程序。我们的结果证实了Genovese和Wasserman(2002)的观察,即对于小p,BH的误分类误差在达到贝叶斯预言的意义上接近最优。这个属性是由一些考虑的贝叶斯测试规则共享的,对于大的或中等的$p$,它们通常比BH执行得更好。
2008-05-16 math.ST stat.TH
Simultaneous inference: When should hypothesis testing problems be combined?
现代统计学家经常同时面临成百上千个假设检验问题,这些问题来自新的科学技术,如微阵列、医疗和卫星成像设备或流式细胞计数器。相关的统计学文献往往从一个默认的假设开始,即一个单一的综合分析,例如错误发现率评估,应该应用于手头的整个问题集。这可能是一个危险的假设,正如本文中的例子所显示的那样,在任何特定的案例子类中都会导致过于保守或过于自由的结论。一个简单的贝叶斯理论产生了一个简洁的描述的影响,分离或组合的错误发现率分析。该理论允许在小的子类内进行有效的测试,并应用于“富集”,即检测多情况效应。
2008-03-27 stat.AP
An empirical Bayes testing procedure for detecting variants in analysis of next generation sequencing data
由于新一代测序技术具有成本低、数字分辨率高等优点,有望取代传统的基于杂交的微阵列技术。对于遗传学研究,NGS数据的第一步分析通常是识别测序样品中的基因组变异。在NGS研究中,已经开发了几种用于变异识别的统计模型和检验。然而,现有的方法,是基于传统的贝叶斯或频率论的方法,这是无法解决的多重性和测试效率的问题,同时。在本文中,我们推导出一个最佳的经验贝叶斯检验程序来检测变异的NGS研究。我们利用经验贝叶斯技术,利用跨站点的信息之间的许多测试网站的NGS数据。我们证明了我们的测试过程是有效的,最佳的意义上拒绝nonnull的最大数量,而贝叶斯错误发现率控制在一个给定的标称水平。我们通过模拟研究和真实数据分析表明,我们的测试效率可以大大提高超过现有的频率论方法,未能池和利用信息在多重检验网站。
2014-01-10 stat.AP
A Global Homogeneity Test for High-Dimensional Linear Regression
本文的动机是基于微阵列样本的遗传网络的比较。目的是测试两个推断的高斯图形模型之间观察到的差异是否来自实际差异或估计的不确定性。采用邻域方法,考虑了随机设计的两样本线性回归模型,给出了检验这两个回归是否相同的方法。依赖于多个测试和变量选择策略,我们开发了一个测试程序,适用于高维设置,协变量$p$的数量大于两个样本的观测数$n_1$和$n_2$。第一类和第二类错误显式控制从非渐近的角度来看,并证明了测试是极大极小自适应稀疏。测试的性能进行了评估模拟数据。此外,我们说明了如何使用这个程序来比较赫斯\emph{et al}乳腺癌微阵列数据集的遗传网络。
2014-06-19 math.ST stat.AP stat.ME
Exploratory data analysis for large-scale multiple testing problems and its application in gene expression studies
在大规模多重检验问题中,两类经验贝叶斯方法可用于控制研究中的整个假设阵列的错误发现率(FDR)。一个样本分裂的步骤被纳入修改的方法,其中一部分的数据被用于模型拟合和其他部分用于检测显著的情况下,通过筛选技术,具有经验贝叶斯模式的FDR控制。在重复的随机样本分割中具有高检测频率的病例被认为是真正的发现。设置临界检测频率以控制总体错误发现率。所提出的方法有助于平衡不必要的变异来源,并通过重新验证的交叉验证来解决核心经验模型的潜在统计过拟合问题。此外,并发检测频率被用来提供可视化工具,以探索重要案件之间的相互关系。使用微阵列数据集,RNA测序数据集,和几个模拟研究的方法进行说明。功率分析,以了解所提出的方法的效率。
2019-12-12 stat.AP stat.CO
Gene profiling for determining pluripotent genes in a time course microarray experiment
在微阵列实验中,通常感兴趣的是鉴定具有相对于时间的预定基因表达谱的基因。然而,文献中可用的方法在鉴定此类基因时通常不够严格,特别是当谱需要在某些时间点的基因表达水平相等时。在本文中,作者介绍了一种新的方法,称为基因分析,使用同时差分和等效基因表达水平测试排名基因根据预先指定的基因表达谱。基因谱分析将真实基因表达水平的载体视为适当载体的线性组合,即,为配置文件提供所需标准的向量。将该基因谱模型拟合到数据中,并将所得参数估计值总结在单个检验统计量中,然后将其用于对基因进行排序。本文讨论了基因分析的理论基础(等价性检验、交叉-联合检验),并将基因分析方法应用于我们的激励干细胞实验。
2008-07-23 stat.AP
Estimation of a Two-component Mixture Model with Applications to Multiple Testing
我们考虑一个已知组分的两组分混合模型。我们开发了非参数估计混合比例和未知分布的方法,给定i.i.d.~混合模型的数据,使用形状约束函数估计的思想。我们建立了估计量的一致性。我们发现的混合比例的估计的收敛速度和渐近极限。为混合比例制定了完全自动的无分布诚实有限样本置信下限。讨论了与多重检验问题的联系。模型的可辨识性,以及未知分布的密度估计也得到了解决。我们比较建议的估计,这是很容易实现的,与一些现有的程序,通过模拟研究和分析两个数据集,一个产生的应用在天文学和其他微阵列实验。
2015-11-09 stat.ME
Inference with Transposable Data: Modeling the Effects of Row and Column Correlations
我们考虑的问题的大规模推断的行或列变量的数据的形式的矩阵。通常,这些数据是可转置的,这意味着行变量和列变量都是潜在的。这种情况的一个例子是检测微阵列中的重要基因时,样品或阵列可能是依赖于由于潜在的关系。我们研究了常用的检验统计量,零分布,和多重检验程序的行和列的相关性的影响,明确建模的协方差与矩阵变量正态分布。使用这个模型,我们给出了理论和模拟结果,揭示了与使用标准的统计方法学对可转置数据的问题。我们通过同时估计行和列协方差,使用可转置的正则化协方差模型,并将数据去相关或球化作为预处理步骤来解决这些问题。在合理的假设下,我们的方法给出的检验统计量遵循缩放的理论零分布,近似独立。模拟的基础上,从真正的微阵列数据的结构化和观察到的协方差的各种模型表明,我们的方法提供了实质性的改进,在两个方面:1)增加统计功效和2)正确估计的错误发现率。
2010-04-01 stat.AP stat.ME stat.ML
Compound p-Value Statistics for Multiple Testing Procedures
许多多重检验程序利用来自各个假设检验对的p值,并且如果p值统计量在零假设下是独立且均匀分布的,则是有效的。然而,最近已经表明,这些类型的多重检验程序是低效的,因为这样的p值不依赖于所有可用的数据。本文提供了构建复合p值统计量的工具,这些统计量依赖于所有可用数据,但在零假设下仍然满足独立性和一致性条件。作为一个例子,一类复合p值统计量的位置偏移的测试。它表明,无论是分析和通过模拟,多重检验程序往往拒绝更多的虚假零假设时,这些复合p值,而不是通常的p值,并在同一时间仍然保证所需的第一类错误率控制。复合p值与两种不同的多重检验方法结合用于分析真实的微阵列数据集。将任一多重检验方法应用于复合p值,而不是通常的p值,可增强其功效。
2011-08-24 stat.ME
Inference on low-rank data matrices with applications to microarray data
探针级微阵列数据通常存储在矩阵中,其中行和列分别对应于阵列和探针。科学家们通常通过单个指标总结每个阵列,作为每个探针组(基因)的表达水平。我们研究的充分性的一个一维的总结特征的数据矩阵的每个探针集。要做到这一点,我们提出了一个低秩矩阵模型的探针级强度,并开发了一个有用的框架,用于测试针对目标的替代品的充分性的一维。这是一个有趣的统计问题,其中必须基于一个数据矩阵进行推断,该数据矩阵的条目不是独立同分布的。我们分析了所提出的检验统计量的渐近性质,并使用蒙特卡罗模拟来评估其小样本性能。所提出的测试基因芯片数据的应用程序表明,对一维模型的证据往往是一个探针集的实际相关功能的指示。
2010-09-29 stat.AP
Heterocedasticity-Adjusted Ranking and Thresholding for Large-Scale Multiple Testing
标准化已成为多重检验中广泛采用的实践,因为它考虑了抽样的变异性,并使不同研究单元的检验统计量具有可比性。然而,尽管传统的智慧相反,我们表明,有可能是一个显着的信息损失的基础上标准化的统计假设检验,而不是完整的数据。我们开发了一类新的异方差-调整的排名和阈值(HART)的规则,旨在改善现有的方法,同时利用共性和调整异质性的研究单位。HART的主要思想是绕过标准化,直接将汇总统计量及其方差纳入测试程序。一个关键的信息是,替代分布的方差结构,这是归入标准化统计,是高度信息化,可以利用,以实现更高的权力。所提出的HART过程被证明是渐近有效的,最佳的错误发现率(FDR)控制。我们的仿真结果表明,HART实现了相当大的功率增益在现有的方法在相同的FDR水平。我们通过骨髓瘤的微阵列分析来说明实施。
2020-03-06 math.ST stat.ME stat.TH
Tests for covariance matrix with fixed or divergent dimension
协方差结构检验在统计分析的许多领域都有重要意义,如微阵列分析和信号处理。传统的有限维协方差检验一般不能应用于高维数据,文献中的高维协方差检验通常依赖于矩阵的某些特殊结构。本文提出了一些经验似然比检验方法,用于检验协方差阵是否等于给定的协方差矩阵或是否具有带状结构。新检验的渐近分布与维数无关。
2013-10-30 math.ST stat.TH
The Control of the False Discovery Rate in Fixed Sequence Multiple Testing
控制错误发现率(FDR)是多重检验的一种有效方法。在许多应用中,测试的假设有一个固有的层次结构。在本文中,我们专注于固定序列结构的假设的测试顺序已被严格规定提前。我们有动机研究这样的结构,因为它是最基本的层次结构,但它经常出现在实际应用中,如统计过程控制和流数据分析。我们首先考虑一个传统的固定序列的方法,停止测试,一旦接受发生,并开发这样一种方法控制FDR下任意和负的依赖关系。在任意依赖下的方法被证明是不可改进的,而不会失去对FDR的控制,与现有的FDR方法不同,它甚至不能通过限制到通常的正回归依赖子集(PRDS)条件来改进。考虑到任何潜在的错误,在测试的顺序,我们延长了传统的固定序列的方法,允许更多,但一定数量的验收。仿真研究表明,所提出的程序可以强大的替代现有的FDR控制程序。通过一个真实的数据集,从微阵列实验所提出的程序进行说明。
2016-11-10 math.ST stat.ME stat.TH
Powerful Partial Conjunction Hypothesis Testing via Conditioning
针对标准部分合取假设检验保守性强、低信号下功效低的问题,提出基于基础p值顺序统计量条件化的cPCH检验,兼具有效性与低保守性,在多场景下表现更优,并通过DNA微阵列研究验证了应用价值。
2024-05-15 stat.ME
Classes of Multiple Decision Functions Strongly Controlling FWER and FDR
本文提出了两类一般的多个决策函数,其中第一类的每个成员强烈控制的家庭明智的差错率(FWER),而第二类的每个成员强烈控制的错误发现率(FDR)。这些类提供了一个最佳的多个决策函数相对于一个预先指定的标准,如错过的发现率(MDR),可以在这些类中找到的可能性。这样的多个决策函数可以用于多个测试,具体地,但不限于,高维微阵列数据集的分析。
2010-07-15 math.ST stat.TH
Detecting Multiple Replicating Signals using Adaptive Filtering Procedures
可复制性是科学发现的一个基本特征:我们感兴趣的是那些在不同实验室、研究人群、不同时间等中可检测到的信号。与元分析不同,元分析解释了实验变异性,但不保证可复制性,测试部分连接(PC)null的目的是专门识别在多项研究中发现的信号。在许多当代应用中,例如,为了比较多个高通量遗传实验,需要同时测试大量的$M$ PC空值,这需要多重比较校正。但是,对$M$ PC $p$-值进行标准多次测试调整可能非常保守,尤其是当$M$较大且信号稀疏时。我们介绍AdaFilter,一个新的多重检验程序,通过自适应地过滤掉不太可能的候选PC空值来增加功率。我们证明了AdaFilter可以控制FWER和FDR,只要研究之间的数据是独立的,并具有更高的权力比其他现有的方法。我们用三个例子说明AdaFilter的应用:杜氏肌营养不良症的微阵列研究,肺癌肿瘤中T细胞的单细胞RNA测序和GWAS的代谢组学。
2021-11-18 stat.ME
MixTwice: large-scale hypothesis testing for peptide arrays by variance mixing
肽微阵列已成为免疫蛋白质组学中的一项强大技术,因为它们提供了一种测量患者血清样品中不同抗体丰度的工具。许多实验的高维度和小样本量挑战了传统的统计方法,包括那些旨在控制错误发现率(FDR)的方法。出于对当前方法的再现性和功率的限制,我们提出了一种经验贝叶斯工具,该工具在提供所有测量的肽的估计效果和估计标准误的数据时,计算局部错误发现率统计和局部错误符号率统计。顾名思义,\verb +MixTwice+工具涉及两个混合分布的估计,一个基于基础效应,另一个基于基础方差参数。约束优化技术提供了在弱形状约束(效应分布的单峰性)下的混合分布的模型拟合。数值实验表明,\verb +MixTwice+能准确估计生成参数,并能有效识别非空肽.在类风湿性关节炎(RA)的肽阵列研究中,\verb +MixTwice+在一种信号弱的情况下回收有意义的肽标记物,在一种信号强的情况下具有很强的再现性。\verb +MixTwice+作为R软件包提供。\href{https://github.com/wiscstatman/MixTwice}{https://github.com/wiscstatman/MixTwice}
2020-11-15 stat.ME
Simultaneous critical values for $t$-tests in very high dimensions
本文考虑使用$t$检验的多假设检验问题。假设观察到的数据是独立生成的条件下的基础和未知的两个状态隐藏模型。我们提出了一个渐近有效的数据驱动的过程来找到拒绝区域的临界值控制$k$ -familywise差错率($k$ -FWER),错误发现率(FDR)和错误发现比例的尾部概率(FDTP)通过使用单样本和双样本$t$ -统计。我们只需要一个有限的四阶矩加上一些非常一般的条件的平均值和方差的人口凭借中度偏差性质的$t$ -统计量。提出了一种新的备择假设比例的相合估计量。模拟研究支持我们的理论结果,并表明,功率的多个测试程序可以大大提高直接使用临界值,而不是传统的$p$值的方法。我们的方法应用于白血病癌症研究的微阵列数据分析,该研究涉及同时测试大量假设。
2011-02-21 math.ST stat.TH
The Cyclohedron Test for Finding Periodic Genes in Time Course Expression Studies
从时间进程微阵列实验中发现周期性表达基因的问题是鉴定生物钟分子组成的众多努力的中心。我们提出了一种基于四面体检验的新方法来解决这个问题,四面体检验是一种受代数组合学最新进展启发的秩检验。该检验具有对测量误差鲁棒的优点,并且可以用于确定排名靠前的基因的显著性。我们将测试应用于最近发表的测量小鼠体节发生过程中的基因表达,并发现32个基因,共同是显着的。其中包括先前鉴定的参与Notch/FGF和Wnt信号通路的周期性基因,以及可能在调节分割时钟中起作用的新候选基因。这些结果证实,有一个异常的周期性基因在体节发育过程中表达丰富。本文的重点是统计学和组合学的基础上的多面体测试和它的实现在一个多测试框架。
2007-05-22 q-bio.QM stat.AP
P-values, q-values and posterior probabilities for equivalence in genomics studies
等价性检验在基因组学研究中具有重要意义,但迄今为止这方面的研究很少。在本文中,我们定义了基因表达等效性的概念,并确定了基因等效性的“证据强度”度量。在全基因组研究中,通常的做法是根据观察到的基因特异性P值或调整后的P值对基因进行排名,这被认为是为了衡量针对无差异基因表达的原假设的证据强度。我们在这里表明,无论是经验和正式的,等效P值不满足基本的一致性要求的有效的证据强度措施的等效性。这意味着广泛使用的q值(Storey,2002)定义为每个基因的最小阳性错误发现率,这将导致在发现集中包含相应的P值,不能转化为等效性检验框架。然而,当表示为后验概率时,我们发现q值确实满足一些基本的一致性要求,这些要求是等效性证据的可信度量。我们提出了一个简单的估计的q值从后验概率的等效性,并分析数据从小鼠干细胞芯片实验,证明了这里提出的理论和方法。
2012-01-31 math.ST q-bio.QM stat.AP
Rank Energy Statistics in the Context of Change Point Detection
在本文中,我提出了一个通用的程序,多变量分布的自由非参数检验来自的概念,是基于测量运输的背景下,多变点分析的行列。我将使用该算法来估计观测到的多变量时间序列中的变化点的数量及其位置。在本文中,观察到的变化点的问题,在一个一般的设置,其中给定的分布和数量的变化点是未知的,而不是假设所观察到的时间序列遵循一个特定的分布或只包含一个变化点,因为许多作品在这一领域的研究假设。这样做的目的是开发一种技术,用于准确识别分布的变化,同时尽可能少地做出假设。这里使用的秩能量统计是基于能量统计的,并且有可能检测分布中的任何变化。我提出了这个新算法的属性,它可以用来分析各种数据集,包括层次聚类,多元正态性检验,基因选择和微阵列数据分析。该算法也已在R包recp中实现,该包可在GitHub上获得。
2021-08-25 stat.OT
Statistical Inference for Ultrahigh Dimensional Location Parameter Based on Spatial Median
受机器学习中广泛使用的几何中位均值估计的启发,研究了一般多元模型下基于样本空间中位数的多维位置参数的统计推断,包括同时置信区间构造、全局检验和带错误发现率控制的多重检验.为了实现这些目标,我们推导出一种新的Bahadur表示的样本空间中位数的最大范数约束的剩余项,并建立高斯近似的样本空间中位数类的超矩形。此外,提出了一种乘子自举算法来近似样本空间中值的分布。当维数以样本量的指数速率发散时,近似是有效的,这便于在三维区域中应用空间中值。所提出的方法进一步说明了从微阵列研究的基因组数据集的模拟和分析。
2023-01-09 math.ST stat.ME stat.TH
Estimating the null distribution for conditional inference and genome-scale screening
在解决多重检验问题的一种新方法中,Efron(2004; 2007)制定了适用于对数千个未受影响的基因、非相关单核苷酸多态性或其他生物学特征的数据建模的零分布下的检验统计量或标称p值的分布估计。零分布的估计不仅可以改进经验贝叶斯方法,而且可以改进许多其他多重比较方法。这样的估计作为建议的多重比较程序的基础上,最近的频率最小化后的预期损失的方法,举例说明了一个非加性的损失函数设计的基因组筛选,而不是验证。估计零分布的优点是检查的有利位置,条件推理的其余部分的文件。在基因组规模多重检验的模拟研究中,将估计的零分布作为近似从属统计量,对观察到的置信水平进行条件化处理,显著改善了条件推断。为了使研究人员能够确定是否依赖于一个特定的估计零分布进行推理或决策,提供了一个信息理论得分,量化了条件反射的好处。作为辅助程度和推理关联程度的总和,得分反映了条件作用在两个冲突项之间的平衡。基因表达微阵列数据的应用程序说明了所介绍的方法。
2009-10-05 math.ST stat.ME stat.TH
Hypothesis setting and order statistic for robust genomic meta-analysis
荟萃分析技术在基因组学研究中得到了广泛的发展和应用,尤其是用于多个转录组学研究的结合。在本文中,我们提出了一个顺序统计量的$p$ -值($r$第二次有序$p$ -值,rOP)在联合研究作为检验统计量。我们说明了不同的假设设置,检测基因标记差异表达(DE)“在所有的研究”,“在大多数研究”或“在一个或多个研究”,并指定rOP作为一个合适的方法检测DE基因“在大多数研究。“我们开发的方法来估计参数$r$在rOP的实际应用。探讨了其渐近行为和单侧检验校正等统计特性,用于检测一致表达变化的标志物。功效计算和仿真表明,在聚焦假设设置下,rOP的性能优于经典Fisher方法、Stouffer方法、最小$p$值方法和最大$p$值方法。从理论上讲,rOP与朴素计票方法相联系,可以被看作是一种具有更好统计特性的广义计票方法。该方法适用于三个微阵列荟萃分析的例子,包括抑郁症,脑癌和糖尿病。结果表明,rOP作为一个更普遍的,强大的和敏感的统计框架,以检测疾病相关的标志物。
2014-07-31 q-bio.QM stat.AP
A two-sample test based on averaged Wilcoxon rank sums over interpoint distances
针对点云降维生成的距离样本存在依赖性的问题,提出基于平均Wilcoxon秩和的两样本多元同质性检验,证明其渐近性质与一致性,给出方差近似实现无分布检验,经模拟验证在高维小样本下性能良好,并应用于遗传微阵列病例对照研究。
2024-08-20 stat.ME
Statistical inference based on robust low-rank data matrix approximation
奇异值分解被广泛用于用低秩矩阵逼近数据矩阵。Feng和He [Ann. Appl. Stat. 3(2009)1634-1654]基于奇异值分解开发了对数据矩阵的平均结构的维度的测试。然而,第一奇异值和向量可以由少量的离群测量值驱动。在本文中,我们考虑了一个强大的替代方案,缓和低秩近似离群值的影响。在随机行效应的假设下,我们给出了鲁棒低秩逼近的渐近表示。这些表示可用于检验低秩近似的充分性。我们使用寡核苷酸基因微阵列数据,以证明如何强大的奇异值分解相比,其传统的同行。实例表明,稳健的方法往往导致更有意义的评估的基因强度数据矩阵的维数。
2014-02-27 math.ST stat.TH
Decision theory results for one-sided multiple comparison procedures
在过去的十年中,对多重假设检验的兴趣重新抬头。在基因组学、微阵列、DNA测序、药物筛选、临床试验、生物测定、教育和心理学研究的推动下,统计学家一直在投入相当大的研究精力,努力正确分析多个终点数据。针对新的申请、新的标准和新的方法,出现了许多临时程序。传统的要求是使用将强族差错率(FWE)控制在某个预定水平α的过程。也就是说,对真原假设的任何错误拒绝的概率应该小于或等于α。在这种要求下,很难找到理想的和强大的多个测试程序。最近的一个想法是控制错误发现率(FDR),即被拒绝的假设的预期比例,事实上,是真的。许多多重测试程序确实控制FDR。Lehmann [Ann. Math. Statistist. 23(1952)541-552和28(1957)1-25]。Lehmann的方法是决策论的,当有k个端点时,他将多个端点问题视为2^k有限行动问题。这种方法是有吸引力的,因为不像FWE和FDR标准,有限行动的方法注意到错误的接受以及错误的拒绝。
2005-04-25 math.ST stat.TH
The Minimax Risk in Testing Uniformity over Large Alphabets under Missing-Ball Alternatives
School of Computer Science at Reichman University(雷希曼大学计算机学院)
研究了对多项计数数据拟合泊松分布的良率检验问题,针对排除ℓ_p球(p≤2)的替代方案,推导了当样本数和类别数趋于无穷时的最小最大风险,并展示了该测试在小样本极限下依赖碰撞,但在其他情况下表现类似卡方检验,实验证明其在有限样本中表现优异。
2026-07-06 cs.IT math.IT math.ST
scikit-covtest: Covariance Matrix Hypothesis Testing in Python
Emory University(埃默里大学);Brigham Young University(杨百翰大学)
针对Python缺乏全面协方差矩阵假设检验实现的问题,研发了开源Python包scikit-covtest,提供四类协方差检验及相关支撑功能,降低了相关方法在科学应用中的应用门槛。
2026-08-04 stat.CO
Distance Assessment and Hypothesis Testing of High-Dimensional Samples using Variational Autoencoders
University of São Paulo(圣保罗大学);University of São Carlos(圣卡洛斯大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
给定两个不同的数据集,一个重要的问题是它们是否来自相同的数据生成函数,或者它们的数据生成函数如何相互偏离。在本文中,我们介绍了一种方法来测量两个高维数据集之间的距离,使用变分自编码器。这种方法通过排列假设检验来增强,以检查数据生成分布在显著性水平内相同的假设。我们评估的距离测量和假设检验方法上生成的和公共数据集。根据结果,所提出的方法可以用于数据探索(例如,通过量化图像类别之间的差异/可分性),这在大多数机器学习项目的管道的早期阶段特别有用。
2019-09-16 cs.LG stat.ML
De-Biased Two-Sample U-Statistics With Application To Conditional Distribution Testing
针对含冗余参数的两样本U统计量推断问题,提出带交叉拟合的一步估计框架以消除一阶偏差,并将其应用于条件分布检验,揭示两类冗余参数对共形秩和检验有效性的不同影响。
2024-01-31 stat.ME
Why Constants Matter in Distribution Testing: From Uniformity to Calibration
探讨分布测试中常数的重要性,指出速率-水平理论未解决常数水平问题,即样本复杂度阶相同的测试中哪个最佳。认为分布测试中的精确常数类似费希尔信息和平斯克常数,能区分测试、揭示信噪比并指导调参,通过实例进行了说明。
2026-07-10 cs.IT math.IT math.ST
Testing significance of features by lassoed principal components
我们认为,在高维设置的功能的意义测试的问题。特别是,我们在微阵列实验中测试差异表达的基因。我们希望确定与某种类型的结果相关的基因,例如生存时间或癌症类型。我们提出了一个新的程序,称为Lassoed主成分(LPC),建立在现有的方法,可以提供一个相当大的改进。例如,在两类数据的情况下,标准(虽然简单)方法可能是计算每个基因的双样本$t$统计量。LPC方法涉及将这些常规基因得分投影到基因表达数据协方差阵的特征向量上,然后应用$L_1$罚分以便对所得投影去噪。我们提出了一个理论框架下,LPC是识别显着基因的逻辑选择,我们表明,LPC可以提供一个显着减少错误发现率在传统的方法上的真实和模拟数据。此外,这种灵活的程序可以应用于各种类型的数据,并可用于改进许多现有的方法,用于识别显着的功能。
2008-11-11 stat.AP
Hypothesis Testing For Densities and High-Dimensional Multinomials: Sharp Local Minimax Rates
Carnegie Mellon University(卡内基梅隆大学)
我们考虑的拟合优度检验问题区分数据是否来自一个指定的分布,与一个复合替代分离的空在全变差度量。在离散的情况下,我们考虑拟合优度测试时,零分布有可能增长或无界的类别数。在连续的情况下,我们考虑测试的Lipschitz密度,可能无界的支持,在低光滑度制度的Lipschitz参数不被假定为常数。在现有的结果相比,我们表明,极大极小率和临界测试半径在这些设置强烈依赖,并在一个精确的方式,对零分布进行测试,这激发了研究的(本地)极大极小率作为一个功能的零分布。对于多项式的局部极小极大率最近研究的工作,英勇和英勇。我们重新访问和扩展他们的结果,并开发两个修改卡方检验的性能,我们的特点。为了测试Lipschitz密度,我们表明,通常的分仓测试是不够的,在低平滑度制度,我们设计了一个空间自适应分区方案,形成我们的局部极小极大最优测试的基础。此外,我们提供了第一个本地极大极小下界这个问题产生一个尖锐的表征的依赖临界半径的原假设进行测试。在低平滑度区域,我们还提供了自适应测试,以适应未知的平滑度参数。我们通过各种模拟来说明我们的结果,这些模拟证明了我们提出的测试的实际效用。
2017-06-30 cs.IT cs.LG math.IT
Multiple multi-sample testing under arbitrary covariance dependency
现代高通量生物医学设备常规地产生大规模的数据,并且高维数据集的分析在生物医学研究中已经变得司空见惯。然而,鉴于这些数据集中有数千或数万个测量变量,提取有意义的特征是一个挑战。在这篇文章中,我们提出了一个程序来评估一个名义(分类)响应变量和多个功能之间的关联的强度。具体而言,我们提出了一个框架下的大规模多重检验任意相关依赖的检验统计量。首先,分别对每个特征进行边际多项式回归。其次,我们使用多个边际模型的方法,为每个基线类别对建立渐近联合正态的堆叠向量的边际多项式回归系数。第三,我们估计所有边际模型估计系数之间的(极限)协方差阵。最后,我们的方法近似实现的错误发现比例的阈值处理过程的边缘p值,为每个基线类别对。所提出的方法提供了一个合理的权衡预期数量的真和假拒绝。此外,我们展示了一个实际应用的方法对高光谱成像数据。该数据集通过基质辅助激光解吸/电离(MALDI)仪器获得。MALDI在临床诊断,特别是癌症研究方面具有巨大的潜力。在我们的应用程序中,标称响应类别表示癌症亚型。
2022-02-24 stat.ME
Sharp Lower Bound on the Minimax Risk for Multinomial Uniformity Testing via a Conditional Central Limit Theorem
School of Computer Science, Reichman University(雷希曼大学计算机学院)
研究多项均匀性检验的极小极大拟合优度检验,针对\(\ell_p\)偏差,在\(N = o(n^2)\)且信噪比\(u_n\to u^*\in(0,\infty)\)的中间区域,利用条件中心极限定理证明极小极大风险的匹配下界。
2026-07-07 cs.IT math.IT math.ST
Computational Safety for Generative AI: A Hypothesis Testing Perspective
IBM Research(IBM研究院)
本文从假设检验角度形式化生成式AI的计算安全性,提出基于信号处理的方法检测恶意输入和AI生成内容。
2026-06-16 cs.AI cs.LG stat.ML
Bayesian testing of many hypotheses $\times$ many genes: A study of sleep apnea
大量的统计学研究最近已致力于分析大规模的微阵列实验,提供了一个措施的同时表达的数千个基因在一个特定的条件。典型的目标是比较两种条件之间的基因表达(例如,患病与未患病)以检测显示差异表达的基因。经典的假设检验程序已被应用于这个问题,最近的工作已经采用了复杂的模型,允许跨基因的信息共享。然而,许多最近的基因表达研究有一个试验设计与几个条件,需要一个更复杂的假设检验的方法。在本文中,我们使用一个分层贝叶斯模型来解决的情况下,有许多假设,必须同时测试每个基因。除了在每个基因中有许多假设之外,我们的分析还解决了同时测试许多基因的更典型的多重比较问题。我们说明我们的方法与应用程序的研究基因参与阻塞性睡眠呼吸暂停在人类。
2009-10-08 stat.AP stat.ME
A Test for Shared Patterns in Cross-modal Brain Activation Analysis
Bruno Kessler Foundation(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);UC Berkeley(加州大学伯克利分校)
确定不同的认知方式(这里理解为大脑对刺激的加工背后的认知过程的集合)依赖于重叠的神经表征的程度是认知神经科学中的一个基本问题。在过去的十年中,共享活动模式的识别主要是作为一个监督学习问题。例如,训练分类器以在模态I(例如感知)中区分类别(例如面部与房屋),并在模态II(例如图像)中对相同类别进行测试。这种类型的分析通常被称为交叉模态解码。在本文中,我们采取了不同的方法,而是制定的问题,评估共享模式的统计假设检验的框架内跨模态。我们提出了一个适当的检验统计量和一个基于排列检验的方案来计算这个检验的显著性,同时只做最小的分布假设。我们将该测试称为跨模态排列测试(CMPT)。我们还在合成数据集上提供了经验证据,证明我们的方法比跨模态解码方法具有更大的统计能力,同时保持较低的I型错误(拒绝真实的零假设)。我们比较了这两种方法的功能磁共振成像数据集与三种不同的认知方式(感知,图像,视觉搜索)。最后,我们展示了CMPT如何与探照灯分析相结合,以探索共享活动模式的空间分布。
2019-10-08 cs.LG q-bio.NC stat.ML
On testing the significance of sets of genes
本文讨论了从微阵列实验中识别差异表达基因组的问题。基因组是外部定义的,例如,来自生物数据库的基因通路组。我们的出发点是Subramanian等人[Proc.Natl. Acad. Sci. USA 102(2005)15545- 15550]。我们研究的问题,在一些一般性,并提出两个潜在的改进GSEA:最大均值统计总结基因集,和更准确的推理重新标准化。我们讨论了各种各样的例子和扩展,包括使用基因集得分的类预测。我们还描述了一个新的R语言包GSA实现我们的想法。
2007-09-04 math.ST q-bio.MN stat.AP
An adaptively weighted statistic for detecting differential gene expression when combining multiple transcriptomic studies
使用微阵列技术的全球表达分析在基因组研究中变得越来越普遍,因此,必须解决与组合来自多个研究的信息相关的新的统计挑战。在本文中,我们将描述我们的建议,自适应加权(AW)统计相结合的多个基因组研究检测差异表达的基因。我们还将介绍我们提出的AW统计量与Fisher等权重(EW),Tippett最小p值(minP)和Pearson(PR)统计量的比较结果。由于缺乏一个统一的强大的测试,我们使用了一个简化的高斯场景来比较这四种方法。我们的AW统计量始终为一系列替代假设产生最佳或接近最佳的功效。AW获得的权重还具有过滤不一致的生物标志物和提供用于进一步生物研究的天然检测的基因类别的额外优点。在这里,我们将使用多组织能量代谢小鼠、多实验室前列腺癌和肺癌的数据集,基于功效分析、模拟和应用的混合,证明我们提出的AW统计的优越性能。
2013-01-28 stat.AP
Spectral gene set enrichment (SGSE)
动机:基因集测试通常在监督的背景下进行,以量化基因组与临床表型之间的关联。然而,在许多情况下,在不存在表型变量的情况下,期望基因组数据的基于基因集的解释。尽管存在用于无监督基因集测试的方法,但它们主要计算相对于基因组变量的聚类的富集,其性能强烈依赖于聚类算法和聚类数。结果如下:我们提出了一种新的方法,光谱基因集富集(SGSE),基因集和经验数据源之间的关联的无监督竞争测试。SGSE首先使用我们的主成分基因集富集(PCGSE)方法计算基因集和主成分(PC)之间的统计关联。然后,通过使用加权Z方法将PC水平p值与设置为通过Tracey-Widom检验p值缩放的PC方差的权重组合,计算每个基因集与数据的谱结构之间的总体统计关联。使用模拟数据,我们表明,SGSE算法可以准确地恢复噪声数据的光谱特征。为了说明我们的方法在真实数据上的实用性,我们证明了SGSE方法相对于标准的基于聚类的技术的优越性能,用于测试MSigDB基因集与微阵列基因表达数据的方差结构之间的关联。联系人:rob. dartmouth.edu或jason.h. dartmouth.edu http://cran.r-project.org/web/packages/PCGSE/index.html
2014-05-13 q-bio.GN q-bio.QM stat.AP
Random-set methods identify distinct aspects of the enrichment signal in gene-set analysis
对于相对于细胞的两种或更多种状态具有改变的表达水平的基因,可以在不同程度上富集预先指定的基因组。了解功能类别定义的基因集的富集,如基因本体(GO)注释,对于分析微阵列表达数据中的生物信号是有价值的。测量富集的一种常见方法是根据功能类别中的成员资格和选定的显着改变的基因列表中的成员资格对基因进行交叉分类。例如,在该$2\times2$表中,小的Fisher精确检验$p$值指示富集。其他类别分析方法保留定量基因水平分数,并通过将类别水平统计量引用到与原始差异表达问题相关的排列分布来测量显著性。我们描述了一类测量富集信号的不同组分的随机集评分方法。这门课包括基于选定基因的Fisher检验,也包括对整个类别的平均基因水平证据的检验。平均和选择方法进行了比较经验上使用的Affyoung数据在鼻咽癌组织中的表达,并在理论上使用的差异表达的定位模型。我们发现,每种方法都有一个域的优势,在状态空间的丰富问题,这两种方法在实践中有好处。我们的分析还解决了两个问题相关的多类推理,即,同样丰富的类别没有检测到相同的概率,如果它们是不同的大小,也有依赖性的类别统计由于共享的基因。随机集富集计算不需要蒙特卡罗来实现。它们在R包allez中提供。
2007-08-31 stat.AP
Regularization and Model Selection for Ordinal-on-Ordinal Regression with Applications to Food Products' Testing and Survey Data
针对有序-有序回归,本文提出在累积logit模型中结合差分惩罚修改group lasso并引入fused lasso型惩罚,以实现有序预测变量的平滑、类别融合与因子选择,并在模拟和真实数据上验证了其有效性。
2024-07-24 stat.AP stat.ME