Only Closed Testing Procedures are Admissible for Controlling False Discovery Proportions
我们认为所有的多个测试方法控制的错误发现比例的尾部概率的类,无论是一个随机集或同时为许多这样的集。这类方法包括控制全家族差错率、广义全家族差错率、错误发现排除、联合差错率、同时控制所有错误发现比例等方法,以及看似无关的方法,如基因组学中的基因集测试和神经成像中的聚类推断方法。我们表明,所有这样的方法是等价于一个封闭的测试方法,或统一改进。此外,我们证明了一个封闭的测试方法是容许的方法控制尾部概率的错误发现的比例,当且仅当其所有的本地测试是容许的。这意味着,当设计这样的方法时,仅将注意力限制在封闭测试方法上就足够了。我们证明了这种设计原则的实际用途,通过构建一个统一的改进,最近提出的方法。
2022-04-29 math.ST stat.ME stat.TH
Testing Network Structure Using Relations Between Small Subgraph Probabilities
我们研究了利用小子图的观测频率之间的关系来测试网络结构的问题。考虑统计量\begin{align*} T_3 & =(\text{edge frequency})^3 - \text{triangle frequency}\\ T_2 & =3(\text{edge frequency})^2(1-\text{edge frequency}) - \text{V-shape frequency} \end{align*},在Erdens-Rényi零模型下证明了$(T_2, T_3)$的中心极限定理.然后,我们分析了在一般替代模型下相关的$χ^2$检验统计量的功效。特别是,当替代方案是一个$k$ -社区随机块模型,与$k$未知,测试的权力接近一。此外,所需的信噪比严格弱于社区检测所需的信噪比。我们还研究了三节点子图上的统计量与其他统计量的关系,并分析了在两种自然算法下的误差。总之,我们的研究结果表明,全球网络的结构特征可以推断出当地的子图频率,而不需要明确估计的全球社区结构。
2017-04-22 cs.SI math.ST stat.ME
Sequential multiple testing with generalized error control: an asymptotic optimality theory
在两个广义误差度量下研究了序贯多重检验问题。在第一种情况下,至少控制任何类型的$k$错误的概率。在第二种情况下,同时控制至少$k_1$假阳性和至少$k_2$假阴性的概率。对于每个配方,最佳预期的样本量的特点,一阶渐近近似的误差概率为0,并提出了一种新的多重检验程序,并证明是渐近有效的每个信号配置下。当各种假设的数据流是独立的并且每个局部对数似然比统计量满足某个强大数律时,这些结果成立。在i.i.d.的特殊情况下。在每个流中的观察,所提出的顺序程序超过固定样本量计划的收益进行了量化。
2018-06-18 math.ST stat.ME stat.TH
Goodness-of-fit testing of the distribution of posterior classification probabilities for validating model-based clustering
Univ. Rennes, Ensai, CNRS, CREST-UMR 9194(雷恩大学,ENSAI,CNRS,CREST);Université Bretagne Sud, UMR CNRS 6205, LMBA(南布列塔尼大学,CNRS联合研究单位6205,LMBA)
本文提出一种新的内部良率检验方法,通过测试后验分类概率在单位简单上的规范性,评估模型聚类结果的可靠性,适用于高维数据及无外部标签的情况。
2026-03-27 math.ST stat.TH
Imprecise probability trees: Bridging two theories of imprecise probability
我们给出了一个概述的两种方法,概率论,在较低和较高的概率,而不是概率,使用:瓦利的行为理论的不精确的概率,谢弗和Vovk的博弈论的概率。我们表明,这两个理论是更密切相关的比会怀疑乍一看,我们建立了它们之间的对应关系,(i)有一个有趣的解释,(ii)允许我们自由进口的结果从一个理论到另一个。我们的方法导致一个帐户的概率树和随机过程中的框架瓦利的理论。我们表明我们的结果可以用来减少处理概率树中的不精确性的计算复杂性,我们证明了一个有趣的和相当普遍的版本的弱大数定律。
2008-01-08 math.PR math.ST stat.ML
Property Elicitation on Imprecise Probabilities
Harvard University(哈佛大学);University of Tübingen and Tübingen AI Center(图宾根大学和图宾根人工智能中心)
本文研究了如何通过最大最小风险最小化来获取不精确概率的属性,探讨了分布鲁棒优化和多分布学习中的学习可能性。
2025-11-27 cs.LG math.ST stat.ML
Asymptotically optimal, sequential, multiple testing procedures with prior information on the number of signals
假设数据是从独立的数据流中顺序收集的,我们考虑了在两个一般设置下多个二元假设的同时检验;当信号的数量(正确的选择)是事先已知的,当我们只有一个下限和一个上界。在这些设置中,我们提出了可行的程序,控制,没有任何分布假设,类型I和类型II的族错误概率低于给定的用户指定的水平。然后,在i.i.d.的情况下,观察在每个流中,我们表明,所提出的程序实现最佳的预期样本量,在每一个可能的信号配置,渐近的两个错误概率消失在任意速率。一个模拟研究是在一个完全对称的情况下,并支持从我们的渐近结果,如事实上,知识的确切数量的信号大约一半的预期数量的观察相比,没有先验信息的情况下获得的见解。
2016-07-20 math.ST stat.ME stat.TH
Validation of credit default probabilities via multiple testing procedures
我们应用多重检验程序来验证信用评级系统中估计的违约概率。我们的目标是确定评级类别的违约概率估计不准确,同时仍然保持一个预定义的水平,犯第一类错误的家庭的错误率(FWER)和错误发现率(FDR)的测量。对于FWER,我们还考虑采取可能的离散数据的程序。考虑检验统计量。这些方法的性能示出在模拟设置和经验的默认数据。
2010-06-25 q-fin.ST stat.AP
Scoring Rules and Calibration for Imprecise Probabilities
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本研究将严格评分规则与校准概念推广至不精确概率场景,结合数据模型与决策问题构建理论框架,关联分布鲁棒性范式并揭示两类目标在不精确场景下的不一致性,还在机器学习实践中验证了相关洞见。
2024-10-30 cs.LG math.ST stat.TH
A new approach for imprecise probabilities
本文提出区间概率测度新概念,通过弱补和更新规则刻画不精确概率,并给出随机变量的区间分布与随机占优定义,最终形式化解决了凯恩斯-拉姆齐争议。
2024-02-04 math.PR math.ST stat.ML
Asymptotically Optimal Sequential Multiple Testing Procedures for Correlated Normal
本研究针对现有多重检验未覆盖相关数据流序贯框架的空白,在等相关高斯序贯均值检验场景下提出序贯检验程序,证明其在错误概率趋近于0时渐近达到最优期望样本量,且调整临界值后对多种多重检验错误度量均具渐近最优性。
2025-03-20 math.ST stat.ME stat.TH
Testing similarity of competing risks models by comparing transition probabilities
Ruhr University Bochum(鲁尔大学波鸿);University of Freiburg(弗赖堡大学)
本文提出基于转移概率矩阵的最大型距离检验框架,用于比较竞争风险模型的相似性,通过模拟研究证明其在控制I型错误和统计功效方面的优势。
2026-09-09 stat.ME
On asymptotically efficient statistical inference on a signal parameter
研究了高斯白噪声中信号参数的置信估计和假设检验问题。对于这些问题,我们指出了下界的渐近效率在区域的中等偏差概率。这些下界是局部渐近极小极大Hajek-Le Cam估计下界和假设检验Pitman有效性下界的版本。得到了中偏差概率对数渐近和锐渐近的下界。
2015-01-24 math.ST stat.TH
Optimal Group-Sequential Tests with Groups of Random Size
我们考虑顺序假设检验的基础上收到的观察组的随机大小。假设观察结果在组内和组间都是独立的。我们假设群的大小是独立的,它们的分布是已知的,并且群的形成与观测无关。我们关心的是用一个简单的替代方案来检验一个简单假设的问题。对于任何(组)序贯检验,我们考虑以下三个特征:它的I类和第二类错误概率和平均观测成本。在较弱的条件下,我们刻画了在I类和第二类错误概率不超过一定水平的序贯检验中,使观测值的平均代价最小的序贯检验的结构.
2021-10-08 math.ST stat.ME stat.TH
Systems of Precision: Coherent Probabilities on Pre-Dynkin-Systems and Coherent Previsions on Linear Subspaces
本文研究不精确概率的精确性系统,证明其在温和条件下构成 pre-Dynkin 系统,并揭示相干性与可扩张性等价及格对偶,还推广到线性子空间上的部分期望。
2023-06-05 math.ST stat.TH
Optimal Grouping for Group Minimax Hypothesis Testing
贝叶斯假设检验和极大极小假设检验代表了检测的极端情况,其中假设的先验概率要么完全精确已知,要么完全未知。组极大极小,也被称为伽玛极大极小,是贝叶斯和极大极小假设检验之间的一个强大的中介,它允许通过使用先验集合的信息来粗略或部分预先了解假设先验。现有的工作组极大极小,但是,不考虑如何定义的集合或组的先验的问题;它是假设,组给定的。在这项工作中,我们提出了一种新的中间检测方案,制定通过量化的先验概率,最佳地确定组和组内的代表先验的空间。我们表明,从量化的角度来看,组极大极小值相当于确定质心与极大极小贝叶斯风险误差发散失真标准:适当的布雷格曼分歧这项任务。此外,先验概率空间的最优划分是Bregman沃罗诺伊图。总之,最佳的分组和代表点是一个ε-网相对于贝叶斯风险误差发散,并允许率失真型渐近分析的检测性能与组的数量。检测被加性高斯白噪声破坏的信号和区分指数分布信号的例子。
2013-07-24 cs.IT math.IT math.ST
Minimax nonparametric testing in a problem related to the Radon transform
我们考虑的检测问题的二维函数从噪声观测其积分线。我们研究率和尖锐的渐近误差概率在极大极小设置。通过构造,导出的测试是非适应性的。我们还构造了一个结构相当简单的minimax率最优自适应测试。
2011-09-19 math.ST stat.TH
Optimal False Discovery Rate Control for Large Scale Multiple Testing with Auxiliary Information
大规模多重检验是高维统计推断中的一个基本问题。越来越普遍的是,各种类型的辅助信息,反映假设之间的结构关系,可用。利用这些辅助信息可以提高统计功效。为此,我们提出了一个框架的基础上,两组混合模型与不同的概率为空不同的假设先验,其中形状约束的关系之间施加的辅助信息和先验概率为空。在控制平均错误发现率的情况下,设计了一个最优拒绝规则,以最大化真阳性的期望数量。针对有序结构,我们提出了一种稳健的期望最大化算法,用于同时估计在备择假设下的先验概率为零概率和$p$ -值的分布.我们表明,所提出的方法具有更好的权力比国家的最先进的竞争对手,同时控制错误发现率,经验和理论。大量的仿真实验证明了该方法的优越性。来自全基因组关联研究的数据集被用来说明新的方法。
2021-03-29 stat.ME
Neyman-Pearson Hypothesis Testing, Epistemic Reliability and Pragmatic Value-Laden Asymmetric Error Risks
奈曼和皮尔逊的假设检验理论并不保证最低认知可靠性:即得出正确结论的频率高于得出错误结论的频率。该理论并不能避免错误概率的语用价值负载的不平等设置对该理论的认识可靠性可能产生的负面影响。最重要的是,在负面影响的情况下,没有方法论的调整可以抵消它,所以在这种情况下,讨论的理论的实用价值负载不可避免地妥协的目标,达到真理。
2021-07-05 math.ST stat.TH
Jensen's and Cantelli's Inequalities with Imprecise Previsions
我们研究如何基本的概率不等式可以扩展到一个不精确的框架,(精确)的概率和期望取代不精确的概率和较低/较高的预测。我们专注于一个单一的有界随机变量$X$的信息不等式,考虑凸/凹函数的$X$(詹森的不等式)或单侧的界限,如$(X\geq c)$或$(X\leq c)$(马尔可夫和Cantelli的不等式)。至于相关的不精确的不确定性措施的一致性,我们的分析认为一致性以及较弱的要求,特别是$2$ -一致性,这往往被证明是足够的。詹森式不等式的介绍,以及推广最近的改进詹森不等式。提出了它们的一些应用:李雅普诺夫不等式的扩展和推理问题。在讨论了上下马尔可夫不等式后,证明了Cantelli型不等式对于相应的上下预测具有不同程度的一致性.在相干不精确预测的情况下,相应的Cantelli不等式利用Walley的上下方差,通常确保更好的边界。
2022-11-02 math.PR math.ST stat.TH
Multiplicative models for frequency data, estimation and testing
本文是关于模型的一个向量的概率,其元素必须有一个乘法结构和总和为1在同一时间,在某些应用中,如篮子分析,这些模型可以被看作是一个约束版本的准独立性。在回顾了这些模型的基本性质之后,研究了它们作为曲线指数族的几何特征。提出了一种计算最大似然估计的新算法,并对基本几何结构提供了新的见解。本文导出了三种用于假设检验的统计量的渐近分布,并进行了一个小型的模拟研究,以考察渐近近似的精度。
2018-04-15 math.ST stat.TH
Hypothesis testing with active information
我们开发假设检验的积极信息-平均量的Kullback-Liebler分歧。据我们所知,这是第一篇论文,以获得确切的概率I型错误的假设检验在该地区。
2021-11-12 cs.IT math.IT math.ST
Testing equivalence of multinomial distributions -- a constrained bootstrap approach
本文提出一种约束自助法检验,用于判断两个多项分布是否等价,不要求范数可微,适用于最大范数和$L^1$-范数。
2023-05-15 math.ST stat.TH
P-values, q-values and posterior probabilities for equivalence in genomics studies
等价性检验在基因组学研究中具有重要意义,但迄今为止这方面的研究很少。在本文中,我们定义了基因表达等效性的概念,并确定了基因等效性的“证据强度”度量。在全基因组研究中,通常的做法是根据观察到的基因特异性P值或调整后的P值对基因进行排名,这被认为是为了衡量针对无差异基因表达的原假设的证据强度。我们在这里表明,无论是经验和正式的,等效P值不满足基本的一致性要求的有效的证据强度措施的等效性。这意味着广泛使用的q值(Storey,2002)定义为每个基因的最小阳性错误发现率,这将导致在发现集中包含相应的P值,不能转化为等效性检验框架。然而,当表示为后验概率时,我们发现q值确实满足一些基本的一致性要求,这些要求是等效性证据的可信度量。我们提出了一个简单的估计的q值从后验概率的等效性,并分析数据从小鼠干细胞芯片实验,证明了这里提出的理论和方法。
2012-01-31 math.ST q-bio.QM stat.AP
Judicious Judgment Meets Unsettling Updating: Dilation, Sure Loss, and Simpson's Paradox
使用不精确概率的统计学习正受到越来越多的关注,因为它提供了一种替代策略,通过将用户从编造不必要的高分辨率假设的任务中解放出来,来减少不可复制的发现。然而,模型更新作为一个数学运算本身是准确的,因此更新不精确的模型需要用户的判断,在竞争中选择更新规则。这些规则通常会导致不相容的推论,并可能表现出令人不安的现象,如膨胀,收缩和确定损失,这在贝叶斯规则和精确概率中不会发生。我们重新审视了一些著名的“悖论”,包括三个囚犯/蒙蒂霍尔问题,揭示了一个逻辑谬误产生于一组看似合理,但共同不可否认的假设时,更新的基础不精确的模型。我们建立了一个等价的辛普森悖论和一个隐式采用的一对聚集规则,诱导确定的损失。我们还探讨了行为之间的差异广义贝叶斯规则,Dempster的规则和几何规则作为替代后更新规则Choquet能力的顺序2。我们发现,无论我们的数据中的信息有多强,广义贝叶斯规则和几何规则都无法更新,没有先验信息,Dempster规则和几何规则可以在数学上相互矛盾的膨胀和收缩。我们的研究结果表明,令人不安的更新反映了规则的假设和模型本身允许的不精确性之间的冲突,突出了明智的判断在处理低分辨率信息中的宝贵作用,以及我们在应用学习规则更新不精确概率时必须小心。
2017-12-24 math.ST stat.ME stat.TH
Second-Order Asymptotically Optimal Outlier Hypothesis Testing
我们重新审视Li \emph{et al.}(TIT 2014)的离群值假设检验框架,并推导出广义Neyman-Pearson准则下最优检验的基本极限。在离群值假设检验中,给定多个观察序列,其中大多数序列是i.i.d.生成的。从名义上的分布。任务是辨别从异常分布生成的一组离群序列。标称和异常分布为\emph{unknown}。我们研究的误分类错误,虚警和假拒绝的测试,满足弱条件的这些错误概率的下降率作为序列长度的函数的概率之间的权衡。具体来说,我们提出了一个基于阈值的测试,确保指数衰减的误分类错误和虚警概率。我们研究了两个约束的假拒绝概率,一个约束是,它是一个非零常数,另一个是,它有一个指数衰减率。对于这两种情况下,我们的特征边界上的假拒绝概率,作为阈值的函数,为每对标称和异常分布,并证明我们的测试下的广义奈曼-皮尔逊准则的最优性。我们首先考虑的情况下,最多一个边远序列,然后推广我们的结果的情况下,多个边远序列的边远序列的数量是未知的,每个边远序列可以遵循不同的异常分布。
2022-02-14 cs.IT math.IT math.ST
Asymptotics for Outlier Hypothesis Testing
我们重新审视Li \emph{et al.}(TIT 2014)的离群值假设检验框架,并推导出最佳检验的基本限制。在离群值假设检验中,给定多个观察序列,其中大多数序列是i.i.d.生成的。从名义上的分布。任务是辨别根据异常分布生成的离群序列的集合。标称和异常分布为\emph{unknown}。我们考虑多个异常值的情况下,异常值的数量是未知的,每个异常值可以遵循不同的异常分布。在这种情况下,我们研究了误分类错误,虚警和假拒绝的概率之间的权衡。具体来说,我们提出了一个基于阈值的测试,确保指数衰减的误分类错误和虚警概率。我们研究了两个约束的假拒绝概率,一个约束是,它是一个非零常数,另一个是,它有一个指数衰减率。对于这两种情况下,我们的特征边界上的假拒绝概率,作为阈值的函数,为每个元组的标称和异常分布。最后,在广义Neyman-Pearson准则下证明了检验的渐近最优性。
2022-05-15 cs.IT eess.SP math.IT
Large Deviation Analysis of Score-based Hypothesis Testing
本文分析基于分数的假设检验方法的性能,推导第一类与第二类错误概率上界,证明其指数在简单假设下渐近紧,并给出显式结果与数值验证。
2024-02-03 eess.SP stat.ME
Bayesian supervised predictive classification and hypothesis testing toolkit for partition exchangeability
实现了贝叶斯监督预测分类器、假设检验和分区可交换性下的参数估计。给出的两个分类器是边缘分类器(假设测试数据是i.i.d.)其次是计算成本更高但更准确的同步分类器(其基于所有测试数据的重复使用来一次找到整个测试数据集的标签以预测每个标签)。我们还提供了极大似然估计(MLE)的唯一的基本参数的分区交换生成模型,以及假设检验统计的平等,这个参数与一个单一的值,替代,或多个样本。我们提出的功能来模拟的序列从Ewens抽样公式的实现的泊松-狄利克雷分布和各自的概率。
2021-12-02 cs.MS stat.CO
Data Models With Two Manifestations of Imprecision
本文提出放宽 i.i.d. 假设、由概率测度集合参数化的数据模型,刻画聚合与局部(不)正则性的相互作用,并探讨其估计、机器学习应用及对评分规则与校准推广的意义。
2025-01-07 math.ST stat.TH
The Inuence of Misspecified Covariance on False Discovery Control when Using Posterior Probabilities
研究了大规模多重检验问题中协方差结构的错误设定对错误发现率的影响。具体来说,我们评估的影响,局部FDR统计,这是在许多多重检验程序和相关的贝叶斯后验概率的边缘分布。在正确指定和不正确指定的模型下,推导出了边缘分布的显式形式。Kullback-Leibler分歧被用来量化错误指定所造成的影响。数值例子说明了这种影响。讨论了一个真实的土壤湿度时空数据。
2017-09-15 math.ST stat.ME stat.TH
Testing for observation-dependent regime switching in mixture autoregressive models
当状态转换概率被指定为常数(“混合模型”)或由有限状态马尔可夫链(“马尔可夫转换模型”)控制时,状态转换的测试是长期存在的问题,最近也引起了人们的兴趣。本文考虑测试时的政权切换概率是随时间变化的,并依赖于观测数据(“观测依赖政权切换”)。具体地说,我们考虑了混合自回归模型中依赖于观测的状态转换的似然比检验。测试问题是高度非标准的,涉及未识别的干扰参数下的零,边界上的参数,奇异信息矩阵,和高阶近似的对数似然。我们推导出渐近零分布的似然比检验统计量在一般的混合自回归设置使用高层次的条件,允许各种形式的依赖关系的政权切换概率对过去的观察,我们说明了理论使用两个特定的混合自回归模型。似然比检验有一个非标准的渐近分布,可以很容易地模拟,和蒙特卡罗研究表明,该测试有令人满意的有限样本量和功率属性。
2017-11-10 econ.EM math.ST stat.ME
The shape of incomplete preferences
不完全偏好为不精确的主观概率和效用模型提供了认识基础,这些模型用于稳健贝叶斯分析和有限理性理论。本文提出了一个简单的公理化的不完全偏好和表征的形状,其代表集的概率和效用。从Anscombe和Aumann的公理系统中删除完整性假设,产生由状态依赖的预期效用的凸集表示的偏好,其中至少一个必须是概率/效用对。需要加强状态独立性公理,以获得纯粹的一组概率/效用对的表示。
2007-02-23 math.ST stat.TH
On the relation between likelihood ratios and p-values for testing success probabilities of Bernoulli trials
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文研究了p值与似然比之间的渐近关系,指出在硬币抛掷情境中,p值为0.05时似然比上限不超过7.5,并探讨了通过抛硬币获取大似然比的可能性。
2026-03-20 math.ST stat.TH
New Lower Bounds for Testing Monotonicity and Log Concavity of Distributions
UC San-Diego(加州大学圣地亚哥分校);New York University(纽约大学)
本文提出了一种通过微调成对桶概率构建矩匹配分布族的新技术,用于证明分布测试下界,并据此获得了离散立方体单调性测试的新下界和对数凹性测试的紧下界。
2023-07-31 cs.LG math.ST stat.TH
Decision-theoretic justifications for Bayesian hypothesis testing using credible sets
在贝叶斯统计中,精确点原假设$θ=θ_0$可以通过检查$θ_0$是否包含在可信集中来检验.这允许测试$θ=θ_0$,而不必对假设施加先验概率。虽然这种可信集的反演在贝叶斯推理中有很长的历史,但它们因缺乏决策理论的理由而受到批评。我们认为,这些测试有许多优势,比标准的贝叶斯检验,使用点质量概率的原假设。通过研究一个具有方向性结论的三判定问题,我们给出了中心可信区间的反演的决策理论证明,并在一个特殊情况下证明了HPD集。通过解释证明中所使用的损失函数,讨论了基于可信集的检验在什么情况下适用。然后,我们给出了一些理由,使用可信集测试复合假设时,可信集的基础上,在这种情况下,测试符合标准测试。
2012-12-17 math.ST stat.TH