Causal Structural Hypothesis Testing and Data Generation Models
University of California, Los Angeles(加州大学洛杉矶分校)
大量的专家和领域知识被捕获的因果结构先验,但一直很少有研究测试这样的先验的泛化和数据合成的目的。我们提出了一种新的模型架构,因果结构假设检验,可以使用非参数,结构因果知识和近似因果模型的功能关系,使用深神经网络。我们使用这些架构来比较结构先验,类似于假设检验,使用训练和测试数据的故意(非随机)分裂。大量的模拟证明了分布外泛化误差作为因果结构先验假设检验的代理的有效性,并为解释结果提供了统计基线。我们表明,变分版本的架构,因果结构变分假设检验可以提高性能在低信噪比制度。由于模型的简单性和低参数计数,从业者可以在小数据集上测试和比较结构先验假设,并使用具有最佳泛化能力的先验来合成更大的因果信息数据集。最后,我们在合成摆数据集上验证了我们的方法,并在现实世界的创伤手术地面坠落数据集上展示了一个用例。
2022-11-04 cs.AI cs.LG stat.ML
A Unified View of Optimal Kernel Hypothesis Testing
Centre for Artificial Intelligence Gatsby Computational Neuroscience Unit(人工智能中心加布特计算神经科学单位)
本文提出了一种统一的最优核假设检验框架,涵盖了MMD两样本、HSIC独立性和KSD适配性方法,提出了自适应核选择方法,并探讨了计算效率、差分隐私和鲁棒性等约束条件下的最优分离率问题。
2025-12-28 cs.LG stat.ME stat.ML
Stock Price Forecasting and Hypothesis Testing Using Neural Networks
Rice University(莱斯大学);Department of Economics(经济学系)
在这项工作中,我们使用递归神经网络和多层感知器从历史数据中预测纽约证券交易所,纳斯达克和美国证券交易所的股票价格。我们使用不同的架构进行实验,并比较数据规范化技术。然后,我们利用这些发现,通过正式的统计检验来质疑有效市场假说。
2019-08-28 cs.LG econ.EM q-fin.ST
Kernel Two-Sample Hypothesis Testing Using Kernel Set Classification
研究了高维小样本量数据集的双样本假设检验问题。我们表明,两个样本的假设检验问题可以构成一类集分类问题。在集合分类问题中,目标是对假设具有共同类的一组数据点进行分类。我们证明了给定一个集合的平均错误概率小于或等于贝叶斯错误,并且随着集合中样本数据点的$n$数量的幂而减小。我们使用正定集核直接将数据集映射到相关的再生核希尔伯特空间,而不需要学习概率分布。我们特别解决了两个样本的假设检验问题,使用一个类SVM结合建议的集核。我们比较了所提出的方法与最大均值离散,F-检验和T-检验方法在一些具有挑战性的模拟高维和小样本量的数据。我们还对六个癌症基因表达数据集进行了双样本假设检验实验,并在所有数据集上实现了零I类和第二类错误结果。
2017-11-13 stat.ML
Private Sequential Hypothesis Testing for Statisticians: Privacy, Error Rates, and Sample Size
Harvard John A. Paulson School Of Engineering And Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Georgia Institute of Technology(佐治亚理工学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院);Department of Industrial Engineering and Operations Research, Columbia University(哥伦比亚大学工业工程与运筹学系)
序贯假设检验问题是一类样本量事先不确定的统计分析问题。相反,决策过程顺序地接受新的观察结果,以做出实时决策,用于针对原假设测试备择假设,直到满足某个停止标准。在序贯假设检验的许多常见应用中,数据可能具有高度敏感性,可能需要隐私保护;例如,序贯假设检验用于临床试验,医生按顺序收集患者的数据,必须确定何时停止招募患者以及治疗是否有效。差分隐私领域已经发展为提供具有强隐私保证的数据分析工具,并且已经普遍应用于机器学习和统计任务。在这项工作中,我们研究了顺序假设检验问题下的一个轻微的变化的差分隐私,被称为Renyi差分隐私。我们提出了一个新的私有算法的基础上沃尔德的序贯概率比测试(SPRT),也给出了强有力的理论隐私保证。我们提供了理论分析的统计性能衡量的I型和第二类错误,以及预期的样本量。我们还在几个合成数据库上实证验证了我们的理论结果,表明我们的算法在实践中也表现良好。与以往的工作,私人假设检验,只集中在经典的固定样本设置,我们的结果在顺序设置允许的结论,以达到更早,从而节省了收集额外的样本的成本。
2022-04-10 cs.LG math.ST stat.ML
Statistical Limits for Testing Correlation of Hypergraphs
本文研究了$n$上两个$m$ -一致超图之间相关性的假设检验问题。在零假设下,超图是独立的,而在备择假设下,超边具有与原假设相同的边缘分布,但在一些未知的节点置换后是相关的。我们重点讨论了两种情况:超图是由Gaussian-Wigner模型和稠密Erdös-Rényi模型生成的。我们推导出尖锐的信息论测试阈值。在阈值以上,存在区分备择假设和原假设的有效检验。在阈值以下,备择假设和原假设不可区分。阈值涉及$m$,并随着$m$变大而减小。这表明测试超图($m\geq3$)的相关性比测试图($m=2$)的相关性更容易
2022-02-11 math.ST stat.ML stat.TH
Robust hypothesis testing and distribution estimation in Hellinger distance
Google Research(谷歌研究院)
我们提出了一个简单的鲁棒假设检验,具有相同的样本复杂性的最佳Neyman-Pearson检验常数,但强大的分布扰动下Hellinger距离。我们讨论了这样一个强大的测试估计分布在Hellinger距离的适用性。我们经验证明的权力的典型分布的测试。
2020-11-03 cs.IT cs.LG math.IT
Multiple Hypothesis Testing in Pattern Discovery
多个假设检验的问题出现时,有一个以上的假设要同时测试的统计意义。这是许多数据挖掘应用程序中非常常见的情况。例如,同时评估单个数据集的所有频繁项集的重要性需要一系列假设,每个项集一个。需要多重假设检验方法来控制假阳性(第一类错误)的数量。我们在本文中的贡献是扩展的多假设框架,使用一个通用的数据挖掘算法。我们提供了一种方法,可证明控制的家庭明智的错误率(FWER,至少有一个假阳性的概率)在很强的意义上。我们评估我们的解决方案在真实和生成的数据上的性能。结果表明,我们的方法控制FWER,同时保持测试的功率。
2009-06-29 stat.CO stat.ML
Bayesian Hypothesis Testing for Block Sparse Signal Recovery
提出了一种新的块贝叶斯假设检验算法(Block-BHTA),用于重构具有未知块结构的块稀疏信号。Block-BHTA算法包括支撑点的检测和恢复,以及块稀疏信号幅度的估计。使用贝叶斯假设检验执行支持检测和恢复。然后,基于检测和重建的支持,非零幅度估计的线性MMSE。数值实验证明了Block-BHTA的有效性。
2015-08-22 cs.IT math.IT stat.ML
Communication-constrained hypothesis testing: Optimality, robustness, and reverse data processing inequalities
IBM Research(IBM研究院);University of Cambridge(剑桥大学)
本文研究通信约束下的假设检验,证明二元情形样本复杂度仅增加一个紧的对数因子并给出多项式时间算法,同时扩展到鲁棒检验并揭示 M 元情形的 Ω(M) 下界。
2023-12-15 cs.DS cs.IT cs.LG
Nonzero-sum Adversarial Hypothesis Testing Games
Indian Institute of Science(印度科学学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);MPI-SWS(马克斯·普朗克软件系统研究所)
我们研究了在对抗分类的背景下出现的非零和假设检验游戏,在贝叶斯框架和Neyman-Pearson框架中。我们首先表明,这些游戏承认混合策略纳什均衡,然后我们研究了一些有趣的集中现象,这些均衡。我们的主要结果是指数收敛率的分类错误在平衡,这是类似于著名的Baffff-Stein引理和Baffff信息描述的错误指数在经典的二元假设检验问题,但参数来自对抗模型。通过数值实验验证了结果。
2019-09-28 cs.GT cs.LG math.ST
Minimax Rates in Network Analysis: Graphon Estimation, Community Detection and Hypothesis Testing
本文综述了网络分析的基本极限和优化算法的一些最新进展。我们专注于最小最大最优率在网络分析的三个基本问题:图子估计,社区检测,和假设检验。对于每一个问题,我们回顾国家的最先进的结果,在文献中遵循的一般原则,导致最小最大估计和测试的最佳程序。这使我们能够从一般的角度将网络分析中的问题与其他统计推断问题联系起来。
2019-02-14 cs.SI math.ST stat.ML
Kernel Hypothesis Testing with Set-valued Data
我们提出了一个一般的框架假设检验的分布集的个别例子。集合可以表示许多常见的数据源,例如时间序列中的观察组、文本中的单词集合或给定现象的一批图像。然而,这种观察模式与假设检验所需的常见假设不同:每个集合的大小不同,可能具有不同的噪声水平,并且还可能包含与感兴趣现象的分析无关的干扰变异性;如果不考虑,则会使测试决策产生偏差的所有特征。在本文中,我们建议解释集作为独立的样本从一个潜在的概率分布的集合,并介绍核双样本和独立性测试在这个潜在的分布空间。我们证明了测试的一致性,并观察到它们在广泛的合成实验中表现出色。最后,我们展示了它们在医疗保健和气候数据实验中的实际应用,在这些实验中,以前需要进行特征提取和测试。
2021-02-02 stat.ME stat.ML
The Sample Complexity of Distributed Simple Binary Hypothesis Testing under Information Constraints
该研究解决了信息约束下分布式简单二元假设检验样本复杂度的两个公开问题,证明序贯交互不降低样本复杂度,推导了通信约束下的最优紧界,并提出三项关键技术贡献。
2025-06-16 cs.IT math.IT math.ST
hyppo: A Multivariate Hypothesis Testing Python Package
针对现有多元假设检验R包接口不一致、Python中可用工具少的问题,研究团队推出了Python包hyppo,它整合了多种前沿多元检验方法,易用且易扩展,为相关研究提供统一工具。
2024-09-13 cs.MS stat.CO stat.ME
Hypothesis Testing for Equality of Latent Positions in Random Graphs
考虑广义随机点积图的两个顶点$i$和$j$具有相同的潜在位置的假设检验问题,可能达到缩放。该假设检验的特殊情况包括测试随机块模型或度校正的随机块模型图中的两个顶点是否具有相同的块成员向量,或者测试受欢迎度调整的块模型中的两个顶点是否具有相同的社区分配。我们提出了几个检验统计量的基础上的经验马氏距离之间的$i$和$j$行的邻接或规范化的拉普拉斯谱嵌入的图形。我们表明,在温和的条件下,这些检验统计量的限制χ 2分布下的零和本地的备择假设,我们推导出明确的表达式的非中心参数下的本地备择。利用这些极限结果,我们解决了模型选择问题,包括标准随机块模型和它的度校正变量之间的选择,ER模型和随机块模型之间的选择。我们所提出的测试的有效性,通过模拟研究和实际数据的应用。
2022-03-12 stat.ME stat.ML
Testing Copula Hypothesis with Copula Entropy
本文提出基于连接熵的连接函数假设检验方法,定义统计量为假设与真实连接熵之差,并给出高斯和Gumbel特例,经模拟实验验证有效性。
2025-10-26 stat.ME
Hypothesis testing with active information
我们开发假设检验的积极信息-平均量的Kullback-Liebler分歧。据我们所知,这是第一篇论文,以获得确切的概率I型错误的假设检验在该地区。
2021-11-12 cs.IT math.IT math.ST
A layman's note on a class of frequentist hypothesis testing problems
据观察,对于简单假设之间的测试,其中I型和II型错误的成本可以量化,最好让优化选择测试大小。
2015-02-04 math.ST stat.TH
Chi-squared test for hypothesis testing of homogeneity
给出了齐性假设检验卡方检验的非参数备择集一致相合的充要条件。卡方检验的单元数随着样本量的增加而增加。非参数方案集可以用密度和分布函数来定义。
2021-08-26 math.ST stat.TH
Quantization of Prior Probabilities for Hypothesis Testing
贝叶斯假设检验研究假设的先验概率,作为一个随机向量,量化。最近邻和质心的条件,使用平均贝叶斯风险误差作为量化失真的措施。失真率函数的高分辨率近似也得到了。研究了隔离群体中的人类决策问题,假设贝叶斯假设检验与量化先验。
2008-05-28 cs.IT math.IT math.ST
On Hypothesis Testing for Poisson Processes. Singular Cases
研究了第一个假设是简单的,第二个假设是局部单侧复合的情况下的假设检验问题。讨论了当观测到的非齐次泊松过程的强度函数具有两种不同类型的奇异性:尖点奇异性和间断奇异性时,不同检验的阈值和幂函数的选择.通过数值模拟说明了渐近结果。
2015-02-24 math.ST stat.TH
On Robust Hypothesis Testing with respect to the Hellinger Distance
Tata Institute of Fundamental Research(塔塔基础研究所);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
研究了在样本可能不严格来自指定分布的情况下,如何通过Hellinger距离确定更接近的分布,并给出稳健检验的下界及对称卡方距离的启示。
2026-04-20 cs.IT math.IT math.ST
Comment: Quantifying the Fraction of Missing Information for Hypothesis Testing in Statistical and Genetic Studies
关于“统计学和遗传学研究中假设检验缺失信息部分的定量”的评论[arXiv:1102.2774]
2011-02-15 stat.ME
Quantum hypothesis testing for quantum Gaussian states: Quantum analogues of chi-square, t and F tests
我们对待量子对应的测试问题,其最佳测试卡方,t和F测试。这些量子对应物被表述为关于量子高斯态族的量子假设检验问题,并且包含具有群对称性的扰动参数。量子Hunt-Stein定理去除了一部分扰动参数,但其他类型的困难仍然存在。为了消除它们,结合量子Hunt-Stein定理和其他归约方法,建立了一个通用的归约定理,将一个复杂的量子假设检验问题归约为一个基本的量子假设检验问题.使用这些方法,我们推导出卡方,t和F检验的量子对应物作为各自设置中的最佳测试。
2011-10-28 math.ST quant-ph stat.TH
The power of forgetting in statistical hypothesis testing
本文提出将共形检验纳入一般统计假设检验框架,通过允许遗忘部分数据来完全覆盖共形检验,并指出标准方法的局限及未来研究方向。
2024-02-10 math.ST stat.ME stat.TH
Rejoinder: Quantifying the Fraction of Missing Information for Hypothesis Testing in Statistical and Genetic Studies
对“统计学和遗传学研究中假设检验缺失信息部分的定量”的反驳[arXiv:1102.2774]
2011-02-15 stat.ME
Minimum Probability of Error of List M-ary Hypothesis Testing
我们研究了贝叶斯M元假设检验的一个变体,在该检验中,在处理观察结果时,该检验输出M个可能的L个候选者的列表。研究了列表假设检验的最小错误概率问题,其中错误定义为真实假设不在检验输出列表中的事件。我们推导出两个精确的表达式的最小概率或错误。第一个是表示为某一非贝叶斯二元假设检验的错误概率,并让人想起元逆界。第二,表示为上述非贝叶斯二元假设检验中涉及的两个分布之间的似然比的尾概率。
2021-10-27 cs.IT math.IT math.ST
Large Deviation Analysis of Score-based Hypothesis Testing
本文分析基于分数的假设检验方法的性能,推导第一类与第二类错误概率上界,证明其指数在简单假设下渐近紧,并给出显式结果与数值验证。
2024-02-03 eess.SP stat.ME
Comment: Quantifying the Fraction of Missing Information for Hypothesis Testing in Statistical and Genetic Studies
关于“统计学和遗传学研究中假设检验缺失信息部分的定量”的评论[arXiv:1102.2774]
2011-02-15 stat.ME
Differentially Private Hypothesis Testing with the Subsampled and Aggregated Randomized Response Mechanism
随机应答是分析机密数据的最古老和最知名的方法之一。然而,它的效用差异私人假设检验是有限的,因为它不能同时实现高隐私级别和低第一类错误率。在本文中,我们将展示如何使用子样本和聚合技术来克服这个问题。其结果是一个通用的方法,可用于频率和贝叶斯测试。{{We举例说明我们的建议在三种情况下的性能:线性回归模型的拟合优度检验,Wilcoxon检验的位置参数的非参数检验,以及非参数Kruskal-Wallis检验。
2023-03-03 stat.ME
Hypothesis testing near singularities and boundaries
似然比统计量在规则模型点处具有渐近$χ^2$分布,通常用于假设检验。然而,在模型奇点和边界处,渐近分布可能不是$χ^2$,Drton最近的工作强调了这一点。实际上,$χ^2$在奇点和边界附近进行测试时的不良行为在模拟中是明显的,并且可能导致保守或反保守测试。在这里,我们开发了一个新的分布设计用于在奇点和边界附近的假设检验,渐近同意的似然比统计量。对于两个例子三项式模型,进化树的推理的背景下产生的,我们表明新的分布优于一个$χ^2$。
2018-06-22 math.ST q-bio.PE stat.TH
Weighted Hypothesis Testing
可以通过使用加权p值来增加多个检验程序的功效(Genovese,Roeder and Wasserman 2005)。我们推导出最佳的权重,我们表明,权力是非常强大的误指定这些权重。我们考虑在实践中选择权重的两种方法。第一,外部加权,是基于先验信息。第二种是估计权重,使用数据选择权重。
2006-04-07 math.ST stat.TH
Differentially private hypothesis testing in survival analysis
University of Warwick(华威大学)
本文研究了生存分析中差分隐私假设检验的问题,提出了针对Cox回归系数的隐私部分似然比检验和分数型检验,以及累积危险函数的隐私分布式两样本检验,并证明了差分隐私和有限样本检验保证以及最小最大下界,揭示了隐私在统计上可忽略、主导检验速率以及半参数生存模型中最优隐私检验率仍待解决的问题。
2026-05-16 math.ST stat.ME stat.TH
On Hypothesis Testing for Poisson Processes. Regular Case
研究了第一个假设为简单假设,第二个假设为局部单侧复合假设的假设检验问题。本文讨论了当观测到的非齐次泊松过程的强度函数关于参数光滑时,Score函数检验、一般似然比检验、Wald检验和两种Bayes检验的阈值和幂函数的选择。它表明,几乎所有这些测试是渐近一致最强大的。给出了数值模拟的结果。
2015-02-25 math.ST stat.TH
Optimal Rate-Exponent Region for a Class of Hypothesis Testing Against Conditional Independence Problems
研究了一类分布式条件独立性假设检验问题。在规定最小化的第二类错误率受到(恒定)上界$ε$的第一类出错率的标准下,我们表征了离散无记忆和无记忆矢量高斯设置的编码率和指数的集合。
2019-04-04 cs.IT math.IT math.ST
On the Chernoff bound for efficiency of quantum hypothesis testing
本文估计了量子假设检验的有效性的估计率。对于联合和可分离的测量,给出了近似的边界的速率,如果两个状态是混合和精确的表达式,如果至少有一个状态是纯的。可分离测量的测试的效率被发现是接近的联合测量的测试的效率。最后通过量子纠缠的实验验证了这一结果。
2003-08-08 math-ph math.MP math.ST
Sub-Gaussian Error Bounds for Hypothesis Testing
我们从几何的角度来解释基于似然的测试函数,其中Kullback-Leibler(KL)散度被用来量化从一个分布到另一个分布的距离。这样的测试函数可以被看作是一个亚高斯随机变量,我们提出了一个原则性的方法来计算其相应的亚高斯范数。然后,二元假设检验的误差界可以得到的亚高斯范数和KL的分歧,这是更丰富的信息比Pinsker的界时,规定的显着性水平。对于$M$ -ary假设检验,我们还得到了一个误差界,这是互补的Fano不等式,当假设的数量或样本量不大时,信息量更大。
2021-01-01 cs.IT math.IT math.ST
Hypothesis Testing via Euclidean Separation
我们讨论了一个“操作”的方法来测试凸复合假设时,底层分布是重尾的。它依赖于凸集的欧几里德分离,并且可以被看作是[8,12]中开发的凸优化测试方法的扩展。特别是,我们展示了如何可以构建准最优的测试程序的家庭是majorated,在一定的精确意义上,由一个亚球对称的,并研究测试之间的关系的基础上欧氏分离和“潜在的测试。“我们将推广的方法应用于顺序检测问题,并说明其在动态系统输入变化的顺序检测应用中的实际实现。[8]Goldenshluger,Alexander和Juditsky,Anatoli和Nemirovski,Arkadi,凸优化的假设检验,电子统计杂志,9(2):1645-1712,2015。[12]Juditsky,Anatoli和Nemirovski,Arkadi,通过仿射检测器进行假设检验,电子统计杂志,10:2204- 2242,2016。
2018-11-12 math.ST stat.TH
B-Value and Empirical Equivalence Bound: A New Procedure of Hypothesis Testing
在这项研究中,我们提出了一个两阶段的程序假设检验,其中第一阶段是传统的假设检验,第二阶段是一个等价性检验过程中引入的经验等价界。2016年,美国统计协会发布了一份关于P值的政策声明,以澄清正确的使用和解释,以回应对科学发现中可重复性和可复制性的批评。在统计假设检验中提高再现性和透明度的最新解决方案是将具有实际或科学意义的P值(或置信区间)整合。类似的想法已经通过等价性检验提出,其目标是在参数不平等的假设(空)下推断相等。然而,在这些测试程序中,科学显著性/等效性的定义可能是主观的。为了克服这个缺点,我们引入了一个B值和经验等价界,这两个都是从数据中估计的。执行第二阶段等效性检验,我们的程序提供了一个机会,以纠正假阳性发现,并提高跨研究结果的重现性。
2019-12-30 stat.ME
Combined Hypothesis Testing on Graphs with Applications to Gene Set Enrichment Analysis
受基因集富集分析的启发,我们研究了图上的组合假设检验问题。我们引入了一个通用的框架,有效地使用结构信息的基础图形时,测试多元手段。在此框架内提出了一个新的测试程序。我们表明,该测试是最佳的,因为它可以始终检测偏离集体零的速度,没有其他测试可以提高,几乎所有的图。我们还提供了一般的性能界限下的任何特定的图,并说明他们的效用,通过几种常见类型的图。数值实验进一步证明了我们的方法的优点。
2016-10-24 math.ST stat.AP stat.ME
Methods for Large-scale Single Mediator Hypothesis Testing: Possible Choices and Comparisons
由于原假设的复合结构,H 0:α * β =0(α:调整混杂因素后暴露对介质的影响; β:调整暴露和混杂因素后介质对结果的影响),大量介质的介质假设检验具有挑战性。本文综述了三类多中介假设检验方法。除了这些现有的方法,我们开发了Sobel-comp方法,它使用修正的混合参考分布的Sobel的检验统计量。我们进行了广泛的模拟研究,比较所有六种方法在原假设下的假阳性率和备择假设下的真阳性率。我们发现,这类方法使用的混合参考分布可以最好地保持在名义水平的原假设下的假阳性率和备择假设下有最大的真阳性率。我们应用所有的方法来研究DNA甲基化位点的调解机制的途径,从成人的社会经济地位糖化血红蛋白水平使用的数据来自多种族研究动脉粥样硬化(MESA)。我们还提供了指导原则,选择最佳的调解假设检验方法在实践中。
2022-03-24 stat.AP stat.ME
Hypothesis Testing for Shapes using Vectorized Persistence Diagrams
拓扑数据分析涉及数据形状的统计特征。持久同源性是拓扑数据分析的主要工具,可以用来分析拓扑特征和进行统计推断。在本文中,我们提出了一个两阶段的假设检验向量持久性图。第一阶段过滤向量化持久性图中的向量元素以增强测试的能力。第二阶段由多个假设检验组成,假阳性由错误发现率控制。我们证明了我们的方法的灵活性,通过将其应用到各种模拟和现实世界的数据类型。我们的研究结果表明,建议的假设检验,使准确和翔实的推断数据的形状相比,现有的持久同源性的假设检验方法。
2023-02-28 math.AT stat.ME
New Upper Bounds in the Hypothesis Testing Problem with Information Constraints
我们考虑一个假设检验问题,其中一部分数据是无法观察到的。我们的助手观察丢失的数据,并可以向我们发送有关它们的有限信息。什么样的有限信息将使我们能够做出最好的统计推断?特别是,如果我们直接观察所有数据,那么足以获得相同结果的最小信息是什么?我们推导出对该最小信息的估计和一些其他类似的结果。
2020-09-07 cs.IT math.IT math.ST
Optimal Statistical Hypothesis Testing for Social Choice
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们在本文中解决以下问题:“什么是最强大的统计方法的社会选择?"通过利用Neyman-Pearson框架中的一致最不利分布理论,对有限模型和随机化检验,我们刻画了一致最大功效(UMP)检验,这是一种被广泛接受的统计最优性。鲁棒性,用于测试给定的替代品是否是马洛斯的模型和孔多塞的模型下的赢家,分别。
2020-06-19 cs.AI cs.GT math.ST
Bayesian supervised predictive classification and hypothesis testing toolkit for partition exchangeability
实现了贝叶斯监督预测分类器、假设检验和分区可交换性下的参数估计。给出的两个分类器是边缘分类器(假设测试数据是i.i.d.)其次是计算成本更高但更准确的同步分类器(其基于所有测试数据的重复使用来一次找到整个测试数据集的标签以预测每个标签)。我们还提供了极大似然估计(MLE)的唯一的基本参数的分区交换生成模型,以及假设检验统计的平等,这个参数与一个单一的值,替代,或多个样本。我们提出的功能来模拟的序列从Ewens抽样公式的实现的泊松-狄利克雷分布和各自的概率。
2021-12-02 cs.MS stat.CO
Statistical hypothesis testing versus machine-learning binary classification: distinctions and guidelines
进行二元决策是科学研究和工业应用中常见的数据分析任务。在数据科学中,有两种相关但不同的策略:假设检验和二元分类。在实践中,如何在这两种策略之间做出选择可能不清楚,而且相当令人困惑。在这里,我们总结了这两种策略在三个方面的主要区别,并列出了五个实用的指导方针,供数据分析师根据特定的分析需求选择合适的策略。我们在癌症驱动基因预测的例子中展示了这些指导方针的使用。
2020-08-22 q-bio.QM stat.AP
On Universality and Training in Binary Hypothesis Testing
经典的二进制假设检验问题的重新审视。我们注意到,当其中一个假设是复合的,有一个内在的困难,在定义一个最优性标准,是既有信息和合理的。对于简单正态定位问题的检验(即检验多变量高斯分布的均值),我们克服了以下困难。在这个问题中,参数之间存在一个自然的硬度顺序,因为对于不同的参数,错误概率曲线(当参数已知时)要么相同,要么一个支配另一个。因此,我们可以将极小极大性能定义为低于某个硬度水平的参数中的最差情况。幸运的是,存在一个通用的极大极小检验,在这个意义上,它同时对所有硬度水平都是极大极小的。在此准则下,我们还找到了最佳的测试与训练数据的复合假设检验。这个标准扩展到广泛的本地渐近正态模型类,在渐近意义上的近似的错误概率是添加剂。由于我们有渐近最优的测试复合假设检验和没有训练数据,我们量化了这些模型的普适性损失和训练数据的增益。
2021-03-25 cs.IT math.IT math.ST
Stable Distillation and High-Dimensional Hypothesis Testing
针对高维回归中非正交预测变量难以独立检验的问题,提出 Stable Distillation,通过向结果向量注入噪声使效应估计正交,生成独立 p 值,并在模拟中达到或超过现有方法功效。
2025-01-09 stat.ME
Differentially Private Chi-Squared Hypothesis Testing: Goodness of Fit and Independence Testing
假设检验是一种有用的统计工具,用于根据总体样本确定是否应拒绝给定模型。样本数据可能包含有关个人的敏感信息,例如医疗信息。因此,重要的是要设计统计测试,以保证数据中受试者的隐私。在这项工作中,我们研究了假设检验受差异隐私,特别是卡方检验的拟合优度的多项式数据和两个分类变量之间的独立性。我们提出了新的测试适合的拟合优度和独立性测试,像经典版本可以用来确定是否一个给定的模型应该被拒绝或不,另外可以确保差分隐私。我们给出了基于蒙特卡罗的假设检验以及更严格遵循经典卡方拟合优度检验和皮尔逊卡方独立性检验的假设检验。至关重要的是,我们的测试考虑了注入的噪声的分布,以确保在确定显著性时的隐私。我们表明,这些测试可以用来实现所需的显着性水平,在鲜明的对比,直接应用经典的测试,以不同的私人列联表,这可能会导致广泛变化的显着性水平。此外,我们还研究了这些测试的统计功效。我们的经验表明,为了达到与经典非私人测试相同的功效水平,我们的新测试只需要相对适度地增加样本量。
2016-06-02 cs.CR math.ST stat.TH
Variational formulas for the power of the binary hypothesis testing problem with applications
推导了二元假设检验问题的幂的两个变分公式。第一个是给定的勒让德变换的某个功能和第二个,从第一个诱导,给出的累积分布函数(CDF)的对数似然比。第一个公式的一个应用是二元假设检验问题在雷尼发散方面的功率的上界。第二个公式提供了一个一般框架,用于证明渐近和非渐近表达式的功率的测试,利用相应的表达式的CDF的对数似然。该框架在中央限制制度(即,对于非零I型误差)和大偏差范围。
2016-01-25 cs.IT math.IT math.ST
Quantum Fluctuation-Response Inequality and Its Application in Quantum Hypothesis Testing
Wayne State University(韦恩州立大学)
该研究建立了通用量子涨落-响应不等式,推导了量子假设检验统计误差和的新型非渐近界定,还将结果应用于热力学假设检验等多个领域。
2026-08-03 math.ST quant-ph stat.TH
Permutation-based Hypothesis Testing for Neural Networks
神经网络是功能强大的预测模型,但它们对预测因子和结果之间关系的本质几乎没有提供任何见解。尽管已经提出了许多方法来量化输入特征的相对贡献,但特征关联的统计推断和假设检验仍在很大程度上未被探索。我们提出了一种基于置换的测试方法,该方法使用网络输出相对于特定输入的偏导数来评估输入特征的重要性以及重要特征是否与网络输出线性相关。这些测试可以灵活地应用于各种网络架构,增强了神经网络的解释能力,并与强大的预测能力相结合,扩展了这些模型的适用性。
2023-01-26 stat.ME
Hypothesis Testing of Blip Effects in Sequential Causal Inference
在这篇文章中,我们研究了治疗序列中治疗的瞬时/净效应的假设检验。说明了在原假设下,似然比检验和score检验可能存在维数灾难、零悖论和标准参数的高维约束.另一方面,我们在单点因果推断中通过少量的处理点效应构造Wald检验。我们表明,Wald测试可以避免这些问题,在相同的假设下,作为Wald测试测试点效应的治疗。仿真研究表明,Wald测试实现了标称水平的第一类错误和低水平的第二类错误。一个真实的医学例子说明了如何在实践中进行沃尔德测试。
2020-02-01 stat.ME