Large-Scale Kernel Methods for Independence Testing
再生核希尔伯特空间中的概率测度表示为独立性的完全非参数假设检验提供了一个灵活的框架,它可以捕获任何类型的独立性偏离,包括非线性关联和多变量相互作用。然而,这些方法在观测的数量上具有至少二次的计算成本,这在许多应用中可能是禁止的。可以说,正是在这种大规模的数据集,捕捉任何类型的依赖是感兴趣的,所以罢工之间的计算效率和测试性能内核独立性测试的有利的权衡将有直接影响其在实践中的适用性。在这方面的贡献,我们提供了一个广泛的研究使用大规模的内核近似的独立性测试,对比基于块,Nystrom和随机傅立叶特征的方法。通过各种合成数据的实验,它表明,我们的新的大规模的方法提供了与现有的方法相当的性能,同时使用显着更少的计算时间和内存。
2016-06-25 stat.CO stat.ML
Optimal Adaptivity of Signed-Polygon Statistics for Network Testing
给定一个对称的社交网络,我们有兴趣测试它是只有一个社区还是多个社区。所需的测试应该(a)适应严重的程度异质性,(b)适应混合成员,(c)有一个易处理的空分布,(d)自动适应不同水平的稀疏性,并实现最佳相图。如何找到这样的测试是一个具有挑战性的问题。我们提出了一个新的测试类的签署多边形。固定$m \geq 3$,对于网络中的每个$m$边形,使用中心邻接矩阵定义分数。这些分数的总和就是$m$阶有符号多边形统计量。符号三角形(SgnT)和符号四边形(SgnQ)是符号多边形的特殊例子。我们证明了SgnT和SgnQ测试都满足(a)-(d),特别是,它们对于非常稀疏和不太稀疏的网络都很有效。我们提出的测试与现有的测试相比,毫不逊色。例如,EZ和GC测试在稀疏度较低的情况下表现得不令人满意,并且没有实现最佳相图。此外,许多现有的测试不允许严重的异质性或混合成员,它们在我们的设置中表现得不令人满意。对SgnT和SgnQ测试的分析是微妙的,并且非常繁琐,主要原因是我们需要一个统一的证明,该证明涵盖了广泛的稀疏性水平和广泛的度异质性。对于下界理论,我们使用一个相变框架,其中包括标准的极大极小参数,但更翔实。证明使用了关于矩阵缩放的经典定理。
2019-05-21 math.ST stat.ME stat.TH
Fast Two-Sample Testing with Analytic Representations of Probability Measures
本文提出了一类成本在样本量内为线性的非参数两样本检验。给出了两个测试,都是基于代表每个分布的解析函数之间的距离的集合。第一个测试使用平滑的经验特征函数来表示分布,第二个测试使用再生核Hilbert空间中的分布嵌入。分析性意味着在有限数量的随机选择的位置/频率上几乎可以肯定地检测到分布的差异。新的测试是一致的,对一个更大的类的替代品比以前的线性时间测试的基础上(非平滑)的经验特征函数,而更快地比目前最先进的二次时间内核为基础的或能量距离为基础的测试。人工基准测试和挑战性的现实世界的测试问题的实验表明,我们的测试提供了一个更好的功率/时间权衡比竞争的方法,在某些情况下,更好的直接功率甚至比最昂贵的二次时间测试。这种性能优势即使在高维中也能保持,并且在低顺序统计量下无法观察到分布差异的情况下也能保持。
2015-06-15 stat.ML
On conditional versus marginal bias in multi-armed bandits
多武器土匪武器的样本均值的偏差是自适应数据分析中的一个重要问题,最近在文献中受到了相当大的关注。现有的结果涉及到精确的方式的符号和幅度的偏差的各种来源的数据自适应性,但不适用于有条件的推理设置,其中的样本均值计算,只有当一些特定的条件得到满足。在本文中,我们刻画了条件偏差的单调函数的奖励,包括样本均值的符号。我们的研究结果适用于任意条件事件,并利用数据收集策略的自然单调性。我们进一步证明,通过序贯检验和最佳手臂识别的几个例子,手臂的样本均值的条件和边际偏倚的符号可以是不同的,这取决于条件事件。我们的分析提供了新的和有趣的观点的微妙之处,评估数据自适应设置的偏见。
2021-02-22 math.ST stat.ML stat.TH
Optimal Rates and Tradeoffs in Multiple Testing
多重假设检验是统计学中的一个中心话题,但是尽管对错误发现率(FDR)和相应的被称为错误未发现率(FNR)的第二类错误概念进行了大量的研究,但对多重检验的基本限制的细粒度理解尚未得到发展。我们的主要贡献是推导出一个精确的非渐近FNR和FDR之间的权衡广义高斯序列模型的一个变体。我们的分析是灵活的,足以允许分析的设置,其中的问题参数随假设$n$的数量,包括各种稀疏和密集的制度(与$o(n)$和$\mathcal{O}(n)$信号)。此外,我们证明了Benjamini-Hochberg算法以及Barber-Candès算法都是速率最优的常数在这些制度。
2017-05-15 math.ST stat.AP stat.ME
Comparing distributions: $\ell_1$ geometry improves kernel two-sample testing
CREST(法国国家经济研究中心);ENSAE(法国国家统计与经济管理学院);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学)
两组观测值是否来自同一分布?这个问题是一个双样本测试。核方法产生了许多吸引人的属性。实际上,最先进的方法使用基于内核的分布代表之间的$L^2$距离来导出它们的检验统计量。在这里,我们表明,$L^p$距离(与$p\geq 1$)这些分布的代表给出的度量空间的分布,表现良好,以检测分布之间的差异,因为他们度量弱收敛。此外,对于解析核,我们表明,$L^1$几何提供了可扩展的计算程序,提高了测试能力。具体来说,我们推导出一个有限维近似的度量给出的$\ell_1$规范的向量,捕捉不同的期望的分析功能评估在空间位置或频率(即功能)。可以选择特征以最大化分布的差异,并给出它们如何不同的可解释指示。使用$\ell_1$范数提供更好的检测,因为代表之间的差异是密集的,因为我们使用分析内核(几乎处处非零)。这些测试是一致的,同时比最先进的基于二次时间内核的测试快得多。基于$\ell_2$规范,对人工和真实世界问题的实验证明了比现有技术更好的功率/时间权衡,并且在某些情况下,甚至比最昂贵的二次时间测试更好的直接功率。
2019-10-01 cs.LG stat.ML
From Weak to Strong Testing in Gaussian Models
UC Berkeley(加州大学伯克利分校);Department of Mathematics, UC Davis(加州大学戴维斯分校数学系)
本研究在尖峰Wigner模型中,基于强检测需指数时间的猜想,精确刻画了多项式时间弱检测的最优错误权衡,由线性谱统计量实现,并建立了计算Neyman-Pearson引理,将弱检测问题归结为强检测问题。
2026-09-30 cs.CC math.ST stat.TH
Large-scale Multiple Testing: Fundamental Limits of False Discovery Rate Control and Compound Oracle
本文研究大规模多重检验中 FDR 与 FNR 的根本权衡,证明最优 FDR–FNR 边界需要复合规则,并给出高概率 FDP 控制下的对应最优结果。
2025-08-31 math.ST stat.ME stat.TH
BONuS: Multiple multivariate testing with a data-adaptive test statistic
Peking University(北京大学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校)
本研究提出BONuS自适应经验贝叶斯多重检验方法,可控制FDR并提升功效,经多场景验证有效。
2026-11-11 math.ST stat.ME stat.TH
Statistical Inference and Large-scale Multiple Testing for High-dimensional Regression Models
本文对高维回归模型(包括线性和逻辑斯谛回归)的统计推断和多重检验的最新发展进行了选择性的综述。我们检查的置信区间和假设检验的各种低维目标,如回归系数和线性和二次泛函的建设。其关键技术是为目标低维目标生成去偏和去parasized估计器,并估计其不确定性。除了涵盖这些统计方法背后的动机和直觉之外,我们还讨论了它们在高维推理背景下的最优性和自适应性。此外,我们还回顾了基于多元回归模型的统计推断的最新发展和高维回归的大规模多重检验的进展。R包SIHR已经实现了本文讨论的一些高维推理方法。
2023-01-25 math.ST stat.ME stat.TH
A significance test for the lasso
在稀疏线性回归设置中,我们考虑测试进入当前lasso模型的预测变量的显著性,在沿着lasso解决方案路径访问的模型序列中,我们提出了一个简单的基于lasso拟合值的检验统计量,称为协方差检验统计量,并表明当真实模型是线性的时,该统计量在原假设(原假设是所有真正有效的变量都包含在当前套索模型中)下具有$\operatorname {Exp}(1)$渐近分布。我们对第一个进入模型的预测变量的特殊情况(即,针对全局空值检验单个显著预测变量)仅需要对预测矩阵$X$的弱假设。另一方面,我们对套索路径中的一般步骤的证明对$X$和生成模型进行了进一步的技术假设,但仍然允许重要的高维情况$p>n$,并且不一定要求当前套索模型实现真正活跃变量的完美恢复。当然,为了检验两个嵌套线性模型之间附加变量的显著性,通常使用卡方检验,将残差平方和(RSS)的下降与$χ^2_1$分布进行比较。但是,当这个附加变量不是固定的,并且已经被自适应地或绿色地选择时,这个测试就不再合适了:自适应性使得RSS随机数的下降比原假设下的$χ^2_1$大得多。我们的分析明确说明了自适应性,因为它必须,因为套索建立一个自适应序列的线性模型作为调整参数$λ$减少。在该分析中,收缩起着关键作用:尽管自适应地选择了附加变量,但是由于$\ell_1$惩罚,套索活动变量的系数被收缩。因此,检验统计量(基于套索拟合值)在某种意义上被这两个相反的…
2014-05-26 math.ST stat.ME stat.TH
Testing and estimation in orthosymmetric Gaussian sequence model
Massachusetts Institute of Technology(麻省理工学院)
本文研究正交对称高斯序列模型,证明了拟合优度检验样本复杂度下界为估计复杂度平方根,并完全刻画了 $\ell_p$-体的无似然假设检验复杂度,发现了模拟与观测样本数间的新权衡。
2025-10-30 cs.IT math.IT math.ST
Testing Closeness With Unequal Sized Samples
Stanford University(斯坦福大学)
我们考虑了两个离散分布的紧密性检验问题,在实际相关的设置\emph{unequal}大小的样本从他们每个人。具体而言,给定目标误差参数$\varepsilon > 0$,$m_1$独立地从未知分布$p,$和$m_2$从未知分布$q$绘制,我们描述了用于区分$p=q$与$||p-q||_1 \geq \varepsilon$的情况的测试。如果$p$和$q$在大多数$n$元素上都得到支持,那么我们的测试成功的概率很高,只要$m_1\geq n^{2/3}/\varepsilon^{4/3}$和$m_2 = Ω(\max\{\frac{n}{\sqrt m_1\varepsilon^2}, \frac{\sqrt n}{\varepsilon^2}\});$,我们就表明这种权衡在整个范围内都是最优的,对于常数因子。这些结果扩展了Chan等人最近的工作,他们建立了两个样本大小相等时的样本复杂度,并通过$n$和$\varepsilon$中的多项式因子收紧了Acharya等人的结果。因此,我们获得了一种用于估计$n$状态上马尔可夫链的混合时间直至$\log n$因子的算法,该算法使用$\tilde{O}(n^{3/2} τ_{mix})$查询到“下一个节点”预言,改进了Batu等人的$\tilde{O}(n^{5/3}τ_{mix})$查询算法。最后,我们注意到我们测试算法的核心是一个相对简单…
2015-04-17 cs.IT cs.LG math.IT
Optimal Statistical Inference for Individualized Treatment Effects in High-dimensional Models
基于给定患者的概况来预测个体化处理效应(ITE)的能力对于个体化医疗是必不可少的。我们提出了一个假设检验的方法来选择两个潜在的治疗方案,为一个给定的个人在高维线性模型的框架。方法上的新颖之处在于构造了ITE的去偏估计量,并对任意未来高维观测值一致地建立了其渐近正态性,而现有方法只能处理某些特定形式的观测值。我们引入了一个测试程序与第一类错误控制,并建立其渐近功率。所提出的方法可以扩展到一般线性对比,包括平均处理效应和结果预测的推断。我们从极大极小和自适应的角度介绍了假设检验的最优性框架,并建立了所提出的过程的最优性。也被认为是高维近似线性模型的扩展。有限样本的性能的程序在模拟研究中得到证明,并进一步说明通过分析类风湿关节炎患者的电子健康记录数据。
2020-08-07 math.ST stat.ME stat.TH
Asymptotics for Outlier Hypothesis Testing
我们重新审视Li \emph{et al.}(TIT 2014)的离群值假设检验框架,并推导出最佳检验的基本限制。在离群值假设检验中,给定多个观察序列,其中大多数序列是i.i.d.生成的。从名义上的分布。任务是辨别根据异常分布生成的离群序列的集合。标称和异常分布为\emph{unknown}。我们考虑多个异常值的情况下,异常值的数量是未知的,每个异常值可以遵循不同的异常分布。在这种情况下,我们研究了误分类错误,虚警和假拒绝的概率之间的权衡。具体来说,我们提出了一个基于阈值的测试,确保指数衰减的误分类错误和虚警概率。我们研究了两个约束的假拒绝概率,一个约束是,它是一个非零常数,另一个是,它有一个指数衰减率。对于这两种情况下,我们的特征边界上的假拒绝概率,作为阈值的函数,为每个元组的标称和异常分布。最后,在广义Neyman-Pearson准则下证明了检验的渐近最优性。
2022-05-15 cs.IT eess.SP math.IT
Always Valid Inference: Bringing Sequential Analysis to A/B Testing
A/B检验通常通过频率论的p值和置信区间进行分析;但是如果用户通过 * 持续监控 * 他们的检验来内生地选择样本量,那么这些推断是完全不可靠的。我们定义了 * 始终有效 * 的p值和置信区间,让用户能够尽快利用数据,在做出决策时提供有效的统计推断。总是有效的推理可以被解释为一个自然的接口的顺序假设检验,它使用户能够实现一个修改后的测试为他们量身定制。特别是,我们在适当的意义上表明,我们开发的措施权衡样本量和功率效率,尽管缺乏用户的相对偏好这两个目标之间的先验知识。我们还使用始终有效的p值,以获得多个假设检验控制在顺序的上下文中。我们的方法已经在一个大规模的商业A/B测试平台上实现,分析了数十万个实验。
2019-07-16 math.ST stat.AP stat.ME
Hypothesis Testing with Conditional Queries: Learnability and the Value of Interaction
Fudan University(复旦大学)
该研究在有限结果空间的条件查询假设检验模型中,证明可学习性依赖分布类的成对条件概率正间隔,构建了可匹配自适应策略的非随机构建过程,得出交互仅带来二次方量级的查询效率提升而非指数级优势的结论。
2026-10-01 cs.LG math.ST stat.TH
The Price of Tolerance in Distribution Testing
我们重新讨论了容忍分布测试的问题。也就是说,给定来自未知分布$p$/$\{1, \dots, n\}$的样本,它是$\varepsilon_1$ -接近还是$\varepsilon_2$ -远离参考分布$q$(在总变异距离中)?尽管在过去十年中引起了很大的兴趣,但这个问题只在极端情况下才得到很好的理解。在无噪声设置中(即,$\varepsilon_1 = 0$),样本复杂度为$Θ(\sqrt{n})$,域大小为强次线性。在频谱的另一端,当$\varepsilon_1 = \varepsilon_2/2$时,样本复杂度跳到几乎是次线性的$Θ(n/\log n)$。然而,人们对中间状态知之甚少。我们充分描述了分布测试中的公差价格作为$n$、$\varepsilon_1$、$\varepsilon_2$的函数,直到单个$\log n$因子。具体来说,我们显示的样本复杂性是\[\tilde Θ\left(\frac{\sqrt{n}}{\varepsilon_2^{2}} + \frac{n}{\log n} \cdot \max \left\{\frac{\varepsilon_1}{\varepsilon_2^2},\left(\frac{\varepsilon_1}{\varepsilon_2^2}\right)^{\!\!2}\right\}\right),\]提供了一个平滑的折衷…
2021-11-09 cs.DS cs.IT math.IT
Precise Error Rates for Computationally Efficient Testing
针对高维假设检验中似然比检验计算不可行的问题,本文基于低次猜想,证明了线性谱统计量检验在计算高效检验中达到最优错误率权衡,并首次提供了推理高效计算下精确渐近检验误差的工具。
2025-04-24 math.ST stat.ML stat.TH
Second-Order Asymptotically Optimal Outlier Hypothesis Testing
我们重新审视Li \emph{et al.}(TIT 2014)的离群值假设检验框架,并推导出广义Neyman-Pearson准则下最优检验的基本极限。在离群值假设检验中,给定多个观察序列,其中大多数序列是i.i.d.生成的。从名义上的分布。任务是辨别从异常分布生成的一组离群序列。标称和异常分布为\emph{unknown}。我们研究的误分类错误,虚警和假拒绝的测试,满足弱条件的这些错误概率的下降率作为序列长度的函数的概率之间的权衡。具体来说,我们提出了一个基于阈值的测试,确保指数衰减的误分类错误和虚警概率。我们研究了两个约束的假拒绝概率,一个约束是,它是一个非零常数,另一个是,它有一个指数衰减率。对于这两种情况下,我们的特征边界上的假拒绝概率,作为阈值的函数,为每对标称和异常分布,并证明我们的测试下的广义奈曼-皮尔逊准则的最优性。我们首先考虑的情况下,最多一个边远序列,然后推广我们的结果的情况下,多个边远序列的边远序列的数量是未知的,每个边远序列可以遵循不同的异常分布。
2022-02-14 cs.IT math.IT math.ST