An estimation method for the chi-square divergence with application to test of hypotheses
我们提出了一个新的定义卡方分布之间的分歧。基于凸性和对偶性,这个版本的χ^2非常适合于χ^2在列联表分析中的经典应用,也适合于参数模型的统计检验,对于参数模型,它一直被提倡对内点具有鲁棒性。我们在测试中提出了两个应用程序。在第一个中,我们处理有限和无限数量的线性约束的测试,而在第二个中,我们应用χ^2-方法的参数测试对污染。
2011-01-23 math.ST stat.TH
Note on distribution free testing for discrete distributions
本文提出了一对一的变换向量的分量$\{Y_{in}\}_{i=1}^m$皮尔逊卡方统计量,\[Y_{in}=\frac{ν_{in}-np_i}{\sqrt{np_i}},\qquad i=1,\ldots,m,\]到另一个向量$\{Z_{in}\}_{i=1}^m$,因此,包含相同的“统计信息”,但渐近分布自由。因此,基于$\{Z_{in}\}_{i=1}^m$的任何函数/检验统计量也是渐近分布自由的。此类检验统计量的自然示例是来自部分和$\sum_{I\leq k}Z_{in}$的传统拟合优度统计量。补充说明了如何在独立利益的问题的方法工程:与齐普夫法和Karlin-Rouault法作为特定的替代品的幂律分布的拟合优度测试。
2014-01-03 math.ST stat.TH
Testing for common arrivals of jumps for discretely observed multidimensional processes
我们考虑一个二元过程$X_t=(X^1_t,X^2_t)$,这是观察到一个有限的时间间隔$[0,T]$在离散时间$0,Δ_n,2Δ_n,....$假设它的两个组件$X^1$和$X^2$有跳跃$[0,T]$,我们得到测试,以决定是否有至少一个跳跃发生在同一时间(“共同跳跃”)或没有(“不相交跳跃”)。对于两个可能的零假设有两种不同的检验(共同跳跃或不相交跳跃)。这些检验具有规定的渐近水平,因为网格$Δ_n$变为0。我们在一些模拟中表明,即使在有限样本的情况下,这些测试也表现得相当好,我们也把它们用于一些汇率数据。
2009-08-13 math.ST stat.TH
Bayesian sequential composite hypothesis testing in discrete time
研究了观测值为代价时指数族中未知参数的两个备择假设的序贯检验问题。在贝叶斯环境中,问题可以嵌入马尔可夫框架中。以其中一个假设的条件概率为空间变量,证明了费用函数是凹的,且随着时间的推移,后验分布变得更加集中,并研究了价值函数的时间单调性.对于一个大类的模型规格,费用函数是非递减的时间,最佳停止边界是单调的。
2021-08-16 math.PR math.ST stat.TH
Locally private non-asymptotic testing of discrete distributions is faster using interactive mechanisms
我们发现分离率测试多项式或更一般的离散分布的约束下的局部差分隐私。我们构建有效的随机算法和测试程序,在这两种情况下,只有非交互式的隐私机制是允许的,也在所有顺序交互式隐私机制是允许的。在后一种情况下,分离速率更快。我们证明一般信息理论界,使我们能够建立我们的算法的最优性之间的所有对隐私机制和测试程序,在大多数情况下。考虑的例子包括测试均匀,多项式和指数递减分布。
2020-05-26 math.ST stat.ME stat.ML
Simulated Power of Some Discrete Goodness-of-Fit Test Statistics For Testing the Null Hypothesis of a Zig-Zag Distribution
在本文中,我们比较了几个离散的拟合优度检验统计量考虑斯蒂尔和Chaseling [10]的权力下的原假设的“之字形”分布。结果表明,离散Kolmogorov-Smirnov检验统计量通常更强大的下降趋势的替代。Pearson卡方统计量通常对增加的单峰、尖峰、平峰和浴缸形替代品更强大。最后,名义柯尔莫哥洛夫-斯米尔诺夫和皮尔逊χ 2检验统计量通常对于双峰替代方案更有效。我们还解决了问题的敏感性的检验统计量的替代品下的“之字形”空。与Steele和Chaseling [10]的一致零值相比,我们的研究表明,离散KS检验统计量对下降趋势选择最敏感; Pearson卡方统计量对尖峰和平峰趋势选择最敏感。特别是,在“zig-zag”空值下,我们能够清楚地识别平峰和尖峰替代方案的最大功效检验统计量,而Steele和Chaseling [10]的一致空值无法进行此类识别。
2010-07-30 math.ST stat.TH
A New Step-down Procedure for Simultaneous Hypothesis Testing Under Dependence
本文考虑了当单个检验统计量不一定独立时的假设的同时检验问题。具体地说,我们考虑的问题,同时测试点零假设对双边的替代品的平均参数的正态分布随机变量。我们假设有条件地给定均值向量,这些随机变量共同遵循具有已知但任意的协方差阵的多元正态分布。我们考虑一个贝叶斯框架,其中每个未知的平均参数是通过两个组件的“尖峰和平板”混合先验建模。这样,无条件地,检验统计量共同具有多元正态分布的混合。利用检验统计量之间的相关性,提出了一种新的检验方法。这个过程足够通用,可以应用于非正态数据。一个决策理论的理由,有利于所提出的测试程序已被证明,不像许多传统的p值为基础的逐步程序,这种新方法具有一定的“凸属性”,这使得它允许相对于一个向量风险函数,捕捉风险的个人测试问题。提出的检验统计量的另一种表示也已建立,从而大大简化了计算复杂性。它表明,通过广泛的模拟,对于各种形式的依赖和广泛的稀疏性水平,所提出的测试程序相比,相当有利的几个现有的多个测试程序在文献中提供的整体误分类概率。
2018-07-15 math.ST stat.TH
Comments on "Testing Conditional Independence of Discrete Distributions"
在这篇简短的笔记中,我们发现并解决了Canonne等人(2018)中定理1.3证明中的错误,这是条件独立性测试的最新突破。在纠正错误后,我们发现Canonne et al.(2018)中建立的一般样本复杂度结果保持不变。
2022-07-06 cs.DS cs.IT math.IT
De-biased sparse PCA: Inference and testing for eigenstructure of large covariance matrices
稀疏主成分分析(sparse principal component analysis,sPCA)已成为高维数据降维中应用最广泛的技术之一。sPCA的主要挑战是估计总体协方差矩阵的第一个负载向量,前提是只有一定数量的负载是非零的。在本文中,我们提出了置信区间的个人负荷和人口的协方差矩阵的最大特征值。给定一个独立的样本$X^i \in\mathbb R^p, i = 1,...,n,$从一个未知的分布与一个未知的协方差矩阵$Σ_0$,我们的目的是估计的第一个向量的负载和最大的特征值的$Σ_0$在设置$p\gg n$。除了高维性之外,另一个挑战在于问题固有的非凸性。我们基于我们的方法上的拉索惩罚M-估计,尽管非凸性,可以解决一个多项式时间的算法,如坐标或梯度下降。我们证明了我们的估计量在$\ell_1$和$\ell_2$ -范数下达到了极大极小最优速率。我们确定在拉索为基础的估计偏差,并提出了一个去偏稀疏PCA估计的负载向量和协方差矩阵$Σ_0$的最大特征值。我们的主要结果为去偏估计量的渐近正态性提供了理论保证。我们施加的主要条件是稀疏的第一个特征向量的小阶$\sqrt{n}/\log p$和稀疏的同阶的逆Hessian矩阵的列的人口风险。
2018-01-31 math.ST stat.ME stat.TH
Local minimax rates for closeness testing of discrete distributions
Magdeburg University(马格德堡大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了离散分布的封闭性检验问题。目标是区分两个样本是否来自同一个未指定的分布,或者它们各自的分布是否在$L_1$ -范数中分离。在本文中,我们专注于适应率的基本分布的形状,即我们认为\textit{a local minimax setting}。我们提供了,据我们所知,第一个本地的极大极小率的分离距离的对数因子,连同一个测试,实现it. In率,接近度测试原来是大大困难比相关的单样本测试问题在广泛的情况下。
2021-01-19 cs.IT cs.LG math.IT
Communication and Memory Efficient Testing of Discrete Distributions
University of Southern California(南加州大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of California, San Diego(加州大学圣地亚哥分校)
我们在以下计算模型中研究了具有通信和内存约束的分布测试:(1){ \em one-pass streaming model},其目标是最小化受内存约束的协议的样本复杂度,以及(2){ \em distributed model},其中数据样本驻留在多台机器上,目标是最小化协议的通信成本。在这两个模型中,我们提供了有效的算法,用于均匀性/同一性测试(拟合优度)和接近性测试(两个样本测试)。此外,我们显示几乎紧下界(1)的样本复杂性的任何单通流测试仪的均匀性,受内存约束,和(2)的通信成本的任何均匀性测试协议,在一个受限制的“一通”模型的通信。
2019-06-11 cs.DS cs.LG math.ST
Testing Shape Restrictions of Discrete Distributions
我们研究了离散分布的结构性质(类)的检验问题。具体来说,给定对$[n]$上的任意分布$D$和属性$\mathcal{P}$的示例访问,目标是区分$D\in\mathcal{P}$和$\ell_1(D,\mathcal{P})>\varepsilon$。我们开发了一个通用的算法,这个问题,它适用于大范围的“形状约束”的属性,包括单调,对数凹,$t$模态,分段多项式,泊松二项分布。此外,对于所考虑的所有情况下,我们的算法具有接近最佳的样本复杂度方面的域的大小,是计算效率。对于大多数这些类,我们提供了第一个非平凡的测试在文献中。此外,我们还描述了一个通用的方法来证明这个问题的下限,并使用它来证明我们的上限是近紧的。最后,我们扩展我们的一些技术,宽容的测试,推导出接近紧的上限和下限相应的问题。
2016-01-21 cs.CC cs.DS math.PR
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);MPI(马克斯·普朗克研究所);University of California, San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);UT Austin(德克萨斯大学奥斯汀分校)
我们研究的问题测试离散分布的高概率制度的重点。具体地,给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$,我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况(对应于$δ= Ω(1)$),并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率,但是这种通用的提高方法通常会导致次优的样本界限。在这里,我们研究了以下广泛的问题:对于一个给定的属性$\mathcal{P}$,我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数,包括错误概率$δ$?在这项工作之前,均匀性测试是唯一的统计任务,其样本的复杂性已在此设置的特点。作为我们的主要成果,我们提供了第一个算法的封闭性和独立性测试是样本最优的,在恒定的因素,作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性,这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性,我们给出了最佳算法,用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
Optimal Closeness Testing of Discrete Distributions Made (Complex) Simple
在本文中,我们回顾了Diakonikolas,Gouleakis,Kane,Peebles和Price(2021)最近的工作,并为他们的主要结果提供了另一种证明。我们的论证不依赖于泊松随机变量的任何特定性质(如稳定性和可分性),也没有任何“巧妙的技巧”,而是在一个身份有关的期望的绝对值的任何随机变量的积分,其特征功能:\[ \mathbb{E}[|X|] = \frac{2}π\int_0^\infty \frac{1-\Re(\mathbb{E}[e^{i tX}])}{t^2}\, dt \]我们的论点,而不是缺乏技术方面,可以说是概念上更简单,更一般;我们希望这种技术可以在分布测试中找到更多的应用。
2022-04-27 cs.DM cs.DS math.PR
Near-Optimal Closeness Testing of Discrete Histogram Distributions
University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校);University of Edinburgh(爱丁堡大学)
我们调查的问题,测试两个离散直方图之间的等价性。$[n]$上的{ \em $k$ -直方图}是在$[n]$上的某组$k$间隔上分段恒定的概率分布。直方图在计算机科学和统计学中得到了广泛的研究。给定一组来自两个$k$的样本-$p, q$在$[n]$上的直方图分布,我们希望区分(具有高概率)$p = q$和$\|p-q\|_1 \geq ε$的情况。本文的主要贡献是一个新的算法,这个测试问题和一个几乎匹配的信息理论下界。具体来说,我们的算法的样本复杂度匹配我们的下限的对数因子,提高了以前的工作多项式因子的相关参数。我们的算法方法适用于一个更一般的设置,并产生改进的样本上界,用于测试其他结构化分布的接近度。
2017-03-06 cs.DS cs.IT cs.LG
Fundamental Limits of Testing the Independence of Irrelevant Alternatives in Discrete Choice
多项Logit(MNL)模型和它所满足的公理,即不相关选择的独立性(IIA),是离散选择中最广泛使用的工具。MNL模型作为各种领域的主力模型,但也受到了广泛的批评,大量的实验文献声称记录了IIA无法保持的真实世界环境。在过去的几十年里,国际投资协定作为一种建模假设的统计检验一直是许多侧重于国际投资协定具体偏差的实际检验的主题,但假设检验国际投资协定的正式规模性质仍然没有得到很好的理解。在这项工作中,我们取代了一些模糊性,在这方面的文献与严格的悲观主义,表明任何一般测试IIA低最坏情况下的错误将需要一个样本个数指数的选择问题的替代品的数量。与以前的工作相比,我们的分析的一个主要优点是它完全位于有限样本域中,这是理解离散选择的常见数据贫乏设置中的测试行为的关键特征。我们的下界是依赖于结构的,作为乐观的一个潜在原因,我们发现,如果将IIA的测试限制为可能发生在特定选择集集合中的违规行为(例如,pairs),则获得不那么悲观的结构依赖的下界。我们的分析这个测试问题是非正统的高度组合,计数欧拉方向的循环分解的一个特定的二部图从一个数据集的选择。通过确定一个给定的测试问题的比较结构和它的样本效率之间的基本关系,我们希望这些关系将有助于奠定基础,严格重新思考的IIA测试问题以及其他测试问题的离散选择。
2020-01-20 econ.EM math.ST stat.ME
$\ell_p$ Testing and Learning of Discrete Distributions
Harvard(哈佛大学)
经典的问题,测试的均匀性和学习离散分布,获得独立的样本,一般$\ell_p$指标下进行检查。直觉和结果往往与经典的$\ell_1$的情况下。对于$p > 1$,我们可以学习和测试一些独立于分布支持大小的样本:对于$\ell_p$公差$ε$,$O(\max\{ \sqrt{1/ε^q}, 1/ε^2 \})$样本足以测试均匀性,$O(\max\{ 1/ε^q, 1/ε^2\})$样本足以学习,其中$q=p/(p-1)$是$p$的共轭。由于这与$O(\sqrt{n})$和$O(n)$样本足以满足$\ell_1$情况的直觉相似,因此似乎$1/ε^q$充当“表观”支持大小的上限。对于某些$\ell_p$指标,均匀性测试在更大的支持下变得更容易:6面骰子比2面硬币需要更少的试验来测试公平性,并且洗牌机比骰子需要更少的试验。事实上,当且仅当$p > \frac{4}{3}$成立时,这种对支撑尺寸的反向依赖性成立。均匀性测试算法简单地对“冲突”或“重合”的数量进行阈值化,并且对于所有$1 \leq p \leq 2$具有最佳的样本复杂度直到常数因子。另一种算法给出了$\ell_{\infty}$均匀性测试的阶数最优样本复杂度。同时,最自然的学习算法被证明具有顺序最优的样本复杂度的所有$\ell_p$指标。作者感谢Clément Canonne对本书的讨论和贡献。
2015-03-21 cs.DS cs.LG math.ST
From nonstationarity to stationarity via $1/f$ noise: discrete Fourier transforms and sample mean asymptotics for testing
Carleton University(卡尔顿大学);Nantes Université, CNRS, Laboratoire de Mathématiques Jean Leray, LMJL, UMR 6629(南特大学,法国国家科学研究中心,让·勒雷数学实验室)
本文研究具有长记忆和非平稳性的时间序列的统计量渐近行为,推导离散傅里叶变换的联合极限分布,并构造一个参数无关的检验来区分非平稳性与长记忆平稳性。
2026-05-27 math.ST stat.ME stat.TH
Testing Conditional Independence of Discrete Distributions
我们研究了离散分布的\emph{conditional independence}检验问题。具体地说,给定来自域$[\ell_1]\times[\ell_2] \times [n]$上的离散随机变量$(X, Y, Z)$的样本,我们希望以至少$2/3$的概率区分$X$和$Y$在给定$Z$的情况下条件独立的情况与$(X, Y, Z)$是$ε$ -远的情况,在$\ell_1$ -距离中,与具有此属性的每个分布。条件独立性是概率论和统计学中的一个重要概念,在各个科学领域都有广泛的应用。因此,检验条件独立性的统计任务在统计学和计量经济学界以各种形式广泛研究了近一个世纪。也许令人惊讶的是,这个问题以前没有被认为是在分布特性测试的框架,特别是没有测试仪与次线性样本复杂性是已知的,即使是重要的特殊情况下,域的$X$和$Y$是二进制的。本文的主要算法结果是第一个具有{ \em sublinear}样本复杂度的条件独立性测试器,用于$[\ell_1]\times[\ell_2] \times [n]$上的离散分布。为了补充我们的上限,我们证明信息理论的下限,建立我们的算法的样本复杂度是最佳的,常数因子,一些设置。具体来说,对于$\ell_1, \ell_2 = O(1)$时的原型设置,我们证明了测试条件独立性(上限和匹配下限)的样本复杂度为\[ Θ\left({\max\left(n^{1/2}/ε…
2018-07-01 cs.CC cs.DM cs.DS
Conditional Independence Testing for Discrete Distributions: Beyond $χ^2$- and $G$-tests
本文针对离散数据条件独立性检验,去除Poissonization并利用蒙特卡洛置换校准检验以弥合理论与实践的差距,同时证明经典 $χ^2$- 和 $G$-检验在高维下次优,并提供R包UCI实现。
2023-10-28 math.ST stat.CO stat.ME
A New Approach for Testing Properties of Discrete Distributions
在这项工作中,我们给出了一个新的一般方法分布测试。我们描述了两种技术:我们的第一种技术提供了样本最佳的测试,而我们的第二种技术提供了匹配的样本下限。因此,我们解决了各种各样的测试问题的样本复杂性。我们的上界是通过一个模块化的减少为基础的方法。我们的方法通过使用标准的$\ell_2$身份测试仪作为黑盒,为许多问题产生最佳的测试仪。使用这个配方,我们获得了一系列问题的简单估计,包括以前在TCS文献中研究的大多数问题,即:(1)对固定分布的同一性检验,(2)两个未知分布之间的接近性检验(样本量相等/不等),(3)独立性检验(在任何数量的维度上),(4)分布集合的接近度测试,以及(5)测试直方图。对于所有这些问题,我们的测试人员都是样本最佳的,直到恒定的因素。除了(1),我们是{ \em第一个样本最优测试者为相应的问题。}此外,与以前的结果相比,我们的估计量更容易陈述和分析。作为我们的约简技术的应用,我们获得了第一个{ \em近实例最优}算法来测试两个{ \em未知}分布之间的等价性。此外,我们的技术自然地推广到$\ell_1$距离之外的其他度量。我们的下界是通过一个直接的信息理论的方法:给定一个候选的硬实例,我们的证明进行适当的随机变量之间的互信息的边界。虽然这是信息论中的经典方法,但在我们的工作之前,它还没有用于分布性质测试。
2016-05-09 cs.DS cs.IT math.IT
Testing Closeness of Discrete Distributions
给定来自$n$ -元素集上的两个分布的样本,我们希望测试这些分布在统计上是否接近。我们提出了一种算法,它使用次线性的$n$,具体来说,$O(n^{2/3}ε^{-8/3}\log n)$,独立的样本从每个分布,运行在时间线性的样本大小,使没有假设的结构的分布,并区分的情况下,分布之间的距离是小的(小于$\max\{ε^{4/3}n^{-1/3}/32, εn^{-1/2}/4\}$)或大(大于$ε$)在$\ell_1$距离。这个结果可以与Valiant给出的这个问题的$Ω(n^{2/3}ε^{-2/3})$的下界进行比较。我们的算法有应用程序的问题,测试是否一个给定的马尔可夫过程是快速混合。我们也提出了这个问题的几个变种的次线性。
2010-11-04 cs.DS math.PR math.ST
Testing Mixtures of Discrete Distributions
关于大区域上分布性质检验的样本复杂性问题,已有大量的研究。对于许多属性,已知样本复杂度可以显著小于域大小。例如,在大小为$n$的域上,区分均匀分布与在$\ell_1$ -距离中远离均匀的分布仅使用$O(\sqrt{n})$样本。然而,在存在任意噪声的情况下,即使噪声量很小,图像也是非常不同的。在这种情况下,必须区分样本是否来自接近均匀的$ε$分布和远离均匀的$(1-ε)$分布。后一项任务要求$n$样品几乎呈线性[Valiant 2008,Valian和Valiant 2011]。在这项工作中,我们提出了一个噪声模型,一方面是更易于处理的测试问题,另一方面代表了丰富的一类噪声家庭。在我们的模型中,噪声分布是原始分布和噪声的混合物,其中后者是测试人员明确或通过样本访问已知的;噪声的形式也是先验已知的。集中在同一性和接近性测试问题导致下面的混合测试问题:给定分布$p, q_1,q_2$的样本,我们可以测试$p$是否是$q_1$和$q_2$的混合吗?我们认为这个一般性的问题,在不同的情况下,测试人员如何可以访问的分布,并表明,这个问题确实是更容易处理。我们的结果表明,我们的测试人员的样本复杂性是完全相同的经典的非混合的情况下。
2019-07-06 cs.DS math.ST stat.ML
Sharp Bounds for Generalized Uniformity Testing
University of Southern California(南加州大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们研究离散概率分布的广义均匀性检验问题\cite{BC17}:给定来自{ \em未知}离散域$\mathbfΩ$上的概率分布$p$的样本,我们希望以至少$2/3$的概率区分$p$在$\mathbfΩ$的某个{ \em子集}上是均匀的情况与$ε$ -远,在总变化距离中,任何这样的均匀分布。我们建立了广义均匀性检验样本复杂性的严格界。更详细地说,我们提出了一个计算效率高的测试,其样本的复杂性是最佳的,常数的因素,和匹配的信息理论的下限。具体来说,我们证明了广义均匀性检验的样本复杂性是$Θ\left(1/(ε^{4/3}\|p\|_3) + 1/(ε^{2} \|p\|_2) \right)$。
2017-09-07 cs.DS cs.IT cs.LG