Discrete convolution statistic for hypothesis testing
两个线性模型的分布是否相等的问题已经从生物学研究中出现，每个线性模型都由不同的离散独立随机变量和不等数量的观测值组成。在这种情况下，经典$χ^2$统计量的计算（不包括所有观察值）会导致功效损失，尤其是当样本量较小时。作为使用全部数据的替代方法，本文提出了离散和独立随机变量之和分布的非参数极大似然估计量，我们称之为卷积统计量，并确定了它的极限正态协方差阵。为了挑战关于该和的分布的零假设，应用广义Wald方法来定义检验统计量，该检验统计量的分布渐近于具有与这样的协方差阵的秩一样多的自由度的$χ^2$。秩分析还揭示了与线性模型的加数变量相关联的概率母函数的根的连接。通过仿真研究，比较了卷积检验与Pearson的$χ^2$的异同，并给出了使用准则。
2020-08-31 math.ST stat.TH
A Note on Bayesian Model Selection for Discrete Data Using Proper Scoring Rules
我们考虑的问题之间的选择参数模型的离散观察，采用贝叶斯方法，其中模型内的先验分布是允许不适当的。为了避免这种情况下边缘似然函数的模糊性，我们采用了齐次评分规则。对于区分泊松和负二项模型的特定情况下，我们进行模拟表明，应用prequentially，该方法将始终选择真正的模型。
2017-03-09 math.ST stat.TH
A note on error estimation for hypothesis testing problems for some linear SPDEs
本文的目的是估计和控制加性噪声驱动的随机分数阶热方程漂移/粘性系数的简单假设检验问题的第I类和第II类误差。假设一个路径的第一$N$傅立叶模式的解决方案是连续观察在一个有限的时间间隔$[0,T]$，我们提出了一类新的拒绝区域，并提供可计算的阈值$T$，和$N$，保证统计误差是小于一个给定的上限。所考虑的检验是似然比型的。主要思想和证明是基于尖锐的大偏差界限。最后，我们通过数值模拟说明了理论结果。
2014-07-21 math.PR math.ST stat.TH
A short note on learning discrete distributions
这篇短文的目的是为"民间传说事实"提供简单的证据，证明在已知的$k$大小的域上学习离散概率分布到各种距离$\varepsilon$的样本复杂性，错误概率为$δ$。
2020-04-08 math.PR math.ST stat.TH
Testing for jumps in a discretely observed process
我们提出了一个新的测试，以确定跳跃是否存在于资产收益率或其他离散采样过程。当采样间隔趋于0时，如果有跳跃，我们的检验统计量收敛到1，如果没有跳跃，则收敛到另一个确定的已知值（如2）。该检验对所有Itô半鞅都有效，既不依赖于过程的定律，也不依赖于它所解的方程的系数，不需要对这些系数进行初步估计，并且当存在跳跃时，该检验适用于跳跃是否具有有限或无限活动以及任意的Blumenthal-Getoor指数。最后，我们对模拟和资产收益率数据进行了测试。
2009-03-02 math.ST stat.TH
Locally private non-asymptotic testing of discrete distributions is faster using interactive mechanisms
我们发现分离率测试多项式或更一般的离散分布的约束下的局部差分隐私。我们构建有效的随机算法和测试程序，在这两种情况下，只有非交互式的隐私机制是允许的，也在所有顺序交互式隐私机制是允许的。在后一种情况下，分离速率更快。我们证明一般信息理论界，使我们能够建立我们的算法的最优性之间的所有对隐私机制和测试程序，在大多数情况下。考虑的例子包括测试均匀，多项式和指数递减分布。
2020-05-26 math.ST stat.ME stat.ML
Bayesian sequential composite hypothesis testing in discrete time
研究了观测值为代价时指数族中未知参数的两个备择假设的序贯检验问题。在贝叶斯环境中，问题可以嵌入马尔可夫框架中。以其中一个假设的条件概率为空间变量，证明了费用函数是凹的，且随着时间的推移，后验分布变得更加集中，并研究了价值函数的时间单调性.对于一个大类的模型规格，费用函数是非递减的时间，最佳停止边界是单调的。
2021-08-16 math.PR math.ST stat.TH
Testing for common arrivals of jumps for discretely observed multidimensional processes
我们考虑一个二元过程$X_t=(X^1_t,X^2_t)$，这是观察到一个有限的时间间隔$[0,T]$在离散时间$0,Δ_n,2Δ_n,....$假设它的两个组件$X^1$和$X^2$有跳跃$[0,T]$，我们得到测试，以决定是否有至少一个跳跃发生在同一时间（“共同跳跃”）或没有（“不相交跳跃”）。对于两个可能的零假设有两种不同的检验（共同跳跃或不相交跳跃）。这些检验具有规定的渐近水平，因为网格$Δ_n$变为0。我们在一些模拟中表明，即使在有限样本的情况下，这些测试也表现得相当好，我们也把它们用于一些汇率数据。
2009-08-13 math.ST stat.TH
On testing mean proportionality of multivariate normal variables
这个简短的说明考虑了两个多元正态变量的平均值成比例的原假设的检验问题。我们表明，通常的似然比$χ^2$ -测试是有效的非渐近。我们的证明依赖于表达的检验统计量的Wishart变量的最小特征值，并使用勒让德多项式的分布表示。
2021-03-09 math.ST stat.TH
Comments on "Testing Conditional Independence of Discrete Distributions"
在这篇简短的笔记中，我们发现并解决了Canonne等人（2018）中定理1.3证明中的错误，这是条件独立性测试的最新突破。在纠正错误后，我们发现Canonne et al.（2018）中建立的一般样本复杂度结果保持不变。
2022-07-06 cs.DS cs.IT math.IT
Simulated Power of Some Discrete Goodness-of-Fit Test Statistics For Testing the Null Hypothesis of a Zig-Zag Distribution
在本文中，我们比较了几个离散的拟合优度检验统计量考虑斯蒂尔和Chaseling [10]的权力下的原假设的“之字形”分布。结果表明，离散Kolmogorov-Smirnov检验统计量通常更强大的下降趋势的替代。Pearson卡方统计量通常对增加的单峰、尖峰、平峰和浴缸形替代品更强大。最后，名义柯尔莫哥洛夫-斯米尔诺夫和皮尔逊χ 2检验统计量通常对于双峰替代方案更有效。我们还解决了问题的敏感性的检验统计量的替代品下的“之字形”空。与Steele和Chaseling [10]的一致零值相比，我们的研究表明，离散KS检验统计量对下降趋势选择最敏感; Pearson卡方统计量对尖峰和平峰趋势选择最敏感。特别是，在“zig-zag”空值下，我们能够清楚地识别平峰和尖峰替代方案的最大功效检验统计量，而Steele和Chaseling [10]的一致空值无法进行此类识别。
2010-07-30 math.ST stat.TH
Notes on Computational Hardness of Hypothesis Testing: Predictions using the Low-Degree Likelihood Ratio
这些笔记调查和探索一种新兴的方法，我们称之为低度方法，用于预测和理解高维推理问题中的计算与计算权衡。简而言之，该方法假定某个量--低阶似然比的二阶矩--可以洞察解决给定的假设检验问题需要多少计算时间，这反过来又可以用来预测各种统计推断任务的计算难度。虽然这种方法起源于凸规划的平方和（SoS）层次结构的研究，我们提出了一个独立的介绍，不需要知识的SoS。除了展示如何使用该方法进行预测外，我们还讨论了这些预测的严格和非理性后果。这些注记包括一些新的结果、简化的证明和改进的图解。例如，我们指出了一个正式的连接之间的谱方法和低程度的似然比，我们给了一个尖锐的低程度的下界对次指数时间算法的张量PCA。
2019-07-26 cs.CC cs.DS math.ST
Local minimax rates for closeness testing of discrete distributions
Magdeburg University（马格德堡大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了离散分布的封闭性检验问题。目标是区分两个样本是否来自同一个未指定的分布，或者它们各自的分布是否在$L_1$ -范数中分离。在本文中，我们专注于适应率的基本分布的形状，即我们认为\textit{a local minimax setting}。我们提供了，据我们所知，第一个本地的极大极小率的分离距离的对数因子，连同一个测试，实现it. In率，接近度测试原来是大大困难比相关的单样本测试问题在广泛的情况下。
2021-01-19 cs.IT cs.LG math.IT
Communication and Memory Efficient Testing of Discrete Distributions
University of Southern California（南加州大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
我们在以下计算模型中研究了具有通信和内存约束的分布测试：（1）{ \em one-pass streaming model}，其目标是最小化受内存约束的协议的样本复杂度，以及（2）{ \em distributed model}，其中数据样本驻留在多台机器上，目标是最小化协议的通信成本。在这两个模型中，我们提供了有效的算法，用于均匀性/同一性测试（拟合优度）和接近性测试（两个样本测试）。此外，我们显示几乎紧下界（1）的样本复杂性的任何单通流测试仪的均匀性，受内存约束，和（2）的通信成本的任何均匀性测试协议，在一个受限制的“一通”模型的通信。
2019-06-11 cs.DS cs.LG math.ST
Conformal testing: binary case with Markov alternatives
我们继续研究二元模型情况下的保形检验。在这篇笔记中，我们考虑马尔可夫替代的原假设的交换。我们提出了两类新的共形检验鞅，一类是统计有效的，在我们的实验中，和其他类部分牺牲统计效率，以获得计算效率。
2021-11-02 cs.LG math.ST stat.TH
Distribution free testing for linear regression. Extension to general parametric regression
最近，\cite{Khm13, Khm16, Khm17}提出了一种基于酉变换的检验参数假设的无分布方法，并在\cite{Ngu17}和\cite{Rob19}中进行了进一步的研究。本文证明了在线性回归的分布自由检验中，变换的形式是极其简单的。然后将其推广到向量值协变量的一般参数回归。
2020-02-07 math.ST stat.ME stat.TH
Testing Shape Restrictions of Discrete Distributions
我们研究了离散分布的结构性质（类）的检验问题。具体来说，给定对$[n]$上的任意分布$D$和属性$\mathcal{P}$的示例访问，目标是区分$D\in\mathcal{P}$和$\ell_1(D,\mathcal{P})>\varepsilon$。我们开发了一个通用的算法，这个问题，它适用于大范围的“形状约束”的属性，包括单调，对数凹，$t$模态，分段多项式，泊松二项分布。此外，对于所考虑的所有情况下，我们的算法具有接近最佳的样本复杂度方面的域的大小，是计算效率。对于大多数这些类，我们提供了第一个非平凡的测试在文献中。此外，我们还描述了一个通用的方法来证明这个问题的下限，并使用它来证明我们的上限是近紧的。最后，我们扩展我们的一些技术，宽容的测试，推导出接近紧的上限和下限相应的问题。
2016-01-21 cs.CC cs.DS math.PR
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；MPI（马克斯·普朗克研究所）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yale University（耶鲁大学）；UT Austin（德克萨斯大学奥斯汀分校）
我们研究的问题测试离散分布的高概率制度的重点。具体地，给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$，我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况（对应于$δ= Ω(1)$），并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率，但是这种通用的提高方法通常会导致次优的样本界限。在这里，我们研究了以下广泛的问题：对于一个给定的属性$\mathcal{P}$，我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数，包括错误概率$δ$？在这项工作之前，均匀性测试是唯一的统计任务，其样本的复杂性已在此设置的特点。作为我们的主要成果，我们提供了第一个算法的封闭性和独立性测试是样本最优的，在恒定的因素，作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性，这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性，我们给出了最佳算法，用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
Optimal Closeness Testing of Discrete Distributions Made (Complex) Simple
在本文中，我们回顾了Diakonikolas，Gouleakis，Kane，Peebles和Price（2021）最近的工作，并为他们的主要结果提供了另一种证明。我们的论证不依赖于泊松随机变量的任何特定性质（如稳定性和可分性），也没有任何“巧妙的技巧”，而是在一个身份有关的期望的绝对值的任何随机变量的积分，其特征功能：\[ \mathbb{E}[|X|] = \frac{2}π\int_0^\infty \frac{1-\Re(\mathbb{E}[e^{i tX}])}{t^2}\, dt \]我们的论点，而不是缺乏技术方面，可以说是概念上更简单，更一般;我们希望这种技术可以在分布测试中找到更多的应用。
2022-04-27 cs.DM cs.DS math.PR
Near-Optimal Closeness Testing of Discrete Histogram Distributions
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Edinburgh（爱丁堡大学）
我们调查的问题，测试两个离散直方图之间的等价性。$[n]$上的{ \em $k$ -直方图}是在$[n]$上的某组$k$间隔上分段恒定的概率分布。直方图在计算机科学和统计学中得到了广泛的研究。给定一组来自两个$k$的样本-$p, q$在$[n]$上的直方图分布，我们希望区分（具有高概率）$p = q$和$\|p-q\|_1 \geq ε$的情况。本文的主要贡献是一个新的算法，这个测试问题和一个几乎匹配的信息理论下界。具体来说，我们的算法的样本复杂度匹配我们的下限的对数因子，提高了以前的工作多项式因子的相关参数。我们的算法方法适用于一个更一般的设置，并产生改进的样本上界，用于测试其他结构化分布的接近度。
2017-03-06 cs.DS cs.IT cs.LG
Fundamental Limits of Testing the Independence of Irrelevant Alternatives in Discrete Choice
多项Logit（MNL）模型和它所满足的公理，即不相关选择的独立性（IIA），是离散选择中最广泛使用的工具。MNL模型作为各种领域的主力模型，但也受到了广泛的批评，大量的实验文献声称记录了IIA无法保持的真实世界环境。在过去的几十年里，国际投资协定作为一种建模假设的统计检验一直是许多侧重于国际投资协定具体偏差的实际检验的主题，但假设检验国际投资协定的正式规模性质仍然没有得到很好的理解。在这项工作中，我们取代了一些模糊性，在这方面的文献与严格的悲观主义，表明任何一般测试IIA低最坏情况下的错误将需要一个样本个数指数的选择问题的替代品的数量。与以前的工作相比，我们的分析的一个主要优点是它完全位于有限样本域中，这是理解离散选择的常见数据贫乏设置中的测试行为的关键特征。我们的下界是依赖于结构的，作为乐观的一个潜在原因，我们发现，如果将IIA的测试限制为可能发生在特定选择集集合中的违规行为（例如，pairs），则获得不那么悲观的结构依赖的下界。我们的分析这个测试问题是非正统的高度组合，计数欧拉方向的循环分解的一个特定的二部图从一个数据集的选择。通过确定一个给定的测试问题的比较结构和它的样本效率之间的基本关系，我们希望这些关系将有助于奠定基础，严格重新思考的IIA测试问题以及其他测试问题的离散选择。
2020-01-20 econ.EM math.ST stat.ME
$\ell_p$ Testing and Learning of Discrete Distributions
Harvard（哈佛大学）
经典的问题，测试的均匀性和学习离散分布，获得独立的样本，一般$\ell_p$指标下进行检查。直觉和结果往往与经典的$\ell_1$的情况下。对于$p > 1$，我们可以学习和测试一些独立于分布支持大小的样本：对于$\ell_p$公差$ε$，$O(\max\{ \sqrt{1/ε^q}, 1/ε^2 \})$样本足以测试均匀性，$O(\max\{ 1/ε^q, 1/ε^2\})$样本足以学习，其中$q=p/(p-1)$是$p$的共轭。由于这与$O(\sqrt{n})$和$O(n)$样本足以满足$\ell_1$情况的直觉相似，因此似乎$1/ε^q$充当“表观”支持大小的上限。对于某些$\ell_p$指标，均匀性测试在更大的支持下变得更容易：6面骰子比2面硬币需要更少的试验来测试公平性，并且洗牌机比骰子需要更少的试验。事实上，当且仅当$p > \frac{4}{3}$成立时，这种对支撑尺寸的反向依赖性成立。均匀性测试算法简单地对“冲突”或“重合”的数量进行阈值化，并且对于所有$1 \leq p \leq 2$具有最佳的样本复杂度直到常数因子。另一种算法给出了$\ell_{\infty}$均匀性测试的阶数最优样本复杂度。同时，最自然的学习算法被证明具有顺序最优的样本复杂度的所有$\ell_p$指标。作者感谢Clément Canonne对本书的讨论和贡献。
2015-03-21 cs.DS cs.LG math.ST
Testing Conditional Independence of Discrete Distributions
我们研究了离散分布的\emph{conditional independence}检验问题。具体地说，给定来自域$[\ell_1]\times[\ell_2] \times [n]$上的离散随机变量$(X, Y, Z)$的样本，我们希望以至少$2/3$的概率区分$X$和$Y$在给定$Z$的情况下条件独立的情况与$(X, Y, Z)$是$ε$ -远的情况，在$\ell_1$ -距离中，与具有此属性的每个分布。条件独立性是概率论和统计学中的一个重要概念，在各个科学领域都有广泛的应用。因此，检验条件独立性的统计任务在统计学和计量经济学界以各种形式广泛研究了近一个世纪。也许令人惊讶的是，这个问题以前没有被认为是在分布特性测试的框架，特别是没有测试仪与次线性样本复杂性是已知的，即使是重要的特殊情况下，域的$X$和$Y$是二进制的。本文的主要算法结果是第一个具有{ \em sublinear}样本复杂度的条件独立性测试器，用于$[\ell_1]\times[\ell_2] \times [n]$上的离散分布。为了补充我们的上限，我们证明信息理论的下限，建立我们的算法的样本复杂度是最佳的，常数因子，一些设置。具体来说，对于$\ell_1, \ell_2 = O(1)$时的原型设置，我们证明了测试条件独立性（上限和匹配下限）的样本复杂度为\[ Θ\left({\max\left(n^{1/2}/ε…
2018-07-01 cs.CC cs.DM cs.DS
From nonstationarity to stationarity via $1/f$ noise: discrete Fourier transforms and sample mean asymptotics for testing
Carleton University（卡尔顿大学）；Nantes Université, CNRS, Laboratoire de Mathématiques Jean Leray, LMJL, UMR 6629（南特大学，法国国家科学研究中心，让·勒雷数学实验室）
本文研究具有长记忆和非平稳性的时间序列的统计量渐近行为，推导离散傅里叶变换的联合极限分布，并构造一个参数无关的检验来区分非平稳性与长记忆平稳性。
2026-05-27 math.ST stat.ME stat.TH
Conditional Independence Testing for Discrete Distributions: Beyond $χ^2$- and $G$-tests
本文针对离散数据条件独立性检验，去除Poissonization并利用蒙特卡洛置换校准检验以弥合理论与实践的差距，同时证明经典 $χ^2$- 和 $G$-检验在高维下次优，并提供R包UCI实现。
2023-10-28 math.ST stat.CO stat.ME
A New Approach for Testing Properties of Discrete Distributions
在这项工作中，我们给出了一个新的一般方法分布测试。我们描述了两种技术：我们的第一种技术提供了样本最佳的测试，而我们的第二种技术提供了匹配的样本下限。因此，我们解决了各种各样的测试问题的样本复杂性。我们的上界是通过一个模块化的减少为基础的方法。我们的方法通过使用标准的$\ell_2$身份测试仪作为黑盒，为许多问题产生最佳的测试仪。使用这个配方，我们获得了一系列问题的简单估计，包括以前在TCS文献中研究的大多数问题，即：（1）对固定分布的同一性检验，（2）两个未知分布之间的接近性检验（样本量相等/不等），（3）独立性检验（在任何数量的维度上），（4）分布集合的接近度测试，以及（5）测试直方图。对于所有这些问题，我们的测试人员都是样本最佳的，直到恒定的因素。除了（1），我们是{ \em第一个样本最优测试者为相应的问题。}此外，与以前的结果相比，我们的估计量更容易陈述和分析。作为我们的约简技术的应用，我们获得了第一个{ \em近实例最优}算法来测试两个{ \em未知}分布之间的等价性。此外，我们的技术自然地推广到$\ell_1$距离之外的其他度量。我们的下界是通过一个直接的信息理论的方法：给定一个候选的硬实例，我们的证明进行适当的随机变量之间的互信息的边界。虽然这是信息论中的经典方法，但在我们的工作之前，它还没有用于分布性质测试。
2016-05-09 cs.DS cs.IT math.IT
Testing Closeness of Discrete Distributions
给定来自$n$ -元素集上的两个分布的样本，我们希望测试这些分布在统计上是否接近。我们提出了一种算法，它使用次线性的$n$，具体来说，$O(n^{2/3}ε^{-8/3}\log n)$，独立的样本从每个分布，运行在时间线性的样本大小，使没有假设的结构的分布，并区分的情况下，分布之间的距离是小的（小于$\max\{ε^{4/3}n^{-1/3}/32, εn^{-1/2}/4\}$）或大（大于$ε$）在$\ell_1$距离。这个结果可以与Valiant给出的这个问题的$Ω(n^{2/3}ε^{-2/3})$的下界进行比较。我们的算法有应用程序的问题，测试是否一个给定的马尔可夫过程是快速混合。我们也提出了这个问题的几个变种的次线性。
2010-11-04 cs.DS math.PR math.ST
Sharp Bounds for Generalized Uniformity Testing
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们研究离散概率分布的广义均匀性检验问题\cite{BC17}：给定来自{ \em未知}离散域$\mathbfΩ$上的概率分布$p$的样本，我们希望以至少$2/3$的概率区分$p$在$\mathbfΩ$的某个{ \em子集}上是均匀的情况与$ε$ -远，在总变化距离中，任何这样的均匀分布。我们建立了广义均匀性检验样本复杂性的严格界。更详细地说，我们提出了一个计算效率高的测试，其样本的复杂性是最佳的，常数的因素，和匹配的信息理论的下限。具体来说，我们证明了广义均匀性检验的样本复杂性是$Θ\left(1/(ε^{4/3}\|p\|_3) + 1/(ε^{2} \|p\|_2) \right)$。
2017-09-07 cs.DS cs.IT cs.LG
