Collision-based Testers are Optimal for Uniformity and Closeness
USC(南加州大学);MIT(麻省理工学院);UT Austin(德克萨斯大学奥斯汀分校)
本文研究了离散分布的均匀性检验和具有有界$\ell_2$ -范数的两个离散分布之间的紧密性检验的基本问题。这些问题在分布检验中得到了广泛的研究,样本最优估计量也因此被称为\cite{Paninski:08, CDVV14, VV14, DKN:15}。在这项工作中,我们表明,原来的碰撞为基础的测试提出了这些问题-\cite{GRdist:00, BFR+:00}是样本最佳的,常数因子。以前的分析表明,这些测试程序的样本复杂性上限是最佳的域大小$n$的函数,但次优的多项式因子的错误参数$ε$。我们的主要贡献是一个新的紧密的分析,建立这些碰撞为基础的测试是信息理论上最优的,恒定的因素,无论是在依赖于$n$和依赖于$ε$。
2016-11-11 cs.DS cs.IT cs.LG
Optimal Algorithms for Testing Closeness of Discrete Distributions
MSR New England(微软新英格兰研究院);University of Edinburgh(爱丁堡大学);Stanford University(斯坦福大学);Brown University(布朗大学)
研究了两个离散分布的贴近度检验问题。更确切地说,给定来自$n$ -元素集上的两个分布$p$和$q$的样本,我们希望区分$p=q$与$p$是否至少在$\ell_1$或$\ell_2$距离上远离$q$。Batu等人给出了这些问题的第一个次线性时间算法,该算法将Valiant的下限与$n$中的对数因子和$\eps.$的多项式因子相匹配。在这项工作中,我们为$\ell_1$和$\ell_2$设置提供了简单的(和新的)测试器,样本复杂度在信息理论上是最佳的,对于常数因子,无论是在对$n$的依赖性中,对于$\eps$测试问题,我们建立了样本复杂度为$Θ(\max\{n^{2/3}/\eps^{4/3}, n^{1/2}/\eps^2 \}).$
2013-08-19 cs.DS cs.IT cs.LG
Entropy Equivalence Testing
University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学)
提出熵等价性检验问题,通过样本高效算法区分两个分布是否相等或熵差至少ε,并应用于低度贝叶斯网络的接近性检验。
2026-07-15 cs.DM cs.DS cs.IT
Testing Closeness of Multivariate Distributions via Ramsey Theory
UW Madison(威斯康星大学麦迪逊分校);UC San Diego(加利福尼亚大学圣迭戈分校)
研究多维分布的接近性测试问题,基于Ramsey理论提出了首个在固定维度下具有次学习样本复杂度的高效测试器及匹配下界,并揭示了维度从一维增至二维时样本复杂度的显著跳跃现象。
2023-11-22 cs.DS cs.IT cs.LG
Testing Probabilistic Circuits
概率回路(PC)是一个强大的建模框架,用于表示组合空间上的易处理的概率分布。在机器学习和概率编程中,人们通常对理解使用PC学习的分布是否接近期望分布感兴趣。因此,给定两个概率电路,感兴趣的一个基本问题是确定它们的分布是否彼此接近。本文的主要贡献是对PC相对于总变差距离度量的接近性测试。我们的算法利用两个常见的PC查询,计数和采样。特别是,我们提供了一个多时间概率算法来检查两个PC的接近时,PC支持易处理的近似计数和采样。我们证明了我们的算法框架的实际效率,通过对一组475 PC基准的原型实现的详细实验评估。我们发现,我们的测试正确地决定在3600秒内所有475台PC的接近程度。
2021-12-09 cs.DM cs.DS
Private Distribution Testing with Heterogeneous Constraints: Your Epsilon Might Not Be Mine
本文研究异构隐私约束下的私有接近性测试问题,针对具有不同隐私要求的两个数据集,在三种差分隐私设置下提出算法,证明考虑不同epsilon要求可提升样本效率。
2023-09-13 cs.DS
Two Party Distribution Testing: Communication and Security
研究了两方情形下离散分布的检验问题。例如,在标准的接近度测试问题中,Alice和Bob各自具有分别来自分布$a$和分布$b$ over $[n]$的$t$样本,并且他们需要测试$a=b$或$a,b$是否是$ε$ -far(对于某个固定的$ε>0$)。这与研究充分的一方情况相反,在这种情况下,测试人员可以不受限制地访问两种分布的样本,对于这些样本,最佳边界对于许多变化是已知的。尽管这是应用中的一个自然限制,但两党设置迄今为止一直没有引起注意。我们解决两个基本方面:1)什么是通信复杂性,以及2)它可以安全地完成,没有爱丽丝和鲍勃学习额外的信息,对方的输入。除了接近性测试,我们还研究了独立性测试问题,其中Alice和Bob分别具有来自分布$a$和$b$的$t$样本,它们可能是相关的;问题是$a,b$是否独立于$ε$ -远非独立。我们的贡献是三方面的:1)通信:我们展示了如何获得更多的样本,超越$t$上的信息理论约束的通信效率。增益是多项式优于通过适应标准算法获得的。2)下限:我们证明了我们的协议的紧密性测试,并为独立性测试时,样本的数量是无限的。这些下限是独立的利益,因为这些是第一个2方通信的测试问题的下限。3)安全性:我们定义了安全分发测试,并认为它必须至少泄漏一些最小的信息。然后,我们提供安全版本的上述协议的开销,只有多项式的安全参数。
2018-11-09 cs.DS
On closeness to k-wise uniformity
{-1,1}^n上的概率分布是(eps,k)-均匀的,如果粗略地说,当限制到任何k坐标时,它是eps-接近均匀分布。我们考虑的问题有多远(eps,k)-明智的均匀分布可以从任何全球k-明智的均匀分布。我们证明了每个(eps,k)均匀分布在总变差距离上都是O(n^(k/2)eps)-接近于k均匀分布。此外,我们还证明了该界对于所有偶数k都是最优的:我们发现了一个(eps,k)方向的均匀分布,即Omega(n^(k/2)eps)-在总变差距离中远离任何k方向的均匀分布。对于k = 1,我们得到了O(eps)的更好的上界,这也是最优的。我们的贴近度结果的一个应用是测试分布是否是k-wise均匀或远离k-wise均匀的样本复杂度。我们在所需的样本上给出了O(n^k/delta^2)(或当k = 1时O(log n/delta^2))的上界。对于完全一致检验和远离k-一致检验的特殊情况,我们给出了O~(n^(k/2)/delta^2)的改进的上界.最后,当k = 2时,我们用匹配的Ω(n/delta^2)下界来补充这一点。我们的结果改进了[AAK+07]中的最佳界,并且具有更简单的证明。
2018-06-10 cs.DS
A New Approach for Testing Properties of Discrete Distributions
在这项工作中,我们给出了一个新的一般方法分布测试。我们描述了两种技术:我们的第一种技术提供了样本最佳的测试,而我们的第二种技术提供了匹配的样本下限。因此,我们解决了各种各样的测试问题的样本复杂性。我们的上界是通过一个模块化的减少为基础的方法。我们的方法通过使用标准的$\ell_2$身份测试仪作为黑盒,为许多问题产生最佳的测试仪。使用这个配方,我们获得了一系列问题的简单估计,包括以前在TCS文献中研究的大多数问题,即:(1)对固定分布的同一性检验,(2)两个未知分布之间的接近性检验(样本量相等/不等),(3)独立性检验(在任何数量的维度上),(4)分布集合的接近度测试,以及(5)测试直方图。对于所有这些问题,我们的测试人员都是样本最佳的,直到恒定的因素。除了(1),我们是{ \em第一个样本最优测试者为相应的问题。}此外,与以前的结果相比,我们的估计量更容易陈述和分析。作为我们的约简技术的应用,我们获得了第一个{ \em近实例最优}算法来测试两个{ \em未知}分布之间的等价性。此外,我们的技术自然地推广到$\ell_1$距离之外的其他度量。我们的下界是通过一个直接的信息理论的方法:给定一个候选的硬实例,我们的证明进行适当的随机变量之间的互信息的边界。虽然这是信息论中的经典方法,但在我们的工作之前,它还没有用于分布性质测试。
2016-05-09 cs.DS cs.IT math.IT
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);MPI(马克斯·普朗克研究所);University of California, San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);UT Austin(德克萨斯大学奥斯汀分校)
我们研究的问题测试离散分布的高概率制度的重点。具体地,给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$,我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况(对应于$δ= Ω(1)$),并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率,但是这种通用的提高方法通常会导致次优的样本界限。在这里,我们研究了以下广泛的问题:对于一个给定的属性$\mathcal{P}$,我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数,包括错误概率$δ$?在这项工作之前,均匀性测试是唯一的统计任务,其样本的复杂性已在此设置的特点。作为我们的主要成果,我们提供了第一个算法的封闭性和独立性测试是样本最优的,在恒定的因素,作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性,这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性,我们给出了最佳算法,用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
Simpler Distribution Testing with Little Memory
本文针对严格内存约束的流式分布测试(均匀性与接近性)提出更简单算法,去除参数范围限制并匹配已有下界。
2023-11-02 cs.DM cs.DS
Communication and Memory Efficient Testing of Discrete Distributions
University of Southern California(南加州大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of California, San Diego(加州大学圣地亚哥分校)
我们在以下计算模型中研究了具有通信和内存约束的分布测试:(1){ \em one-pass streaming model},其目标是最小化受内存约束的协议的样本复杂度,以及(2){ \em distributed model},其中数据样本驻留在多台机器上,目标是最小化协议的通信成本。在这两个模型中,我们提供了有效的算法,用于均匀性/同一性测试(拟合优度)和接近性测试(两个样本测试)。此外,我们显示几乎紧下界(1)的样本复杂性的任何单通流测试仪的均匀性,受内存约束,和(2)的通信成本的任何均匀性测试协议,在一个受限制的“一通”模型的通信。
2019-06-11 cs.DS cs.LG math.ST
Testing Bayesian Networks
IBM Research(IBM研究院);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);University of WisconsinMadison(威斯康星大学麦迪逊分校);University of Southern California(南加州大学);Web3 Foundation(Web3基金会);University of California, San Diego(加利福尼亚大学圣迭戈分校)
这项工作启动了一个系统的调查,测试高维结构化分布的重点是测试贝叶斯网络-有向图形模型的原型家庭。贝叶斯网络由有向无环图定义,其中我们将随机变量与每个节点相关联。一旦其父节点固定,任何特定节点上的值都有条件地独立于所有其他非后代节点。具体地,我们研究了贝叶斯网络的身份测试和贴近度测试的性质。我们的主要贡献是这些问题的第一个非平凡有效的测试算法和相应的信息论下界。对于广泛的参数设置,我们的测试算法的样本复杂度在维度上是次线性的,并且是样本最优的,直到常数因子。
2020-01-25 cs.DS cs.IT cs.LG
Testing Properties of Multiple Distributions with Few Samples
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个新的设置,用于测试分布的属性,同时接收来自多个分布的样本,但每个分布的样本很少。给定来自$s$分布的样本,$p_1, p_2, \ldots, p_s$,我们设计测试器用于以下问题:(1)一致性测试:测试所有的$p_i$是否一致或$ε$-在$\ell_1$-距离中是否远不一致(2)同一性测试:测试是否所有的$p_i$都等于明确给定的分布$q$或$ε$-在$\ell_1$-距离中远离$q$,以及(3)接近性测试:测试所有$p_i$是否等于我们具有样本访问的分布$q$,或者$ε$-在$\ell_1$-距离中远离$q$。通过假设源分布的一个额外的自然条件,我们提供了所有这些问题的样本最优测试。
2019-11-17 cs.DM cs.DS cs.LG
Faster Algorithms for Testing under Conditional Sampling
University of California, San Diego(加州大学圣地亚哥分校)
最近有相当大的兴趣,分布测试的运行时间和样本的要求是次线性的域大小$k$。我们研究了两个最重要的测试下的条件抽样模型,每个查询指定一个子集$S$的域,和响应是一个样本从$S$根据底层的分布。对于身份测试,它询问是否底层分布等于一个特定的给定分布或$ε$ -不同于它,我们减少了已知的时间和样本的复杂性从$\tilde{\mathcal{O}}(ε^{-4})$到$\tilde{\mathcal{O}}(ε^{-2})$,从而匹配的信息理论下限。对于接近性测试,它询问两个分布的基础上观察到的数据集是相等还是不同的,我们减少现有的复杂性从$\tilde{\mathcal{O}}(ε^{-4} \log^5 k)$到一个偶数次对数$\tilde{\mathcal{O}}(ε^{-5} \log \log k)$,从而提供了一个更好的约束到一个开放的问题在Bertinoro研讨会上的次线性算法[Fisher,2004]。
2015-04-16 cs.CC cs.DS cs.LG
Comments on "Testing Conditional Independence of Discrete Distributions"
在这篇简短的笔记中,我们发现并解决了Canonne等人(2018)中定理1.3证明中的错误,这是条件独立性测试的最新突破。在纠正错误后,我们发现Canonne et al.(2018)中建立的一般样本复杂度结果保持不变。
2022-07-06 cs.DS cs.IT math.IT
Better Private Distribution Testing by Leveraging Unverified Auxiliary Data
Rice University(莱斯大学);Purdue University(普渡大学);University of Sydney(悉尼大学);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
本研究将增强分布测试框架拓展至差分隐私场景,针对三类核心分布测试任务设计样本复杂度随辅助信息质量平滑变化的私有算法,并通过信息论下界证明其最优性。
2025-03-18 cs.CR cs.DS cs.LG
Testing Shape Restrictions of Discrete Distributions
我们研究了离散分布的结构性质(类)的检验问题。具体来说,给定对$[n]$上的任意分布$D$和属性$\mathcal{P}$的示例访问,目标是区分$D\in\mathcal{P}$和$\ell_1(D,\mathcal{P})>\varepsilon$。我们开发了一个通用的算法,这个问题,它适用于大范围的“形状约束”的属性,包括单调,对数凹,$t$模态,分段多项式,泊松二项分布。此外,对于所考虑的所有情况下,我们的算法具有接近最佳的样本复杂度方面的域的大小,是计算效率。对于大多数这些类,我们提供了第一个非平凡的测试在文献中。此外,我们还描述了一个通用的方法来证明这个问题的下限,并使用它来证明我们的上限是近紧的。最后,我们扩展我们的一些技术,宽容的测试,推导出接近紧的上限和下限相应的问题。
2016-01-21 cs.CC cs.DS math.PR
Testing Product Distributions: A Closer Look
National University of Singapore(新加坡国立大学);Cornell University(康奈尔大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
研究了$n$维乘积分布的恒等式和封闭性检验问题。Canonne,Diakonikolas,Kane和Stewart(COLT 2017)以及Daskalakis和Pan(COLT 2017)之前的工作已经为二进制字母表上的非容差测试建立了严格的样本复杂度界限:给定二进制字母表上的两个产品分布$P$和$Q$,区分$P = Q$和$d_{\mathrm{TV}}(P, Q) > ε$。我们建立在此之前的工作,给出一个更全面的地图的复杂性测试的产品分布调查宽容测试方面的几个自然距离的措施,并在任意字母表。我们的研究给出了一个细粒度的理解如何宽容测试的样本复杂性的变化与产品分布的距离措施。此外,我们还扩展了我们的上界的产品分布有界度贝叶斯网。
2021-05-26 cs.DS cs.IT cs.LG
On the Structure of Replicable Hypothesis Testers
BARC, University of Copenhagen(哥本哈根大学 BARC);Rice University(莱斯大学);MIT(麻省理工学院);Citadel Securities(城堡证券);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究构建通用工具分析可复现假设检验器的样本复杂度,提出规范性质改进算法设计框架,得到多项检验的最优界与多项式时间的高斯均值检验算法,推动可复现检验理论发展。
2025-09-03 cs.DS cs.LG
Testing Conditional Independence of Discrete Distributions
我们研究了离散分布的\emph{conditional independence}检验问题。具体地说,给定来自域$[\ell_1]\times[\ell_2] \times [n]$上的离散随机变量$(X, Y, Z)$的样本,我们希望以至少$2/3$的概率区分$X$和$Y$在给定$Z$的情况下条件独立的情况与$(X, Y, Z)$是$ε$ -远的情况,在$\ell_1$ -距离中,与具有此属性的每个分布。条件独立性是概率论和统计学中的一个重要概念,在各个科学领域都有广泛的应用。因此,检验条件独立性的统计任务在统计学和计量经济学界以各种形式广泛研究了近一个世纪。也许令人惊讶的是,这个问题以前没有被认为是在分布特性测试的框架,特别是没有测试仪与次线性样本复杂性是已知的,即使是重要的特殊情况下,域的$X$和$Y$是二进制的。本文的主要算法结果是第一个具有{ \em sublinear}样本复杂度的条件独立性测试器,用于$[\ell_1]\times[\ell_2] \times [n]$上的离散分布。为了补充我们的上限,我们证明信息理论的下限,建立我们的算法的样本复杂度是最佳的,常数因子,一些设置。具体来说,对于$\ell_1, \ell_2 = O(1)$时的原型设置,我们证明了测试条件独立性(上限和匹配下限)的样本复杂度为\[ Θ\left({\max\left(n^{1/2}/ε…
2018-07-01 cs.CC cs.DM cs.DS
Testing Mixtures of Discrete Distributions
关于大区域上分布性质检验的样本复杂性问题,已有大量的研究。对于许多属性,已知样本复杂度可以显著小于域大小。例如,在大小为$n$的域上,区分均匀分布与在$\ell_1$ -距离中远离均匀的分布仅使用$O(\sqrt{n})$样本。然而,在存在任意噪声的情况下,即使噪声量很小,图像也是非常不同的。在这种情况下,必须区分样本是否来自接近均匀的$ε$分布和远离均匀的$(1-ε)$分布。后一项任务要求$n$样品几乎呈线性[Valiant 2008,Valian和Valiant 2011]。在这项工作中,我们提出了一个噪声模型,一方面是更易于处理的测试问题,另一方面代表了丰富的一类噪声家庭。在我们的模型中,噪声分布是原始分布和噪声的混合物,其中后者是测试人员明确或通过样本访问已知的;噪声的形式也是先验已知的。集中在同一性和接近性测试问题导致下面的混合测试问题:给定分布$p, q_1,q_2$的样本,我们可以测试$p$是否是$q_1$和$q_2$的混合吗?我们认为这个一般性的问题,在不同的情况下,测试人员如何可以访问的分布,并表明,这个问题确实是更容易处理。我们的结果表明,我们的测试人员的样本复杂性是完全相同的经典的非混合的情况下。
2019-07-06 cs.DS math.ST stat.ML
$\ell_p$ Testing and Learning of Discrete Distributions
Harvard(哈佛大学)
经典的问题,测试的均匀性和学习离散分布,获得独立的样本,一般$\ell_p$指标下进行检查。直觉和结果往往与经典的$\ell_1$的情况下。对于$p > 1$,我们可以学习和测试一些独立于分布支持大小的样本:对于$\ell_p$公差$ε$,$O(\max\{ \sqrt{1/ε^q}, 1/ε^2 \})$样本足以测试均匀性,$O(\max\{ 1/ε^q, 1/ε^2\})$样本足以学习,其中$q=p/(p-1)$是$p$的共轭。由于这与$O(\sqrt{n})$和$O(n)$样本足以满足$\ell_1$情况的直觉相似,因此似乎$1/ε^q$充当“表观”支持大小的上限。对于某些$\ell_p$指标,均匀性测试在更大的支持下变得更容易:6面骰子比2面硬币需要更少的试验来测试公平性,并且洗牌机比骰子需要更少的试验。事实上,当且仅当$p > \frac{4}{3}$成立时,这种对支撑尺寸的反向依赖性成立。均匀性测试算法简单地对“冲突”或“重合”的数量进行阈值化,并且对于所有$1 \leq p \leq 2$具有最佳的样本复杂度直到常数因子。另一种算法给出了$\ell_{\infty}$均匀性测试的阶数最优样本复杂度。同时,最自然的学习算法被证明具有顺序最优的样本复杂度的所有$\ell_p$指标。作者感谢Clément Canonne对本书的讨论和贡献。
2015-03-21 cs.DS cs.LG math.ST
Distribution Testing in the Presence of Arbitrarily Dominant Noise with Verification Queries
本文提出验证查询模型,在仅有极小比例相关数据的混合分布中,通过样本与验证查询的平滑权衡,为均匀性、同一性和接近性测试给出匹配的上下界,并证明提供混合分布PDF可绕过下界。
2025-09-21 cs.DM cs.DS
Generalized Uniformity Testing
在这项工作中,我们重新审视离散概率分布的均匀性检验问题。分布测试中的一个基本问题,即在已知域上测试均匀性,已经在一系列重要的工作中得到了解决,并且现在已经完全理解。然而,决定一个未知分布在其未知(和任意)支持上是否均匀的复杂性却不太清楚。然而,一旦没有关于该领域的先验知识,或者当样本来自未知和非结构化的宇宙时,这个任务就会出现。在这项工作中,我们介绍和研究这个广义的一致性测试问题,并建立近紧的上限和下限显示-相当令人惊讶-其样本的复杂性显着不同的已知域的情况下。此外,我们的算法本质上是自适应的,与绝大多数已知的分布测试算法。
2017-08-15 cs.DM cs.DS math.PR
Optimal Algorithms for Augmented Testing of Discrete Distributions
Rice University(莱斯大学);Boston University(波士顿大学);Northeastern University(东北大学);MIT(麻省理工学院);UW-Madison(威斯康星大学麦迪逊分校)
针对离散分布的均匀性、同一性和接近性测试,本文提出可利用预测分布并按其总变差距离自适应调整样本量的最优稳健算法。
2024-12-01 cs.DS cs.LG stat.ML
Property Testing for Cyclic Groups and Beyond
本文研究了输入(Gamma,*)是否接近于某类群的判定问题,其中Gamma是一个未知大小的有限集,* 是Gamma上的一个二元运算. Friedl等人[Efficient testing of groups,STOC'05]已经构建了一个使用poly(log |Gamma|)查询阿贝尔群类的有效测试器。我们专注于本文中的阿贝尔群的子类,并表明,这些问题要困难得多:欧米茄(|Gamma| ^{1/6})查询是必要的,以测试输入是否接近一个循环群,和欧米茄(|Gamma| ^c)查询一些常数c是必要的,以测试更一般的输入是否接近一个阿贝尔群所产生的k个元素,任何固定整数k>0。我们还表明,知识的地面集伽玛的大小有助于只为k=1,在这种情况下,我们构建一个有效的测试使用多(log |Gamma|)查询;对于任何其他值k>1的查询复杂性仍然是欧米茄(|Gamma| ^c)。我们所有的上限和下限都适用于编辑距离和汉明距离。这些是,据我们所知,第一个非平凡的下界,这样的群体理论问题的属性测试模型,特别是,他们意味着第一个指数分离之间的经典和量子查询复杂性的测试接近类的群体。
2011-08-04 cs.CC cs.DS quant-ph
Sharp Bounds for Generalized Uniformity Testing
University of Southern California(南加州大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们研究离散概率分布的广义均匀性检验问题\cite{BC17}:给定来自{ \em未知}离散域$\mathbfΩ$上的概率分布$p$的样本,我们希望以至少$2/3$的概率区分$p$在$\mathbfΩ$的某个{ \em子集}上是均匀的情况与$ε$ -远,在总变化距离中,任何这样的均匀分布。我们建立了广义均匀性检验样本复杂性的严格界。更详细地说,我们提出了一个计算效率高的测试,其样本的复杂性是最佳的,常数的因素,和匹配的信息理论的下限。具体来说,我们证明了广义均匀性检验的样本复杂性是$Θ\left(1/(ε^{4/3}\|p\|_3) + 1/(ε^{2} \|p\|_2) \right)$。
2017-09-07 cs.DS cs.IT cs.LG
On the Power of Conditional Samples in Distribution Testing
在本文中,我们定义和检查的权力的{ \em条件采样}甲骨文的分布属性测试的背景下。用于离散分布$μ$的条件采样预言机将域的子集$S \subset [n]$作为输入,并输出根据$S$(并独立于所有先前样本)条件的$μ$绘制的随机样本$i \in S$。条件采样预言机是普通采样预言机的自然推广,其中$S$始终等于$[n]$。我们表明,与条件抽样预言,测试均匀性,测试身份的一个已知的分布,并测试任何标签不变的属性的分布是比普通的抽样预言更容易。另一方面,我们还表明,对于某些分布特性的样本复杂性仍然接近最大,即使有条件采样。
2014-04-08 cs.CC cs.DS math.PR
Fourier-Based Testing for Families of Distributions
我们研究的一般问题,测试是否一个未知的分布属于一个指定的家庭的分布。更具体地说,给定分布族$\mathcal{P}$和对未知离散分布$\mathbf{P}$的样本访问,我们希望在$\mathbf{P} \in \mathcal{P}$的情况和$\mathbf{P}$是$ε$的情况之间进行区分(具有高概率)-在总变化距离上,远离$\mathcal{P}$中的每个分布。这是一个典型的假设检验问题,在统计学和最近的理论计算机科学中受到了极大的关注。这个一般推理任务的样本复杂度取决于底层家族$\mathcal{P}$。分布特性测试的黄金标准是为这项任务设计样本最佳和计算效率高的算法。这项工作的主要贡献是一个简单而通用的测试技术,适用于所有的分布家庭的傅立叶谱满足一定的近似稀疏性。据我们所知,我们是第一次使用傅立叶变换的分布测试的背景下。我们应用我们的傅立叶为基础的框架,以获得以下基本分布家族的近样本最佳和计算效率的测试:独立随机变量(SIIRV),泊松多项分布(PMD)和离散对数凹分布的总和。对于前两个,我们是第一个非平凡的测试在文献中,极大地推广了以前的工作测试泊松二项分布。对于第三个,我们的测试人员在样本和时间复杂度方面改进了以前的工作。
2017-08-08 cs.CC cs.DM cs.DS
Minimax optimal testing by classification
Massachusetts Institute of Technology(麻省理工学院)
本文通过分类方法实现了最小最大最优检验,证明了CAT在多种非参数设置中达到最优样本复杂度,并恢复了离散分布上两样本检验的最优复杂度。
2025-11-22 cs.DS math.ST stat.TH
Wasserstein Identity Testing
均匀性检验和更一般的同一性检验是分布性质检验中研究得很好的问题。大多数以前的工作集中在$L_1$距离下的测试。然而,当支撑非常大或甚至连续时,在$L_1$距离下的测试可能需要大量(甚至无限)样本。出于这些问题的动机,我们考虑Wasserstein距离(a.k.a.运输距离和推土机距离)在度量空间(离散的或连续的)上。在本文中,我们提出了Wasserstein身份测试问题(Wasserstein距离中的身份测试)。我们获得了几乎最优的最坏情况下的样本复杂性的问题。此外,对于一个大类的概率分布满足所谓的“加倍条件”,我们提供了近实例最优的样本复杂度。
2017-10-28 cs.DS cs.IT cs.LG
Testing with Non-identically Distributed Samples
Microsoft Research(微软研究院);Stanford University(斯坦福大学)
研究独立非同分布样本下的属性测试,发现当每个分布仅1个样本时需线性样本量,而$c≥2$时可恢复独立同分布的次线性样本复杂度保证。
2025-11-04 cs.DS cs.IT cs.LG
Testing and Learning Convex Sets in the Ternary Hypercube
研究三值超立方体$\{-1,0,1\}^n$中离散凸集的测试与学习问题,证明了凸集边界的近紧致界,并给出了学习及基于样本/查询测试的复杂度上下界。
2023-11-18 cs.DS
Recognising the small Ree groups in their natural representations
本文提出了对Ree群2G_2(q)= Ree(q)(其中q = 3^{2 m + 1},m > 0)在其7阶自然表示中的构造性识别和构造性成员检验的Las Vegas算法.输入是生成集X。构造性识别算法是多项式时间给定的离散对数预言。构造性隶属度测试由预处理步骤和主步骤组成,对于给定的X,预处理步骤只需要执行一次。后者是多项式时间,前者是给定离散对数预言的多项式时间。算法的实现可用于计算机代数系统MAGMA。
2014-08-28 cs.DS math.GR
Testing Data Binnings
出于数据量化和“装箱”的问题,我们重新审视离散概率分布的身份测试的问题。鉴别试验(又名单样本检验)是分布检验中的一个基本的并且到目前为止已经被很好理解的问题,它询问给定参考分布(模型)$\mathbf{q}$和来自未知分布$\mathbf{p}$的样本,两者都在$[n]=\{1,2,\dots,n\}$上,$\mathbf{p}$是否等于$\mathbf{q}$,或者与之显著不同。本文介绍了相关的"直到装箱的同一性“问题,其中参考分布$\mathbf{q}$在$k \ll n$元素上:问题是是否存在域$[n]$到$k$间隔的合适的装仓,使得一旦“装仓”,$\mathbf{p}$等于$\mathbf{q}$。我们提供了这个新问题的样本复杂性的几乎严格的上限和下限,显示了与香草身份测试的定量和定性差异,并回答了Canonne(2019)的一个开放问题。最后,我们讨论了几个扩展和相关的研究方向。
2020-04-27 cs.DM cs.DS
Dynamic SAFFRON: Disease Control Over Time Via Group Testing
我们考虑的动态感染传播模型是基于离散SIR模型,假设感染随着时间的推移通过感染和非隔离的个人传播。在我们的系统中,主要目标不是最小化识别每个感染所需的测试数量,而是在每个时间实例利用可用的给定测试容量$T$来有效地控制感染传播。我们引入并研究了一种新型性能指标,我们将其命名为$ε$ -疾病控制时间。这个指标可以用来衡量给定算法控制疾病传播的速度。本文分析了动态个体测试算法的性能,并提出了一种新的基于动态SAFFRON的群体测试算法。我们提出的理论结果和实现所提出的算法,以比较其性能。
2022-05-18 cs.DS cs.IT cs.SY