Replicable Uniformity Testing
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文在算法可复现性框架下研究均匀性测试,提出首个在参数ρ上具近线性依赖的可复现测试器,并证明了对称算法近乎匹配的样本复杂度下界。
2024-10-12 cs.DS cs.LG stat.ML
Multi-Pass Streaming Lower Bounds for Uniformity Testing
Shenzhen International Center For Industrial And Applied Mathematics, Shenzhen Research Institute of Big Data(深圳国际工业与应用数学中心,深圳大数据研究院);UC Berkeley(加州大学伯克利分校)
本文研究了多轮流式处理中均匀性测试的下界,通过混合论证和通信问题的下界证明,揭示了偏置方向不确定性是难度来源,扩展了单轮下界至多轮。
2025-12-25 cs.CC cs.DS
Instance-Optimal Uniformity Testing and Tracking
Stanford University(斯坦福大学);University of Sydney(悉尼大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出均匀性追踪问题,并给出一个与最优算法竞争比为 polylog(opt) 的算法,利用泊松混合的结构结果实现。该工作弥补了传统均匀性检验在预设距离定义下的不足,提升了检测效率。
2025-08-04 cs.DS cs.LG
Random Restrictions of High-Dimensional Distributions and Uniformity Testing with Subcube Conditioning
IBM Research(IBM研究院);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学);University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
我们给出了一个近似最优的算法来测试$\{-1,1\}^n$上支持的分布的均匀性,该算法使$\tilde O (\sqrt{n}/\varepsilon^2)$查询子立方体条件采样oracle(Bhattacharyya和Chakraborty(2018))。关键的技术组成部分是一个自然的概念,随机限制分布$\{-1,1\}^n$,以及定量分析如何影响这种限制的平均向量的分布。在此过程中,我们考虑了独立样本的均值检验问题,并提供了一个接近最优的算法。
2021-02-04 cs.DS cs.IT cs.LG
Uniformity Testing over Hypergrids with Subcube Conditioning
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
提出一种基于子立方体条件采样的超网格分布均匀性测试算法,在 $m$ 为常数时接近最优,并通过傅里叶分析证明 Pisier 不等式的鲁棒版本来支撑其算法分析。
2023-07-26 cs.DS cs.IT cs.LG
Communication and Memory Efficient Testing of Discrete Distributions
University of Southern California(南加州大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of California, San Diego(加州大学圣地亚哥分校)
我们在以下计算模型中研究了具有通信和内存约束的分布测试:(1){ \em one-pass streaming model},其目标是最小化受内存约束的协议的样本复杂度,以及(2){ \em distributed model},其中数据样本驻留在多台机器上,目标是最小化协议的通信成本。在这两个模型中,我们提供了有效的算法,用于均匀性/同一性测试(拟合优度)和接近性测试(两个样本测试)。此外,我们显示几乎紧下界(1)的样本复杂性的任何单通流测试仪的均匀性,受内存约束,和(2)的通信成本的任何均匀性测试协议,在一个受限制的“一通”模型的通信。
2019-06-11 cs.DS cs.LG math.ST
$\ell_p$ Testing and Learning of Discrete Distributions
Harvard(哈佛大学)
经典的问题,测试的均匀性和学习离散分布,获得独立的样本,一般$\ell_p$指标下进行检查。直觉和结果往往与经典的$\ell_1$的情况下。对于$p > 1$,我们可以学习和测试一些独立于分布支持大小的样本:对于$\ell_p$公差$ε$,$O(\max\{ \sqrt{1/ε^q}, 1/ε^2 \})$样本足以测试均匀性,$O(\max\{ 1/ε^q, 1/ε^2\})$样本足以学习,其中$q=p/(p-1)$是$p$的共轭。由于这与$O(\sqrt{n})$和$O(n)$样本足以满足$\ell_1$情况的直觉相似,因此似乎$1/ε^q$充当“表观”支持大小的上限。对于某些$\ell_p$指标,均匀性测试在更大的支持下变得更容易:6面骰子比2面硬币需要更少的试验来测试公平性,并且洗牌机比骰子需要更少的试验。事实上,当且仅当$p > \frac{4}{3}$成立时,这种对支撑尺寸的反向依赖性成立。均匀性测试算法简单地对“冲突”或“重合”的数量进行阈值化,并且对于所有$1 \leq p \leq 2$具有最佳的样本复杂度直到常数因子。另一种算法给出了$\ell_{\infty}$均匀性测试的阶数最优样本复杂度。同时,最自然的学习算法被证明具有顺序最优的样本复杂度的所有$\ell_p$指标。作者感谢Clément Canonne对本书的讨论和贡献。
2015-03-21 cs.DS cs.LG math.ST
Collision-based Testers are Optimal for Uniformity and Closeness
USC(南加州大学);MIT(麻省理工学院);UT Austin(德克萨斯大学奥斯汀分校)
本文研究了离散分布的均匀性检验和具有有界$\ell_2$ -范数的两个离散分布之间的紧密性检验的基本问题。这些问题在分布检验中得到了广泛的研究,样本最优估计量也因此被称为\cite{Paninski:08, CDVV14, VV14, DKN:15}。在这项工作中,我们表明,原来的碰撞为基础的测试提出了这些问题-\cite{GRdist:00, BFR+:00}是样本最佳的,常数因子。以前的分析表明,这些测试程序的样本复杂性上限是最佳的域大小$n$的函数,但次优的多项式因子的错误参数$ε$。我们的主要贡献是一个新的紧密的分析,建立这些碰撞为基础的测试是信息理论上最优的,恒定的因素,无论是在依赖于$n$和依赖于$ε$。
2016-11-11 cs.DS cs.IT cs.LG
Sharp Constants in Uniformity Testing via the Huber Statistic
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
均匀性测试是性能测试中研究最多的问题之一,具有许多已知的检验统计量,包括基于计数碰撞、单例和经验TV距离的测试统计量。已知区分$m$元素上的均匀分布与具有$1-δ$概率的任何$ε$ -远分布的最佳样本复杂度是$n = Θ\left(\frac{\sqrt{m \log (1/δ)}}{ε^2} + \frac{\log (1/δ)}{ε^2}\right)$,这是通过经验TV测试器实现的。然而,在模拟,这些理论分析是误导:在许多情况下,他们不正确的排名顺序现有的测试仪的性能,即使在渐近制度的所有参数倾向于$0$或$\infty$。我们通过研究算法所需的\emph{constant factors}来解释这种差异。我们表明,碰撞测试仪实现了一个尖锐的最大常数的数量均匀和非均匀的输入之间的分离的标准差。然后,我们介绍了一个新的测试的基础上的Huber损失,并表明,它不仅匹配这个分离,但也有相应的高斯与此分离的尾巴。这导致了$(1 + o(1))\frac{\sqrt{m \log (1/δ)}}{ε^2}$在该术语占主导地位的情况下的样本复杂性,这与所有其他现有的测试仪不同。
2022-06-21 cs.DS cs.IT cs.LG
As Easy as ABC: Adaptive Binning Coincidence Test for Uniformity Testing
School of Electrical & Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
研究了具有有界支撑的Lipschitz连续分布的一致性检验问题。备择假设是Lipschitz连续分布的复合集,这些分布与均匀分布的距离至少为$\varepsilon$(在$\ell_1$距离上)。我们提出了一个序贯检验,适应未知分布下的备择假设。被称为自适应分箱重合(ABC)测试,所提出的策略以两种方式适应。首先,它将替代分布集划分为基于它们到均匀分布的距离的层。然后,它依次消除交替分布层逐层减少距离均匀,并随后利用有利的情况下,一个遥远的替代提前退出。其次,它适应,跨层的替代分布,计算重合统计的离散化的分辨率水平。该层离均匀层越远,则消除/退出该层所需的离散化就越粗糙。因此,它在检测过程的早期退出,并通过使用较低的分辨率来利用有利的替代分布来快速退出。ABC检验建立在一种新的离散分布的序贯符合检验的基础上,这是一种独立的检验方法。我们建立了样本复杂性的建议测试以及一个下界。
2021-10-12 cs.DS cs.IT cs.LG
Testing Unate Distributions
Massachusetts Institute of Technology(麻省理工学院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
研究单峰分布的均匀性测试和单峰性测试,分别给出样本复杂度上下界,算法优于直接归约为单调情况的朴素方法。
2026-07-03 cs.CC cs.DS
Monotonicity Testing of High-Dimensional Distributions with Subcube Conditioning
Dartmouth College(达特茅斯学院);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
研究子立方体条件下高维分布的单调性测试,证明查询复杂度为Θ̃(n/ε²),并推广了KMS不等式;同时证明单调分布的均匀性测试查询复杂度为Θ̃(√n/ε²),表明单调性仅在对数因子内无助于均匀性测试。
2025-02-22 cs.CC cs.DM cs.DS
On closeness to k-wise uniformity
{-1,1}^n上的概率分布是(eps,k)-均匀的,如果粗略地说,当限制到任何k坐标时,它是eps-接近均匀分布。我们考虑的问题有多远(eps,k)-明智的均匀分布可以从任何全球k-明智的均匀分布。我们证明了每个(eps,k)均匀分布在总变差距离上都是O(n^(k/2)eps)-接近于k均匀分布。此外,我们还证明了该界对于所有偶数k都是最优的:我们发现了一个(eps,k)方向的均匀分布,即Omega(n^(k/2)eps)-在总变差距离中远离任何k方向的均匀分布。对于k = 1,我们得到了O(eps)的更好的上界,这也是最优的。我们的贴近度结果的一个应用是测试分布是否是k-wise均匀或远离k-wise均匀的样本复杂度。我们在所需的样本上给出了O(n^k/delta^2)(或当k = 1时O(log n/delta^2))的上界。对于完全一致检验和远离k-一致检验的特殊情况,我们给出了O~(n^(k/2)/delta^2)的改进的上界.最后,当k = 2时,我们用匹配的Ω(n/delta^2)下界来补充这一点。我们的结果改进了[AAK+07]中的最佳界,并且具有更简单的证明。
2018-06-10 cs.DS
Simpler Distribution Testing with Little Memory
本文针对严格内存约束的流式分布测试(均匀性与接近性)提出更简单算法,去除参数范围限制并匹配已有下界。
2023-11-02 cs.DM cs.DS
On Distribution Testing in the Conditional Sampling Model
近年来,在条件抽样模型下的分布检验研究取得了很大的进展。在此模型中,查询指定域的子集$S$,接收的输出是从分布中提取的样本,条件是在$S$中。在本文中,我们改进了查询复杂性的界限,在这个模型中的几个经典的分布测试问题。首先,我们证明了条件抽样模型中的公差均匀性测试可以使用$\tilde{O}(\varepsilon^{-2})$查询来解决,这是最优的,并且改进了Canonne等人的$\tilde{O}(\varepsilon^{-20})$查询算法。[CRS 15]。这个界限甚至在被称为配对条件抽样模型的条件抽样模型的限制版本下也成立。接下来,我们证明了条件抽样模型中的容忍身份测试可以在$\tilde{O}(\varepsilon^{-4})$查询中解决,这是第一个已知的独立于该问题的分布的支持大小的界限。其次,我们利用我们的算法进行容忍一致性检验,得到了条件抽样模型下单调性检验的$\tilde{O}(\varepsilon^{-4})$ -查询算法,改进了Canonne [Can 15]的$\tilde{O}(\varepsilon^{-22})$ -查询算法.最后,我们研究了配对条件抽样模型下的(非容忍)身份测试,并给出了查询复杂度的$\tildeΘ(\sqrt{\log N} \cdot \varepsilon^{-2})$的一个紧界,其中分布的域具有大小$N$。这改进了[C…
2020-11-04 cs.DS math.PR math.ST
On the Power of Conditional Samples in Distribution Testing
在本文中,我们定义和检查的权力的{ \em条件采样}甲骨文的分布属性测试的背景下。用于离散分布$μ$的条件采样预言机将域的子集$S \subset [n]$作为输入,并输出根据$S$(并独立于所有先前样本)条件的$μ$绘制的随机样本$i \in S$。条件采样预言机是普通采样预言机的自然推广,其中$S$始终等于$[n]$。我们表明,与条件抽样预言,测试均匀性,测试身份的一个已知的分布,并测试任何标签不变的属性的分布是比普通的抽样预言更容易。另一方面,我们还表明,对于某些分布特性的样本复杂性仍然接近最大,即使有条件采样。
2014-04-08 cs.CC cs.DS math.PR
Wasserstein Identity Testing
均匀性检验和更一般的同一性检验是分布性质检验中研究得很好的问题。大多数以前的工作集中在$L_1$距离下的测试。然而,当支撑非常大或甚至连续时,在$L_1$距离下的测试可能需要大量(甚至无限)样本。出于这些问题的动机,我们考虑Wasserstein距离(a.k.a.运输距离和推土机距离)在度量空间(离散的或连续的)上。在本文中,我们提出了Wasserstein身份测试问题(Wasserstein距离中的身份测试)。我们获得了几乎最优的最坏情况下的样本复杂性的问题。此外,对于一个大类的概率分布满足所谓的“加倍条件”,我们提供了近实例最优的样本复杂度。
2017-10-28 cs.DS cs.IT cs.LG
Quantum conditional query complexity
我们定义并研究了一种新型的量子预言机,量子条件预言机,它提供了与底层分布相关的条件概率的预言机访问。在其他属性中,我们(a)获得了最知名的量子算法的速度提升,用于概率分布的身份测试,等价性测试和均匀性测试;(b)研究了这些预言机用于测试布尔函数属性的能力,并获得了一个算法,用于检查$n$ -输入$m$ -输出布尔函数是否平衡或$ε$ -远离平衡;以及(c)给出一个次线性算法,需要$\tilde{O}(n^{3/4}/ε)$查询,用于测试$n$维量子态是否是最大混合的.
2016-09-06 cs.DS quant-ph
A Chasm Between Identity and Equivalence Testing with Conditional Queries
Cornell University(康奈尔大学);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
最近的概率分布的属性测试模型(Chakraborty等人,ITCS 2013,Canonne等人,SICOMP 2015)通过允许测试算法对域的子集进行采样,从而极大地节省了测试算法的样本复杂性。特别是,Canonne,Ron和Servedio(SICOMP 2015)表明,在这种情况下,测试未知分布$D$的身份(是否$D=D^\ast$为明确已知的$D^\ast$)可以通过恒定数量的查询来完成,与支持大小$n$无关-与标准抽样模型中所需的$Ω(\sqrt{n})$相反。目前还不清楚是否存在同样的鲜明对比的情况下,测试等效性,其中两个分布是未知的。虽然Canonne等人为等价性检验建立了一个$\mathrm{poly}(\log n)$ -查询上限,最近Falahatgar等人将其降低到$\tilde O(\log\log n)$(COLT 2015),但是否需要依赖域大小$n$仍然是开放的,并且Fischer在Bertinoro次线性算法研讨会(2014)上明确提出。我们证明了任何等价性检验算法都必须在条件抽样模型中进行$Ω(\sqrt{\log\log n})$查询。这表明同一性和等效性检验之间存在差距,而标准抽样模型中不存在这种差距(其中两个问题都具有抽样复杂性$n^{Θ(1)}$)。我们还获得了查询复杂性的一致性测试和支持大小估计与条件样本的结果。我们回答了Chakrabo…
2018-12-07 cs.CC cs.DS cs.LG
Tight Bounds for Equivalence Testing with Non-Adaptive Conditional Samples
New York University(纽约大学)
针对非自适应条件样本下的分布等价性测试问题,给出了该问题所需查询次数的紧界,证明其复杂度为tildeθ(log n),明确了该场景下等价性测试的查询复杂度。
2026-10-09 cs.DS cs.IT math.IT
Distribution Testing Under the Parity Trace
本文引入奇偶迹下的分布测试抽象,仅揭示样本元素的最低有效位,从而揭示困惑收集者分布测试、测试与学习问题及迹重构属性测试间的联系,并得出新的上下界及紧致界限。
2023-04-03 cs.CC cs.DS
Testing Properties of Multiple Distributions with Few Samples
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个新的设置,用于测试分布的属性,同时接收来自多个分布的样本,但每个分布的样本很少。给定来自$s$分布的样本,$p_1, p_2, \ldots, p_s$,我们设计测试器用于以下问题:(1)一致性测试:测试所有的$p_i$是否一致或$ε$-在$\ell_1$-距离中是否远不一致(2)同一性测试:测试是否所有的$p_i$都等于明确给定的分布$q$或$ε$-在$\ell_1$-距离中远离$q$,以及(3)接近性测试:测试所有$p_i$是否等于我们具有样本访问的分布$q$,或者$ε$-在$\ell_1$-距离中远离$q$。通过假设源分布的一个额外的自然条件,我们提供了所有这些问题的样本最优测试。
2019-11-17 cs.DM cs.DS cs.LG
Better Private Distribution Testing by Leveraging Unverified Auxiliary Data
Rice University(莱斯大学);Purdue University(普渡大学);University of Sydney(悉尼大学);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
本研究将增强分布测试框架拓展至差分隐私场景,针对三类核心分布测试任务设计样本复杂度随辅助信息质量平滑变化的私有算法,并通过信息论下界证明其最优性。
2025-03-18 cs.CR cs.DS cs.LG
Distribution Testing with a Confused Collector
本文研究在困惑收集器导致的系统错误标记样本下测试分布属性,提出在对抗性或随机聚类下利用样本与标签查询预言机高效测试分布的同一性、均匀性和等价性。
2023-11-24 cs.DS
Clifford testing: algorithms and lower bounds
Freie Universität Berlin(柏林自由大学);Centrum Wiskunde & Informatica (CWI)(荷兰数学与计算机科学研究中心);QuSoft
本文提出首个4次查询的Clifford测试算法,解决黑盒n量子比特单位元是否为Clifford单位元或至少ε远离所有Clifford单位元的问题,并证明了多项式逆定理,解决了Bu等人提出的猜想。
2025-10-08 cs.CC cs.DS quant-ph
Testing with Non-identically Distributed Samples
Microsoft Research(微软研究院);Stanford University(斯坦福大学)
研究独立非同分布样本下的属性测试,发现当每个分布仅1个样本时需线性样本量,而$c≥2$时可恢复独立同分布的次线性样本复杂度保证。
2025-11-04 cs.DS cs.IT cs.LG
Distribution Testing in the Presence of Arbitrarily Dominant Noise with Verification Queries
本文提出验证查询模型,在仅有极小比例相关数据的混合分布中,通过样本与验证查询的平滑权衡,为均匀性、同一性和接近性测试给出匹配的上下界,并证明提供混合分布PDF可绕过下界。
2025-09-21 cs.DM cs.DS
Property Testing on Product Distributions: Optimal Testers for Bounded Derivative Properties
性质测试的主要问题是确定给定函数是否满足某个性质,或者是否远离任何满足该性质的函数,这就需要函数之间的距离概念。最流行的概念是域上{ \em uniform}分布上的汉明距离。这种对均匀性的限制更多的是为了方便而不是必要,而且研究由更一般的分布引起的距离是很重要的。在本文中,我们在这个方向上取得了重大进展。我们给出了{\em任意乘积分布}上{\em有界导数性质}的简单最优检验.有界导数性质包括基本性质,如单调性和Lipschitz连续性。我们的结果substances几乎所有已知的结果(上界和下界)的单调性和Lipschitz测试。我们证明了有界导数性质测试和二叉搜索树(BST)之间的密切联系。我们展示了一个测试,其查询复杂性是最佳BST的每个边际的预期深度的总和。此外,我们还证明了这个深度和也是一个下界。这项工作的一个基本的技术贡献是一个{ \em最佳降维定理}的所有有界衍生物的属性,它涉及到的距离的功能从属性的距离限制的功能随机线。这样一个定理在过去的15年里甚至对于单调性都是难以捉摸的,而我们的定理是对以前最著名结果的指数改进。
2014-04-02 cs.DM cs.DS math.CO
Anaconda: A Non-Adaptive Conditional Sampling Algorithm for Distribution Testing
Simons Institute for the Theory of Computing(西蒙斯计算理论研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了非自适应条件样本的分布检验。在条件抽样模型中,算法被赋予对分布的以下访问:它向oracle提交查询集$S$,oracle返回来自分布的样本,条件是来自$S$。在非自适应设置中,必须在查看结果之前指定所有查询集。我们的主要成果是第一个多元查询算法的等价性测试,决定是否两个未知的分布是相等或远离对方。这是一个指数的改善,在以前的最佳上限,并表明该模型中的问题的复杂性是中间的标准采样模型和自适应条件采样模型中的问题的复杂性。我们还显着提高了样品的复杂性,更容易的问题的一致性和同一性测试。对于前者,我们的算法只需要$\tilde O(\log n)$查询,匹配的信息理论下限的$O(\log \log n)$ -因素。我们的算法的工作原理是将问题从$\ell_1$ -测试减少到$\ell_\infty$ -测试,这使得样本复杂性要便宜得多。由于非自适应模型的功率有限,我们的算法非常简单。然而,由于两个任意分布如何不同的复杂结构,分析中存在重大挑战。
2018-11-05 cs.DS cs.IT cs.LG
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);MPI(马克斯·普朗克研究所);University of California, San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);UT Austin(德克萨斯大学奥斯汀分校)
我们研究的问题测试离散分布的高概率制度的重点。具体地,给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$,我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况(对应于$δ= Ω(1)$),并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率,但是这种通用的提高方法通常会导致次优的样本界限。在这里,我们研究了以下广泛的问题:对于一个给定的属性$\mathcal{P}$,我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数,包括错误概率$δ$?在这项工作之前,均匀性测试是唯一的统计任务,其样本的复杂性已在此设置的特点。作为我们的主要成果,我们提供了第一个算法的封闭性和独立性测试是样本最优的,在恒定的因素,作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性,这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性,我们给出了最佳算法,用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
Optimal Algorithms for Augmented Testing of Discrete Distributions
Rice University(莱斯大学);Boston University(波士顿大学);Northeastern University(东北大学);MIT(麻省理工学院);UW-Madison(威斯康星大学麦迪逊分校)
针对离散分布的均匀性、同一性和接近性测试,本文提出可利用预测分布并按其总变差距离自适应调整样本量的最优稳健算法。
2024-12-01 cs.DS cs.LG stat.ML
Private High-Dimensional Hypothesis Testing
Massachusetts Institute of Technology(麻省理工学院)
我们提供了改进的差分隐私算法的高维分布的身份测试。具体地,对于具有已知协方差$Σ$的$d$维高斯分布,如果允许算法在计算上低效,则可以仅使用\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/3}}{α^{4/3} \cdot \varepsilon^{2/3}} + \frac{1}{α\cdot \varepsilon}\right)\]样本来测试该分布是来自某个固定$μ^*$的$\mathcal{N}(μ^*, Σ)$还是来自某个$\mathcal{N}(μ, Σ)$,其中总变化距离至少为$α$,来自具有$(\varepsilon, 0)$ -差分隐私的$\mathcal{N}(μ^*, Σ)$。并且对于计算上有效的算法仅采样\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/4}}{α\cdot \varepsilon}\right)\]。我们还提供了一个匹配的下限表明,我们的计算效率低下的算法具有最佳的样本复杂度。我们还将我们的算法扩展到各种相关的问题,包括均值检验的高斯有界,但未知的协方差,均匀性测试的产品分布在$\{-1, 1\}^d$,和宽容的测试。我们的结果比Canonne等人以前的最佳工作有所改进。\cite{CanonneKMUZ20}的计算效率和效率低下的算法,甚…
2022-07-24 cs.CR cs.DS cs.IT
Optimal Identity Testing with High Probability
USC(南加利福尼亚大学);MIT(麻省理工学院);UT Austin(得克萨斯大学奥斯汀分校)
我们研究的问题,测试身份对一个给定的分布集中在高置信度制度。更确切地说,给定来自$n$元素上的未知分布$p$、明确给定的分布$q$和参数$0< ε, δ< 1$的样本,我们希望区分{概率至少为$1-δ$的\em},分布是否与$\varepsilon$相同-在总变化距离上。大多数先前的工作集中在$δ= Ω(1)$的情况下,对于该情况,已知同一性测试的样本复杂度为$Θ(\sqrt{n}/ε^2)$。给定这样的算法,可以通过黑盒放大获得任意小的$δ$值,黑盒放大将所需的样本数乘以$Θ(\log(1/δ))$。我们表明,黑盒放大是次优的任何$δ= o(1)$,并给出了一个新的身份测试,实现了最佳的样本复杂性。我们的新的上限和下限表明,最佳的样本复杂性的身份测试是\[ Θ\left( \frac{1}{ε^2}\left(\sqrt{n \log(1/δ)} + \log(1/δ) \right)\right) \]的任何$n, \varepsilon$,和$δ$。对于均匀性测试的特殊情况,其中给定的分布是域上的均匀分布$U_n$,我们的新测试器令人惊讶地简单:要测试$p = U_n$与$d_{\mathrm TV}(p, U_n) \geq \varepsilon$是否一致,我们只需阈值$d_{\mathrm TV}(\widehat{p}, U_n)$,其中$\widehat{p}$是经…
2019-01-15 cs.DS cs.IT cs.LG