$\ell_p$ Testing and Learning of Discrete Distributions
Harvard(哈佛大学)
经典的问题,测试的均匀性和学习离散分布,获得独立的样本,一般$\ell_p$指标下进行检查。直觉和结果往往与经典的$\ell_1$的情况下。对于$p > 1$,我们可以学习和测试一些独立于分布支持大小的样本:对于$\ell_p$公差$ε$,$O(\max\{ \sqrt{1/ε^q}, 1/ε^2 \})$样本足以测试均匀性,$O(\max\{ 1/ε^q, 1/ε^2\})$样本足以学习,其中$q=p/(p-1)$是$p$的共轭。由于这与$O(\sqrt{n})$和$O(n)$样本足以满足$\ell_1$情况的直觉相似,因此似乎$1/ε^q$充当“表观”支持大小的上限。对于某些$\ell_p$指标,均匀性测试在更大的支持下变得更容易:6面骰子比2面硬币需要更少的试验来测试公平性,并且洗牌机比骰子需要更少的试验。事实上,当且仅当$p > \frac{4}{3}$成立时,这种对支撑尺寸的反向依赖性成立。均匀性测试算法简单地对“冲突”或“重合”的数量进行阈值化,并且对于所有$1 \leq p \leq 2$具有最佳的样本复杂度直到常数因子。另一种算法给出了$\ell_{\infty}$均匀性测试的阶数最优样本复杂度。同时,最自然的学习算法被证明具有顺序最优的样本复杂度的所有$\ell_p$指标。作者感谢Clément Canonne对本书的讨论和贡献。
2015-03-21 cs.DS cs.LG math.ST
Collision-based Testers are Optimal for Uniformity and Closeness
USC(南加州大学);MIT(麻省理工学院);UT Austin(德克萨斯大学奥斯汀分校)
本文研究了离散分布的均匀性检验和具有有界$\ell_2$ -范数的两个离散分布之间的紧密性检验的基本问题。这些问题在分布检验中得到了广泛的研究,样本最优估计量也因此被称为\cite{Paninski:08, CDVV14, VV14, DKN:15}。在这项工作中,我们表明,原来的碰撞为基础的测试提出了这些问题-\cite{GRdist:00, BFR+:00}是样本最佳的,常数因子。以前的分析表明,这些测试程序的样本复杂性上限是最佳的域大小$n$的函数,但次优的多项式因子的错误参数$ε$。我们的主要贡献是一个新的紧密的分析,建立这些碰撞为基础的测试是信息理论上最优的,恒定的因素,无论是在依赖于$n$和依赖于$ε$。
2016-11-11 cs.DS cs.IT cs.LG
As Easy as ABC: Adaptive Binning Coincidence Test for Uniformity Testing
School of Electrical & Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
研究了具有有界支撑的Lipschitz连续分布的一致性检验问题。备择假设是Lipschitz连续分布的复合集,这些分布与均匀分布的距离至少为$\varepsilon$(在$\ell_1$距离上)。我们提出了一个序贯检验,适应未知分布下的备择假设。被称为自适应分箱重合(ABC)测试,所提出的策略以两种方式适应。首先,它将替代分布集划分为基于它们到均匀分布的距离的层。然后,它依次消除交替分布层逐层减少距离均匀,并随后利用有利的情况下,一个遥远的替代提前退出。其次,它适应,跨层的替代分布,计算重合统计的离散化的分辨率水平。该层离均匀层越远,则消除/退出该层所需的离散化就越粗糙。因此,它在检测过程的早期退出,并通过使用较低的分辨率来利用有利的替代分布来快速退出。ABC检验建立在一种新的离散分布的序贯符合检验的基础上,这是一种独立的检验方法。我们建立了样本复杂性的建议测试以及一个下界。
2021-10-12 cs.DS cs.IT cs.LG
Stability is Stable: Connections between Replicability, Privacy, and Adaptive Generalization
Boston University(波士顿大学);UCSD(加州大学圣地亚哥分校);Columbia University(哥伦比亚大学);University of Toronto(多伦多大学);IAS(高等研究院);University of Pennsylvania(宾夕法尼亚大学)
在Impagliazzo等人[STOC '22]中引入了可复制算法的概念,以描述在其输入恢复下稳定的随机算法。更准确地说,当随机性固定并且在新的i.i.d.上运行时,可复制算法以高概率给出相同的输出。从同一分布中抽取样本。使用可复制算法进行数据分析可以通过确保分析结果以高概率相同来促进对已发布结果的验证,即使该分析是在新数据集上执行的。在这项工作中,我们建立了新的连接和分离之间的可复制性和算法稳定性的标准概念。特别是,我们给样本效率的算法之间的完美的推广,近似差分隐私,和可复制性广泛的一类统计问题的减少。相反,我们证明了任何这样的等价性都必须在计算上被打破:存在着在差分隐私下很容易解决的统计问题,但是如果不破坏公钥密码学,就不能复制地解决这些问题。此外,这些结果是紧密的:我们的减少是统计上最优的,我们表明,DP和可复制性之间的任何计算分离必须意味着单向函数的存在。我们的统计减少提供了一个新的算法框架之间的翻译稳定的概念,我们实例化回答几个开放的问题,在可复制性和隐私。这包括为各种PAC学习,分布估计和分布测试问题,算法放大$δ$近似DP,从项目级到用户级隐私的转换,以及结构化分布下存在的私有不可知到可实现的学习减少提供样本有效的可复制算法。
2023-03-25 cs.CR cs.DS cs.LG
Replicability in High Dimensional Statistics
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文研究高维统计任务的可复现性,建立最优可复现算法与高维等周铺砌的等价性,给出均值估计和 N 枚硬币问题的匹配样本复杂度界,并通过预处理、自适应性和近似可复现性等放宽范式实现样本与计算高效算法。
2024-06-04 cs.CC cs.DS cs.LG
Monotonicity Testing of High-Dimensional Distributions with Subcube Conditioning
Dartmouth College(达特茅斯学院);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
研究子立方体条件下高维分布的单调性测试,证明查询复杂度为Θ̃(n/ε²),并推广了KMS不等式;同时证明单调分布的均匀性测试查询复杂度为Θ̃(√n/ε²),表明单调性仅在对数因子内无助于均匀性测试。
2025-02-22 cs.CC cs.DM cs.DS
Wasserstein Identity Testing
均匀性检验和更一般的同一性检验是分布性质检验中研究得很好的问题。大多数以前的工作集中在$L_1$距离下的测试。然而,当支撑非常大或甚至连续时,在$L_1$距离下的测试可能需要大量(甚至无限)样本。出于这些问题的动机,我们考虑Wasserstein距离(a.k.a.运输距离和推土机距离)在度量空间(离散的或连续的)上。在本文中,我们提出了Wasserstein身份测试问题(Wasserstein距离中的身份测试)。我们获得了几乎最优的最坏情况下的样本复杂性的问题。此外,对于一个大类的概率分布满足所谓的“加倍条件”,我们提供了近实例最优的样本复杂度。
2017-10-28 cs.DS cs.IT cs.LG
Better Private Distribution Testing by Leveraging Unverified Auxiliary Data
Rice University(莱斯大学);Purdue University(普渡大学);University of Sydney(悉尼大学);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
本研究将增强分布测试框架拓展至差分隐私场景,针对三类核心分布测试任务设计样本复杂度随辅助信息质量平滑变化的私有算法,并通过信息论下界证明其最优性。
2025-03-18 cs.CR cs.DS cs.LG
Optimal Algorithms for Augmented Testing of Discrete Distributions
Rice University(莱斯大学);Boston University(波士顿大学);Northeastern University(东北大学);MIT(麻省理工学院);UW-Madison(威斯康星大学麦迪逊分校)
针对离散分布的均匀性、同一性和接近性测试,本文提出可利用预测分布并按其总变差距离自适应调整样本量的最优稳健算法。
2024-12-01 cs.DS cs.LG stat.ML
A Chasm Between Identity and Equivalence Testing with Conditional Queries
Cornell University(康奈尔大学);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
最近的概率分布的属性测试模型(Chakraborty等人,ITCS 2013,Canonne等人,SICOMP 2015)通过允许测试算法对域的子集进行采样,从而极大地节省了测试算法的样本复杂性。特别是,Canonne,Ron和Servedio(SICOMP 2015)表明,在这种情况下,测试未知分布$D$的身份(是否$D=D^\ast$为明确已知的$D^\ast$)可以通过恒定数量的查询来完成,与支持大小$n$无关-与标准抽样模型中所需的$Ω(\sqrt{n})$相反。目前还不清楚是否存在同样的鲜明对比的情况下,测试等效性,其中两个分布是未知的。虽然Canonne等人为等价性检验建立了一个$\mathrm{poly}(\log n)$ -查询上限,最近Falahatgar等人将其降低到$\tilde O(\log\log n)$(COLT 2015),但是否需要依赖域大小$n$仍然是开放的,并且Fischer在Bertinoro次线性算法研讨会(2014)上明确提出。我们证明了任何等价性检验算法都必须在条件抽样模型中进行$Ω(\sqrt{\log\log n})$查询。这表明同一性和等效性检验之间存在差距,而标准抽样模型中不存在这种差距(其中两个问题都具有抽样复杂性$n^{Θ(1)}$)。我们还获得了查询复杂性的一致性测试和支持大小估计与条件样本的结果。我们回答了Chakrabo…
2018-12-07 cs.CC cs.DS cs.LG
Testing with Non-identically Distributed Samples
Microsoft Research(微软研究院);Stanford University(斯坦福大学)
研究独立非同分布样本下的属性测试,发现当每个分布仅1个样本时需线性样本量,而$c≥2$时可恢复独立同分布的次线性样本复杂度保证。
2025-11-04 cs.DS cs.IT cs.LG
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);MPI(马克斯·普朗克研究所);University of California, San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学);UT Austin(德克萨斯大学奥斯汀分校)
我们研究的问题测试离散分布的高概率制度的重点。具体地,给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$,我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况(对应于$δ= Ω(1)$),并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率,但是这种通用的提高方法通常会导致次优的样本界限。在这里,我们研究了以下广泛的问题:对于一个给定的属性$\mathcal{P}$,我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数,包括错误概率$δ$?在这项工作之前,均匀性测试是唯一的统计任务,其样本的复杂性已在此设置的特点。作为我们的主要成果,我们提供了第一个算法的封闭性和独立性测试是样本最优的,在恒定的因素,作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性,这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性,我们给出了最佳算法,用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
Uniformity Testing in the Shuffle Model: Simpler, Better, Faster
均匀性检验,或检验独立观测值是否均匀分布,是分布检验中的典型问题。在过去的几年里,一系列的工作一直集中在数据的隐私约束下的一致性测试,并获得了各种隐私模型,如中央差分隐私(DP),本地隐私(LDP),泛隐私,以及最近,差分隐私的洗牌模型下的隐私和数据有效的算法。在这项工作中,我们大大简化了分析的均匀性测试算法的洗牌模型,并使用最近的结果“通过洗牌隐私放大”,提供了一种替代算法实现相同的保证与一个基本的和流线型的参数。
2021-10-18 cs.CR cs.DM cs.DS
Anaconda: A Non-Adaptive Conditional Sampling Algorithm for Distribution Testing
Simons Institute for the Theory of Computing(西蒙斯计算理论研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了非自适应条件样本的分布检验。在条件抽样模型中,算法被赋予对分布的以下访问:它向oracle提交查询集$S$,oracle返回来自分布的样本,条件是来自$S$。在非自适应设置中,必须在查看结果之前指定所有查询集。我们的主要成果是第一个多元查询算法的等价性测试,决定是否两个未知的分布是相等或远离对方。这是一个指数的改善,在以前的最佳上限,并表明该模型中的问题的复杂性是中间的标准采样模型和自适应条件采样模型中的问题的复杂性。我们还显着提高了样品的复杂性,更容易的问题的一致性和同一性测试。对于前者,我们的算法只需要$\tilde O(\log n)$查询,匹配的信息理论下限的$O(\log \log n)$ -因素。我们的算法的工作原理是将问题从$\ell_1$ -测试减少到$\ell_\infty$ -测试,这使得样本复杂性要便宜得多。由于非自适应模型的功率有限,我们的算法非常简单。然而,由于两个任意分布如何不同的复杂结构,分析中存在重大挑战。
2018-11-05 cs.DS cs.IT cs.LG
Private High-Dimensional Hypothesis Testing
Massachusetts Institute of Technology(麻省理工学院)
我们提供了改进的差分隐私算法的高维分布的身份测试。具体地,对于具有已知协方差$Σ$的$d$维高斯分布,如果允许算法在计算上低效,则可以仅使用\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/3}}{α^{4/3} \cdot \varepsilon^{2/3}} + \frac{1}{α\cdot \varepsilon}\right)\]样本来测试该分布是来自某个固定$μ^*$的$\mathcal{N}(μ^*, Σ)$还是来自某个$\mathcal{N}(μ, Σ)$,其中总变化距离至少为$α$,来自具有$(\varepsilon, 0)$ -差分隐私的$\mathcal{N}(μ^*, Σ)$。并且对于计算上有效的算法仅采样\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/4}}{α\cdot \varepsilon}\right)\]。我们还提供了一个匹配的下限表明,我们的计算效率低下的算法具有最佳的样本复杂度。我们还将我们的算法扩展到各种相关的问题,包括均值检验的高斯有界,但未知的协方差,均匀性测试的产品分布在$\{-1, 1\}^d$,和宽容的测试。我们的结果比Canonne等人以前的最佳工作有所改进。\cite{CanonneKMUZ20}的计算效率和效率低下的算法,甚…
2022-07-24 cs.CR cs.DS cs.IT
Optimal Identity Testing with High Probability
USC(南加利福尼亚大学);MIT(麻省理工学院);UT Austin(得克萨斯大学奥斯汀分校)
我们研究的问题,测试身份对一个给定的分布集中在高置信度制度。更确切地说,给定来自$n$元素上的未知分布$p$、明确给定的分布$q$和参数$0< ε, δ< 1$的样本,我们希望区分{概率至少为$1-δ$的\em},分布是否与$\varepsilon$相同-在总变化距离上。大多数先前的工作集中在$δ= Ω(1)$的情况下,对于该情况,已知同一性测试的样本复杂度为$Θ(\sqrt{n}/ε^2)$。给定这样的算法,可以通过黑盒放大获得任意小的$δ$值,黑盒放大将所需的样本数乘以$Θ(\log(1/δ))$。我们表明,黑盒放大是次优的任何$δ= o(1)$,并给出了一个新的身份测试,实现了最佳的样本复杂性。我们的新的上限和下限表明,最佳的样本复杂性的身份测试是\[ Θ\left( \frac{1}{ε^2}\left(\sqrt{n \log(1/δ)} + \log(1/δ) \right)\right) \]的任何$n, \varepsilon$,和$δ$。对于均匀性测试的特殊情况,其中给定的分布是域上的均匀分布$U_n$,我们的新测试器令人惊讶地简单:要测试$p = U_n$与$d_{\mathrm TV}(p, U_n) \geq \varepsilon$是否一致,我们只需阈值$d_{\mathrm TV}(\widehat{p}, U_n)$,其中$\widehat{p}$是经…
2019-01-15 cs.DS cs.IT cs.LG
Testing Properties of Multiple Distributions with Few Samples
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个新的设置,用于测试分布的属性,同时接收来自多个分布的样本,但每个分布的样本很少。给定来自$s$分布的样本,$p_1, p_2, \ldots, p_s$,我们设计测试器用于以下问题:(1)一致性测试:测试所有的$p_i$是否一致或$ε$-在$\ell_1$-距离中是否远不一致(2)同一性测试:测试是否所有的$p_i$都等于明确给定的分布$q$或$ε$-在$\ell_1$-距离中远离$q$,以及(3)接近性测试:测试所有$p_i$是否等于我们具有样本访问的分布$q$,或者$ε$-在$\ell_1$-距离中远离$q$。通过假设源分布的一个额外的自然条件,我们提供了所有这些问题的样本最优测试。
2019-11-17 cs.DM cs.DS cs.LG
List Replicable Reinforcement Learning
Peking University(北京大学);Iowa State University(爱荷华州立大学);University of Nebraska–Lincoln(内布拉斯加大学林肯分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种可证明高效的表格RL算法,通过保证列表复杂度保持在多项式范围内,解决强化学习中的可复制性问题,并通过创新的规划策略和状态可达性测试机制提升算法稳定性。
2025-11-29 cs.AI cs.LG stat.ML
The Minimax Risk in Testing Uniformity over Large Alphabets under Missing-Ball Alternatives
School of Computer Science at Reichman University(雷希曼大学计算机学院)
研究了对多项计数数据拟合泊松分布的良率检验问题,针对排除ℓ_p球(p≤2)的替代方案,推导了当样本数和类别数趋于无穷时的最小最大风险,并展示了该测试在小样本极限下依赖碰撞,但在其他情况下表现类似卡方检验,实验证明其在有限样本中表现优异。
2026-07-06 cs.IT math.IT math.ST
Tight Bounds for Equivalence Testing with Non-Adaptive Conditional Samples
New York University(纽约大学)
针对非自适应条件样本下的分布等价性测试问题,给出了该问题所需查询次数的紧界,证明其复杂度为tildeθ(log n),明确了该场景下等价性测试的查询复杂度。
2026-10-09 cs.DS cs.IT math.IT
Betting on Moments: Legendre Jumper Martingales for Online Exchangeability Testing
Stockholm University(斯德哥尔摩大学)
提出基于移位勒让德多项式的共形检验鞅族,通过多项式阶数扩展检测方差、偏度等高阶偏离均匀性,并引入变分与复合变体解决状态空间爆炸与时间尺度适应问题。
2026-07-14 cs.LG math.ST stat.ML