Polynomial Interpolation and Identity Testing from High Powers over Finite Fields
我们考虑的问题,恢复(即,插值)和身份测试的“隐藏”monic多项式$f$,给定的Oracle访问$f(x)^e$的$x\in{\mathbb F_q}$(扩展字段访问是不允许的)。朴素插值算法需要$O(e\, \mathrm{deg}\, f)$查询,因此需要$e\, \mathrm{deg}\, f<q$。我们设计的算法,在某些情况下是渐近更好的,只需要$e^{o(1)}$查询的甲骨文。在随机(和量子)设置,我们给出了一个更好的插值算法,只需要$O(\mathrm{deg}\, f \log q)$查询。这样的结果以前只在线性$f$的特殊情况下是已知的,称为隐移幂问题。我们使用的技术从代数,如有效版本的希尔伯特的零点,和解析数论,如结果分布的有理函数在子群和字符总和估计。
2015-02-23 cs.DS math.NT
Testing Identity of Structured Distributions
我们研究了结构化分布的恒等式检验问题。更确切地说,给定来自$[n]$上的{ \em结构化}分布$q$和$[n]$上的显式分布$p$的样本,我们希望区分$q=p$与$q$是否至少是$ε$ -在$L_1$距离上远离$p$。在这项工作中,我们提出了一个统一的方法,产生新的,简单的测试,与样本的复杂性,是信息理论上最优的,广泛的结构化分布,包括$t$ -平坦分布,$t$ -模态分布,对数凹分布,单调风险率(MHR)分布,及其混合物。
2014-10-08 cs.DS cs.IT math.IT
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT(麻省理工学院);USC(南加州大学);TAU(特拉维夫大学)
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员,同时保证人口中的个体的差分隐私。我们描述了一种方法,产生样本有效的差异私人测试这些问题。我们的理论研究结果表明,存在私人身份和亲密度测试,几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明,我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
Efficient Black-Box Identity Testing over Free Group Algebra
Hrubeiden和Wigderson [HW 14]在自由偏斜域上开始了对非交换算术电路的研究,并提出了有理恒等式测试的问题。现在我们知道,这个问题可以在白盒模型中的确定性多项式时间中解决,对于具有逆的非交换公式,在黑盒模型中可以在随机多项式时间中解决[GGOW 16,IQS 18,DM 18],其中运行时间是公式大小的多项式。非交换有理函数的恒等式测试的复杂性通常是开放的(当公式大小不是多项式有界时)。我们解决了一个自然的特殊情况下的问题。我们考虑自由群代数$\mathbb{F}\langle X, X^{-1}\rangle$中的多项式表达式,其中$X=\{x_1, x_2, \ldots, x_n\}$是反演高度1的有理表达式的子类。我们的主要结果如下。1.给定度$d$表达式$f$在$\mathbb{F}\langle X, X^{-1}\rangle$中为黑盒,我们得到一个随机$\text{poly}(n,d)$算法来检验$f$是否为同零表达式.我们通过将Amitsur-Levitzki定理[AL 50]推广到$\mathbb{F}\langle X, X^{-1}\rangle$来获得这一点。这也产生了一个确定性的身份测试算法(甚至是表达式重构算法),它在输入表达式的稀疏性方面是多项式时间。2.给定度至多为$D$的$\mathbb{F}\langle X, X^{-1}…
2019-04-28 cs.CC cs.DS
Complexity of High-Dimensional Identity Testing with Coordinate Conditional Sampling
Pennsylvania State University(宾夕法尼亚州立大学);Georgia Institute of Technology(佐治亚理工学院);University of Rochester(罗切斯特大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文研究高维分布恒等性检验问题,提出更弱的坐标预言机采样模型,证明当熵的近似张量化成立时存在查询复杂度为 $\tilde{O}(n/\varepsilon)$ 的高效算法,并在该性质不成立时证明计算困难性,同时给出匹配的 $Ω(n/\varepsilon)$ 统计下界。
2024-08-30 cs.DS cs.LG math.PR
Differentially Private Testing of Identity and Closeness of Discrete Distributions
Cornell University(康奈尔大学)
研究了差分隐私下$k$元素上分布的一致性检验(拟合优度)和接近性检验(两样本检验)的基本问题。虽然这些问题在统计学上有很长的历史,但这些问题的有限样本范围最近才建立起来。在这项工作中,我们推导出样本上的上限和下限的复杂性的问题下$(\varepsilon, δ)$ -差分隐私。我们提供了最佳的样本复杂度算法的身份测试问题的所有参数范围内,和第一个结果的紧密性测试。我们的紧密度测试的界限是最佳的稀疏制度的样本数量是最多$k$。我们的上界是通过私有化这些问题的非私有估计得到的。非私有估计量被选择为具有小的灵敏度。我们提出了一个一般性的框架,建立下限的样本复杂性的统计任务下差分隐私。我们展示了一个绑定的差异私人算法在两个假设类之间的耦合,我们的目标是测试。通过构建精心选择的先验的假设类,并使用Le Cam的两点定理,我们提供了一个一般的机制证明下界。我们相信,该框架可以用来获得强有力的下限下的隐私下的其他统计任务。
2017-10-31 cs.DS cs.IT cs.LG
Lower bounds for testing graphical models: colorings and antiferromagnetic Ising models
Rochester Institute of Technology(罗切斯特理工学院);Pennsylvania State University(宾夕法尼亚州立大学);Georgia Institute of Technology(佐治亚理工学院);University of Rochester(罗切斯特大学)
我们研究的身份测试问题的背景下,自旋系统或无向图形模型,它采取以下形式:给定的参数规格的模型$M$和一个采样Oracle的分布$μ_{\hat{M}}$的一个未知的模型$\hat{M}$,我们可以有效地确定,如果两个模型$M$和$\hat{M}$是相同的?我们考虑软约束和硬约束系统的身份测试。特别是,我们证明了硬度结果在两个典型的情况下,伊辛模型和适当的着色,并探讨身份测试是否比结构学习更容易。对于铁磁(吸引力)伊辛模型,Daskalakis等人(2018)提出了一种用于身份测试的多项式时间算法。我们证明了硬度结果在反铁磁(排斥)设置在相同的制度的参数,结构学习是已知的,需要一个超多项式数量的样本。特别地,对于$n$ -顶点图的最大度$d$,我们证明了,如果$|β| d = ω(\log{n})$(其中$β$是逆温度参数),则不存在多项式运行时间恒等式检验算法,除非$RP=NP$ .我们还建立了一个更广泛的参数(随机)指数时间假设下的计算下限。我们的证明利用了Sly(2010)最近关于近似计数的硬度的作品中使用随机图设计小工具的见解。在硬约束设置中,我们提出了硬度的结果,适当的着色身份测试。我们的结果是基于假定的硬度#BIS,问题(近似)计数独立集的二分图。特别是,我们证明了身份测试是很难在相同的参数范围内的结构学习是已知的困难。
2019-06-20 cs.DS cs.LG math.PR
Operator Scaling via Geodesically Convex Optimization, Invariant Theory and Polynomial Identity Testing
本文提出了一种新的求解正定矩阵上自然双曲度量测地线凸优化问题的二阶方法。我们将其应用于解决时间多项式的输入大小和对数的误差算子缩放问题。这是一个指数级的改进,以前的算法,分析在通常的欧几里德,“交换”度量(其中上述问题是不凸的)。我们的方法是通用的,适用于其他设置。作为结果,我们解决了等价问题的左,右群作用的运营商缩放问题。这产生了一个确定性的多项式时间算法的一类新的多项式恒等式测试(PIT)问题,这是最初的动机,研究运营商缩放。
2018-04-03 cs.CC cs.DS math.AG
Private Identity Testing for High-Dimensional Distributions
University of Sydney(悉尼大学);University of Waterloo(滑铁卢大学);Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们提出了新的差分私人身份(拟合优度)测试的自然和广泛研究的类的多元产品分布:高斯在$\mathbb{R}^d$与已知的协方差和产品分布在$\{\pm 1\}^{d}$。我们的测试人员已经提高了样本的复杂性相比,来自以前的技术,是第一个测试人员的样本复杂性相匹配的顺序最优极大极小样本复杂性的$O(d^{1/2}/α^2)$在许多参数制度。我们构造了两种类型的测试器,表现出样本复杂性和计算复杂性之间的权衡。最后,我们提供了一个双向减少之间的测试一个子类的多元产品分布和测试单变量分布,从而获得上界和下界测试这个子类的产品分布。
2022-03-04 cs.CR cs.DS cs.IT
Identity Testing for Circuits with Exponentiation Gates
本文研究带指数门的算术电路恒等性测试问题,提出有限域黑盒查询模型及随机化测试算法,证明其完美完备性与非平凡可靠性,并已被 Mirage 编译器实现验证。
2025-06-05 cs.CC cs.DS
Sequential algorithms for testing identity and closeness of distributions
在测试未知分布的性质时,与批处理算法相比,\emph{sequential}过程有什么优势?针对检验$\{1,\dots, n\}$上的两个分布$\mathcal{D}_1$和$\mathcal{D}_2$是否相等或是否为$ε$ -远的问题,给出了几种答案.我们表明,对于一个小的字母大小$n$,有一个顺序算法,优于任何批处理算法的一个因素,至少$4$在样本复杂性。对于一个一般的字母大小$n$,我们给出了一个顺序算法,使用不超过其批处理对应的样本,并可能更少,如果$\mathcal{D}_1$和$\mathcal{D}_2$之间的实际距离$TV(\mathcal{D}_1, \mathcal{D}_2)$大于$ε$。作为一个推论,让$ε$去$0$,我们得到一个顺序的算法,用于测试接近度时,没有先验界的$TV(\mathcal{D}_1, \mathcal{D}_2)$是给定的样本复杂度$\tilde{\mathcal{O}}(\frac{n^{2/3}}{TV(\mathcal{D}_1, \mathcal{D}_2)^{4/3}})$:这改善了\cite{daskalakis2017optimal}的$\tilde{\mathcal{O}}(\frac{n/\log n}{TV(\mathcal{D}_1, \mathcal{D}_2)^{2} })$测试,是最佳的乘法常数。我们还…
2022-05-12 cs.DS math.ST stat.TH
Optimal Identity Testing with High Probability
USC(南加利福尼亚大学);MIT(麻省理工学院);UT Austin(得克萨斯大学奥斯汀分校)
我们研究的问题,测试身份对一个给定的分布集中在高置信度制度。更确切地说,给定来自$n$元素上的未知分布$p$、明确给定的分布$q$和参数$0< ε, δ< 1$的样本,我们希望区分{概率至少为$1-δ$的\em},分布是否与$\varepsilon$相同-在总变化距离上。大多数先前的工作集中在$δ= Ω(1)$的情况下,对于该情况,已知同一性测试的样本复杂度为$Θ(\sqrt{n}/ε^2)$。给定这样的算法,可以通过黑盒放大获得任意小的$δ$值,黑盒放大将所需的样本数乘以$Θ(\log(1/δ))$。我们表明,黑盒放大是次优的任何$δ= o(1)$,并给出了一个新的身份测试,实现了最佳的样本复杂性。我们的新的上限和下限表明,最佳的样本复杂性的身份测试是\[ Θ\left( \frac{1}{ε^2}\left(\sqrt{n \log(1/δ)} + \log(1/δ) \right)\right) \]的任何$n, \varepsilon$,和$δ$。对于均匀性测试的特殊情况,其中给定的分布是域上的均匀分布$U_n$,我们的新测试器令人惊讶地简单:要测试$p = U_n$与$d_{\mathrm TV}(p, U_n) \geq \varepsilon$是否一致,我们只需阈值$d_{\mathrm TV}(\widehat{p}, U_n)$,其中$\widehat{p}$是经…
2019-01-15 cs.DS cs.IT cs.LG
A Chasm Between Identity and Equivalence Testing with Conditional Queries
Cornell University(康奈尔大学);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
最近的概率分布的属性测试模型(Chakraborty等人,ITCS 2013,Canonne等人,SICOMP 2015)通过允许测试算法对域的子集进行采样,从而极大地节省了测试算法的样本复杂性。特别是,Canonne,Ron和Servedio(SICOMP 2015)表明,在这种情况下,测试未知分布$D$的身份(是否$D=D^\ast$为明确已知的$D^\ast$)可以通过恒定数量的查询来完成,与支持大小$n$无关-与标准抽样模型中所需的$Ω(\sqrt{n})$相反。目前还不清楚是否存在同样的鲜明对比的情况下,测试等效性,其中两个分布是未知的。虽然Canonne等人为等价性检验建立了一个$\mathrm{poly}(\log n)$ -查询上限,最近Falahatgar等人将其降低到$\tilde O(\log\log n)$(COLT 2015),但是否需要依赖域大小$n$仍然是开放的,并且Fischer在Bertinoro次线性算法研讨会(2014)上明确提出。我们证明了任何等价性检验算法都必须在条件抽样模型中进行$Ω(\sqrt{\log\log n})$查询。这表明同一性和等效性检验之间存在差距,而标准抽样模型中不存在这种差距(其中两个问题都具有抽样复杂性$n^{Θ(1)}$)。我们还获得了查询复杂性的一致性测试和支持大小估计与条件样本的结果。我们回答了Chakrabo…
2018-12-07 cs.CC cs.DS cs.LG
Black-Box Identity Testing of Noncommutative Rational Formulas in Deterministic Quasipolynomial Time
本文针对非交换有理公式的有理恒等测试(RIT)问题,首次为所有多项式大小的有理公式构建了准多项式大小的命中集,显著改进了黑盒复杂度,并首次为白盒环境下的RIT提供了确定性准NC上界。
2025-07-11 cs.CC cs.DS
Sampling and Identity-Testing Without Approximate Tensorization of Entropy
Carnegie Mellon University(卡内基梅隆大学)
本文研究了不满足近似熵张量化(ATE)的混合分布的采样与同一性测试问题,证明了其Glauber dynamics的快速混合性,并在坐标条件访问模型下提出了高效的同一性测试器。
2025-06-30 cs.DS cs.LG math.ST
Priv'IT: Private and Sample Efficient Identity Testing
MIT(麻省理工学院)
我们开发了小样本制度的差异私人假设检验方法。给定一个样本$\cal D$,该样本来自某个域$Σ$上的分类分布$p$、$Σ$上的明确描述的分布$q$、某个隐私参数$\varepsilon$、准确性参数$α$以及我们测试的I型和II型错误的要求$β_{\rm I}$和$β_{\rm II}$,目标是区分$p=q$和$d_{\rm{TV}}(p,q) \geq α$。我们提供的样本大小$|{\cal D}|$的理论界限,使我们的方法既满足$(\varepsilon,0)$ -差分隐私,并保证$β_{\rm I}$和$β_{\rm II}$ I型和II型错误。我们表明,差分隐私可能会免费在某些制度的参数,我们总是击败样本的复杂性运行的$χ^2$测试与噪声计数,或标准的方法,如重复赋予非私人$χ^2$风格的统计与差分隐私保证。我们实验比较我们的方法的样本复杂性,最近提出的私人假设检验的方法。
2017-06-07 cs.CR cs.DS cs.IT
Efficiently Testing Simon's Congruence
西蒙同余$\sim_k$定义如下:如果两个词具有相同的长度不超过$k$的同余集合,则它们是$\sim_k$等价的。我们提出了一种算法,计算,给定两个字$s$和$t$,最大的$k$,其中$s\sim_k t$。我们的算法运行在线性时间$O(|s|+|t|)$时,输入的单词是在整数字母表$\{1,\ldots,|s|+|t|\}$(或其他字母,可以在线性时间排序)。这种方法也导致在一般字母表的情况下的最佳算法。我们的结果是基于一种新的组合方法和一系列有效的数据结构。
2021-03-15 cs.DS cs.FL
Testing Identity of Multidimensional Histograms
University of Southern California(南加利福尼亚大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
我们研究多维直方图分布的同一性检验问题。分布$p: D \rightarrow \mathbb{R}_+$,其中$D \subseteq \mathbb{R}^d$,被称为$k$直方图,如果存在域的分区为$k$轴对齐的矩形,使得$p$在每个这样的矩形内是恒定的。直方图是最基本的非参数分布族之一,在计算机科学和统计学中得到了广泛的研究。我们给这个问题的第一个身份测试{ \em子学习}样本复杂性在任何固定的维度和一个接近匹配的样本复杂性下限。更详细地,令$q$是固定维度$d$中的未知$d$维度$k$直方图分布,并且$p$是明确给定的$d$维度$k$直方图.我们希望正确区分$p = q$与$\|p-q\|_1 \geq ε$的情况,概率至少为$2/3$。我们设计了一个算法来解决这个假设检验问题,其样本复杂度为$O((\sqrt{k}/ε^2) 2^{d/2} \log^{2.5 d}(k/ε))$,在样本多项式时间内运行.我们的算法对模型误指定是鲁棒的,即,即使$q$仅承诺{ \em接近} $k$ -直方图,也会成功。此外,对于$k = 2^{Ω(d)}$,我们展示了当$(\sqrt{k}/ε^2) \cdot Ω(\log(k)/d)^{d-1}$。也就是说,对于任何固定维度的$d$,我们的上界和下界几乎是匹配的。在我们的工作之前,$d=1$情况下的样本复杂度是很好理解的,但没有已知的…
2019-02-19 cs.DS cs.IT cs.LG
Algorithms based on *-algebras, and their applications to isomorphism of polynomials with one secret, group isomorphism, and polynomial identity testing
我们考虑两个基本的算法问题(斜)对称矩阵的元组。第一个问题要求决定,给定两个元组的(斜)对称矩阵$(B_1, \dots, B_m)$和$(C_1, \dots, C_m)$,是否存在可逆矩阵$A$,使得对于每个$i\in\{1, \dots, m\}$,$A^tB_iA=C_i$。我们表明,这个问题可以解决在随机多项式时间在有限域的奇数大小,真正的领域,和复杂的领域。第二个问题要求判定,给定方阵$(B_1, \dots, B_m)$的元组,是否存在可逆矩阵$A$和$D$,使得对于每个$i\in\{1, \dots, m\}$,$AB_iD$是(斜)对称的。我们表明,这个问题可以解决在确定性的多项式时间字段的特征不$2$。对于这两个问题,我们利用底层$*$ -代数的结构,并利用结果和方法从模块同构问题。我们的结果的应用范围从多元密码学,组同构,多项式身份测试。具体而言,这些结果意味着有效的算法,为以下问题。(1)奇数大小有限域上单秘密二次型的同构检验。这个问题属于一个家庭的问题,作为安全基础的某些认证计划提出的Patarin(Eurocrypto 1996)。(2)测试同构的$p$ -群类2和指数$p$($p$奇)与阶$p^k$的时间多项式在组的顺序,当换位子组是阶$p^{O(\sqrt{k})}$。(3)确定性地揭示由斜对称结构引起的两个奇异性见证族,这代表多项式恒等式测试问题的…
2019-02-06 cs.CC cs.CR cs.DS
Testing Identity of Distributions under Kolmogorov Distance in Polylogarithmic Space
本文研究流式环境下基于 Kolmogorov 距离的连续分布同一性检验,提出仅用 $O(\log^4 \varepsilon^{-1})$ 空间且样本数渐近最优的算法,并对比离散全变差距离的不可能性、给出9个开放问题。
2024-10-29 cs.DS cs.IR
Uniformity Testing under User-Level Local Privacy
The University of Sydney(悉尼大学);OpenDP, Harvard University(开放差分隐私计划,哈佛大学)
针对用户级本地差分隐私下均匀性与恒等性检验的空白,提出近乎样本最优的私有硬币、对称 LDP 算法。
2025-10-21 cs.CR cs.DM cs.DS
Homomorphism Indistinguishability, Multiplicity Automata Equivalence, and Polynomial Identity Testing
University of Antwerp(安特卫普大学);IT-Universitetet i København(哥本哈根信息技术大学)
本文研究了同态不可区分性与多重自动机等价性问题,证明了其复杂度为C_L完全,并展示了算法在特定图类上的最优性。
2026-09-07 cs.CC cs.DM cs.DS
Learning and Testing Latent-Tree Ising Models Efficiently
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
本文针对潜树伊辛模型提出时间和样本高效的学习与检验算法,通过叶对边缘分布的总变差距离局部化结果改进学习精度并降低检验所需样本量。
2023-07-10 cs.DS cs.LG math.PR
Private High-Dimensional Hypothesis Testing
Massachusetts Institute of Technology(麻省理工学院)
我们提供了改进的差分隐私算法的高维分布的身份测试。具体地,对于具有已知协方差$Σ$的$d$维高斯分布,如果允许算法在计算上低效,则可以仅使用\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/3}}{α^{4/3} \cdot \varepsilon^{2/3}} + \frac{1}{α\cdot \varepsilon}\right)\]样本来测试该分布是来自某个固定$μ^*$的$\mathcal{N}(μ^*, Σ)$还是来自某个$\mathcal{N}(μ, Σ)$,其中总变化距离至少为$α$,来自具有$(\varepsilon, 0)$ -差分隐私的$\mathcal{N}(μ^*, Σ)$。并且对于计算上有效的算法仅采样\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/4}}{α\cdot \varepsilon}\right)\]。我们还提供了一个匹配的下限表明,我们的计算效率低下的算法具有最佳的样本复杂度。我们还将我们的算法扩展到各种相关的问题,包括均值检验的高斯有界,但未知的协方差,均匀性测试的产品分布在$\{-1, 1\}^d$,和宽容的测试。我们的结果比Canonne等人以前的最佳工作有所改进。\cite{CanonneKMUZ20}的计算效率和效率低下的算法,甚…
2022-07-24 cs.CR cs.DS cs.IT
Learning and Testing Causal Models with Interventions
Cornell University(康奈尔大学);Indian Institute of Science(印度科学学院);MIT(麻省理工学院)
我们考虑Pearl(Pearl,2009)定义的因果贝叶斯网络上的测试和学习问题。给定一个图上的因果贝叶斯网络$\mathcal{M}$,$n$离散变量和有界的度和有界的“混淆分量”,我们证明了$O(\log n)$干预在同一个图上的未知因果贝叶斯网络$\mathcal{X}$上,以及每个干预的$\tilde{O}(n/ε^2)$样本,足以有效区分是否存在$\mathcal{X}=\mathcal{M}$或是否存在某种干预,在该干预下$\mathcal{X}$和$\mathcal{M}$总体上比$ε$更远变化距离我们还获得了样本/时间/干预有效的算法:(i)在同一个图上测试两个未知因果贝叶斯网络的身份;(ii)在给定的图上学习因果贝叶斯网络。虽然我们的算法是非自适应的,我们表明,自适应一般没有帮助:$Ω(\log n)$干预是必要的测试身份的两个未知的因果贝叶斯网络在同一个图,甚至自适应。我们的算法是通过一个新的次加性不等式的平方之间的因果贝叶斯网络的Hellinger距离。
2018-05-24 cs.AI cs.DS stat.ML
Property Testing for Differential Privacy
我们考虑差分隐私的属性测试的问题:与黑盒访问一个据称是私人的算法,我们可以验证其隐私保证?特别是,我们表明,任何隐私保证,可以有效地验证,也是有效地在这个意义上说,存在两个数据库,我们可以有效地区分。给出了验证纯差分隐私、近似差分隐私、随机纯差分隐私和随机近似差分隐私的查询复杂度的下界。我们还给出了算法的上界。在工作中得到的下界是不可行的尺度参数,通常被认为是合理的差分隐私文献,即使当我们假设验证者有机会获得(不可信)的算法描述。这项工作的一个中心信息是,验证隐私需要验证者或算法所有者的妥协。要么验证者必须满足于弱隐私保证,要么算法所有者必须在边信息或算法访问权上妥协。
2019-02-13 cs.CR cs.DS
Quantum Property Testing of Group Solvability
有效地测试有限集合是否是一个群,在属性测试领域是一个著名的公开问题。最近,Friedl,Ivanyos和Santha在解决这个问题的方向上迈出了重要的一步,他们证明了可以有效地测试输入是否是阿贝尔群或远离任何阿贝尔群。在本文中,我们更进一步,并构造了一个有效的量子算法,测试输入是否是一个可解群,或远离任何可解群。更准确地说,我们的算法使用的查询的数量是在集的大小的多对数。
2010-01-03 cs.DS quant-ph
Efficiently Testing T-Interval Connectivity in Dynamic Graphs
许多类型的动态网络都是由持久的实体组成的,这些实体的联系会随着时间的推移而演变。当从{ \em全局}和{ \em离散}的观点考虑时,这些网络通常被建模为演化图,即图序列${\cal G}=(G_1,G_2,...,G_δ)$,使得$G_i=(V,E_i)$表示时间步长$i$处的网络拓扑。这样的序列称为$T$ -区间连通的,如果对于任何$t\in [1, δ-T+1]$,$\{G_t,G_{t+1},...,G_{t+T-1}\}$中的所有图共享一个公共的连通生成子图。本文考虑了给定序列${\cal G}$对于给定的$T$是否是$T$ -区间连通的问题.我们还考虑了相关的问题,找到最大的$T$,其中一个给定的${\cal G}$是$T$ -区间连接。我们假设两个连续图之间的变化是任意的,并且两个操作,{ \em二进制交叉}和{ \em连通性测试},可用于解决问题。我们表明,$Ω(δ)$这样的操作需要解决这两个问题,我们提出了最佳的$O(δ)$在线算法这两个问题。我们将我们的在线算法扩展到一个动态的设置,其中连接是基于最近的网络演变。
2017-03-17 cs.DC cs.DS
Group Testing for Efficiently Sampling Hypergraphs When Tests Have Variable Costs
在组测试文献中,已经开发了有效的算法,以最大限度地减少所需的测试数量,以确定嵌入在一个更大的组中的所有最小的“有缺陷”的子组,使用确定性组分裂与广义二进制搜索。在另一篇文献中,研究人员使用了随机分组分裂方法,从电力系统中引发大规模连锁故障的最小故障集的棘手数量中有效地采样,在这个问题中,正测试的计算成本可能比负测试高得多。在这项工作中,我们产生的测试问题与可变数量的缺陷集和一个可调的积极:消极的测试成本比确定性和随机自适应组分裂算法识别超图中的缺陷边缘的效率进行比较。对于这两种算法,我们表明,最佳初始组的大小是一个功能的缺陷集的患病率和积极的:消极的测试成本比。我们发现,确定性分裂需要较少的总测试,但随机分裂需要较少的积极测试,这两种方法的相对效率取决于积极的:消极的测试成本比。我们讨论了一些现实世界中的应用,这些算法中的每一个都有望优于其他。
2020-10-11 cs.DM cs.DS cs.SI
Partially Symmetric Functions are Efficiently Isomorphism-Testable
Given a function f: {0,1}^n \to {0,1}, the f-isomorphism testing problem requires a randomized algorithm to distinguish functions that are identical to f up to relabeling of the input variables from functions that are far from being so. An important open question in property testing is to determine for which functions f we can test f-isomorphism with a constant number of queries. Despite much recent attention to this question, essentially only two classes of functions were known to be efficiently isomorphism testable: symmetric functions and juntas. We unify and extend these results by showing…
2011-12-24 cs.CC cs.DS math.CO
Quantum conditional query complexity
我们定义并研究了一种新型的量子预言机,量子条件预言机,它提供了与底层分布相关的条件概率的预言机访问。在其他属性中,我们(a)获得了最知名的量子算法的速度提升,用于概率分布的身份测试,等价性测试和均匀性测试;(b)研究了这些预言机用于测试布尔函数属性的能力,并获得了一个算法,用于检查$n$ -输入$m$ -输出布尔函数是否平衡或$ε$ -远离平衡;以及(c)给出一个次线性算法,需要$\tilde{O}(n^{3/4}/ε)$查询,用于测试$n$维量子态是否是最大混合的.
2016-09-06 cs.DS quant-ph
On Distribution Testing in the Conditional Sampling Model
近年来,在条件抽样模型下的分布检验研究取得了很大的进展。在此模型中,查询指定域的子集$S$,接收的输出是从分布中提取的样本,条件是在$S$中。在本文中,我们改进了查询复杂性的界限,在这个模型中的几个经典的分布测试问题。首先,我们证明了条件抽样模型中的公差均匀性测试可以使用$\tilde{O}(\varepsilon^{-2})$查询来解决,这是最优的,并且改进了Canonne等人的$\tilde{O}(\varepsilon^{-20})$查询算法。[CRS 15]。这个界限甚至在被称为配对条件抽样模型的条件抽样模型的限制版本下也成立。接下来,我们证明了条件抽样模型中的容忍身份测试可以在$\tilde{O}(\varepsilon^{-4})$查询中解决,这是第一个已知的独立于该问题的分布的支持大小的界限。其次,我们利用我们的算法进行容忍一致性检验,得到了条件抽样模型下单调性检验的$\tilde{O}(\varepsilon^{-4})$ -查询算法,改进了Canonne [Can 15]的$\tilde{O}(\varepsilon^{-22})$ -查询算法.最后,我们研究了配对条件抽样模型下的(非容忍)身份测试,并给出了查询复杂度的$\tildeΘ(\sqrt{\log N} \cdot \varepsilon^{-2})$的一个紧界,其中分布的域具有大小$N$。这改进了[C…
2020-11-04 cs.DS math.PR math.ST
A New Approach for Testing Properties of Discrete Distributions
在这项工作中,我们给出了一个新的一般方法分布测试。我们描述了两种技术:我们的第一种技术提供了样本最佳的测试,而我们的第二种技术提供了匹配的样本下限。因此,我们解决了各种各样的测试问题的样本复杂性。我们的上界是通过一个模块化的减少为基础的方法。我们的方法通过使用标准的$\ell_2$身份测试仪作为黑盒,为许多问题产生最佳的测试仪。使用这个配方,我们获得了一系列问题的简单估计,包括以前在TCS文献中研究的大多数问题,即:(1)对固定分布的同一性检验,(2)两个未知分布之间的接近性检验(样本量相等/不等),(3)独立性检验(在任何数量的维度上),(4)分布集合的接近度测试,以及(5)测试直方图。对于所有这些问题,我们的测试人员都是样本最佳的,直到恒定的因素。除了(1),我们是{ \em第一个样本最优测试者为相应的问题。}此外,与以前的结果相比,我们的估计量更容易陈述和分析。作为我们的约简技术的应用,我们获得了第一个{ \em近实例最优}算法来测试两个{ \em未知}分布之间的等价性。此外,我们的技术自然地推广到$\ell_1$距离之外的其他度量。我们的下界是通过一个直接的信息理论的方法:给定一个候选的硬实例,我们的证明进行适当的随机变量之间的互信息的边界。虽然这是信息论中的经典方法,但在我们的工作之前,它还没有用于分布性质测试。
2016-05-09 cs.DS cs.IT math.IT
Efficient and Private Property Testing via Indistinguishability
Harvard University(哈佛大学)
研究高效测试布尔函数属性与结构对称性的等价关系,并提出基于正则划分的图属性测试方法及差分隐私算法。
2026-04-06 cs.CC cs.DS cs.LG
Tight Bounds for Equivalence Testing with Non-Adaptive Conditional Samples
New York University(纽约大学)
针对非自适应条件样本下的分布等价性测试问题,给出了该问题所需查询次数的紧界,证明其复杂度为tildeθ(log n),明确了该场景下等价性测试的查询复杂度。
2026-10-09 cs.DS cs.IT math.IT
Testing Support Size More Efficiently Than Learning Histograms
Columbia University, USA(哥伦比亚大学,美国);University of British Columbia, Canada(不列颠哥伦比亚大学,加拿大);University of Waterloo(多伦多大学);EPFL(苏黎世联邦理工学院)
针对未知概率分布p的支撑大小测试问题,提出一种基于切比雪夫多项式的方法,仅需O(n/(ε log n) log(1/ε))个样本,优于学习直方图的Θ(n/(ε^2 log n))样本,并给出支撑大小的更大下界。
2026-05-20 cs.DS cs.LG
Testing Properties of Multiple Distributions with Few Samples
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个新的设置,用于测试分布的属性,同时接收来自多个分布的样本,但每个分布的样本很少。给定来自$s$分布的样本,$p_1, p_2, \ldots, p_s$,我们设计测试器用于以下问题:(1)一致性测试:测试所有的$p_i$是否一致或$ε$-在$\ell_1$-距离中是否远不一致(2)同一性测试:测试是否所有的$p_i$都等于明确给定的分布$q$或$ε$-在$\ell_1$-距离中远离$q$,以及(3)接近性测试:测试所有$p_i$是否等于我们具有样本访问的分布$q$,或者$ε$-在$\ell_1$-距离中远离$q$。通过假设源分布的一个额外的自然条件,我们提供了所有这些问题的样本最优测试。
2019-11-17 cs.DM cs.DS cs.LG
Testing $k$-Modal Distributions: Optimal Algorithms via Reductions
我们给出了高效的算法,几乎匹配的下界,一系列的基本统计问题,涉及测试和估计的L_1之间的距离两个k-模态分布$p$和$q$在离散域$\{1,\dots,n\}$。更确切地说,我们考虑以下四个问题:给定样本访问未知的k-模态分布$p$,测试身份的一个已知或未知的分布:1。确定$p = q$(对于明确给定的k-模态分布$q$)与$p$是否是$\eps$ -远离$q$ ; 2.确定$p=q$(其中$q$通过样本访问可用)与$p$是否是$\eps$ -远离$q$ ;针对已知或未知分布估计$L_1$距离(“容忍测试”):3.将$d_{TV}(p,q)$近似到加性$\eps$内,其中$q$是显式给定的k模态分布$q$ ; 4.将$d_{TV}(p,q)$近似为添加剂$\eps$,其中$q$可通过样品访问获得。对于这四个问题中的每一个,我们给出了次对数样本算法,我们表明,是紧到加性$\poly(k)$和乘法$\polylog\log n+\polylog k$因素。因此,我们的边界显着改善了以前的结果\cite{BKR:04},这是用于测试的特殊情况下,k=0(单调分布)和k=1(单峰分布)的分布(项目(1)和(2))的身份,并要求$O((\log n)^3)$样本。作为我们的主要概念贡献,我们引入了一个新的基于约简的方法来解决分布测试问题,使我们能够以统一的方式获得上述所有结果。粗略地说,这种…
2011-12-23 cs.DS math.PR math.ST
Testing Poisson Binomial Distributions
MIT(麻省理工学院)
$n$变量的泊松二项分布是$n$独立Bernoullis之和的分布。我们提供了一个样本接近最优的算法来测试是否分布$P$支持$\{0,...,n\}$,我们有样本访问是泊松二项分布,或远离所有泊松二项分布。我们的算法的样本复杂度是$O(n^{1/4})$,我们提供了一个匹配的下限。我们注意到,我们的样本复杂度在天真的“学习后进行容差测试”方法的基础上以二次方的方式提高,而实例最优身份测试[VV 14]不适用,因为我们希望同时测试整个分布族。
2014-10-14 cs.DS cs.IT cs.LG
Better Private Distribution Testing by Leveraging Unverified Auxiliary Data
Rice University(莱斯大学);Purdue University(普渡大学);University of Sydney(悉尼大学);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
本研究将增强分布测试框架拓展至差分隐私场景,针对三类核心分布测试任务设计样本复杂度随辅助信息质量平滑变化的私有算法,并通过信息论下界证明其最优性。
2025-03-18 cs.CR cs.DS cs.LG
Classical and Quantum Algorithms for Testing Equivalence of Group Extensions
虽然已知有效算法用于解决与群相关的许多重要问题,但没有已知有效算法用于确定两个任意群是否同构。2-幂零群是一类特殊的中心扩张,它被广泛认为包含了本质困难情形。然而,具体来看中心扩张,“相同”的自然表述不是同构而是“等价”,这需要同构来保持扩张的结构。在本文中,我们表明,等价的中心扩张可以有效地计算在一个经典的计算机上时,组是足够小,由他们的乘法表。然而,在黑盒组的模型中,它允许组大得多,我们证明了等价性可以在量子计算机上有效地计算,但不是经典的(在常见的复杂性假设下)。我们的量子算法展示了一般交换群的隐子群问题的一个新的应用。
2013-05-06 cs.DS quant-ph
Testing Distributions Against Bounded Distinguishers
Boston University(波士顿大学);Columbia University(哥伦比亚大学)
研究高维或连续域分布测试,针对有界区分器类。核心方法是基于欺骗距离测试,揭示了可测试学习、学习算法验证和结构化分布测试间联系,产生了如可测试学习者、验证下界及恒等测试器等新结果。
2026-07-20 cs.CC cs.DS cs.LG
On the Power of Conditional Samples in Distribution Testing
在本文中,我们定义和检查的权力的{ \em条件采样}甲骨文的分布属性测试的背景下。用于离散分布$μ$的条件采样预言机将域的子集$S \subset [n]$作为输入,并输出根据$S$(并独立于所有先前样本)条件的$μ$绘制的随机样本$i \in S$。条件采样预言机是普通采样预言机的自然推广,其中$S$始终等于$[n]$。我们表明,与条件抽样预言,测试均匀性,测试身份的一个已知的分布,并测试任何标签不变的属性的分布是比普通的抽样预言更容易。另一方面,我们还表明,对于某些分布特性的样本复杂性仍然接近最大,即使有条件采样。
2014-04-08 cs.CC cs.DS math.PR
DNF formulas are efficiently testable with relative error
Columbia University(哥伦比亚大学)
本文提出一种基于相对误差模型的高效算法,用于测试未知函数是否为$s$-项DNF,通过局部簇分解实现常数查询复杂度。
2026-01-22 cs.CC cs.DS
Optimal Closeness Testing of Discrete Distributions Made (Complex) Simple
在本文中,我们回顾了Diakonikolas,Gouleakis,Kane,Peebles和Price(2021)最近的工作,并为他们的主要结果提供了另一种证明。我们的论证不依赖于泊松随机变量的任何特定性质(如稳定性和可分性),也没有任何“巧妙的技巧”,而是在一个身份有关的期望的绝对值的任何随机变量的积分,其特征功能:\[ \mathbb{E}[|X|] = \frac{2}π\int_0^\infty \frac{1-\Re(\mathbb{E}[e^{i tX}])}{t^2}\, dt \]我们的论点,而不是缺乏技术方面,可以说是概念上更简单,更一般;我们希望这种技术可以在分布测试中找到更多的应用。
2022-04-27 cs.DM cs.DS math.PR
Communication and Memory Efficient Testing of Discrete Distributions
University of Southern California(南加州大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of California, San Diego(加州大学圣地亚哥分校)
我们在以下计算模型中研究了具有通信和内存约束的分布测试:(1){ \em one-pass streaming model},其目标是最小化受内存约束的协议的样本复杂度,以及(2){ \em distributed model},其中数据样本驻留在多台机器上,目标是最小化协议的通信成本。在这两个模型中,我们提供了有效的算法,用于均匀性/同一性测试(拟合优度)和接近性测试(两个样本测试)。此外,我们显示几乎紧下界(1)的样本复杂性的任何单通流测试仪的均匀性,受内存约束,和(2)的通信成本的任何均匀性测试协议,在一个受限制的“一通”模型的通信。
2019-06-11 cs.DS cs.LG math.ST
Testing Bayesian Networks
IBM Research(IBM研究院);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);University of WisconsinMadison(威斯康星大学麦迪逊分校);University of Southern California(南加州大学);Web3 Foundation(Web3基金会);University of California, San Diego(加利福尼亚大学圣迭戈分校)
这项工作启动了一个系统的调查,测试高维结构化分布的重点是测试贝叶斯网络-有向图形模型的原型家庭。贝叶斯网络由有向无环图定义,其中我们将随机变量与每个节点相关联。一旦其父节点固定,任何特定节点上的值都有条件地独立于所有其他非后代节点。具体地,我们研究了贝叶斯网络的身份测试和贴近度测试的性质。我们的主要贡献是这些问题的第一个非平凡有效的测试算法和相应的信息论下界。对于广泛的参数设置,我们的测试算法的样本复杂度在维度上是次线性的,并且是样本最优的,直到常数因子。
2020-01-25 cs.DS cs.IT cs.LG
Testing properties of distributions in the streaming model
本文研究了内存受限的流式模型下的分布测试问题,提出了测试同一性的样本与空间复杂度权衡,并给出了在内存约束下高效学习单调分布简洁表示的近最优算法,该算法还可扩展至可分解分布。
2023-09-06 cs.CC cs.DS cs.LG
Testing Product Distributions: A Closer Look
National University of Singapore(新加坡国立大学);Cornell University(康奈尔大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
研究了$n$维乘积分布的恒等式和封闭性检验问题。Canonne,Diakonikolas,Kane和Stewart(COLT 2017)以及Daskalakis和Pan(COLT 2017)之前的工作已经为二进制字母表上的非容差测试建立了严格的样本复杂度界限:给定二进制字母表上的两个产品分布$P$和$Q$,区分$P = Q$和$d_{\mathrm{TV}}(P, Q) > ε$。我们建立在此之前的工作,给出一个更全面的地图的复杂性测试的产品分布调查宽容测试方面的几个自然距离的措施,并在任意字母表。我们的研究给出了一个细粒度的理解如何宽容测试的样本复杂性的变化与产品分布的距离措施。此外,我们还扩展了我们的上界的产品分布有界度贝叶斯网。
2021-05-26 cs.DS cs.IT cs.LG
Limits of CSP Problems and Efficient Parameter Testing
本文给出了一个统一的框架,它只依赖于数组交换和割分解的方法,而不依赖于弱正则划分的限制约束满足问题(CSP)和有效的参数测试。特别是,我们制定并证明了一个表示定理的紧凑色$r$ -一致有向超图($r$ -图)的限制,并将其应用到$r$ CSP限制。我们研究了可测$r$ -图参数的样本复杂性,讨论了广义基态能量,证明了它们是有效可测的。
2016-08-04 cs.DS math.CO math.PR
Which Distribution Distances are Sublinearly Testable?
EECS & CSAIL, MIT(麻省理工学院电气工程与计算机科学系及计算机科学与人工智能实验室);Microsoft Research New England(微软新英格兰研究院);Physics, MIT(麻省理工学院物理系)
给定来自未知分布$p$的样本和分布$q$的描述,$p$和$q$是接近还是远离?在测试$p$和$q$在总变异距离上是否相等或远的情况下,“同一性测试”的问题已经受到了显著的关注。然而,在最近的工作中,以下问题对于解决分布测试前沿的问题至关重要:-替代距离:我们可以测试$p$和$q$是否在其他距离上很远,Hellinger说?- 容差:当$p$和$q$接近而不是相等时,我们可以测试吗?如果是的话,距离有多远?基于这些问题,我们描述了各种距离下分布检验的复杂性,包括全变差、$\ell_2$、Hellinger、Kullback-Leibler和$χ^2$。对于每对距离$d_1$和$d_2$,我们研究了如果$p$和$q$在$d_1$中接近而在$d_2$中远离,则测试的复杂性,重点在于识别哪些问题允许强次线性测试器(即,对于某些$γ> 0$具有复杂度$O(n^{1 - γ})$的那些,其中$n$是分布$p$和$q$的支持的大小)。我们为每种情况提供匹配的上限和下限。我们还在只有$q$样本(等效性试验)的情况下研究了这些问题,在何时可以达到耐受性方面与同一性试验存在定性差异。我们的算法属于$χ^2$ -统计的经典范例,但需要关键的变化来处理我们考虑的每个距离所带来的挑战。最后,我们调查其他最近的结果,试图作为一个参考的各种分布测试问题的复杂性。
2017-10-31 cs.DS cs.IT cs.LG