Preventing False Discovery in Interactive Data Analysis is Hard
IBM Research Almaden（IBM阿尔马登研究院）；Harvard University School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）；Center for Research on Computation and Society（计算与社会研究中心）
我们发现，在一个标准的硬度假设下，没有计算效率高的算法，给定$n$样本从一个未知的分布可以给有效的答案$n^{3+o(1)}$自适应选择的统计查询。统计查询要求谓词对底层分布的期望，如果统计查询的答案“接近”对分布的正确期望，则该答案是有效的。我们的结果与众所周知的事实形成鲜明对比，即如果查询是非自适应选择的（没有查询可能依赖于以前的查询的答案），则可以有效和高效地回答指数级的许多统计查询。此外，Dwork等人最近的一项工作显示了如何通过计算效率低下的算法准确地回答指数级的许多自适应选择的统计查询;以及如何通过计算效率高的算法回答二次数量的自适应查询。后者的结果意味着，我们的结果是紧到$n.$中的线性因子。从概念上讲，我们的结果表明，实现统计有效性单独可以是自适应设置中的计算棘手性的来源。例如，在现代大型协作研究环境中，数据分析师通常会根据以前的研究结果选择特定的方法。如果一项研究发现有数据支持，但没有潜在的分布支持，则会发生错误发现。虽然在统计学中防止错误发现的研究已经有几十年的历史了，但据我们所知，我们的结果是第一个证明计算障碍的结果。特别是，我们的研究结果表明，在今天的合作研究环境中，防止错误发现的感知困难可能是固有的。
2014-08-06 cs.CC cs.DS cs.LG
Limitations of Membership Queries in Testable Learning
MIT（麻省理工学院）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
该研究揭示了在测试学习模型中，成员查询无法进一步降低时间复杂度，并证明了基于统计查询的算法无法实现测试学习。
2025-12-01 cs.DS cs.LG
On the Power of Learning from $k$-Wise Queries
IBM Research - Almaden（IBM 阿尔马登研究院）；MIT（麻省理工学院）
几种研究得很好的数据样本访问模型，包括统计查询、局部差分隐私和低通信算法，都依赖于提供有关单个样本函数信息的查询。(For例如，统计查询（SQ）针对将$X$映射到实数的查询函数$q$的任何选择给出$Ex_{x \sim D}[q(x)]$的估计，其中$D$是$X$上的未知数据分布。）然而，一些数据分析算法依赖于依赖于多个样本的函数的属性。这样的算法将自然地使用$k$方式的查询来实现，每个查询由将$X^k$映射到实数的函数$q$指定。因此，很自然地会问，使用$k$ -wise查询的算法是否可以更有效地解决学习问题，以及在多大程度上。Blum、Kalai和Wasserman（2003）表明，对于固定分布上的任何弱PAC学习问题，使用$k$ -wise SQ学习的复杂性最多比（一元）SQ复杂性小$2^k$倍。我们发现，对于更一般的问题，分布的图片是丰富得多。对于每个$k$，使用$k$ -明智查询的分布无关PAC学习的复杂性可以指数地大于使用$(k+1)$ -明智查询的学习。然后，我们给出了两种方法来模拟一个$k$明智的查询使用一元查询。第一种方法利用了需要解决的问题的结构。它推广和加强（指数）的结果Blum等人。它使我们能够获得强大的下界学习DNF公式和随机约束满足问题，反对使用$k$明智的查询算法。第二种方法利用了$k$逐查询函数的$k$方通信复杂性。
2017-02-28 cs.DS cs.LG
Online Matrix Factorization, Online Private Query Release, and Online Discrepancy Minimization
University of Toronto（多伦多大学）；Northeastern University（东北大学）
本文研究了几个相关的在线计算问题，提出在线矩阵分解算法在不预先知道所有查询的情况下，可实现与离线方法相当的误差界，同时改进了在线偏差最小化算法。
2026-05-08 cs.DS
Noise-Tolerant Learning, the Parity Problem, and the Statistical Query Model
我们描述了一个轻微的次指数时间算法学习奇偶校验函数的存在下，随机分类噪声。这导致在多项式时间算法的奇偶校验功能的情况下，只依赖于第一个O（log n log log n）位的输入。这是第一个已知的实例，一个有效的噪声容忍算法的概念类，这是可证明的不可学习的统计查询模型的卡恩斯。因此，我们证明了在统计查询模型中可学习的问题集是在PAC模型中存在噪声的情况下可学习的问题的严格子集。在编码理论方面，我们给出的是一个poly（n）-time算法，用于在存在随机噪声的情况下对线性k乘n码进行解码，其中k = c log n loglog n，对于某些c > 0。(The k = O（log n）的情况是微不足道的，因为我们可以单独检查2^k个可能的消息中的每一个，并选择产生最接近码字的消息。统计查询模型的一个自然扩展是允许查询涉及t元组示例（而不是单个示例）的统计属性。本文的第二个结果是表明，任何类的功能学习（强或弱）与t = O（log n）的t-明智的查询也弱学习标准的一元查询。因此，这种对统计查询模型的自然扩展不会增加弱可学习函数的集合。
2000-10-15 cs.AI cs.DS cs.LG
Faster Algorithms for Privately Releasing Marginals
研究了在保持差分隐私的同时释放数据库$D \in (\{0,1\}^d)^n$的$k$ -路边缘的问题. $k$ -路边际查询的答案是$D$的记录$x \in \{0,1\}^d$中具有给定值的部分，这些记录在最多$k$列的给定集合中的每个列中具有给定值.边缘查询使得能够对数据集进行丰富类别的统计分析，并且设计用于私下发布边缘查询的有效算法已经被识别为私有数据分析中的重要开放问题（参见图1）。巴拉克等例如，PODS '07）。我们给出了一个算法，运行在时间$d^{O(\sqrt{k})}$和释放一个私人的摘要能够回答任何$k$方式边际查询与最多$\pm .01$错误的每个查询只要$n \geq d^{O(\sqrt{k})}$。据我们所知，我们是第一个算法能够私下释放边际查询与非平凡的最坏情况下的准确性保证时间大大小于$k$方式边际查询的数量，这是$d^{Θ(k)}$（$k \ll d$）。
2014-03-14 cs.DS
A simple and practical algorithm for differentially private data release
我们提出了新的理论结果差异私人数据发布有用的计数查询的任何目标类，再加上各种现实世界的数据集上的实验结果。具体来说，我们研究了[Hardt和Rothblum，2010]的乘法权重方法与[McSherry和Talwar，2007]的指数机制的简单组合。乘性权重框架允许我们保持和改进近似给定数据集的分布，相对于一组计数查询。我们使用指数机制来选择当前分布最不正确跟踪的那些查询。结合这两者，我们快速接近一个分布，该分布与给定查询集上的数据集一致，误差很小。由此产生的算法及其分析是简单的，但仍然改善了以前的工作中的错误和运行时间。我们还实证证明了我们的方法的实用性，在统计界常用的列联表发布的几个数据集。
2012-03-15 cs.DS
Fast Private Data Release Algorithms for Sparse Queries
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们重新审视的问题，准确地回答大类的统计查询，同时保持差分隐私。以前的方法来解决这个问题已经非常普遍，但没有运行时多项式的数据库的大小，只适用于非常有限的类的查询，或放宽了最坏情况下的错误保证的概念。在本文中，我们考虑了大类的稀疏查询，它采取非零值的多项式许多宇宙元素。我们给出了高效的查询释放算法，这类，在交互式和非交互式设置。我们的算法也实现了更好的准确性界限比以前的一般技术时，适用于稀疏查询：我们的界限是独立的宇宙大小。事实上，即使是我们的交互机制的运行时是独立的宇宙的大小，因此可以在“无限宇宙”模型中实现，其中没有有限的宇宙需要指定的数据管理员。
2011-11-29 cs.CR cs.DS cs.LG
Make Up Your Mind: The Price of Online Queries in Differential Privacy
Harvard University John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Yale University（耶鲁大学）；Northeastern University College of Computer and Information Science（东北大学计算机与信息科学学院）
我们考虑的问题，回答查询的敏感数据集受到差分隐私。查询可以以三种方式之一从更大的可允许查询集合Q中进行对抗性选择，我们按照从最容易到最难回答的顺序列出：离线：查询一次全部被选择，并且差分私有机制在单个批次中回答查询。缐上：查询是一次选择的，但是该机制只以流式方式接收查询，并且必须在看到下一个查询之前回答每个查询。自适应：每次选择一个查询，并且该机制必须在选择下一个查询之前回答每个查询。特别地，每个查询可以取决于对先前查询给出的答案。许多差异私有机制在自适应模型中与在离线模型中一样有效。同时，差分隐私的大多数下限在离线设置中保持不变。这表明这三种模式可能是等效的。我们证明了这些模型实际上都是不同的。具体来说，我们表明，有一个家庭的统计查询，指数更多的查询，从这个家庭可以回答离线模型比在线模型。我们还展示了一个家庭的搜索查询，指数更多的查询，从这个家庭可以回答在线模型比自适应模型。我们还调查是否这样的分离可能会举行简单的查询，如阈值查询在真正的线。
2016-04-15 cs.CR cs.DS cs.LG
Learning Nearest-Neighbor Maps from Adaptive Queries
University of California, San Diego（加州大学圣地亚哥分校）；EnCORE Institute（EnCORE研究所）；CUNY Baruch College（纽约市立大学巴鲁克学院）；ETH Zürich（苏黎世联邦理工学院）
本文研究从自适应查询学习最近邻映射的问题，推广相关研究得到查询复杂度紧界，证明欧氏域中查询次数对$d$呈指数依赖，并改进欧氏球域的查询复杂度。
2026-08-13 cs.CG cs.DS
Active Linear Regression for $\ell_p$ Norms and Beyond
UMass Amherst（马萨诸塞大学阿默斯特分校）；NYU（纽约大学）；CMU（卡内基梅隆大学）
我们研究了线性回归的主动抽样算法，其目的是只查询一个目标向量$b\in\mathbb R^n$的几个条目，并输出一个接近极小值的$\min_{x\in\mathbb R^d} \|Ax-b\|$，设计矩阵$A\in\mathbb R^{n \times d}$和损失$\|\cdot\|$。对于任何$0<p<\infty$的$p$范数回归，我们给出了一个基于Lewis权重采样的算法，该算法仅使用$\tilde O(d/ε^2)$查询来输出$(1+ε)$近似解，$b$用于$p\in(0,1)$，$\tilde{O}(d/ε)$查询用于$1<p<2$，以及$\tilde{O}(d^{p/2}/ε^p)$查询用于$2<p<\infty$。对于$0<p<2$，我们的边界是最佳的对数因子，解决了这个范围内的查询复杂性。对于$2<p<\infty$，我们对$d$的依赖性是最优的，而我们对$ε$的依赖性最多偏离$ε$，达到对数因子。我们的结果解决了[CD 21]的一个悬而未决的问题，他给出了$1$范数的接近最优的界限，但需要$d^2/ε^2$样本进行$\ell_p$回归与$1<p<2$，并且没有给出$2<p<\infty$或$0<p<1$的界限。我们还给出了$O(d^{\max\{1,p/2\}}\log^2n)$对$p$次多项式增长损失函数的第一全灵敏度界，改进了[TMF 20]的一个结果.通过…
2022-09-26 cs.DS cs.LG stat.ML
Random Sampling for Group-By Queries
随机抽样方法由于其以较小的近似误差为代价，可以显著减少资源占用和响应时间，因此被广泛应用于大型数据库的近似查询处理中。我们考虑随机抽样回答无处不在的类组的查询，第一组数据根据一个或多个属性，然后通过谓词过滤后，在每个组内聚合。分组查询的挑战在于，抽样方法不能专注于优化单个答案的质量（例如所选数据的平均值），但必须同时优化一组答案的质量（每组一个）。我们提出了CVOPT，查询和数据驱动的采样框架的一组查询。为了评估样本的质量，CVOPT基于不同答案的变异系数（CV）的范数（例如$\ell_2$或$\ell_\infty$）定义度量，并构造可证明优化度量的分层样本。CVOPT可以处理数据的分组查询，其中组具有非常不同的统计特征，如频率，均值或方差。CVOPT联合优化多个聚合和多个group-by子句，并提供了一种对特定组或聚合进行优先级排序的方法。当查询工作负载的部分信息已知时，可以对它进行调优，例如在数据仓库中，查询被安排为定期运行。我们的实验结果表明，CVOPT优于当前国家的最先进的样本质量和估计精度的组由查询。在两个真实数据集上的一组查询上，在相同的空间预算下，CVOPT产生的相对误差比竞争方法小5倍。
2019-09-12 cs.DB cs.DS
Quantum Local Differential Privacy and Quantum Statistical Query Model
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文证明局部模型下量子统计查询与量子差分隐私等价，推导相关强数据处理不等式并应用于假设检验，还验证量子多方计算中奇偶函数可高效学习，优于经典场景的样本需求。
2023-08-21 cs.CR cs.DS cs.LG
Junta Distance Approximation with Sub-Exponential Queries
利用De，Mossel和Neeman的工具[FOCS，2019]，我们展示了两个与juntas的\emph{tolerant testing}有关的不同结果。给定对布尔函数$f:\{\pm1\}^{n} \to \{\pm1\}$的黑盒访问，我们给出了一个$poly(k, \frac{1}{\varepsilon})$查询算法，该算法区分$γ$ -接近$k$ -juntas和$(γ+\varepsilon)$ -远离$k'$ -juntas的函数，其中$k' = O(\frac{k}{\varepsilon^2})$。在非放松的设置，我们扩展我们的想法，给一个$2^{\tilde{O}(\sqrt{k/\varepsilon})}$（自适应）查询算法，区分功能，$γ$ -接近$k$ -juntas和$(γ+\varepsilon)$ -远离$k$ -juntas。据我们所知，这是第一个$k$中的次指数查询算法，用于将$f$的距离近似为$k$ -junta（Blais，Canonne，Eden，Levi和Ron [SODA，2018]以及De，Mossel和Neeman [FOCS，2019]的先前结果需要在$k$中进行指数级多次查询）。我们的技术是傅立叶分析的，并利用Talagrand [AoP，1994]引入的“归一化影响”的概念。
2021-06-01 cs.CC cs.DS
Subsampling Suffices for Adaptive Data Analysis
Stanford University（斯坦福大学）
针对数据集被重复用于自适应查询导致经典统计技术失效的问题，提出仅需对每个查询输入随机子采样并限制输出比特位，即可利用子采样固有噪声保证查询泛化，并据此设计了简单且先进的统计查询与中位数寻找机制。
2024-09-24 cs.DS cs.IT cs.LG
Simple algorithms to test and learn local Hamiltonians
CWI（CWI（荷兰数学和计算机科学国家研究中心））；Qusoft
本文提出基于泡利解析技术的简单算法，用 O(1/(ε₂-ε₁)⁸) 次查询测试哈密顿量的 k 局域性，并用 exp(O(k²+k log(1/ε))) 次查询实现误差 ε 内的学习，解决了 Bluhm 等人提出的两个开放问题。
2024-04-09 cs.CC cs.DS cs.IT
The VC-Dimension of Queries and Selectivity Estimation Through Sampling
Brown University（布朗大学）
我们开发了一种基于Vapnik-Chervonenkis维度统计概念的新方法来评估SQL查询的选择性（输出基数）-这是优化大规模数据库和数据挖掘操作执行的关键一步。这项工作的主要理论贡献，这是独立的利益，是一个明确的约束VC维的范围空间定义的所有可能的结果的集合（类）的查询。我们证明了VC维是一个函数的最大数量的布尔运算的选择谓词和选择和连接操作的最大数量的任何个人查询的集合中，但它既不是一个函数的查询的数量在集合中，也不是数据库的大小（元组的数量）。我们利用这一结果，并开发了一种方法，给定一类查询，建立一个简洁的随机样本的数据库，这样，具有很高的概率执行的任何查询类的样本上提供了一个准确的估计的选择性的查询原始的大型数据库。错误概率同时适用于集合中所有查询的选择性估计，因此可以使用相同的样本来评估多个查询的选择性，并且仅在数据库中发生重大更改后才需要刷新样本。通过我们的方法计算的样本表示通常足够小以存储在主存储器中。我们提出了广泛的实验结果，验证了我们的理论分析，并证明了我们的技术相比，复杂的选择性估计技术在PostgreSQL和Microsoft SQL Server的优势。
2011-08-11 cs.DB cs.DS cs.LG
Estimating Normalizing Constants for Log-Concave Distributions: Algorithms and Lower Bounds
Duke University（杜克大学）
估计未归一化概率分布的归一化常数在计算机科学、统计物理学、机器学习和统计学中有重要应用。在这项工作中，我们考虑的问题估计的归一化常数$Z=\int_{\mathbb{R}^d} e^{-f(x)}\,\mathrm{d}x$内的一个乘法因子$1 \pm \varepsilon$的$μ$ -强凸和$L$ -光滑的功能$f$，查询访问$f(x)$和$\nabla f(x)$。我们给这个问题的算法和下界。使用退火算法结合基于欠阻尼朗之万动力学的多级蒙特卡罗方法，我们表明，$\widetilde{\mathcal{O}}\Bigl(\frac{d^{4/3}κ+ d^{7/6}κ^{7/6}}{\varepsilon^2}\Bigr)$查询$\nabla f$是足够的，其中$κ= L / μ$是条件数。此外，我们提供了一个信息理论下限，表明至少$\frac{d^{1-o(1)}}{\varepsilon^{2-o(1)}}$查询是必要的。这提供了问题的第一个非平凡下界。
2020-06-23 cs.DS cs.LG math.PR
Private Query Release via the Johnson-Lindenstrauss Transform
基于Johnson-Lindenstrauss引理，提出了一种新的基于差分隐私的统计查询答案发布方法.其关键思想是将查询答案随机投影到一个较低维的空间中，使得任意两个可行查询答案向量之间的距离保持到一个加性误差。然后，我们使用一个简单的噪声添加机制来回答投影查询，并将答案提升到原始维度。使用这种方法，我们给，第一次，纯粹的差分私人机制，最佳的最坏情况下的样本复杂性平均错误回答工作量的$k$查询的大小$N$的宇宙。作为其他应用，我们给出了第一个纯私人的有效机制，最佳样本复杂度计算的协方差有界高维分布，并回答2路边际查询。我们还表明，到依赖的错误，我们的机制的一个变种是几乎最佳的每一个给定的查询工作量。
2022-08-15 cs.CR cs.DS cs.LG
Adaptive Data Analysis in a Balanced Adversarial Model
Georgetown University（乔治城大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对原有自适应数据分析难度结果中对抗者模型不平衡的问题，提出由分离的采样器和分析师组成的平衡对抗模型，在公钥密码假设下强化了查询数量下界，并证明该假设的必要性。
2023-11-03 cs.CR cs.DS cs.LG
Random Subgraph Detection Using Queries
Tel Aviv university（特拉维夫大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Research（谷歌研究院）
本文研究仅通过自适应边查询观察部分图时的植入稠密子图检测问题，确定了检测所需查询数的上下界，并提出了拟多项式最优算法和多项式时间算法。
2024-05-03 cs.DS cs.IT cs.LG
