Answering Private Linear Queries Adaptively using the Common Mechanism
Penn State（宾夕法尼亚州立大学）；University of Maryland, College Park（马里兰大学帕克分校）
当通过隐私过滤器分析机密数据时，数据科学家通常需要决定哪些查询最能支持他们的预期分析。例如，分析师可能希望研究由机制M1产生的数据集中的噪声双向边际。但是，如果数据相对稀疏，分析师可能会选择检查由机制M2产生的噪声单向边际。由于使用M1还是M2的选择是依赖于数据的，因此典型的差异隐私工作流程是首先将隐私损失预算rho分为两部分：rho 1和rho 2，然后使用第一部分rho 1来确定使用哪种机制，剩余部分rho 2从所选机制中获得噪声答案。从某种意义上说，第一步似乎是浪费的，因为它拿走了一部分隐私损失预算，而这些预算本来可以用来使查询答案更准确。在本文中，我们考虑的问题是，M1和M2之间的选择是否可以在不浪费任何隐私损失预算的情况下进行。对于线性查询，我们提出了一种将M1和M2分解为三个部分的方法：（1）捕获它们共享信息的机制M*，（2）捕获特定于M1的信息的机制M1'，（3）捕获特定于M2的信息的机制M2'。一起运行M* 和M1'完全等同于运行M1（在查询答案准确性和总隐私成本rho方面）。类似地，一起运行M* 和M2'完全等同于运行M2。由于无论如何都将使用M*，因此分析员可以使用其输出来决定随后是运行M1 '（因此重新创建由M1支持的分析）还是M2'（重新创建由M2支持的分析），而不会浪费隐私损失预算。
2022-11-30 cs.CR cs.DB cs.LG
Preventing False Discovery in Interactive Data Analysis is Hard
IBM Research Almaden（IBM阿尔马登研究院）；Harvard University School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）；Center for Research on Computation and Society（计算与社会研究中心）
我们发现，在一个标准的硬度假设下，没有计算效率高的算法，给定$n$样本从一个未知的分布可以给有效的答案$n^{3+o(1)}$自适应选择的统计查询。统计查询要求谓词对底层分布的期望，如果统计查询的答案“接近”对分布的正确期望，则该答案是有效的。我们的结果与众所周知的事实形成鲜明对比，即如果查询是非自适应选择的（没有查询可能依赖于以前的查询的答案），则可以有效和高效地回答指数级的许多统计查询。此外，Dwork等人最近的一项工作显示了如何通过计算效率低下的算法准确地回答指数级的许多自适应选择的统计查询;以及如何通过计算效率高的算法回答二次数量的自适应查询。后者的结果意味着，我们的结果是紧到$n.$中的线性因子。从概念上讲，我们的结果表明，实现统计有效性单独可以是自适应设置中的计算棘手性的来源。例如，在现代大型协作研究环境中，数据分析师通常会根据以前的研究结果选择特定的方法。如果一项研究发现有数据支持，但没有潜在的分布支持，则会发生错误发现。虽然在统计学中防止错误发现的研究已经有几十年的历史了，但据我们所知，我们的结果是第一个证明计算障碍的结果。特别是，我们的研究结果表明，在今天的合作研究环境中，防止错误发现的感知困难可能是固有的。
2014-08-06 cs.CC cs.DS cs.LG
Lazy Queries Can Reduce Variance in Zeroth-order Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
应用零阶（ZO）方法的一个主要挑战是高查询复杂度，特别是当查询代价很高时。我们提出了一种新的梯度估计技术的ZO方法的基础上自适应懒惰的查询，我们称之为LAZO。与经典的一点或两点梯度估计方法不同，LAZO提出了两种方法来检查前几次迭代中旧查询的有用性，然后自适应地重用它们来构造低方差梯度估计。我们严格地建立，通过明智地重用旧的查询，LAZO可以减少随机梯度估计的方差，使它不仅节省每次迭代的查询，但也实现了遗憾的对称两点法。我们评估的数值性能的LAZO，并证明了低方差属性和性能增益的LAZO在遗憾和查询复杂度相对于现有的几个ZO方法。LAZO的思想是通用的，并且可以应用于ZO方法的其他变体。
2022-06-14 cs.LG math.OC stat.ML
Noise-tolerant, Reliable Active Classification with Comparison Queries
UCSD（加州大学圣地亚哥分校）
近年来，随着大量的、广泛可用的未标记数据的爆炸式增长，寻找标签和时间有效的、鲁棒的学习算法在理论和实践中变得越来越重要。我们研究了主动学习的范式，在这种范式中，可以访问大量数据的算法可以自适应地选择标记什么样的样本，希望以指数方式提高效率。通过引入比较，一个额外的类型的查询比较两个点，我们提供了第一时间和查询有效的算法学习非齐次线性分离器有界（Massart）噪声鲁棒。我们还提供了一个流行的Tsybakov低噪声条件的推广算法，并显示如何比较提供了一个强大的可靠性保证，往往是不切实际的或不可能的，只有标签-返回一个分类器，使没有错误的高概率。
2020-01-15 cs.LG stat.ML
RetrySQL: text-to-SQL training with retry data for self-correcting query generation
针对text-to-SQL任务缺乏自校正生成相关SQL专用模型研究的问题，提出RetrySQL方法，构造含正误推理步骤的重试数据开展全参数持续预训练，可提升模型执行准确率，性能媲美参数量高数个量级的专有模型。
2025-11-14 cs.LG
Non-adaptive Learning of Random Hypergraphs with Queries
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Sapienza University of Rome（罗马大学）
本文研究非自适应查询学习随机$k$-均匀超图问题，通过建立学习单超边与组测试的等价性，将Li等人的图学习结果推广至超图，突破已知下界。
2025-01-22 cs.DM cs.DS cs.IT
Subsampling Suffices for Adaptive Data Analysis
Stanford University（斯坦福大学）
针对数据集被重复用于自适应查询导致经典统计技术失效的问题，提出仅需对每个查询输入随机子采样并限制输出比特位，即可利用子采样固有噪声保证查询泛化，并据此设计了简单且先进的统计查询与中位数寻找机制。
2024-09-24 cs.DS cs.IT cs.LG
Bounded Memory Active Learning through Enriched Queries
UCSD（加州大学圣地亚哥分校）；Qualcomm Institute（高通研究所）
易于访问的未标记数据的爆炸式增长导致人们对主动学习的兴趣日益增长，在这种范式中，数据饥饿的学习算法自适应地选择信息丰富的示例，以降低昂贵的标记成本。不幸的是，在标准的最坏情况的学习模型中，主动设置通常不会提供比非自适应算法更好的效果。为了解决这个问题，最近的一系列作品都考虑了一个模型，在这个模型中，学习者可以问超出标签的丰富查询。虽然这些模型在大幅降低标签成本方面取得了成功，但它们往往以需要大量内存为代价。在这项工作中，我们研究了哪些家庭的分类器可以在有限的内存中学习。为此，我们引入了一种新的流的丰富查询主动学习的变体，以及一个自然的组合参数称为无损样本压缩，这是足够的学习不仅与有限的内存，但在查询优化和计算效率的方式以及。最后，我们给出了三个基本的例子，分类器家庭小，易于计算无损压缩计划时，给予访问基本的丰富的查询：轴对齐的矩形，决策树，和二维半空间。
2021-02-09 cs.LG stat.ML
Language Model Activations Inhabit Privileged Error-Correcting Basins
Goodfire；University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）；Northeastern University（东北大学）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）
本研究通过探测语言模型激活空间的几何结构，发现激活位于特权纠错盆地中，并利用自适应引导强度跨盆地传输激活，显著提升跨语言引导效果。
2026-10-06 cs.AI cs.CL cs.LG
Differentially Private Query Release Through Adaptive Projection
Amazon AWS AI/ML（亚马逊云科技人工智能与机器学习部门）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出，实施，并评估一个新的算法，用于释放答案非常大量的统计查询，如$k$方式的边缘，受到差分隐私。我们的算法自适应地使用了投影机制的连续松弛，该机制使用简单的扰动来回答对私有数据集的查询，然后尝试找到最接近噪声答案的合成数据集。我们使用合成数据集域的连续松弛，这使得投影损失可微，并允许我们使用有效的ML优化技术和工具。我们不是预先回答所有的查询，而是通过迭代和自适应地找到我们的（放松的）合成数据具有高误差的查询，然后重复投影，来明智地使用我们的隐私预算。我们在一系列参数和数据集上进行了广泛的实验评估，发现我们的方法在许多情况下优于现有的算法，特别是当隐私预算很小或查询类很大时。
2021-06-23 cs.CR cs.LG
Learning using Local Membership Queries
Carnegie Mellon University（卡内基梅隆大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）；University of California, Berkeley（加州大学伯克利分校）
我们引入了一个新的成员查询（MQ）学习模型，其中的学习算法被限制到查询点是\emph{close}从底层分布的随机例子。学习模型介于PAC模型（Valiant，1984）和PAC+MQ模型（允许查询为任意点）之间。成员查询算法在机器学习从业者中并不流行。除了自适应查询标记器的明显困难之外，还观察到查询\emph{unnatural}点导致来自人类标记器的噪声增加（Lang和Baum，1992）。这激发了我们对学习算法的研究，这些算法使查询接近从数据分布中生成的示例。我们限制我们的注意力的功能定义的$n$维布尔超立方体，并说，成员查询是本地的，如果它的汉明距离从一些例子中的（随机）训练数据是最多$O(\log(n))$。在这个模型中，我们证明了以下结果：（i）$\{0,1\}^n$上的稀疏多项式类（系数为R）在一个大类的\emph{locally smooth}分布下使用$O(\log(n))$ -本地查询是多项式时间可学习的。该类还包括$O(\log(n))$深度决策树类。(ii)多项式大小的决策树类是多项式时间学习下的产品分布使用$O(\log(n))$ -本地查询。(iii)利用$O(\log(n))$ -时间局部查询$n^{O(\log(\log(n)))}$，在均匀分布下学习多项式大小的DNF公式类。(iv)此外，我们证明了一些结果与传统的PAC模型和PAC+MQ模型所提出…
2013-04-17 cs.AI cs.LG
Tricking the Hashing Trick: A Tight Lower Bound on the Robustness of CountSketch to Adaptive Inputs
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；UC Berkeley（加州大学伯克利分校）
CountSketch和Feature Hashing（“hashing trick”）是流行的随机降维方法，支持恢复$\ell_2$ -重命中者（键$i$，其中$v_i^2 > ε\|\boldsymbol{v}\|_2^2$）和近似内积。当输入是{ \em非自适应}（不依赖于先前的输出）时，应用于大小为$O(\ell/ε)$的草图的经典估计器对于在$\ell$中呈指数的查询数量是准确的。然而，当输入是自适应的时，可以在使用经典估计器的$O(\ell)$查询之后构造对抗输入，并且最知名的鲁棒估计器仅支持$\tilde{O}(\ell^2)$查询。在这项工作中，我们表明，这种二次依赖是在某种意义上固有的：我们设计了一个攻击后，$O(\ell^2)$查询产生一个对抗性的输入向量，其草图是高度偏见。我们的攻击使用“自然”非自适应输入（只有最终的对抗输入是自适应选择的），并普遍适用于任何正确的估计，包括攻击者未知的估计。在这一点上，我们暴露了这种基本方法的内在脆弱性。
2022-08-28 cs.CR cs.DS cs.LG
Query-augmented Active Metric Learning
University of Illinois, Urbana-Champaign（伊利诺伊大学香槟分校）；University of California, Irvine（加利福尼亚大学尔湾分校）；Eli Lilly and Company（礼来公司）
在本文中，我们提出了一个主动度量学习方法的聚类与成对约束。该方法主动查询信息实例对的标签，同时通过合并未标记的实例对来估计底层度量，从而导致更准确和高效的聚类过程。特别是，我们通过生成更多的成对标签来增加查询的约束，以在学习度量时提供额外的信息来提高聚类性能。此外，我们增加了度量学习的鲁棒性，通过更新学习的度量顺序和惩罚不相关的功能自适应。此外，我们还提出了一种新的主动查询策略，该策略通过引入邻域结构来更准确地评估实例对的信息增益，从而在不增加额外标签成本的情况下提高了聚类效率。在理论上，我们提供了一个更严格的误差界的建议度量学习方法，利用增强查询相比，使用现有的限制。此外，我们还研究了改进使用主动查询策略，而不是随机选择。仿真和真实数据集的数值研究表明，所提出的方法是特别有利的，当显着的功能和不相关的功能之间的信噪比低。
2021-11-08 cs.LG stat.ML
Sequential Mode Estimation with Oracle Queries
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Indian Institute of Science, Bangalore（印度科学学院班加罗尔分院）
我们考虑的问题，自适应PAC学习的概率分布$\mathcal{P}$的模式，通过查询一个预言的信息序列的i.i.d.从$\mathcal{P}$生成的样本$X_1, X_2, \ldots$。我们考虑两种不同的查询模型：（a）每个查询是一个索引$i$，其中的oracle揭示的样本$X_i$的值，（b）每个查询是由两个索引$i$和$j$，其中的oracle揭示，如果样本$X_i$和$X_j$是相同的或不。对于这些查询模型，我们给出了顺序模式估计算法，在每一次$t$，要么根据过去的观察查询到相应的Oracle，或决定停止并输出估计的分布的模式，需要正确的指定的信心。我们分析了这些算法的查询复杂度的任何底层分布$\mathcal{P}$，并得出相应的下界的最佳查询复杂度下的两个查询模型。
2019-11-19 cs.IT cs.LG math.IT
Generative Adversarial Active Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Boston College（波士顿学院）
提出了一种基于生成对抗网络（GAN）的查询综合主动学习方法。与常规的主动学习不同，该算法自适应地合成训练实例进行查询，以提高学习速度。我们根据不确定性原则生成查询，但我们的想法可以与其他主动学习原则。我们报告的结果，从各种数值实验，以证明所提出的方法的有效性。在某些情况下，该算法优于传统的基于池的方法。据我们所知，这是第一个使用GAN的主动学习工作。
2017-11-15 cs.LG stat.ML
Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation
NC AI（NC人工智能）
提出自适应多模态嵌入器 M-Solomon，通过学习按需生成 /augment 或 /embed 标记来决定查询增强时机，在大幅提升性能的同时显著降低了嵌入延迟。
2025-11-04 cs.AI cs.CL cs.IR
Optimal Graph Reconstruction by Counting Connected Components in Induced Subgraphs
UC San Diego（圣迭戈大学）
本文提出基于连通分量计数的预言机查询模型，证明自适应重构图需Θ(m log n/log m)次查询，非自适应需Ω(n²)次，并给出两轮自适应的O(m log n+n log² n)算法。
2025-06-10 cs.DS cs.IT cs.LG
Private Everlasting Prediction
Weizmann Institute of Science（魏茨曼科学研究所）；Georgetown University（乔治城大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文提出私有 everlasting prediction，在 PAC 模型中同时保护训练集和查询隐私，其初始样本复杂度在 VC 维度上为二次，支持有限 VC 维度概念类（含无限域阈值函数）的预测。
2023-05-16 cs.CR cs.DS cs.LG
