Differentially Private Approximate Quantiles
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Ben-Gurion University(本古里安大学);Ben-Gurion University of the Negev(内盖夫本古里安大学)
在这项工作中,我们研究的问题,差分私人(DP)分位数,其中给定的数据集$X$和分位数$q_1, ..., q_m \in [0,1]$,我们希望输出$m$分位数估计,这是尽可能接近真实的分位数,并保持DP。我们描述了一个简单的递归DP算法,我们称之为ApproximateQuantiles(AQ),这项任务。我们给出了一个最坏情况下的误差上限,并表明其误差远低于以前的实现在几个不同的数据集。此外,它获得了这种低误差,同时运行时间比以前最好的实现快两个数量级。
2021-10-11 cs.CR cs.DS cs.LG
Dual Query: Practical Private Query Release for High Dimensional Data
我们提出了一个实用的,差分隐私算法回答了大量的高维数据集上的查询。像所有用于此任务的算法一样,我们的算法在数据维度上必然具有最坏情况的复杂度指数。然而,我们的算法将计算上困难的步骤打包成一个简洁定义的整数规划,可以使用标准求解器非私下解决。我们证明了我们的算法的准确性和隐私定理,然后通过实验证明,我们的算法在实践中表现良好。例如,我们的算法可以高效准确地回答Netflix数据集上的数百万个查询,该数据集具有超过17,000个属性;这是对现有技术的多个数量级的改进。
2015-11-19 cs.CR cs.DB cs.DS
Faster Private Release of Marginals on Small Databases
我们研究的问题回答\emph{$k$-way marginal}查询数据库$D \in (\{0,1\}^d)^n$,同时保持差分隐私。$k$方式边际查询的答案是数据库记录$x \in \{0,1\}^d$中具有给定值的部分,这些记录在给定的一组最多$k$列中的每一列中具有给定值。边缘查询使得数据集上的丰富的统计分析,并设计有效的算法,私下回答边缘查询已被确定为一个重要的公开问题,在私人数据分析。对于任何$k$,我们给出了一个差分私人在线算法,运行时间$$ \min{\exp(d^{1-Ω(1/\sqrt{k})}), \exp(d / \log^{.99} d)\} $$每个查询和回答任何(可能superpolynomially长和自适应选择)序列的$k$ -路边际查询错误最多$\pm .01$在每个查询,提供$n \gtrsim d^{.51} $。据我们所知,这是第一个算法能够私下回答边际查询与非平凡的最坏情况下的准确性保证数据库的大小$\poly(d, k)$的时间$\exp(o(d))$。我们的算法是私有乘法权重算法(Hardt和Rothblum,FOCS '10)的变体,但使用不同的低权重数据库表示。我们推导出我们的低权重表示使用近似的或功能的低次多项式系数有界$L_1$ -范数。我们还证明了一个强大的限制,我们的方法是独立的近似理论的兴趣。具体来说,我们表明,对于任何…
2013-09-03 cs.DS
Differentially Private Change-Point Detection
Georgia Institute of Technology(佐治亚理工学院);University of Richmond(里士满大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
变点检测问题试图识别数据流中未知变点k * 处的分布变化。这个问题出现在许多涉及个人数据的重要实际设置中,包括生物监视、故障检测、金融、信号检测和安全系统。差分隐私领域提供了数据分析工具,可以提供强大的最坏情况隐私保证。本文从差分隐私的角度研究了变点检测的统计问题。我们给出了在线和离线变点检测的私有算法,从理论上分析了这些算法,并对我们的结果进行了实证验证。
2018-08-29 cs.DS cs.LG math.ST
Differentially Private Covariance Revisited
Hong Kong University of Science and Technology(香港科技大学)
本文提出了两种新的集中差分隐私(zCDP)下的协方差估计算法。第一种算法实现了$\tilde{O}(d^{1/4}\sqrt{\mathrm{tr}}/\sqrt{n} + \sqrt{d}/n)$的Frobenius误差,其中$\mathrm{tr}$是协方差矩阵的迹。通过采用$\mathrm{tr}=1$,这也意味着$\tilde{O}(d^{1/4}/\sqrt{n})$的最坏情况误差界,其改进了用于该机制$d>\widetildeΩ(n^{2/3})$的标准高斯机制的$\tilde{O}(d/n)$。我们的第二个算法提供了一个尾部敏感的界限,可以更好地倾斜数据。相应的算法也是简单有效的。实验结果表明,他们提供了显着的改进,比以前的工作。
2022-09-28 cs.CR cs.DS cs.LG
Heavy Hitters and the Structure of Local Privacy
我们提出了一个新的局部差分隐私算法的重打击者问题,实现最佳的最坏情况下的错误作为所有标准考虑参数的函数。先前的工作得到的出错率最佳地取决于用户的数量,域的大小,和隐私参数,但次最佳地取决于故障概率。我们加强现有的下限的错误,将失败的概率,并表明我们的新的上限是紧相对于这个参数。我们的下界是基于对局部私有协议结构的新理解。我们进一步发展这些想法,得到以下的一般结果超出了重打击。$\bullet$高级分组:在局部模型中,$k$用户的组隐私与$\approx \sqrt{k}$成比例地降级,而不是像在中心模型中那样在$k$中线性地降级。更强的群体隐私产生更好的最大信息保证,以及更强的下限(通过“包装参数”),超过中心模型。$\bullet$基于Basily和Smith(STOC 2015)的转换,我们给出了从任何非交互式近似私有本地协议到纯私有本地协议的通用转换。再次与中心模型相比,这表明我们不能通过从纯局部隐私移动到近似局部隐私来获得更准确的算法。
2017-11-13 cs.DS
Smoothed Analysis of Online and Differentially Private Learning
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
对算法的鲁棒性和隐私性的实际和普遍需求激发了在线对抗和差异隐私学习算法的设计。在这些设置中表征可学习性的主要数量是假设类的Littlestone维度[Ben-David等人,2009年,Alon等人,2019年]。这种特征通常被解释为不可能的结果,因为线性阈值和神经网络等类具有无限的Littlestone维数。在本文中,我们应用平滑分析的框架[Spielman和Teng,2004],其中逆向选择的输入被自然稍微扰动。我们表明,从根本上更强的遗憾和错误的保证是可能的平滑的对手比最坏情况下的对手。特别是,我们得到的遗憾和隐私的误差范围,只依赖于VC维和括号数的假设类,和扰动的大小。
2020-06-17 cs.DS cs.LG stat.ML
Tight Differentially Private PCA via Matrix Coherence
Bocconi University(博科尼大学);Lucerne School of Computer Science and Information Technology(卢塞恩计算机科学与信息科技学校)
我们重新审视的任务,计算跨度的顶部$r$奇异向量$u_1, \ldots, u_r$的矩阵下差分隐私。我们表明,一个简单而有效的算法-基于奇异值分解和标准的扰动机制-返回一个私人的秩$r$近似,其误差仅取决于\emph{rank-$r$ coherence}的$u_1, \ldots, u_r$和频谱间隙$σ_r - σ_{r+1}$。这解决了Hardt和Roth~ \cite{hardt2013beyond}提出的一个问题。我们的估计器优于最先进的技术-在某些情况下显着。特别是,我们表明,在密集的设置,它实现了相同的保证单尖峰PCA的Wishart模型中的最佳非私人算法所达到的,而以前的私人算法未能做到这一点。此外,我们证明了(秩- $r$)相干性不增加高斯扰动下。这意味着任何基于高斯机制的估计器-包括我们的估计器-都保持了输入的一致性。我们推测,类似的行为适用于其他结构化模型,包括种植的问题图。我们还探讨了应用程序的连贯性图的问题。特别是,我们提出了一个差分隐私算法的最大切割和其他约束满足问题下的低一致性假设。
2025-10-30 cs.DS cs.LG
Efficient Algorithms for Privately Releasing Marginals via Convex Relaxations
考虑$n$人的数据库,每个人由长度为$d$的位串表示,该位串对应于$d$二进制属性的设置。$k$路边际查询由$k$属性的子集$S$和指定其值的$|S|$维二进制向量$β$指定.此查询的结果是数据库中属性向量限制为$S$与$β$一致的人数的计数。对一组$k$ -路边缘查询的近似答案的私下发布是差分隐私中最重要和最有意义的问题之一。从理论上讲,边缘查询的错误复杂性是很好理解的:每个查询的附加错误至少是$Ω(\min\{\sqrt{n},d^{\frac{k}{2}}\})$,最多是$\tilde{O}(\min\{\sqrt{n} d^{1/4},d^{\frac{k}{2}}\})$。然而,对于小$n$,没有已知误差复杂度低至信息论上界的多项式时间算法。在这项工作中,我们提出了一个多项式时间的算法,对于任何分布的边际查询,达到平均错误最多$\tilde{O}(\sqrt{n} d^{\frac{\lceil k/2 \rceil}{4}})$。该误差界与$k=2$的最佳信息理论上界一样好。该界限是对之前在$k$较小且需要错误$o(n)$时有效释放边缘的工作的改进。使用私有boosting,我们还能够给出几乎匹配的最坏情况误差范围。我们的算法是基于Nikolov,Talwar和Zhang的几何技术。主要的新成分是凸松弛和谨慎使用的Frank-Wolfe算法约束凸最小化。为了设计我们的松…
2013-08-06 cs.DS
New Oracle-Efficient Algorithms for Private Synthetic Data Release
University of Minnesota(明尼苏达大学);Harvard University(哈佛大学);Boston University(波士顿大学);IBM Research(IBM研究院)
我们提出了三种新的算法,用于构建差异私人合成数据--一个消毒版本的敏感数据集,大约保留了大量的统计查询的答案。所有这三种算法都是\emph{oracle-efficient},因为它们在访问优化预言时是计算高效的。这样的预言可以使用许多现有的(非私有的)优化工具来实现,例如复杂的整数规划求解器。虽然合成数据的准确性取决于预言机的优化性能,但即使在最坏的情况下,算法也能满足差分隐私。对于所有这三种算法,我们都为准确性和隐私性提供了理论保证。通过实证评估,我们表明,我们的方法规模以及与数据的维数和查询的数量。与最先进的高维矩阵机制\cite{McKennaMHM18}相比,我们的算法在大工作量和高隐私机制(对应于低隐私损失$\varepsilon$)下提供了更好的准确性。
2020-07-10 cs.DS cs.LG stat.ML
Scalable Differentially Private Clustering via Hierarchically Separated Trees
Google Research(谷歌研究院);Sorbonne Université(索邦大学);Aarhus University(奥胡斯大学)
研究了$d$维欧氏空间中的私有$k$ -中值和$k$ -均值聚类问题。通过利用树嵌入,我们给出了一个高效且易于实现的算法,该算法在经验上与最先进的非私有方法具有竞争力。我们证明了我们的方法计算的解决方案的成本最多$O(d^{3/2}\log n)\cdot OPT + O(k d^2 \log^2 n / ε^2)$,其中$ε$是隐私保证。(The维度项$d$可以使用标准降维技术用$O(\log k)$代替)。虽然最坏情况下的保证是最先进的私有聚类方法的状态差,我们提出的算法是实用的,运行在近线性,$\tilde{O}(nkd)$,时间和规模为数千万点。我们还表明,我们的方法是适合在大规模的分布式计算环境中的并行化。特别是,我们表明,我们的私人算法可以实现对数数量的MPC轮在次线性内存制度。最后,我们补充我们的理论分析与实证评估,证明算法的效率和准确性相比,其他隐私聚类基线。
2022-06-17 cs.CR cs.DS cs.LG
Fast Private Data Release Algorithms for Sparse Queries
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
我们重新审视的问题,准确地回答大类的统计查询,同时保持差分隐私。以前的方法来解决这个问题已经非常普遍,但没有运行时多项式的数据库的大小,只适用于非常有限的类的查询,或放宽了最坏情况下的错误保证的概念。在本文中,我们考虑了大类的稀疏查询,它采取非零值的多项式许多宇宙元素。我们给出了高效的查询释放算法,这类,在交互式和非交互式设置。我们的算法也实现了更好的准确性界限比以前的一般技术时,适用于稀疏查询:我们的界限是独立的宇宙大小。事实上,即使是我们的交互机制的运行时是独立的宇宙的大小,因此可以在“无限宇宙”模型中实现,其中没有有限的宇宙需要指定的数据管理员。
2011-11-29 cs.CR cs.DS cs.LG
Tight Lower Bounds for Differentially Private Continual Counting
Google(谷歌);Google Research(谷歌研究)
本文解决了二叉树机制在差分隐私连续计数中的渐近最优性问题,证明了纯和近似差分隐私下的紧下界,并确立了该机制在标准参数范围内的最优性。
2026-11-18 cs.CR cs.DS
Average-Case Averages: Private Algorithms for Smooth Sensitivity and Mean Estimation
保证差分隐私的最简单和最广泛应用的方法是向感兴趣的统计量添加与实例无关的噪声,该统计量被缩放到其全局灵敏度。然而,全局敏感性是一个最坏情况的概念,对于已实现的数据集实例来说往往过于保守。我们提供的方法缩放噪声在一个实例相关的方式,并证明他们提供更高的精度下平均情况下的分布假设。具体地说,我们考虑的基本问题私人估计的平均值的实际分布从i.i.d.~样品标准的经验均值估计可以具有任意高的全局灵敏度。我们提出了修剪均值估计,它插值之间的平均值和中位数,作为一种方法,平均获得低得多的灵敏度,而损失很少的统计精度。为了私下估计修剪均值,我们重新审视了Nissim,Raskhodnova和Smith(STOC 2007)的平滑灵敏度框架,该框架为使用实例依赖灵敏度提供了一个框架。我们提出了三个新的加性噪声分布,提供集中的差分隐私时,缩放到平滑的灵敏度。我们提供的理论和实验证据表明,我们的噪声分布比较有利的文献中的其他人,特别是当应用于均值估计问题。
2019-06-06 cs.CR cs.DS math.ST
A Private Approximation of the 2nd-Moment Matrix of Any Subsamplable Input
Faculty of Engineering(工程学院);Bar-Ilan University(巴伊兰大学)
针对可子采样数据,提出一种满足零集中差分隐私的递归算法,实现二阶矩矩阵的高精度近似估计,并容忍显著比例的异常值。
2026-06-24 cs.CR cs.DS cs.LG
Archimedes Meets Privacy: On Privately Estimating Quantiles in High Dimensions Under Minimal Assumptions
在过去的几年里,在隐私限制下,对高维统计的研究激增,主要有两条主线:“最坏情况”线,它不对输入数据进行任何分布假设;“强假设”线,它假设数据是从特定的家庭中产生的,例如,亚高斯分布在这项工作中,我们采取中间立场,获得新的差分私人算法与多项式样本复杂度估计分位数在高维,以及估计和采样点的高Tukey深度,所有工作在非常温和的分布假设。从技术的角度来看,我们的工作依赖于凸几何文献中的深度鲁棒性结果,展示了这些结果如何在私人环境中使用。我们感兴趣的主要对象是(凸)浮体(FB),一个概念可以追溯到阿基米德,这是一个强大的和良好的研究高维模拟的分位数范围。我们展示了如何可以私下地,并且使用多项式多个样本,(a)输出FB的近似内点-例如,高维数据库中的“典型用户”--通过利用FB的Steiner点的鲁棒性;以多项式更多的样本为代价,(b)通过构建一个私有的噪声投影预言机,从FB中产生一个近似均匀的样本。
2022-08-15 cs.CR cs.DS math.MG
Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent
Sun Yat-sen University(中山大学);University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
本文提出输出特定的$(\varepsilon,δ)$-DP方法及高效算法,刻画DP-SGD训练模型中单个样本的隐私保证,发现服务不足群体隐私较弱,如CIFAR-10上低准确率类别平均$\varepsilon$高44.2%。
2024-07-25 cs.CR cs.DS cs.LG
Lower Bounds for Private Graph Optimization Problems using Reconstruction Attacks
University of Waterloo(滑铁卢大学);BARC, University of Copenhagen(哥本哈根大学 BARC 中心)
本文针对差分隐私下的图优化问题,利用重建攻击证明最小生成树和完美匹配的紧下界,并推广到稀疏图和层次聚类,改进了现有结果。
2026-09-11 cs.CR cs.DS
Pan-private Algorithms: When Memory Does Not Help
考虑在线到达的更新,其中第$t$个输入是$(i_t,d_t)$,其中$i_t$被认为是用户的ID。非正式地,随机化函数$f$相对于ID是{ \em差分隐私},如果由$f$引起的概率分布与由它在输入上引起的概率分布没有太大不同,其中ID $j$的出现被一些其他ID $k$替换。最近,这个概念被扩展到{ \em泛隐私},其中$f$的计算保留差分隐私,即使算法的内部存储器被暴露给对手(例如通过恶意闯入或通过政府的命令)。这是一个很强的隐私概念,令人惊讶的是,对于基本的计数任务,如不同的计数,重打击者和其他人,Dwork等人~ \cite{dwork-pan}提出了泛隐私算法具有合理的准确性。泛私有算法是不平凡的,并且依赖于采样。我们重新审视这些基本的计数任务,并显示改进的界限。特别地,我们估计不同计数$\Dt$在$(1\pm \eps)\Dt \pm O(\polylog m)$内,其中$m$是宇宙中元素的数量。这使用了流文学中已知的草图上的适当噪声统计。我们还提出了第一个已知的泛隐私的下限相对于一个单一的入侵。我们的下限表明,即使允许无限内存,泛私有算法的不同计数不能显着更准确地比我们的算法。我们的下界使用噪声解码。对于沉重的打击计数,我们提出了一个泛私人流算法,是准确的$O(k)$在最坏的情况下,以前已知的界限,这个问题是任意更糟。我们的泛私有算法的一个有趣的方面是,它们故意使用非常…
2010-09-08 cs.CR cs.DS
Intrinsic-Dimensional Wasserstein Guarantees for Private Synthetic Measures
University of California, San Diego(加州大学圣地亚哥分校)
本文提出基于PrivTree的差分隐私合成测度方法,其Wasserstein误差由内蕴维数而非环境维数决定,并达到极小极大最优率,同时引入平移技术消除常数对维数的指数依赖。
2026-09-17 cs.CR cs.DS cs.IT
Locally Private Histograms in All Privacy Regimes
本文研究了中低隐私机制下的本地私有直方图与分布学习问题,建立了ℓ∞误差的近乎紧致界,并据此提出混洗模型下通信复杂度显著更优的直方图协议,同时通过实证比较验证了理论发现。
2024-09-04 cs.CR cs.DM cs.DS
Differentially Private Linear Algebra in the Streaming Model
数值线性代数在计算机科学中占有重要地位。在本文中,我们开始研究执行线性代数任务,同时保护隐私时,数据流在线。我们主要关注的是隐私保护数据结构的空间需求。我们给出了第一个基于{ \em sketch-based}的差分隐私算法。我们给出了最佳的,对数因子,空间数据结构,可以计算低秩近似,线性回归,矩阵乘法,同时保持差分隐私更好的添加剂的误差界相比,已知的结果。值得注意的是,我们匹配了Kane和Nelson在非私有环境中最著名的空间界(J. ACM,61(1):4)。我们的差分私有低秩近似{ \em重用}随机高斯矩阵的机制,以特定的方式提供一个单通道机制。我们证明,由此产生的分布也保持差分隐私。这可以是独立的利益。我们不做任何假设,如奇异值分离或归一化行假设,在早期的作品。矩阵乘法和线性回归的机制可以被看作是已知的非私有算法的私有模拟。我们所有的机制,在所提出的形式,也可以在分布式设置计算。
2017-10-25 cs.CR cs.DS
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有(DP)算法估计的平均值,协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布,满足两个良好的研究性质,在以前的工作稳健估计:可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”:平均值,乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计,我们是第一个有效的算法(即使在没有离群值的情况下),成功没有任何条件数假设。我们的算法产生于一个新的框架,提供了一个通用的蓝图修改凸松弛稳健估计,以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和(SoS)半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的,在该机制中,噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的,更普遍地获得DP对应的强大的估计。独立于我们的工作,Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Geometry-Adaptive Mechanisms for Private Synthetic Data
Sharif University of Technology(谢里夫理工大学);University of Birmingham(伯明翰大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
针对高维差分隐私合成数据生成,提出Adaptive Pruned-PMM机制,利用多尺度打包增长维度自适应几何,实现期望1-Wasserstein误差阶(εn)^{-1/k},并证明下界,提升低维支持场景的效用。
2026-09-29 cs.CR cs.DS cs.LG
Quantum Worst-Case to Average-Case Reductions for All Linear Problems
我们研究的问题,设计最坏情况下的平均情况下减少量子算法。对于所有的线性问题,我们提供了一个明确的和有效的量子算法的转换,只有正确的一小部分(甚至亚常数)的输入到正确的所有输入。这与经典环境形成对比,在经典环境中,这样的结果仅针对少数特定问题或受限的计算模型而已知。途中,我们得到了一个紧$Ω(n^2)$下界的平均情况下的量子查询复杂度的矩阵向量乘法问题。我们的技术加强和推广了最近引入的经典最坏情况下的平均情况下减少(STOC 2022)的量子设置的添加剂组合学框架。我们依靠量子奇异值变换来构造量子算法,用于叠加中的线性验证和从噪声量子预言机中学习Bogolyubov子空间。我们使用这些工具来证明量子局部校正引理,这是我们的减少的核心,基于噪声鲁棒概率概括Bogolyubov引理从添加剂组合。
2022-12-06 cs.CC cs.DS quant-ph
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布,本文改进 Misra-Gries 草图机制,使噪声不随草图规模线性增长,并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
PLAN: Variance-Aware Private Mean Estimation
IT University of Copenhagen(哥本哈根信息技术大学);Basic Algorithms Research Copenhagen(哥本哈根基础算法研究中心);Aarhus University(奥胡斯大学);University of Copenhagen(哥本哈根大学)
本研究提出方差感知的差分隐私均值估计算法PLAN,通过非均匀分配各维度隐私预算、适配数据分布调整噪声形态,在集中性假设下将ℓ₂误差降至与‖σ‖₁成正比,相较现有方法最高可提升√d倍性能,并经合成与真实数据验证有效。
2024-04-10 cs.CR cs.DS cs.LG