Private Geometric Median in Nearly-Linear Time
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究)
该研究提出一种近线性时间的差分隐私几何中位数算法,在保持样本复杂度和近似质量的同时,将运行时间降至近乎线性,通过子采样和几何聚合加速热启动,并定制分析DP-SGD敏感性。
2025-05-26 cs.CR cs.DS cs.LG
A Simple, Nearly-Optimal Algorithm for Differentially Private All-Pairs Shortest Distances
本文针对差分隐私全对最短距离问题,提出基于生成树分解的简单算法,在纯DP和近似DP设置下均大幅降低误差,且近似DP下误差接近下界最优;还给出两种带乘法近似的构造,进一步优化加性误差。
2024-07-13 cs.DS
Differentially Private Continual Release with Relative Error
The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学福耀研究院)
该研究针对差分隐私下持续发布模型的四类任务,证明非自适应输入流下引入相对误差可大幅降低误差,自适应流下仅选最小累计和属性任务误差大,其余任务仍可保小误差,补充了匹配下界。
2026-08-21 cs.DS
Privacy-Computation trade-offs in Private Repetition and Metaselection
Apple(苹果公司)
本文研究私有重复与元选择中的隐私-计算权衡,证明保持常数级隐私开销时失败概率只能随计算开销多项式下降,并给出近乎匹配下界的组合算法。
2024-10-22 cs.CR cs.DS cs.LG
Fast and Private Max-Sum Diversification
Tel Aviv University(特拉维夫大学)
研究差分隐私下的最大和多样化问题,提出基数和拟阵约束下的差分隐私算法,实现近最优效用保证,设计更高效算法,实验表明该方法在强隐私保证下效用与非私密基线相当且显著提高执行时间。
2026-07-21 cs.CR cs.DS
Optimal Private Median Estimation under Minimal Distributional Assumptions
我们研究的基本任务,估计从有限的样本个数的潜在分布的中位数,在纯差分隐私约束。我们专注于满足最小假设的分布,即它们在中位数周围的一个小邻域内具有正密度。特别地,允许分布输出无界值,并且不需要具有有限矩。我们计算精确的,高达常数项,统计估计率的中位数提供接近紧的上限和下界。此外,我们设计了一个多项式时间的差分隐私算法,可证明达到最佳的性能。在技术层面上,我们的研究结果利用Lipschitz扩展引理,使我们能够设计和分析差分私有算法,仅在适当定义的“典型”样本的情况下。
2020-11-12 cs.CR cs.DS math.PR
Efficiently Estimating Erdos-Renyi Graphs with Node Differential Privacy
MIT(麻省理工学院);Northeastern University(东北大学)
我们给出了一个简单的,计算效率高,和节点差分私人算法估计的参数的Erdos-Renyi图--也就是说,估计p在G(n,p)-与接近最佳的精度。我们的算法几乎与Borgs等人(FOCS 2018)针对同一问题的信息理论最优指数时间算法相匹配。更一般地说,我们给出了一个最佳的,计算效率高,私人算法估计任何图的度分布集中在一个小的区间上的边密度。
2019-05-24 cs.DS cs.LG
Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling
Apple(苹果公司)
Erlingsson、Feldman、Mironov、Raghunathan、Talwar和Thakurta [EFMRTT 19]最近的工作表明,随机洗牌放大了本地随机数据的差分隐私保证。这种放大意味着对匿名贡献数据的系统有更强的隐私保证[BEMMRLRKTS 17],并导致对隐私洗牌模型的极大兴趣[CSUZZ 19; EFMRTT 19]。我们表明,随机洗牌的$n$数据记录输入$\varepsilon_0$ -差分私有本地随机化的结果在一个$(O((1-e^{-\varepsilon_0})\sqrt{\frac{e^{\varepsilon_0}\log(1/δ)}{n}}), δ)$ -差分私有算法。这显着改善了以前的工作,并实现了渐近最佳的依赖$\varepsilon_0$。我们的结果是基于一种新的方法,这是比以前的工作更简单,并扩展到近似差分隐私几乎相同的保证。重要的是,我们的工作还产生了一个算法,用于获得更严格的界限上产生的$\varepsilon$和$δ$以及雷尼差分隐私保证。我们数值表明,我们的算法得到一个小的常数因子的最佳界限。作为我们的分析的直接推论,我们得出一个简单的和接近最佳的算法,在洗牌模型的隐私频率估计。我们还观察到,我们的结果意味着第一个渐进最优的隐私分析的噪声随机梯度下降,适用于采样没有替换。
2021-09-07 cs.CR cs.DS cs.LG
Private Query Release via the Johnson-Lindenstrauss Transform
基于Johnson-Lindenstrauss引理,提出了一种新的基于差分隐私的统计查询答案发布方法.其关键思想是将查询答案随机投影到一个较低维的空间中,使得任意两个可行查询答案向量之间的距离保持到一个加性误差。然后,我们使用一个简单的噪声添加机制来回答投影查询,并将答案提升到原始维度。使用这种方法,我们给,第一次,纯粹的差分私人机制,最佳的最坏情况下的样本复杂性平均错误回答工作量的$k$查询的大小$N$的宇宙。作为其他应用,我们给出了第一个纯私人的有效机制,最佳样本复杂度计算的协方差有界高维分布,并回答2路边际查询。我们还表明,到依赖的错误,我们的机制的一个变种是几乎最佳的每一个给定的查询工作量。
2022-08-15 cs.CR cs.DS cs.LG
Differentially Private Algorithms for Graph Cuts: A Shifting Mechanism Approach and More
本文研究图割的边差分隐私,提出通用移位机制并结合指数机制,为多路割、最小 k-割等给出近似最优或误差最优的私有算法及匹配下界。
2024-12-03 cs.CR cs.DS
Robustness Implies Privacy in Statistical Estimation
本文提出从差分隐私到对抗鲁棒性的黑盒归约,并基于 Sum-of-Squares 高维高斯鲁棒估计器,构造均值与协方差估计的近最优多项式时间私有且鲁棒算法。
2024-06-15 cs.CR cs.DS cs.IT
Jointly Private Convex Programming
在本文中,我们提出了一个非常一般的方法近似解决了一个大家庭的凸规划的解决方案可以分为不同的代理,受联合差分隐私。这门课包括多商品流问题、一般分配问题、多维背包问题等。我们的算法的准确性取决于约束的\emph{number},个人之间的绑定,但至关重要的是,是\emph{nearly independent}的原始变量的数量,因此,代理人谁构成的问题。随着问题中代理数量的增加,我们引入的错误通常可以忽略不计。我们还考虑了代理具有战略性并对解决方案的一部分有偏好的设置。对于任何凸计划在这类最大化\emph{social welfare},有一个通用的减少,使相应的优化\emph{approximately dominant strategy truthful}通过收费代理价格的资源作为一个函数的近似最优的对偶变量,这是自己计算下差分隐私。我们的研究结果大大扩展了一类问题,已知是可解决的隐私和激励约束下。
2014-11-05 cs.DS cs.GT
Query-Efficient Locally Private Hypothesis Selection via the Scheffe Graph
Cheriton School of Computer Science, University of Waterloo and Vector Institute(查尔顿计算机科学学院,滑铁卢大学和向量研究所);University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种在局部差分隐私下实现高效查询的假设选择算法,通过Scheffé图结构改进查询复杂度,减少查询次数并提高效率。
2026-01-15 cs.DS cs.LG stat.ML
User-Level Private Learning via Correlated Sampling
Google(谷歌)
在差分隐私(DP)学习中的大多数工作都集中在每个用户具有单个样本的设置上。在这项工作中,我们考虑每个用户持有$m$样本的设置和隐私保护是在每个用户的数据的水平上执行。我们表明,在这种情况下,我们可以用更少的用户来学习。具体来说,我们表明,只要每个用户收到足够多的样本,我们可以学习任何私人学习类通过$(ε, δ)$ -DP算法只使用$O(\log(1/δ)/ε)$用户。对于$ε$ -DP算法,我们表明,即使在本地模型中,我们也可以仅使用$O_ε(d)$用户进行学习,其中$d$是概率表示维度。在这两种情况下,我们显示了一个几乎匹配的下限所需的用户数。我们的结果的一个重要组成部分是全局稳定性的推广[Bun et al.,FOCS 2020]允许使用公共随机性。在这个宽松的概念下,我们采用了相关的采样策略,以证明全局稳定性可以被提升到任意接近1,在多项式的样本数量的费用。
2021-12-27 cs.CR cs.DS cs.LG
Near-Universally-Optimal Differentially Private Minimum Spanning Trees
本文首次在差分隐私中引入普遍最优性概念,证明简单机制在 $\ell_1$ 邻接关系下近似释放最小生成树具有近似普遍最优性,并通过多项式时间实现指数机制,使其在 $\ell_1$ 和 $\ell_\infty$ 邻接关系下均达到近似普遍最优。
2024-04-23 cs.CR cs.DS
The Limits of Pan Privacy and Shuffle Privacy for Learning and Estimation
Northeastern University(东北大学)
最近出现了一波对差分隐私的中间信任模型的兴趣,该模型消除了对完全可信的中央数据收集器的需要,但克服了本地差分隐私的限制。这种兴趣导致了洗牌模型的引入(Cheu等人,EUROPENTER PT 2019; Erlingsson等人,SODA 2019)和重新审视泛私有模式(Dwork等人,ITCS 2010)。这一系列工作的信息是,对于各种低维问题-例如计数,均值和直方图-这些中间模型提供的功能几乎与中央差分隐私一样多。然而,有相当少的成功使用这些模型的高维学习和估计问题。在这项工作中,我们表明,对于各种高维学习和估计问题,洗牌模型和泛私有模型固有地导致相对于中心模型的样本复杂性的指数价格。例如,我们表明,在$d$位奇偶校验函数的私人不可知学习需要在这些模型中的$Ω(2^{d/2})$样本,并私下选择最常见的属性从一组$d$的选择需要$Ω(d^{1/2})$样本,这两者都是指数分离的中央模型。我们的工作给出了第一个非平凡的下界,这些问题的泛私人模型和一般的多消息洗牌模型。
2020-12-03 cs.CR cs.DS cs.LG
Hadamard Response: Estimating Distributions Privately, Efficiently, and with Little Communication
Cornell University(康奈尔大学)
研究了在$\varepsilon$ -局部差分隐私下$k$ -元分布的估计问题. $n$样本分布在将其样本的私有化版本发送到中央服务器的用户之间。所有先前已知的样本最优算法都需要来自高隐私机制$(\varepsilon=O(1))$中的每个用户的线性(以$k$表示)通信,并且在以$n\cdot k$增长的时间上运行,这对于大域大小$k$是禁止的。我们提出了Hadamard响应(HR),一个本地私有化方案,不需要共享的随机性和对称的用户。我们的方案具有顺序最优的样本复杂度为所有的$\varepsilon$,在最多的$\log k+2$位每个用户的通信,和接近线性的运行时间的$\tilde{O}(n + k)$。我们的编码和解码是基于阿达玛矩阵,并且是简单的实现。统计性能依赖于Hadamard矩阵的编码理论方面,即行之间的大汉明距离。使用快速Walsh-Hadamard变换的算法的有效实现给出了计算增益。我们比较我们的方法与随机响应(RR),RAPPOR,和子集选择机制(SS),无论是理论上,还是实验。对于$k=10000$,我们的算法比SS和RAPPOR快100倍。
2018-06-27 cs.DS cs.IT cs.LG
The 2020 US Decennial Census is more private than you (might) think
University of Pennsylvania(宾夕法尼亚大学);Xiamen University(厦门大学)
本文研究2020年美国人口普查在不同地理层级上实际隐私保护强度,发现其比名义保障更强,通过降低噪声可提升统计准确性。
2026-04-17 cs.CR cs.DS stat.AP
Private Convex Optimization via Exponential Mechanism
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
本文研究了非光滑凸函数$F(x)=\mathbb{E}_i f_i(x)$在$\mathbb{R}^d$上的私人优化问题。我们表明,通过在$F(x)$中添加$\ell_2^2$正则化器并从$π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$中采样来修改指数机制,可以恢复$(ε,δ)$ -DP下的已知最优经验风险和人口损失。此外,我们展示了如何实现这种机制,使用$\widetilde{O}(n \min(d, n))$查询$f_i(x)$的DP-SCO,其中$n$是样本/用户的数量和$d$是环境尺寸。我们还给出了一个(几乎)匹配的下界$\widetildeΩ(n \min(d, n))$的评估查询的数量。我们的结果利用以下工具是独立的兴趣:(1)我们证明了高斯差分隐私(GDP)的指数机制,如果损失函数是强凸的,扰动是Lipschitz。我们的隐私界是\emph{optimal},因为它包括作为特殊情况的高斯机制的隐私,并证明了使用强对数凹测度的等周不等式。(2)我们展示了如何从$\exp(-F(x)-μ\|x\|^2_2/2)$中采样$G$ -Lipschitz $F$,$η$误差在总变差(TV)距离中使用$\widetilde{O}((G^2/μ) \log^2(d/η))$无偏查询$F(x)$。这是第一个其查询复杂度在维度$d$和准确度$η$上都具有…
2022-07-28 cs.CR cs.DS cs.LG