A note on differentially private clustering with large additive error
Northeastern University（东北大学）
在这篇文章中，我们描述了一种简单的方法来获得一个差分私有算法的k-聚类几乎相同的乘法因子作为任何非私有对应的成本一个大的多项式加性误差。该方法是一个简单的几何观察独立的隐私考虑和任何现有的私人算法与常数近似的组合。
2020-09-28 cs.DS cs.LG
Differentially private partition selection
许多数据分析操作可以表示为对一组无界分区的GROUP BY查询，然后是每个分区的聚合。为了使这样的查询具有差异私有性，向每个聚合添加噪声是不够的：我们还需要确保释放的分区集也是差异私有的。这个问题并不是新的，最近正式引入了差分私有集联合。在这项工作中，我们继续这一领域的研究，并专注于共同的设置，每个用户都与一个单一的分区。在这种情况下，我们提出了一个简单的，最佳的差分私有机制，最大限度地增加释放分区的数量。我们讨论了实现的考虑因素，以及这种方法的可能扩展到每个用户都有助于一个固定的，少量的分区设置。
2021-10-29 cs.CR cs.DS
Differentially Private Medians and Interior Points for Non-Pathological Data
Northeastern University（东北大学）；Boston University（波士顿大学）；Google（谷歌）
本文构建了低样本复杂度的差分隐私估计器，用于估计满足极弱矩条件的任意分布的中位数，反驳了Bun等人关于不存在有限样本复杂度非平凡中位数近似估计器的负面结论。
2023-05-22 cs.DS cs.LG
Multiclass versus Binary Differentially Private PAC Learning
Boston University（波士顿大学）
我们展示了一个通用的减少从多类差分私人PAC学习二进制私人PAC学习。我们将这种转换应用到最近提出的二进制私人PAC学习器，以获得一个私人的多类学习器的样本复杂性，具有多项式依赖于多类Littlestone维数和多对数依赖于类的数量。这产生了一个指数级的改善，在这两个参数的依赖，从以前的工作学习。我们的证明将Ben-David等人[JCSS '95]的工作中定义的$Ψ$ -维的概念扩展到在线设置，并探索其一般性质。
2021-07-22 cs.DS cs.LG
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Efficient, Differentially Private Point Estimators
差分隐私是统计数据库的一个新的隐私概念，它提供了严格的、有意义的机密性保证，即使在攻击者可以访问任意边信息的情况下也是如此。我们证明了，对于一个大类的参数概率模型，可以构造一个差分私人估计，其分布收敛于最大似然估计。特别是，它是有效的和渐近无偏的。这一结果提供了（进一步）令人信服的证据表明，在统计数据库中，严格的隐私概念可以与统计上有效的推断相一致。
2008-09-27 cs.CR cs.DS
A Simple Differentially Private Algorithm for Global Minimum Cut
在这篇文章中，我们提出了一个简单的差分私有算法的全球最小割问题，只使用一个调用的指数机制。这个问题首先由Gupta等人研究。[2010]，他们给出了一个具有接近最优效用保证的差分私有算法。我们在许多方面改进了他们的工作：我们的算法比Gupta et al. [2010]中给出的算法更简单，更自然，更有效，而且提供了更好的隐私和实用性保证。
2022-08-22 cs.CR cs.DS
Differentially Private Clustering via Maximum Coverage
Khoury College（库里学院）；Northeastern University（东北大学）
本文研究了度量空间中的聚类问题，同时保持个人数据的隐私。具体来说，我们研究的差异私人的变种的k-中位数和欧几里德k-均值问题。我们提出了多项式算法与常数乘法误差和较低的附加误差比以前的国家的最先进的每个问题。此外，我们的算法使用聚类算法没有差分隐私作为一个黑盒。这允许从业者通过选择合适的聚类算法来控制运行时间和近似因子之间的权衡。
2020-08-27 cs.DS cs.LG
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Differentially Private Heatmaps
我们考虑的任务是从用户的聚合数据中生成热图，同时保护他们的隐私。我们给出了一个差分私有（DP）算法，并证明了它的优势，在现实世界的数据集上比以前的算法。我们的核心算法原语是一个DP过程，它接受一组分布，并产生一个输出，该输出在地球移动器的距离上接近输入的平均值。我们证明了我们的算法在一定的稀疏性假设下的误差的理论界，这些都是接近最优的。
2022-11-24 cs.CY cs.DS
Differentially Private All-Pairs Shortest Distances for Low Tree-Width Graphs
该研究提出低树宽图上差分隐私全对最短距离的多项式时间算法，将树场景的相关结论推广到更大图族，且在低树宽图下的加性误差优于现有最优算法。
2023-06-09 cs.CR cs.DS
Tight Bounds for Differentially Private Anonymized Histograms
在这篇文章中，我们考虑了差分隐私（DP）计算匿名直方图的问题，匿名直方图被定义为输入数据集（没有桶标签）的计数的多集。在低隐私机制$ε\geq 1$中，我们给出了一个$ε$ -DP算法，其期望$\ell_1$ -误差界为$O(\sqrt{n} / e^ε)$。在高隐私的制度$ε< 1$，我们给了一个$Ω(\sqrt{n \log(1/ε) / ε})$下界的预期$\ell_1$错误。在这两种情况下，我们的边界渐近匹配先前已知的下限/上限[Suresh，NeurIPS 2019]。
2021-11-05 cs.CR cs.DS
Postprocessing for Iterative Differentially Private Algorithms
用于差分隐私的迭代算法运行固定次数的迭代，其中每次迭代从数据中学习一些信息并产生中间输出。但是，该算法只释放最后一次迭代的输出，并从中判断算法的准确性。在本文中，我们提出了一个后处理算法，旨在提高准确性，通过将知识包含在中间输出的数据。
2016-09-12 cs.CR cs.DS
Differentially Private Linear Sketches: Efficient Implementations and Applications
线性草图已被广泛用于处理快速数据流，它们可以用于准确地回答频率估计，近似前K项，并总结数据分布。当数据是敏感的，它是可取的，以保护私人信息，同时提供有用的结果与理论界限的线性草图提供隐私保证。我们表明，线性草图可以确保隐私，并保持其独特的属性，在初始化时添加少量的噪音。从不同的私有线性草图中，我们展示了旋转栅门模型中最先进的分位数草图也可以是私有的并保持高性能。实验进一步表明，我们提出的差异私人草图是定量和定性相似的无噪声草图具有高利用率的合成和真实的数据集。
2022-10-14 cs.DB cs.DS cs.NI
Differentially Private Algorithms for Clustering with Stability Assumptions
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文研究了在输入稳定性假设下的差分私有聚类问题。尽管关于差分隐私的研究越来越多，特别是关于差异隐私聚类的研究，但只有三项研究（Nissim et al. 2007，Wang et al. 2015，Huang et al. 2018）研究了私下聚类“好”k均值实例的问题，这三个都依赖于样本，聚合框架和所有三个测量实用程序在真正的集群中心和返回的中心之间的Wasserstein距离私有算法在这项工作中，我们改进了这一系列的多轴工作。我们提出了一个简单得多的算法聚类稳定的输入（不依赖于样本和聚合框架），并分析其效用的Wasserstein距离和k-means成本。此外，我们的算法有直接的类似物“好”的k-中位数的实例和本地模型的差分隐私。
2021-06-11 cs.DS cs.LG
Differentially Private Aggregation via Imperfect Shuffling
该研究提出非完美混洗差分隐私模型，验证了经典split-and-mix协议经适配后可在该模型下实现近似最优效用，且无需额外误差开销。
2023-08-28 cs.CR cs.DS
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Differentially-Private Clustering of Easy Instances
Google Research（谷歌研究院）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Ben-Gurion University（本-古里安大学）
聚类是数据分析中的一个基本问题。在差异私有集群中，目标是在不公开单个数据点信息的情况下识别$k$集群中心。尽管在研究方面取得了重大进展，但这一问题迄今仍没有切实的解决办法。在这项工作中，我们的目标是提供简单的可实现的差异私有聚类算法，当数据是"容易"，例如，当簇之间存在显著的分离时。我们提出了一个框架，允许我们应用非私有聚类算法的简单的实例和私人结合的结果。在高斯混合和$k$-均值的某些情况下，我们能够得到改进的样本复杂度界。我们补充我们的理论分析与实证评估的合成数据。
2021-12-29 cs.CR cs.DS cs.LG
Differentially Private n-gram Extraction
Microsoft（微软）；Microsoft Research（微软研究院）
我们重新讨论了差分隐私设置中的$n$ -gram提取问题。在这个问题中，给定私有文本数据的语料库，目标是在保留用户级隐私的同时释放尽可能多的$n$ -元。提取$n$ -gram是许多NLP应用程序中的基本子程序，如句子完成，电子邮件响应生成等。该问题也出现在其他应用程序中，如序列挖掘，并且是最近研究的差分私有集并（DPSU）的推广。在本文中，我们开发了一个新的差分隐私算法，在我们的实验中，显着优于国家的最先进的。我们的改进源于结合DPSU，隐私会计的最新进展，以及Chen等人（2012）发起的基于树的方法中的剪枝新算法。
2021-08-05 cs.CR cs.DS cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Differentially Private Convex Optimization with Piecewise Affine Objectives
差分隐私是最近提出的隐私概念，它提供了强有力的隐私保证，而无需对对手进行任何假设。研究了目标函数为分段仿射的凸优化问题的差分私有解的计算问题。这样的问题是由其中定义目标函数的仿射函数包含敏感用户信息的应用激发的。我们提出了几种隐私保护机制，并提供这些机制的最优性和隐私水平之间的权衡分析。数值实验也被用来评估它们在实践中的性能。
2014-03-24 cs.CR cs.DS math.OC
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
Pan-Private Uniformity Testing
Google New York（谷歌纽约）；University of Pennsylvania（宾夕法尼亚大学）
集中式差分私有算法将原始数据映射到差分私有输出。相比之下，本地差异私有算法只能通过与数据持有者的公共交互来访问数据，并且这种交互必须是数据的差异私有函数。我们研究了泛隐私的中间模型。与本地私有算法不同，泛私有算法以明文方式接收数据。与集中私有算法不同，该算法每次接收一个元素的数据，并且在处理此流时必须维护差异私有内部状态。首先，我们证明了针对内部状态多重入侵的纯泛隐私等效于顺序交互的本地隐私。接下来，我们上下文泛隐私对一个单一的入侵，通过分析域$[k]$的一致性测试的样本复杂性。集中私有一致性测试具有样本复杂度$k$，而非交互式局部私有一致性测试具有样本复杂度$Θ(k)$ .我们证明了纯泛私有一致性检验的样本复杂度为$Θ(k^{2/3})$。通过一个新的$Ω(k)$下界的顺序交互设置，我们还分开泛私有顺序交互本地私有和多入侵泛私有一致性测试。
2020-07-17 cs.CR cs.DS cs.LG
Designing Differentially Private Estimators in High Dimensions
Harvard University（哈佛大学）
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后，我们表明，我们的算法显着优于经典的差分隐私方法，克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT（麻省理工学院）；USC（南加州大学）；TAU（特拉维夫大学）
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员，同时保证人口中的个体的差分隐私。我们描述了一种方法，产生样本有效的差异私人测试这些问题。我们的理论研究结果表明，存在私人身份和亲密度测试，几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明，我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
Differentially Private Verification of Distribution Properties
Harvard University（哈佛大学）；Rutgers University（罗格斯大学）
本文研究差分隐私分布属性测试，探讨在不可信证明者帮助下验证分布属性的样本和通信复杂性，提出在不同隐私模型下优化协议的方法，并证明产品分布私有测试的样本复杂性最优。
2026-11-11 cs.CC cs.DS cs.LG
Differentially Private Synthetic Control
Columbia University（哥伦比亚大学）
合成控制是一种因果推理工具，用于通过创建合成的反事实数据来估计干预措施的治疗效果。这种方法结合了来自其他类似观测的测量结果（即，供体库）来预测感兴趣的反事实时间序列（即，目标单位）通过分析干预前目标和供体库之间的关系。随着合成控制工具越来越多地应用于敏感或专有数据，通常需要正式的隐私保护。在这项工作中，我们提供了第一个算法差分私人合成控制显式误差界。我们的方法建立在非私人合成控制和差异私人经验风险最小化的工具。我们提供的合成控制查询的灵敏度上的上限和下限，并提供明确的误差界限，我们的私人合成控制算法的准确性。我们表明，我们的算法产生准确的预测目标单位，隐私的成本很小。最后，我们经验性地评估我们的算法的性能，并显示出良好的性能，在各种参数制度，以及提供指导，从业者的超参数调整。
2023-03-24 cs.DS cs.LG stat.ML
Differentially Private Low-dimensional Synthetic Data from High-dimensional Datasets
University of California Irvine（加州大学欧文分校）；University of California Davis（加州大学戴维斯分校）
针对高维数据下差分隐私合成数据受维数灾难影响准确性的问题，提出一种带Wasserstein距离效用保证的高效低维合成数据生成算法，其核心是无需协方差谱间隙假设、近最优精度的私有PCA流程。
2024-12-11 cs.CR cs.DS cs.LG
Differentially Private Algorithms for Learning Mixtures of Separated Gaussians
University of Waterloo（滑铁卢大学）；Bar Ilan University（巴伊兰大学）；Northeastern University（东北大学）
高斯混合模型的参数学习是一个基本的、广泛研究的问题，具有许多应用。在这项工作中，我们给出了新的算法学习的高维，良好分离，高斯混合模型的参数受到强约束的差分隐私。特别是，我们给出了一个不同的私人模拟Achlioptas和McSherry的算法。我们的算法有两个关键的性质没有达到以前的工作：（1）算法的样本复杂度匹配相应的非私有算法的低阶项在很宽的参数范围。(2)该算法不需要对混合组分的参数有强的先验界。
2019-10-15 cs.CR cs.DS cs.IT
