Postprocessing for Iterative Differentially Private Algorithms
用于差分隐私的迭代算法运行固定次数的迭代，其中每次迭代从数据中学习一些信息并产生中间输出。但是，该算法只释放最后一次迭代的输出，并从中判断算法的准确性。在本文中，我们提出了一个后处理算法，旨在提高准确性，通过将知识包含在中间输出的数据。
2016-09-12 cs.CR cs.DS
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Differentially-private Continual Releases against Dynamic Databases
针对动态数据库差分隐私持续发布的研究空白，提出将动态数据库表示为变更日志的方法，论证变更约束必要性，探究两类持续发布模式的隐私特性与预算优化，还扩展至本地差分隐私并提出随机响应持续发布新方法。
2023-05-05 cs.CR
Differentially-Private Clustering of Easy Instances
Google Research（谷歌研究院）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Ben-Gurion University（本-古里安大学）
聚类是数据分析中的一个基本问题。在差异私有集群中，目标是在不公开单个数据点信息的情况下识别$k$集群中心。尽管在研究方面取得了重大进展，但这一问题迄今仍没有切实的解决办法。在这项工作中，我们的目标是提供简单的可实现的差异私有聚类算法，当数据是"容易"，例如，当簇之间存在显著的分离时。我们提出了一个框架，允许我们应用非私有聚类算法的简单的实例和私人结合的结果。在高斯混合和$k$-均值的某些情况下，我们能够得到改进的样本复杂度界。我们补充我们的理论分析与实证评估的合成数据。
2021-12-29 cs.CR cs.DS cs.LG
Differentially Private n-gram Extraction
Microsoft（微软）；Microsoft Research（微软研究院）
我们重新讨论了差分隐私设置中的$n$ -gram提取问题。在这个问题中，给定私有文本数据的语料库，目标是在保留用户级隐私的同时释放尽可能多的$n$ -元。提取$n$ -gram是许多NLP应用程序中的基本子程序，如句子完成，电子邮件响应生成等。该问题也出现在其他应用程序中，如序列挖掘，并且是最近研究的差分私有集并（DPSU）的推广。在本文中，我们开发了一个新的差分隐私算法，在我们的实验中，显着优于国家的最先进的。我们的改进源于结合DPSU，隐私会计的最新进展，以及Chen等人（2012）发起的基于树的方法中的剪枝新算法。
2021-08-05 cs.CR cs.DS cs.LG
Differentially Private Fractional Frequency Moments Estimation with Polylogarithmic Space
我们证明了$\mathbb{F}_p$草图，一个著名的流算法的频率矩估计，是差异私人的，因为当$p\in(0, 1]$。$\mathbb{F}_p$ sketch仅使用多对数空间，比现有DP基线指数级更好，仅比最佳非私有基线差一个对数因子。评估结果表明，$\mathbb{F}_p$草图可以达到合理的准确性与强大的隐私保证。
2021-10-01 cs.CR
Differentially Private Convex Optimization with Piecewise Affine Objectives
差分隐私是最近提出的隐私概念，它提供了强有力的隐私保证，而无需对对手进行任何假设。研究了目标函数为分段仿射的凸优化问题的差分私有解的计算问题。这样的问题是由其中定义目标函数的仿射函数包含敏感用户信息的应用激发的。我们提出了几种隐私保护机制，并提供这些机制的最优性和隐私水平之间的权衡分析。数值实验也被用来评估它们在实践中的性能。
2014-03-24 cs.CR cs.DS math.OC
Continual Release of Differentially Private Synthetic Data from Longitudinal Data Collections
针对纵向数据持续发布的隐私问题，提出持续合成数据生成算法，支持固定时间窗口和累积时间查询，误差率近紧，并在美国普查数据上验证性能。
2024-05-24 cs.CR cs.CY cs.DS
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Pan-Private Uniformity Testing
Google New York（谷歌纽约）；University of Pennsylvania（宾夕法尼亚大学）
集中式差分私有算法将原始数据映射到差分私有输出。相比之下，本地差异私有算法只能通过与数据持有者的公共交互来访问数据，并且这种交互必须是数据的差异私有函数。我们研究了泛隐私的中间模型。与本地私有算法不同，泛私有算法以明文方式接收数据。与集中私有算法不同，该算法每次接收一个元素的数据，并且在处理此流时必须维护差异私有内部状态。首先，我们证明了针对内部状态多重入侵的纯泛隐私等效于顺序交互的本地隐私。接下来，我们上下文泛隐私对一个单一的入侵，通过分析域$[k]$的一致性测试的样本复杂性。集中私有一致性测试具有样本复杂度$k$，而非交互式局部私有一致性测试具有样本复杂度$Θ(k)$ .我们证明了纯泛私有一致性检验的样本复杂度为$Θ(k^{2/3})$。通过一个新的$Ω(k)$下界的顺序交互设置，我们还分开泛私有顺序交互本地私有和多入侵泛私有一致性测试。
2020-07-17 cs.CR cs.DS cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点，我们表明这与现实的隐私攻击相对应。虽然先前的工作（Ma等人，arXiv 2019）提出了差分隐私和数据投毒之间的这种联系，作为对数据投毒的防御，我们将其用作理解特定机制隐私的工具是新的。更一般地说，我们的工作采取了定量的，实证的方法来理解的隐私提供的具体实现的差异隐私算法，我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Benchmarking Differentially Private Synthetic Data Generation Algorithms
这项工作提出了一个系统的基准差分私人合成数据生成算法，可以生成表格数据。通过测量合成数据是否保持个体和成对属性的分布、成对相关性以及ML分类模型的准确性来评估合成数据的效用。在一个全面的实证评估中，我们确定了表现最好的算法和那些始终未能击败基线方法的算法。
2022-02-15 cs.CR
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Permute-and-Flip: A new mechanism for differentially private selection
我们考虑差异私人选择的问题。给定一组有限的候选项和每个项的质量分数，我们的目标是设计一个差异化的私有机制，返回一个尽可能高的分数的项。该任务最常用的机制是指数机制。在这项工作中，我们提出了一个新的机制，这项任务的基础上仔细分析的隐私限制。我们的机制的预期得分总是至少与指数机制一样大，并且可以提供高达两倍的改进。我们的机制是简单的实现和运行在线性时间。
2020-10-23 cs.CR
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Differentially Private $k$-Means Clustering
有两种广泛的方法来分析不同的私人数据。交互式方法的目的是为各种数据采掘任务开发定制的差异隐私算法。非交互式方法的目的是开发差分私有算法，可以输出输入数据集的概要，然后可以用于支持各种数据采掘任务。在本文中，我们研究的权衡互动与非互动的方法，并提出了一种混合的方法，结合互动和非互动，使用$k$均值聚类为例。在差分私有$k$ -均值聚类的混合方法中，首先使用非交互式机制来发布输入数据集的概要，然后应用标准的$k$ -均值聚类算法来学习$k$聚类中心，最后使用交互式方法来进一步改进这些聚类中心。我们分析了非交互式和交互式方法的错误行为，并使用这种分析来决定如何分配非交互式步骤和交互式步骤之间的隐私预算。大量的实验结果支持我们的分析，并证明了我们的方法的有效性。
2015-04-22 cs.CR
Differentially Private Release of Public Transport Data: The Opal Use Case
本文介绍了一种差分私有算法的应用，以发布来自澳大利亚新南威尔士州交通局（TfNSW）的公共交通使用数据。这些数据包括两个单独的星期的“自来水/自来水”数据的个人谁使用任何四种不同的公共交通方式从TfNSW：公共汽车，轻轨，训练和渡轮。这些点击是通过智能票务系统记录的，该系统被称为Opal，可在澳大利亚新南威尔士州使用。
2017-05-16 cs.CR
Colored Noise Mechanism for Differentially Private Clustering
本文的目标是提出和分析一个差异私有随机机制的$K$ -均值查询。我们的目标是确保收到的关于集群质心的信息是不同的私人。该方法包括在添加高斯噪声与最佳协方差。本文的主要结果是作为数据库的函数的最佳协方差的解析解。与现有技术的比较证明了我们的方法的有效性。
2021-11-15 cs.CR eess.SP
Exponential Randomized Response: Boosting Utility in Differentially Private Selection
差分私有选择算法从有限集合中输出近似最大化数据相关质量函数的项。最广泛采用的解决这一任务的机制是开创性的指数机制和置换和翻转，它可以提供指数机制的两倍的效用改进。本文引入了一种新的差异化私人选择机制，并与上述机制进行了理论和实证比较。对于合理常见的情况下，我们的机制可以提供效用的改善因子显着大于2的指数和置换和翻转机制。由于效用在利基场景中可能会恶化，因此我们向能够容忍某些数据集的较低效用的分析师推荐我们的机制。
2022-08-04 cs.CR
Designing Differentially Private Estimators in High Dimensions
Harvard University（哈佛大学）
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后，我们表明，我们的算法显着优于经典的差分隐私方法，克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Model Conversion via Differentially Private Data-Free Distillation
本文提出差分隐私无数据蒸馏（DPDFD）方法，无需训练数据即可通过中间生成器将预训练模型转换为隐私保护模型，理论上保证差分隐私与收敛性，实验证明其显著优于其他差分隐私生成方法。
2023-08-03 cs.CR
TraVaS: Differentially Private Trace Variant Selection for Process Mining
在工业过程挖掘领域，隐私保护事件数据发布变得越来越重要。因此，高数据效用和可量化隐私之间的权衡提出了新的挑战。当前的研究主要集中在基于前缀扩展的差分私有迹变体构造方法上。然而，这些算法面临着几个实际的限制，如高计算复杂性，引入假变量，删除频繁的变量，和有限的变量长度。在本文中，我们介绍了一种直接差异化私有跟踪变体发布的新方法，该方法使用匿名\textit{partition selection}策略来克服上述限制。在真实事件数据上的实验结果表明，该算法在纯数据效用和结果效用保持方面都优于最先进的方法。
2022-10-20 cs.CR
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
A Joint Exponential Mechanism For Differentially Private Top-$k$
我们提出了一种差分私有算法，用于从$d$元素的数据域中释放具有最高计数的$k$元素的序列。该算法是指数机制的“联合”实例，其输出空间由所有$O(d^k)$长度- $k$序列组成。我们的主要贡献是一种方法来采样这种指数机制在时间$O(dk\log(k) + d\log(d))$和空间$O(dk)$。实验表明，该方法优于现有的纯差分隐私方法，甚至改善了近似差分隐私方法的中度$k$。
2022-08-30 cs.CR
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中，我们设计了不同的私人假设检验的一般线性模型中的以下问题：测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本，这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试，其中之一是基于Couch，Kazan，Shi，Bray和Groce（CCS 2019）的差异私有非参数测试，该测试特别适用于小数据集制度。我们发现，差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论，差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验，我们表明，我们的测试达到所需的显着性水平，并有一个高功率，接近功率的非私人测试，因为我们增加样本量或隐私损失参数。我们还表明，当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归，本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
Finite Sample Differentially Private Confidence Intervals
研究了在差分隐私约束下正态总体均值的有限样本置信区间估计问题。我们考虑已知和未知方差的情况下，构造差分隐私算法来估计置信区间。至关重要的是，我们的算法保证有限的样本覆盖率，而不是渐近覆盖率。与大多数以前的差分隐私算法不同，我们不要求样本的域是有界的。我们还证明了任何差异私人置信集的预期大小的下界，表明我们的参数是最佳的多对数因子。
2017-11-10 cs.CR math.ST stat.TH
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Towards Verifiable Differentially-Private Polling
满足差分隐私的分析为个人提供了合理的可否认性，同时允许分析师从数据中提取见解。然而，除了通常可接受的准确性折衷之外，这些统计公开技术通常抑制所提供的信息的可验证性，因为人们不能检查参与者的真实信息的正确性、差分隐私机制或无偏随机数生成。虽然相关的工作已经讨论了这个机会，一个有效的实现与精确的界限上的错误和相应的证明的差分隐私属性是到目前为止失踪。在本文中，我们遵循的方法基于零知识证明~（ZKPs），在特定的简洁的非交互式参数的知识，作为一种可验证的计算技术，以证明一个差异私人查询输出的正确性。特别是，我们确保差分隐私的保证，尽管ZKP的有限域上操作的限制，并具有有限的分支能力。我们证明了我们的方法具有实际的性能，并讨论了从业者如何使用我们的原语，以可验证的方式查询个人的年龄从他们的数字签名的身份证在不同的私人方式。
2022-06-15 cs.CR
A Unifying Framework for Differentially Private Sums under Continual Observation
Institute of Science and Technology, Austria（奥地利科学技术研究所）；Rutgers University（罗格斯大学）；Fujitsu Research of America（富士通美国研究院）
本研究针对持续观测下的差分隐私衰减求和问题，提出统一框架与高效因子分解机制变体算法，给出下三角矩阵范数的紧界，改进了此前相关研究结果并具有多领域应用潜力。
2023-07-18 cs.CR cs.LG
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
DP-SIPS: A simpler, more scalable mechanism for differentially private partition selection
本文提出DP-SIPS，一种简单且可扩展的差分隐私分区选择机制，通过多次迭代朴素算法并逐步增加隐私预算，在保持可扩展性的同时实现与复杂方法相当的效用。
2023-06-22 cs.CR
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用，各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加，越来越多的用户越来越关心他们的个人信息。因此，隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中，我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地，我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次，我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉，并且仍然受益于密码学的进步。为了总结目前的研究现状，并对未来的研究有所帮助，我们提出了这一调查。
2021-05-19 cs.CR
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Optimal Differentially Private Mechanisms for Randomised Response
我们研究了一个广义的随机响应（RR）技术的背景下，差分隐私，并研究这种机制的最优性。严格和宽松的差分隐私被认为是二进制输出。通过检查统计估计的误差，我们在这两种情况下的最佳机制（S）的封闭的解决方案。最优机制也给出了原始RR技术的具体情况下，华纳在1965年推出。
2016-12-16 cs.CR
PrivGraph: Differentially Private Graph Data Publication by Exploiting Community Information
针对图数据发布中的隐私风险，提出利用社区信息的差分隐私图合成算法PrivGraph，通过社区划分与信息提取重建图，在六个真实数据集和七个指标上验证有效性。
2023-10-13 cs.CR
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft（微软公司）
在构建预测模型时，机器学习从业者经常寻求利用信息量最大的可用数据，而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露，并允许在私人生成的数据集上训练差异隐私机器学习模型。但是，我们如何才能有效地评估差异化私有合成数据的有效性？在本文中，我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明，一些合成器更适用于不同的隐私预算，我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外，我们提出了QUAIL，一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡，并注意到在相同的预算约束下，它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
Differentially Private Low-dimensional Synthetic Data from High-dimensional Datasets
University of California Irvine（加州大学欧文分校）；University of California Davis（加州大学戴维斯分校）
针对高维数据下差分隐私合成数据受维数灾难影响准确性的问题，提出一种带Wasserstein距离效用保证的高效低维合成数据生成算法，其核心是无需协方差谱间隙假设、近最优精度的私有PCA流程。
2024-12-11 cs.CR cs.DS cs.LG
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
End-to-End Differentially-Private Parameter Tuning in Spatial Histograms
差分隐私直方图已经成为位置隐私的关键工具。虽然过去的机制包括理论和实验分析，但最近观察到，现有文献中的大部分都没有完全提供差分隐私。缺少的组件，私有参数调优，是严格评估这些机制所必需的。相反，它经常调整训练数据来优化参数，而不考虑隐私;在其他情况下，选择是任意执行的，与数据无关，降低了效用。我们解决这个开放的问题，得出一个原则性的调整机制，私下优化数据相关的误差范围。理论结果建立了隐私和实用性，而广泛的实验表明，我们实际上可以实现真正的端到端隐私。
2017-02-18 cs.CR cs.DB
A Nearly Instance-optimal Differentially Private Mechanism for Conjunctive Queries
在差分隐私（DP）下释放合取查询和图模式查询的结果大小在文献中受到相当大的关注，但现有的解决方案不提供任何最优性保证。我们为这个问题提供了第一个DP机制，它具有相当强的最优性概念，可以被认为是实例最优性到常数的自然放松。
2021-12-27 cs.CR cs.DB
