Exponential Randomized Response: Boosting Utility in Differentially Private Selection
差分私有选择算法从有限集合中输出近似最大化数据相关质量函数的项。最广泛采用的解决这一任务的机制是开创性的指数机制和置换和翻转，它可以提供指数机制的两倍的效用改进。本文引入了一种新的差异化私人选择机制，并与上述机制进行了理论和实证比较。对于合理常见的情况下，我们的机制可以提供效用的改善因子显着大于2的指数和置换和翻转机制。由于效用在利基场景中可能会恶化，因此我们向能够容忍某些数据集的较低效用的分析师推荐我们的机制。
2022-08-04 cs.CR
Model Conversion via Differentially Private Data-Free Distillation
本文提出差分隐私无数据蒸馏（DPDFD）方法，无需训练数据即可通过中间生成器将预训练模型转换为隐私保护模型，理论上保证差分隐私与收敛性，实验证明其显著优于其他差分隐私生成方法。
2023-08-03 cs.CR
TraVaS: Differentially Private Trace Variant Selection for Process Mining
在工业过程挖掘领域，隐私保护事件数据发布变得越来越重要。因此，高数据效用和可量化隐私之间的权衡提出了新的挑战。当前的研究主要集中在基于前缀扩展的差分私有迹变体构造方法上。然而，这些算法面临着几个实际的限制，如高计算复杂性，引入假变量，删除频繁的变量，和有限的变量长度。在本文中，我们介绍了一种直接差异化私有跟踪变体发布的新方法，该方法使用匿名\textit{partition selection}策略来克服上述限制。在真实事件数据上的实验结果表明，该算法在纯数据效用和结果效用保持方面都优于最先进的方法。
2022-10-20 cs.CR
A Joint Exponential Mechanism For Differentially Private Top-$k$
我们提出了一种差分私有算法，用于从$d$元素的数据域中释放具有最高计数的$k$元素的序列。该算法是指数机制的“联合”实例，其输出空间由所有$O(d^k)$长度- $k$序列组成。我们的主要贡献是一种方法来采样这种指数机制在时间$O(dk\log(k) + d\log(d))$和空间$O(dk)$。实验表明，该方法优于现有的纯差分隐私方法，甚至改善了近似差分隐私方法的中度$k$。
2022-08-30 cs.CR
Towards Verifiable Differentially-Private Polling
满足差分隐私的分析为个人提供了合理的可否认性，同时允许分析师从数据中提取见解。然而，除了通常可接受的准确性折衷之外，这些统计公开技术通常抑制所提供的信息的可验证性，因为人们不能检查参与者的真实信息的正确性、差分隐私机制或无偏随机数生成。虽然相关的工作已经讨论了这个机会，一个有效的实现与精确的界限上的错误和相应的证明的差分隐私属性是到目前为止失踪。在本文中，我们遵循的方法基于零知识证明~（ZKPs），在特定的简洁的非交互式参数的知识，作为一种可验证的计算技术，以证明一个差异私人查询输出的正确性。特别是，我们确保差分隐私的保证，尽管ZKP的有限域上操作的限制，并具有有限的分支能力。我们证明了我们的方法具有实际的性能，并讨论了从业者如何使用我们的原语，以可验证的方式查询个人的年龄从他们的数字签名的身份证在不同的私人方式。
2022-06-15 cs.CR
DP-SIPS: A simpler, more scalable mechanism for differentially private partition selection
本文提出DP-SIPS，一种简单且可扩展的差分隐私分区选择机制，通过多次迭代朴素算法并逐步增加隐私预算，在保持可扩展性的同时实现与复杂方法相当的效用。
2023-06-22 cs.CR
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用，各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加，越来越多的用户越来越关心他们的个人信息。因此，隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中，我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地，我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次，我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉，并且仍然受益于密码学的进步。为了总结目前的研究现状，并对未来的研究有所帮助，我们提出了这一调查。
2021-05-19 cs.CR
Optimal Differentially Private Mechanisms for Randomised Response
我们研究了一个广义的随机响应（RR）技术的背景下，差分隐私，并研究这种机制的最优性。严格和宽松的差分隐私被认为是二进制输出。通过检查统计估计的误差，我们在这两种情况下的最佳机制（S）的封闭的解决方案。最优机制也给出了原始RR技术的具体情况下，华纳在1965年推出。
2016-12-16 cs.CR
PrivGraph: Differentially Private Graph Data Publication by Exploiting Community Information
针对图数据发布中的隐私风险，提出利用社区信息的差分隐私图合成算法PrivGraph，通过社区划分与信息提取重建图，在六个真实数据集和七个指标上验证有效性。
2023-10-13 cs.CR
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点，我们表明这与现实的隐私攻击相对应。虽然先前的工作（Ma等人，arXiv 2019）提出了差分隐私和数据投毒之间的这种联系，作为对数据投毒的防御，我们将其用作理解特定机制隐私的工具是新的。更一般地说，我们的工作采取了定量的，实证的方法来理解的隐私提供的具体实现的差异隐私算法，我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Colored Noise Mechanism for Differentially Private Clustering
本文的目标是提出和分析一个差异私有随机机制的$K$ -均值查询。我们的目标是确保收到的关于集群质心的信息是不同的私人。该方法包括在添加高斯噪声与最佳协方差。本文的主要结果是作为数据库的函数的最佳协方差的解析解。与现有技术的比较证明了我们的方法的有效性。
2021-11-15 cs.CR eess.SP
Differentially private partition selection
许多数据分析操作可以表示为对一组无界分区的GROUP BY查询，然后是每个分区的聚合。为了使这样的查询具有差异私有性，向每个聚合添加噪声是不够的：我们还需要确保释放的分区集也是差异私有的。这个问题并不是新的，最近正式引入了差分私有集联合。在这项工作中，我们继续这一领域的研究，并专注于共同的设置，每个用户都与一个单一的分区。在这种情况下，我们提出了一个简单的，最佳的差分私有机制，最大限度地增加释放分区的数量。我们讨论了实现的考虑因素，以及这种方法的可能扩展到每个用户都有助于一个固定的，少量的分区设置。
2021-10-29 cs.CR cs.DS
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归，本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中，我们设计了不同的私人假设检验的一般线性模型中的以下问题：测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本，这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试，其中之一是基于Couch，Kazan，Shi，Bray和Groce（CCS 2019）的差异私有非参数测试，该测试特别适用于小数据集制度。我们发现，差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论，差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验，我们表明，我们的测试达到所需的显着性水平，并有一个高功率，接近功率的非私人测试，因为我们增加样本量或隐私损失参数。我们还表明，当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
Efficient, Differentially Private Point Estimators
差分隐私是统计数据库的一个新的隐私概念，它提供了严格的、有意义的机密性保证，即使在攻击者可以访问任意边信息的情况下也是如此。我们证明了，对于一个大类的参数概率模型，可以构造一个差分私人估计，其分布收敛于最大似然估计。特别是，它是有效的和渐近无偏的。这一结果提供了（进一步）令人信服的证据表明，在统计数据库中，严格的隐私概念可以与统计上有效的推断相一致。
2008-09-27 cs.CR cs.DS
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Finite Sample Differentially Private Confidence Intervals
研究了在差分隐私约束下正态总体均值的有限样本置信区间估计问题。我们考虑已知和未知方差的情况下，构造差分隐私算法来估计置信区间。至关重要的是，我们的算法保证有限的样本覆盖率，而不是渐近覆盖率。与大多数以前的差分隐私算法不同，我们不要求样本的域是有界的。我们还证明了任何差异私人置信集的预期大小的下界，表明我们的参数是最佳的多对数因子。
2017-11-10 cs.CR math.ST stat.TH
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
A Simple Differentially Private Algorithm for Global Minimum Cut
在这篇文章中，我们提出了一个简单的差分私有算法的全球最小割问题，只使用一个调用的指数机制。这个问题首先由Gupta等人研究。[2010]，他们给出了一个具有接近最优效用保证的差分私有算法。我们在许多方面改进了他们的工作：我们的算法比Gupta et al. [2010]中给出的算法更简单，更自然，更有效，而且提供了更好的隐私和实用性保证。
2022-08-22 cs.CR cs.DS
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
End-to-End Differentially-Private Parameter Tuning in Spatial Histograms
差分隐私直方图已经成为位置隐私的关键工具。虽然过去的机制包括理论和实验分析，但最近观察到，现有文献中的大部分都没有完全提供差分隐私。缺少的组件，私有参数调优，是严格评估这些机制所必需的。相反，它经常调整训练数据来优化参数，而不考虑隐私;在其他情况下，选择是任意执行的，与数据无关，降低了效用。我们解决这个开放的问题，得出一个原则性的调整机制，私下优化数据相关的误差范围。理论结果建立了隐私和实用性，而广泛的实验表明，我们实际上可以实现真正的端到端隐私。
2017-02-18 cs.CR cs.DB
A Nearly Instance-optimal Differentially Private Mechanism for Conjunctive Queries
在差分隐私（DP）下释放合取查询和图模式查询的结果大小在文献中受到相当大的关注，但现有的解决方案不提供任何最优性保证。我们为这个问题提供了第一个DP机制，它具有相当强的最优性概念，可以被认为是实例最优性到常数的自然放松。
2021-12-27 cs.CR cs.DB
Differentially Private SQL with Bounded User Contribution
差分隐私（DP）提供了形式上的保证，即数据库查询的输出不会透露太多关于数据库中存在的任何个人的信息。虽然在科学文献中已经提出了许多差异隐私算法，但只有少数端到端实现差异隐私查询引擎。至关重要的是，现有系统假设每个人最多与一个数据库记录相关联，这在实践中是不现实的。我们提出了一个通用的和可扩展的方法来执行差异私有聚合数据库，即使个人可以与任意多行。我们将此方法表示为关系代数中的运算符，并在SQL引擎中实现。为了验证该系统，我们测试了行业基准上的典型查询的效用，并验证了我们开发的随机测试框架的正确性。我们强调了在实践中部署这样一个系统时所学到的承诺和陷阱，并将其核心组件作为开源软件发布。
2019-11-25 cs.CR cs.DB
Differentially Private Tree-Based Redescription Mining
差分隐私提供了一种强大的隐私形式，并允许保留数据集的大部分原始特征。利用这些好处需要设计特定的差异隐私数据分析算法。在这项工作中，我们提出了三个基于树的算法挖掘重描述，同时保持差分隐私。重描述挖掘是一种探索性的数据分析方法，用于发现相同实体上的两个视图之间的联系，例如医学患者的表型和基因型。它在许多领域都有应用，包括一些领域，如医疗保健信息学，其中需要保护隐私的数据访问。我们的算法是第一个差分隐私重描述挖掘算法，我们通过实验表明，尽管固有的噪音在差分隐私，它可以返回值得信赖的结果，即使在较小的数据集，噪音通常有更强的影响。
2023-02-28 cs.CR cs.DB
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University（于默奥大学）；University of Tasmania（塔斯马尼亚大学）
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示（即，词嵌入）。在此基础上，提出了一种基于用户生成内容（UGC）的个性化差异隐私词嵌入模型。据我们所知，这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别，特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明，训练的嵌入模型适用于经典的文本分析任务（例如，回归）。此外，所提出的学习差分私有嵌入模型的方法是框架和数据独立的，这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Differentially Private All-Pairs Shortest Distances for Low Tree-Width Graphs
该研究提出低树宽图上差分隐私全对最短距离的多项式时间算法，将树场景的相关结论推广到更大图族，且在低树宽图下的加性误差优于现有最优算法。
2023-06-09 cs.CR cs.DS
Tight Bounds for Differentially Private Anonymized Histograms
在这篇文章中，我们考虑了差分隐私（DP）计算匿名直方图的问题，匿名直方图被定义为输入数据集（没有桶标签）的计数的多集。在低隐私机制$ε\geq 1$中，我们给出了一个$ε$ -DP算法，其期望$\ell_1$ -误差界为$O(\sqrt{n} / e^ε)$。在高隐私的制度$ε< 1$，我们给了一个$Ω(\sqrt{n \log(1/ε) / ε})$下界的预期$\ell_1$错误。在这两种情况下，我们的边界渐近匹配先前已知的下限/上限[Suresh，NeurIPS 2019]。
2021-11-05 cs.CR cs.DS
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Nonparametric Hypothesis Testing
假设检验是数据挖掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们研究分类变量和连续变量之间独立性的差异私人测试。我们以传统的非参数检验为起点，它不需要分布假设（例如，正态性（normality）。我们提出了私人类似物的Kruskal-Wallis，Mann-Whitney和Wilcoxon符号秩检验，以及参数单样本t检验。这些测试使用专门为私人设置开发的新颖的检验统计量。我们将我们的测试与先前的工作进行比较，包括参数和非参数测试。我们发现，在所有情况下，我们的新的非参数检验实现了大的改进，在统计功效，即使当参数检验的假设得到满足。
2019-03-22 cs.CR stat.ME
Differentially Private Confidence Intervals
正态分布数据的总体均值的置信区间是人们可能希望从数据库中获得的一些最标准的统计输出。在这项工作中，我们给这个任务的实际差分隐私算法。我们提供了五种算法，然后将它们相互比较，并与以前的工作进行比较。我们给具体的，实验分析其准确性，并发现我们的算法提供了更准确的置信区间比以前的工作。例如，在一个设置中（ε = 0.1，n = 2782），我们的算法产生的区间仅为先前工作标准集大小的1/15。
2020-01-07 cs.CR stat.ME
Differentially Private Streaming Data Release under Temporal Correlations via Post-processing
本文提出一种后处理框架，通过将差分隐私数据发布建模为最大后验估计并转化为非线性约束规划，显著提升了时间相关性下差分隐私流数据的效用和准确性。
2023-06-26 cs.CR cs.DB
Differentially Private Model Compression
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Microsoft（微软）
最近的论文表明，大型预训练语言模型（LLM），如BERT，GPT-2，可以在私有数据上进行微调，以实现与许多下游自然语言处理（NLP）任务的非私有模型相当的性能，同时保证差分隐私。然而，这些模型的推理成本（由数亿个参数组成）可能非常大。因此，在实践中，LLM通常在部署到特定应用程序之前进行压缩。在本文中，我们开始研究差分私有模型压缩，并提出了实现50%的稀疏水平，同时保持几乎全部性能的框架。我们使用BERT模型在标准的GLUE基准测试上证明了这些想法，为今后关于这一主题的研究设定了基准。
2022-06-03 cs.CR cs.LG
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
The Challenge of Differentially Private Screening Rules
Booz Allen Hamilton（博思艾伦咨询公司）
线性$L_1$ -正则化模型仍然是数据分析中最简单和最有效的工具之一，特别是在信息检索问题中，具有TF-IDF或Okapi特征值的文本上的n-gram是一个强大而简单的基线。在过去的十年中，筛选规则作为一种减少生成$L_1$模型的稀疏回归权重的运行时间的方法越来越受欢迎。然而，尽管在信息检索中越来越需要隐私保护模型，但据我们所知，不存在差异化的隐私筛选规则。在本文中，我们开发了线性和逻辑回归的第一个差分私有筛选规则。在这样做的过程中，我们发现，由于为确保隐私而添加的噪音量，在制定有用的私人筛选规则的任务中存在困难。我们提供的理论论据和实验证据表明，这种困难来自筛选步骤本身，而不是私人优化器。基于我们的研究结果，我们强调，发展一个有效的私人$L_1$筛选方法是一个开放的问题，在差分隐私文献。
2023-03-18 cs.CR cs.LG
Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints
在发布和共享数据和信息时，保护个人隐私是一个共同关注的问题。差分隐私（DP）形式化隐私的概率条款，而不做假设的背景知识的数据入侵者，从而提供了一个强大的隐私保护的概念。DP的实际应用涉及开发差异隐私机制，以在预先指定的隐私预算中生成经过消毒的结果。对于具有诸如比例和相关系数之类的公共已知边界的统计数据的净化，边界约束将需要被并入差分私有机制中。有很少的工作检查的后果的边界约束的准确性的消毒结果和统计推断的人口参数的基础上消毒的结果。在本文中，我们形式化的差分私人截断和边界膨胀截断（BIT）的程序发布统计与公开已知的边界约束。截断和BIT拉普拉斯程序的统计精度和有效性的消毒统计的影响进行了评估，通过模拟研究的理论和经验。
2019-05-26 cs.CR stat.ME
Postprocessing for Iterative Differentially Private Algorithms
用于差分隐私的迭代算法运行固定次数的迭代，其中每次迭代从数据中学习一些信息并产生中间输出。但是，该算法只释放最后一次迭代的输出，并从中判断算法的准确性。在本文中，我们提出了一个后处理算法，旨在提高准确性，通过将知识包含在中间输出的数据。
2016-09-12 cs.CR cs.DS
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft（微软公司）
在构建预测模型时，机器学习从业者经常寻求利用信息量最大的可用数据，而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露，并允许在私人生成的数据集上训练差异隐私机器学习模型。但是，我们如何才能有效地评估差异化私有合成数据的有效性？在本文中，我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明，一些合成器更适用于不同的隐私预算，我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外，我们提出了QUAIL，一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡，并注意到在相同的预算约束下，它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对差分隐私线性学习器，通过更紧致的隐私分析和新的计算工具改进了目标扰动机制，使其在无约束凸广义线性问题上的性能与DP-SGD相当，同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
Differentially Private Quantiles
Google New York（谷歌纽约）
分位数通常用于总结和理解数据。如果该数据是敏感的，则可能需要以差异私有的方式计算分位数，从而提供理论上的保证，即结果不会泄露私有信息。然而，当需要多个分位数时，现有的差分隐私算法表现不佳：它们要么单独计算分位数，分割隐私预算，要么汇总整个分布，浪费精力。在任何一种情况下，结果都是精度降低。在这项工作中，我们提出了一个实例的指数机制，同时估计准确的$m$分位数从$n$数据点，同时保证差分隐私。该效用函数经过精心构造，以允许高效实现返回时间上所有$m$分位数的估计值$O(mn\log(n) + m^2n)$。实验表明，我们的方法显着优于目前的最先进的真实和合成数据，同时保持足够的效率是实用的。
2021-09-20 cs.CR cs.LG
