Differentially Private $k$-Means Clustering
有两种广泛的方法来分析不同的私人数据。交互式方法的目的是为各种数据采掘任务开发定制的差异隐私算法。非交互式方法的目的是开发差分私有算法，可以输出输入数据集的概要，然后可以用于支持各种数据采掘任务。在本文中，我们研究的权衡互动与非互动的方法，并提出了一种混合的方法，结合互动和非互动，使用$k$均值聚类为例。在差分私有$k$ -均值聚类的混合方法中，首先使用非交互式机制来发布输入数据集的概要，然后应用标准的$k$ -均值聚类算法来学习$k$聚类中心，最后使用交互式方法来进一步改进这些聚类中心。我们分析了非交互式和交互式方法的错误行为，并使用这种分析来决定如何分配非交互式步骤和交互式步骤之间的隐私预算。大量的实验结果支持我们的分析，并证明了我们的方法的有效性。
2015-04-22 cs.CR
Differentially Private Release of Public Transport Data: The Opal Use Case
本文介绍了一种差分私有算法的应用，以发布来自澳大利亚新南威尔士州交通局（TfNSW）的公共交通使用数据。这些数据包括两个单独的星期的“自来水/自来水”数据的个人谁使用任何四种不同的公共交通方式从TfNSW：公共汽车，轻轨，训练和渡轮。这些点击是通过智能票务系统记录的，该系统被称为Opal，可在澳大利亚新南威尔士州使用。
2017-05-16 cs.CR
Exponential Randomized Response: Boosting Utility in Differentially Private Selection
差分私有选择算法从有限集合中输出近似最大化数据相关质量函数的项。最广泛采用的解决这一任务的机制是开创性的指数机制和置换和翻转，它可以提供指数机制的两倍的效用改进。本文引入了一种新的差异化私人选择机制，并与上述机制进行了理论和实证比较。对于合理常见的情况下，我们的机制可以提供效用的改善因子显着大于2的指数和置换和翻转机制。由于效用在利基场景中可能会恶化，因此我们向能够容忍某些数据集的较低效用的分析师推荐我们的机制。
2022-08-04 cs.CR
Model Conversion via Differentially Private Data-Free Distillation
本文提出差分隐私无数据蒸馏（DPDFD）方法，无需训练数据即可通过中间生成器将预训练模型转换为隐私保护模型，理论上保证差分隐私与收敛性，实验证明其显著优于其他差分隐私生成方法。
2023-08-03 cs.CR
TraVaS: Differentially Private Trace Variant Selection for Process Mining
在工业过程挖掘领域，隐私保护事件数据发布变得越来越重要。因此，高数据效用和可量化隐私之间的权衡提出了新的挑战。当前的研究主要集中在基于前缀扩展的差分私有迹变体构造方法上。然而，这些算法面临着几个实际的限制，如高计算复杂性，引入假变量，删除频繁的变量，和有限的变量长度。在本文中，我们介绍了一种直接差异化私有跟踪变体发布的新方法，该方法使用匿名\textit{partition selection}策略来克服上述限制。在真实事件数据上的实验结果表明，该算法在纯数据效用和结果效用保持方面都优于最先进的方法。
2022-10-20 cs.CR
Connecting Robust Shuffle Privacy and Pan-Privacy
Harvard University（哈佛大学）；Northeastern University（东北大学）；Google New York（谷歌纽约）；University of Pennsylvania（宾夕法尼亚大学）
在差分隐私的\emph{shuffle model}中，数据持有用户向安全混洗器发送随机化消息，混洗器对消息进行置换，并且所得到的消息集合必须相对于用户数据是差异隐私的。在\emph{pan-private}模型中，算法处理数据流，同时保持相对于流数据有区别地私有的内部状态。我们提供证据连接这两个明显不同的模型。我们的结果集中在\emph{robustly}洗牌私有协议，其隐私保证不会受到恶意用户的影响很大。首先，我们给出了鲁棒洗牌私有协议和上界计数不同的元素和一致性测试。其次，我们使用泛私有下界来证明这两个问题的鲁棒洗牌私有下界。研究发现，鲁棒的近似混洗隐私和近似泛隐私算法对不同元素的计数存在加性误差$Θ(\sqrt{k})$.对于均匀性测试，我们给出了一个鲁棒的近似洗牌私有协议的样本复杂性$\tilde O(k^{2/3})$，并表明，一个$Ω(k^{2/3})$依赖是必要的任何强大的纯洗牌私有测试。最后，我们表明，这种连接是有用的，在两个方向：我们给出了一个泛私人适应最近的工作洗牌私人直方图，并用它来恢复泛隐私和交互式本地隐私之间的进一步分离。
2020-08-12 cs.CR cs.LG
A Joint Exponential Mechanism For Differentially Private Top-$k$
我们提出了一种差分私有算法，用于从$d$元素的数据域中释放具有最高计数的$k$元素的序列。该算法是指数机制的“联合”实例，其输出空间由所有$O(d^k)$长度- $k$序列组成。我们的主要贡献是一种方法来采样这种指数机制在时间$O(dk\log(k) + d\log(d))$和空间$O(dk)$。实验表明，该方法优于现有的纯差分隐私方法，甚至改善了近似差分隐私方法的中度$k$。
2022-08-30 cs.CR
Differentially Private Histograms in the Shuffle Model from Fake Users
最近有很多工作在差分隐私的洗牌模型，特别是近似$d$ -bin直方图。虽然这些协议实现了低错误，但每个用户发送的消息数量（消息复杂度）到目前为止已随$d$或隐私参数而缩放。消息复杂度是混洗协议的资源消耗的信息预测器。我们提出了一个协议，其消息的复杂性是2时，有足够多的用户。该协议基本上将数据集中的每一行与一个假行配对，并对所有行执行简单的随机化。我们表明，该协议引入的错误是小的，使用严格的分析，以及对真实世界的数据进行实验。我们还证明，腐败的用户有一个相对较低的影响，我们的协议的估计。
2021-08-05 cs.CR cs.DS
Towards Verifiable Differentially-Private Polling
满足差分隐私的分析为个人提供了合理的可否认性，同时允许分析师从数据中提取见解。然而，除了通常可接受的准确性折衷之外，这些统计公开技术通常抑制所提供的信息的可验证性，因为人们不能检查参与者的真实信息的正确性、差分隐私机制或无偏随机数生成。虽然相关的工作已经讨论了这个机会，一个有效的实现与精确的界限上的错误和相应的证明的差分隐私属性是到目前为止失踪。在本文中，我们遵循的方法基于零知识证明~（ZKPs），在特定的简洁的非交互式参数的知识，作为一种可验证的计算技术，以证明一个差异私人查询输出的正确性。特别是，我们确保差分隐私的保证，尽管ZKP的有限域上操作的限制，并具有有限的分支能力。我们证明了我们的方法具有实际的性能，并讨论了从业者如何使用我们的原语，以可验证的方式查询个人的年龄从他们的数字签名的身份证在不同的私人方式。
2022-06-15 cs.CR
DP-SIPS: A simpler, more scalable mechanism for differentially private partition selection
本文提出DP-SIPS，一种简单且可扩展的差分隐私分区选择机制，通过多次迭代朴素算法并逐步增加隐私预算，在保持可扩展性的同时实现与复杂方法相当的效用。
2023-06-22 cs.CR
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用，各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加，越来越多的用户越来越关心他们的个人信息。因此，隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中，我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地，我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次，我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉，并且仍然受益于密码学的进步。为了总结目前的研究现状，并对未来的研究有所帮助，我们提出了这一调查。
2021-05-19 cs.CR
Optimal Differentially Private Mechanisms for Randomised Response
我们研究了一个广义的随机响应（RR）技术的背景下，差分隐私，并研究这种机制的最优性。严格和宽松的差分隐私被认为是二进制输出。通过检查统计估计的误差，我们在这两种情况下的最佳机制（S）的封闭的解决方案。最优机制也给出了原始RR技术的具体情况下，华纳在1965年推出。
2016-12-16 cs.CR
PrivGraph: Differentially Private Graph Data Publication by Exploiting Community Information
针对图数据发布中的隐私风险，提出利用社区信息的差分隐私图合成算法PrivGraph，通过社区划分与信息提取重建图，在六个真实数据集和七个指标上验证有效性。
2023-10-13 cs.CR
Segmented Private Data Aggregation in the Multi-message Shuffle Model
本文首次在多消息混洗差分隐私模型中研究分段私有数据聚合，通过为用户提供灵活隐私保护并匿名化隐私级别选择，优化毯式消息配置和隐私放大分析，使估计误差降低约50%。
2024-12-29 cs.CR
Differentially Private Block-wise Gradient Shuffle for Deep Learning
本文提出DP-BloGS算法，通过概率性梯度洗牌、分块裁剪与累积，实现接近非私有训练的速度，同时保持DP-SGD的隐私效用，并显著增强抗数据提取能力。
2025-01-20 cs.AI cs.CR cs.LG
Differentially Private Triangle and 4-Cycle Counting in the Shuffle Model
子图计数是分析图数据中的连接模式或聚类趋势的基础。最近的研究已经将LDP（局部差分隐私）应用于子图计数，以保护用户隐私，即使是针对社交网络中的数据收集器。然而，现有的本地算法遭受极大的估计误差或假设用户和数据收集器之间的多轮交互，这需要大量的用户努力和同步。在本文中，我们专注于一轮的互动，并提出准确的子图计数算法，通过引入最近研究的洗牌模型。首先，我们提出了一个基本的技术，称为楔形洗牌发送楔形信息，几个子图的主要组成部分，小噪音。然后，我们应用我们的楔形洗牌计数三角形和4-循环-分析聚类趋势的基本子图-与几个额外的技术。我们还显示了每个算法的估计误差的上限。我们通过全面的实验表明，我们的一轮洗牌算法在准确性方面显着优于一轮本地算法，并在合理的隐私预算下实现小的估计误差，例如，小于1 in edge DP。
2022-08-26 cs.CR cs.DB
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点，我们表明这与现实的隐私攻击相对应。虽然先前的工作（Ma等人，arXiv 2019）提出了差分隐私和数据投毒之间的这种联系，作为对数据投毒的防御，我们将其用作理解特定机制隐私的工具是新的。更一般地说，我们的工作采取了定量的，实证的方法来理解的隐私提供的具体实现的差异隐私算法，我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology（北京理工大学）
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题，提出结合本地差分隐私与混洗技术的隐私放大算法，在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Multi-Message Shuffled Privacy in Federated Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究通信约束下的差分私有分布式优化。使用SGD进行优化的服务器聚合客户端局部梯度，以使用分布式均值估计（DME）进行模型更新。我们开发了一个通信效率的私人DME，使用最近开发的多消息混洗（MMS）的隐私框架。我们分析了我们提出的DME方案，以表明它实现了顺序最优的隐私-通信-性能权衡，解决了[1]中的一个公开问题，即洗牌模型是否可以改善安全聚合中获得的权衡。这也解决了MMS模型中私有向量和的最佳权衡问题。我们通过一种新的隐私机制来实现它，该机制在不同分辨率的局部梯度向量上非均匀地分配隐私。这些结果被直接应用到私人分布式学习算法使用此私人梯度聚集迭代的保证。我们还数值评估私人DME算法。
2023-02-22 cs.CR cs.LG
On the Round Complexity of the Shuffle Model
Ben-Gurion University（本-古里安大学）；Tel-Aviv University（特拉维夫大学）；Georgetown University（乔治敦大学）；Google Research（谷歌研究院）
提出了差分隐私的混洗模型，作为一种可行的分布式差异隐私计算模型。非正式地说，该模型由一个不受信任的分析器组成，该分析器通过shuffle功能接收参与方发送的消息，后者可能会将消息与他们的消息分离。以前的工作集中在一轮差分隐私洗牌模型协议，证明了功能，如添加和直方图可以在这个模型中执行的准确性水平类似于馆长模型的差分隐私，其中计算是由一个完全信任的一方。针对洗牌模型的轮复杂度，我们提出了在两轮差分隐私洗牌模型中可以计算什么。Ishai等人[FOCS 2006]展示了如何使用一轮洗牌在每两方之间建立密钥。使用该原语模拟一般的安全多方协议，使其轮复杂度增加1。我们展示了双方如何可以使用一轮的洗牌发送秘密消息，而不必首先建立一个秘密密钥，从而保留轮的复杂性。将此原语与Applebaun等人的两轮半诚实协议相结合。[TCC 2018]，我们得到每个随机功能都可以在洗牌模型中计算，其中诚实的大多数仅需两轮。这包括任何差异私有计算。然后，我们开始研究洗牌模型中的差分私有计算，（i）不需要假设诚实的多数，或者（ii）不承认单轮协议，即使是诚实的多数。为此，我们引入了两个计算任务：公共元素问题和嵌套公共元素问题，我们展示了一轮和两轮协议之间的分离。
2020-09-28 cs.CR cs.DS cs.LG
Colored Noise Mechanism for Differentially Private Clustering
本文的目标是提出和分析一个差异私有随机机制的$K$ -均值查询。我们的目标是确保收到的关于集群质心的信息是不同的私人。该方法包括在添加高斯噪声与最佳协方差。本文的主要结果是作为数据库的函数的最佳协方差的解析解。与现有技术的比较证明了我们的方法的有效性。
2021-11-15 cs.CR eess.SP
Differentially private partition selection
许多数据分析操作可以表示为对一组无界分区的GROUP BY查询，然后是每个分区的聚合。为了使这样的查询具有差异私有性，向每个聚合添加噪声是不够的：我们还需要确保释放的分区集也是差异私有的。这个问题并不是新的，最近正式引入了差分私有集联合。在这项工作中，我们继续这一领域的研究，并专注于共同的设置，每个用户都与一个单一的分区。在这种情况下，我们提出了一个简单的，最佳的差分私有机制，最大限度地增加释放分区的数量。我们讨论了实现的考虑因素，以及这种方法的可能扩展到每个用户都有助于一个固定的，少量的分区设置。
2021-10-29 cs.CR cs.DS
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归，本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Efficient, Differentially Private Point Estimators
差分隐私是统计数据库的一个新的隐私概念，它提供了严格的、有意义的机密性保证，即使在攻击者可以访问任意边信息的情况下也是如此。我们证明了，对于一个大类的参数概率模型，可以构造一个差分私人估计，其分布收敛于最大似然估计。特别是，它是有效的和渐近无偏的。这一结果提供了（进一步）令人信服的证据表明，在统计数据库中，严格的隐私概念可以与统计上有效的推断相一致。
2008-09-27 cs.CR cs.DS
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中，我们设计了不同的私人假设检验的一般线性模型中的以下问题：测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本，这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试，其中之一是基于Couch，Kazan，Shi，Bray和Groce（CCS 2019）的差异私有非参数测试，该测试特别适用于小数据集制度。我们发现，差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论，差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验，我们表明，我们的测试达到所需的显着性水平，并有一个高功率，接近功率的非私人测试，因为我们增加样本量或隐私损失参数。我们还表明，当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Finite Sample Differentially Private Confidence Intervals
研究了在差分隐私约束下正态总体均值的有限样本置信区间估计问题。我们考虑已知和未知方差的情况下，构造差分隐私算法来估计置信区间。至关重要的是，我们的算法保证有限的样本覆盖率，而不是渐近覆盖率。与大多数以前的差分隐私算法不同，我们不要求样本的域是有界的。我们还证明了任何差异私人置信集的预期大小的下界，表明我们的参数是最佳的多对数因子。
2017-11-10 cs.CR math.ST stat.TH
FLAME: Differentially Private Federated Learning in the Shuffle Model
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
联邦学习（FL）是一种很有前途的机器学习范例，它使分析器能够在不收集用户原始数据的情况下训练模型。为了保证用户的隐私，差分隐私联邦学习得到了广泛的研究。现有的工作主要是基于差分隐私的\textit{curator model}或\textit{local model}。然而，这两种方法都有优点和缺点。策展人模型允许更高的准确性，但需要一个值得信赖的分析器。在本地模型中，用户在将本地数据发送到分析器之前将其随机化，不需要可信的分析器，但精度有限。在这项工作中，通过利用最近提出的差分隐私洗牌模型中的\textit{privacy amplification}效应，我们实现了两个世界中的最佳，即，馆长模型的准确性和强大的隐私性，而不依赖于任何可信方。首先，我们提出了一个FL框架中的洗牌模型和一个简单的协议（SS简单）从现有的工作扩展。我们发现，SS-Simple只提供了一个不足的隐私放大效果在FL，因为模型参数的尺寸是相当大的。为了解决这一挑战，我们提出了一种增强协议（SS-Double），通过子采样来增加隐私放大效应。此外，当模型大小大于用户群体时，为了提高效用，我们提出了一种具有梯度稀疏化技术的高级协议（SS-Topk）。我们还提供了理论分析和数值评估的隐私放大所提出的协议。在真实数据集上的实验表明，SS-Topk比基于局部模型的FL提高了60.7%的测试精度。
2021-03-20 cs.CR cs.LG stat.ML
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
A Simple Differentially Private Algorithm for Global Minimum Cut
在这篇文章中，我们提出了一个简单的差分私有算法的全球最小割问题，只使用一个调用的指数机制。这个问题首先由Gupta等人研究。[2010]，他们给出了一个具有接近最优效用保证的差分私有算法。我们在许多方面改进了他们的工作：我们的算法比Gupta et al. [2010]中给出的算法更简单，更自然，更有效，而且提供了更好的隐私和实用性保证。
2022-08-22 cs.CR cs.DS
Shuffle Private Stochastic Convex Optimization
Georgetown University（乔治城大学）；Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
在混洗隐私中，每个用户将随机化消息的集合发送到可信混洗器，混洗器随机地排列这些消息，并且所得到的混洗消息集合必须满足差分隐私。在此模型之前的工作主要集中在使用单轮通信来计算算法原语（如均值、直方图和计数）的协议上。我们提出了随机凸优化的交互式洗牌协议。我们的协议依赖于一个新的非交互式协议，用于求和有界$\ell_2$范数的向量。通过结合小批量随机梯度下降，加速梯度下降，和Nesterov的平滑方法，我们得到了各种凸损失函数，显着提高当地的模型，有时匹配的中央模型的损失保证。
2022-03-14 cs.CR cs.DS cs.LG
End-to-End Differentially-Private Parameter Tuning in Spatial Histograms
差分隐私直方图已经成为位置隐私的关键工具。虽然过去的机制包括理论和实验分析，但最近观察到，现有文献中的大部分都没有完全提供差分隐私。缺少的组件，私有参数调优，是严格评估这些机制所必需的。相反，它经常调整训练数据来优化参数，而不考虑隐私;在其他情况下，选择是任意执行的，与数据无关，降低了效用。我们解决这个开放的问题，得出一个原则性的调整机制，私下优化数据相关的误差范围。理论结果建立了隐私和实用性，而广泛的实验表明，我们实际上可以实现真正的端到端隐私。
2017-02-18 cs.CR cs.DB
A Nearly Instance-optimal Differentially Private Mechanism for Conjunctive Queries
在差分隐私（DP）下释放合取查询和图模式查询的结果大小在文献中受到相当大的关注，但现有的解决方案不提供任何最优性保证。我们为这个问题提供了第一个DP机制，它具有相当强的最优性概念，可以被认为是实例最优性到常数的自然放松。
2021-12-27 cs.CR cs.DB
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Pure Differentially Private Summation from Anonymous Messages
洗牌（又名匿名）模型最近产生了显着的兴趣作为候选人的分布式隐私框架的信任假设优于中央模型，但可实现的误差小于本地模型。我们研究纯差分私有（DP）协议的洗牌模型求和，一个基本的和广泛使用的原语：-对于二进制求和，其中每个n个用户持有一个比特作为输入，我们给一个纯$ε$ -DP协议估计的用户持有的错误$O_ε(1)$的数量，每个用户发送$O_ε(\log n)$消息的1位。这是混洗模型中的第一个纯协议，对于恒定的$ε$具有错误$o(\sqrt{n})$。使用这个协议，我们给出了一个纯$ε$-DP协议，它执行$[0, 1]$中的实数求和，直到$O_ε(1)$的错误，并且每个用户发送$O_ε(\log^3 n)$消息的每个$O(\log\log n)$位。- 相比之下，我们表明，对于任何纯$ε$-DP协议的二进制求和的混洗模型具有绝对误差$n^{0.5-Ω(1)}$，每个用户的通信必须至少是$Ω_ε(\sqrt{\log n})$位。这意味着（有界通信）多消息混洗模型和中心模型之间的第一次分离，以及混洗模型中纯DP协议和近似DP协议之间的第一次分离。为了证明我们的下界，我们考虑以下问题的（概括）：给定$(0, 1)$中的$γ$，最小的m是多少，对于该最小的m，在$\{0, \dots ,m\}$上支持两个随机变量$X^0, X^1$，使得（i）$X^0$和$X^1$之间的总变化距离至少是$…
2020-02-05 cs.CR cs.DS
Differentially Private SQL with Bounded User Contribution
差分隐私（DP）提供了形式上的保证，即数据库查询的输出不会透露太多关于数据库中存在的任何个人的信息。虽然在科学文献中已经提出了许多差异隐私算法，但只有少数端到端实现差异隐私查询引擎。至关重要的是，现有系统假设每个人最多与一个数据库记录相关联，这在实践中是不现实的。我们提出了一个通用的和可扩展的方法来执行差异私有聚合数据库，即使个人可以与任意多行。我们将此方法表示为关系代数中的运算符，并在SQL引擎中实现。为了验证该系统，我们测试了行业基准上的典型查询的效用，并验证了我们开发的随机测试框架的正确性。我们强调了在实践中部署这样一个系统时所学到的承诺和陷阱，并将其核心组件作为开源软件发布。
2019-11-25 cs.CR cs.DB
Differentially Private Tree-Based Redescription Mining
差分隐私提供了一种强大的隐私形式，并允许保留数据集的大部分原始特征。利用这些好处需要设计特定的差异隐私数据分析算法。在这项工作中，我们提出了三个基于树的算法挖掘重描述，同时保持差分隐私。重描述挖掘是一种探索性的数据分析方法，用于发现相同实体上的两个视图之间的联系，例如医学患者的表型和基因型。它在许多领域都有应用，包括一些领域，如医疗保健信息学，其中需要保护隐私的数据访问。我们的算法是第一个差分隐私重描述挖掘算法，我们通过实验表明，尽管固有的噪音在差分隐私，它可以返回值得信赖的结果，即使在较小的数据集，噪音通常有更强的影响。
2023-02-28 cs.CR cs.DB
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University（于默奥大学）；University of Tasmania（塔斯马尼亚大学）
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示（即，词嵌入）。在此基础上，提出了一种基于用户生成内容（UGC）的个性化差异隐私词嵌入模型。据我们所知，这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别，特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明，训练的嵌入模型适用于经典的文本分析任务（例如，回归）。此外，所提出的学习差分私有嵌入模型的方法是框架和数据独立的，这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Differentially Private All-Pairs Shortest Distances for Low Tree-Width Graphs
该研究提出低树宽图上差分隐私全对最短距离的多项式时间算法，将树场景的相关结论推广到更大图族，且在低树宽图下的加性误差优于现有最优算法。
2023-06-09 cs.CR cs.DS
Tight Bounds for Differentially Private Anonymized Histograms
在这篇文章中，我们考虑了差分隐私（DP）计算匿名直方图的问题，匿名直方图被定义为输入数据集（没有桶标签）的计数的多集。在低隐私机制$ε\geq 1$中，我们给出了一个$ε$ -DP算法，其期望$\ell_1$ -误差界为$O(\sqrt{n} / e^ε)$。在高隐私的制度$ε< 1$，我们给了一个$Ω(\sqrt{n \log(1/ε) / ε})$下界的预期$\ell_1$错误。在这两种情况下，我们的边界渐近匹配先前已知的下限/上限[Suresh，NeurIPS 2019]。
2021-11-05 cs.CR cs.DS
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Nonparametric Hypothesis Testing
假设检验是数据挖掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们研究分类变量和连续变量之间独立性的差异私人测试。我们以传统的非参数检验为起点，它不需要分布假设（例如，正态性（normality）。我们提出了私人类似物的Kruskal-Wallis，Mann-Whitney和Wilcoxon符号秩检验，以及参数单样本t检验。这些测试使用专门为私人设置开发的新颖的检验统计量。我们将我们的测试与先前的工作进行比较，包括参数和非参数测试。我们发现，在所有情况下，我们的新的非参数检验实现了大的改进，在统计功效，即使当参数检验的假设得到满足。
2019-03-22 cs.CR stat.ME
