k-Means SubClustering: A Differentially Private Algorithm with Improved Clustering Quality
Indian Institute of Technology Gandhinagar, India（印度理工学院甘地纳加尔分校）
在当今数据驱动的世界中，信息的敏感性一直是一个重大问题。通过这些数据和有关该人背景的其他信息，人们可以很容易地推断出个人的私人数据。许多差分隐私迭代算法已被提出在交互式设置，以保护个人的隐私，从这些推理攻击。现有的方法适应的方法来计算差分隐私（DP）的质心迭代Llyod的算法和扰动的质心与各种DP机制。这些DP机制不能保证差分私有迭代算法的收敛性，并降低了集群的质量。因此，在这项工作中，我们进一步扩展了以前的工作“差分私人k均值聚类与收敛保证”，将其作为我们的基线。我们的方法的新颖之处是子聚类的集群，然后选择质心，具有更高的概率在未来的质心的方向移动。在每一个劳埃德的步骤中，使用指数DP机制将噪声注入质心。实验结果表明，我们的方法优于当前最先进的方法，即，基线算法，在聚类质量方面，同时保持相同的差分隐私要求。对于Wine和Breast_Cancer数据集，聚类质量分别比基线显著提高了4.13倍和2.83倍。
2023-01-07 cs.LG
Differentially Private and Adversarially Robust Machine Learning: An Empirical Evaluation
Imperial College London（帝国理工学院）；IBM Research Europe（IBM欧洲研究院）
针对模型可能同时面临隐私推断与规避攻击的问题，本文结合对抗训练和差分隐私训练，基于成员推理攻击实证评估 DP-Adv，证明其可在保持性能的同时达到非鲁棒隐私模型的隐私水平。
2024-01-18 cs.LG
Gap-free Differentially Private PCA for Gaussian Data
提出一种针对高斯数据的无间隙差分隐私PCA算法，解决主成分分析中的隐私保护问题。
2026-09-30 cs.DS cs.LG
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点，我们表明这与现实的隐私攻击相对应。虽然先前的工作（Ma等人，arXiv 2019）提出了差分隐私和数据投毒之间的这种联系，作为对数据投毒的防御，我们将其用作理解特定机制隐私的工具是新的。更一般地说，我们的工作采取了定量的，实证的方法来理解的隐私提供的具体实现的差异隐私算法，我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
A note on differentially private clustering with large additive error
Northeastern University（东北大学）
在这篇文章中，我们描述了一种简单的方法来获得一个差分私有算法的k-聚类几乎相同的乘法因子作为任何非私有对应的成本一个大的多项式加性误差。该方法是一个简单的几何观察独立的隐私考虑和任何现有的私人算法与常数近似的组合。
2020-09-28 cs.DS cs.LG
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Differentially Private Policy Evaluation
Lancaster University（兰卡斯特大学）；McGill University（麦吉尔大学）
我们提出了第一个差分私人算法的强化学习，适用于评估一个固定的政策的任务。我们建立了两种方法来实现差分隐私，提供了一个理论分析的隐私和实用性的两种算法，并显示出有前途的结果，简单的实证例子。
2016-03-07 cs.LG stat.ML
Differentially Private Deep Learning with Direct Feedback Alignment
University of Georgia（佐治亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
用于深度神经网络的差分私有训练的标准方法用对梯度的有偏和有噪声的近似来代替反向传播的小批量梯度。这些对训练的修改通常会导致隐私保护模型的准确性明显低于非私有模型。我们假设，替代的训练算法可能更适合差分隐私。具体来说，我们研究的直接反馈对齐（DFA）的适用性。我们提出了第一种使用DFA训练深度神经网络的差分私有方法，并表明与各种架构（全连接，卷积）和数据集上的基于反向传播的差分私有训练相比，它在准确性方面取得了显着的进步（通常为10-20%）。
2020-10-08 cs.AI cs.LG
Differentially Private Continual Learning
University of Oxford（牛津大学）
灾难性的遗忘对于出于隐私原因必须删除历史数据的机构来说可能是一个严重的问题。例如，医院可能无法永久保留患者数据。但是，仅用最近的数据训练的神经网络往往会忘记从旧数据中吸取的教训。我们提出了一个基于变分推断的差分私有持续学习框架。我们使用旧数据集的差分私有生成模型来估计给定当前模型的过去数据的可能性。
2019-02-18 cs.LG stat.ML
Differentially private scale testing via rank transformations and percentile modifications
本文提出RPST差分隐私双样本尺度检验，证明其隐私性与第一类错误控制，并通过模拟揭示秩变换增长速率在功效与敏感性间的权衡，同时改进差分隐私符号秩检验。
2025-07-04 cs.LG stat.ME
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
Differentially Private Medians and Interior Points for Non-Pathological Data
Northeastern University（东北大学）；Boston University（波士顿大学）；Google（谷歌）
本文构建了低样本复杂度的差分隐私估计器，用于估计满足极弱矩条件的任意分布的中位数，反驳了Bun等人关于不存在有限样本复杂度非平凡中位数近似估计器的负面结论。
2023-05-22 cs.DS cs.LG
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
Differentially Private Empirical Risk Minimization with Input Perturbation
University of Tsukuba（筑波大学）；Secom Co., Ltd.（西科姆有限公司）；JST CREST（日本科学技术振兴机构 CREST）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一个新的框架，差分私人ERM，输入扰动。现有的差异化私有ERM隐含地假设数据贡献者将其私有数据提交给数据库，期望数据库调用差异化私有机制来发布所学习的模型。在输入扰动中，每个数据贡献者独立地随机化她/他的数据，并将扰动后的数据提交给数据库。我们表明，输入扰动框架理论上保证了与随机数据学习的模型最终满足规定的隐私参数的差分隐私。同时，输入扰动保证了服务器的局部差分隐私。我们还证明了在一定条件下，输入扰动学习的模型的超额风险界为$O(1/n)$，其中$n$为样本量.这与最新技术水平的超额风险界限相同。
2017-10-20 cs.LG stat.ML
Differentially Private Learning of Hawkes Processes
J.P. Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程在事件序列数据建模中的多功能性最近得到了机器学习社区越来越多的关注。虽然它们的历史可以追溯到几十年前，但它们的一些属性，例如学习参数和发布差异隐私版本的样本复杂性，尚未得到彻底分析。本文研究了具有背景强度$μ$和激发函数$αe^{-βt}$的标准Hawkes过程.我们提供了非私人和差分私人估计的$μ$和$α$，并获得样本的复杂性结果，在这两种设置，以量化隐私的成本。我们的分析利用了Hawkes过程的强混合性质和弱相依随机变量的经典中心极限定理结果。我们在合成和真实数据集上验证了我们的理论研究结果。
2022-07-27 cs.LG stat.ML
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Differentially Private Clustering via Maximum Coverage
Khoury College（库里学院）；Northeastern University（东北大学）
本文研究了度量空间中的聚类问题，同时保持个人数据的隐私。具体来说，我们研究的差异私人的变种的k-中位数和欧几里德k-均值问题。我们提出了多项式算法与常数乘法误差和较低的附加误差比以前的国家的最先进的每个问题。此外，我们的算法使用聚类算法没有差分隐私作为一个黑盒。这允许从业者通过选择合适的聚类算法来控制运行时间和近似因子之间的权衡。
2020-08-27 cs.DS cs.LG
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个自适应（随机）梯度扰动方法差分私人经验风险最小化。在每次迭代中，添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有（ADP）学习。给定相同的隐私预算，我们证明了ADP方法大大提高了效用保证相比，标准的差分私人的方法，其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括AdaGrad的变体（Duchi等人，2011年）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Differentially Private Survival Function Estimation
Simon Fraser University（西蒙弗雷泽大学）
生存函数估计在许多学科中使用，但在医学分析中最常见的是Kaplan-Meier估计量的形式。敏感数据（患者记录）用于估计，而对信息泄露没有任何明确的控制，这是一个重大的隐私问题。我们提出了第一个差分私人估计的生存函数，并表明它可以很容易地扩展到提供差分私人置信区间和测试统计量，而无需花费任何额外的隐私预算。我们进一步提供了扩展的差分私人估计的竞争风险的累积发病率函数，纳尔逊-Aalen的估计的危险函数等，使用11个现实生活中的临床数据集，我们提供的经验证据表明，我们提出的方法提供了良好的实用性，同时提供强大的隐私保证。
2020-01-14 cs.LG stat.ME stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计，它提供了一个隐私保证个人，同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题，目标是计算后验分布，正确量化私人发布的统计数据的不确定性。我们表明，一个天真的方法，忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后，我们开发了噪声感知的方法，执行推理的隐私机制，并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
Differentially Private Model Compression
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Microsoft（微软）
最近的论文表明，大型预训练语言模型（LLM），如BERT，GPT-2，可以在私有数据上进行微调，以实现与许多下游自然语言处理（NLP）任务的非私有模型相当的性能，同时保证差分隐私。然而，这些模型的推理成本（由数亿个参数组成）可能非常大。因此，在实践中，LLM通常在部署到特定应用程序之前进行压缩。在本文中，我们开始研究差分私有模型压缩，并提出了实现50%的稀疏水平，同时保持几乎全部性能的框架。我们使用BERT模型在标准的GLUE基准测试上证明了这些想法，为今后关于这一主题的研究设定了基准。
2022-06-03 cs.CR cs.LG
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
The Challenge of Differentially Private Screening Rules
Booz Allen Hamilton（博思艾伦咨询公司）
线性$L_1$ -正则化模型仍然是数据分析中最简单和最有效的工具之一，特别是在信息检索问题中，具有TF-IDF或Okapi特征值的文本上的n-gram是一个强大而简单的基线。在过去的十年中，筛选规则作为一种减少生成$L_1$模型的稀疏回归权重的运行时间的方法越来越受欢迎。然而，尽管在信息检索中越来越需要隐私保护模型，但据我们所知，不存在差异化的隐私筛选规则。在本文中，我们开发了线性和逻辑回归的第一个差分私有筛选规则。在这样做的过程中，我们发现，由于为确保隐私而添加的噪音量，在制定有用的私人筛选规则的任务中存在困难。我们提供的理论论据和实验证据表明，这种困难来自筛选步骤本身，而不是私人优化器。基于我们的研究结果，我们强调，发展一个有效的私人$L_1$筛选方法是一个开放的问题，在差分隐私文献。
2023-03-18 cs.CR cs.LG
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft（微软公司）
在构建预测模型时，机器学习从业者经常寻求利用信息量最大的可用数据，而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露，并允许在私人生成的数据集上训练差异隐私机器学习模型。但是，我们如何才能有效地评估差异化私有合成数据的有效性？在本文中，我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明，一些合成器更适用于不同的隐私预算，我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外，我们提出了QUAIL，一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡，并注意到在相同的预算约束下，它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对差分隐私线性学习器，通过更紧致的隐私分析和新的计算工具改进了目标扰动机制，使其在无约束凸广义线性问题上的性能与DP-SGD相当，同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
FedAUXfdp: Differentially Private One-Shot Federated Distillation
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
联邦学习在非iid局部数据集的情况下受到影响，即，当客户端的数据分布是异构的时，一个有前途的方法，这一挑战是最近提出的方法FedAUX，增强联邦蒸馏与强大的结果，甚至高度异构的客户端数据。FedAUX是一种部分$(ε, δ)$ -差分私有方法，因为客户端的私有数据仅在其参与的部分训练中受到保护。这项工作提供了一个完全不同的私有修改，称为FedAUXfdp。我们进一步贡献了正则化多项式逻辑回归的$l_2$敏感性的上限。在大规模图像数据集上的深度网络实验中，具有强差分隐私保证的FedAUXfdp在单轮通信中对非iid客户端数据的性能明显优于其他同等私有化的SOTA基线。完全私有化的修改后的方法的结果在一个可以忽略不计的减少在所有级别的数据异质性的准确性。
2022-06-21 cs.DC cs.LG
Differentially Private Quantiles
Google New York（谷歌纽约）
分位数通常用于总结和理解数据。如果该数据是敏感的，则可能需要以差异私有的方式计算分位数，从而提供理论上的保证，即结果不会泄露私有信息。然而，当需要多个分位数时，现有的差分隐私算法表现不佳：它们要么单独计算分位数，分割隐私预算，要么汇总整个分布，浪费精力。在任何一种情况下，结果都是精度降低。在这项工作中，我们提出了一个实例的指数机制，同时估计准确的$m$分位数从$n$数据点，同时保证差分隐私。该效用函数经过精心构造，以允许高效实现返回时间上所有$m$分位数的估计值$O(mn\log(n) + m^2n)$。实验表明，我们的方法显着优于目前的最先进的真实和合成数据，同时保持足够的效率是实用的。
2021-09-20 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Improving Differentially Private Models with Active Learning
UC Irvine（加州大学欧文分校）；Google Brain（谷歌大脑）
机器学习技术的广泛采用增加了对敏感数据（如医疗记录）训练的模型的隐私问题。现有的训练差分隐私（DP）模型的技术提供了严格的隐私保证，但将这些技术应用于神经网络会严重降低模型的性能。这种性能降低是在现实世界中部署私有模型的一个障碍。在这项工作中，我们通过对公共数据的主动学习来微调DP模型，从而提高DP模型的性能。我们引入了两种新技术- DIVERSEPUBLIC和NEARPRIVATE -用于以隐私感知的方式进行微调。对于MNIST和SVHN数据集，这些技术提高了DP模型的最新准确性，同时保留了隐私保证。
2019-10-02 cs.LG stat.ML
Differentially Private k-Means Clustering with Guaranteed Convergence
the University of Adelaide（阿德莱德大学）；Sun Yat-sen University（中山大学）
迭代聚类算法帮助我们了解数据背后的洞察力。不幸的是，这可能会让对手推断出具有某些背景知识的个人的隐私。在最坏的情况下，对手知道任意迭代的质心和n个项目中的n-1个的信息。为了保护个人隐私免受这样的推理攻击，保持差分隐私（DP）的迭代聚类算法已被广泛研究的互动设置。然而，现有的交互式差异私有聚类算法遭受非收敛问题，即，这些算法在没有预定义的迭代次数的情况下不会终止。该问题严重影响了差分隐私算法的聚类质量和效率。为了解决这个问题，在本文中，我们提出了一种新的差分私有聚类框架中的交互式设置控制的方向的移动的质心的迭代，以确保通过在选定的区域注入DP噪声的收敛。我们证明，在预期的情况下，算法在我们的框架下收敛最多两倍的迭代劳埃德算法。我们在真实世界的数据集上进行实验评估，以表明我们的算法优于最先进的交互式差分私有聚类算法，具有保证的收敛性和更好的聚类质量，以满足相同的DP要求。
2020-02-03 cs.CR cs.LG
Differentially private training of residual networks with scale normalisation
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
用差分隐私随机梯度下降训练神经网络提供了正式的差分隐私保证，但引入了准确性权衡。在这项工作中，我们建议通过一个简单的架构修改，称为ScaleNorm，在残差块的加法操作后引入一个额外的归一化层，以减轻残差网络中的这些权衡。我们的方法使我们能够进一步改进最近报道的CIFAR-10的最新技术水平，当从头开始训练时，达到了82.5%（ε=8.0）的top-1准确率。
2022-05-06 cs.CR cs.LG
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions
School of Computer Science and Engineering（计算机科学与工程学院）
本文提出一种通用框架，将满足轻微条件的差分隐私估计器转换为任意目标量的差分隐私非参数置信区间，通过重复子采样、应用私有估计器并后处理经验CDF，证明其渐近有效性，并在非光滑函数和复杂分布上表现更优。
2026-05-13 cs.CR cs.LG
Distributed Differentially Private Computation of Functions with Correlated Noise
Rutgers, The State University of New Jersey（罗格斯，新泽西州立大学）；Nokia Bell Labs（诺基亚贝尔实验室）
机器学习的许多应用，如人类健康研究，涉及处理私人或敏感信息。隐私问题可能会对多个站点保存数据的场景中的协作造成重大障碍，并且目标是在所有数据集上联合估计属性。不同的私有分散算法可以提供强大的隐私保证。然而，当每个站点的数据集很小时，联合估计的准确性可能很差。本文提出了一个新的框架，相关辅助私人估计（CAPE），设计隐私保护分散算法，更好的准确性保证诚实，但好奇的模型。CAPE可以与函数机制一起用于统计和机器学习优化问题。提供了更严格的功能机制的表征，允许CAPE在使用所有数据集的分散设置中实现与集中式算法相同的性能。对合成数据集和真实数据集的回归和神经网络问题的实证结果表明，在许多感兴趣的场景中，差分私有方法可以与非私有算法竞争。
2021-02-23 cs.LG stat.ML
Construction of Differentially Private Empirical Distributions from a low-order Marginals Set through Solving Linear Equations with l2 Regularization
Sandia National Laboratories（桑迪亚国家实验室）
本文介绍了一种新的算法--通过求解l2正则化线性方程组从低阶边缘集构造差分私有经验分布（CIPHER），该算法从一组低阶边缘集生成差分私有经验联合分布。CIPHER在概念上很简单，只需要通过基本概率规则分解联合概率来构造线性方程组并随后求解方程。与全维直方图（FDH）净化相比，CIPHER对计算存储和内存的要求显著降低，这在实际中是有吸引力的，特别是考虑到FDH净化所保留的高阶信号可能只是样本随机性并且很少感兴趣。我们的实验表明，CIPHER优于乘法加权指数机制在保持原始信息，并具有类似或更好的成本归一化效用FDH消毒在相同的隐私预算。
2021-01-07 cs.CR cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont（佛蒙特大学）；MassMutual（万通互惠）；Raytheon（雷神公司）
联邦机器学习利用边缘计算从网络用户数据开发模型，但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题，但也带来了自己的挑战--许多技术需要可信的第三方，否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要，但计算成本高，特别是在规模上。我们提出了一个新的联邦学习协议，利用一种新的差分私有，恶意的安全聚合协议的基础上，从错误的学习技术。我们的协议优于当前最先进的技术，经验结果表明，它可以扩展到大量的缔约方，具有最佳的准确性，任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Differentially Private Naive Bayes Classifier using Smooth Sensitivity
Purdue University（普渡大学）
随着用户数据收集的不断增加，保护个人隐私受到了越来越多的关注。差分隐私是保护个人的一个强有力的概念。朴素贝叶斯是一种流行的机器学习算法，被用作许多任务的基线。在这项工作中，我们提供了一个差分私有朴素贝叶斯分类器，它添加了与其参数的平滑敏感度成比例的噪声。我们将我们的结果与Vaidya，Shafiq，Basu和Hong进行了比较，他们将噪声缩放到参数的全局灵敏度。在真实数据集上的实验结果表明，该方法在保持$\varepsilon$-差分隐私的同时，准确率有了显著提高.
2021-07-19 cs.CR cs.LG
Differentially Private Algorithms for Clustering with Stability Assumptions
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文研究了在输入稳定性假设下的差分私有聚类问题。尽管关于差分隐私的研究越来越多，特别是关于差异隐私聚类的研究，但只有三项研究（Nissim et al. 2007，Wang et al. 2015，Huang et al. 2018）研究了私下聚类“好”k均值实例的问题，这三个都依赖于样本，聚合框架和所有三个测量实用程序在真正的集群中心和返回的中心之间的Wasserstein距离私有算法在这项工作中，我们改进了这一系列的多轴工作。我们提出了一个简单得多的算法聚类稳定的输入（不依赖于样本和聚合框架），并分析其效用的Wasserstein距离和k-means成本。此外，我们的算法有直接的类似物“好”的k-中位数的实例和本地模型的差分隐私。
2021-06-11 cs.DS cs.LG
