An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Model Compression
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Microsoft（微软）
最近的论文表明，大型预训练语言模型（LLM），如BERT，GPT-2，可以在私有数据上进行微调，以实现与许多下游自然语言处理（NLP）任务的非私有模型相当的性能，同时保证差分隐私。然而，这些模型的推理成本（由数亿个参数组成）可能非常大。因此，在实践中，LLM通常在部署到特定应用程序之前进行压缩。在本文中，我们开始研究差分私有模型压缩，并提出了实现50%的稀疏水平，同时保持几乎全部性能的框架。我们使用BERT模型在标准的GLUE基准测试上证明了这些想法，为今后关于这一主题的研究设定了基准。
2022-06-03 cs.CR cs.LG
The Challenge of Differentially Private Screening Rules
Booz Allen Hamilton（博思艾伦咨询公司）
线性$L_1$ -正则化模型仍然是数据分析中最简单和最有效的工具之一，特别是在信息检索问题中，具有TF-IDF或Okapi特征值的文本上的n-gram是一个强大而简单的基线。在过去的十年中，筛选规则作为一种减少生成$L_1$模型的稀疏回归权重的运行时间的方法越来越受欢迎。然而，尽管在信息检索中越来越需要隐私保护模型，但据我们所知，不存在差异化的隐私筛选规则。在本文中，我们开发了线性和逻辑回归的第一个差分私有筛选规则。在这样做的过程中，我们发现，由于为确保隐私而添加的噪音量，在制定有用的私人筛选规则的任务中存在困难。我们提供的理论论据和实验证据表明，这种困难来自筛选步骤本身，而不是私人优化器。基于我们的研究结果，我们强调，发展一个有效的私人$L_1$筛选方法是一个开放的问题，在差分隐私文献。
2023-03-18 cs.CR cs.LG
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对差分隐私线性学习器，通过更紧致的隐私分析和新的计算工具改进了目标扰动机制，使其在无约束凸广义线性问题上的性能与DP-SGD相当，同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
Differentially Private Quantiles
Google New York（谷歌纽约）
分位数通常用于总结和理解数据。如果该数据是敏感的，则可能需要以差异私有的方式计算分位数，从而提供理论上的保证，即结果不会泄露私有信息。然而，当需要多个分位数时，现有的差分隐私算法表现不佳：它们要么单独计算分位数，分割隐私预算，要么汇总整个分布，浪费精力。在任何一种情况下，结果都是精度降低。在这项工作中，我们提出了一个实例的指数机制，同时估计准确的$m$分位数从$n$数据点，同时保证差分隐私。该效用函数经过精心构造，以允许高效实现返回时间上所有$m$分位数的估计值$O(mn\log(n) + m^2n)$。实验表明，我们的方法显着优于目前的最先进的真实和合成数据，同时保持足够的效率是实用的。
2021-09-20 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders
现代机器学习系统在大型数据集上训练时取得了巨大的成功。然而，这些数据集通常包含敏感信息（例如医疗记录、人脸图像），导致严重的隐私问题。差分私有生成模型（DPGM）通过生成私有化的敏感数据来规避这种隐私问题。与其他差分隐私（DP）学习器类似，DPGM的主要挑战也是如何在效用和隐私之间实现微妙的平衡。我们提出了DP $^2$ -VAE，一种新的训练机制变分自编码器（VAE）与可证明的DP保证和改进的效用通过\emph{pre-training on private data}。在相同的DP约束条件下，DP $^2$ -VAE最小化了训练过程中的扰动噪声，从而提高了实用性。DP $^2$ -VAE非常灵活，易于适用于许多其他VAE变体。理论上，我们研究了预训练对私有数据的影响。从经验上讲，我们对图像数据集进行了广泛的实验，以说明我们在各种隐私预算和评估指标下优于基线。
2022-11-02 cs.CR cs.LG
Differentially Private k-Means Clustering with Guaranteed Convergence
the University of Adelaide（阿德莱德大学）；Sun Yat-sen University（中山大学）
迭代聚类算法帮助我们了解数据背后的洞察力。不幸的是，这可能会让对手推断出具有某些背景知识的个人的隐私。在最坏的情况下，对手知道任意迭代的质心和n个项目中的n-1个的信息。为了保护个人隐私免受这样的推理攻击，保持差分隐私（DP）的迭代聚类算法已被广泛研究的互动设置。然而，现有的交互式差异私有聚类算法遭受非收敛问题，即，这些算法在没有预定义的迭代次数的情况下不会终止。该问题严重影响了差分隐私算法的聚类质量和效率。为了解决这个问题，在本文中，我们提出了一种新的差分私有聚类框架中的交互式设置控制的方向的移动的质心的迭代，以确保通过在选定的区域注入DP噪声的收敛。我们证明，在预期的情况下，算法在我们的框架下收敛最多两倍的迭代劳埃德算法。我们在真实世界的数据集上进行实验评估，以表明我们的算法优于最先进的交互式差分私有聚类算法，具有保证的收敛性和更好的聚类质量，以满足相同的DP要求。
2020-02-03 cs.CR cs.LG
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Differentially private training of residual networks with scale normalisation
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
用差分隐私随机梯度下降训练神经网络提供了正式的差分隐私保证，但引入了准确性权衡。在这项工作中，我们建议通过一个简单的架构修改，称为ScaleNorm，在残差块的加法操作后引入一个额外的归一化层，以减轻残差网络中的这些权衡。我们的方法使我们能够进一步改进最近报道的CIFAR-10的最新技术水平，当从头开始训练时，达到了82.5%（ε=8.0）的top-1准确率。
2022-05-06 cs.CR cs.LG
Differentially Private Generative Adversarial Networks with Model Inversion
University of California Davis（加州大学戴维斯分校）；University of Kentucky（肯塔基大学）
为了在训练生成对抗网络（GAN）时保护敏感数据，标准方法是使用差分私有（DP）随机梯度下降方法，其中将受控噪声添加到梯度。输出合成样本的质量可能受到不利影响，并且在存在这些噪声的情况下，网络的训练甚至可能不收敛。我们提出了差分私有模型反演（DPMI）方法，其中私有数据首先通过公共生成器映射到潜在空间，然后是具有更好收敛特性的低维DP-GAN。在标准数据集CIFAR 10和SVHN以及用于自闭症筛查的面部标志数据集上的实验结果表明，在相同的隐私保证下，我们的方法优于基于Inception Score，Fréchet Inception Distance和分类准确度的标准DP-GAN方法。
2022-10-27 cs.CR cs.LG
Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions
School of Computer Science and Engineering（计算机科学与工程学院）
本文提出一种通用框架，将满足轻微条件的差分隐私估计器转换为任意目标量的差分隐私非参数置信区间，通过重复子采样、应用私有估计器并后处理经验CDF，证明其渐近有效性，并在非光滑函数和复杂分布上表现更优。
2026-05-13 cs.CR cs.LG
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Construction of Differentially Private Empirical Distributions from a low-order Marginals Set through Solving Linear Equations with l2 Regularization
Sandia National Laboratories（桑迪亚国家实验室）
本文介绍了一种新的算法--通过求解l2正则化线性方程组从低阶边缘集构造差分私有经验分布（CIPHER），该算法从一组低阶边缘集生成差分私有经验联合分布。CIPHER在概念上很简单，只需要通过基本概率规则分解联合概率来构造线性方程组并随后求解方程。与全维直方图（FDH）净化相比，CIPHER对计算存储和内存的要求显著降低，这在实际中是有吸引力的，特别是考虑到FDH净化所保留的高阶信号可能只是样本随机性并且很少感兴趣。我们的实验表明，CIPHER优于乘法加权指数机制在保持原始信息，并具有类似或更好的成本归一化效用FDH消毒在相同的隐私预算。
2021-01-07 cs.CR cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont（佛蒙特大学）；MassMutual（万通互惠）；Raytheon（雷神公司）
联邦机器学习利用边缘计算从网络用户数据开发模型，但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题，但也带来了自己的挑战--许多技术需要可信的第三方，否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要，但计算成本高，特别是在规模上。我们提出了一个新的联邦学习协议，利用一种新的差分私有，恶意的安全聚合协议的基础上，从错误的学习技术。我们的协议优于当前最先进的技术，经验结果表明，它可以扩展到大量的缔约方，具有最佳的准确性，任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Differentially Private Naive Bayes Classifier using Smooth Sensitivity
Purdue University（普渡大学）
随着用户数据收集的不断增加，保护个人隐私受到了越来越多的关注。差分隐私是保护个人的一个强有力的概念。朴素贝叶斯是一种流行的机器学习算法，被用作许多任务的基线。在这项工作中，我们提供了一个差分私有朴素贝叶斯分类器，它添加了与其参数的平滑敏感度成比例的噪声。我们将我们的结果与Vaidya，Shafiq，Basu和Hong进行了比较，他们将噪声缩放到参数的全局灵敏度。在真实数据集上的实验结果表明，该方法在保持$\varepsilon$-差分隐私的同时，准确率有了显著提高.
2021-07-19 cs.CR cs.LG
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）
尽管在海量数据上训练的机器学习模型在多个领域取得了突破性进展，但由于数据访问受限，它们在隐私敏感领域的部署仍然有限。使用私有数据的隐私约束训练的生成模型可以避开这一挑战，而是提供对私有数据的间接访问。我们提出了DP-Sinkhorn，一种新的基于最优传输的生成方法，用于从具有差分隐私的私有数据中学习数据分布。DP-Sinkhorn最大限度地减少了Sinkhorn发散，一个计算效率高的近似精确的最佳传输距离，模型和数据之间的差异私人的方式，并使用一种新的技术控制的偏差方差权衡梯度估计。与现有的训练差异私有生成模型的方法不同，这些方法主要基于生成对抗网络，我们不依赖于对抗目标，这是众所周知的难以优化，特别是在存在隐私约束所施加的噪声的情况下。因此，DP-Sinkhorn易于训练和部署。在实验上，我们改进了最先进的多个图像建模基准，并显示了信息丰富的RGB图像的差异私人合成。项目页面：https://nv-tlabs.github.io/DP-Sinkhorn。
2021-11-29 cs.CR cs.LG
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
Differentially Private Algorithms for Empirical Machine Learning
Duke University（杜克大学）
私有数据的一个重要用途是构建机器学习分类器。虽然有一个蓬勃发展的文学差异私人分类算法，我们发现，他们是不实际的，在实际应用中，由于两个原因。首先，现有的差分私有分类器在真实世界数据集上的准确性很差。第二，没有已知的差分私有算法用于在私有测试数据集上凭经验评估私有分类器。在本文中，我们开发了不同的私人算法，反映现实世界的经验机器学习工作流程。我们将私有分类器训练算法视为黑盒。我们提出了私人算法，用于选择输入到分类器的功能。虽然添加预处理步骤会从实际分类过程中带走一些隐私预算（因此可能会使其噪音更大，准确性更低），但我们证明了我们的新型预处理技术在三个真实世界数据集上显着提高了分类器的准确性。我们还提出了第一个私人的算法，经验性地构建受试者工作特征（ROC）曲线上的私人测试集。
2014-11-21 cs.LG
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Algorithms for Differentially Private Multi-Armed Bandits
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了差分隐私算法的随机多臂强盗（MAB）问题。这对于自适应临床试验、实验设计和用户定向广告等应用来说是一个问题，在这些应用中，私人信息与个人奖励相关联。我们的主要贡献是表明，存在$(ε, δ)$差异私人变种的置信上限算法，具有最佳的遗憾，$O(ε^{-1} + \log T)$。这是一个显着的改进，以前的结果，只实现多对数遗憾$O(ε^{-2} \log^{2} T)$，因为我们使用了一种新的间隔为基础的机制。我们还大大提高了以前的家庭的算法，使用一个连续的释放机制的界限。实验清楚地证实了我们的理论界限。
2015-11-27 cs.CR cs.LG stat.ML
Large-Scale Public Data Improves Differentially Private Image Generation Quality
Cornell University（康奈尔大学）；Meta AI；Meta Fundamental AI Research（Meta基础人工智能研究院）
本研究提出一种利用大规模公共数据改进差分隐私GAN图像生成的方法，在公共数据覆盖私有数据分布的假设下，实现了最先进的FID分数并生成高质量照片级图像。
2023-08-04 cs.CR cs.CV cs.LG
Differentially-Private Clustering of Easy Instances
Google Research（谷歌研究院）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Ben-Gurion University（本-古里安大学）
聚类是数据分析中的一个基本问题。在差异私有集群中，目标是在不公开单个数据点信息的情况下识别$k$集群中心。尽管在研究方面取得了重大进展，但这一问题迄今仍没有切实的解决办法。在这项工作中，我们的目标是提供简单的可实现的差异私有聚类算法，当数据是"容易"，例如，当簇之间存在显著的分离时。我们提出了一个框架，允许我们应用非私有聚类算法的简单的实例和私人结合的结果。在高斯混合和$k$-均值的某些情况下，我们能够得到改进的样本复杂度界。我们补充我们的理论分析与实证评估的合成数据。
2021-12-29 cs.CR cs.DS cs.LG
Differentially Private n-gram Extraction
Microsoft（微软）；Microsoft Research（微软研究院）
我们重新讨论了差分隐私设置中的$n$ -gram提取问题。在这个问题中，给定私有文本数据的语料库，目标是在保留用户级隐私的同时释放尽可能多的$n$ -元。提取$n$ -gram是许多NLP应用程序中的基本子程序，如句子完成，电子邮件响应生成等。该问题也出现在其他应用程序中，如序列挖掘，并且是最近研究的差分私有集并（DPSU）的推广。在本文中，我们开发了一个新的差分隐私算法，在我们的实验中，显着优于国家的最先进的。我们的改进源于结合DPSU，隐私会计的最新进展，以及Chen等人（2012）发起的基于树的方法中的剪枝新算法。
2021-08-05 cs.CR cs.DS cs.LG
Rethinking Benchmarks for Differentially Private Image Classification
University of Waterloo（多伦多大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出了一套全面的差分隐私图像分类基准测试，评估不同设置下的技术有效性，并创建了公开排行榜以跟踪进展。
2026-01-27 cs.LG
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft（微软公司）
在构建预测模型时，机器学习从业者经常寻求利用信息量最大的可用数据，而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露，并允许在私人生成的数据集上训练差异隐私机器学习模型。但是，我们如何才能有效地评估差异化私有合成数据的有效性？在本文中，我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明，一些合成器更适用于不同的隐私预算，我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外，我们提出了QUAIL，一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡，并注意到在相同的预算约束下，它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
Differentially Private Generation of Small Images
Pionic（Pionic公司）
我们探索了具有差分隐私的生成对抗网络的训练，以匿名化图像数据集。在MNIST上，我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制，其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外，我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中，我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
DPAF: Image Synthesis via Differentially Private Aggregation in Forward Phase
本文提出 DPAF 差分隐私生成模型，通过前向阶段的隐私特征聚合与判别器非对称训练，提升高分辨率图像合成的数据效用。
2023-04-20 cs.CR cs.CV cs.LG
A Differentially Private Wilcoxon Signed-Rank Test
Reed College（里德学院）
假设检验是数据采掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟，当比较成对的（例如，前后）数据值。我们不仅提供了检验统计量的私人估计，而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比，我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架，利用知识转移的思想。更具体地说，我们建议从一个私人数据集上训练的“教师”估计器中提取知识，通过从辅助特征创建一个新的数据集，然后使用这个新的数据集训练一个差分私人“学生”估计器。此外，我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归，与最佳已知结果相比，我们的方法实现了改进的效用保证（Kifer等人，2012; Wang和Gu，2019）。我们进一步证明了我们的框架的优越性，通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
Gap-free Differentially Private PCA for Gaussian Data
提出一种针对高斯数据的无间隙差分隐私PCA算法，解决主成分分析中的隐私保护问题。
2026-09-30 cs.DS cs.LG
PE-means: Improved Differentially Private $k$-means Clustering through Private Evolution
University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
针对欧几里得空间中差分隐私 $k$-均值聚类问题，提出PE-means算法，利用私有进化方法仅计算恒定敏感度的私有直方图，在聚类损失上平均比现有最优基线提升20%。
2026-07-03 cs.CR cs.DB cs.LG
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Differentially Private Estimation of Hawkes Process
Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
点过程模型在实际应用中具有重要意义。在某些关键应用中，点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然会出现，但在现有文献中尚未得到解决。为了弥合这一明显的差距，我们提出了第一个一般的差分私人估计程序的点过程模型。具体地说，我们以Hawkes过程为例，在Hawkes过程离散化表示的基础上，对事件流数据引入了严格的差分隐私定义.然后，我们提出了两个差分隐私优化算法，它可以有效地估计霍克斯过程模型与所需的隐私和效用保证在两个不同的设置。实验结果支持了我们的理论分析。
2022-09-15 cs.CR cs.LG stat.ML
Differentially private training of neural networks with Langevin dynamics for calibrated predictive uncertainty
Technical University of Munich（慕尼黑工业大学）；OpenMined；Imperial College London（帝国理工学院）
我们发现，差分私有随机梯度下降（DP-SGD）可能会产生校准不良、过度自信的深度学习模型。这对于安全关键应用（例如，在医疗诊断中）来说是一个严重的问题。我们强调并利用随机梯度朗之万动力学（一种用于训练深度神经网络的可扩展贝叶斯推理技术）与DP-SGD之间的相似之处，以便训练差异私有的贝叶斯神经网络，并对原始（DP-SGD）算法进行微小调整。我们的方法提供了比DP-SGD可靠得多的不确定性估计，如通过减少预期校准误差（MNIST $\sim{5}$ -倍，儿科肺炎数据集$\sim{2}$ -倍）经验证明的那样。
2021-08-04 cs.CR cs.CV cs.LG
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford（牛津大学）；University of Warwick（华威大学）；Universitat Pompeu Fabra（庞培法布拉大学）；University of Kaiserslautern（凯泽斯劳滕大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）
对隐私保护机器学习的兴趣日益增加，导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而，隐私保护机制可以显著降低合成数据的效用，这反过来又会影响下游任务，如学习预测模型或推理。我们提出了几个重新加权策略，使用私有化的似然比，不仅减轻下游估计的统计偏差，但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估，我们表明，私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
私人推理的研究已经引发了对数据分析的日益关注，当它源于敏感的来源。我们提出了第一种方法，私人贝叶斯推断指数家庭，适当占噪声引入的隐私机制。它是有效的，因为它只适用于足够的统计数据，而不是个人数据。与其他方法不同，它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
Pan-Private Uniformity Testing
Google New York（谷歌纽约）；University of Pennsylvania（宾夕法尼亚大学）
集中式差分私有算法将原始数据映射到差分私有输出。相比之下，本地差异私有算法只能通过与数据持有者的公共交互来访问数据，并且这种交互必须是数据的差异私有函数。我们研究了泛隐私的中间模型。与本地私有算法不同，泛私有算法以明文方式接收数据。与集中私有算法不同，该算法每次接收一个元素的数据，并且在处理此流时必须维护差异私有内部状态。首先，我们证明了针对内部状态多重入侵的纯泛隐私等效于顺序交互的本地隐私。接下来，我们上下文泛隐私对一个单一的入侵，通过分析域$[k]$的一致性测试的样本复杂性。集中私有一致性测试具有样本复杂度$k$，而非交互式局部私有一致性测试具有样本复杂度$Θ(k)$ .我们证明了纯泛私有一致性检验的样本复杂度为$Θ(k^{2/3})$。通过一个新的$Ω(k)$下界的顺序交互设置，我们还分开泛私有顺序交互本地私有和多入侵泛私有一致性测试。
2020-07-17 cs.CR cs.DS cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
A note on differentially private clustering with large additive error
Northeastern University（东北大学）
在这篇文章中，我们描述了一种简单的方法来获得一个差分私有算法的k-聚类几乎相同的乘法因子作为任何非私有对应的成本一个大的多项式加性误差。该方法是一个简单的几何观察独立的隐私考虑和任何现有的私人算法与常数近似的组合。
2020-09-28 cs.DS cs.LG
Differentially Private Language Models Benefit from Public Pre-training
University of California, Irvine（加州大学欧文分校）；Princeton University（普林斯顿大学）
语言建模是自然语言处理中的一项关键任务。在对敏感信息训练语言模型时，差分隐私（DP）允许我们量化我们的隐私数据受到保护的程度。然而，执行差分隐私的训练算法往往会导致模型质量的下降。我们研究的可行性学习语言模型，这是同时高质量和隐私保护的公共基础模型上调整私人语料库。我们发现，DP微调提高了性能的语言模型在私人领域，使培训这样的模型成为可能。
2020-10-26 cs.CL cs.CR cs.LG
