Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Differentially Private Survival Function Estimation
Simon Fraser University（西蒙弗雷泽大学）
生存函数估计在许多学科中使用，但在医学分析中最常见的是Kaplan-Meier估计量的形式。敏感数据（患者记录）用于估计，而对信息泄露没有任何明确的控制，这是一个重大的隐私问题。我们提出了第一个差分私人估计的生存函数，并表明它可以很容易地扩展到提供差分私人置信区间和测试统计量，而无需花费任何额外的隐私预算。我们进一步提供了扩展的差分私人估计的竞争风险的累积发病率函数，纳尔逊-Aalen的估计的危险函数等，使用11个现实生活中的临床数据集，我们提供的经验证据表明，我们提出的方法提供了良好的实用性，同时提供强大的隐私保证。
2020-01-14 cs.LG stat.ME stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Algorithms for Empirical Machine Learning
Duke University（杜克大学）
私有数据的一个重要用途是构建机器学习分类器。虽然有一个蓬勃发展的文学差异私人分类算法，我们发现，他们是不实际的，在实际应用中，由于两个原因。首先，现有的差分私有分类器在真实世界数据集上的准确性很差。第二，没有已知的差分私有算法用于在私有测试数据集上凭经验评估私有分类器。在本文中，我们开发了不同的私人算法，反映现实世界的经验机器学习工作流程。我们将私有分类器训练算法视为黑盒。我们提出了私人算法，用于选择输入到分类器的功能。虽然添加预处理步骤会从实际分类过程中带走一些隐私预算（因此可能会使其噪音更大，准确性更低），但我们证明了我们的新型预处理技术在三个真实世界数据集上显着提高了分类器的准确性。我们还提出了第一个私人的算法，经验性地构建受试者工作特征（ROC）曲线上的私人测试集。
2014-11-21 cs.LG
Differentially Private Model Compression
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Microsoft（微软）
最近的论文表明，大型预训练语言模型（LLM），如BERT，GPT-2，可以在私有数据上进行微调，以实现与许多下游自然语言处理（NLP）任务的非私有模型相当的性能，同时保证差分隐私。然而，这些模型的推理成本（由数亿个参数组成）可能非常大。因此，在实践中，LLM通常在部署到特定应用程序之前进行压缩。在本文中，我们开始研究差分私有模型压缩，并提出了实现50%的稀疏水平，同时保持几乎全部性能的框架。我们使用BERT模型在标准的GLUE基准测试上证明了这些想法，为今后关于这一主题的研究设定了基准。
2022-06-03 cs.CR cs.LG
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
The Challenge of Differentially Private Screening Rules
Booz Allen Hamilton（博思艾伦咨询公司）
线性$L_1$ -正则化模型仍然是数据分析中最简单和最有效的工具之一，特别是在信息检索问题中，具有TF-IDF或Okapi特征值的文本上的n-gram是一个强大而简单的基线。在过去的十年中，筛选规则作为一种减少生成$L_1$模型的稀疏回归权重的运行时间的方法越来越受欢迎。然而，尽管在信息检索中越来越需要隐私保护模型，但据我们所知，不存在差异化的隐私筛选规则。在本文中，我们开发了线性和逻辑回归的第一个差分私有筛选规则。在这样做的过程中，我们发现，由于为确保隐私而添加的噪音量，在制定有用的私人筛选规则的任务中存在困难。我们提供的理论论据和实验证据表明，这种困难来自筛选步骤本身，而不是私人优化器。基于我们的研究结果，我们强调，发展一个有效的私人$L_1$筛选方法是一个开放的问题，在差分隐私文献。
2023-03-18 cs.CR cs.LG
Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints
在发布和共享数据和信息时，保护个人隐私是一个共同关注的问题。差分隐私（DP）形式化隐私的概率条款，而不做假设的背景知识的数据入侵者，从而提供了一个强大的隐私保护的概念。DP的实际应用涉及开发差异隐私机制，以在预先指定的隐私预算中生成经过消毒的结果。对于具有诸如比例和相关系数之类的公共已知边界的统计数据的净化，边界约束将需要被并入差分私有机制中。有很少的工作检查的后果的边界约束的准确性的消毒结果和统计推断的人口参数的基础上消毒的结果。在本文中，我们形式化的差分私人截断和边界膨胀截断（BIT）的程序发布统计与公开已知的边界约束。截断和BIT拉普拉斯程序的统计精度和有效性的消毒统计的影响进行了评估，通过模拟研究的理论和经验。
2019-05-26 cs.CR stat.ME
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对差分隐私线性学习器，通过更紧致的隐私分析和新的计算工具改进了目标扰动机制，使其在无约束凸广义线性问题上的性能与DP-SGD相当，同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
Differentially Private Quantiles
Google New York（谷歌纽约）
分位数通常用于总结和理解数据。如果该数据是敏感的，则可能需要以差异私有的方式计算分位数，从而提供理论上的保证，即结果不会泄露私有信息。然而，当需要多个分位数时，现有的差分隐私算法表现不佳：它们要么单独计算分位数，分割隐私预算，要么汇总整个分布，浪费精力。在任何一种情况下，结果都是精度降低。在这项工作中，我们提出了一个实例的指数机制，同时估计准确的$m$分位数从$n$数据点，同时保证差分隐私。该效用函数经过精心构造，以允许高效实现返回时间上所有$m$分位数的估计值$O(mn\log(n) + m^2n)$。实验表明，我们的方法显着优于目前的最先进的真实和合成数据，同时保持足够的效率是实用的。
2021-09-20 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft（微软公司）
在构建预测模型时，机器学习从业者经常寻求利用信息量最大的可用数据，而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露，并允许在私人生成的数据集上训练差异隐私机器学习模型。但是，我们如何才能有效地评估差异化私有合成数据的有效性？在本文中，我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明，一些合成器更适用于不同的隐私预算，我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外，我们提出了QUAIL，一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡，并注意到在相同的预算约束下，它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
Differentially Private k-Means Clustering with Guaranteed Convergence
the University of Adelaide（阿德莱德大学）；Sun Yat-sen University（中山大学）
迭代聚类算法帮助我们了解数据背后的洞察力。不幸的是，这可能会让对手推断出具有某些背景知识的个人的隐私。在最坏的情况下，对手知道任意迭代的质心和n个项目中的n-1个的信息。为了保护个人隐私免受这样的推理攻击，保持差分隐私（DP）的迭代聚类算法已被广泛研究的互动设置。然而，现有的交互式差异私有聚类算法遭受非收敛问题，即，这些算法在没有预定义的迭代次数的情况下不会终止。该问题严重影响了差分隐私算法的聚类质量和效率。为了解决这个问题，在本文中，我们提出了一种新的差分私有聚类框架中的交互式设置控制的方向的移动的质心的迭代，以确保通过在选定的区域注入DP噪声的收敛。我们证明，在预期的情况下，算法在我们的框架下收敛最多两倍的迭代劳埃德算法。我们在真实世界的数据集上进行实验评估，以表明我们的算法优于最先进的交互式差分私有聚类算法，具有保证的收敛性和更好的聚类质量，以满足相同的DP要求。
2020-02-03 cs.CR cs.LG
Gap-free Differentially Private PCA for Gaussian Data
提出一种针对高斯数据的无间隙差分隐私PCA算法，解决主成分分析中的隐私保护问题。
2026-09-30 cs.DS cs.LG
Differentially private training of residual networks with scale normalisation
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
用差分隐私随机梯度下降训练神经网络提供了正式的差分隐私保证，但引入了准确性权衡。在这项工作中，我们建议通过一个简单的架构修改，称为ScaleNorm，在残差块的加法操作后引入一个额外的归一化层，以减轻残差网络中的这些权衡。我们的方法使我们能够进一步改进最近报道的CIFAR-10的最新技术水平，当从头开始训练时，达到了82.5%（ε=8.0）的top-1准确率。
2022-05-06 cs.CR cs.LG
Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions
School of Computer Science and Engineering（计算机科学与工程学院）
本文提出一种通用框架，将满足轻微条件的差分隐私估计器转换为任意目标量的差分隐私非参数置信区间，通过重复子采样、应用私有估计器并后处理经验CDF，证明其渐近有效性，并在非光滑函数和复杂分布上表现更优。
2026-05-13 cs.CR cs.LG
Construction of Differentially Private Empirical Distributions from a low-order Marginals Set through Solving Linear Equations with l2 Regularization
Sandia National Laboratories（桑迪亚国家实验室）
本文介绍了一种新的算法--通过求解l2正则化线性方程组从低阶边缘集构造差分私有经验分布（CIPHER），该算法从一组低阶边缘集生成差分私有经验联合分布。CIPHER在概念上很简单，只需要通过基本概率规则分解联合概率来构造线性方程组并随后求解方程。与全维直方图（FDH）净化相比，CIPHER对计算存储和内存的要求显著降低，这在实际中是有吸引力的，特别是考虑到FDH净化所保留的高阶信号可能只是样本随机性并且很少感兴趣。我们的实验表明，CIPHER优于乘法加权指数机制在保持原始信息，并具有类似或更好的成本归一化效用FDH消毒在相同的隐私预算。
2021-01-07 cs.CR cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont（佛蒙特大学）；MassMutual（万通互惠）；Raytheon（雷神公司）
联邦机器学习利用边缘计算从网络用户数据开发模型，但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题，但也带来了自己的挑战--许多技术需要可信的第三方，否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要，但计算成本高，特别是在规模上。我们提出了一个新的联邦学习协议，利用一种新的差分私有，恶意的安全聚合协议的基础上，从错误的学习技术。我们的协议优于当前最先进的技术，经验结果表明，它可以扩展到大量的缔约方，具有最佳的准确性，任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Differentially Private Naive Bayes Classifier using Smooth Sensitivity
Purdue University（普渡大学）
随着用户数据收集的不断增加，保护个人隐私受到了越来越多的关注。差分隐私是保护个人的一个强有力的概念。朴素贝叶斯是一种流行的机器学习算法，被用作许多任务的基线。在这项工作中，我们提供了一个差分私有朴素贝叶斯分类器，它添加了与其参数的平滑敏感度成比例的噪声。我们将我们的结果与Vaidya，Shafiq，Basu和Hong进行了比较，他们将噪声缩放到参数的全局灵敏度。在真实数据集上的实验结果表明，该方法在保持$\varepsilon$-差分隐私的同时，准确率有了显著提高.
2021-07-19 cs.CR cs.LG
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）
尽管在海量数据上训练的机器学习模型在多个领域取得了突破性进展，但由于数据访问受限，它们在隐私敏感领域的部署仍然有限。使用私有数据的隐私约束训练的生成模型可以避开这一挑战，而是提供对私有数据的间接访问。我们提出了DP-Sinkhorn，一种新的基于最优传输的生成方法，用于从具有差分隐私的私有数据中学习数据分布。DP-Sinkhorn最大限度地减少了Sinkhorn发散，一个计算效率高的近似精确的最佳传输距离，模型和数据之间的差异私人的方式，并使用一种新的技术控制的偏差方差权衡梯度估计。与现有的训练差异私有生成模型的方法不同，这些方法主要基于生成对抗网络，我们不依赖于对抗目标，这是众所周知的难以优化，特别是在存在隐私约束所施加的噪声的情况下。因此，DP-Sinkhorn易于训练和部署。在实验上，我们改进了最先进的多个图像建模基准，并显示了信息丰富的RGB图像的差异私人合成。项目页面：https://nv-tlabs.github.io/DP-Sinkhorn。
2021-11-29 cs.CR cs.LG
Large-Scale Public Data Improves Differentially Private Image Generation Quality
Cornell University（康奈尔大学）；Meta AI；Meta Fundamental AI Research（Meta基础人工智能研究院）
本研究提出一种利用大规模公共数据改进差分隐私GAN图像生成的方法，在公共数据覆盖私有数据分布的假设下，实现了最先进的FID分数并生成高质量照片级图像。
2023-08-04 cs.CR cs.CV cs.LG
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Differentially-Private Clustering of Easy Instances
Google Research（谷歌研究院）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Ben-Gurion University（本-古里安大学）
聚类是数据分析中的一个基本问题。在差异私有集群中，目标是在不公开单个数据点信息的情况下识别$k$集群中心。尽管在研究方面取得了重大进展，但这一问题迄今仍没有切实的解决办法。在这项工作中，我们的目标是提供简单的可实现的差异私有聚类算法，当数据是"容易"，例如，当簇之间存在显著的分离时。我们提出了一个框架，允许我们应用非私有聚类算法的简单的实例和私人结合的结果。在高斯混合和$k$-均值的某些情况下，我们能够得到改进的样本复杂度界。我们补充我们的理论分析与实证评估的合成数据。
2021-12-29 cs.CR cs.DS cs.LG
Differentially Private n-gram Extraction
Microsoft（微软）；Microsoft Research（微软研究院）
我们重新讨论了差分隐私设置中的$n$ -gram提取问题。在这个问题中，给定私有文本数据的语料库，目标是在保留用户级隐私的同时释放尽可能多的$n$ -元。提取$n$ -gram是许多NLP应用程序中的基本子程序，如句子完成，电子邮件响应生成等。该问题也出现在其他应用程序中，如序列挖掘，并且是最近研究的差分私有集并（DPSU）的推广。在本文中，我们开发了一个新的差分隐私算法，在我们的实验中，显着优于国家的最先进的。我们的改进源于结合DPSU，隐私会计的最新进展，以及Chen等人（2012）发起的基于树的方法中的剪枝新算法。
2021-08-05 cs.CR cs.DS cs.LG
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
A note on differentially private clustering with large additive error
Northeastern University（东北大学）
在这篇文章中，我们描述了一种简单的方法来获得一个差分私有算法的k-聚类几乎相同的乘法因子作为任何非私有对应的成本一个大的多项式加性误差。该方法是一个简单的几何观察独立的隐私考虑和任何现有的私人算法与常数近似的组合。
2020-09-28 cs.DS cs.LG
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Rethinking Benchmarks for Differentially Private Image Classification
University of Waterloo（多伦多大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出了一套全面的差分隐私图像分类基准测试，评估不同设置下的技术有效性，并创建了公开排行榜以跟踪进展。
2026-01-27 cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Differentially Private Generation of Small Images
Pionic（Pionic公司）
我们探索了具有差分隐私的生成对抗网络的训练，以匿名化图像数据集。在MNIST上，我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制，其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外，我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中，我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
DPAF: Image Synthesis via Differentially Private Aggregation in Forward Phase
本文提出 DPAF 差分隐私生成模型，通过前向阶段的隐私特征聚合与判别器非对称训练，提升高分辨率图像合成的数据效用。
2023-04-20 cs.CR cs.CV cs.LG
A Differentially Private Wilcoxon Signed-Rank Test
Reed College（里德学院）
假设检验是数据采掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟，当比较成对的（例如，前后）数据值。我们不仅提供了检验统计量的私人估计，而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比，我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
Computationally tractable robust differentially private mean estimation
Department of Mathematics and Statistics（数学与统计学系）
提出一种名为“气球均值”的新差分隐私均值估计器，通过扩展马氏距离球上的迭代裁剪实现计算可处理性、鲁棒性及零集中差分隐私，理论保证在重尾和污染椭圆模型下的统计性能与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架，利用知识转移的思想。更具体地说，我们建议从一个私人数据集上训练的“教师”估计器中提取知识，通过从辅助特征创建一个新的数据集，然后使用这个新的数据集训练一个差分私人“学生”估计器。此外，我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归，与最佳已知结果相比，我们的方法实现了改进的效用保证（Kifer等人，2012; Wang和Gu，2019）。我们进一步证明了我们的框架的优越性，通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出基于随机投影的差分隐私核ERM算法，在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
Differentially Private Policy Evaluation
Lancaster University（兰卡斯特大学）；McGill University（麦吉尔大学）
我们提出了第一个差分私人算法的强化学习，适用于评估一个固定的政策的任务。我们建立了两种方法来实现差分隐私，提供了一个理论分析的隐私和实用性的两种算法，并显示出有前途的结果，简单的实证例子。
2016-03-07 cs.LG stat.ML
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
PE-means: Improved Differentially Private $k$-means Clustering through Private Evolution
University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
针对欧几里得空间中差分隐私 $k$-均值聚类问题，提出PE-means算法，利用私有进化方法仅计算恒定敏感度的私有直方图，在聚类损失上平均比现有最优基线提升20%。
2026-07-03 cs.CR cs.DB cs.LG
