Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego(加利福尼亚大学圣迭戈分校);Microsoft Research(微软研究院)
差分隐私是一种基于密码学的隐私定义,在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私,设计此类算法的挑战是控制添加的噪声,以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计,给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性(GES)概念之间的正式联系,通过显示任何差分隐私近似估计的收敛速度,在一个大类的分布是准确的增长与GES的估计。然后,我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明,有界范围条件是必要的,如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Private Dataset Generation Using Privacy Preserving Collaborative Learning
Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
随着深度学习算法在许多应用中的使用越来越多,与隐私和对抗攻击相关的新研究问题正在出现。然而,深度学习算法的改进需要越来越多的数据在研究社区内共享。联邦学习、差分隐私、附加秘密共享等方法提供了一种在边缘上训练机器学习模型而不从边缘移动数据的方法。然而,它是非常计算密集型的,并且容易受到对抗攻击。因此,这项工作引入了一个隐私保护FedCollabNN框架,用于在边缘训练机器学习模型,该框架具有计算效率和对对抗攻击的鲁棒性。使用MNIST数据集的仿真结果表明了该框架的有效性。
2020-04-28 cs.CR cs.LG stat.ML
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响:由于数据汇集和隐私噪声,旨在防止重建的敏感信息采样噪声。在本文中,我们考虑的问题,设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间,满足差分隐私(以及最近提出的集中差分隐私),并可以与现有的差分隐私机制,训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Combining Public and Private Data
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Google Research NYC(谷歌研究院纽约分部)
差分隐私被广泛采用,以提供可证明的隐私保证在数据分析。我们考虑的问题相结合的公共和私人数据(更一般地说,数据与异构的隐私需求)估计汇总统计。我们引入了一个混合估计的均值优化,以最小化方差。我们认为,我们的机制是更可取的技术,保护个人的隐私,通过子采样数据成比例的用户的隐私需求。同样,我们提出了一个混合中位数估计指数机制的基础上。我们将我们的机制与Jorgensen et al. [2015]中提出的方法进行了比较。我们的实验提供了经验证据,表明我们的机制往往优于基线方法。
2021-10-29 cs.CR cs.LG stat.ML
DP-REC: Private & Communication-Efficient Federated Learning
Qualcomm AI Research(高通人工智能研究院)
隐私和通信效率是神经网络联邦训练中的重要挑战,将它们结合起来仍然是一个悬而未决的问题。在这项工作中,我们开发了一种方法,统一高度压缩通信和差分隐私(DP)。我们介绍了一种压缩技术的基础上相对熵编码(REC)的联邦设置。通过对REC的微小修改,我们得到了一个可证明的差分隐私学习算法,DP-REC,并展示了如何计算其隐私保证。我们的实验表明,DP-REC大大降低了通信成本,同时提供与最先进的隐私保证。
2021-12-07 cs.CR cs.LG stat.ML
Evaluating Differentially Private Machine Learning in Practice
University of Virginia(弗吉尼亚大学)
差分隐私是一个强有力的隐私概念,可以用来证明形式上的保证,在隐私预算方面,$ε$,关于有多少信息被泄露的机制。然而,隐私保护机器学习的实现通常选择大的$ε$值,以获得可接受的模型效用,而很少了解这种选择对有意义的隐私的影响。此外,在使用迭代学习过程的情况下,使用提供更严格分析的差分隐私变体,这似乎减少了所需的隐私预算,但在隐私和效用之间存在难以理解的权衡。在本文中,我们量化的影响,这些选择的隐私实验与逻辑回归和神经网络模型。我们的主要发现是,即使使用先进的机制,也可以保证隐私损失的上限与使用当前推理攻击可以测量的有效隐私损失之间存在巨大差距。当前的差异私有机器学习机制很少提供可接受的效用-隐私权衡,并保证复杂的学习任务:提供有限准确性损失的设置提供无意义的隐私保证,提供强隐私保证的设置导致无用的模型。实验代码可以在这里找到:https://github.com/bargavj/EvaluatingDPML
2019-08-12 cs.CR cs.LG stat.ML
Provable Privacy with Non-Private Pre-Processing
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对差分隐私机器学习流水线中数据依赖预处理隐私成本易被忽略的问题,提出基于Smooth DP和预处理有界敏感度的通用评估框架,可量化非隐私预处理的额外隐私成本,适配多种预处理与DP算法且易集成。
2024-06-21 cs.AI cs.CR cs.LG
Privacy-Preserving In-Context Learning with Differentially Private Few-Shot Generation
Princeton University(普林斯顿大学);Microsoft Semantic Machines(微软语义机器);M365 Research(M365研究院);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
针对大语言模型上下文学习存在的私有数据泄露风险,提出带差分隐私保障的合成少样本生成算法,在标准基准上验证了其在强隐私级别下仍具竞争力的性能。
2024-01-28 cs.CR cs.LG
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara(加州大学圣塔芭芭拉分校);Nokia Bell Labs(诺基亚贝尔实验室)
本文针对差分隐私线性学习器,通过更紧致的隐私分析和新的计算工具改进了目标扰动机制,使其在无约束凸广义线性问题上的性能与DP-SGD相当,同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
Private Linear Regression with Differential Privacy and PAC Privacy
Carmel High School(卡梅尔高中);Department of Computer Science Purdue University(计算机科学系 Purdue 大学)
本文比较了差分隐私和PAC隐私在真实世界数据集上的线性回归性能,揭示了两者在隐私保护下的表现差异。
2025-12-30 cs.CR cs.LG
Designing Differentially Private Estimators in High Dimensions
Harvard University(哈佛大学)
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后,我们表明,我们的算法显着优于经典的差分隐私方法,克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Multi-Message Shuffled Privacy in Federated Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究通信约束下的差分私有分布式优化。使用SGD进行优化的服务器聚合客户端局部梯度,以使用分布式均值估计(DME)进行模型更新。我们开发了一个通信效率的私人DME,使用最近开发的多消息混洗(MMS)的隐私框架。我们分析了我们提出的DME方案,以表明它实现了顺序最优的隐私-通信-性能权衡,解决了[1]中的一个公开问题,即洗牌模型是否可以改善安全聚合中获得的权衡。这也解决了MMS模型中私有向量和的最佳权衡问题。我们通过一种新的隐私机制来实现它,该机制在不同分辨率的局部梯度向量上非均匀地分配隐私。这些结果被直接应用到私人分布式学习算法使用此私人梯度聚集迭代的保证。我们还数值评估私人DME算法。
2023-02-22 cs.CR cs.LG
Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy
Seldon(塞尔顿);University of California San Diego(加州大学圣地亚哥分校);Ford R&A(福特研发中心);University of Oxford(牛津大学);OpenMined(开放挖掘)
深度学习在不同领域和行业的部署日益增长,这是由于其性能依赖于数据和计算的可用性。数据通常是众包的,并且包含关于其贡献者的敏感信息,这些信息会泄漏到在其上训练的模型中。为了实现严格的隐私保证,使用了不同的隐私训练机制。然而,最近的研究表明,差分隐私会加剧数据中现有的偏见,并对不同数据子组的准确性产生不同的影响。在本文中,我们的目标是研究差异私有深度学习中的这些影响。具体来说,我们的目标是研究数据中不同程度的不平衡如何影响模型在不同隐私级别下做出的决策的准确性和公平性。我们证明,即使是很小的不平衡和宽松的隐私保障也会造成不同的影响。
2020-10-03 cs.AI cs.CR cs.LG
Gradient Sparsification Can Improve Performance of Differentially-Private Convex Machine Learning
The University of Melbourne(墨尔本大学)
我们使用梯度稀疏化来减少差分隐私噪声对私有机器学习模型性能的不利影响。为此,我们采用压缩感知和加性拉普拉斯噪声来评估差分私有梯度。噪声隐私保护梯度用于执行随机梯度下降以训练机器学习模型。通过将最小梯度项设置为零来实现的稀疏化可以降低训练算法的收敛速度。然而,通过稀疏化和压缩感知,可以降低所传递的梯度的维数和加性噪声的幅度。这些效应之间的相互作用决定了梯度稀疏化是否提高了差分私有机器学习模型的性能。我们在论文中对此进行了分析研究。我们证明,对于小的隐私预算,压缩可以提高隐私保护机器学习模型的性能。然而,对于大的隐私预算,压缩不一定提高性能。直观地说,这是因为隐私保护噪声的影响在大隐私预算制度中是最小的,因此梯度稀疏化的改进不能补偿其较慢的收敛。
2020-12-01 cs.CR cs.LG math.OC
Assessing differentially private deep learning with Membership Inference
SAP SE(SAP公司);University of Waterloo(滑铁卢大学)
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护,具有差分隐私。然而,数据科学家可以在本地和中央差分隐私之间进行选择,并且需要选择有意义的隐私参数$ε$,这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理,以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验,结果表明,这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案,因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
The Privacy Price of Tail-Risk Learning: Effective Tail Sample Size in Differentially Private CVaR Optimization
School of Engineering, Institute of Science Tokyo(东京工学部科学研究所)
研究揭示差分隐私对CVaR学习有效样本量的影响,提出隐私代价分解方法,推导出标量估计和有限类别的学习速率,并指出隐私学习在有效尾样本量上的核心挑战。
2026-05-15 cs.LG stat.ML
Privacy Profiles for Private Selection
Nokia Bell Labs(诺基亚贝尔实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种基于隐私轮廓的方案,利用基础算法的隐私轮廓界定 ReportNoisyMax 和 PrivateTuning 的隐私轮廓,在数值上优于基于 RDP 的核算,并在端到端私有学习实验中取得实质性收益。
2024-02-09 cs.CR cs.LG
Differentially Private Model Merging
The University of Chicago(芝加哥大学);Google DeepMind(谷歌DeepMind)
本文提出两种后处理技术,随机选择和线性组合,用于在不额外训练的情况下生成满足任意目标差分隐私要求的最终私有模型,同时分析了这些方法在一般问题和私有均值估计中的隐私-效用权衡。
2026-05-20 cs.AI cs.CR cs.LG
Privacy-Computation trade-offs in Private Repetition and Metaselection
Apple(苹果公司)
本文研究私有重复与元选择中的隐私-计算权衡,证明保持常数级隐私开销时失败概率只能随计算开销多项式下降,并给出近乎匹配下界的组合算法。
2024-10-22 cs.CR cs.DS cs.LG
G-PATE: Scalable Differentially Private Data Generator via Private Aggregation of Teacher Discriminators
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
机器学习的最新进展在很大程度上得益于大量可访问的训练数据。然而,大规模的数据共享已经引起了极大的隐私问题。在这项工作中,我们提出了一种新的隐私保护的数据生成模型的基础上的PATE框架(G-PATE),旨在训练一个可扩展的差分隐私数据生成器,保持高生成的数据效用。我们的方法利用生成对抗网络来生成数据,并结合不同判别器之间的私有聚合,以确保强大的隐私保证。与现有方法相比,G-PATE显著提高了隐私预算的使用。特别是,我们训练一个学生数据生成器与教师判别器的合奏,并提出了一种新的私人梯度聚合机制,以确保差分隐私的所有信息流从教师判别器的学生生成器。此外,通过随机投影和梯度离散化,所提出的梯度聚集机制能够有效地处理高维梯度向量。理论上,我们证明了G-PATE确保差分隐私的数据生成器。从经验上讲,我们通过大量的实验证明了G-PATE的优越性。我们表明,G-PATE是第一个能够在有限的隐私预算($ε\le 1$)下生成具有高数据实用性的高维图像数据的工作。我们的代码可在www.example.com上获得。
2021-12-30 cs.LG stat.ML
The Cost of Privacy in Asynchronous Differentially-Private Machine Learning
University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织 Data61);Australian National University(澳大利亚国立大学)
我们考虑使用位于具有不同隐私设置的多个私有和地理上分散的服务器上的训练数据来训练机器学习模型。由于数据的分布式性质,同时与所有合作的私人数据所有者进行通信可能具有挑战性或完全不可能。在本文中,我们开发了差分私有异步算法,用于在多个私有数据集上协作训练机器学习模型。算法的异步性质意味着,中央学习器与私有数据所有者一对一地交互,只要它们可用于通信,而不需要聚合查询响应来构建整个适应度函数的梯度。因此,该算法有效地扩展到许多数据所有者。我们将隐私成本定义为隐私保护机器学习模型的适应度与在没有隐私问题的情况下训练的机器学习模型的适应度之间的差异。我们证明,我们可以预测所提出的隐私保护异步算法的性能。我们证明了隐私成本的上限与训练数据集平方和隐私预算平方之和的组合大小成反比。我们验证了金融和医疗数据集上的实验的理论结果。实验表明,与仅在其中一个数据集上孤立训练的模型相比,具有至少10,000条隐私预算大于或等于1的记录的10多个数据所有者之间的协作产生了更好的机器学习模型,说明了协作的价值和隐私的成本。如果隐私预算较高,则可以降低协作数据集的数量。
2020-06-29 cs.CR cs.LG eess.SP
Privately Learning Markov Random Fields
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学);Microsoft Research Redmond(微软雷德蒙德研究院);University of Minnesota(明尼苏达大学)
我们考虑了在差分隐私约束下的马尔可夫随机场(包括原型例子伊辛模型)的学习问题。我们的学习目标既包括结构学习,即我们尝试估计模型的底层图结构,也包括更难的参数学习目标,即我们额外估计每条边上的参数。我们提供了算法和下限的各种隐私约束下的问题-即纯,集中,近似差分隐私。虽然非私人的,这两个学习目标享有大致相同的复杂性,我们表明,这是不是下差分隐私的情况。特别是,只有近似差分隐私下的结构学习保持了对数据维度的非私有对数依赖性,而学习目标或隐私概念的变化将需要多项式依赖性。其结果是,我们表明,隐私约束在高维数据制度这两个学习问题之间施加了很强的分离。
2020-08-14 cs.CR cs.DS cs.LG
Differentially Private Model Publishing for Deep Learning
Georgia Institute of Technology(佐治亚理工学院)
基于神经网络的深度学习技术在广泛的人工智能任务中取得了巨大成功。大规模的训练数据集是其成功的关键因素之一。然而,当训练数据集是从个人众包的,并且包含敏感信息时,模型参数可能会编码隐私信息并承担隐私泄露的风险。最近,共享和发布预训练模型的趋势日益增长,进一步加剧了这种隐私风险。为了解决这个问题,我们提出了一种用于训练神经网络的差异私有方法。我们的方法包括几种新技术,用于优化隐私丢失和模型准确性。我们采用了一个概括的差分隐私称为集中的差分隐私(CDP),与两个不同的数据隐藏方法的正式和精细的隐私损失分析。我们在训练过程中实现了动态隐私预算分配器,以提高模型的准确性。大量的实验表明,我们的方法有效地提高了隐私损失会计,训练效率和模型质量在给定的隐私预算。
2019-12-19 cs.CR cs.LG
Towards Private Learning on Decentralized Graphs with Local Differential Privacy
The Hong Kong Polytechnic University(香港理工大学);University of Toronto(多伦多大学);City University of Hong Kong(香港城市大学)
许多现实世界的网络本质上是分散的。例如,在社交网络中,每个用户维护社交图的本地视图,诸如朋友列表和她的简档。典型的做法是收集社交图的这些本地视图并执行图学习任务。然而,在图上学习可能会引起隐私问题,因为这些局部视图通常包含敏感信息。在本文中,我们试图确保在分散的网络图上进行私有图学习。为了实现这一目标,我们提出了{ \em Solitude},一个新的基于图神经网络(GNNs)的隐私保护学习框架,具有基于边缘局部差分隐私的正式隐私保证。{ \em Solitude}的关键是一组新的精细机制,可以校准从用户收集的分散图中引入的噪声。校准背后的原理是许多现实世界的图所共有的内在属性,例如稀疏性。与现有的本地私有GNN不同,我们的新框架可以同时保护节点特征隐私和边缘隐私,并且可以与任何具有隐私效用保证的GNN无缝结合。在基准测试数据集上的大量实验表明,{ \em Solitude}在给定隐私预算的情况下,可以保持学习GNN的泛化能力,同时保护用户的数据隐私。
2022-01-23 cs.CR cs.LG
Differentially Private Variational Inference for Non-conjugate Models
Helsinki Institute for Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
许多机器学习应用程序都是基于从人们那里收集的数据,例如他们的口味和行为以及生物特征和遗传数据。无论应用程序有多重要,都必须确保个人身份或数据隐私在分析中不会受到损害。差分隐私构成了一个强大的框架,可以防止从计算输出中违反数据主体隐私。许多重要的贝叶斯推断方法的不同的私有版本已经被提出,但缺乏一个有效的统一的方法适用于任意模型。在这方面的贡献,我们提出了一个差异私人变分推断方法具有非常广泛的适用性。它是建立在双随机变分推断,最近的进展,提供了一个变分解决方案的一大类模型。通过对梯度的裁剪和扰动,将微分隐私加入到双随机变分推断中。该算法通过子采样的隐私放大,提高了算法的效率。我们证明了该方法可以达到接近非私人水平的准确性下,合理的强隐私保证,明显改善了以前的采样为基础的替代品,特别是在强隐私制度。
2017-04-10 cs.CR cs.LG stat.ME
Model Explanations with Differential Privacy
National University of Singapore (NUS)(新加坡国立大学)
黑箱机器学习模型被用于关键决策领域,这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息,从而破坏数据隐私。为了解决这个问题,我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法,找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释,减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响,不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University(德雷塞尔大学)
不同的私有模型试图保护模型训练数据的隐私,使其成为模型安全和隐私的重要组成部分。与此同时,数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现,模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下,包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially Private Fine-tuning of Language Models
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);University of Washington(华盛顿大学)
我们为大规模预训练语言模型的差异化私有微调提供了更简单,更稀疏,更快速的算法,这些算法在许多标准NLP任务中实现了最先进的隐私与实用性权衡。我们针对这个问题提出了一个元框架,其灵感来自于最近高度参数高效的微调方法的成功。我们的实验表明,这些方法的差异化私有适应在三个重要方面优于以前的私有算法:实用性,隐私性以及私有训练的计算和内存成本。在许多常用的研究数据集上,私有模型的效用接近非私有模型。例如,在MNLI数据集上,我们使用RoBERTa-Large实现了$87.8\%$的准确度,使用RoBERTa-Base实现了$83.5\%$的准确度,隐私预算为$ε= 6.7$。相比之下,在没有隐私约束的情况下,Roberta-Large实现了$90.2\%$的准确性。我们的发现与自然语言生成任务相似。使用DART、GPT-2-Small、GPT-2-Medium、GPT-2-Large和GPT-2-XL进行的私人微调分别实现了38.5、42.0、43.1和43.8的BLEU评分(隐私预算为$ε= 6.8,δ=$ 1e-5),而非私人基线为$48.1$。我们所有的实验都表明,更大的模型更适合私人微调:虽然众所周知,它们在非私人情况下可以实现更高的准确性,但我们发现,当引入隐私时,它们也可以更好地保持其准确性。
2022-07-14 cs.CL cs.CR cs.LG
Differentially Private High Dimensional Bandits
Columbia University(哥伦比亚大学)
针对高维稀疏上下文线性赌博机在差分隐私约束下的问题,提出PrivateLASSO算法,结合稀疏硬阈值隐私机制与阶段性阈值规则,并证明其极小极大隐私下界及隐私和效用保证。
2024-02-06 cs.CR cs.LG cs.SY
How Private is Your Attention? Bridging Privacy with In-Context Learning
本文提出线性注意力头的差分隐私预训练算法,首次理论分析线性回归中上下文学习的隐私-准确性权衡,并证明其对对抗性扰动的鲁棒性。
2025-04-22 cs.AI cs.CL cs.CR
Not All Attributes are Created Equal: $d_{\mathcal{X}}$-Private Mechanisms for Linear Queries
ISAE-SUPAERO(法国国立高等航空航天学院);Data61, CSIRO(数据61中心(联邦科学与工业研究组织));Macquarie University(麦考瑞大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
差分隐私提供了强大的隐私保证,同时能够从敏感数据集获得有用的见解。但是,它为数据中的所有元素(个体和属性)提供相同级别的保护。在一些实际场景中,某些数据属性需要比其他数据属性更多/更少的保护。在本文中,我们认为$d_{\mathcal{X}}$ -隐私,隐私概念的实例介绍了\cite{chatzikokolakis2013broadening},它允许这种灵活性,指定一个单独的隐私预算的每对元素在数据域。我们描述了一个系统的程序来定制任何现有的差分私有机制,假设一个查询集和一个敏感度向量作为其$d_{\mathcal{X}}$私有变体的输入,特别是专注于线性查询。我们提出的Meta程序具有广泛的应用,线性查询形成了一系列数据分析和机器学习算法的基础,并且能够在数据域中定义更灵活的隐私预算,从而改善了这些应用中的隐私/效用权衡。我们提出了几个$d_{\mathcal{X}}$ -private机制,并提供理论保证的效用和隐私之间的权衡。我们还通过实验证明了我们的程序的有效性,通过评估我们提出的$d_{\mathcal{X}}$ -私人拉普拉斯机制在合成和真实的数据集上使用一组随机生成的线性查询。
2019-08-28 cs.LG stat.ML
Tight Auditing of Differentially Private Machine Learning
Google DeepMind(谷歌DeepMind);ETHZ(苏黎世联邦理工学院)
差分隐私的审计机制使用概率手段来经验性地估计算法的隐私级别。对于私有机器学习,现有的审计机制是严格的:经验隐私估计(几乎)匹配算法的可证明隐私保证。但这些审计技术有两个局限性。首先,他们只在不可信的最坏情况假设下给出严格的估计(例如,一个完全对抗的数据集)。其次,它们需要数千或数百万次训练运行来产生隐私泄漏的重要统计估计。这项工作解决了这两个问题。我们设计了一个改进的审计方案,可以对自然(而不是对手精心制作的)数据集进行严格的隐私估计-如果对手可以在训练期间看到所有模型更新。以前的审计工作依赖于相同的假设,这是允许在标准的差分隐私威胁模型。该威胁模型也适用于,例如,在联邦学习环境中。此外,我们的审计方案只需运行两次训练(而不是数千次)即可通过调整差分隐私紧合成定理的最新进展来产生严格的隐私估计。我们展示了我们改进的审计方案的实用性,通过在私人机器学习代码中隐藏先前审计技术的实现错误。
2023-02-15 cs.CR cs.LG
PrivateMail: Supervised Manifold Learning of Deep Features With Differential Privacy for Image Retrieval
Massachusetts Institute of Technology(麻省理工学院)
差分隐私提供了强有力的保证,例如在后处理下的不可变隐私。因此,它通常被视为在分散和孤立的数据上学习的解决方案。这项工作的重点是监督流形学习,这是一种可以为目标用例生成微调流形的范例。我们的贡献是双重的。1)我们提出了一种新的差分私有方法\textit{PrivateMail}的监督流形学习,第一个同类我们的知识。2)我们为我们的实验用例提供了一种新的私有几何嵌入方案。我们实验私人的“基于内容的图像检索”-嵌入和查询图像的最近邻居在一个私人的方式-并显示广泛的隐私效用权衡的结果,以及我们的方法的计算效率和实用性。
2021-10-05 cs.CR cs.CV cs.DB
Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics
LinkedIn(领英)
差分隐私(DP)为个人数据提供严格的隐私保证,同时还允许对整体敏感数据集进行准确的统计。要设计一个私有系统,首先必须设计私有算法,可以量化每个结果的隐私损失。然而,将噪声注入计算的私有算法不足以确保个人数据受到保护,因为许多噪声结果最终集中于真实的非私有化结果。因此,已经有几个作品提供了精确的公式,说明隐私损失如何在与私有算法的多次交互中累积。然而,这些公式要么提供了非常一般的隐私损失的界限,在某些类型的私人算法过于悲观的代价,或者他们可以太窄的范围,适用于一般的隐私系统。在这项工作中,我们统一了现有的隐私损失组合边界的特殊类别的差分隐私(DP)算法,以及一般DP组合边界。特别是,我们提供了强大的隐私损失界限时,分析师可以选择纯DP,有界范围(例如指数机制),或集中DP机制以任何顺序。我们还提供了最佳的隐私损失界限,适用于分析师可以选择纯DP和有界范围的机制在一批,即非自适应。此外,当一个分析师在每个类自适应选择机制,我们表现出不同的,预定的纯DP和有界范围机制之间的差异,隐私损失。最后,我们比较了基于直方图数据集的拉普拉斯和高斯机制的组合边界。
2020-11-17 cs.CR cs.LG
Revisiting Differentially Private Hyper-parameter Tuning
KAUST(卡斯土尼亚大学);University of Virginia(弗吉尼亚大学)
针对超参数调优中隐私影响未被充分理解的问题,本文通过审计发现现有私有选择的理论隐私界限在白盒调优场景下不紧致,进而基于调优独特属性提出了适用性更广的改进隐私结果。
2025-08-25 cs.CR cs.LG
TraVaG: Differentially Private Trace Variant Generation Using GANs
RWTH Aachen University(亚琛工业大学)
流程采矿在行业中迅速发展。因此,对过程挖掘算法使用的事件数据中包含的敏感和私人信息的隐私关注变得越来越重要。最先进的研究主要集中在提供隐私保证,例如,差分隐私,用于主进程挖掘技术所使用的跟踪变量,例如,进程发现然而,用于发布跟踪变体的隐私保护技术仍然不能满足行业规模使用的所有要求。此外,当存在高比率的不频繁的踪迹变体时,提供隐私保证仍然是一个挑战。在本文中,我们介绍了TraVaG作为一种新的方法,用于释放基于\text{Generative Adversarial Networks}(GANs)的差分私有跟踪变量,该方法提供了行业规模的好处,并在存在高比例的罕见变量时提高了隐私保证水平。此外,TraVaG克服了传统隐私保护技术的缺点,如限制变量的长度和引入假变量。在真实事件数据上的实验结果表明,该方法在隐私保证、纯数据效用保存和结果效用保存方面优于最先进的技术。
2023-03-29 cs.CR cs.LG
Concentrated Differentially Private Gradient Descent with Adaptive per-Iteration Privacy Budget
University of Georgia(佐治亚大学);Penn State University(宾夕法尼亚州立大学)
迭代算法(如梯度下降)是解决各种问题(例如模型拟合)的常用工具。出于这个原因,人们有兴趣创建它们的差异化私有版本。然而,它们转换为差分私有算法通常是幼稚的。例如,选择固定数量的迭代,隐私预算在它们之间均匀分配,并且在每次迭代时,参数都用噪声梯度更新。在本文中,我们表明,基于梯度的算法可以得到改善,更仔细的分配隐私预算每次迭代。直观地说,在优化开始时,梯度预计会很大,因此不需要精确测量。然而,随着参数接近其最佳值,梯度减小,因此需要更精确地测量。我们增加了一个基本的线搜索功能,帮助算法决定何时需要更精确的梯度测量。我们的梯度下降算法与最近推出的差分隐私的zCDP版本。它优于先前的模型拟合算法,并与$(ε,δ)$ -差分隐私(一个严格弱于zCDP的定义)的最新技术水平竞争。
2018-08-28 cs.LG stat.ML
Not all noise is accounted equally: How differentially private learning benefits from large sampling rates
Aarhus University(奥胡斯大学)
学习通常涉及敏感数据,因此,已经使用差分隐私(DP)的定义开发了对随机梯度下降(SGD)和其他机器学习算法的隐私保护扩展。在差分私有SGD中,在每次训练迭代中计算的梯度受到两种不同类型的噪声的影响。首先,固有的采样噪声所产生的使用小批量。其次,从加性高斯噪声的底层机制即隐私性引入。在这项研究中,我们表明,这两种类型的噪声是等效的私人神经网络的效用的影响,但他们并不占同等的隐私预算。鉴于这一观察结果,我们提出了一种训练范式,将噪声的比例转移到更少的固有噪声和更多的附加噪声,这样可以在隐私预算中考虑更多的整体噪声。有了这个范例,我们能够改进私有端到端CNN的隐私/效用权衡的最新技术。
2021-10-12 cs.CR cs.LG
Individualized PATE: Differentially Private Machine Learning with Individual Privacy Guarantees
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Vector Institute(向量研究所);Free University Berlin(柏林自由大学);Columbia University(哥伦比亚大学);University of Toronto(多伦多大学)
将机器学习(ML)应用于敏感领域需要通过正式的隐私框架(如差分隐私(DP))对底层训练数据进行隐私保护。然而,通常情况下,训练数据的隐私是以最终ML模型的实用性为代价的。其中一个原因是DP对所有训练数据点使用一个统一的隐私预算,这必须与所有数据持有者之间遇到的最严格的隐私要求保持一致。在实践中,不同的数据持有者有不同的隐私要求,要求较低的数据持有者的数据点可以为ML模型的训练过程提供更多的信息。为了满足这一需求,我们提出了两种基于教师集合私有聚合(Private Aggregation of Teacher Ensembles,PATE)框架的新方法,以支持具有个性化隐私保证的ML模型的训练。我们正式描述的方法,提供其隐私边界的理论分析,并实验评估其对最终模型的效用使用MNIST,SVHN和成人收入数据集的影响。我们的实证结果表明,个性化隐私方法产生的ML模型比非个性化的基线具有更高的准确性。因此,我们改进了在不同数据持有者同意在不同个人隐私级别贡献其敏感数据的情况下的隐私-效用权衡。
2022-11-08 cs.CR cs.LG
A General Framework for Auditing Differentially Private Machine Learning
Booz Allen Hamilton(博思艾伦汉密尔顿公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Air Force Research Laboratory(美国空军研究实验室)
我们提出了一个框架,统计审计的隐私保证所赋予的差异私人机器学习在实践中。虽然以前的工作已经采取措施,通过中毒攻击或成员推断来评估隐私损失,但它们都是针对特定模型定制的,或者已经证明统计能力较低。我们的工作开发了一种通用的方法来经验性地评估差异私有机器学习实现的隐私,将改进的隐私搜索和验证方法与基于影响的中毒攻击工具包相结合。我们证明了显着提高了审计能力,在以前的各种模型,包括逻辑回归,朴素贝叶斯,和随机森林的方法。我们的方法可用于检测由于实施错误或误用而导致的隐私侵犯。当违规行为不存在时,它可以帮助理解从给定的数据集、算法和隐私规范中可能泄露的信息量。
2023-01-06 cs.CR cs.LG
Efficient Deep Learning on Multi-Source Private Data
UC Berkeley(加州大学伯克利分校)
机器学习模型受益于大型和多样化的数据集。然而,使用这样的数据集通常需要信任一个集中的数据聚合器。对于医疗保健和金融等敏感应用,这是不可取的,因为它可能会损害患者隐私或泄露商业机密。安全和隐私保护计算的最新进展,包括可信硬件飞地和差分隐私,为相互不信任的各方提供了一种有效训练机器学习模型而不泄露训练数据的方法。在这项工作中,我们介绍了髓鞘,一个深度学习框架,它结合了这些隐私保护原语,并使用它来建立一个基线水平的性能完全私人机器学习。
2018-07-17 cs.LG stat.ML
Improving Differentially Private Models with Active Learning
UC Irvine(加州大学欧文分校);Google Brain(谷歌大脑)
机器学习技术的广泛采用增加了对敏感数据(如医疗记录)训练的模型的隐私问题。现有的训练差分隐私(DP)模型的技术提供了严格的隐私保证,但将这些技术应用于神经网络会严重降低模型的性能。这种性能降低是在现实世界中部署私有模型的一个障碍。在这项工作中,我们通过对公共数据的主动学习来微调DP模型,从而提高DP模型的性能。我们引入了两种新技术- DIVERSEPUBLIC和NEARPRIVATE -用于以隐私感知的方式进行微调。对于MNIST和SVHN数据集,这些技术提高了DP模型的最新准确性,同时保留了隐私保证。
2019-10-02 cs.LG stat.ML
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
当从敏感数据中学习时,必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合(PATE)通过投票机制聚合(可能是分布式的)教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中,我们观察到,这种使用噪声,这使得PATE预测随机,使新形式的泄漏的敏感信息。对于给定的输入,我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中,对手可以了解输入的敏感属性,如种族,性别或年龄。虽然这种攻击并不直接违反差分隐私保证,但它显然违反了隐私规范和期望,如果不插入噪声以获得差分隐私,则根本不可能。事实上,与直觉相反,当我们添加更多噪声以提供更强的差分隐私时,攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私,而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
From Robustness to Privacy and Back
Khoury College of Computer Science, Northeastern University(东北大学库利计算机学院);Apple(苹果公司)
我们研究了统计推断和机器学习中两个必要的算法之间的关系:差分隐私和对抗性数据损坏的鲁棒性。它们的概念相似性首先由Dwork和Lei(STOC 2009)观察到,他们观察到私有算法满足鲁棒性,并给出了将鲁棒算法转换为私有算法的一般方法。然而,所有用于将鲁棒算法转换为私有算法的一般方法都导致次优的出错率。我们的工作给出了第一个黑盒变换,将任何对抗性强的算法转换为满足纯差分隐私的算法。此外,我们表明,对于任何低维估计任务,将我们的变换应用于最佳鲁棒估计器会产生最佳私人估计器。因此,我们得出结论,对于任何低维任务,$\varepsilon$ -差分私有估计器的最优出错率基本上与对对抗性破坏$1/\varepsilon$训练样本具有鲁棒性的估计器的最优出错率相同。我们应用我们的变换来获得几个高维任务的新的最佳私人估计,包括高斯(稀疏)线性回归和PCA。最后,我们提出了一个扩展我们的转换,导致近似差分隐私算法的误差不依赖于输出空间的范围,这是不可能的纯差分隐私。
2023-02-03 cs.LG stat.ML
Differential Privacy and Machine Learning: a Survey and Review
机器学习的目标是从数据中提取有用的信息,同时通过隐藏信息来保护隐私。因此,似乎很难调和这些相互竞争的利益。然而,在挖掘敏感数据时,它们通常必须平衡。例如,医学研究代表了一个重要的应用,其中需要提取有用的信息并保护患者隐私。解决冲突的方法之一是提取整个人口的一般特征,而不披露个人的私人信息。在本文中,我们考虑差分隐私,最流行和最强大的隐私定义之一。我们探讨机器学习和差分隐私之间的相互作用,即隐私保护机器学习算法和基于学习的数据发布机制。我们还描述了一些理论结果,解决了什么可以学到的差异私人和上界的损失函数的差异私人算法。最后,我们提出了一些开放的问题,包括如何将公共数据,如何处理丢失的数据在私人数据集,以及是否,作为观察到的样本的数量增长任意大,差分私人机器学习算法可以实现在没有成本的效用相比,相应的非差分私人算法。
2014-12-24 cs.CR cs.DB cs.LG
Hyperparameter Tuning with Renyi Differential Privacy
Google Research(谷歌研究院)
对于许多差分隐私算法,例如突出的噪声随机梯度下降(DP-SGD),限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而,很少有研究认为,由于需要多次训练来微调训练算法的超参数值,从而导致隐私泄露。在这项工作中,我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察,我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作(STOC 2019)。我们的分析支持了我们之前的观察,即调整超参数确实会泄漏私人信息,但我们证明,在某些假设下,这种泄漏是适度的,只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
Private Minimum Hellinger Distance Estimation via Hellinger Distance Differential Privacy
George Mason University(乔治梅森大学)
本文提出满足Hellinger差分隐私约束的最小Hellinger距离估计器,保持了鲁棒性和效率,同时开发了差分隐私梯度下降和牛顿-拉夫森算法,并通过数值实验验证了其在数据污染下的鲁棒性。
2026-11-03 cs.CR math.PR math.ST
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出一种局部差分隐私联邦学习算法,通过动态分配时变噪声方差以最小化优化误差上界,在隐私预算约束下同时实现隐私保护与效用,无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Differentially Private Link Prediction With Protected Connections
Indian Institute of Technology Bombay(印度理工学院孟买分校)
链接预测(LP)算法向每个节点提出当前非邻居的节点的排序列表,作为将来链接的最可能候选。由于对隐私的日益关注,用户(节点)可能更喜欢保持他们的一些连接受到保护或私有。受此观察的启发,我们的目标是设计一个差分私有LP算法,该算法在受保护节点对的隐私和链接预测准确性之间进行权衡。更具体地说,我们首先提出了一种形式的差分隐私图,模型的隐私损失只有那些节点对被标记为受保护。接下来,我们开发了DPLP,这是一种学习排序算法,它对来自非私有LP系统的基本分数应用单调变换,然后添加噪声。DPLP是用隐私引起的排名损失来训练的,该排名损失针对受保护节点对的给定的最大允许隐私泄漏水平来优化排名效用。在最近引入的潜在节点嵌入模型下,我们提出了一个隐私和LP效用之间的正式权衡。大量的实验与几个现实生活中的图形和几个LP算法表明,DPLP可以更有效地权衡隐私和预测性能之间的几个替代品。
2020-12-14 cs.LG cs.SI stat.ML
Private Boosted Decision Trees via Smooth Re-Weighting
Simon Fraser University(西蒙弗雷泽大学);Boston University(波士顿大学)
保护数据被机器学习算法使用的用户的隐私非常重要。差分隐私是隐私的形式化保证的合适的数学框架,并且提升的决策树是流行的机器学习技术。因此,我们提出并测试了一个实用的算法,以提高决策树,保证差分隐私。隐私是强制执行的,因为我们的助推器从来没有把任何一个例子太多的权重;这确保了每个人的数据从来没有影响一个单一的树“太多。“实验表明,这种提升算法可以产生更好的模型稀疏性和准确性比其他差分私有集成分类器。
2022-01-29 cs.CR cs.DS cs.LG
On Differentially Private Online Predictions
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Technion(以色列理工学院);Georgetown University(乔治城大学)
在这项工作中,我们介绍了一个互动的联合差分隐私处理在线过程中,现有的隐私定义似乎过于限制性的变种。我们研究这个定义的基本属性,并证明它满足(合适的变体)的组隐私,组成,和后处理。然后,我们研究了成本的互动联合隐私的基本设置在线分类。我们表明,任何(可能非私人)的学习规则可以有效地转换为私人的学习规则,只有一个多项式开销的错误界。这表明了与更严格的隐私概念的明显区别,例如Golowich和Livni(2021)研究的隐私概念,其中只有错误界的双指数开销是已知的(通过信息论上限)。
2023-02-27 cs.CR cs.DS cs.LG
Canaries in the Bank: Auditing User-Level Privacy in Private Evolution
Meta Platforms, Inc.(Meta平台公司)
本研究通过协议感知审计,在私有进化中引入金丝雀探针,评估八种攻击,发现自然文本攻击远低于理论DP界限,而随机数攻击更接近隐私上限,量化了最坏情况隐私与实际泄漏的差距。
2026-09-15 cs.AI cs.CR cs.LG
Differentially Private Synthetic Text Generation for Retrieval-Augmented Generation (RAG)
NEC Corporation(日本电报电话公司);Institute of Science Tokyo(东京科学研究院);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出DP-SynRAG框架,通过生成差分隐私合成RAG数据库提升隐私保护下的RAG性能,避免重复噪声注入并保持固定隐私预算。
2026-05-12 cs.CL cs.CR cs.LG
JAX-Privacy: A library for differentially private machine learning
JAX-Privacy 是一个用于差分隐私机器学习的库,提供模块化原语和最新研究成果,兼顾研究者和实践者的不同需求。
2026-02-19 cs.LG