Efficiently Computing Similarities to Private Datasets
Microsoft Research(微软研究院);MIT(麻省理工学院)
本文针对差分隐私模型训练中计算查询点与私有数据相似度的核心子程序,提出利用低维结构的高效DP数据结构,改进隐私-效用权衡与查询时间,并在DP分类中验证了其速度优势。
2024-03-13 cs.CR cs.DS cs.LG
Spectral-DP: Differentially Private Deep Learning through Spectral Perturbation and Filtering
Lehigh University(理海大学);University of Connecticut(康涅狄格大学)
针对DP-SGD加噪导致深度学习效用损失大的问题,提出结合谱域梯度扰动与谱滤波的Spectral-DP方法,适配含卷积和全连接层的架构,在基准数据集上的两类训练场景中效用均优于现有最优DP-SGD方法。
2023-07-25 cs.CR cs.CY cs.LG
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London(帝国理工学院)
差分隐私关注的是预测质量,同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的,但它们通常是不可微的。分析了标准的差分隐私算法,如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法,已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中,我们假设了一类特殊的凸但非光滑的正则化,诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作,分析了双重优化问题的风险最小化问题的背景下,差分隐私。
2019-05-13 cs.LG stat.ML
Differentially Private Precision Matrix Estimation
Northwest University(西北大学);Macau University of Science and Technology(澳门科技大学)
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下,我们通过扰动样本协方差阵,构造了一个差分隐私岭估计器。然后,我们利用交替方向乘法(ADMM)算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明,所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
A Differentially Private Framework for Deep Learning with Convexified Loss Functions
Macquarie University(麦考瑞大学);Defence Science & Technology Group(国防科学技术集团)
差分隐私(DP)已被应用于深度学习中,用于保护底层训练集的隐私。现有的动态规划方法可分为三类:目标扰动、梯度扰动和输出扰动.他们面临三个主要问题。首先,目标函数的条件限制了一般深度学习任务中的目标扰动。第二,梯度扰动没有实现令人满意的隐私效用的权衡,由于在每个时期的过度注入噪声。第三,由于作为噪声尺度参数的训练模型参数的全局灵敏度的上界较松,不能保证输出扰动方法的高效用。为了解决这些问题,我们分析了模型参数全局灵敏度的更严格上限。在黑盒设置下,基于这种全局灵敏度,为了控制整体噪声注入,我们提出了一种新的输出扰动框架,通过将DP噪声注入到用凸化损失函数训练的基线非私有神经网络的输出层的随机采样神经元中(通过指数机制)。我们经验比较隐私效用权衡,衡量的准确性损失基线非私人模型和隐私泄漏对黑盒成员推断(MI)攻击,我们的框架和开源的差分私人随机梯度下降(DP-SGD)的方法在六个常用的现实世界的数据集。实验评估表明,当基线模型有可观察到的隐私泄漏MI攻击下,我们的框架实现了更好的隐私效用权衡比现有的DP-SGD实现,给定的整体隐私预算$ε\leq 1$大量的查询。
2022-04-03 cs.CR cs.LG
Smoothed Analysis of Online and Differentially Private Learning
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
对算法的鲁棒性和隐私性的实际和普遍需求激发了在线对抗和差异隐私学习算法的设计。在这些设置中表征可学习性的主要数量是假设类的Littlestone维度[Ben-David等人,2009年,Alon等人,2019年]。这种特征通常被解释为不可能的结果,因为线性阈值和神经网络等类具有无限的Littlestone维数。在本文中,我们应用平滑分析的框架[Spielman和Teng,2004],其中逆向选择的输入被自然稍微扰动。我们表明,从根本上更强的遗憾和错误的保证是可能的平滑的对手比最坏情况下的对手。特别是,我们得到的遗憾和隐私的误差范围,只依赖于VC维和括号数的假设类,和扰动的大小。
2020-06-17 cs.DS cs.LG stat.ML
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明,这样的学习者是抵抗数据投毒攻击时,对手只能中毒少量的项目。然而,这种保护会随着对手毒害更多数据而降低。为了说明这一点,我们设计了针对目标和输出扰动学习器的攻击算法,这是差分私有机器学习的两种标准方法。实验表明,我们的方法是有效的,当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Sharper Utility Bounds for Differentially Private Models
通过引入广义Bernstein条件,基于梯度扰动方法,在$G$ -Lipschitz、$L$ -smooth和Polyak-Lipschitz条件下,给出了差分隐私算法的第一个$\mathcal{O}\big(\frac{\sqrt{p}}{nε}\big)$高概率超额种群风险界.如果我们用$α$ -H{<$}lder光滑性(可用于非光滑设置)代替性质$G$ -Lipschitz和$L$ -smooth,则高概率界达到$\mathcal{O}\big(n^{-\fracα{1+2α}}\big)$ w.r.t $n$,当$α\in(0,1]$时不能达到$\mathcal{O}\left(1/n\right)$。为了解决这个问题,我们提出了一个变种的梯度扰动方法,\textbf{max$\{1,g\}$-Normalized Gradient Perturbation}(m-NGP)。进一步证明了在$α$ -H{<$}lder光滑和Polyak-Jasojasiewicz条件下,通过归一化,高概率超额种群风险界可以达到$\mathcal{O}\big(\frac{\sqrt{p}}{nε}\big)$,这是非光滑条件下差分私有算法的第一个$n$高概率超额种群风险界.此外,我们还对新算法m-NGP进行了性能评估,实验结果表明m-NGP在真实数据集上提高了差分隐私模型的性能。实验结果表明…
2022-04-22 cs.LG
Differentially Private Label Protection in Split Learning
ByteDance(字节跳动)
分裂学习是一种分布式训练框架,它允许多方在垂直分区的数据(按属性分区)上联合训练机器学习模型。其思想是,只有中间计算结果,而不是私有特征和标签,在各方之间共享,以便原始训练数据保持私有。然而,最近的研究表明,分裂学习的明文实现存在严重的隐私风险,半诚实的对手可以很容易地重建标签。在这项工作中,我们提出了\textsf{TPSL}(转录私有分裂学习),一个通用的梯度扰动为基础的分裂学习框架,提供可证明的差分隐私保证。差分隐私不仅对模型权重,而且对分布式计算设置中的通信消息强制执行。我们在大规模真实数据集上的实验证明了\textsf{TPSL}对标签泄漏攻击的鲁棒性和有效性。我们还发现,\textsf{TPSL}有一个更好的实用性,隐私权衡比基线。
2022-03-04 cs.CR cs.DS cs.LG
Tight Differentially Private PCA via Matrix Coherence
Bocconi University(博科尼大学);Lucerne School of Computer Science and Information Technology(卢塞恩计算机科学与信息科技学校)
我们重新审视的任务,计算跨度的顶部$r$奇异向量$u_1, \ldots, u_r$的矩阵下差分隐私。我们表明,一个简单而有效的算法-基于奇异值分解和标准的扰动机制-返回一个私人的秩$r$近似,其误差仅取决于\emph{rank-$r$ coherence}的$u_1, \ldots, u_r$和频谱间隙$σ_r - σ_{r+1}$。这解决了Hardt和Roth~ \cite{hardt2013beyond}提出的一个问题。我们的估计器优于最先进的技术-在某些情况下显着。特别是,我们表明,在密集的设置,它实现了相同的保证单尖峰PCA的Wishart模型中的最佳非私人算法所达到的,而以前的私人算法未能做到这一点。此外,我们证明了(秩- $r$)相干性不增加高斯扰动下。这意味着任何基于高斯机制的估计器-包括我们的估计器-都保持了输入的一致性。我们推测,类似的行为适用于其他结构化模型,包括种植的问题图。我们还探讨了应用程序的连贯性图的问题。特别是,我们提出了一个差分隐私算法的最大切割和其他约束满足问题下的低一致性假设。
2025-10-30 cs.DS cs.LG
DPDR: Gradient Decomposition and Reconstruction for Differentially Private Deep Learning
Renmin University of China(中国人民大学);Emory University(埃默里大学);Kyushu University(九州大学)
针对DP-SGD隐私预算浪费问题,提出DPDR框架,通过梯度分解解耦公共知识与增量信息,集中预算保护增量并回收公共知识,显著提升了模型收敛速度与准确率。
2024-06-04 cs.CR cs.LG
Differentially Private Empirical Risk Minimization
University of California, San Diego(加州大学圣地亚哥分校);Columbia University(哥伦比亚大学)
隐私保护机器学习算法对于分析个人数据(如医疗或财务记录)的日益常见的环境至关重要。我们提供了一般的技术来产生隐私保护近似的分类器通过(正则化)经验风险最小化(ERM)学习。根据Dwork等人(2006)的$ε$ -差分隐私定义,这些算法是私有的。首先,我们将Dwork et al.(2006)的输出扰动思想应用于ERM分类。在此基础上,提出了一种新的隐私保护机器学习算法设计方法--目标扰动法。这种方法需要在优化分类器之前扰动目标函数。如果损失和正则化满足一定的凸性和可微性标准,我们证明了理论结果表明,我们的算法保持隐私,并提供线性和非线性内核的泛化范围。我们进一步提出了一种隐私保护技术,用于调整一般机器学习算法中的参数,从而为训练过程提供端到端的隐私保证。我们应用这些结果来产生隐私保护的正则化逻辑回归和支持向量机的类似物。我们从真实的人口和基准数据集上评估他们的表现,获得了令人鼓舞的结果。我们的研究结果表明,无论是理论上和经验上,客观扰动优于以前的国家的最先进的,输出扰动,在管理隐私和学习性能之间的固有权衡。
2011-02-16 cs.AI cs.CR cs.DB
A Differentially Private Text Perturbation Method Using a Regularized Mahalanobis Metric
Amazon Alexa(亚马逊 Alexa)
平衡隐私-效用权衡是许多处理敏感客户数据的实用机器学习系统的关键要求。隐私保护文本分析的一种流行方法是噪声注入,其中文本数据首先映射到连续的嵌入空间,通过从适当的分布中采样球形噪声来扰动,然后投影回离散的词汇空间。虽然这允许扰动允许所需的度量差分隐私,但是通常在该扰动数据上建模的下游任务的效用是低的,因为球形噪声不考虑嵌入空间中不同单词周围的密度的可变性。特别是,即使噪声尺度很大,稀疏区域中的单词也可能不变。%使用该机制的全局敏感性可能会在嵌入空间的密集区域中向单词添加太多噪声,导致高效用损失,而使用局部敏感性可能会通过添加的噪声的规模泄漏信息。在本文中,我们提出了一个文本扰动机制的基础上精心设计的正则化变体的马氏度量来克服这个问题。对于任何给定的噪声尺度,该度量添加椭圆噪声以说明嵌入空间中的协方差结构。沿着不同方向的噪声尺度的这种异质性有助于确保稀疏区域中的单词具有足够的替换可能性,而不会牺牲整体效用。我们提供了一个文本扰动算法的基础上,这个度量和正式证明其隐私保证。此外,我们的经验表明,我们的机制提高了隐私统计,以实现相同水平的效用相比,国家的最先进的拉普拉斯机制。
2020-10-22 cs.CL cs.CR cs.LG
Differentially Private Low-dimensional Synthetic Data from High-dimensional Datasets
University of California Irvine(加州大学欧文分校);University of California Davis(加州大学戴维斯分校)
针对高维数据下差分隐私合成数据受维数灾难影响准确性的问题,提出一种带Wasserstein距离效用保证的高效低维合成数据生成算法,其核心是无需协方差谱间隙假设、近最优精度的私有PCA流程。
2024-12-11 cs.CR cs.DS cs.LG
Differentially Private EEG Feature Anonymization: A Privacy-Utility Case Study in Clinical Neurophysiology
University of South-Eastern Norway(东南挪威大学)
本研究针对临床EEG特征匿名化,提出基于高斯和拉普拉斯扰动的受试者级差分隐私框架,评估三种部署场景,揭示隐私与效用间的权衡及小样本不平衡数据的挑战。
2026-09-11 cs.CR cs.LG eess.SP
Federating Recommendations Using Differentially Private Prototypes
University of Texas at Austin(得克萨斯大学奥斯汀分校);CognitiveScale(认知规模公司)
机器学习方法允许我们通过利用用户交互模式的相似性,在包括娱乐、约会和商业在内的应用程序中向用户提供推荐。然而,在需要保护个人敏感数据的领域,如医疗或银行,我们如何在不访问敏感数据的情况下学习这样的模型,并且不会无意中泄露私人信息?我们提出了一种新的联邦方法来学习全局和局部私有模型,而无需收集原始数据,用户统计数据或有关个人偏好的信息。我们的方法产生了一组原型,使我们能够推断出全球的行为模式,同时提供差分隐私保证系统的任何数据库中的用户。通过只需要两轮通信,我们既降低了通信成本,又避免了与迭代过程相关的过度隐私损失。我们在合成数据以及真实的联邦医疗数据和Movielens评级数据上测试我们的框架。我们表明,局部适应的全球模型,使我们的方法优于集中式矩阵分解为基础的推荐系统模型,无论是在矩阵重建的准确性和相关性的建议,同时保持可证明的隐私保证。我们还表明,我们的方法是更强大的,其特点是较小的方差比独立实体学习的个别模型。
2020-03-01 cs.CR cs.IR cs.LG
DPSR: Differentially Private Sparse Reconstruction via Multi-Stage Denoising for Recommender Systems
Columbia University Irving Medical Center(哥伦比亚大学伊文思医疗中心)
DPSR通过多阶段去噪框架在推荐系统中实现差分隐私保护,有效提升推荐质量,优于现有隐私保护机制。
2025-12-22 cs.CR cs.LG
Differentially Private Subspace Fine-Tuning for Large Language Models
DP-SFT通过子空间微调方法在保持差分隐私保障的同时,有效降低噪声影响,提升大语言模型在下游任务中的准确性和稳定性。
2026-01-16 cs.CR cs.LG
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个自适应(随机)梯度扰动方法差分私人经验风险最小化。在每次迭代中,添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有(ADP)学习。给定相同的隐私预算,我们证明了ADP方法大大提高了效用保证相比,标准的差分私人的方法,其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用,包括AdaGrad的变体(Duchi等人,2011年)。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Towards Plausible Differentially Private ADMM Based Distributed Machine Learning
University of Houston(休斯顿大学);San Francisco State University(旧金山州立大学);University of Connecticut(康涅狄格大学)
交替方向乘法(ADMM)及其分布式算法在机器学习中有着广泛的应用。在ADMM的迭代中,使用本地私有数据的模型更新和代理之间的模型交换会带来严重的隐私问题。尽管有一些开创性的工作,以减轻这种担忧,差异私人ADMM仍然面临着许多研究挑战。例如,差分隐私(DP)的保证依赖于每个局部问题的最优性可以在每个ADMM迭代中完美地达到的前提,这在实践中可能永远不会发生。DP ADMM训练的模型可能具有较低的预测精度。在本文中,我们解决这些问题,提出了一种新的(改进)似是而非的差分私有ADMM算法,称为PP-ADMM和IPP-ADMM。在PP-ADMM中,每个代理近似地解决了在迭代中从其局部私有数据制定的扰动优化问题,然后用高斯噪声扰动近似解以提供DP保证。为了进一步提高模型的精度和收敛性,改进版IPP-ADMM采用稀疏向量技术(SVT)来确定是否要用当前扰动解更新其邻居。代理计算当前解决方案与上次迭代中的解决方案的差异,如果差异大于阈值,则将解决方案传递给邻居;否则将丢弃解决方案。此外,我们建议跟踪下的零集中DP(zCDP)的总隐私损失,并提供了一个泛化性能分析。在真实数据集上的实验表明,在相同的隐私保证下,本文提出的算法在模型精度和收敛速度方面均优于现有算法.
2020-08-11 cs.CR cs.LG stat.ML
Make Landscape Flatter in Differentially Private Federated Learning
Tsinghua University(清华大学);Nanjing University of Science and Technology(南京理工大学);JD Explore Academy(京东探索研究院)
针对差分隐私联邦学习中损失景观尖锐和性能下降的问题,提出DP-FedSAM算法,通过集成SAM优化器生成平坦的本地模型,提升权重扰动鲁棒性并减小更新范数,理论分析与实验均证明其达到了SOTA性能。
2023-06-26 cs.CR cs.CV cs.LG
Differentially Private Decoding in Large Language Models
Amazon Alexa AI(亚马逊Alexa人工智能部门)
最近的大规模自然语言处理(NLP)系统使用预先训练的大语言模型(LLM)在大规模和多样化的语料库作为一个开端。在实践中,通过对特定于任务的数据集进行微调,预先训练的模型可以适应各种任务。LLM虽然有效,但已被证明可以记住训练数据的实例,从而潜在地揭示在预训练期间处理的私人信息。潜在的泄漏可能进一步传播到LLM被微调的下游任务。另一方面,隐私保护算法通常涉及从头开始重新训练,这对于LLM来说非常昂贵。在这项工作中,我们提出了一个简单,易于解释,计算量小的扰动机制,应用于一个已经训练好的模型在解码阶段。我们的扰动机制是模型不可知的,可以与任何LLM结合使用。我们提供的理论分析表明,所提出的机制是差分私人,和实验结果显示的隐私效用权衡。
2022-09-08 cs.CL cs.LG
Differentially Private ADMM Algorithms for Machine Learning
Xidian University(西安电子科技大学)
本文针对许多机器学习问题,研究了基于梯度扰动的差分私有交替方向乘子方法(ADMM)。对于具有(非)光滑正则化的光滑凸损失函数,我们提出了第一个具有$(ε,δ)$ -差分隐私($(ε,δ)$ -DP)性能保证的差分隐私ADMM(DP-ADMM)算法。从理论分析的角度出发,利用高斯机制和Rényi差分隐私(RDP)与DP的转换关系,对算法进行了全面的隐私分析。然后,我们建立了一个新的准则来证明所提出的算法,包括DP-ADMM的收敛性。我们还给出了我们的DP-ADMM的效用分析。此外,我们提出了一个加速DP-ADMM(DP-AccADMM)与Nesterov的加速技术。最后,在真实数据集上进行了数值实验,对比分析了两种算法的隐私-效用权衡,结果表明,当隐私预算$ε$大于阈值时,DP-AccADMM比DP-ADMM收敛更快,且具有更好的效用.
2020-10-31 cs.AI cs.CR cs.DS
Learning to be adversarially robust and differentially private
DeepMind
我们研究的困难,在学习中产生的强大的和差分私有优化。我们首先研究了基于梯度下降的对抗训练与差分隐私的收敛性,以线性可分数据上的简单二进制分类任务为例。我们比较了私人和非私人环境中对抗性和名义风险之间的差距,表明私人优化引入的数据维度依赖项加剧了学习鲁棒模型的困难。在此之后,我们讨论了对抗训练和差分隐私的哪些部分会损害优化,发现差分隐私中的对抗扰动和裁剪范数的大小都会增加损失景观的曲率,这意味着泛化性能较差。
2022-01-06 cs.LG
Differentially Private Transferrable Deep Learning with Membership-Mappings
Software Competence Center Hagenberg(哈根贝格软件能力中心);University of Rostock(罗斯托克大学)
本文研究了差分私有半监督迁移和多任务学习问题。\emph{membership-mapping}的概念已经开发使用测量理论的基础上学习数据表示通过模糊隶属函数。深度自动编码器的另一种概念,称为\emph{Conditionally Deep Membership-Mapping Autoencoder (CDMMA)},被认为是可转移的深度学习。在面向实践的设置下,CDMMA的学习的解析解可以通过变分优化得到。本文提出了一种迁移和多任务学习方法,该方法将CDMMA与定制的噪声添加机制相结合,以实现给定水平的隐私丢失界限,同时使数据的扰动最小。使用MNIST,USPS,Office和Caltech256数据集进行了大量实验,以验证所提出的方法的竞争性鲁棒性能。
2022-04-28 cs.AI cs.CR cs.LG
Differentially Private Online Federated Learning with Correlated Noise
KTH Royal Institute of Technology(KTH皇家理工学院);The Chinese University of Hong Kong(香港中文大学)
针对在线联邦学习中持续发布模型的隐私保护问题,提出采用时间相关噪声的差分隐私算法,并通过扰动迭代分析与拟强凸条件建立动态遗憾界,实验验证其有效性。
2025-01-08 cs.CR cs.DC cs.LG
Differentially Private Synthetic Data Using KD-Trees
J.P. Morgan AI Research(摩根大通人工智能研究院)
本研究提出基于KD树的空间划分与噪声扰动方法,生成差分隐私合成数据,兼顾隐私与效用,克服维度灾难,并在分类任务上验证了有效性。
2023-06-19 cs.CR cs.LG stat.ML
Renyi Differentially Private ADMM for Non-Smooth Regularized Optimization
University of Georgia(佐治亚大学)
在Rényi差分隐私(RDP)下,研究了由凸可微损失函数和非光滑正则项(如$L_1$范数或核范数)组成的复合目标函数的极小化问题.针对这一问题,提出了两种随机交替方向乘子法(ADMM)算法:基于梯度扰动的ssADMM和基于输出扰动的mpADMM。这两种算法都将原问题分解为具有封闭形式解的子问题。第一种算法ssADMM将最近的隐私放大结果应用于RDP以减少要添加的噪声量。第二种算法mpADMM以数值方式计算ADMM变量更新的灵敏度,并在每个历元结束时释放更新的参数向量。我们比较了我们的算法与几个基线算法在真实和模拟数据集的性能。实验结果表明,在高隐私制度(小$ε$),ssADMM和mpADMM优于其他基线算法的分类和特征选择性能,分别。
2019-09-24 cs.LG stat.ML
Towards Personalized Differentially Private Learning for Decentralized Local Graphs
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室);School of Cyber Science and Technology, Shandong University(山东大学网络空间安全学院);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
研究去中心化局部图隐私学习问题,提出PPGNN框架,含个性化扰动机制和加权校准策略,能平衡隐私保护与数据效用。
2026-07-07 cs.CR cs.LG
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University(凯斯西储大学);University of South Florida(南佛罗里达大学)
在机器学习中,需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时,由于隐私问题,收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互,该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置,我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入,保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后,可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据,我们建议利用降维技术,可以由个人应用之前扰动他们的输入。实验结果表明,在局部差分隐私下,即使个人隐私得到保证,朴素贝叶斯分类器仍能保持准确性,并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
Differentially Private Regression for Discrete-Time Survival Analysis
Nanyang Technological University(南洋理工大学)
在生存分析中,回归模型用于了解解释变量的影响(例如,年龄、性别、体重等)到生存概率。然而,对于医疗数据等敏感的生存数据,当使用医疗数据来拟合回归模型时,人们对数据集中个人的隐私存在严重担忧。最接近的工作,解决这种隐私问题的工作是Cox回归的线性项目的原始数据到一个较低的维度空间。然而,这种方法的缺点是,这种投影没有正式的隐私保证。在这项工作中,我们的目标是提出解决方案的回归问题的生存分析与保护的差分隐私,这是一个黄金标准的隐私保护在数据隐私研究。为此,我们扩展了输出扰动和目标扰动的方法,最初提出的保护差分隐私的经验风险最小化(ERM)问题。此外,我们还提出了一种新的抽样方法的基础上的马尔可夫链蒙特卡罗(MCMC)方法,以实际保证差分隐私更好的准确性。我们表明,我们提出的方法实现了良好的准确性相比,非私人的结果,同时保证差分隐私的私人数据集中的个人。
2017-08-25 cs.CR cs.DB cs.LG
Your Privacy My Cloak: Backdoor Attacks on Differentially Private Federated Learning
针对差分隐私联邦学习,提出RING攻击,利用差分隐私的掩蔽效应绕过防御,在中等隐私预算下平均攻击成功率90.3%。
2026-10-06 cs.CR cs.LG
DP-DCAN: Differentially Private Deep Contrastive Autoencoder Network for Single-cell Clustering
East China Normal University(华东师范大学);Shanghai Key Laboratory of Trustworthy Computing(上海市可信计算重点实验室);Xinhua Hospital(新华医院);Shanghai Jiao Tong University(上海交通大学)
针对现有全网络扰动的差分隐私方法用于单细胞聚类时性能损耗大的问题,提出仅对部分网络加噪的DP-DCAN模型,在6个数据集上性能优于传统方案且对抗攻击鲁棒性强。
2024-05-13 cs.AI cs.LG q-bio.GN
Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training
Shenzhen University, China(深圳大学);Macquarie University, Australia(麦考瑞大学);NingboTech University, China(宁波科技大学)
本文提出Pretrain-DPFL框架,通过理论分析和实验比较三种微调策略,证明预训练模型能有效缓解差分隐私联邦学习中的噪声损害,显著提升模型精度与隐私-效用权衡。
2025-10-09 cs.CR cs.LG
Differentially Private Query Release Through Adaptive Projection
Amazon AWS AI/ML(亚马逊云科技人工智能与机器学习部门);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出,实施,并评估一个新的算法,用于释放答案非常大量的统计查询,如$k$方式的边缘,受到差分隐私。我们的算法自适应地使用了投影机制的连续松弛,该机制使用简单的扰动来回答对私有数据集的查询,然后尝试找到最接近噪声答案的合成数据集。我们使用合成数据集域的连续松弛,这使得投影损失可微,并允许我们使用有效的ML优化技术和工具。我们不是预先回答所有的查询,而是通过迭代和自适应地找到我们的(放松的)合成数据具有高误差的查询,然后重复投影,来明智地使用我们的隐私预算。我们在一系列参数和数据集上进行了广泛的实验评估,发现我们的方法在许多情况下优于现有的算法,特别是当隐私预算很小或查询类很大时。
2021-06-23 cs.CR cs.LG
Locally Differentially Private Bayesian Inference
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
近年来,局部差分隐私(LDP)已成为一种选择的隐私保护数据收集在几种情况下,当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此,客户端不需要依赖于聚合器的可信度。在这项工作中,我们提供了一个噪声感知的概率建模框架,它允许贝叶斯推断考虑到噪声下的LDP隐私,条件是局部扰动观测。LDP协议提供的更强的隐私保护(与中央模型相比)是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Differentially Private Log-Location-Scale Regression Using Functional Mechanism
North Carolina State University(北卡罗来纳州立大学)
针对回归模型的隐私保护需求,提出基于函数机制的差分隐私对数位置尺度回归模型,推导敏感度并证明满足ε-差分隐私,实验验证了影响模型性能的关键因素及数据规模的重要性。
2024-04-12 cs.CR cs.LG stat.AP
DP-SelFT: Differentially Private Selective Fine-Tuning for Large Language Models
Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学)
本文提出DP-SelFT框架,通过选择性微调方法在保持差分隐私的同时提升大语言模型的隐私-效用权衡。
2026-05-17 cs.CR cs.LG
DP-EM: Differentially Private Expectation Maximization
University of Amsterdam(阿姆斯特丹大学);UC, San Diego(加州大学圣地亚哥分校)
期望最大化(EM)算法的迭代性质对隐私保护估计提出了挑战,因为每次迭代都会增加所需的噪声量。我们提出了一个实用的私人EM算法,克服了这一挑战,使用两个创新:(1)一个新的时刻扰动制定差分私人EM(DP-EM),以及(2)使用两个最近开发的组合方法来约束隐私的“成本”的多个EM迭代:时刻会计(MA)和零均值集中差分隐私(zCDP)。MA算法和zCDP算法都能有效地约束隐私损失随机变量的矩母函数,并得到一个精细的尾界,从而有效地降低了加性噪声的数量。我们目前的实证结果表明,我们的方法的好处,以及这两个组成方法之间的DP-EM设置高斯混合模型的类似性能。我们的方法可以很容易地扩展到许多迭代学习算法,开辟了各种令人兴奋的未来方向。
2016-10-31 cs.AI cs.CR cs.LG
Differentially Private Data Generative Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学);Macquarie University(麦考瑞大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61研究所)
深度神经网络(DNN)最近在各种应用中被广泛采用,并且这样的成功很大程度上是由于算法突破、计算资源改进和对大量数据的访问的组合。然而,深度学习所需的大规模数据汇集通常包含敏感信息,因此引发了许多隐私问题。先前的研究已经显示了在推断敏感训练数据信息方面的几种成功攻击,例如模型反演、成员推断和基于生成对抗网络(GAN)的针对协作深度学习的泄漏攻击。在本文中,使学习效率,以及生成数据的隐私保证和高实用性,我们提出了一个差分私有自动编码器为基础的生成模型(DP-AuGM)和差分私有变分自编码器为基础的生成模型(DP-VaeGM)。我们评估了两个模型的鲁棒性。我们表明,DP-AuGM可以有效地抵御模型反演,成员推理和基于GAN的攻击。我们还表明,DP-VaeGM是强大的对成员推断攻击。我们推测防御模型反演和基于GAN的攻击的关键不是由于差分隐私,而是训练数据的扰动。最后,我们证明了DP-AuGM和DP-VaeGM都可以很容易地与现实世界的机器学习应用程序集成,例如机器学习即服务和联邦学习,否则它们将分别受到成员推断攻击和基于GAN的攻击的威胁。
2018-12-06 cs.CR cs.LG
Differentially Private Distributed Convex Optimization
Argonne National Laboratory(阿贡国家实验室)
本文考虑分布式优化(DO),多个代理合作,以最小化一个全球目标函数,表示为一个地方的目标,受到一些限制。在DO中,每个代理迭代地求解由其自己的数据构造的局部最优化模型,并传达一些信息(例如,局部解),直到获得全局解。即使本地存储的数据不与其他代理共享,仍然可以从代理之间通信的信息重建数据,这可能限制DO在具有敏感数据的应用中的实际使用。为了解决这个问题,我们提出了一个隐私保护的DO算法的约束凸优化模型,它提供了一个数据隐私的统计保证,称为差分隐私,和一个序列的迭代收敛到一个最优解的期望。该算法推广了线性化的交替方向法的乘法器,通过引入多个本地更新技术,以减少通信成本,并将一个客观的扰动法的局部最优化模型计算和通信的随机可行的本地解决方案,不能被用来重建本地数据,从而保护数据隐私。在凸约束的存在下,我们表明,虽然这两种算法提供了相同水平的数据隐私,所提出的算法中使用的客观扰动可以提供更好的解决方案比广泛采用的输出扰动法,随机化的局部解决方案,通过添加一些噪声。我们提出的隐私和收敛性分析的细节,并通过将其应用于两个不同的应用程序,即分布式控制的潮流和联邦学习,数据隐私是关注的数值证明了该算法的有效性。
2023-02-28 cs.CR cs.LG math.OC
Differentially private partitioned variational inference
Telefónica Research(西班牙电信研究院);University of Cambridge(剑桥大学);Harvard University(哈佛大学);University of Helsinki(赫尔辛基大学)
本文提出差分隐私的分区变分推断框架,首次在联邦学习中实现带差分隐私保证的贝叶斯后验变分近似,并给出三种实现方案及理论与实证比较。
2023-04-18 cs.CR cs.LG stat.ML
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau(物联网智能城市国家重点实验室和澳门大学电子与计算机工程系);Department of Electrical and Computer Engineering, Cornell Tech, Cornell University(电气与计算机工程系,康奈尔科技,康奈尔大学);Computing Sciences Research, Lawrence Berkeley National Laboratory(计算科学研究所,劳伦斯伯克利国家实验室)
本文提出通过KL散度度量高斯混合模型发布精度,结合差分隐私机制,在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Differentially Private Online Item Pricing
本文提出首个在重复无限供应商品定价拍卖中同时实现差分隐私保护和次线性遗憾的算法,基于指数权重元算法和随机扰动,并扩展至买家策略性出价场景。
2023-10-28 cs.CR cs.GT cs.LG
Differentially Private Variational Inference for Non-conjugate Models
Helsinki Institute for Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
许多机器学习应用程序都是基于从人们那里收集的数据,例如他们的口味和行为以及生物特征和遗传数据。无论应用程序有多重要,都必须确保个人身份或数据隐私在分析中不会受到损害。差分隐私构成了一个强大的框架,可以防止从计算输出中违反数据主体隐私。许多重要的贝叶斯推断方法的不同的私有版本已经被提出,但缺乏一个有效的统一的方法适用于任意模型。在这方面的贡献,我们提出了一个差异私人变分推断方法具有非常广泛的适用性。它是建立在双随机变分推断,最近的进展,提供了一个变分解决方案的一大类模型。通过对梯度的裁剪和扰动,将微分隐私加入到双随机变分推断中。该算法通过子采样的隐私放大,提高了算法的效率。我们证明了该方法可以达到接近非私人水平的准确性下,合理的强隐私保证,明显改善了以前的采样为基础的替代品,特别是在强隐私制度。
2017-04-10 cs.CR cs.LG stat.ME
k-Means SubClustering: A Differentially Private Algorithm with Improved Clustering Quality
Indian Institute of Technology Gandhinagar, India(印度理工学院甘地纳加尔分校)
在当今数据驱动的世界中,信息的敏感性一直是一个重大问题。通过这些数据和有关该人背景的其他信息,人们可以很容易地推断出个人的私人数据。许多差分隐私迭代算法已被提出在交互式设置,以保护个人的隐私,从这些推理攻击。现有的方法适应的方法来计算差分隐私(DP)的质心迭代Llyod的算法和扰动的质心与各种DP机制。这些DP机制不能保证差分私有迭代算法的收敛性,并降低了集群的质量。因此,在这项工作中,我们进一步扩展了以前的工作“差分私人k均值聚类与收敛保证”,将其作为我们的基线。我们的方法的新颖之处是子聚类的集群,然后选择质心,具有更高的概率在未来的质心的方向移动。在每一个劳埃德的步骤中,使用指数DP机制将噪声注入质心。实验结果表明,我们的方法优于当前最先进的方法,即,基线算法,在聚类质量方面,同时保持相同的差分隐私要求。对于Wine和Breast_Cancer数据集,聚类质量分别比基线显著提高了4.13倍和2.83倍。
2023-01-07 cs.LG
DP-CGAN: Differentially Private Synthetic Data and Label Generation
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google AI(谷歌人工智能)
生成对抗网络(GANs)是生成包括图像在内的合成数据的著名模型之一,特别是对于那些无法使用原始敏感数据集的研究社区,因为它们无法公开访问。该领域的主要挑战之一是保护参与GAN模型训练的个人的隐私。为了解决这一挑战,我们引入了一个基于新的裁剪和扰动策略的差分私有条件GAN(DP-CGAN)训练框架,该框架在保护训练数据集隐私的同时提高了模型的性能。DP-CGAN生成合成数据和相应的标签,并利用最近推出的Renyi差分隐私会计来跟踪隐私预算。实验结果表明,DP-CGAN在差分隐私下,在MNIST数据集上使用一位数的隐私参数,可以产生视觉上和经验上都有希望的结果.
2020-01-27 cs.LG stat.ML
Online and Differentially-Private Tensor Decomposition
Carnegie Mellon University(卡内基梅隆大学);University of California, Irvine(加利福尼亚大学欧文分校)
在本文中,我们解决了许多关键算法的鲁棒性,内存效率和差分隐私张量分解的问题。我们提出了简单的变种张量幂方法,享受这些强大的性能。我们提出了在线张量幂方法的第一个保证,它具有线性内存的要求。此外,我们提出了一个有效的隐私保证噪声校准张量功率方法。在所有这些保证的核心在于仔细的扰动分析,本文中得出的现有的结果显着改善。
2016-12-15 cs.LG stat.ML
Differentially Private Counterfactuals via Functional Mechanism
Rice University(莱斯大学);Texas A&M University(得克萨斯农工大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
反事实作为一种新兴的模型解释类型,近年来引起了业界和学术界的广泛关注。不同于传统的基于特征的解释(例如,归因),反事实是一系列假设样本,可以在查询上以最小的扰动翻转模型决策。在给定有效的反事实的情况下,人类能够在“假设”的情况下进行推理,以便更好地理解模型的决策边界。然而,发布反事实可能是有害的,因为它可能会无意中将敏感信息泄露给对手,这会给模型安全和数据隐私带来更高的风险。为了弥补这一差距,本文提出了一个新的框架来生成差异私有反事实(DPC),而不触及部署的模型或解释集,其中注入噪音以进行保护,同时保持反事实的解释角色。特别地,我们训练了一个自动编码器的功能机制,以构建嘈杂的类原型,然后推导出DPC的潜在原型的基础上的后处理免疫的差分隐私。进一步的评估表明,所提出的框架的有效性,DPC可以成功地减轻提取和推理攻击的风险。
2022-08-04 cs.AI cs.CR cs.LG
Differentially Private Deep Learning with ModelMix
MIT(麻省理工学院)
训练具有有意义/可用的差分隐私安全保证的大型神经网络是一项艰巨的挑战。在本文中,我们解决这个问题,通过重新访问差分私有随机梯度下降(DP-SGD)中的两个关键操作:1)迭代扰动和2)梯度裁剪。我们提出了一个通用的优化框架,称为{ \em ModelMix},它执行随机聚合的中间模型状态。该算法利用训练轨迹的熵来加强复合隐私分析,将$(ε, δ)$ DP安全参数提高了一个数量级。我们对ModelMix的效用保证和隐私放大都进行了严格的分析。特别是,我们提出了一个正式的研究DP-SGD中的梯度裁剪的效果,这提供了理论指导,应该如何选择超参数。我们还引入了一种改进的梯度裁剪方法,当与ModelMix结合时,它可以进一步锐化私人学习中的隐私损失。彻底的实验与显着的隐私/实用程序的改进,以支持我们的理论。我们在CIFAR 10上训练一个Resnet-20网络,通过ModelMix在给定$(ε=8, δ=10^{-5})$ DP预算的情况下使用$70.4\%$准确度,与相同性能但使用$(ε=145.8,δ=10^{-5})$使用常规DP-SGD相比;在额外的公共低维梯度嵌入的帮助下,与相同性能但使用$(ε=111.2, δ=10^{-5})$而不使用ModelMix相比,可以进一步提高$79.1\%$与$(ε=6.1, δ=10^{-5})$ DP预算的准确度。
2022-10-07 cs.CR cs.LG
PrivATE: Differentially Private Confidence Intervals for Average Treatment Effects
LMU Munich(慕尼黑莱茵河大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Stanford University(斯坦福大学)
PrivATE提出一个模型无关、双重稳健的差分隐私框架,通过三步法为平均处理效应构建有效置信区间,并在合成及真实医学数据上验证。该框架首次在(ε,δ)-差分隐私下实现通用有效CI。
2025-10-10 cs.CR cs.LG stat.ME
Training Differentially Private Models with Secure Multiparty Computation
School of Engineering and Technology, University of Washington Tacoma(华盛顿大学塔科马分校工程与技术学院);University of Brasilia(巴西利亚大学);Monash University(莫纳什大学);Ghent University(根特大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
本文提出结合安全多方计算与差分隐私的模型训练方案,在保持形式化隐私保证的同时提升精度,并在iDASH2021竞赛中获第一名。
2025-03-11 cs.CR cs.LG
DP-MAC: The Differentially Private Method of Auxiliary Coordinates for Deep Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学)
开发差分私有深度学习算法是具有挑战性的,这是由于难以分析通常用于训练深度神经网络的目标函数的灵敏度。许多现有的方法诉诸于随机梯度下降算法,并应用一个预先定义的灵敏度的梯度私有化的权重。然而,它们的缓慢收敛通常产生高累积隐私损失。在这里,我们通过采用辅助坐标的方法采取不同的路线,该方法允许我们通过优化每层目标函数来独立更新每层的权重。这个目标函数可以很好地近似低阶泰勒展开,其中灵敏度分析变得易于处理。为了隐私,我们扰动了扩展的系数,我们使用比SGD更先进的优化例程进行优化,以加快收敛速度。我们的经验表明,我们的算法在适度的隐私预算下提供了一个体面的训练模型质量。
2019-10-15 cs.LG stat.ML
Arbitrary Decisions are a Hidden Cost of Differentially Private Training
EPFL(洛桑联邦理工学院);Harvard University(哈佛大学)
本文揭示差分隐私训练中的随机化导致预测多重性,即同等隐私模型对同一输入可产生不同预测,且隐私越强差异越大,呼吁部署前审计此成本。
2023-05-15 cs.CR cs.CY cs.LG