The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning
Georgia Institute of Technology(佐治亚理工学院);University of Victoria(维多利亚大学);Rensselaer Polytechnic Institute(拉特格斯理工学院)
本文研究了任何输出具有高斯分布的算法的隐私性,提出了一种名为正态分布不可区分光谱(NDIS)的通用引理,用于计算任意两个多元高斯分布之间的hockey-stick散度,并将其应用于随机投影等算法的隐私证明,从而实现更高效的隐私保护机制。
2026-05-18 cs.CR cs.LG
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology(麻省理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Boston University(波士顿大学)
本文通过Renyi差分隐私重新分析高斯草图机制,提出更紧的隐私界限,并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University(卡内基梅隆大学)
随着越来越多的敏感个人信息被聚集到数据存储库中,开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中,我们提出了一种算法,用于学习一个判别式训练的多类高斯分类器,满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
Individual Privacy Accounting with Gaussian Differential Privacy
Nokia Bell Labs(诺基亚贝尔实验室);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学);Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系)
该研究针对个体隐私核算需求,基于高斯差分隐私开展分析,结合上鞅与Rényi散度相关结果,构建了近似的个体(ε,δ)-隐私核算器,填补了最优隐私核算器在个体隐私损失分析领域的空白。
2023-08-24 cs.CR cs.LG stat.ML
On The Differential Privacy of Thompson Sampling With Gaussian Prior
Chalmers University of Technology(查尔姆斯理工大学)
我们表明,算法2(Agrawal & Goyal,2013)中详细描述的具有高斯先验的汤普森采样已经是差分私有的。定理1表明,在T轮后,它享有只有$\mathcal{O}(\ln^2 T)$的非常有竞争力的隐私损失。最后,定理2表明,通过适当增加高斯后验样本的方差,可以将隐私损失控制在任何期望的$ε$水平。而这只会增加一个术语$\mathcal{O}(\frac{\ln^2 T}ε)$的遗憾。这与文献中的汤普森采样的先前结果((Mishra & Thakurta,2015))相比是有利的,该文献向遗憾添加了$\mathcal{O}(\frac{K \ln^3 T}{ε^2})$项以实现相同的隐私级别。此外,我们的结果使用了基本的汤普森采样,几乎没有修改,而(Mishra & Thakurta,2015)的结果需要复杂的构造。
2018-06-24 cs.AI cs.CR cs.LG
Tight Differential Privacy for Discrete-Valued Mechanisms and for the Subsampled Gaussian Mechanism Using FFT
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所HIIT);University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学)
我们提出了一个数值会计评估紧$(\varepsilon,δ)$隐私损失的算法与离散一维输出。该方法是基于隐私损失分布形式主义,它使用了最近推出的快速傅立叶变换为基础的会计技术。我们进行了误差分析的隐私损失分布,导致严格的下限和上限的真实$(\varepsilon,δ)$值的时刻界的方法。作为一个应用,我们提出了一种新的方法来准确的隐私会计的子采样高斯机制。这完成了先前提出的分析,给出严格的下限和上限的隐私参数。我们证明了性能的会计二项式机制,并表明,我们的方法允许降低噪声方差高达75%,在同等的隐私文献中现有的界限相比。我们还说明了如何计算紧边界的指数机制应用于计数查询。
2021-06-21 cs.CR cs.LG stat.ML
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
在本答辩中,我们的目标是解决两个广泛的问题,涵盖了讨论中提出的大多数意见。首先,我们讨论了我们工作的一些理论方面,并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看,我们接下来讨论f-差分隐私(f-DP)和高斯差分隐私(GDP)如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy
Stanford University(斯坦福大学);Google Research(谷歌研究院);Yonsei University(延世大学);University of Washington(华盛顿大学)
本文针对流式差分隐私下的L_2均值估计,提出将稀疏化随机性纳入DP噪声的新隐私核算方法,并扩展至矩阵分解框架,在DP-SGD上实现至少100倍压缩改进。
2024-05-02 cs.CR cs.LG
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
深度学习模型通常在包含敏感信息的数据集上进行训练,例如个人的购物交易,个人联系人和医疗记录。因此,一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络,这些隐私约束由差分隐私或其基于发散的松弛指定。然而,这些隐私定义在处理某些重要的原语(组合和子采样)时存在弱点,从而对训练神经网络进行松散或复杂的隐私分析。在本文中,我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18],用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性,本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式,而不需要像[3]那样开发复杂的技术。我们的研究结果表明,$f$ -差分隐私框架允许一种新的隐私分析,它改进了先前的分析~[3],这反过来又建议调整神经网络的某些参数,以获得更好的预测精度,而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务,在图像分类,文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective
The Hong Kong University of Science and Technology(香港科技大学)
该研究从Rényi差分隐私角度分析联邦学习中量化技术的隐私影响,推导量化高斯机制的隐私预算,证明低比特量化可增强隐私保护,并通过成员推理攻击实验验证了理论结论。
2024-05-16 cs.CR cs.DC cs.LG
PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy
South-East University(东南大学)
针对CGANs的隐私泄露及DPCGAN依赖标签数据、梯度裁剪损害精度的问题,提出PATE-TripleGAN框架,结合分类器预分类和混合梯度脱敏算法,在保护隐私的同时生成高质量带标签图像。
2024-04-19 cs.CR cs.CV cs.LG
Shuffle Gaussian Mechanism for Differential Privacy
LINE Corporation(LINE公司)
本文研究差分隐私混洗模型中的高斯机制,推导其Rényi差分隐私上界,证明其优于未混洗高斯机制,并扩展到子采样与混洗签到机制,验证其在分布式学习中的隐私保护效果。
2022-07-04 cs.CR cs.LG stat.ML
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院)
高斯机制是实现差分隐私的一种普遍采用的工具,大量的研究工作都致力于它的分析。我们认为,三个流行的解释GM,即$(\varepsilon, δ)$ -DP,f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$,我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性:查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系,$ψ$为从业者提供了一个强大的方法来解释,比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
On Choosing the $μ$ Parameter in Gaussian Differential Privacy
Lausanne University Hospital(拉索恩大学医院);University of Helsinki(赫尔辛基大学)
本文通过匹配强对手成员推理攻击的最坏情况成功度,提供从纯-DP ε到GDP μ的原则性映射,并推荐 μ≈ε/5 作为保守通用转换。
2026-06-08 cs.LG stat.ML
On the Privacy of Selection Mechanisms with Gaussian Noise
McGill University(麦吉尔大学);Mila(米拉);Google DeepMind(谷歌DeepMind)
重新分析带高斯噪声的 Report Noisy Max 和 Above Threshold 机制,在查询有界假设下推导出紧的纯事前和事后 DP 界限,并提出完全自适应的 Gaussian Sparse Vector Technique 机制,实验证明其实用且调参更少。
2024-03-21 cs.CR cs.LG
Gaussian Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
差分隐私在过去十年中作为数据隐私的严格和实用的形式化已经取得了显着的成功。然而,这种隐私定义及其基于分歧的放松,有几个公认的弱点,无论是在处理组成的私人算法,或在分析重要的原语,如隐私放大子采样。受隐私权假设检验公式的启发,本文提出了一种新的隐私权松弛方法,我们称之为“$f$ -差分隐私”($f$ -DP).这种隐私的概念具有许多吸引人的特性,特别是避免了与基于发散的松弛相关联的困难。首先,$f$ -DP保留了假设检验解释。此外,$f$ -DP允许以代数方式进行关于组合的无损推理。此外,我们提供了一个强大的技术,进口现有的结果证明了原始DP的$f$ -DP,并作为一个应用程序,获得一个简单的子采样定理$f$ -DP。除了上述发现,我们引入了一个规范的单参数家庭的隐私概念内的$f$类,被称为“高斯差分隐私”(GDP),定义基于测试两个移位高斯。GDP是焦点之间的$f$ -DP类,因为我们证明了一个中心极限定理。更确切地说,基于隐私定义(包括原始DP)的\emph{any}假设检验的隐私保证在组合下的极限中收敛于GDP。CLT还产生了一个计算成本低廉的工具,用于分析私有算法的确切组成。综上所述,这些有吸引力的属性使$f$ -DP成为一个数学上一致的、分析上易处理的、多功能的私有数据分析框架。最后,我们展示了我们开发的工具的使用,通过提供一个改进的隐私分析嘈杂的随机梯度下降。
2019-05-30 cs.CR cs.DS cs.LG
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
Shanghai Jiao Tong University(上海交通大学);UCL School of Management(伦敦大学学院管理学院);Imperial Business School(帝国理工学院商学院)
针对已知敏感度的标量实值查询函数,设计了一类混合高斯加性噪声机制,在中等和低隐私预算下显著降低噪声幅度和方差,接近最优性。
2026-05-27 cs.AI cs.CR cs.LG
When Differential Privacy Meets Wireless Federated Learning: An Improved Analysis for Privacy and Convergence
School of Informatics, Xiamen University, China(厦门大学信息学院,中国);Internet of Things Thrust, Hong Kong University of Science and Technology (Guangzhou), China(香港科技大学(广州)物联网研究组,中国)
本文研究了差分隐私无线联邦学习中隐私损失的精确表征及收敛性,提出通用非凸损失目标下的分析方法,明确设备选择与小批量采样影响,证明隐私损失可收敛于常数,建立梯度裁剪下的收敛保证及隐私-效用权衡。
2026-08-04 cs.LG
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research(亚马逊研究院);Amazon Web Services(亚马逊云科技)
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中,我们重新审视高斯机制,并表明原来的分析有几个重要的局限性。我们的分析表明,原机制的方差公式是远离紧密的高隐私制度($\varepsilon \to 0$),它不能扩展到低隐私制度($\varepsilon \to \infty$)。我们通过开发一种最佳高斯机制来解决这些限制,该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上,自适应估计技术,利用扰动的分布是已知的。我们的实验表明,分析校准消除了至少三分之一的噪声方差相比,经典的高斯机制,去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics(统计系);Graduate Group in Applied Mathematics and Computational Science(应用数学与计算科学研究生组);Department of Biostatistics, Epidemiology and Informatics(生物统计学、流行病学与信息学系)
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题,在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题,我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比,我们的新的隐私组合下的边界获得改进的紧密性,利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性,证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
A Differential Privacy Mechanism Design Under Matrix-Valued Query
Princeton University(普林斯顿大学)
传统上,差分隐私机制设计已经针对标量值查询函数进行了定制。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声到矩阵的每个元素,这种方法往往是次优的,因为它丧失了利用通常与矩阵分析相关联的结构特性的机会。在这项工作中,我们考虑的差分隐私机制的设计,专门为矩阵值查询功能。所提出的解决方案是利用矩阵变量噪声,而不是传统的标量值噪声。特别是,我们提出了一种新的差分隐私机制称为矩阵变量高斯(MVG)机制,它增加了一个矩阵值的噪声从矩阵变量高斯分布。我们证明了MVG机制保留$(ε,δ)$ -差分隐私,并表明它允许自然地利用矩阵值查询函数的结构特征。此外,由于MVG机制和矩阵值查询的多维性质,我们引入了方向噪声的概念,可以利用它来减轻噪声对查询效用的影响。最后,我们展示了MVG机制的性能和方向噪声的优势,使用三个矩阵值查询三个隐私敏感的数据集。我们发现,MVG机制显着优于四个以前的国家的最先进的方法,并提供了可比的实用程序的非私人基线。因此,我们的工作提出了一个很好的前景,未来的研究和实现的差分隐私矩阵值查询函数。
2018-02-26 cs.CR cs.LG
Sketched Gaussian Mechanism for Private Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出草图高斯机制(SGM),联合分析草图化与高斯机制的隐私,证明其隐私随草图维度平方根增强,应用于联邦学习在相同隐私下性能优于非草图化方法。
2025-09-09 cs.DC cs.LG
Mitigating Query-Flooding Parameter Duplication Attack on Regression Models with High-Dimensional Gaussian Mechanism
由机器学习算法实现的公共智能服务容易受到模型窃取攻击的攻击,这些攻击可以通过公共查询窃取学习模型的机密信息。差分隐私(DP)被认为是一种很有前途的技术,以减轻这种攻击。然而,我们发现,当回归模型受到当前DP解决方案的保护时,该漏洞仍然存在。我们发现,对手可以发起查询洪水参数重复(QPD)攻击,通过重复查询来推断模型信息。为了抵御QPD攻击的逻辑和线性回归模型,我们提出了一种新的高维高斯(HDG)机制,以防止未经授权的信息泄露,而不会中断预期的服务。与现有的工作相比,HDG机制将动态地产生隐私预算和随机噪声,为不同的查询和他们的结果,以提高混淆。此外,HDG首次实现了最佳隐私预算分配,该预算分配自动确定每个维度上每个用户所需隐私级别的最小噪声量。我们使用真实世界的数据集全面评估HDG的性能,并表明HDG有效地减轻了QPD攻击,同时满足隐私要求。我们亦准备将有关的程式码开放予社会人士作进一步研究。
2020-06-07 cs.CR cs.LG
Private and Utility Enhanced Recommendations with Local Differential Privacy and Gaussian Mixture Model
Northumbria University(诺森比亚大学);University of Alberta(阿尔伯塔大学)
推荐系统在很大程度上依赖于用户的行为和偏好数据(例如评级,喜欢)来产生准确的推荐。然而,由于服务提供商(SP)进行的不道德的数据聚合和分析做法,用户会遇到隐私问题。基于局部差分隐私(LDP)的扰动机制在将用户数据发送到SP之前在用户侧将噪声添加到用户数据。SP然后使用扰动的数据来执行推荐。虽然LDP保护了用户的隐私不受SP的影响,但它导致预测准确性大幅下降。为了解决这个问题,我们提出了一个基于LDP的矩阵分解(MF)与高斯混合模型(MoG)。LDP扰动机制,有界拉普拉斯(BLP),通过将扰动评级限制在预定的域来调节噪声的影响。我们得到了BLP的尺度参数满足$ε$ LDP的一个充分条件。在SP处,MoG模型估计添加到扰动评级的噪声,MF算法预测缺失评级。我们提出的基于LDP的推荐系统在不违反LDP原则的情况下提高了推荐的准确性。对三个真实世界数据集进行了实证评估,即,Movielens,Libimseti和Jester证明了我们的方法在强隐私保证下大幅提高了预测准确性。
2021-03-06 cs.LG
Gaussian Differential Privacy on Riemannian Manifolds
University of Alberta(阿尔伯塔大学)
本文提出一种基于Bishop-Gromov定理的黎曼高斯分布,首次将高斯差分隐私扩展到一般黎曼流形,并提供算法计算隐私预算,在单位球面上验证了优于黎曼拉普拉斯机制的效用。
2023-11-09 cs.CR cs.DS cs.LG
ImprovDML: Improved Trade-off in Private Byzantine-Resilient Distributed Machine Learning
针对分布式机器学习中拜占庭攻击与隐私泄露的联合挑战,提出ImprovDML框架,利用弹性向量共识和多元高斯噪声,在保证隐私与鲁棒性的同时提升模型准确率,并给出更紧的误差界,实现更优权衡。
2025-06-18 cs.LG
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto(多伦多大学)
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题,但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下,并证明,足够高的压缩率降低准确性。类似地,现有的文献在差分隐私评估隐私机制的压缩的情况下,并证明,足够强大的隐私保证降低准确性。在这项工作中,我们观察到,虽然梯度压缩通常对非私有训练中的测试准确性有负面影响,但它有时可以提高差异私有训练中的测试准确性。具体来说,我们观察到,当采用积极的稀疏化或降秩梯度,测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响,估计平均梯度的偏差和方差。我们遵循这项研究,并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议,发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%,并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation
本文提出统一分析框架,揭示逐层高斯噪声注入的隐式目标与隐私预算分配问题,并设计信噪比一致的噪声分配策略,在集中式和联邦学习中实现更优的隐私-效用权衡。
2025-10-17 cs.LG
Let's Ask Gauss: Improved One-Run Privacy Auditing
Georgia Institute of Technology(佐治亚理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);Purdue University(普渡大学)
提出一种基于高斯渐近分布的差分隐私审计框架,利用白盒DP-SGD中金丝雀对齐信号的归一化和,从单次训练运行中获取更紧的隐私下界。
2026-10-16 cs.LG
PLRV-O: Advancing Differentially Private Deep Learning via Privacy Loss Random Variable Optimization
University of Connecticut(康涅狄格大学);Iowa State University(爱荷华州立大学);The University of Kansas(堪萨斯大学);University of Illinois at Chicago(伊利诺伊大学香槟分校);Cisco Research(思科研究)
PLRV-O提出一种参数化DP-SGD噪声分布优化框架,解耦隐私损失与效用损失,实现任务自适应噪声调整,在CIFAR-10和SST-2上显著提升严格隐私下的模型精度。
2025-09-08 cs.CR cs.LG
Improved Algorithms for Differentially Private Language Model Alignment
Peking University(北京大学)
针对语言模型对齐中的隐私问题,本文提出可结合DPO与RLHF的差分隐私对齐算法,DP-AdamW在中等隐私预算下最高提升15%对齐质量。
2025-05-13 cs.AI cs.CR cs.LG
Tight Auditing of Differentially Private Machine Learning
Google DeepMind(谷歌DeepMind);ETHZ(苏黎世联邦理工学院)
差分隐私的审计机制使用概率手段来经验性地估计算法的隐私级别。对于私有机器学习,现有的审计机制是严格的:经验隐私估计(几乎)匹配算法的可证明隐私保证。但这些审计技术有两个局限性。首先,他们只在不可信的最坏情况假设下给出严格的估计(例如,一个完全对抗的数据集)。其次,它们需要数千或数百万次训练运行来产生隐私泄漏的重要统计估计。这项工作解决了这两个问题。我们设计了一个改进的审计方案,可以对自然(而不是对手精心制作的)数据集进行严格的隐私估计-如果对手可以在训练期间看到所有模型更新。以前的审计工作依赖于相同的假设,这是允许在标准的差分隐私威胁模型。该威胁模型也适用于,例如,在联邦学习环境中。此外,我们的审计方案只需运行两次训练(而不是数千次)即可通过调整差分隐私紧合成定理的最新进展来产生严格的隐私估计。我们展示了我们改进的审计方案的实用性,通过在私人机器学习代码中隐藏先前审计技术的实现错误。
2023-02-15 cs.CR cs.LG
Privacy-Aligned Personalized Federated Learning with Compact Adaptation and Variable-Length Gaussian Communication
City University of Hong Kong(香港城市大学);University of British Columbia(不列颠哥伦比亚大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对个性化联邦学习中低维客户端变化与高维更新释放的结构错位,提出一次性释放私有上下文并限制适配于系数空间,结合变长量化实现高斯机制,在MNIST和CIFAR-10上匹配或超越全模型私有适配,并大幅降低通信成本。
2026-09-15 cs.LG
Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning
Harvard University(哈佛大学);University of Oxford(牛津大学);Columbia University(哥伦比亚大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文研究了通用高斯机制在隐私保护机器学习中的应用,证明其满足差分隐私,并在PATE和DP-SGD中验证了其有效性,表明高斯机制在可计算范围内表现优异。
2026-04-02 cs.CR cs.LG stat.ML
Improved Differential Privacy for SGD via Optimal Private Linear Operators on Adaptive Streams
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Research(谷歌研究院);Boston University(波士顿大学)
最近的应用程序需要差分隐私自适应流的动机,我们调查的矩阵机制在这种设置的最佳实例化的问题。我们证明了基本的理论结果的适用性矩阵分解自适应流,并提供了一个无参数的不动点算法计算最佳因子分解。我们实例化这个框架的具体矩阵,自然出现在机器学习,训练用户级差分隐私模型与由此产生的最佳机制,产生显着的改善,在一个显着的问题,在联邦学习与用户级差分隐私。
2023-01-18 cs.LG math.OC
Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校);INRIA(法国国家信息与自动化研究所)
针对LDP对所有特征统一保护导致下游性能下降的问题,本文提出贝叶斯坐标差分隐私框架BCDP,按特征敏感性量化并调整隐私保护,并在均值估计与最小二乘回归中验证其可在不损害隐私的前提下提升准确率。
2024-10-24 cs.CR cs.LG stat.ML
Reviewing and Improving the Gaussian Mechanism for Differential Privacy
Nanyang Technological University(南洋理工大学);Nanjing University(南京大学);Xi’an Jiaotong University(西安交通大学);WeBank Co Ltd(微众银行股份有限公司)
差分隐私提供了一个严格的框架来量化数据隐私,并已受到相当大的兴趣,最近。满足$(ε, δ)$ -差分隐私(DP)的随机化机制大致意味着,除了小概率$δ$之外,改变数据集中的记录不能改变输出被多于乘法因子$e^ε $看到的概率。$(ε, δ)$的公知解决方案是由Dwork等人在2006年发起的高斯机制[1],并由Dwork和Roth在2014年进行了改进[2],其中对于具有$\ell_2$敏感性$Δ$的查询,将高斯噪声量$\sqrt{2\ln \frac{2}δ} \times \fracΔε$ [1]或$\sqrt{2\ln \frac{1.25}δ} \times \fracΔε$ [2]独立地添加到查询结果的每个维度。虽然两种经典高斯机制[1,2]都假设了$0 < ε\leq 1$,但我们的综述发现,文献中的许多研究都使用了$ε$和$δ$值下的经典高斯机制,其中[1,2]的添加噪声量没有达到$(ε,δ)$ -DP。我们通过分析$(ε,δ)$-DP的最佳噪声量$σ_{DP-OPT}$并识别出经典机构的噪声量甚至小于$σ_{DP-OPT}$的$ε$和$δ$来获得这样的结果。由于$σ_{DP-OPT}$没有封闭形式的表达式,需要近似迭代的方式,我们提出高斯机制推导封闭形式的上限$σ_{DP-OPT}$。我们的机制实现了任何$ε$的$(ε,δ)$ -DP,而经典机制[1,2]在给定$δ…
2019-12-07 cs.AI cs.CR cs.CY
Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning
Harvard University(哈佛大学);Lausanne University Hospital(洛桑大学医院);Google DeepMind(谷歌DeepMind);University of Helsinki(赫尔辛基大学)
针对当前机器学习中差分隐私报告不完整的问题,提出使用非渐近高斯差分隐私(GDP)作为主要报告方式,通过数值会计和决策理论度量,证明GDP能无误差地捕获DP-SGD等算法的完整隐私特征。
2026-06-17 cs.AI cs.CR cs.LG
MVG Mechanism: Differential Privacy under Matrix-Valued Query
Princeton University(普林斯顿大学)
传统上,差分隐私机制设计是针对纯量值查询函数量身定制的。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声的矩阵的每个元素,这种方法往往是次优的,因为它丧失了一个机会,利用结构特征,通常与矩阵分析。为了解决这个问题,我们提出了一种新的差分隐私机制称为矩阵变量高斯(MVG)机制,它增加了一个矩阵值的噪声从矩阵变量高斯分布,我们严格证明了MVG机制保持$(ε,δ)$ -差分隐私。此外,我们引入了方向噪声的概念,通过MVG机制的设计成为可能。定向噪声允许噪声对矩阵值查询函数的效用的影响被缓和。最后,我们实验证明了我们的机制使用三个矩阵值查询三个隐私敏感的数据集的性能。我们发现,MVG机制显着优于四个以前的国家的最先进的方法,并提供了可比的实用程序的非私人基线。
2018-10-16 cs.CR cs.LG stat.ML
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research(谷歌研究院)
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私,我们添加了设备上的噪声,并使用安全聚合,以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统,它适当地离散化数据,并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响,数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明,我们的解决方案基本上是能够匹配的准确性,中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut(康涅狄格大学);CWI Amsterdam(阿姆斯特丹数学与计算机科学研究中心);IBM Research(IBM研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而,在原始同步联邦学习的情况下,客户端设备遭受等待时间,并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感,因此,对大量客户端的可扩展性较小或有限,并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法,它消除了等待时间,减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析,并提供了仿真结果。通过添加高斯噪声,我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara(圣巴巴拉大学);Amazon AI(亚马逊人工智能);UC San Diego(圣迭戈大学)
本文提出ASAP算法,通过按W∞距离对MCMC样本添加噪声,在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差,并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
DP-IVON-Gradsq: Differentially Private Squared-Gradient Improved Variational Online Newton
EURECOM(欧洲电信研究院);Concordia University(康考迪亚大学);University of Granada(格拉纳达大学)
研究结合差分隐私与贝叶斯深度学习的挑战,提出DP-IVON-Gradsq方法,通过噪声校正平方梯度估计器构建曲率估计,在CIFAR-10上评估,该方法在弱到中等隐私约束下有竞争力,强隐私下性能下降。
2026-11-05 cs.LG
Graph Structure Learning with Privacy Guarantees for Open Graph Data
Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种在数据发布阶段集成高斯差分隐私的图结构学习框架,通过在数据发布前注入结构化高斯噪声,实现隐私保护与图结构恢复的平衡,实验验证了在严格隐私预算下保持高图恢复准确性的隐私-效用权衡。
2026-03-24 cs.AI cs.LG
Improved Generalization Guarantees in Restricted Data Models
Harvard University(哈佛大学)
众所周知,差分隐私可以防止由于自适应或探索性数据分析而导致的有效性威胁-即使分析师对抗性地搜索与底层人群的感兴趣数量的真实值不同的统计估计。这种保护的代价是差分隐私造成的准确性损失。在这项工作中,受基因组学文献中的标准模型的启发,我们考虑了数据模型,其中个体由一系列属性表示,其中远距离属性仅弱相关。我们表明,在这种假设下,可以在数据的不同部分上“重用”隐私预算,从而在不增加过度拟合风险的情况下显著提高准确性。
2022-07-20 cs.CR cs.CY cs.LG
Differential Privacy for Functions and Functional Data
Carnegie Mellon University(卡内基梅隆大学)
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量,或一些离散集的元素。我们开发的方法释放功能,同时保持差分隐私。具体来说,我们表明,添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时,则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子,我们考虑核密度估计,核支持向量机,并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
Binary Federated Learning with Client-Level Differential Privacy
The Hong Kong University of Science and Technology(香港科技大学)
本文提出一种结合二值神经网络与离散噪声的联邦学习算法,在客户端级差分隐私保护下提升通信效率并改善隐私-效用权衡。
2023-08-07 cs.AI cs.CR cs.LG
Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning
Yonsei University(延世大学);Deakin University(迪肯大学);MIT Media Lab(麻省理工学院媒体实验室);University of Oulu(奥卢大学)
本文寻求一种用于可视化Transformer(ViT)体系结构的分布式学习解决方案。与卷积神经网络(CNN)架构相比,ViT通常具有更大的模型大小,并且计算成本高,使得联邦学习(FL)不适合。分裂学习(SL)可以通过分裂模型并在分裂层传达隐藏的表示(也称为破碎数据)来绕过这个问题。尽管如此,ViT的粉碎数据与输入数据一样大并且一样相似,否定了SL的通信效率,同时违反了数据隐私。为了解决这些问题,我们提出了一种新的形式的CutSmashed数据通过随机打孔和压缩原始粉碎数据。利用这一点,我们开发了一个新的SL框架的ViT,创造CutMixSL,通信CutSmashed数据。CutMixSL不仅降低了通信成本和隐私泄露,还内在地涉及到CutMix的数据增强,提高了准确性和可扩展性。模拟证实,CutMixSL优于基线,如并行SL和SplitFed,集成FL与SL。
2022-07-01 cs.CR cs.CV cs.DC
Locally Private Gaussian Estimation
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research Redmond(微软研究院雷德蒙德分院);Google Research New York(谷歌研究院纽约分院);University of Minnesota(明尼苏达大学)
我们研究一个基本的私人估计问题:每个$n$用户画一个单一的i.i. d。从未知的高斯分布中采样,目标是估计该高斯分布的均值,同时满足每个用户的局部差分隐私。非正式地,局部差分隐私要求每个数据点在被传递到学习算法之前被单独且独立地私有化。因此,局部私有高斯估计是困难的,因为数据域是无界的:用户可以绘制任意不同的输入,但局部差分隐私仍然要求不同的用户具有(最坏情况)相似的私有化输出分布。我们提供了自适应两轮解决方案和非自适应一轮解决方案的局部私人高斯估计。然后,我们部分匹配这些上限与信息理论的下限。这个下限表明,我们的准确性保证是紧对数因子的所有顺序交互式$(\varepsilon,δ)$本地私有协议。
2019-10-27 cs.LG stat.ML
A Neighbourhood-Aware Differential Privacy Mechanism for Static Word Embeddings
University of Liverpool(利物浦大学);Amazon(亚马逊);National Institute of Informatics(国立信息学研究所);International Professional University of Technology in Tokyo(东京国际工科专门职大学)
本文提出邻域感知差分隐私机制,通过词嵌入最近邻图分解邻域并施加差异化高斯噪声,在多个下游任务中优于拉普拉斯、高斯和马氏等差分隐私机制,同时提供更高隐私保障。
2023-09-19 cs.AI cs.CL cs.CR
On Inherent Privacy of Posterior Sampling: A Unified Rényi-Divergence Framework
University of Rhode Island(罗德岛大学);University of Notre Dame(圣母大学)
本研究提出统一Rényi散度框架,刻画贝叶斯后验采样的固有差分隐私保障,推导OPS隐私损失边界,将框架应用于多类贝叶斯模型,恢复并拓展了现有相关结果。
2026-10-15 cs.LG math.ST stat.ML
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau(物联网智能城市国家重点实验室和澳门大学电子与计算机工程系);Department of Electrical and Computer Engineering, Cornell Tech, Cornell University(电气与计算机工程系,康奈尔科技,康奈尔大学);Computing Sciences Research, Lawrence Berkeley National Laboratory(计算科学研究所,劳伦斯伯克利国家实验室)
本文提出通过KL散度度量高斯混合模型发布精度,结合差分隐私机制,在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Evaluation of Differential Privacy Mechanisms on Federated Learning
Technical University of Munich(慕尼黑工业大学)
针对联邦学习中固定差分隐私预算导致模型收敛时噪声过大的问题,本工作基于 SelecEval 模拟器实现了自适应隐私预算的 Laplace 和 Gaussian 机制,并引入自适应裁剪技术,实验证明该方法能在保护隐私的同时维持模型准确率。
2025-10-09 cs.AI cs.LG
The Skellam Mechanism for Differentially Private Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们引入了一种基于两个独立Poisson随机变量之差的离散差分隐私机制-为了量化其隐私保证,我们分析了隐私损失分布通过数值计算,并提供了一个尖锐的限制两个移位的Rényi分歧之间的分布。虽然在集中式和分布式隐私应用程序中很有用,但我们研究了如何在通信约束下安全聚合的联邦学习环境中应用它。我们的理论研究结果和广泛的实验评估表明,即使在精度较低的情况下,连续高斯机制也提供了与连续高斯机制相同的隐私准确性权衡。更重要的是,在求和和采样下,它是封闭的,只需要从泊松分布中采样-这是一个有效的例程,与所有机器学习和数据分析软件包一起使用。这些功能,以及其离散性和竞争性的隐私准确性权衡,使其成为一个有吸引力的实用替代新引入的离散高斯机制。
2021-10-29 cs.CR cs.DS cs.LG