On Choosing the $μ$ Parameter in Gaussian Differential Privacy
Lausanne University Hospital（拉索恩大学医院）；University of Helsinki（赫尔辛基大学）
本文通过匹配强对手成员推理攻击的最坏情况成功度，提供从纯-DP ε到GDP μ的原则性映射，并推荐 μ≈ε/5 作为保守通用转换。
2026-06-08 cs.LG stat.ML
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology（新泽西理工学院）；Kent State University（肯特州立大学）；University of Oregon（俄勒冈大学）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
在本文中，我们提出了一种新的异构高斯机制（HGM），以保持差分隐私在深度神经网络，具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从（0，1]放宽到（0，\infty），并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配，提供了一个独特的能力，以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性，我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后，提出了一个更严格的鲁棒性界。理论分析和全面的评估表明，我们的机制显着提高了不同的私人深度神经网络的鲁棒性，与基线方法相比，在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
差分隐私在过去十年中作为数据隐私的严格和实用的形式化已经取得了显着的成功。然而，这种隐私定义及其基于分歧的放松，有几个公认的弱点，无论是在处理组成的私人算法，或在分析重要的原语，如隐私放大子采样。受隐私权假设检验公式的启发，本文提出了一种新的隐私权松弛方法，我们称之为“$f$ -差分隐私”（$f$ -DP）.这种隐私的概念具有许多吸引人的特性，特别是避免了与基于发散的松弛相关联的困难。首先，$f$ -DP保留了假设检验解释。此外，$f$ -DP允许以代数方式进行关于组合的无损推理。此外，我们提供了一个强大的技术，进口现有的结果证明了原始DP的$f$ -DP，并作为一个应用程序，获得一个简单的子采样定理$f$ -DP。除了上述发现，我们引入了一个规范的单参数家庭的隐私概念内的$f$类，被称为“高斯差分隐私”（GDP），定义基于测试两个移位高斯。GDP是焦点之间的$f$ -DP类，因为我们证明了一个中心极限定理。更确切地说，基于隐私定义（包括原始DP）的\emph{any}假设检验的隐私保证在组合下的极限中收敛于GDP。CLT还产生了一个计算成本低廉的工具，用于分析私有算法的确切组成。综上所述，这些有吸引力的属性使$f$ -DP成为一个数学上一致的、分析上易处理的、多功能的私有数据分析框架。最后，我们展示了我们开发的工具的使用，通过提供一个改进的隐私分析嘈杂的随机梯度下降。
2019-05-30 cs.CR cs.DS cs.LG
Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation
Aalborg University（奥尔堡大学）
隐私已经成为机器学习中的一个主要问题。事实上，联邦学习是出于隐私考虑，因为它不允许传输私有数据，而只允许中间更新。然而，联邦学习并不总是保证隐私保护，因为中间更新也可能泄露敏感信息。本文对高斯混合模型下的联邦期望最大化算法进行了显式的信息论分析，证明了中间更新会导致严重的隐私泄露。为了解决隐私问题，我们提出了一个完全分散的隐私保护解决方案，它能够安全地计算每个最大化步骤中的更新。此外，我们考虑两种不同类型的安全攻击：诚实但好奇和窃听对手模型。数值验证表明，该方法具有优越的性能相比，现有的方法在准确性和隐私级别。
2022-09-16 cs.CR cs.LG
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
Shanghai Jiao Tong University（上海交通大学）；UCL School of Management（伦敦大学学院管理学院）；Imperial Business School（帝国理工学院商学院）
针对已知敏感度的标量实值查询函数，设计了一类混合高斯加性噪声机制，在中等和低隐私预算下显著降低噪声幅度和方差，接近最优性。
2026-05-27 cs.AI cs.CR cs.LG
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research（亚马逊研究院）；Amazon Web Services（亚马逊云科技）
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中，我们重新审视高斯机制，并表明原来的分析有几个重要的局限性。我们的分析表明，原机制的方差公式是远离紧密的高隐私制度（$\varepsilon \to 0$），它不能扩展到低隐私制度（$\varepsilon \to \infty$）。我们通过开发一种最佳高斯机制来解决这些限制，该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上，自适应估计技术，利用扰动的分布是已知的。我们的实验表明，分析校准消除了至少三分之一的噪声方差相比，经典的高斯机制，去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Shuffle Gaussian Mechanism for Differential Privacy
LINE Corporation（LINE公司）
本文研究差分隐私混洗模型中的高斯机制，推导其Rényi差分隐私上界，证明其优于未混洗高斯机制，并扩展到子采样与混洗签到机制，验证其在分布式学习中的隐私保护效果。
2022-07-04 cs.CR cs.LG stat.ML
Formal Privacy for Functional Data with Gaussian Perturbations
出于快速崛起的统计工具在功能数据分析，我们认为高斯机制实现差分隐私的参数估计值，潜在的无限维，可分离的巴拿赫空间。使用经典的结果从概率论，我们展示了如何密度在函数空间可以利用，以实现所需的差分隐私界。这将Hall等人（2013）的先前结果扩展到更广泛的统计估计和摘要类别，包括“路径级”摘要，非线性泛函和全函数发布。通过关注巴拿赫空间，我们提供了一个更深层次的复杂数据隐私的挑战，特别是正则化在平衡效用和隐私的作用。使用惩罚平滑的应用程序，我们明确强调这种平衡的背景下，平均函数估计。模拟和应用扩散张量成像简要介绍，广泛的补充包括在一个补充。
2019-01-28 math.ST stat.TH
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University（上海交通大学）
近年来，机器学习的广泛应用对大规模、高维数据产生了巨大的需求，而数据的隐私问题也引起了人们的严重关注。差分隐私（DP）机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件，提出了一种改进的矩阵高斯机制（IMGM）。IMGM只对噪声协方差矩阵的奇异值施加约束，这为设计留下了空间。在矩阵值DP的合法噪声分布中，我们发现最佳分布是i.i.d.。高斯噪声，并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外，在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology（麻省理工学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Boston University（波士顿大学）
本文通过Renyi差分隐私重新分析高斯草图机制，提出更紧的隐私界限，并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
Generalized Gaussian Mechanism for Differential Privacy
在数据隐私技术的研究和应用中，信息披露风险的评估是至关重要的。差分隐私（DP）的概念，形式化的概率隐私，并提供了一个强大的隐私保护的概念，而不对对手的背景知识的假设。DP的实际应用涉及DP机制的开发，以预先指定的隐私预算发布结果。基于统计查询的$l_p$全局敏感性，将广泛使用的Laplace机制推广到广义高斯（GG）机制族.探讨了GG机制在预定隐私参数下达到DP的理论要求，研究了GG机制与基于GG分布的指数机制之间的联系和区别，并给出了$(ε,δ)$的高斯机制的尺度参数的下界--概率DP作为GG机制的特例，并比较高斯和拉普拉斯机制中的尾部概率和分散度中的净化结果的统计效用。最后，我们在3个实验（霉菌，捷克，成人数据）中应用GG机制，并通过$l_1$距离和Kullback-Leibler散度比较消毒结果的准确性，并研究消毒如何影响成人实验中使用消毒数据构建的分类器的预测能力。
2017-12-23 math.ST stat.TH
On Inherent Privacy of Posterior Sampling: A Unified Rényi-Divergence Framework
University of Rhode Island（罗德岛大学）；University of Notre Dame（圣母大学）
本研究提出统一Rényi散度框架，刻画贝叶斯后验采样的固有差分隐私保障，推导OPS隐私损失边界，将框架应用于多类贝叶斯模型，恢复并拓展了现有相关结果。
2026-10-15 cs.LG math.ST stat.ML
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta；FAIR（Facebook人工智能研究院）
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题，提出有界支撑高斯机制的简单修改方案，经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy
Institute of Science and Technology Austria（奥地利科学与技术研究所）；BARC University of Copenhagen（哥本哈根大学BARC）
研究提出抖动高斯机制用于差分隐私，将离散化用于隐私输出，继承高斯机制隐私保证且避免浮点漏洞。该机制随机性高效，通过分离随机性来源减少随机比特数，应用于模型训练可实现安全噪声生成且开销适度。
2026-10-02 cs.CR cs.LG
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics（统计系）；Graduate Group in Applied Mathematics and Computational Science（应用数学与计算科学研究生组）；Department of Biostatistics, Epidemiology and Informatics（生物统计学、流行病学与信息学系）
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题，在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题，我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比，我们的新的隐私组合下的边界获得改进的紧密性，利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性，证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
A closed form scale bound for the $(ε, δ)$-differentially private Gaussian Mechanism valid for all privacy regimes
用于通过添加具有方差$σ^2$的零均值高斯噪声来提供$(ε, δ)$ -差分隐私的$σ$上的标准闭合形式下限是用于$ε\in (0,1)$的$σ> Δ\sqrt {2}(ε^{-1}) \sqrt {\log \left( 5/4δ^{-1} \right)}$。如果$δ\leq 1/2$和$(a,s)=(π/4,-1)$不相同，我们给出了$z=-\log(4δ(1-δ))$和$(a,s)=(1,1)$的类似封闭形式界$σ\geq Δ(ε\sqrt{2})^{-1} \left(\sqrt{az+ε} + s\sqrt{az}\right)$。我们的界对所有$ε> 0$都有效，并且总是更低（更好）。我们还提出了一个充分条件$(ε, δ)$ -差分隐私时，根据均匀分布的噪声和对数凹密度支持无处不在。
2021-01-21 cs.CR stat.ML
On The Differential Privacy of Thompson Sampling With Gaussian Prior
Chalmers University of Technology（查尔姆斯理工大学）
我们表明，算法2（Agrawal & Goyal，2013）中详细描述的具有高斯先验的汤普森采样已经是差分私有的。定理1表明，在T轮后，它享有只有$\mathcal{O}(\ln^2 T)$的非常有竞争力的隐私损失。最后，定理2表明，通过适当增加高斯后验样本的方差，可以将隐私损失控制在任何期望的$ε$水平。而这只会增加一个术语$\mathcal{O}(\frac{\ln^2 T}ε)$的遗憾。这与文献中的汤普森采样的先前结果（（Mishra & Thakurta，2015））相比是有利的，该文献向遗憾添加了$\mathcal{O}(\frac{K \ln^3 T}{ε^2})$项以实现相同的隐私级别。此外，我们的结果使用了基本的汤普森采样，几乎没有修改，而（Mishra & Thakurta，2015）的结果需要复杂的构造。
2018-06-24 cs.AI cs.CR cs.LG
The Discrete Gaussian for Differential Privacy
本文提出在差分隐私中使用离散高斯分布替代连续高斯噪声，以解决有限计算机表示误差导致的隐私破坏和离散数据可解释性下降问题，并从理论和实验上证明其提供与连续高斯噪声基本相同的隐私和精度保证，同时给出高效的精确采样算法。
2024-11-18 cs.CR cs.DS stat.ML
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）
高斯机制是实现差分隐私的一种普遍采用的工具，大量的研究工作都致力于它的分析。我们认为，三个流行的解释GM，即$(\varepsilon, δ)$ -DP，f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$，我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性：查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系，$ψ$为从业者提供了一个强大的方法来解释，比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
Gaussian Differential Privacy on Riemannian Manifolds
University of Alberta（阿尔伯塔大学）
本文提出一种基于Bishop-Gromov定理的黎曼高斯分布，首次将高斯差分隐私扩展到一般黎曼流形，并提供算法计算隐私预算，在单位球面上验证了优于黎曼拉普拉斯机制的效用。
2023-11-09 cs.CR cs.DS cs.LG
The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Victoria（维多利亚大学）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
本文研究了任何输出具有高斯分布的算法的隐私性，提出了一种名为正态分布不可区分光谱（NDIS）的通用引理，用于计算任意两个多元高斯分布之间的hockey-stick散度，并将其应用于随机投影等算法的隐私证明，从而实现更高效的隐私保护机制。
2026-05-18 cs.CR cs.LG
The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective
The Hong Kong University of Science and Technology（香港科技大学）
该研究从Rényi差分隐私角度分析联邦学习中量化技术的隐私影响，推导量化高斯机制的隐私预算，证明低比特量化可增强隐私保护，并通过成员推理攻击实验验证了理论结论。
2024-05-16 cs.CR cs.DC cs.LG
Differentially private sub-Gaussian location estimators
我们解决的问题，估计一个位置参数差分隐私保证和亚高斯偏差。最近的统计工作集中在研究估计，实现亚高斯型偏差，即使是重尾数据。我们通过差分隐私的镜头重新审视了其中的一些估计，并表明拉普拉斯机制的天真应用可能会导致次优结果。我们设计了两个私人算法估计中位数，导致估计子高斯型错误。与大多数现有的差分私人中位数估计，这两种算法都定义为无界随机变量，甚至不需要有有限的时刻。然后，我们转向亚高斯均值估计的问题，并表明，在重尾自然差分私人替代品导致严格更差的偏差比他们的非私人亚高斯同行。这与最近的结果形成鲜明对比，这些结果表明，从渐近的角度来看，差分隐私的成本可以忽略不计。
2019-06-27 math.ST stat.ML stat.TH
PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy
South-East University（东南大学）
针对CGANs的隐私泄露及DPCGAN依赖标签数据、梯度裁剪损害精度的问题，提出PATE-TripleGAN框架，结合分类器预分类和混合梯度脱敏算法，在保护隐私的同时生成高质量带标签图像。
2024-04-19 cs.CR cs.CV cs.LG
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research（谷歌研究院）
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私，我们添加了设备上的噪声，并使用安全聚合，以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统，它适当地离散化数据，并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响，数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上是能够匹配的准确性，中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
Scale Analysis and Shape Selection for the Generalized Gaussian Mechanism under Approximate Differential Privacy
Carleton University（卡尔顿大学）
本文针对近似差分隐私下的广义高斯机制，研究其尺度估计与形状选择，提出区间式形状搜索算法，优化形状参数可在保证隐私的同时提升效用、降低方差。
2026-09-01 math.ST stat.ME stat.TH
Sketched Gaussian Mechanism for Private Federated Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出草图高斯机制（SGM），联合分析草图化与高斯机制的隐私，证明其隐私随草图维度平方根增强，应用于联邦学习在相同隐私下性能优于非草图化方法。
2025-09-09 cs.DC cs.LG
Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning
Harvard University（哈佛大学）；University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文研究了通用高斯机制在隐私保护机器学习中的应用，证明其满足差分隐私，并在PATE和DP-SGD中验证了其有效性，表明高斯机制在可计算范围内表现优异。
2026-04-02 cs.CR cs.LG stat.ML
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara（圣巴巴拉大学）；Amazon AI（亚马逊人工智能）；UC San Diego（圣迭戈大学）
本文提出ASAP算法，通过按W∞距离对MCMC样本添加噪声，在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差，并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning
Harvard University（哈佛大学）；Lausanne University Hospital（洛桑大学医院）；Google DeepMind（谷歌DeepMind）；University of Helsinki（赫尔辛基大学）
针对当前机器学习中差分隐私报告不完整的问题，提出使用非渐近高斯差分隐私（GDP）作为主要报告方式，通过数值会计和决策理论度量，证明GDP能无误差地捕获DP-SGD等算法的完整隐私特征。
2026-06-17 cs.AI cs.CR cs.LG
General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation
University of Toronto（多伦多大学）
本文研究差分隐私下无偏高维均值估计，提出计算高斯噪声最优协方差的算法，并证明高斯噪声机制在强意义下达到近乎最优误差，扩展至局部和近似差分隐私。
2023-12-20 cs.CR cs.DS cs.LG
Gaussian Differential Private Bootstrap by Subsampling
本文提出了一种私有的经验 $m$ out of $n$ 自助法，在高斯差分隐私下验证了其一致性，相比私有 $n$ out of $n$ 自助法，该方法降低了计算成本与噪声，提升了统计准确性和有限样本性质。
2025-05-02 cs.LG math.ST stat.CO
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学研究中心）；IBM Research（IBM研究院）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而，在原始同步联邦学习的情况下，客户端设备遭受等待时间，并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感，因此，对大量客户端的可扩展性较小或有限，并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法，它消除了等待时间，减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析，并提供了仿真结果。通过添加高斯噪声，我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
Differential Privacy for Functions and Functional Data
Carnegie Mellon University（卡内基梅隆大学）
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量，或一些离散集的元素。我们开发的方法释放功能，同时保持差分隐私。具体来说，我们表明，添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时，则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子，我们考虑核密度估计，核支持向量机，并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
MVG Mechanism: Differential Privacy under Matrix-Valued Query
Princeton University（普林斯顿大学）
传统上，差分隐私机制设计是针对纯量值查询函数量身定制的。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声的矩阵的每个元素，这种方法往往是次优的，因为它丧失了一个机会，利用结构特征，通常与矩阵分析。为了解决这个问题，我们提出了一种新的差分隐私机制称为矩阵变量高斯（MVG）机制，它增加了一个矩阵值的噪声从矩阵变量高斯分布，我们严格证明了MVG机制保持$(ε,δ)$ -差分隐私。此外，我们引入了方向噪声的概念，通过MVG机制的设计成为可能。定向噪声允许噪声对矩阵值查询函数的效用的影响被缓和。最后，我们实验证明了我们的机制使用三个矩阵值查询三个隐私敏感的数据集的性能。我们发现，MVG机制显着优于四个以前的国家的最先进的方法，并提供了可比的实用程序的非私人基线。
2018-10-16 cs.CR cs.LG stat.ML
Additive Logistic Mechanism for Privacy-Preserving Self-Supervised Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了与自监督学习算法训练神经网络权重相关的隐私风险。通过经验证据，我们表明，微调阶段，其中网络权重更新信息丰富，往往是私人的数据集，是容易受到隐私攻击。为了解决这些漏洞，我们设计了一个训练后的隐私保护算法，增加了噪声的微调权重，并提出了一种新的差分隐私机制，采样噪声的逻辑分布。与传统的加性噪声机制Laplace和Gaussian机制相比，该机制采用了与Gaussian机制相似的钟形分布，并且满足与Laplace机制相似的纯$ε$ -差分隐私.我们应用成员推断攻击对未受保护和受保护的模型，以量化模型的隐私和性能之间的权衡。我们表明，所提出的保护算法可以有效地减少攻击的准确性约为50%-相当于随机猜测-同时保持低于5%的性能损失。
2022-05-25 cs.CR cs.LG stat.ML
Private and Utility Enhanced Recommendations with Local Differential Privacy and Gaussian Mixture Model
Northumbria University（诺森比亚大学）；University of Alberta（阿尔伯塔大学）
推荐系统在很大程度上依赖于用户的行为和偏好数据（例如评级，喜欢）来产生准确的推荐。然而，由于服务提供商（SP）进行的不道德的数据聚合和分析做法，用户会遇到隐私问题。基于局部差分隐私（LDP）的扰动机制在将用户数据发送到SP之前在用户侧将噪声添加到用户数据。SP然后使用扰动的数据来执行推荐。虽然LDP保护了用户的隐私不受SP的影响，但它导致预测准确性大幅下降。为了解决这个问题，我们提出了一个基于LDP的矩阵分解（MF）与高斯混合模型（MoG）。LDP扰动机制，有界拉普拉斯（BLP），通过将扰动评级限制在预定的域来调节噪声的影响。我们得到了BLP的尺度参数满足$ε$ LDP的一个充分条件。在SP处，MoG模型估计添加到扰动评级的噪声，MF算法预测缺失评级。我们提出的基于LDP的推荐系统在不违反LDP原则的情况下提高了推荐的准确性。对三个真实世界数据集进行了实证评估，即，Movielens，Libimseti和Jester证明了我们的方法在强隐私保证下大幅提高了预测准确性。
2021-03-06 cs.LG
Reviewing and Improving the Gaussian Mechanism for Differential Privacy
Nanyang Technological University（南洋理工大学）；Nanjing University（南京大学）；Xi’an Jiaotong University（西安交通大学）；WeBank Co Ltd（微众银行股份有限公司）
差分隐私提供了一个严格的框架来量化数据隐私，并已受到相当大的兴趣，最近。满足$(ε, δ)$ -差分隐私（DP）的随机化机制大致意味着，除了小概率$δ$之外，改变数据集中的记录不能改变输出被多于乘法因子$e^ε $看到的概率。$(ε, δ)$的公知解决方案是由Dwork等人在2006年发起的高斯机制[1]，并由Dwork和Roth在2014年进行了改进[2]，其中对于具有$\ell_2$敏感性$Δ$的查询，将高斯噪声量$\sqrt{2\ln \frac{2}δ} \times \fracΔε$ [1]或$\sqrt{2\ln \frac{1.25}δ} \times \fracΔε$ [2]独立地添加到查询结果的每个维度。虽然两种经典高斯机制[1，2]都假设了$0 < ε\leq 1$，但我们的综述发现，文献中的许多研究都使用了$ε$和$δ$值下的经典高斯机制，其中[1，2]的添加噪声量没有达到$(ε,δ)$ -DP。我们通过分析$(ε,δ)$-DP的最佳噪声量$σ_{DP-OPT}$并识别出经典机构的噪声量甚至小于$σ_{DP-OPT}$的$ε$和$δ$来获得这样的结果。由于$σ_{DP-OPT}$没有封闭形式的表达式，需要近似迭代的方式，我们提出高斯机制推导封闭形式的上限$σ_{DP-OPT}$。我们的机制实现了任何$ε$的$(ε,δ)$ -DP，而经典机制[1，2]在给定$δ…
2019-12-07 cs.AI cs.CR cs.CY
Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation
本文提出统一分析框架，揭示逐层高斯噪声注入的隐式目标与隐私预算分配问题，并设计信噪比一致的噪声分配策略，在集中式和联邦学习中实现更优的隐私-效用权衡。
2025-10-17 cs.LG
Efficient Estimation of a Gaussian Mean with Local Differential Privacy
本文研究局部差分隐私下的高斯均值估计问题，提出基于Fisher-Information最大化的两阶段符号机制，在高隐私机制下实现了渐近最优且高效的LDP估计。
2025-03-05 math.ST stat.TH
Locally Private Gaussian Estimation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Google Research New York（谷歌研究院纽约分院）；University of Minnesota（明尼苏达大学）
我们研究一个基本的私人估计问题：每个$n$用户画一个单一的i.i. d。从未知的高斯分布中采样，目标是估计该高斯分布的均值，同时满足每个用户的局部差分隐私。非正式地，局部差分隐私要求每个数据点在被传递到学习算法之前被单独且独立地私有化。因此，局部私有高斯估计是困难的，因为数据域是无界的：用户可以绘制任意不同的输入，但局部差分隐私仍然要求不同的用户具有（最坏情况）相似的私有化输出分布。我们提供了自适应两轮解决方案和非自适应一轮解决方案的局部私人高斯估计。然后，我们部分匹配这些上限与信息理论的下限。这个下限表明，我们的准确性保证是紧对数因子的所有顺序交互式$(\varepsilon,δ)$本地私有协议。
2019-10-27 cs.LG stat.ML
Differential privacy for symmetric log-concave mechanisms
Norwegian University of Science and Technology（挪威科技大学）
本文提出了一种基于对称对数凹噪声分布的差分隐私机制，通过调整噪声分布降低均方误差，提升隐私保护效果。
2026-01-27 cs.CR stat.ML
On the Privacy of Selection Mechanisms with Gaussian Noise
McGill University（麦吉尔大学）；Mila（米拉）；Google DeepMind（谷歌DeepMind）
重新分析带高斯噪声的 Report Noisy Max 和 Above Threshold 机制，在查询有界假设下推导出紧的纯事前和事后 DP 界限，并提出完全自适应的 Gaussian Sparse Vector Technique 机制，实验证明其实用且调参更少。
2024-03-21 cs.CR cs.LG
Privacy-Aligned Personalized Federated Learning with Compact Adaptation and Variable-Length Gaussian Communication
City University of Hong Kong（香港城市大学）；University of British Columbia（不列颠哥伦比亚大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对个性化联邦学习中低维客户端变化与高维更新释放的结构错位，提出一次性释放私有上下文并限制适配于系数空间，结合变长量化实现高斯机制，在MNIST和CIFAR-10上匹配或超越全模型私有适配，并大幅降低通信成本。
2026-09-15 cs.LG
Graph Structure Learning with Privacy Guarantees for Open Graph Data
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种在数据发布阶段集成高斯差分隐私的图结构学习框架，通过在数据发布前注入结构化高斯噪声，实现隐私保护与图结构恢复的平衡，实验验证了在严格隐私预算下保持高图恢复准确性的隐私-效用权衡。
2026-03-24 cs.AI cs.LG
Reducing Noise Level in Differential Privacy through Matrix Masking
本文提出将随机正交矩阵掩码与高斯机制结合，在大数据场景下将实现差分隐私所需的噪声方差从 $O(\ln(1/\delta)/\varepsilon^2)$ 降至 $O(1/\varepsilon)$，从而提升伪数据集的推断准确性并扩大差分隐私的应用范围。
2023-04-11 cs.CR math.ST stat.TH
A Differential Privacy Mechanism Design Under Matrix-Valued Query
Princeton University（普林斯顿大学）
传统上，差分隐私机制设计已经针对标量值查询函数进行了定制。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声到矩阵的每个元素，这种方法往往是次优的，因为它丧失了利用通常与矩阵分析相关联的结构特性的机会。在这项工作中，我们考虑的差分隐私机制的设计，专门为矩阵值查询功能。所提出的解决方案是利用矩阵变量噪声，而不是传统的标量值噪声。特别是，我们提出了一种新的差分隐私机制称为矩阵变量高斯（MVG）机制，它增加了一个矩阵值的噪声从矩阵变量高斯分布。我们证明了MVG机制保留$(ε,δ)$ -差分隐私，并表明它允许自然地利用矩阵值查询函数的结构特征。此外，由于MVG机制和矩阵值查询的多维性质，我们引入了方向噪声的概念，可以利用它来减轻噪声对查询效用的影响。最后，我们展示了MVG机制的性能和方向噪声的优势，使用三个矩阵值查询三个隐私敏感的数据集。我们发现，MVG机制显着优于四个以前的国家的最先进的方法，并提供了可比的实用程序的非私人基线。因此，我们的工作提出了一个很好的前景，未来的研究和实现的差分隐私矩阵值查询函数。
2018-02-26 cs.CR cs.LG
Generalised Likelihood Ratio Testing Adversaries through the Differential Privacy Lens
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国理工学院）；LMU Munich（慕尼黑大学）
差分隐私（DP）提供了严格的上限的能力，最佳的对手，但这样的对手很少遇到在实践中。在DP的假设检验/成员推理解释下，我们研究了高斯机制，并将通常的Neyman-Pearson-Optimal（NPO）对手假设放宽为广义Likestive检验（GLRT）对手。这种温和的放松导致改进的隐私保证，我们在高斯DP和$(\varepsilon, δ)$ -DP的精神，包括成分和子采样结果表示。我们评估我们的结果数值，并找到他们的理论上限相匹配。
2022-10-24 cs.AI cs.CR stat.AP
Mitigating Query-Flooding Parameter Duplication Attack on Regression Models with High-Dimensional Gaussian Mechanism
由机器学习算法实现的公共智能服务容易受到模型窃取攻击的攻击，这些攻击可以通过公共查询窃取学习模型的机密信息。差分隐私（DP）被认为是一种很有前途的技术，以减轻这种攻击。然而，我们发现，当回归模型受到当前DP解决方案的保护时，该漏洞仍然存在。我们发现，对手可以发起查询洪水参数重复（QPD）攻击，通过重复查询来推断模型信息。为了抵御QPD攻击的逻辑和线性回归模型，我们提出了一种新的高维高斯（HDG）机制，以防止未经授权的信息泄露，而不会中断预期的服务。与现有的工作相比，HDG机制将动态地产生隐私预算和随机噪声，为不同的查询和他们的结果，以提高混淆。此外，HDG首次实现了最佳隐私预算分配，该预算分配自动确定每个维度上每个用户所需隐私级别的最小噪声量。我们使用真实世界的数据集全面评估HDG的性能，并表明HDG有效地减轻了QPD攻击，同时满足隐私要求。我们亦准备将有关的程式码开放予社会人士作进一步研究。
2020-06-07 cs.CR cs.LG
Subsampled Rényi Differential Privacy and Analytical Moments Accountant
UC Santa Barbara（加州大学圣巴巴拉分校）；Amazon AI（亚马逊人工智能）
我们研究了差分隐私（DP）中的子采样问题，这个问题是许多成功的差分隐私机器学习算法背后的核心。具体来说，我们为算法的Rényi差分隐私（RDP）（Mironov，2017）参数提供了一个严格的上限：（1）对数据集进行二次采样，然后（2）根据M的RDP参数和二次采样概率参数将随机机制M应用于二次采样。我们的结果将Abadi等人（2016）为高斯机制开发的矩计算技术推广到任何子采样RDP机制。
2018-12-04 cs.CR cs.LG stat.ML
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto（多伦多大学）
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题，但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下，并证明，足够高的压缩率降低准确性。类似地，现有的文献在差分隐私评估隐私机制的压缩的情况下，并证明，足够强大的隐私保证降低准确性。在这项工作中，我们观察到，虽然梯度压缩通常对非私有训练中的测试准确性有负面影响，但它有时可以提高差异私有训练中的测试准确性。具体来说，我们观察到，当采用积极的稀疏化或降秩梯度，测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响，估计平均梯度的偏差和方差。我们遵循这项研究，并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议，发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%，并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
A Neighbourhood-Aware Differential Privacy Mechanism for Static Word Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）；National Institute of Informatics（国立信息学研究所）；International Professional University of Technology in Tokyo（东京国际工科专门职大学）
本文提出邻域感知差分隐私机制，通过词嵌入最近邻图分解邻域并施加差异化高斯噪声，在多个下游任务中优于拉普拉斯、高斯和马氏等差分隐私机制，同时提供更高隐私保障。
2023-09-19 cs.AI cs.CL cs.CR
PLRV-O: Advancing Differentially Private Deep Learning via Privacy Loss Random Variable Optimization
University of Connecticut（康涅狄格大学）；Iowa State University（爱荷华州立大学）；The University of Kansas（堪萨斯大学）；University of Illinois at Chicago（伊利诺伊大学香槟分校）；Cisco Research（思科研究）
PLRV-O提出一种参数化DP-SGD噪声分布优化框架，解耦隐私损失与效用损失，实现任务自适应噪声调整，在CIFAR-10和SST-2上显著提升严格隐私下的模型精度。
2025-09-08 cs.CR cs.LG
