Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy
Institute of Science and Technology Austria（奥地利科学与技术研究所）；BARC University of Copenhagen（哥本哈根大学BARC）
研究提出抖动高斯机制用于差分隐私，将离散化用于隐私输出，继承高斯机制隐私保证且避免浮点漏洞。该机制随机性高效，通过分离随机性来源减少随机比特数，应用于模型训练可实现安全噪声生成且开销适度。
2026-10-02 cs.CR cs.LG
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Victoria（维多利亚大学）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
本文研究了任何输出具有高斯分布的算法的隐私性，提出了一种名为正态分布不可区分光谱（NDIS）的通用引理，用于计算任意两个多元高斯分布之间的hockey-stick散度，并将其应用于随机投影等算法的隐私证明，从而实现更高效的隐私保护机制。
2026-05-18 cs.CR cs.LG
Privacy Profiles for Private Selection
Nokia Bell Labs（诺基亚贝尔实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种基于隐私轮廓的方案，利用基础算法的隐私轮廓界定 ReportNoisyMax 和 PrivateTuning 的隐私轮廓，在数值上优于基于 RDP 的核算，并在端到端私有学习实验中取得实质性收益。
2024-02-09 cs.CR cs.LG
Differentially Private Active Learning: Balancing Effective Data Selection and Privacy
Technical University of Munich (TUM)（慕尼黑工业大学）；TUM University Hospital（慕尼黑工业大学医院）；Imperial College London（伦敦帝国理工学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；deepc GmbH（deepc有限公司）
本文针对标准学习场景提出差分隐私主动学习（DP-AL），通过步长放大技术优化数据利用，并评估了隐私约束下获取函数的有效性，揭示了隐私、模型准确率与数据选择准确率间的权衡。
2025-01-31 cs.CR cs.LG
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology（麻省理工学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Boston University（波士顿大学）
本文通过Renyi差分隐私重新分析高斯草图机制，提出更紧的隐私界限，并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）
随着越来越多的敏感个人信息被聚集到数据存储库中，开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中，我们提出了一种算法，用于学习一个判别式训练的多类高斯分类器，满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
Individual Privacy Accounting with Gaussian Differential Privacy
Nokia Bell Labs（诺基亚贝尔实验室）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）
该研究针对个体隐私核算需求，基于高斯差分隐私开展分析，结合上鞅与Rényi散度相关结果，构建了近似的个体(ε,δ)-隐私核算器，填补了最优隐私核算器在个体隐私损失分析领域的空白。
2023-08-24 cs.CR cs.LG stat.ML
On The Differential Privacy of Thompson Sampling With Gaussian Prior
Chalmers University of Technology（查尔姆斯理工大学）
我们表明，算法2（Agrawal & Goyal，2013）中详细描述的具有高斯先验的汤普森采样已经是差分私有的。定理1表明，在T轮后，它享有只有$\mathcal{O}(\ln^2 T)$的非常有竞争力的隐私损失。最后，定理2表明，通过适当增加高斯后验样本的方差，可以将隐私损失控制在任何期望的$ε$水平。而这只会增加一个术语$\mathcal{O}(\frac{\ln^2 T}ε)$的遗憾。这与文献中的汤普森采样的先前结果（（Mishra & Thakurta，2015））相比是有利的，该文献向遗憾添加了$\mathcal{O}(\frac{K \ln^3 T}{ε^2})$项以实现相同的隐私级别。此外，我们的结果使用了基本的汤普森采样，几乎没有修改，而（Mishra & Thakurta，2015）的结果需要复杂的构造。
2018-06-24 cs.AI cs.CR cs.LG
Tight Differential Privacy for Discrete-Valued Mechanisms and for the Subsampled Gaussian Mechanism Using FFT
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
我们提出了一个数值会计评估紧$(\varepsilon,δ)$隐私损失的算法与离散一维输出。该方法是基于隐私损失分布形式主义，它使用了最近推出的快速傅立叶变换为基础的会计技术。我们进行了误差分析的隐私损失分布，导致严格的下限和上限的真实$(\varepsilon,δ)$值的时刻界的方法。作为一个应用，我们提出了一种新的方法来准确的隐私会计的子采样高斯机制。这完成了先前提出的分析，给出严格的下限和上限的隐私参数。我们证明了性能的会计二项式机制，并表明，我们的方法允许降低噪声方差高达75%，在同等的隐私文献中现有的界限相比。我们还说明了如何计算紧边界的指数机制应用于计数查询。
2021-06-21 cs.CR cs.LG stat.ML
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
在本答辩中，我们的目标是解决两个广泛的问题，涵盖了讨论中提出的大多数意见。首先，我们讨论了我们工作的一些理论方面，并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看，我们接下来讨论f-差分隐私（f-DP）和高斯差分隐私（GDP）如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
随着大量数据从小型设备中产生，移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中，随机梯度下降（SGD）已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露，最近，本地差分隐私（LDP）被认为是联邦SGD中的隐私保证。然而，现有的解决方案具有维度依赖性问题：注入的噪声基本上与维度$d$成比例。在这项工作中，我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是，并非所有维度都同等重要，因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说，我们提出了三个私人维度选择机制，并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度，并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
JSAM: Privacy Straggler-Resilient Joint Client Selection and Incentive Mechanism Design in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）；School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society（科学与工程学院，深圳人工智能与机器人研究院）；The Chinese University of Hong Kong（香港中文大学）
JSAM通过联合优化客户端选择与隐私补偿，提升差分隐私联邦学习的训练效果和效率，实现隐私保护与参与激励的平衡。
2026-02-25 cs.DC cs.GT cs.LG
The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective
The Hong Kong University of Science and Technology（香港科技大学）
该研究从Rényi差分隐私角度分析联邦学习中量化技术的隐私影响，推导量化高斯机制的隐私预算，证明低比特量化可增强隐私保护，并通过成员推理攻击实验验证了理论结论。
2024-05-16 cs.CR cs.DC cs.LG
PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy
South-East University（东南大学）
针对CGANs的隐私泄露及DPCGAN依赖标签数据、梯度裁剪损害精度的问题，提出PATE-TripleGAN框架，结合分类器预分类和混合梯度脱敏算法，在保护隐私的同时生成高质量带标签图像。
2024-04-19 cs.CR cs.CV cs.LG
Shuffle Gaussian Mechanism for Differential Privacy
LINE Corporation（LINE公司）
本文研究差分隐私混洗模型中的高斯机制，推导其Rényi差分隐私上界，证明其优于未混洗高斯机制，并扩展到子采样与混洗签到机制，验证其在分布式学习中的隐私保护效果。
2022-07-04 cs.CR cs.LG stat.ML
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）
高斯机制是实现差分隐私的一种普遍采用的工具，大量的研究工作都致力于它的分析。我们认为，三个流行的解释GM，即$(\varepsilon, δ)$ -DP，f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$，我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性：查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系，$ψ$为从业者提供了一个强大的方法来解释，比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
On Choosing the $μ$ Parameter in Gaussian Differential Privacy
Lausanne University Hospital（拉索恩大学医院）；University of Helsinki（赫尔辛基大学）
本文通过匹配强对手成员推理攻击的最坏情况成功度，提供从纯-DP ε到GDP μ的原则性映射，并推荐 μ≈ε/5 作为保守通用转换。
2026-06-08 cs.LG stat.ML
Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
差分隐私在过去十年中作为数据隐私的严格和实用的形式化已经取得了显着的成功。然而，这种隐私定义及其基于分歧的放松，有几个公认的弱点，无论是在处理组成的私人算法，或在分析重要的原语，如隐私放大子采样。受隐私权假设检验公式的启发，本文提出了一种新的隐私权松弛方法，我们称之为“$f$ -差分隐私”（$f$ -DP）.这种隐私的概念具有许多吸引人的特性，特别是避免了与基于发散的松弛相关联的困难。首先，$f$ -DP保留了假设检验解释。此外，$f$ -DP允许以代数方式进行关于组合的无损推理。此外，我们提供了一个强大的技术，进口现有的结果证明了原始DP的$f$ -DP，并作为一个应用程序，获得一个简单的子采样定理$f$ -DP。除了上述发现，我们引入了一个规范的单参数家庭的隐私概念内的$f$类，被称为“高斯差分隐私”（GDP），定义基于测试两个移位高斯。GDP是焦点之间的$f$ -DP类，因为我们证明了一个中心极限定理。更确切地说，基于隐私定义（包括原始DP）的\emph{any}假设检验的隐私保证在组合下的极限中收敛于GDP。CLT还产生了一个计算成本低廉的工具，用于分析私有算法的确切组成。综上所述，这些有吸引力的属性使$f$ -DP成为一个数学上一致的、分析上易处理的、多功能的私有数据分析框架。最后，我们展示了我们开发的工具的使用，通过提供一个改进的隐私分析嘈杂的随机梯度下降。
2019-05-30 cs.CR cs.DS cs.LG
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
Shanghai Jiao Tong University（上海交通大学）；UCL School of Management（伦敦大学学院管理学院）；Imperial Business School（帝国理工学院商学院）
针对已知敏感度的标量实值查询函数，设计了一类混合高斯加性噪声机制，在中等和低隐私预算下显著降低噪声幅度和方差，接近最优性。
2026-05-27 cs.AI cs.CR cs.LG
BACSA: A Bias-Aware Client Selection Algorithm for Privacy-Preserving Federated Learning in Wireless Healthcare Networks
针对无线医疗网络中联邦学习因非IID数据偏见导致性能下降的问题，提出偏见感知客户端选择算法BACSA，通过检测偏见并优化客户端选择，提升收敛性和准确性，兼顾隐私、公平与网络约束。
2024-11-01 cs.AI cs.CR cs.LG
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research（亚马逊研究院）；Amazon Web Services（亚马逊云科技）
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中，我们重新审视高斯机制，并表明原来的分析有几个重要的局限性。我们的分析表明，原机制的方差公式是远离紧密的高隐私制度（$\varepsilon \to 0$），它不能扩展到低隐私制度（$\varepsilon \to \infty$）。我们通过开发一种最佳高斯机制来解决这些限制，该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上，自适应估计技术，利用扰动的分布是已知的。我们的实验表明，分析校准消除了至少三分之一的噪声方差相比，经典的高斯机制，去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics（统计系）；Graduate Group in Applied Mathematics and Computational Science（应用数学与计算科学研究生组）；Department of Biostatistics, Epidemiology and Informatics（生物统计学、流行病学与信息学系）
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题，在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题，我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比，我们的新的隐私组合下的边界获得改进的紧密性，利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性，证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
The Power of Bias: Optimizing Client Selection in Federated Learning with Heterogeneous Differential Privacy
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ), Shenzhen University（深圳大学广东省人工智能与数字经济实验室（SZ））；School of Computing, Faculty of Science and Engineering, Macquarie University（麦考瑞大学科学与工程学院计算学院）；Institute for Network Sciences and Cyberspace, Tsinghua University（清华大学网络科学与网络空间研究院）；School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）
针对异构差分隐私联邦学习中客户端选择需兼顾数据质量与DP噪声影响的问题，通过收敛分析将其建模为凸优化问题，提出DPFL-BCS算法，实验证明其显著提升模型效用。
2024-08-16 cs.LG
Tackling Privacy Heterogeneity in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）；School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society（科学与工程学院，深圳人工智能与机器人社会研究院）
本文提出了一种隐私感知的客户端选择策略，通过理论分析和实验验证，在异构隐私预算下提升了联邦学习的测试准确率。
2026-02-26 cs.DC cs.LG
PAUSE: Low-Latency and Privacy-Aware Active User Selection for Federated Learning
School of ECE, Ben-Gurion University of the Negev（本·加里昂大学电子工程学院）；Department of ECE, National Yang-Ming Chiao-Tung University（National Yang-Ming Chiao-Tung大学电子工程系）
针对联邦学习中隐私泄露累积与通信延迟问题，提出基于多臂老虎机的 PAUSE 主动用户选择算法及模拟退火松弛，实现隐私、延迟和准确率的更优权衡。
2025-10-21 cs.LG eess.SP
Sketched Gaussian Mechanism for Private Federated Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出草图高斯机制（SGM），联合分析草图化与高斯机制的隐私，证明其隐私随草图维度平方根增强，应用于联邦学习在相同隐私下性能优于非草图化方法。
2025-09-09 cs.DC cs.LG
Max-Information, Differential Privacy, and Post-Selection Hypothesis Testing
University of Pennsylvania（宾夕法尼亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
在本文中，我们开始了一个原则性的研究，如何推广属性的近似差分隐私可以用来执行自适应假设检验，同时给出统计上有效的$p$值的更正。我们这样做，通过观察，有界近似最大信息的算法的保证是足够的，以纠正$p$ -值的自适应选择的假设，然后通过证明，算法，满足$(ε,δ)$ -差分隐私有界近似最大信息时，他们的输入是从产品分布。这实质上扩展了差分隐私和最大信息之间的已知联系，其先前仅已知适用于（纯）$(ε,0)$ -差分隐私。它还扩展了我们对最大信息作为控制自适应数据分析泛化特性的部分统一度量的理解。我们还展示了一个下界，证明（尽管强大的最大信息的组合属性），当数据是从产品分布，$(ε,δ)$差分私有算法可以首先在一个组合与其他算法满足最大信息的界限，但不一定是第二个，如果该组合本身需要满足一个非平凡的最大信息的界限。特别地，这意味着$(ε,δ)$ -差分隐私和最大信息之间的连接仅适用于从产品分发中提取的输入，而不像$(ε,0)$ -差分隐私和最大信息之间的连接。
2016-09-09 cs.LG
Private and Utility Enhanced Recommendations with Local Differential Privacy and Gaussian Mixture Model
Northumbria University（诺森比亚大学）；University of Alberta（阿尔伯塔大学）
推荐系统在很大程度上依赖于用户的行为和偏好数据（例如评级，喜欢）来产生准确的推荐。然而，由于服务提供商（SP）进行的不道德的数据聚合和分析做法，用户会遇到隐私问题。基于局部差分隐私（LDP）的扰动机制在将用户数据发送到SP之前在用户侧将噪声添加到用户数据。SP然后使用扰动的数据来执行推荐。虽然LDP保护了用户的隐私不受SP的影响，但它导致预测准确性大幅下降。为了解决这个问题，我们提出了一个基于LDP的矩阵分解（MF）与高斯混合模型（MoG）。LDP扰动机制，有界拉普拉斯（BLP），通过将扰动评级限制在预定的域来调节噪声的影响。我们得到了BLP的尺度参数满足$ε$ LDP的一个充分条件。在SP处，MoG模型估计添加到扰动评级的噪声，MF算法预测缺失评级。我们提出的基于LDP的推荐系统在不违反LDP原则的情况下提高了推荐的准确性。对三个真实世界数据集进行了实证评估，即，Movielens，Libimseti和Jester证明了我们的方法在强隐私保证下大幅提高了预测准确性。
2021-03-06 cs.LG
Gaussian Differential Privacy on Riemannian Manifolds
University of Alberta（阿尔伯塔大学）
本文提出一种基于Bishop-Gromov定理的黎曼高斯分布，首次将高斯差分隐私扩展到一般黎曼流形，并提供算法计算隐私预算，在单位球面上验证了优于黎曼拉普拉斯机制的效用。
2023-11-09 cs.CR cs.DS cs.LG
Differentially Private Selection using Smooth Sensitivity
针对差分隐私选择中全局敏感度方法噪声过大的问题，提出利用平滑敏感度的SNM机制，其预期误差上限更紧，在百分位数选择等三个应用中准确性优于现有方法。
2025-04-10 cs.CR cs.DB cs.LG
Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation
本文提出统一分析框架，揭示逐层高斯噪声注入的隐式目标与隐私预算分配问题，并设计信噪比一致的噪声分配策略，在集中式和联邦学习中实现更优的隐私-效用权衡。
2025-10-17 cs.LG
Adaptive Client Selection in Federated Learning: A Network Anomaly Detection Use Case
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出一种结合差分隐私和容错机制的联邦学习自适应客户端选择框架，在网络异常检测用例中相比FedL2P准确率提升7%、训练时间减少25%，并验证了隐私与性能的权衡。
2025-01-25 cs.AI cs.LG
Privacy-Aligned Personalized Federated Learning with Compact Adaptation and Variable-Length Gaussian Communication
City University of Hong Kong（香港城市大学）；University of British Columbia（不列颠哥伦比亚大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对个性化联邦学习中低维客户端变化与高维更新释放的结构错位，提出一次性释放私有上下文并限制适配于系数空间，结合变长量化实现高斯机制，在MNIST和CIFAR-10上匹配或超越全模型私有适配，并大幅降低通信成本。
2026-09-15 cs.LG
Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning
Harvard University（哈佛大学）；University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文研究了通用高斯机制在隐私保护机器学习中的应用，证明其满足差分隐私，并在PATE和DP-SGD中验证了其有效性，表明高斯机制在可计算范围内表现优异。
2026-04-02 cs.CR cs.LG stat.ML
Decoupled Learning and Selection in Slate Recommendation for Privacy and Stability Under Noisy Scores
University of Bergen（卑尔根大学）；Centre for the Science of Learning & Technology (SLATE)（学习与技术科学中心（SLATE））；City University of Macau（澳门城市大学）
本研究提出榜单推荐中解耦评分学习与选择的方法，通过差分隐私范围契约和日志边际证书，在噪声评分下保证排序稳定性，实验验证了其有效性。
2026-09-25 cs.IR cs.LG
Efficient Client Selection in Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架，在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
Reviewing and Improving the Gaussian Mechanism for Differential Privacy
Nanyang Technological University（南洋理工大学）；Nanjing University（南京大学）；Xi’an Jiaotong University（西安交通大学）；WeBank Co Ltd（微众银行股份有限公司）
差分隐私提供了一个严格的框架来量化数据隐私，并已受到相当大的兴趣，最近。满足$(ε, δ)$ -差分隐私（DP）的随机化机制大致意味着，除了小概率$δ$之外，改变数据集中的记录不能改变输出被多于乘法因子$e^ε $看到的概率。$(ε, δ)$的公知解决方案是由Dwork等人在2006年发起的高斯机制[1]，并由Dwork和Roth在2014年进行了改进[2]，其中对于具有$\ell_2$敏感性$Δ$的查询，将高斯噪声量$\sqrt{2\ln \frac{2}δ} \times \fracΔε$ [1]或$\sqrt{2\ln \frac{1.25}δ} \times \fracΔε$ [2]独立地添加到查询结果的每个维度。虽然两种经典高斯机制[1，2]都假设了$0 < ε\leq 1$，但我们的综述发现，文献中的许多研究都使用了$ε$和$δ$值下的经典高斯机制，其中[1，2]的添加噪声量没有达到$(ε,δ)$ -DP。我们通过分析$(ε,δ)$-DP的最佳噪声量$σ_{DP-OPT}$并识别出经典机构的噪声量甚至小于$σ_{DP-OPT}$的$ε$和$δ$来获得这样的结果。由于$σ_{DP-OPT}$没有封闭形式的表达式，需要近似迭代的方式，我们提出高斯机制推导封闭形式的上限$σ_{DP-OPT}$。我们的机制实现了任何$ε$的$(ε,δ)$ -DP，而经典机制[1，2]在给定$δ…
2019-12-07 cs.AI cs.CR cs.CY
Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
University of Notre Dame（圣母大学）
我们提出了噪声增强的隐私保护经验风险最小化（NAPP-ERM），解决了不同的隐私保证的ERM。现有的隐私保护ERM方法可能会受到过度正则化的影响，使用l2项来实现目标正则化之上的强凸性。NAPP-ERM改进了当前的方法，并通过适当设计的增强数据迭代地实现目标正则化，并通过单个自适应加权的两用l2正则化器提供强凸性，从而减轻过度正则化。当目标正则化用于变量选择时，我们提出了一种新的正则化器，同时实现隐私和稀疏性保证。最后，我们提出了一种策略，以检索隐私预算时，满足强凸性的要求，这可以返回给用户，这样的DP的ERM是保证在一个较低的隐私成本比原来计划的，或被回收到ERM优化过程中，以减少注入DP噪声，提高DP-ERM的效用。从实现的角度来看，NAPP-ERM可以通过优化给定噪声增强数据的非扰动目标函数来实现，因此可以利用现有的工具进行非私有ERM优化。我们通过大量的实验说明了NAPP-ERM对变量选择和预测的过度正则化和私人预算检索的缓解效果。
2021-10-16 cs.CR cs.LG stat.ML
Improving Fairness and Privacy in Selection Problems
University of Delaware（特拉华大学）；University of Michigan（密歇根大学）；Alan Turing Institute（阿兰·图灵研究所）；University of California, Berkeley（加州大学伯克利分校）
监督学习模型已经越来越多地用于在招聘、贷款和大学录取等应用中对个人做出决策。这些模型可能会从训练数据集继承预先存在的偏差，并歧视受保护的属性（例如，种族或性别）。除了不公平之外，当模型的使用暴露了敏感的个人信息时，隐私问题也会出现。在各种隐私概念中，差分隐私是近年来比较流行的一种隐私概念。在这项工作中，我们研究了使用差分私有指数机制作为后处理步骤来提高监督学习模型的公平性和隐私性的可能性。与许多现有的作品不同，我们考虑的情况下，监督模型用于选择有限数量的申请人的可用职位的数量是有限的。这个假设非常适合各种场景，例如工作申请和大学录取。我们使用“机会均等”作为公平的概念，并表明指数机制可以使决策过程完全公平。此外，在真实世界数据集上的实验表明，指数机制可以提高隐私和公平性，与没有后处理的模型相比，准确性略有下降。
2020-12-07 cs.AI cs.LG
Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning
Harvard University（哈佛大学）；Lausanne University Hospital（洛桑大学医院）；Google DeepMind（谷歌DeepMind）；University of Helsinki（赫尔辛基大学）
针对当前机器学习中差分隐私报告不完整的问题，提出使用非渐近高斯差分隐私（GDP）作为主要报告方式，通过数值会计和决策理论度量，证明GDP能无误差地捕获DP-SGD等算法的完整隐私特征。
2026-06-17 cs.AI cs.CR cs.LG
MVG Mechanism: Differential Privacy under Matrix-Valued Query
Princeton University（普林斯顿大学）
传统上，差分隐私机制设计是针对纯量值查询函数量身定制的。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声的矩阵的每个元素，这种方法往往是次优的，因为它丧失了一个机会，利用结构特征，通常与矩阵分析。为了解决这个问题，我们提出了一种新的差分隐私机制称为矩阵变量高斯（MVG）机制，它增加了一个矩阵值的噪声从矩阵变量高斯分布，我们严格证明了MVG机制保持$(ε,δ)$ -差分隐私。此外，我们引入了方向噪声的概念，通过MVG机制的设计成为可能。定向噪声允许噪声对矩阵值查询函数的效用的影响被缓和。最后，我们实验证明了我们的机制使用三个矩阵值查询三个隐私敏感的数据集的性能。我们发现，MVG机制显着优于四个以前的国家的最先进的方法，并提供了可比的实用程序的非私人基线。
2018-10-16 cs.CR cs.LG stat.ML
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research（谷歌研究院）
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私，我们添加了设备上的噪声，并使用安全聚合，以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统，它适当地离散化数据，并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响，数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上是能够匹配的准确性，中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学研究中心）；IBM Research（IBM研究院）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而，在原始同步联邦学习的情况下，客户端设备遭受等待时间，并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感，因此，对大量客户端的可扩展性较小或有限，并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法，它消除了等待时间，减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析，并提供了仿真结果。通过添加高斯噪声，我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara（圣巴巴拉大学）；Amazon AI（亚马逊人工智能）；UC San Diego（圣迭戈大学）
本文提出ASAP算法，通过按W∞距离对MCMC样本添加噪声，在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差，并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
Graph Structure Learning with Privacy Guarantees for Open Graph Data
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种在数据发布阶段集成高斯差分隐私的图结构学习框架，通过在数据发布前注入结构化高斯噪声，实现隐私保护与图结构恢复的平衡，实验验证了在严格隐私预算下保持高图恢复准确性的隐私-效用权衡。
2026-03-24 cs.AI cs.LG
Differential Privacy for Functions and Functional Data
Carnegie Mellon University（卡内基梅隆大学）
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量，或一些离散集的元素。我们开发的方法释放功能，同时保持差分隐私。具体来说，我们表明，添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时，则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子，我们考虑核密度估计，核支持向量机，并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in Federated Learning
University of Southern California (USC)（南加州大学）；University of California, Riverside（加州大学河滨分校）；University of California, Berkeley（加州大学伯克利分校）
针对联邦学习多轮训练中因部分用户选择导致的隐私泄露问题，提出具有多轮隐私保证的安全聚合框架Multi-RoundSecAgg，通过结构化用户选择策略在保证公平性和准确率的同时实现长期隐私保护。
2023-07-27 cs.CR cs.DC cs.IT
Locally Private Gaussian Estimation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Google Research New York（谷歌研究院纽约分院）；University of Minnesota（明尼苏达大学）
我们研究一个基本的私人估计问题：每个$n$用户画一个单一的i.i. d。从未知的高斯分布中采样，目标是估计该高斯分布的均值，同时满足每个用户的局部差分隐私。非正式地，局部差分隐私要求每个数据点在被传递到学习算法之前被单独且独立地私有化。因此，局部私有高斯估计是困难的，因为数据域是无界的：用户可以绘制任意不同的输入，但局部差分隐私仍然要求不同的用户具有（最坏情况）相似的私有化输出分布。我们提供了自适应两轮解决方案和非自适应一轮解决方案的局部私人高斯估计。然后，我们部分匹配这些上限与信息理论的下限。这个下限表明，我们的准确性保证是紧对数因子的所有顺序交互式$(\varepsilon,δ)$本地私有协议。
2019-10-27 cs.LG stat.ML
On Inherent Privacy of Posterior Sampling: A Unified Rényi-Divergence Framework
University of Rhode Island（罗德岛大学）；University of Notre Dame（圣母大学）
本研究提出统一Rényi散度框架，刻画贝叶斯后验采样的固有差分隐私保障，推导OPS隐私损失边界，将框架应用于多类贝叶斯模型，恢复并拓展了现有相关结果。
2026-10-15 cs.LG math.ST stat.ML
Locally Private Hypothesis Selection
Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；University of Minnesota（明尼苏达大学）；Cornell University（康奈尔大学）
本文首先研究了局部差分隐私下的假设选择问题。给定来自未知概率分布$p$和一组$k$概率分布$\mathcal{Q}$的样本，我们的目标是在$\varepsilon$ -局部差分隐私的约束下，输出来自$\mathcal{Q}$的分布，其到$p$的总变化距离与最佳分布相当。这是$k$ -明智的简单假设检验的经典问题的推广，它对应于当$p \in \mathcal{Q}$，我们希望识别$p$ .在没有隐私约束的情况下，这个问题需要来自$p$的$O(\log k)$样本，并且最近表明，在（中央）差分隐私下可以实现相同的复杂性。然而，在局部差分隐私下解决这个问题的简单方法将需要$\tilde O(k^2)$样本。我们首先表明，局部差分隐私的约束会导致成本呈指数级增加：这个问题的任何算法至少需要$Ω(k)$样本。其次，对于$k$ -明智的简单假设检验的特殊情况下，我们提供了一个非交互式的算法，几乎匹配这个界限，需要$\tilde O(k)$样本。最后，我们提供了一般情况下，需要$\tilde O(k)$样本，只有$O(\log \log k)$轮的互动顺序交互式算法。我们的算法是通过减少到最大的选择与对抗比较器，一个独立的兴趣，我们开始研究的并行设置的问题。对于这个问题，我们提供了一个家庭的算法，每个允许的互动$t$轮数，以及下限显示，他们是接近最佳的每一个$t$。值得注意的是，我们的算法导致…
2020-06-20 cs.CR cs.DS cs.IT
On the Computational Complexity of Private High-dimensional Model Selection
University of Michigan（密歇根大学）
该研究针对高维稀疏线性回归的隐私保护模型选择问题，提出结合指数机制的差分隐私最优子集选择方法，设计高效Metropolis-Hastings算法并证明其多项式混合时间与隐私、统计效用保证，模拟实验验证其在隐私预算下可快速识别有效特征。
2024-10-29 cs.LG stat.CO stat.ME
Privacy-preserving feature selection: A survey and proposing a new set of protocols
University of Toronto（多伦多大学）；University of Windsor（温莎大学）
特征选择是对特征进行筛选的过程，在这个过程中，信息特征从冗余和不相关的特征中分离出来。这个过程在机器学习、数据采掘和生物信息学中起着重要的作用。然而，传统的特征选择方法只能处理集中式数据集，不能满足当今分布式数据处理的需求。这些需求需要一种新的数据处理算法，称为隐私保护特征选择，它通过在中间处理和最终结果中不泄露数据的任何部分来保护用户的数据。这对于包含个人数据的数据集（如医疗数据集）至关重要。因此，修改现有的算法或提出新的算法是合理的，不仅引入应用于分布式数据集的能力，而且通过保护用户的隐私来负责任地处理用户的数据。在本文中，我们将审查三个隐私保护的特征选择方法，并提供建议，以提高其性能时，任何差距被确定。本文还提出了一种基于粗糙集特征选择的隐私保护特征选择方法。所提出的方法是能够处理水平和垂直分区的数据集在两个和多方的情况下。
2020-08-17 cs.CR cs.LG
