Individual Privacy Accounting via a Renyi Filter
Apple（苹果公司）；University of California, Berkeley（加利福尼亚大学伯克利分校）
我们考虑一个连续的设置，其中一个单一的个人数据集被用来执行自适应选择的分析，同时确保每个参与者的差分隐私损失不超过预先指定的隐私预算。解决这个问题的标准方法依赖于对所有个人及其数据的所有可能值的隐私损失的最坏情况估计，对于每个分析。然而，在许多情况下，这种方法过于保守，特别是对于“典型”数据点，参与大多数分析几乎不会造成隐私损失。在这项工作中，我们给出了一个更严格的隐私损失会计的基础上的个性化的隐私损失估计值为每个人在每次分析的方法。为了实现该计费方法，我们设计了一个Rényi差分隐私过滤器。过滤器是一种工具，它确保具有自适应选择的隐私参数的组合算法序列的隐私参数不超过预先指定的预算。我们的过滤器比已知的过滤器更简单，更紧密的$(ε,δ)$ -差分隐私由罗杰斯等人。我们将我们的研究结果的噪声梯度下降的分析，并表明，个性化的会计可以是实用的，易于实现，只能使隐私效用权衡更紧。
2022-01-08 cs.CR cs.LG stat.ML
Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms
UBTECH Sydney AI Centre, School of Computer Science, Faculty of Engineering, the University of Sydney（悉尼大学工程学院计算机科学学院优必选悉尼人工智能中心）；University of Science and Technology of China（中国科学技术大学）
本文分两步研究了迭代学习算法中泛化与隐私保护的关系。我们首先建立了任何学习算法的泛化和隐私保护之间的对齐。我们证明了$(\varepsilon, δ)$ -差分隐私意味着多数据库学习算法的平均泛化界，从而进一步导致任何学习算法的高概率界。这种高概率的界限也意味着一个PAC学习的保证差分私人学习算法。然后，我们研究了大多数学习算法共享的迭代性质如何影响隐私保护和进一步推广。提出了三个合成定理，通过迭代算法每次迭代的差分隐私来近似迭代算法的差分隐私。通过整合上述两个步骤，我们最终提供迭代学习算法的泛化界，这表明可以同时增强隐私保护和泛化。我们的结果比现有的工作严格。特别是，我们的泛化边界不依赖于模型大小，这在深度学习中是非常大的。这有助于理解深度学习的普遍性。这些结果适用于广泛的学习算法。在本文中，我们将它们应用到随机梯度朗之万动力学和不可知联邦学习的例子。
2020-08-07 cs.CR cs.LG stat.ML
Unified Mechanism-Specific Amplification by Subsampling and Group Privacy Amplification
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；University of Technology Nuremberg（纽伦堡工业大学）
本研究提出首个基于条件最优传输的机制特定子采样隐私放大通用框架，可更紧密刻画子采样机制隐私，统一推导多种DP相关保证，且其群体隐私界优于现有方法。
2024-10-31 cs.CR cs.LG stat.ML
Tight Auditing of Differential Privacy in MST and AIM
UCL（伦敦大学学院）；SAS（SAS公司）；Lausanne University Hospital（洛桑大学医院）
本文提出基于高斯差分隐私的审计框架，用于紧密审计MST和AIM的隐私保证，在强隐私范围内实现了首次紧密审计，针对(ε,δ)=(1,10^-2)情况，展示了理论与实践间的微小差距。
2026-04-20 cs.AI cs.CR cs.LG
Connect the Dots: Tighter Discrete Approximations of Privacy Loss Distributions
Google（谷歌）；Google Research（谷歌研究院）
隐私损失分布（PLD）提供了差分隐私（DP）背景下的机制的隐私损失的严格表征。最近的工作表明，与其他已知方法相比，基于PLD的核算允许对许多流行机制的更严格的$(\varepsilon, δ)$ -DP保证。基于PLD的会计中的一个关键问题是如何在任何指定的离散支持上用PLD来近似任何（可能连续的）PLD。我们提出了一种新的方法来解决这个问题。我们的方法支持悲观估计，这高估了关键-坚持分歧（即，$δ$），以及乐观估计，这低估了关键-坚持分歧。此外，我们证明了我们的悲观估计是所有悲观估计中最好的。实验评估表明，我们的方法可以与更大的离散化间隔，同时保持类似的误差界相比，以前的方法，但给出了一个更好的近似比现有的方法。
2022-07-10 cs.CR cs.DS cs.LG
A Randomized Approach for Tight Privacy Accounting
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出差分隐私新范式EVR，通过Monte Carlo技术构建随机化隐私验证器和DP accountant，将隐私参数估计转化为严格上界保证，提升了隐私保护机器学习的效用-隐私权衡。
2023-11-21 cs.CR cs.DS cs.LG
Privacy-Preserving Gradient Boosting Decision Trees
National University of Singapore（新加坡国立大学）；The University of Western Australia（西澳大学）
梯度提升决策树（GBDT）是近年来流行的用于各种任务的机器学习模型。本文研究如何在保证差分隐私的前提下提高GBDT的模型精度。敏感性和隐私预算是差异化私有模型有效性的两个关键设计方面。现有的具有差分隐私的GBDT解决方案由于过于宽松的敏感性界限和无效的隐私预算分配（特别是在GBDT模型中的不同树之间）而遭受显著的准确性损失。宽松的敏感度界限导致更多的噪声，以获得固定的隐私级别。无效的隐私预算分配加剧了准确性损失，特别是当树的数量很大时。因此，我们提出了一种新的GBDT训练算法，实现更严格的灵敏度界限和更有效的噪声分配。具体而言，通过调查梯度的属性和GBDTs中每棵树的贡献，我们提出了自适应控制的梯度训练数据的每次迭代和叶节点裁剪，以收紧灵敏度界限。此外，我们设计了一个新的提升框架，以分配树之间的隐私预算，使准确性损失可以进一步减少。我们的实验表明，我们的方法可以实现更好的模型精度比其他基线。
2022-10-10 cs.CR cs.LG stat.ML
Auditing $f$-Differential Privacy in One Run
FAIR at Meta（Meta FAIR实验室）；Meta
针对现有隐私审计机制效率低、隐私估计欠佳的问题，提出仅需单次运行目标机制、基于$f$-DP曲线的高效严谨审计方法，可得到比传统$ε,δ$差分隐私参数更准确的隐私估计。
2024-10-29 cs.CR cs.LG
Tight End-to-End Accounting for Differentially Private Synthetic Data
UCL（伦敦大学学院）；SAS（萨塞克斯大学）；Google（谷歌）；Google Research（谷歌研究院）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Lausanne University Hospital (CHUV)（洛桑大学医院）
针对差分隐私合成数据流水线的核算精度损失问题，开发基于隐私损失分布等的工具，提出AIM-GDP和MixCal，实现更严格核算并降低同隐私水平下的噪声。
2026-10-14 cs.CR cs.LG stat.ML
Optimal Accounting of Differential Privacy via Characteristic Function
UC Santa Barbara（加州大学圣巴巴拉分校）；Northwestern University（西北大学）
表征组合物的隐私退化，即，隐私计费是差分隐私（DP）中的基本主题，其具有差异私有机器学习和联邦学习的许多应用。我们提出了一个统一的最新进展（仁义DP，隐私配置文件，$f$ -DP和PLD形式主义）通过\emph{characteristic function}（$ϕ$ -功能）的某个\emph{dominating}隐私损失随机变量。我们表明，我们的方法允许\emph{natural}自适应组合像Renyi DP，提供\emph{exactly tight}隐私会计像PLD，并可以（通常\emph{losslessly}）转换为隐私配置文件和$f$ -DP，从而提供$(ε,δ)$ -DP保证和可解释的权衡功能。在数学上，我们提出了一个\emph{analytical Fourier accountant}，它象征性地表示$ϕ$ -函数的\emph{complex}对数，并使用高斯求积进行数值计算。在几个流行的DP机制和他们的子采样对应，我们证明了我们的方法在理论和实验上的灵活性和紧密性。
2022-05-31 cs.CR cs.LG
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Fair Finetuning Mitigates Distribution Inference Attacks
Rakshit Naidu
提出公平微调（FFt）方法，通过在等几率约束下对互补分布样本进行微调，将模型公平性指标与分布推断攻击中的对抗优势联系起来，并给出理论界限，实验证明能有效降低攻击成功率。
2026-06-01 cs.AI cs.CR cs.LG
Subsampled Rényi Differential Privacy and Analytical Moments Accountant
UC Santa Barbara（加州大学圣巴巴拉分校）；Amazon AI（亚马逊人工智能）
我们研究了差分隐私（DP）中的子采样问题，这个问题是许多成功的差分隐私机器学习算法背后的核心。具体来说，我们为算法的Rényi差分隐私（RDP）（Mironov，2017）参数提供了一个严格的上限：（1）对数据集进行二次采样，然后（2）根据M的RDP参数和二次采样概率参数将随机机制M应用于二次采样。我们的结果将Abadi等人（2016）为高斯机制开发的矩计算技术推广到任何子采样RDP机制。
2018-12-04 cs.CR cs.LG stat.ML
Revisiting Differentially Private Hyper-parameter Tuning
KAUST（卡斯土尼亚大学）；University of Virginia（弗吉尼亚大学）
针对超参数调优中隐私影响未被充分理解的问题，本文通过审计发现现有私有选择的理论隐私界限在白盒调优场景下不紧致，进而基于调优独特属性提出了适用性更广的改进隐私结果。
2025-08-25 cs.CR cs.LG
Convergent Differential Privacy Analysis for General Federated Learning
School of Computer Science Faculty of Engineering（计算机科学学院工程学院）；University of Sydney（悉尼大学）；Generative AI Lab（生成式人工智能实验室）；College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；School of Cyber Science and Technology（网络安全科学与技术学院）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
本文基于非凸和平滑目标，利用f-差分隐私分析评估了两种经典方法的最坏隐私情况，证明Noisy-FedAvg具有紧收敛界，Noisy-FedProx具有稳定常数下界，为FL-DP框架的可靠性提供了理论基础。
2026-05-13 cs.CR cs.LG
Shifted Interpolation for Differential Privacy
UPenn（宾夕法尼亚大学）
本文通过构造移位插值过程，在 $f$-差分隐私框架下建立了迭代隐私放大现象的紧致刻画，首次给出强凸优化下的精确隐私分析，并推广到多种优化设定，恢复了指数机制的 $f$-DP 刻画。
2024-06-12 cs.CR cs.LG math.OC
Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
提议-测试-发布（PTR）是一个差分隐私框架，它使用函数的局部敏感性，而不是它们的全局敏感性。该框架通常用于以差异化的私有方式发布稳健的统计数据，例如中位数或修剪均值。虽然PTR是十多年前引入的一个通用框架，但在鲁棒SGD等需要许多自适应鲁棒查询的应用程序中使用它是具有挑战性的。这主要是由于缺乏Renyi差分隐私（RDP）分析，这是差异隐私深度学习的矩会计方法的基本成分。在这项工作中，我们推广了标准PTR，并推导出第一RDP界时，目标函数具有有界的全局灵敏度。我们表明，我们的RDP约束PTR产生更严格的DP保证比直接分析的$(\eps, δ)$ -DP。我们还推导出算法特定的隐私放大界限的PTR下采样。我们表明，我们的界是更严格的比一般的上限和接近下限。我们的RDP界限，使更严格的隐私损失计算组成的许多自适应运行的PTR。作为我们的分析的应用，我们表明，PTR和我们的理论结果可以用来设计不同的私人变量拜占庭强大的训练算法，使用强大的统计梯度聚合。我们在不同的数据集和架构上对标签，特征和梯度腐败的设置进行了实验。我们表明，基于PTR的私人和强大的训练算法显着提高了效用相比，基线。
2022-09-16 cs.CR cs.LG
An automatic differentiation system for the age of differential privacy
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；OpenMined；IIIT Hyderabad（海得拉巴国际信息技术学院）
我们介绍了氚，一个基于自动微分的灵敏度分析框架的差异私有（DP）机器学习（ML）。在此设置中的最佳噪声校准需要有效的雅可比矩阵计算和L2灵敏度的严格界限。我们的框架实现了这些目标，依赖于一个功能分析为基础的敏感性跟踪方法，我们简要概述。这种方法与基于静态图的自动微分自然无缝地互操作，与以前的工作相比，它可以在编译时间上实现数量级的改进。此外，我们证明，优化整个计算图的灵敏度，一次产生实质上更严格的估计相比，区间界限传播技术的真实灵敏度。我们的工作自然适合DP的最新发展，如个人隐私会计，旨在提供改进的隐私效用权衡，并代表了一个步骤，可访问的机器学习工具与先进的隐私会计系统的集成。
2022-04-05 cs.CR cs.LG
Echo of Neighbors: Privacy Amplification for Personalized Private Federated Learning with Shuffle Model
Renmin University of China（中国人民大学）；Emory University（埃默里大学）
本文提出APES和S-APES框架，首次利用混洗模型的隐私放大效应，在个性化本地差分隐私下实现更强的中心隐私保障，并通过回声贡献度量和后稀疏化技术提升模型效用。
2023-05-26 cs.CR cs.LG
Prive-HD: Privacy-Preserved Hyperdimensional Computing
UC San Diego（加州大学圣迭戈分校）
数据的隐私性是机器学习中的一个主要挑战，因为经过训练的模型可能会暴露封闭数据集的敏感信息。此外，边缘设备有限的计算能力和容量使得云托管推理不可避免。将私人信息发送到远程服务器使得推断的隐私也容易受到攻击，因为易受影响的通信信道甚至不可信的主机。在本文中，我们的目标是大脑启发的超维（HD）计算的隐私保护训练和推理，这是一种新的学习算法，由于其轻量级的计算和鲁棒性，特别是对具有严格约束的边缘设备的吸引力，因此越来越受到关注。事实上，尽管HD计算具有很好的属性，但由于其可逆计算，它几乎没有隐私。我们提出了一种准确性和隐私性的权衡方法，通过细致的量化和修剪超向量，HD的构建块，以实现差异化的私人模型，以及混淆发送的信息，用于云托管的推理。最后，我们将展示如何提出的技术也可以利用高效的硬件实现。
2020-05-14 cs.CR cs.LG stat.ML
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
联邦学习（FL）使分布式代理能够协作学习集中式模型，而无需彼此共享原始数据。然而，数据局部性不提供足够的隐私保护，并且期望促进具有严格的差分隐私（DP）保证的FL。现有的DP机制会引入幅度与模型大小成比例的随机噪声，这在深度神经网络中可能非常大。在本文中，我们提出了一个新的FL框架与稀疏放大隐私。我们的方法集成了随机稀疏与梯度扰动每个代理放大隐私保证。由于稀疏化会增加达到一定目标精度所需的通信轮数，这对DP保证不利，因此我们进一步引入加速技术以帮助降低隐私成本。我们严格分析了我们方法的收敛性，并利用Renyi DP来严格考虑端到端的DP保证。在基准数据集上的大量实验验证了该方法在隐私保证和通信效率方面都优于以前的差分私有FL方法。
2021-06-08 cs.CR cs.LG stat.ML
Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent
National University of Singapore（新加坡国立大学）
当迭代随机学习算法的内部状态为\emph{private}时，算法关于训练数据的信息泄漏是什么？每个特定的训练时期对通过发布模型的信息泄漏的贡献有多大？我们研究了这个问题的噪声梯度下降算法，并在整个训练过程中建模的Rényi差分隐私损失的\emph{dynamics}。我们的分析追踪了一个可证明的\emph{tight}边界，该边界位于在相邻数据集上训练的模型参数上的一对概率分布之间的Rényi发散上。我们证明了隐私损失指数收敛速度快，光滑和强凸损失函数，这是一个显着的改进组合定理（高估了隐私损失的上限，其总价值超过所有中间梯度计算）。对于Lipschitz，光滑，强凸损失函数，我们证明了噪声梯度下降算法的最佳效用与一个小的梯度复杂性。
2022-09-09 cs.CR cs.LG stat.ML
Tight Bounds for Machine Unlearning via Differential Privacy
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）
本文针对 Sekhari 等人提出的机器遗忘问题，通过差分隐私算法，完全弥合了删除容量的上下界差距，获得了紧界。
2023-09-02 cs.LG
Evaluating Differentially Private Machine Learning in Practice
University of Virginia（弗吉尼亚大学）
差分隐私是一个强有力的隐私概念，可以用来证明形式上的保证，在隐私预算方面，$ε$，关于有多少信息被泄露的机制。然而，隐私保护机器学习的实现通常选择大的$ε$值，以获得可接受的模型效用，而很少了解这种选择对有意义的隐私的影响。此外，在使用迭代学习过程的情况下，使用提供更严格分析的差分隐私变体，这似乎减少了所需的隐私预算，但在隐私和效用之间存在难以理解的权衡。在本文中，我们量化的影响，这些选择的隐私实验与逻辑回归和神经网络模型。我们的主要发现是，即使使用先进的机制，也可以保证隐私损失的上限与使用当前推理攻击可以测量的有效隐私损失之间存在巨大差距。当前的差异私有机器学习机制很少提供可接受的效用-隐私权衡，并保证复杂的学习任务：提供有限准确性损失的设置提供无意义的隐私保证，提供强隐私保证的设置导致无用的模型。实验代码可以在这里找到：https://github.com/bargavj/EvaluatingDPML
2019-08-12 cs.CR cs.LG stat.ML
FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning
University of California Berkeley（加州大学伯克利分校）
最近对联邦学习的攻击表明，将训练数据保存在客户端设备上并不能提供足够的隐私，因为客户端共享的模型参数可能会泄露有关其训练数据的信息。“安全聚合”协议使服务器能够以保护隐私的方式聚合客户端的模型。然而，现有的安全聚合协议会产生很高的计算/通信成本，特别是当模型参数的数量大于参与迭代的客户端的数量时-这是联邦学习中的典型场景。在本文中，我们提出了一个安全的聚合协议，FastSecAgg，这是有效的计算和通信方面，和强大的客户端辍学。FastSecAgg的主要组成部分是一个新的多秘密共享方案，FastShare，基于快速傅立叶变换（FFT），这可能是独立的利益。FastShare是信息理论上安全的，并实现了秘密数量，隐私阈值和丢包容忍之间的权衡。利用FastShare的能力，我们证明了FastSecAgg（i）在诚实但好奇的情况下，可以防止服务器与客户端的某个常数部分（例如$\sim10\%$）的“任意”子集合谋;（ii）可以容忍客户端的某个常数部分（例如$\sim10\%$）的“随机”子集的丢失. FastSecAgg实现显着更小的计算成本比现有的计划，同时实现相同的（有序）的通信成本。此外，它还保证了针对自适应对手的安全性，这些对手可以在协议执行期间动态地执行客户端损坏。
2020-09-23 cs.CR cs.IT cs.LG
Stronger Privacy Amplification by Shuffling for Rényi and Approximate Differential Privacy
Apple（苹果公司）
本文从理论和数值两方面改进了混洗模型的隐私放大结果，首次给出LDP随机化器混洗输出的Rényi差分隐私参数的渐近最优分析，并提出新分析方法在所有参数设置下获得更紧的数值界。
2023-10-30 cs.CR cs.DS cs.LG
Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement
Texas State University（德克萨斯州立大学）；University of South Florida（南佛罗里达大学）；University of Arizona（亚利桑那大学）
针对固定大小子采样的DP-SGD，提出更紧的RDP会计方法，改进界限4倍，并证明其与泊松子采样隐私等价，且内存使用更优。
2024-08-19 cs.CR cs.LG
Certification-Based Differentially Private Learning
Imperial College London（帝国理工学院）
本研究将形式化方法（抽象解释）推广至差分隐私的预测与学习，提出抽象梯度采样算法，提供更严格的隐私保证并首次在无界灵敏度场景给出有限隐私界限。
2026-10-01 cs.LG
Privacy Amplification for Matrix Mechanisms
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出首个面向任意矩阵机制的采样隐私放大算法MMCC，并证明条件组合定理，使DP-FTRL的噪声渐近匹配带放大的DP-SGD，显著改善隐私-效用权衡。
2024-05-04 cs.CR cs.LG
Privacy and Utility Tradeoff in Approximate Differential Privacy
Google AI（谷歌人工智能（Google AI））；New York, NY 10011（纽约州纽约市（邮编10011））
本文研究了$(ε, δ)$ -差分隐私中单个实值查询函数的最小噪声幅值和噪声功率。我们推导出新的下界使用线性规划的对偶，并提出了一个新的类$(ε,δ)$ -差分私有机制，\emph{truncated Laplacian}机制，新的上界。我们发现，乘法差距的下限和上限在各种高隐私制度为零，证明了紧的下限和上限，从而建立截断拉普拉斯机制的最优性。特别是，我们的研究结果关闭了以前的常数乘法的离散设置的差距。数值实验表明，截断拉普拉斯机制的最佳高斯机制在所有的隐私机制的改善。
2019-02-05 cs.CR cs.LG
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对差分隐私线性学习器，通过更紧致的隐私分析和新的计算工具改进了目标扰动机制，使其在无约束凸广义线性问题上的性能与DP-SGD相当，同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
The Power of Factorization Mechanisms in Local and Central Differential Privacy
University of Toronto（多伦多大学）；Northeastern University（东北大学）
在差分隐私的局部和中心模型中，我们给出了回答线性查询（统计查询）的样本复杂度的新的刻画：* 在非交互局部模型中，我们给出了样本复杂度的第一近似刻画。非正式地说，我们的界限是紧的，在查询的数量和所需的准确性的多对数因子。我们的特征扩展到不可知学习的本地模型。* 在中心模型中，我们给出了高精度区域中样本复杂性的表征，类似于Nikolov，Talwar和Zhang（STOC 2013），但在定量上更严格，并且具有非常简单的证明。我们的下界同样适用于经验和人口估计问题。在这两种情况下，我们的特征表明，一个特定的因子分解机制是近似最优的，和最佳的样本复杂性是有界的从上到下的良好研究与查询相关的矩阵的因子分解规范。
2019-11-19 cs.CR cs.DS cs.LG
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统，利用高斯机制输出扰动和 Rényi 差分隐私，在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG
Privacy Backdoors: Stealing Data with Corrupted Pretrained Models
ETH Zurich（苏黎世联邦理工学院）
本文揭示了一种通过篡改预训练模型权重植入隐私后门的新型供应链攻击，可重建微调数据并攻破差分隐私保护，警示不可信模型的不安全性。
2024-03-30 cs.CR cs.LG
Continual Learning with Differential Privacy
New Jersey Institute of Technology（新泽西理工学院）；University of Florida（佛罗里达大学）
在本文中，我们专注于在持续学习（CL）中保持差分隐私（DP），其中我们训练ML模型来学习一系列新任务，同时记住以前的任务。我们首先引入连续相邻数据库的概念来约束参与CL训练过程的任何数据记录的灵敏度。在此基础上，我们开发了一种新的CL DP保留算法，该算法采用数据采样策略，通过应用时刻会计师来量化著名的平均梯度情景记忆（A-GEM）方法中训练数据的隐私风险。我们的算法提供了正式的保证隐私的数据记录在CL的任务。初步的理论分析和评估表明，我们的机制收紧隐私损失，同时保持一个有前途的模型效用。
2021-10-11 cs.CR cs.LG
Differentially Private Dropout
Boğaziçi University（海峡大学）
训练神经网络所需的大量数据集合通常包含敏感信息，例如患者的病史，并且必须保护训练数据的隐私。在本文中，我们介绍了一个辍学技术，提供了一个优雅的贝叶斯解释辍学，并表明，固有的噪声添加，与正则化的主要目标，可以利用获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战，因为多次迭代增加了添加的噪声量。我们克服了这一点，使用一个宽松的概念，差分隐私，称为集中差分隐私，它提供了更严格的估计整体隐私损失。我们在基准数据集上证明了我们的隐私保护dropout算法的准确性。
2017-11-30 cs.LG stat.ML
Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
该研究明确了大型语言模型中反事实记忆与自适应提取的差分隐私边界，发现二者互不控制，存在双向盲区，且在数十亿参数模型上依然存在。
2026-08-31 cs.CL cs.CR cs.LG
Analysis of Shuffling Beyond Pure Local Differential Privacy
LY Corporation（LY公司）
本文分析了洗牌在超越纯局部差分隐私下的隐私增强效果，提出洗牌指数作为衡量指标，并给出了计算方法。
2026-03-02 cs.CR cs.DS cs.IT
Privacy Amplification via Shuffled Check-Ins
LINE Corporation（LINE公司）
本文研究混洗签到分布式计算协议，允许客户端随机自主决定参与，通过基于Rényi差分隐私的隐私放大分析实现紧致隐私保障，并首次在本地/混洗模型下数值评估含高斯机制在内的通用混洗机制。
2023-07-04 cs.CR cs.LG
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；Australian Tax Office（澳大利亚税务局）；School of Mathematics and Statistics, University of Melbourne（墨尔本大学数学与统计学院）
Blowfish隐私是差分隐私的最新概括，它可以提高效用，同时保持具有语义保证的隐私策略，这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法：最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是，虽然差分隐私具有很强的对称性，Blowfish相邻关系对应于任意简单的图形，由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制，我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
User-Entity Differential Privacy in Learning Natural Language Models
New Jersey Institute of Technology（新泽西理工学院）；Adobe Systems Inc.（奥多比系统公司）
在本文中，我们引入了一个新的概念，用户-实体差分隐私（UeDP）提供正式的隐私保护，同时在文本数据和数据所有者的敏感实体学习自然语言模型（NLM）。为了保护UeDP，我们开发了一种新的算法，称为UeDP-Alg，优化隐私损失和模型效用之间的权衡与紧密的敏感性界限来自无缝结合的用户和敏感的实体采样过程。广泛的理论分析和评估表明，我们的UeDP-Alg优于基准方法在模型效用相同的隐私预算消耗下的几个NLM任务，使用基准数据集。
2022-11-09 cs.CL cs.CR cs.LG
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics（统计系）；Graduate Group in Applied Mathematics and Computational Science（应用数学与计算科学研究生组）；Department of Biostatistics, Epidemiology and Informatics（生物统计学、流行病学与信息学系）
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题，在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题，我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比，我们的新的隐私组合下的边界获得改进的紧密性，利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性，证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；HKUST（香港科技大学）
我们提出了拜占庭鲁棒的联邦学习协议，具有接近最优的统计率。与以前的工作相比，我们提出的协议提高了维度依赖性，并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准，并显示所提出的协议的经验优势。最后，我们注意到，我们的协议与桶可以自然地与隐私保证程序相结合，以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Avoiding Pitfalls for Privacy Accounting of Subsampled Mechanisms under Composition
Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google DeepMind（谷歌DeepMind）
本文纠正了子采样差分隐私机制组合核算中的两个常见误区：证明最坏情况数据集自组合不能决定组合隐私保证，并揭示泊松子采样与无放回采样在隐私保证上可能差异显著，例如前者ε≈1而后者ε>10。
2025-04-08 cs.CR cs.DS cs.LG
Privacy Amplification Persists under Unlimited Synthetic Data Release
Université de Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL, F-59000 Lille, France（里尔大学、Inria、CNRS、Centrale Lille、UMR 9189 CRIStAL、法国里尔）；PreMeDICaL team, Inria, Idesp, Inserm, Université de Montpellier（PreMeDICaL团队、Inria、Idesp、Inserm、蒙彼利埃大学）
本文在参数有界假设下证明了即使发布无限数量的合成数据，隐私放大仍持续，改进了之前关于线性生成器的隐私保证界限。
2026-02-03 cs.CR cs.DS cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Nearly Tight Black-Box Auditing of Differentially Private Machine Learning
University College London（伦敦大学学院）；University of California, Riverside（加州大学河滨分校）
本文提出黑盒威胁模型下的DP-SGD审计流程，通过构造最坏初始参数实现近似紧的隐私估计，在MNIST、CIFAR-10上验证效果优于此前白盒外的审计方法，可助力DP-SGD隐私分析改进与实现问题检测。
2024-11-02 cs.CR cs.LG
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University（上海交通大学）
近年来，机器学习的广泛应用对大规模、高维数据产生了巨大的需求，而数据的隐私问题也引起了人们的严重关注。差分隐私（DP）机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件，提出了一种改进的矩阵高斯机制（IMGM）。IMGM只对噪声协方差矩阵的奇异值施加约束，这为设计留下了空间。在矩阵值DP的合法噪声分布中，我们发现最佳分布是i.i.d.。高斯噪声，并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外，在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
Certified Robustness to Adversarial Examples with Differential Privacy
Columbia University（哥伦比亚大学）
欺骗机器学习模型，特别是深度神经网络的对抗性示例一直是人们强烈研究的主题，攻击和防御都在紧密的来回发展。过去的大多数防御都是尽力而为的，并且已经被证明容易受到复杂的攻击。最近引入了一组经过认证的防御，它们提供了对范数有界攻击的鲁棒性保证，但它们要么不能扩展到大型数据集，要么在它们可以支持的模型类型方面受到限制。本文提出了第一个认证的防御，既可以扩展到大型网络和数据集（例如Google的Inception网络ImageNet），又可以广泛应用于任意模型类型。我们的防御称为PixelDP，基于对抗性示例的鲁棒性和差分隐私之间的新型联系，差分隐私是一种受密码学启发的形式主义，为防御提供了严格，通用和灵活的基础。
2019-05-29 cs.AI cs.CR cs.LG
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology（新泽西理工学院）；Kent State University（肯特州立大学）；University of Oregon（俄勒冈大学）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
在本文中，我们提出了一种新的异构高斯机制（HGM），以保持差分隐私在深度神经网络，具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从（0，1]放宽到（0，\infty），并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配，提供了一个独特的能力，以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性，我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后，提出了一个更严格的鲁棒性界。理论分析和全面的评估表明，我们的机制显着提高了不同的私人深度神经网络的鲁棒性，与基线方法相比，在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Fully Adaptive Composition in Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）；LinkedIn（领英）
本文研究差分隐私中的完全自适应组合问题，通过利用鞅浓度的进展，构建了匹配先进组合速率的隐私过滤器和通用的隐私里程表，证明了完全自适应隐私几乎无损失即可获得。
2023-10-24 cs.CR cs.DS cs.LG
Differential privacy and robust statistics in high dimensions
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
我们引入了一个通用的框架，用于表征具有差分隐私保证的统计估计问题的统计效率。我们的框架，我们称之为高维提案测试发布（HPTR），建立在三个关键组成部分：指数机制，强大的统计，和提案测试发布机制。将所有这些结合在一起的是弹性的概念，这是可靠的统计估计的核心。弹性指导算法的设计、灵敏度分析和Propose-Test-Release中测试步骤的成功概率分析。关键的见解是，如果我们设计一个指数机制，只通过一维鲁棒统计访问数据，那么由此产生的局部敏感性可以显着降低。使用弹性，我们可以提供严格的局部灵敏度界限。在某些情况下，这些严格的界限很容易转化为接近最优的效用保证。我们给出了一个通用的配方应用HPTR的统计估计问题的一个给定的例子，并证明了它的典型问题的均值估计，线性回归，协方差估计，和主成分分析。我们引入了一个通用的效用分析技术，证明了HPTR几乎达到了最佳的样本复杂度在文献中研究的几种情况下。
2021-11-12 cs.CR cs.IT cs.LG
Discrete Distribution Estimation under User-level Local Differential Privacy
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
研究了用户级局部差分隐私（LDP）下的离散分布估计。在用户级$\varepsilon$ -LDP中，每个用户都有$m\ge1$样本，并且必须同时保护所有$m$样本的隐私。我们解决了以下困境：一方面，每个用户有更多的样本应该提供更多的信息的基础分布，另一方面，保证隐私的所有$m$样本应该使估计任务更加困难。我们得到紧界几乎所有的参数制度下，这个问题。也许令人惊讶的是，我们表明，在合适的参数制度，每个用户具有$m$样本相当于具有$m$倍以上的用户，每个用户只有一个样本。我们的研究结果表明有趣的相变$m$和隐私参数$\varepsilon$的估计风险。最后，与最近的结果洗牌DP，我们表明，结合随机洗牌，我们的算法导致最佳的错误保证（对数因子）在一定的参数制度下的用户级DP的中央模型。我们提供了几个模拟来验证我们的理论研究结果。
2022-11-07 cs.CR cs.LG
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta；FAIR（Facebook人工智能研究院）
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题，提出有界支撑高斯机制的简单修改方案，经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
