Using Autoencoders on Differentially Private Federated Learning GANs
Delft University of Technology（代尔夫特理工大学）
在过去的几十年里，机器学习已经应用于计算机科学的几乎所有领域。GANs的引入为医学研究和文本预测领域带来了新的可能性。然而，这些新字段处理的是对隐私更加敏感的数据。为了维护用户隐私，可以使用联邦学习、差分隐私和GANs的组合来处理私有数据，而不会泄露用户的隐私。最近，已经公布了这种组合的两种实现：DP-馈入平均GAN和GS-W GAN。本文比较了它们的性能，并介绍了DP-Fed-Avg GAN的替代版本，该版本利用去噪技术来对抗将差分隐私和联邦学习应用于GANs时通常会发生的准确性损失。我们还比较了去噪DP-Fed-Avg GAN的新适应在这个领域的最先进的实现。
2022-06-24 cs.CR cs.LG
Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger
AWS AI（AWS人工智能）；UC Santa Barbara（加州大学圣巴巴拉分校）
针对差分隐私深度学习中逐样本梯度裁剪阈值调优难的问题，提出自动裁剪方法，适配多种DP优化器且无需DP专属超参数，经理论分析和多任务实验验证其收敛性与性能均表现优异，易用性强。
2023-10-04 cs.CL cs.CR cs.CV
Differentially Private Learning with Per-Sample Adaptive Clipping
Tsinghua University（清华大学）；Peking University（北京大学）；Ant Group（蚂蚁集团）
针对差分隐私学习中恒定裁剪需调参、归一化方法偏差大的问题，提出基于非单调权重的DP-PSAC算法，在保障隐私的同时降低更新偏差，理论与实验均验证其性能优于现有最优方法。
2023-05-02 cs.AI cs.CR cs.LG
DPAdapter: Improving Differentially Private Deep Learning through Noise Tolerance Pre-training
Indiana University Bloomington（印第安纳大学伯明顿分校）；Stanford University（斯坦福大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对差分隐私导致深度学习模型性能下降的问题，提出即插即用的DPAdapter技术，通过改进SAM算法的双批次策略提升参数抗噪鲁棒性，在隐私预算ε=4时将SOTA DPML算法的平均准确率从72.92%提升至77.09%。
2024-03-05 cs.CV cs.LG
When differential privacy meets NLP: The devil is in the detail
Technical University of Darmstadt（达姆施塔特工业大学）
差分隐私提供了一个正式的方法来保护个人隐私。差分隐私在各种场景中的应用，例如保护用户的原始话语，必须满足某些数学性质。我们的贡献是对ADePT的正式分析，ADePT是一种用于文本重写的差分私有自动编码器（Krishna等人，2021）。ADePT在下游任务上取得了令人鼓舞的成果，同时提供了严格的隐私保证。我们的证据表明，ADePT是没有差异的私人，从而使实验结果未经证实。我们还量化了其私有机制中的错误的影响，表明在非常小的编码器维度的乐观情况下，真实的灵敏度至少高出6倍，并且未私有化的话语量可以轻松达到整个数据集的100%。我们的意图既不是批评作者，也不是批评同行评审过程，而是指出，如果NLP中的差分隐私应用依赖于正式的保证，这些应该被全面概述并进行详细审查。
2021-09-07 cs.CL cs.CR
DP-DCAN: Differentially Private Deep Contrastive Autoencoder Network for Single-cell Clustering
East China Normal University（华东师范大学）；Shanghai Key Laboratory of Trustworthy Computing（上海市可信计算重点实验室）；Xinhua Hospital（新华医院）；Shanghai Jiao Tong University（上海交通大学）
针对现有全网络扰动的差分隐私方法用于单细胞聚类时性能损耗大的问题，提出仅对部分网络加噪的DP-DCAN模型，在6个数据集上性能优于传统方案且对抗攻击鲁棒性强。
2024-05-13 cs.AI cs.LG q-bio.GN
Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation
Technical University of Munich（慕尼黑工业大学）；OpenMined；Imperial College London（帝国理工学院）
近年来，出现了能够部署到数据驱动任务（如机器学习（ML））的隐私保护的正式方法，如差分隐私（DP）。要用个体隐私损失的原则性分析所需的封闭式推理来验证大规模ML，需要引入新的工具来进行自动敏感性分析，并通过计算流程跟踪个人数据及其特征。为此，我们引入了一种新的\textit{hybrid}自动微分（AD）系统，它结合了反向模式AD的效率，能够获得一个封闭形式的表达式中的任何给定的数量的计算图。这使得能够对任意可微函数组合的敏感性进行建模，例如在私有数据上训练神经网络。我们通过分析统计数据库查询的个人DP保证来证明我们的方法。此外，我们调查我们的技术的应用程序的DP神经网络的训练。我们的方法可以使原则推理的隐私损失的数据处理的设置，并进一步发展的自动敏感性分析和隐私预算系统。
2021-08-17 cs.CR cs.LG cs.SC
Representation Transfer for Differentially Private Drug Sensitivity Prediction
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
动机：人类基因组数据集通常包含限制数据使用和共享的敏感信息。特别是，简单的匿名化策略无法为基因组数据提供足够的保护，因为数据本身是可识别的。差异私有机器学习可以保证发布的结果不会泄露太多关于任何单个数据点的信息。最近的研究已经取得了可喜的成果差异私人药物敏感性预测使用基因表达数据。基于基因组数据的差分隐私学习具有挑战性，因为它更难保证高维数据的隐私性。降维可以有所帮助，但如果降维映射是从数据中学习的，那么它也需要是差异隐私的，这可能会带来显着的隐私成本。此外，任何超参数（如目标维度）的选择也需要避免泄露私人信息。结果：我们研究了一种方法，该方法使用类似类型的大型公共数据集来学习差分私有学习的紧凑表示。我们比较了三种表示学习方法：变分自编码器，PCA和随机投影。我们解决了两个关于癌细胞系基因表达的机器学习任务：癌症类型分类和药物敏感性预测。实验表明，所有表示学习方法都具有显着的优势，变分自动编码器最常提供最准确的预测。我们的研究结果显着提高了以前的国家的最先进的差异私人药物敏感性预测的准确性。
2019-01-29 cs.CR cs.LG q-bio.QM
Differentially Private Counterfactuals via Functional Mechanism
Rice University（莱斯大学）；Texas A&M University（得克萨斯农工大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
反事实作为一种新兴的模型解释类型，近年来引起了业界和学术界的广泛关注。不同于传统的基于特征的解释（例如，归因），反事实是一系列假设样本，可以在查询上以最小的扰动翻转模型决策。在给定有效的反事实的情况下，人类能够在“假设”的情况下进行推理，以便更好地理解模型的决策边界。然而，发布反事实可能是有害的，因为它可能会无意中将敏感信息泄露给对手，这会给模型安全和数据隐私带来更高的风险。为了弥补这一差距，本文提出了一个新的框架来生成差异私有反事实（DPC），而不触及部署的模型或解释集，其中注入噪音以进行保护，同时保持反事实的解释角色。特别地，我们训练了一个自动编码器的功能机制，以构建嘈杂的类原型，然后推导出DPC的潜在原型的基础上的后处理免疫的差分隐私。进一步的评估表明，所提出的框架的有效性，DPC可以成功地减轻提取和推理攻击的风险。
2022-08-04 cs.AI cs.CR cs.LG
Differentially Private Data Generative Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）；Macquarie University（麦考瑞大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织Data61研究所）
深度神经网络（DNN）最近在各种应用中被广泛采用，并且这样的成功很大程度上是由于算法突破、计算资源改进和对大量数据的访问的组合。然而，深度学习所需的大规模数据汇集通常包含敏感信息，因此引发了许多隐私问题。先前的研究已经显示了在推断敏感训练数据信息方面的几种成功攻击，例如模型反演、成员推断和基于生成对抗网络（GAN）的针对协作深度学习的泄漏攻击。在本文中，使学习效率，以及生成数据的隐私保证和高实用性，我们提出了一个差分私有自动编码器为基础的生成模型（DP-AuGM）和差分私有变分自编码器为基础的生成模型（DP-VaeGM）。我们评估了两个模型的鲁棒性。我们表明，DP-AuGM可以有效地抵御模型反演，成员推理和基于GAN的攻击。我们还表明，DP-VaeGM是强大的对成员推断攻击。我们推测防御模型反演和基于GAN的攻击的关键不是由于差分隐私，而是训练数据的扰动。最后，我们证明了DP-AuGM和DP-VaeGM都可以很容易地与现实世界的机器学习应用程序集成，例如机器学习即服务和联邦学习，否则它们将分别受到成员推断攻击和基于GAN的攻击的威胁。
2018-12-06 cs.CR cs.LG
Differentially Private Synthetic Mixed-Type Data Generation For Unsupervised Learning
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）；Southern Methodist University（南卫理公会大学）；Amazon（亚马逊）
我们引入了用于合成数据生成的DP-auto-GAN框架，该框架将自编码器的低维表示与生成对抗网络（GANs）的灵活性相结合。该框架可用于获取原始敏感数据并私下训练用于生成合成数据的模型，该合成数据将满足与原始数据类似的统计属性。这种学习模型可以生成任意数量的合成数据，由于差分隐私的后处理保证，这些数据可以自由共享。我们的框架适用于未标记的混合类型数据，可能包括二进制，分类和实值数据。我们实现了这个框架的二进制数据（MIMIC-III）和混合类型的数据（ADESTO），并比较其性能与现有的私人算法的指标在无监督的设置。我们还介绍了一种新的定量度量，能够检测多样性，或缺乏合成数据。
2020-12-10 cs.CR cs.LG stat.ML
DP-EMAR: A Differentially Private Framework for Autonomous Model Weight Repair in Federated IoT Systems
Research Scholar, Department of CSE（计算机科学与工程系研究学者）；Professor, Department of CSE（计算机科学与工程系教授）；PES University, RR Nagar, Bangalore, India（印度班加罗尔RR Nagar的PES大学）
DP-EMAR通过整合差分隐私与安全聚合，实现联邦物联网系统中自主修复模型权重失真，确保隐私保护下的收敛稳定性与通信效率。
2025-12-15 cs.LG cs.NA math.NA
Differentially Private Speaker Anonymization
The Alan Turing Institute（阿兰·图灵研究所）；Vector Institute（向量研究所）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Lorraine（洛林大学）；University of Toronto（多伦多大学）
共享真实世界的语音是训练和部署基于语音的服务的关键。然而，它也增加了隐私风险，因为语音包含大量的个人数据。说话人匿名化的目的是去除说话人信息，同时保持其语言和韵律属性不变。最先进的技术通过将说话者信息（经由说话者嵌入表示）从这些属性中分离出来并且基于另一说话者的说话者嵌入来重新合成语音来操作。隐私社区先前的研究表明，匿名化通常提供脆弱的隐私保护，更不用说任何可证明的保证。在这项工作中，我们表明，解纠缠确实是不完美的：语言和韵律属性仍然包含扬声器信息。我们从这些属性中删除扬声器信息，通过引入差分私人特征提取器的基础上的自动编码器和自动语音识别器，分别使用噪声层训练。我们将这些提取器插入到最先进的匿名化管道中，并首次生成私人语音话语，其包含的说话者信息具有可证明的上限。我们经验评估的隐私和实用程序所产生的差异私人扬声器匿名化方法的LibriSpeech数据集。实验结果表明，所生成的话语保留了非常高的实用程序的自动语音识别的训练和推理，同时更好地保护强大的对手谁利用匿名化过程的全部知识，试图推断说话人的身份。
2022-10-06 cs.CR cs.LG cs.SD
Differentially Private Synthetic Medical Data Generation using Convolutional GANs
Virginia Tech（弗吉尼亚理工大学）
深度学习模型在几个应用问题中表现出了卓越的性能，例如图像分类和语音处理。然而，使用健康记录数据创建深度学习模型需要解决某些隐私挑战，这些挑战给在该领域工作的研究人员带来了独特的担忧。处理这种私有数据问题的一种有效方法是生成真实的合成数据，其可以提供实际上可接受的数据质量和相应的模型性能。为了应对这一挑战，我们开发了一个差分隐私框架的合成数据生成使用雷尼差分隐私。我们的方法建立在卷积自动编码器和卷积生成对抗网络的基础上，以保留生成的合成数据的一些关键特征。此外，我们的模型还可以捕获原始数据中可能存在的时间信息和特征相关性。我们证明了我们的模型在相同的隐私预算下，在监督和无监督环境下使用几个公开的基准医疗数据集，优于现有的最先进的模型。
2020-12-22 cs.AI cs.LG
Differentially Private Mixture of Generative Neural Networks
CrySyS Lab, BME-HIT（CrySyS实验室，布达佩斯技术与经济大学-网络系统与服务系）；University College London（伦敦大学学院）；INRIA（法国国家信息与自动化研究所）
生成模型被广泛用于构建大量上下文丰富信息的应用程序中。然而，由于可能侵犯其数据被用于训练这些模型的个人的隐私，发布或共享生成模型并不总是可行的。在本文中，我们提出了一种新的技术，用于私下发布生成模型和由这些模型产生的整个高维数据集。我们用$k$生成神经网络的混合物对训练数据的生成器分布进行建模。它们一起训练，共同学习数据集的生成器分布。数据被分成$k$集群，使用一种新的差分私有内核$k$ -means，然后每个集群被赋予单独的生成神经网络，如限制玻尔兹曼机或变分自编码器，它们只在自己的集群上使用差分私有梯度下降进行训练。我们使用MNIST数据集以及呼叫详细记录和过境数据集来评估我们的方法，表明它产生了逼真的合成样本，这些样本也可用于准确计算任意数量的计数查询。
2018-07-13 cs.CR cs.LG
Differential Privacy for Credit Risk Model
Synechron Innovation Lab（赛科创新实验室）
使用机器学习算法对用户行为进行建模并推动业务决策已经变得越来越普遍，特别是为自动决策提供智能建议。这导致越来越多地使用客户个人数据来分析客户行为并预测他们对公司产品的兴趣。增加对这些客户个人数据的使用可以带来更好的模型，但也可能导致客户数据泄露、逆向工程和处理不当。在本文中，我们评估了差分隐私作为解决这些隐私问题的解决方案，通过将隐私保护构建到预测模型开发的数据工程和模型训练阶段。我们的兴趣是一个务实的实现在一个操作环境中，这需要一个通用的差异化的私人建模框架，我们评估了这样一个工具，从LeapYear的信用风险建模域。信用风险模型是银行和金融领域的一种主要建模方法，通过分析用户数据来确定银行的总预期损失。我们研究了差分隐私在信用风险模型中的应用，并评估了一个差异隐私模型与一个非差异隐私模型的性能。信用风险模型是银行和金融领域的主要建模方法，通过分析用户数据来确定银行的总预期损失。本文探讨了差分隐私在信用风险模型中的应用，并对一个非差异隐私模型和一个差异隐私模型的性能进行了评估。
2021-06-24 cs.CL cs.CR cs.LG
DP-Rewrite: Towards Reproducibility and Transparency in Differentially Private Text Rewriting
Technical University of Darmstadt（达姆施塔特工业大学）
基于差分隐私的文本重写为保护文本中个体的隐私提供了具体的理论保证。在实践中，现有系统可能缺乏验证其隐私保护声明的手段，导致透明度和可重复性问题。我们介绍DP-Rewrite，一个用于差异化私有文本重写的开源框架，旨在通过模块化，可扩展和高度可定制来解决这些问题。我们的系统整合了各种下游数据集、模型、预训练程序和评估指标，以提供一种灵活的方式来领导和验证私人文本重写研究。为了在实践中展示我们的软件，我们提供了一组实验作为ADePT DP文本重写系统的案例研究，在其预训练方法中检测隐私泄漏。我们的系统是公开的，我们希望它将有助于社区使DP文本重写研究更容易获得和透明。
2022-08-22 cs.CL cs.CR
Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data
针对联邦学习 Non-IID 数据导致全局模型性能下降的问题，提出 FedDPMS，利用可信服务器共享的差分隐私潜在表示均值生成合成数据以增强本地训练，并在图像分类中优于同类先进方法。
2023-04-20 cs.CR cs.DC cs.LG
Differentially Private and Fair Classification via Calibrated Functional Mechanism
University of Houston（休斯顿大学）；Guilin University of Electronic Technology（桂林电子科技大学）；Guangdong University of Technology（广东工业大学）
机器学习正日益成为在各种应用中做出决策的强大工具，例如医疗诊断和自动驾驶。与训练数据有关的隐私问题和关于某些属性的某些决策的不公平行为（例如，性别、种族）变得越来越重要。因此，构建一个公平的机器学习模型，同时提供隐私保护成为一个具有挑战性的问题。本文将功能机制与决策边界公平性相结合，重点研究了具有公平性和差分隐私保证的分类模型的设计。为了增强$ε$ -差分隐私和公平性，我们利用函数机制，在考虑公平性约束的情况下，对目标函数的多项式系数添加关于不同属性的不同数量的拉普拉斯噪声。我们进一步提出了一种效用增强方案，称为松弛函数机制，通过加入高斯噪声代替拉普拉斯噪声，从而实现$(ε,δ)$ -差分隐私.在此基础上，设计了$(ε,δ)$ --差分隐私公平分类模型。此外，我们的理论分析和实验结果表明，我们的两种方法实现了公平性和差分隐私，同时保持良好的效用，并优于国家的最先进的算法。
2020-03-12 cs.CR cs.LG
ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?
Columbia University（哥伦比亚大学）；NYU（纽约大学）；Google Research（谷歌研究）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google（谷歌）
提出ContinuousBench基准，通过持续更新的数据集评估差分隐私合成文本能否传递原始语料库中的新知识，实验表明非隐私合成能有效转移知识，而最先进的DP合成方法即使在高隐私预算下也基本失败。
2026-06-02 cs.CL cs.CR cs.LG
Embedding-Based Federated Data Sharing via Differentially Private Conditional VAEs
xAILab Bamberg, University of Bamberg, Germany（巴姆堡大学）
本文提出利用差分隐私条件变分自编码器（DP-CVAE）在联邦学习框架下共享基础模型提取的嵌入，以低通信开销和更少参数支持多下游任务，同时保证差分隐私并优于传统联邦分类器。
2025-07-03 cs.CV cs.LG eess.IV
Differentially-Private Data Synthetisation for Efficient Re-Identification Risk Control
Faculty of Sciences, University of Porto（波尔图大学理学院）；Lucy Family Institute for Data & Society, University of Notre Dame（圣母大学露西数据与社会家族研究所）；TekPrivacy（TekPrivacy公司）
提出 $ε$-PrivateSMOTE 技术，结合噪声诱导插值与差分隐私生成合成数据，有效防范重识别攻击，在隐私风险和预测性能上优于现有方法，且时间效率提升至少 9 倍。
2024-04-23 cs.CR cs.LG
Decentralized Differentially Private Segmentation with PATE
KTH Royal Institute of Technology（瑞典皇家理工学院）；Elekta AB（医科达公司）
在医疗机器学习中保护隐私时，两个重要的考虑因素是（1）将数据保持在机构本地，以及（2）避免从训练模型中推断出敏感信息。这些通常分别使用联邦学习和差分隐私来解决。然而，常用的联合平均算法要求参与机构之间的高度同步。出于这个原因，我们把注意力转向教师合奏的私人聚合（PATE），在那里所有的本地模型可以独立地进行培训，而无需机构间的沟通。因此，本文的目的是探讨如何PATE -最初设计的分类-可以最好地适应语义分割。为此，我们建立了低维表示的分割掩模，学生可以通过低敏感度查询私人聚合器。在脑肿瘤分割（BraTS 2019）数据集上，基于自动编码器的PATE变体在相同的隐私保证下实现了比基于噪声联合平均的先前工作更高的Dice系数。
2020-04-10 cs.CR cs.CV cs.LG
Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping
Penn State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
Renyi差分隐私最近的工作表明了将差分隐私应用于深度学习任务的可行性。然而，尽管它们有希望，但差异私有深度网络在准确性方面往往远远落后于非私有网络，这表明需要在模型架构、优化器等方面进行更多的研究。这种放缓的原因是一个关键的隐私相关步骤，称为"每个示例的梯度裁剪"，其幼稚的实现取消了使用GPU进行批量训练的好处。通过分析反向传播方程，我们推导出与自动微分兼容的每个示例梯度裁剪的新方法（例如，在PyTorch和TensorFlow中），并提供更好的GPU利用率。我们在PyTorch中的实现显示了显著的训练速度提升（对于批量大小为128的各种模型，训练速度提高了54 - 94倍）。这些技术适用于各种架构选择，包括卷积层、递归网络、注意力、残差块等。
2020-09-07 cs.LG stat.ML
DPD-InfoGAN: Differentially Private Distributed InfoGAN
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
生成对抗网络（GANs）是能够生成合成数据集的深度学习架构。尽管生成高质量的合成图像，但默认的GAN无法控制它生成的图像类型。信息最大化GAN（InfoGAN）是默认GAN的一个变体，它引入了由框架自动学习的特征控制变量，从而对生成的不同类型的图像提供更好的控制。由于InfoGAN的高模型复杂性，生成分布往往集中在训练数据点周围。这是一个关键问题，因为模型可能会无意中暴露数据集中存在的敏感和隐私信息。为了解决这个问题，我们提出了一个不同的私人版本的InfoGAN（DP-InfoGAN）。我们还将我们的框架扩展到分布式设置（DPD-InfoGAN），以允许客户端以隐私保护的方式学习其他客户端数据集中的不同属性。在我们的实验中，我们表明DP-InfoGAN和DPD-InfoGAN都可以合成高质量的图像，灵活控制图像属性，同时保护隐私。
2021-03-22 cs.CV cs.LG
DP-OPD: Differentially Private On-Policy Distillation for Language Models
Santa Clara University（圣克拉拉大学）；Independent Researcher（独立研究员）
本文提出DP-OPD，一种无需合成的差分隐私在线策略蒸馏框架，通过在学生模型上应用DP-SGD实现隐私保护，利用冻结的教师模型提供密集的token级目标，提升压缩效率和隐私-效用平衡。
2026-04-06 cs.AI cs.CL cs.LG
Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping
Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学）；Department of Electrical and Computer Engineering, American University of Beirut（电气与计算机工程系，贝鲁特美国大学）
针对差分隐私学习中梯度裁剪对少数群体造成的不公平影响，提出有界自适应裁剪方法，通过引入可调下界防止过度梯度抑制，在Skewed和Fashion MNIST上最差类准确率提升超过10个百分点。
2026-06-11 cs.CR cs.LG stat.ML
Releasing Differentially Private Event Logs Using Generative Models
RWTH Aachen University（亚琛工业大学）
本文提出TraVaG和基于去噪扩散概率模型的两种方法，利用生成模型发布差分隐私迹变体，以解决过程挖掘中稀有迹变体隐私保护不足的问题，并在真实数据上验证了其在隐私保证和效用保留方面优于现有技术。
2025-04-08 cs.CR cs.LG
Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）；University of Chicago（芝加哥大学）
本文提出阶段式差分隐私零阶方法DP-ZOSO，通过动态调度超参数克服DP-SGD的可扩展性瓶颈，并在多种语言模型和任务上显著提升了隐私微调的效用与可扩展性。
2025-03-10 cs.AI cs.CL cs.LG
The Importance of Being Discrete: Measuring the Impact of Discretization in End-to-End Differentially Private Synthetic Data
UCL（伦敦大学学院）；SAS（SAS公司）；UC Riverside（加州大学河滨分校）
该研究针对差分隐私边缘生成模型中离散化可能破坏端到端隐私保障、效用不佳的问题，对比四种离散化策略，提出带差分隐私的离散器与改进的最优分箱选择方法，提升效用并降低隐私与计算开销。
2025-10-28 cs.CR cs.LG
ViP: A Differentially Private Foundation Model for Computer Vision
UC Berkeley（加州大学伯克利分校）；Meta AI
本文提出在差分隐私保证下训练视觉基础模型的方案，利用掩码自编码器与DP-SGD的契合性，在严格隐私预算下训练出ViP模型，其在ImageNet上的线性探测准确率与端到端AlexNet相当，证明了互联网规模数据用于隐私学习的可行性。
2023-06-28 cs.CR cs.CV cs.LG
Statistical Active Learning Algorithms for Noise Tolerance and Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）；IBM Research - Almaden（IBM阿尔马登研究院）
我们描述了一个框架，用于设计有效的主动学习算法，是容忍随机分类噪声，是不同的私人。该框架是基于主动学习算法的统计意义上说，他们依赖于过滤的随机示例的函数的期望的估计。它建立在Kearns（1993）强大的统计查询框架之上。我们表明，任何有效的主动统计学习算法可以自动转换为一个有效的主动学习算法，它是容忍随机分类噪声以及其他形式的“不相关”噪声。所得到的算法的复杂性具有信息理论上最优的二次依赖于$1/(1-2η)$，其中$η$是噪声率。我们表明，通常研究的概念类，包括阈值，矩形和线性分隔符可以有效地积极学习我们的框架。这些结果与我们的通用转换相结合，导致第一个计算效率高的算法，用于主动学习这些概念类中的一些在随机分类噪声的存在下，提供指数级改善的依赖于错误$ε$超过他们的被动同行。此外，我们表明，我们的算法可以自动转换为有效的主动差分隐私算法。这导致了第一个差分私有主动学习算法，其在被动情况下具有指数标签节省。
2014-11-05 cs.DS cs.LG stat.ML
Differentially Private Algorithms for Statistical Verification of Cyber-Physical Systems
University of Florida（佛罗里达大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
统计模型检验是一类顺序算法，其可以验证信息物理系统的集合上的感兴趣的规范（例如，是否99%的汽车从一批满足要求的能源效率）。这些算法通过抽取足够数量的独立同分布样本来推断具有可证明的统计保证的系统满足给定规格的概率。在统计模型检验的过程中，样本的值（例如，用户的汽车能量效率）可能被入侵者推断，引起消费者级应用中的隐私问题（例如，汽车和医疗设备）。本文从差分隐私的角度研究了统计模型检验算法的隐私问题。这些算法是连续的，绘制样本直到满足其值的条件。我们表明，透露抽取的样本数量可能会侵犯隐私。我们还表明，标准的指数机制，随机化的算法的输出，以实现差分隐私未能做到这一点的上下文中的顺序算法。相反，我们放松了保守的要求，在差分隐私的算法的输出的灵敏度应该是有界的任何数据集的任何扰动。本文提出了一种新的差分隐私概念，我们称之为期望差分隐私。然后，我们提出了一种新的预期灵敏度分析的顺序算法，并提出了相应的指数机制，随机终止时间，以实现预期的差分隐私。我们提出的机制，统计模型检验算法，以保护隐私的样本，他们提请。所提出的算法的效用证明在一个案例研究。
2022-06-27 cs.CR cs.LG stat.ML
An automatic differentiation system for the age of differential privacy
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；OpenMined；IIIT Hyderabad（海得拉巴国际信息技术学院）
我们介绍了氚，一个基于自动微分的灵敏度分析框架的差异私有（DP）机器学习（ML）。在此设置中的最佳噪声校准需要有效的雅可比矩阵计算和L2灵敏度的严格界限。我们的框架实现了这些目标，依赖于一个功能分析为基础的敏感性跟踪方法，我们简要概述。这种方法与基于静态图的自动微分自然无缝地互操作，与以前的工作相比，它可以在编译时间上实现数量级的改进。此外，我们证明，优化整个计算图的灵敏度，一次产生实质上更严格的估计相比，区间界限传播技术的真实灵敏度。我们的工作自然适合DP的最新发展，如个人隐私会计，旨在提供改进的隐私效用权衡，并代表了一个步骤，可访问的机器学习工具与先进的隐私会计系统的集成。
2022-04-05 cs.CR cs.LG
A Differentially Private Probabilistic Framework for Modeling the Variability Across Federated Datasets of Heterogeneous Multi-View Observations
Inria（法国国家信息与自动化研究所）
提出一种基于分层贝叶斯模型的差分隐私联邦学习框架，通过EM算法优化异构多视图数据差异建模，在阿尔茨海默病分布式数据集上验证了鲁棒性与高重建质量。
2022-04-26 cs.DC cs.LG stat.AP
Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping
Apple（苹果公司）；Purdue University（普渡大学）
本文提出首个在端到端ASR中应用差分隐私联邦学习的基准测试，通过每层裁剪和层间梯度归一化技术，在强隐私保障下实现高精度语音识别。
2025-11-25 cs.CR cs.LG stat.ML
Do You Really Need Public Data? Surrogate Public Data for Differential Privacy on Tabular Data
Boston University（波士顿大学）；New York University（纽约大学）
针对表格数据缺乏公共数据的问题，提出利用大语言模型从模式规范合成不消耗隐私预算的替代公共数据，用于DP分类器预训练、超参数调优和权衡估计，实验证明其可有效替代传统公共数据。
2025-04-19 cs.CR cs.LG
Assessing Differentially Private Variational Autoencoders under Membership Inference
SAP（思爱普）；University of Waterloo（滑铁卢大学）
我们提出了一种方法来量化和比较的隐私准确性权衡差分私人变分自编码器。我们的工作在两个方面补充了以前的工作。首先，我们评估了差分隐私下针对变分自编码器的强重构MI攻击。其次，我们解决了数据科学家设置隐私参数的挑战，这将引导差分隐私的强度，从而也是隐私准确性的权衡。在我们的实验研究中，我们考虑图像和时间序列数据，和三个本地和中央差分隐私机制。我们发现，隐私准确性权衡强烈依赖于数据集和模型架构。我们很少观察到变分自编码器的隐私-准确性权衡，并确定LDP优于CDP的情况。
2022-04-16 cs.CR cs.LG
DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders
现代机器学习系统在大型数据集上训练时取得了巨大的成功。然而，这些数据集通常包含敏感信息（例如医疗记录、人脸图像），导致严重的隐私问题。差分私有生成模型（DPGM）通过生成私有化的敏感数据来规避这种隐私问题。与其他差分隐私（DP）学习器类似，DPGM的主要挑战也是如何在效用和隐私之间实现微妙的平衡。我们提出了DP $^2$ -VAE，一种新的训练机制变分自编码器（VAE）与可证明的DP保证和改进的效用通过\emph{pre-training on private data}。在相同的DP约束条件下，DP $^2$ -VAE最小化了训练过程中的扰动噪声，从而提高了实用性。DP $^2$ -VAE非常灵活，易于适用于许多其他VAE变体。理论上，我们研究了预训练对私有数据的影响。从经验上讲，我们对图像数据集进行了广泛的实验，以说明我们在各种隐私预算和评估指标下优于基线。
2022-11-02 cs.CR cs.LG
Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation
LINE Corporation（LINE公司）；Kyoto University（京都大学）；SOKENDAI（综合研究大学院大学）
本文研究了在差分隐私约束下，如何学习具有多种发散性的变分自编码器。我们通常使用适当的先验分布来构建VAE，以描述所学习的表示的期望属性，并引入发散作为正则化项，以使表示接近先验。使用差分私有SGD（DP-SGD），通过注入根据梯度敏感度设计的专用噪声来随机化随机梯度，我们可以轻松构建差分私有模型。然而，我们发现，附加几个分歧增加的灵敏度从O（1）到O（B）的批量大小B。这导致注入大量的噪音，使其难以学习。为了解决上述问题，我们提出了逐项DP-SGD，其以两种不同的方式根据损失项的组成来定制随机梯度。即使在附加散度时，逐项DP-SGD也将灵敏度保持在O（1）。因此，我们可以减少噪音。在我们的实验中，我们证明了我们的方法可以很好地与两对先验分布和发散。
2020-06-19 cs.CR cs.LG stat.ML
PrivSyn: Differentially Private Data Synthesis
在差分隐私（DP）中，一个具有挑战性的问题是生成有效地捕获隐私数据中有用信息的合成数据集。合成数据集使任何任务都可以在没有隐私问题和修改现有算法的情况下完成。在本文中，我们提出了PrivSyn，第一个自动合成数据生成方法，可以处理一般的表格数据集（100个属性和域大小$>2^{500}$）。PrivSyn是由一种新的方法来自动和私人识别数据中的相关性，和一种新的方法来生成样本数据从一个密集的图形模型。我们在多个数据集上广泛评估了不同的方法，以证明我们方法的性能。
2020-12-30 cs.CR
Deciding Differential Privacy of Online Algorithms with Multiple Variables
本文推广了DiP自动机模型以支持多实值变量，刻画了差分隐私DiP自动机类，证明其判定问题为PSPACE完全，并实现了相应算法验证其有效性。
2023-09-12 cs.CR cs.FL cs.LO
Differentially Private De-identification of Dutch Clinical Notes: A Comparative Evaluation
Sapienza University of Rome（罗马大学）；Translated；Amsterdam UMC（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）
研究比较了差分隐私、命名实体识别和大型语言模型在荷兰临床文本去标识化中的性能，发现结合语言预处理可显著提升隐私与效用的平衡。
2026-04-23 cs.AI cs.CL cs.CR
Differentially Private Knowledge Distillation via Synthetic Text Generation
University of Southern California（南加州大学）
DistilDP通过合成文本生成实现差分隐私的知识蒸馏，提升LLMs的实用性和隐私保护性能。
2025-12-16 cs.CL cs.CR cs.LG
DPGen: Automated Program Synthesis for Differential Privacy
差分隐私已经成为以隐私保护方式发布数据的事实标准。创建差异私有算法的过程通常从无噪声（非私有）算法开始。然后，设计者决定在哪里添加噪声，以及添加多少噪声。这可能是一个不平凡的过程--如果不仔细做，算法可能会违反差分隐私或具有低效用。在本文中，我们提出了DPGen，一个程序合成器，需要在非私有代码（没有任何噪声），并自动合成其差分私有版本（仔细校准的噪声）。在引擎盖下，DPGen使用新的算法自动生成一个草图程序，其中包含噪声的候选位置，然后在草图程序上同时优化隐私保护和噪声尺度。此外，DPGen可以合成复杂的机制，自适应地处理查询，直到指定的隐私预算耗尽。在标准基准测试中进行评估时，DPGen能够在120秒内生成优化简单效用函数的差异化私有机制。它也足够强大，可以合成自适应隐私机制。
2021-09-15 cs.CR cs.PL
Differentially-private Federated Neural Architecture Search
University of California San Diego（加州大学圣地亚哥分校）；Rutgers University（罗格斯大学）
神经架构搜索，旨在自动搜索架构（例如，卷积，最大池化）的神经网络，最大限度地提高验证性能，最近取得了显着的进展。在许多应用场景中，多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而，由于隐私问题，没有一方希望其数据被其他方看到。为了解决这个问题，我们提出了联合神经架构搜索（FNAS），其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构，而不会将其数据暴露给其他各方。为了进一步保护隐私，我们研究了差分私有FNAS（DP-FNAS），它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明，DP-FNAS可以搜索高性能的神经结构，同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
DP-TLDM: Differentially Private Tabular Latent Diffusion Model
TU Delft, Delft, Netherlands , University of Neuchâtel, Neuchâtel, Switzerland Universidad de los Andes, Bogotá, Colombia Centrum Wiskunde \& Informatica, Amsterdam, Netherlands
针对表格合成数据质量与隐私风险难以兼顾的问题，提出基于 f-DP 和 DP-SGD 的 DPTLDM，在保持相当隐私风险的同时显著提升相似性、下游效用和可判别性。
2025-07-21 cs.CR cs.LG
DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately
Zhejiang Laboratory（浙江实验室）
本文针对FedLLM微调中的信息泄露问题，提出DR-Encoder两阶段差分隐私方案，通过带高斯随机先验的梯度自编码器加噪微调，在多个模型与基准上验证了性能提升并完成隐私分析。
2024-12-22 cs.AI cs.CR cs.LG
Differentially Private Inference for Longitudinal Linear Regression
Columbia University（哥伦比亚大学）
本文提出了一种基于聚合本地回归的用户级差分隐私回归估计器，解决了纵向线性回归中用户级差分隐私下的估计与推断问题，提供了理论保证和实证性能。
2026-01-15 cs.CR math.ST stat.ME
Distributed Differentially Private Mutual Information Ranking and Its Applications
互信息（MI）的计算有助于理解一对随机变量之间共享的信息量。基于MI排名的自动特征选择技术经常用于从大小超过PB、超过数百万特征和类的敏感数据集中提取信息。一系列的一对所有的MI计算可以级联产生n倍的MI结果，迅速查明信息的关系。这种从数十亿用户的数据集中快速确定最具信息量的关系的能力引起了隐私问题。在本文中，我们提出了分布式差分私有互信息（DDP-MI），一个隐私安全的快速批处理MI，在各种情况下，如特征选择，分割，排名和查询扩展。该分布式实现采用全局模型差分隐私进行保护，以提供针对各种隐私攻击的强有力保证。我们还表明，我们的DDP-MI可以大大提高MI计算的效率相比，标准的实现在一个大规模的公共数据集。
2020-09-22 cs.CR cs.DC cs.IT
Differentially Private Runtime Monitoring
CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍兹信息安全中心）
本文提出一种自动在流式监控规范中强制差分隐私的方法，通过分析时间依赖性和在规范中注入校准噪声，以保护隐私。在公共交通使用监控案例中验证了方法的有效性。
2026-05-10 cs.CR cs.LO
Local Differentially Private Fuzzy Counting in Stream Data using Probabilistic Data Structure
流数据中的项的计数的隐私保护估计在包括单词自动校正和流量管理应用的若干真实世界场景中找到应用。RAPPOR和Apple的计数平均草图（CMS）算法的最新工作提出了隐私保护机制，用于使用概率数据结构（如计数布隆过滤器和CMS）在大量数据中进行计数估计。然而，这些现有的方法不足以为实时流数据应用提供合理的解决方案。在这项工作中，我们提出了一种新的（本地）差分私有机制，提供了高效用的流数据计数估计问题与类似或甚至更低的隐私预算，同时提供：a）模糊计数报告计数相关或类似的项目（例如，以占打字错误和数据变化），和b）提高查询效率，以减少实时查询计数的响应时间。我们提供了正式的证据，隐私和效用的保证，并提出了广泛的实验评估我们的算法，使用真实和合成的英语单词数据集的精确和模糊计数的情况。我们的隐私保护机制大大优于以前的工作，在查询时间较低，显着更高的效用（计数估计的准确性）类似或较低的隐私保证，在通信开销的成本。
2022-11-30 cs.CR cs.DS
DP-LDMs: Differentially Private Latent Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；University of Tübingen（蒂宾根大学）；International Max Planck Research School for Intelligent Systems (IMPRS-IS)（国际马克斯·普朗克智能系统研究院）；Technical University of Denmark（丹麦技术大学）
本文提出DP-LDMs，通过仅用DP-SGD微调潜在扩散模型的注意力模块（减少约90%参数），在保证差分隐私的前提下高效生成256x256高分辨率文本条件图像，实现了更优的隐私与效用权衡。
2025-03-05 cs.CR cs.LG stat.ML
Duet: An Expressive Higher-order Language and Linear Type System for Statically Enforcing Differential Privacy
在过去的十年中，差分隐私已经成为保护个人隐私的黄金标准。然而，验证特定程序提供差分隐私通常仍然是要由本领域专家完成的手动任务。已经提出了通过类型系统设计完全自动证明差分隐私的基于数据的技术，然而这些结果已经落后于差异隐私算法的进步，在可以自动验证的程序中留下了明显的差距，同时还提供了最先进的隐私界限。我们提出了Duet，一个表达高阶语言，线性类型系统和工具，用于自动验证通用高阶程序的差分隐私。除了通用编程之外，Duet还支持编码机器学习算法，如随机梯度下降，以及常见的辅助数据分析任务，如裁剪，归一化和超参数调整-其中每一个都特别具有挑战性，在静态验证的差分隐私框架中进行编码。给出了Duet语言和线性类型系统的核心设计，并完成了关于好类型程序隐私性的关键证明。然后，我们展示了如何扩展Duet，以支持现实的机器学习应用程序和最近的变种差分隐私，从而提高了许多实际的差异隐私算法的准确性。最后，我们实现了几个差异私人机器学习算法在Duet从来没有自动验证的基于语言的工具，我们提出的实验结果表明Duet的语言设计的好处，在训练机器学习模型的准确性。
2019-09-05 cs.CR cs.PL
