Differentially Private Learning with Adaptive Clipping
Google(谷歌)
用于训练具有用户级差分隐私的神经网络的现有方法(例如,在联邦学习(FL)设置中,DP联合平均(DP Federated Averaging)涉及通过将每个用户的模型更新的贡献裁剪为某个常数值来限制其贡献。然而,没有跨任务和学习设置的裁剪范数的良好先验设置:更新范数分布取决于模型架构和损失、每个设备上的数据量、客户端学习率以及可能的各种其他参数。我们提出了一种方法,其中,而不是一个固定的裁剪规范,一个剪辑到一个值在指定的分位数的更新规范分布,其中的值在分位数本身估计在线,与差分隐私。该方法密切跟踪分位数,使用可忽略不计的隐私预算,与其他联邦学习技术(如压缩和安全聚合)兼容,并与DP-FedAvg进行直接的联合DP分析。实验表明,中值更新范数的自适应裁剪在一系列现实的联邦学习任务中效果良好,有时甚至优于事后选择的最佳固定裁剪,并且不需要调整任何裁剪超参数。
2022-05-09 cs.LG stat.ML
Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping
Penn State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
Renyi差分隐私最近的工作表明了将差分隐私应用于深度学习任务的可行性。然而,尽管它们有希望,但差异私有深度网络在准确性方面往往远远落后于非私有网络,这表明需要在模型架构、优化器等方面进行更多的研究。这种放缓的原因是一个关键的隐私相关步骤,称为"每个示例的梯度裁剪",其幼稚的实现取消了使用GPU进行批量训练的好处。通过分析反向传播方程,我们推导出与自动微分兼容的每个示例梯度裁剪的新方法(例如,在PyTorch和TensorFlow中),并提供更好的GPU利用率。我们在PyTorch中的实现显示了显著的训练速度提升(对于批量大小为128的各种模型,训练速度提高了54 - 94倍)。这些技术适用于各种架构选择,包括卷积层、递归网络、注意力、残差块等。
2020-09-07 cs.LG stat.ML
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Samsung AI Centre Cambridge(三星剑桥人工智能中心)
本文提出DP-LAC,通过隐私直方图估计估计初始截断阈值,并在训练过程中自适应调整,无需额外隐私预算或新超参数,提升联邦微调语言模型的隐私保护与准确性。
2026-05-11 cs.AI cs.CR cs.DC
An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
Université Paris Cité(巴黎大学)
本文提出DDP-SA-adaptive自适应梯度裁剪与噪声注入机制,可改善差分隐私联邦学习的隐私-精度-效率权衡,在联邦回归任务上较静态基线提升训练效率与模型精度,且隐私预算更低。
2026-08-18 cs.CR cs.LG
DC-SGD: Differentially Private SGD with Dynamic Clipping through Gradient Norm Distribution Estimation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Ant Group(蚂蚁集团);School of Engineering, University of Virginia(弗吉尼亚大学工程学院)
本文提出动态裁剪差分隐私框架DC-SGD,通过差分隐私直方图估计梯度范数分布并动态调整裁剪阈值C,显著降低超参数调优负担,在多项任务中实现最高9倍加速并在CIFAR10上提升10.62%准确率。
2025-04-01 cs.AI cs.CR cs.LG
Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach
University of Minnesota(明尼苏达大学);Amazon AI(亚马逊人工智能);Carnegie Mellon University(卡内基梅隆大学)
针对DPSGD-GC因梯度裁剪恒定偏差导致性能下降、最优裁剪阈值难选的问题,提出基于误差反馈的DP算法,支持任意裁剪阈值,在同等隐私保证下实现更高准确率。
2024-04-17 cs.CR cs.LG
Inner Momentum for Differentially Private Muon
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Missouri(密苏里大学);Georgia Institute of Technology(佐治亚理工学院)
针对差分隐私训练中裁剪扭曲Muon更新几何的问题,提出在裁剪前对样本梯度进行历史平均,以限制裁剪失真并保持极因子,在私有GPT-2微调中提升BLEU和ROUGE-L。
2026-10-05 cs.CR cs.LG
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学网络空间先进技术研究院)
针对联邦学习中的隐私泄露和通信低效问题,提出基于差分隐私草图的DPSFL方法及其采用自适应裁剪策略的增强版DPSFL-AC,在保障隐私与通信效率的同时提升了模型准确率。
2024-10-10 cs.CR cs.LG
Differentially Private Learning with Per-Sample Adaptive Clipping
Tsinghua University(清华大学);Peking University(北京大学);Ant Group(蚂蚁集团)
针对差分隐私学习中恒定裁剪需调参、归一化方法偏差大的问题,提出基于非单调权重的DP-PSAC算法,在保障隐私的同时降低更新偏差,理论与实验均验证其性能优于现有最优方法。
2023-05-02 cs.AI cs.CR cs.LG
Multi-Objective Optimization for Privacy-Utility Balance in Differentially Private Federated Learning
Deakin University(迪肯大学);Data61, CSIRO(联邦科学与工业研究组织Data61);University of New South Wales (UNSW)(新南威尔士大学)
针对联邦学习差分隐私中裁剪范数难选的问题,提出多目标优化自适应裁剪机制,动态平衡隐私与效用,在多个数据集上优于固定裁剪基线。
2025-03-27 cs.AI cs.LG
On the Convergence of Differentially Private Federated Learning on Non-Lipschitz Objectives, and with Normalized Client Updates
University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
对于具有非Lipschitz目标函数的差分私有联邦学习(FL)(即,当梯度范数没有界时)。其主要原因是裁剪操作(即,投影到固定半径的$\ell_2$球上,称为剪切阈值),用于限制平均更新对每个客户端更新的灵敏度,这引入了偏差,这取决于剪切阈值和FL中的局部步骤的数量,并且分析这一点并不容易。对于Lipschitz函数,Lipschitz常数用作具有零偏差的平凡限幅阈值。然而,Lipschitz性在许多实际情况下并不成立;此外,验证它和计算Lipschitz常数是困难的。因此,限幅阈值的选择是重要的,并且在实践中需要大量的调谐。在本文中,我们提供了第一个收敛结果,私人FL光滑\textit{convex}目标\textit{for a general clipping threshold} - \textit{without assuming Lipschitzness}。我们还研究了一种更简单的裁剪(用于边界敏感性)替代方案,即\textit{normalization} --在这种情况下,我们只使用客户端更新中的单位向量的缩放版本,完全丢弃幅度信息。{The理论上证明了基于归一化的私有FL算法在光滑凸函数上比基于裁剪的算法具有更好的收敛性。我们证实了我们的理论与合成实验以及基准数据集上的实验。
2022-04-16 cs.DC cs.LG eess.SP
Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger
AWS AI(AWS人工智能);UC Santa Barbara(加州大学圣巴巴拉分校)
针对差分隐私深度学习中逐样本梯度裁剪阈值调优难的问题,提出自动裁剪方法,适配多种DP优化器且无需DP专属超参数,经理论分析和多任务实验验证其收敛性与性能均表现优异,易用性强。
2023-10-04 cs.CL cs.CR cs.CV
AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
Guangdong Provincial Key Laboratory of IRADS Beijing Normal-Hong Kong Baptist University(广东省IRADS关键实验室北京师范大学-香港 Baptist大学)
提出AdaDPIGU,一种结合重要性剪枝与自适应裁剪的差分隐私SGD框架,在MNIST和CIFAR-10上实现高精度,甚至超越非隐私基线,兼顾隐私与效用。
2025-07-09 cs.LG math.ST stat.ML
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University(爱荷华州立大学);Rutgers University(罗格斯大学);The University of Hong Kong(香港大学)
本文研究充分降维中的隐私保护问题,提出达到极小极大下界(相差对数因子)的差分隐私切片逆回归算法,并通过模拟和真实数据验证其有效性,同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
DPFormer: Learning Differentially Private Transformer on Long-Tailed Data
Shenzhen University(深圳大学);Rutgers University(罗格斯大学);WeBank(微众银行)
本文提出DPFormer,通过幻影裁剪和重注意力机制解决差分隐私Transformer训练中的计算开销大和注意力分散问题,并在长尾数据上验证了其有效性和效率。
2023-05-28 cs.LG
Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
Criteo AI Lab(Criteo人工智能实验室);Université Paris-Dauphine(巴黎多芬大学);PSL University(巴黎文理大学);CNRS(法国国家科学研究中心);LAMSADE(巴黎多芬大学决策实验室);Sigma Nova(西格玛诺瓦公司);ESPCI PSL(巴黎高等物理化工学院(巴黎文理大学))
本文提出一种基于高斯平滑切片 Wasserstein 距离梯度流的差分隐私生成模型,通过数值求解相关 SDE 实现隐私保护,实验表明在低隐私预算下能生成更高保真度数据。
2025-01-20 cs.CR cs.LG stat.ML
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University(华东师范大学)
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而,研究表明,通过分析局部模型参数,如深度神经网络模型权重,仍然可以推断出私人信息。近年来,差分隐私被应用于联邦学习中以保护数据隐私,但加入的噪声可能会大大降低学习性能。通常情况下,在以前的工作中,训练参数被同等地裁剪,噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中,我们提出了一个差分隐私的联邦学习方案与自适应噪声(Adap DP-FL)。具体来说,由于梯度的异质性,我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛,我们添加相应的减少噪音。在真实数据集上的大量实验表明,我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping
Apple(苹果公司);Purdue University(普渡大学)
本文提出首个在端到端ASR中应用差分隐私联邦学习的基准测试,通过每层裁剪和层间梯度归一化技术,在强隐私保障下实现高精度语音识别。
2025-11-25 cs.CR cs.LG stat.ML
Differentially Private Deep Learning with ModelMix
MIT(麻省理工学院)
训练具有有意义/可用的差分隐私安全保证的大型神经网络是一项艰巨的挑战。在本文中,我们解决这个问题,通过重新访问差分私有随机梯度下降(DP-SGD)中的两个关键操作:1)迭代扰动和2)梯度裁剪。我们提出了一个通用的优化框架,称为{ \em ModelMix},它执行随机聚合的中间模型状态。该算法利用训练轨迹的熵来加强复合隐私分析,将$(ε, δ)$ DP安全参数提高了一个数量级。我们对ModelMix的效用保证和隐私放大都进行了严格的分析。特别是,我们提出了一个正式的研究DP-SGD中的梯度裁剪的效果,这提供了理论指导,应该如何选择超参数。我们还引入了一种改进的梯度裁剪方法,当与ModelMix结合时,它可以进一步锐化私人学习中的隐私损失。彻底的实验与显着的隐私/实用程序的改进,以支持我们的理论。我们在CIFAR 10上训练一个Resnet-20网络,通过ModelMix在给定$(ε=8, δ=10^{-5})$ DP预算的情况下使用$70.4\%$准确度,与相同性能但使用$(ε=145.8,δ=10^{-5})$使用常规DP-SGD相比;在额外的公共低维梯度嵌入的帮助下,与相同性能但使用$(ε=111.2, δ=10^{-5})$而不使用ModelMix相比,可以进一步提高$79.1\%$与$(ε=6.1, δ=10^{-5})$ DP预算的准确度。
2022-10-07 cs.CR cs.LG
Improved Differentially Private Regression via Gradient Boosting
Amazon AWS AI/ML(亚马逊AWS人工智能/机器学习部门);University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学)
针对差分隐私平方误差线性回归中现有方法对超参数敏感的问题,提出一种基于梯度提升的新算法,在裁剪阈值固定或竞争算法非隐私优化时均表现更优,并提供理论解释。
2023-05-20 cs.CR cs.LG
Differentially Private Generation of Small Images
Pionic(Pionic公司)
我们探索了具有差分隐私的生成对抗网络的训练,以匿名化图像数据集。在MNIST上,我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制,其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外,我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中,我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee
Zhejiang University(浙江大学);Qilu University of Technology(齐鲁工业大学)
针对固定裁剪与噪声导致隐私保护去中心化学习精度下降的问题,提出 Dyn-D$^2$P,依据梯度收敛动态调节参数,并给出可证明效用界。
2025-05-10 cs.AI cs.LG
PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance
针对DP-SGD因梯度裁剪信息损失导致的收敛问题,提出PCDP-SGD框架,通过预投影压缩冗余梯度范数并保留关键分量,扩展为DPFL组件缓解数据异构,理论证明收敛性提升,实验在计算机视觉任务中准确率更高且优于现有联邦学习框架。
2025-04-12 cs.CR cs.LG
Efficient and Scalable Implementation of Differentially Private Deep Learning without Shortcuts
Department of Computer Science, University of Helsinki, Finland(计算机科学系,赫尔辛基大学);CSC – IT Center for Science, Finland(芬兰IT研究中心);NVIDIA(NVIDIA公司)
本文提出了一种基于JAX的高效DP-SGD实现,利用泊松子采样并结合PyTorch的高效裁剪优化,提升了差分隐私深度学习的计算效率和扩展性。
2026-01-13 cs.CR cs.DC cs.LG
Online Sensitivity Optimization in Differentially Private Learning
Scuola Normale Superiore(高等师范学校);INRIA(法国国家信息与自动化研究所);Scuola Superiore Sant’Anna(圣安娜高等科学院)
提出一种动态优化差分隐私学习中梯度裁剪阈值的方法,将阈值作为可学习参数通过梯度下降优化,在最小化隐私分析影响的同时,避免了超参数调优的隐私开销,并在多种实验场景中表现优异。
2024-01-08 cs.LG
Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
Meta AI (FAIR)(Meta AI(FAIR));École polytechnique(巴黎综合理工学院);Université Paris Dauphine(巴黎多芬大学)
本文研究了Noisy-SGD中的隐式偏差,发现随机性而非裁剪是导致大批次训练性能下降的原因,且额外噪声会放大该偏差,为改进大批次差分隐私训练提供了理论依据。
2024-02-13 cs.LG stat.ML
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics(上海金融学院统计与数据科学学院);School of Statistics and Data Science, Southeast University(东南大学统计与数据科学学院);School of Statistics and Data Science, Shanghai University of International Business and Economics(上海国际商务学院统计与数据科学学院)
针对分布式高维数据隐私保护问题,提出基于牛顿变换的差分隐私分位数回归方法,实现近最优统计精度与形式化隐私保障,并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
DP-aware AdaLN-Zero: Taming Conditioning-Induced Heavy-Tailed Gradients in Differentially Private Diffusion
School of Computer Science(计算机科学学院);Big Data, Minjiang University, Fuzhou, Fujian, China.(大数据,闽江大学,福州,福建,中国);School of Information, Renmin University of China, Beijing, China(信息学院,中国人民大学,北京,中国)
DP-aware AdaLN-Zero通过敏感性感知条件机制降低差分隐私扩散中因条件诱导的重尾梯度,提升隐私保护下的条件生成性能。
2026-02-26 cs.CV cs.LG
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模(分散)使用敏感数据,同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD,它依赖于基于范数的梯度裁剪作为限制灵敏度的方法,然后添加适当校准的高斯噪声。在这项工作中,我们提出了NeuralDP,一种用于私有化神经网络中某些层的激活的技术,该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集(MNIST和儿科肺炎数据集(PPD))上进行了实验,与DP-SGD相比,我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Computationally tractable robust differentially private mean estimation
Department of Mathematics and Statistics(数学与统计学系)
提出一种名为“气球均值”的新差分隐私均值估计器,通过扩展马氏距离球上的迭代裁剪实现计算可处理性、鲁棒性及零集中差分隐私,理论保证在重尾和污染椭圆模型下的统计性能与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
Parametric Bootstrap for Differentially Private Confidence Intervals
本文的目的是发展一个实用的和通用的方法来构建差异私人参数估计的置信区间。我们发现,参数自助法是一个简单而有效的解决方案。它清楚地推理了数据样本和随机隐私机制的可变性,并将“开箱即用”应用于广泛的私人估计例程。它还可以帮助校正由限幅数据引起的偏差,以限制灵敏度。我们证明了参数自举在两个广泛相关的设置中给出了一致的置信区间,包括对线性回归的新适应,避免了多次访问协变量数据。我们证明了它的有效性,各种估计,并发现它提供了良好的覆盖范围,即使在适度的样本量的置信区间,比其他方法更好地执行。
2021-10-12 cs.LG stat.ML
Beyond Uniform Lipschitz Condition in Differentially Private Optimization
UT Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院);HKUST(香港科技大学)
本文将 DP-SGD 的一致 Lipschitz 假设推广到样本相关甚至重尾 Lipschitz 常数情形,给出裁剪范数选择原则与新收敛保证,并通过 8 个数据集验证。
2023-06-06 cs.LG stat.ML
DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出DP$^2$-FedSAM,结合个性化部分模型共享与锐度感知最小化,在差分隐私联邦学习中减轻噪声与裁剪影响,提升模型效用,尤其在数据异构场景下改善隐私-效用权衡。
2024-09-20 cs.CR cs.DC cs.LG
Differentially Private Coordinate Descent for Composite Empirical Risk Minimization
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ Montpellier(蒙彼利埃大学);Institut Universitaire de France(法国大学研究院)
机器学习模型可能会泄露有关用于训练它们的数据的信息。为了缓解这个问题,已经设计了像随机梯度下降(DP-SGD)这样的优化算法的差分私有(DP)变体,以在经验风险最小化(ERM)问题中权衡隐私的效用。在本文中,我们提出了一种新的方法,差分私人邻近坐标下降(DP-CD),解决复合DP-ERM问题。我们通过一个新的理论分析,不精确的坐标下降得到效用保证。我们的研究结果表明,由于更大的步长,DP-CD可以利用梯度坐标的不平衡,优于DP-SGD。我们还证明了新的下限复合DP-ERM坐标明智的规律性假设下,几乎匹配的DP-CD。对于实际的实现,我们建议使用我们的理论中出现的坐标阈值来裁剪梯度,避免昂贵的超参数调整。在真实数据和合成数据上的实验支持了我们的结果,并表明DP-CD优于DP-SGD。
2022-10-21 cs.CR cs.LG stat.ML
JAX-Privacy: A library for differentially private machine learning
JAX-Privacy 是一个用于差分隐私机器学习的库,提供模块化原语和最新研究成果,兼顾研究者和实践者的不同需求。
2026-02-19 cs.LG
The importance of feature preprocessing for differentially private linear optimization
Google Research(谷歌研究院)
本文研究差分隐私线性优化中特征预处理的重要性,证明仅靠 DPSGD 可能产生与特征最大范数成正比的最优性差距,并提出结合特征预处理的 DPSGD-F 算法,使差距仅与特征直径成正比,在图像分类基准上验证了其实用性。
2024-02-19 cs.CR cs.IT cs.LG
Delving into Differentially Private Transformer
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Hong Kong University of Science and Technology(香港科技大学);Changan Automobile(长安汽车);Changan Technology Co., Ltd(长安科技有限公司);Rutgers University(罗格斯大学)
本文探讨了差分隐私 Transformer 训练问题,通过模块化归约思想,针对注意力分散与梯度裁剪不兼容两大难点,提出 Re-Attention Mechanism 和 Phantom Clipping 两种方法,为该领域研究提供了新视角。
2024-08-26 cs.CR cs.LG
DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum
Seoul National University(首尔国立大学)
本文研究了使用矩阵值优化器Muon进行差分隐私训练,提出DP-Muon方法,通过矩阵梯度裁剪、高斯噪声添加及正交化处理,证明其在隐私保护和优化性能上的有效性,并提出改进算法DP-MuonBC以减少偏差。
2026-09-11 cs.LG
On Optimal Hyperparameters for Differentially Private Deep Transfer Learning
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系)
本文研究差分隐私迁移学习中剪裁界C和批量大小B的最优选择,揭示理论与实证结果的不匹配,并分析累积差分隐私噪声对批量大小的影响。
2026-04-17 cs.LG
Differentially-Private Data Synthetisation for Efficient Re-Identification Risk Control
Faculty of Sciences, University of Porto(波尔图大学理学院);Lucy Family Institute for Data & Society, University of Notre Dame(圣母大学露西数据与社会家族研究所);TekPrivacy(TekPrivacy公司)
提出 $ε$-PrivateSMOTE 技术,结合噪声诱导插值与差分隐私生成合成数据,有效防范重识别攻击,在隐私风险和预测性能上优于现有方法,且时间效率提升至少 9 倍。
2024-04-23 cs.CR cs.LG
Quantitative Auditing of AI Fairness with Differentially Private Synthetic Data
Institute of Information Science, Academia Sinica(学术院信息研究所)
该研究提出利用差分隐私合成数据审计AI系统公平性的框架,在保护隐私的同时实现严格的公平性评估,并在真实数据集上验证了其有效性和适用性。
2025-04-30 cs.AI cs.CY cs.LG
Learning to be adversarially robust and differentially private
DeepMind
我们研究的困难,在学习中产生的强大的和差分私有优化。我们首先研究了基于梯度下降的对抗训练与差分隐私的收敛性,以线性可分数据上的简单二进制分类任务为例。我们比较了私人和非私人环境中对抗性和名义风险之间的差距,表明私人优化引入的数据维度依赖项加剧了学习鲁棒模型的困难。在此之后,我们讨论了对抗训练和差分隐私的哪些部分会损害优化,发现差分隐私中的对抗扰动和裁剪范数的大小都会增加损失景观的曲率,这意味着泛化性能较差。
2022-01-06 cs.LG
DP-CGAN: Differentially Private Synthetic Data and Label Generation
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google AI(谷歌人工智能)
生成对抗网络(GANs)是生成包括图像在内的合成数据的著名模型之一,特别是对于那些无法使用原始敏感数据集的研究社区,因为它们无法公开访问。该领域的主要挑战之一是保护参与GAN模型训练的个人的隐私。为了解决这一挑战,我们引入了一个基于新的裁剪和扰动策略的差分私有条件GAN(DP-CGAN)训练框架,该框架在保护训练数据集隐私的同时提高了模型的性能。DP-CGAN生成合成数据和相应的标签,并利用最近推出的Renyi差分隐私会计来跟踪隐私预算。实验结果表明,DP-CGAN在差分隐私下,在MNIST数据集上使用一位数的隐私参数,可以产生视觉上和经验上都有希望的结果.
2020-01-27 cs.LG stat.ML
Differentially Private Estimation and Inference in High-Dimensional Regression with FDR Control
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);Rutgers University(罗格斯大学)
本文提出新的方法进行高维线性回归中的差分隐私估计与推断。引入DP-BIC选择未知稀疏性参数,开发DP去偏差算法,通过稀疏性进行隐私保护推断,并通过DP多重检验控制FDR。
2026-04-10 stat.ME
Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
University of Basel, Switzerland(瑞士巴塞尔大学);KAUST, Saudi Arabia(沙特阿拉伯阿卜杜拉国王科技大学);MBZUAI, UAE(阿联酋穆罕默德·本·扎耶德人工智能大学)
本文提出Byz-Clip21-SGD2M算法,结合鲁棒聚合与双动量,通过放宽条件实现收敛保证,同时在无对手和存在对手时提升隐私和效用保障。
2026-04-05 cs.CR cs.LG math.OC
Adaptive Sampling and Clipping for Private Worst-Case Group Optimization
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所);University of Copenhagen(哥本哈根大学)
提出ASC算法,通过自适应控制每组梯度贡献的采样率和裁剪阈值,在差分隐私下优化最坏情况组准确率,同时保持模型效用。
2026-05-27 cs.LG
DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction
University of Southern California(南加州大学);Amazon AI(亚马逊人工智能);Google DeepMind(谷歌DeepMind);University of Minnesota(明尼苏达大学);Google Research(谷歌研究)
本文提出DiSK框架,利用简化卡尔曼滤波对差分隐私优化器的梯度进行去噪,在降低计算开销的同时显著提升了大规模训练的模型性能,并在理论和实验上均证明了其优于现有方法。
2025-04-29 cs.CR cs.LG stat.ML
Backpropagation Clipping for Deep Learning with Differential Privacy
我们提出了反向传播裁剪,这是一种用于隐私保护深度学习的差分隐私随机梯度下降(DP-SGD)的新变体。我们的方法裁剪每个可训练层的输入(在向前传递期间)及其上游梯度(在向后传递期间),以确保层梯度的有界全局灵敏度;这种组合取代了现有DP-SGD变体中的梯度裁剪步骤。我们的方法很容易在现有的深度学习框架中实现。我们的实证评估的结果表明,反向传播裁剪提供了更高的准确性,在较低的值的隐私参数$ε$相比,以前的工作。我们使用$ε= 0.07$对MNIST的准确度达到98.7%,使用$ε= 3.64$对CIFAR-10的准确度达到74%。
2022-02-17 cs.LG
A Differentially Private Kaplan-Meier Estimator for Privacy-Preserving Survival Analysis
Cancer Registry of Norway(挪威癌症登记处);Norwegian Institute of Public Health(挪威公共卫生研究院);University of Southern California(南加州大学);The Arctic University of Norway(挪威北极大学)
针对生存分析中Kaplan-Meier估计器应用于敏感数据的隐私泄露问题,提出结合时间索引拉普拉斯噪声、动态裁剪和平滑的差分隐私算法,在NCCTG数据集上验证了其在隐私保护下的高准确性与抗攻击能力。
2024-12-06 cs.CR cs.LG
Differentially Private Variational Inference for Non-conjugate Models
Helsinki Institute for Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
许多机器学习应用程序都是基于从人们那里收集的数据,例如他们的口味和行为以及生物特征和遗传数据。无论应用程序有多重要,都必须确保个人身份或数据隐私在分析中不会受到损害。差分隐私构成了一个强大的框架,可以防止从计算输出中违反数据主体隐私。许多重要的贝叶斯推断方法的不同的私有版本已经被提出,但缺乏一个有效的统一的方法适用于任意模型。在这方面的贡献,我们提出了一个差异私人变分推断方法具有非常广泛的适用性。它是建立在双随机变分推断,最近的进展,提供了一个变分解决方案的一大类模型。通过对梯度的裁剪和扰动,将微分隐私加入到双随机变分推断中。该算法通过子采样的隐私放大,提高了算法的效率。我们证明了该方法可以达到接近非私人水平的准确性下,合理的强隐私保证,明显改善了以前的采样为基础的替代品,特别是在强隐私制度。
2017-04-10 cs.CR cs.LG stat.ME
DPAF: Image Synthesis via Differentially Private Aggregation in Forward Phase
本文提出 DPAF 差分隐私生成模型,通过前向阶段的隐私特征聚合与判别器非对称训练,提升高分辨率图像合成的数据效用。
2023-04-20 cs.CR cs.CV cs.LG
Differentially Private Relational Learning with Entity-level Privacy Guarantees
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
本文提出了一种具有实体级差分隐私保证的关系学习框架,通过自适应梯度裁剪和隐私放大分析,实现对关系数据的隐私保护与模型训练的平衡。
2026-02-03 cs.CR cs.LG
A Closer Look at the Calibration of Differentially Private Learners
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);IBM Research(IBM研究院)
我们系统地研究了用差分私有随机梯度下降(DP-SGD)训练的分类器的校准,并在广泛的视觉和语言任务中观察到错误校准。我们的分析确定了DP-SGD中的每例梯度裁剪是误校准的主要原因,我们表明,现有的方法用于提高校准与差分隐私只提供边际改善校准误差,而偶尔会导致大的精度下降。作为一个解决方案,我们表明,差分私有变量的后处理校准方法,如温度缩放和普拉特缩放是令人惊讶的有效性,并具有可忽略不计的效用成本的整体模型。在7个任务中,温度缩放和Platt缩放与DP-SGD导致域内预期校准误差平均降低3.1倍,并且仅导致最多微小百分比的准确度下降。
2022-11-15 cs.LG
Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy
University of Minnesota(明尼苏达大学);Carnegie Mellon University(卡内基梅隆大学);JD.com, Inc.(京东集团)
提供隐私保护一直是联邦学习(FL)的主要动机之一。最近,已经有一系列的工作,将正式的隐私概念的差分隐私与FL。为了保证客户端级别的差分隐私在FL算法,客户端的传输模型更新必须被裁剪之前添加隐私噪声。这种剪裁操作与集中式差异私有SGD中的梯度裁剪操作有很大不同,并且尚未得到很好的理解。在本文中,我们首先通过经验证明,在训练神经网络时,即使存在大量数据异构性,裁剪后的FedAvg也可以表现得令人惊讶,这部分是因为客户端的更新对于几种流行的深度架构变得相似。基于这个关键的观察,我们提供了一个差分私有(DP)FedAvg算法的收敛性分析,并强调裁剪偏差和客户端的更新分布之间的关系。据我们所知,这是第一个工作,严格调查的理论和经验问题,在FL算法的裁剪操作。
2021-06-25 cs.CR cs.DC cs.LG