TADP-RME: A Trust-Adaptive Differential Privacy Framework for Enhancing Reliability of Data-Driven Systems
Indian Statistical Institute Kolkata(印度统计研究所加尔各答分校);Army Institute of Management(陆军管理学院)
本文提出TADP-RME框架,通过引入逆信任分数和反向流形嵌入技术,改进隐私-效用权衡,提升对抗环境下的系统可靠性。
2026-04-09 cs.AI cs.CR cs.LG
An Adaptive and Fast Convergent Approach to Differentially Private Deep Learning
University of Nanjing(南京大学);Michigan State University(密歇根州立大学);Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学)
随着大数据时代的到来,深度学习已经成为各种机器学习或数据采掘任务(例如,信号处理、网络建模和流量分析等)中的普遍构建块。众包的海量用户数据对深度学习模型的成功起着至关重要的作用。然而,已经表明,用户数据可以从训练的神经模型中推断出来,从而暴露给潜在的对手,这引起了信息安全和隐私问题。为了解决这个问题,最近的研究利用差分隐私技术来设计隐私保护深度学习算法。尽管差分隐私在隐私保护方面取得了成功,但它降低了神经模型的性能。在本文中,我们开发ADADP,自适应和快速收敛的学习算法与可证明的隐私保证。ADADP通过自适应学习率提高收敛速度,显著降低了隐私代价,并通过引入自适应噪声,减轻了差分隐私对模型精度的负面影响。ADADP的性能在真实世界的数据集上进行了评估。实验结果表明,它优于国家的最先进的差分隐私方法的隐私成本和模型的准确性。
2019-12-19 cs.CR cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
SLDP: Semi-Local Differential Privacy for Density-Adaptive Analytics
Weierstrass Institute for Applied Analysis and Stochastic(魏尔斯特拉斯应用分析与随机研究所)
SLDP通过半局部差分隐私框架实现密度自适应分析,解耦隐私成本与迭代次数,提升高分辨率网格的隐私保护效果。
2026-02-21 cs.LG
Efficient Federated Unlearning with Adaptive Differential Privacy Preservation
Nanyang Technological University(南洋理工大学)
针对联邦遗忘中存储历史更新引发的隐私风险,提出FedADP方法,通过自适应差分隐私机制、双层选择过程和新型校准方法,在降低存储与通信成本的同时有效平衡了遗忘效率与隐私保护。
2024-11-17 cs.CR cs.LG
Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
University of Basel(巴塞尔大学);University of Zürich(苏黎世大学)
通过SDE分析发现,在高隐私或大批次噪声场景中,自适应方法在隐私-效用权衡和学习率调整上更具优势。
2026-03-03 cs.CR cs.LG
Lifelong DP: Consistently Bounded Differential Privacy in Lifelong Machine Learning
Kent State University(肯特州立大学);University of Florida(佛罗里达大学);Qualcomm Incorporated(高通公司)
在本文中,我们表明,不断学习新任务和记忆以前的任务的过程中引入了未知的隐私风险和挑战,以约束隐私损失。在此基础上,我们引入了终身DP的正式定义,其中任何数据元组在任何任务的训练集中的参与受到保护,在一个一致的有界DP保护下,给定不断增长的任务流。一致有界的DP意味着DP隐私预算只有一个固定值,而不管任务的数量如何。为了保持终身DP,我们提出了一个可扩展的和异构的算法,称为L2 DP-ML与流批量训练,有效地训练,并继续发布新版本的L2 M模型,给定的异构性方面的数据大小和任务的训练顺序,而不影响DP保护的私人训练集。端到端的理论分析和全面的评估表明,我们的机制是显着优于基线方法在保持终身DP。L2 DP-ML的实现可在https://github.com/haiphanNJIT/PrivateDeepLearning上获得。
2022-07-26 cs.AI cs.CR cs.LG
Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation
Queen’s University(女王大学);Ingenuity Labs Research Institute(Ingenuity Labs 研究院);J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出ANADP算法,根据参数重要性自适应分配差分隐私噪声,在保持隐私约束的同时缩小了常规微调与差分隐私微调的性能差距。
2024-10-03 cs.AI cs.CL cs.CR
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联邦学习(FL)使分布式代理能够协作学习集中式模型,而无需彼此共享原始数据。然而,数据局部性不提供足够的隐私保护,并且期望促进具有严格的差分隐私(DP)保证的FL。现有的DP机制会引入幅度与模型大小成比例的随机噪声,这在深度神经网络中可能非常大。在本文中,我们提出了一个新的FL框架与稀疏放大隐私。我们的方法集成了随机稀疏与梯度扰动每个代理放大隐私保证。由于稀疏化会增加达到一定目标精度所需的通信轮数,这对DP保证不利,因此我们进一步引入加速技术以帮助降低隐私成本。我们严格分析了我们方法的收敛性,并利用Renyi DP来严格考虑端到端的DP保证。在基准数据集上的大量实验验证了该方法在隐私保证和通信效率方面都优于以前的差分私有FL方法。
2021-06-08 cs.CR cs.LG stat.ML
Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning
New Jersey Institute of Technology(新泽西理工学院);University of Arkansas(阿肯色大学);University of Oregon(俄勒冈大学)
在本文中,我们专注于开发一种新的机制来保护深度神经网络中的差分隐私,使得:(1)隐私预算消耗完全独立于训练步骤的数量;(2)它能够根据每个特征对输出的贡献自适应地将噪声注入特征;(3)它可以应用于各种不同的深度神经网络。为了实现这一点,我们找到了一种方法来扰动神经元的仿射变换,以及深度神经网络中使用的损失函数。此外,我们的机制有意地将“更多的噪音”添加到与模型输出“不太相关”的特征中,反之亦然。我们的理论分析进一步推导出我们的机制的灵敏度和误差范围。在MNIST和CIFAR-10数据集上进行的严格实验表明,我们的机制非常有效,优于现有的解决方案。
2018-04-23 cs.CR cs.LG stat.ML
Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
Division of Information Science and Engineering, School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(信息科学与工程系,电气工程与计算机科学学院,皇家理工学院)
针对联邦学习中的掉队者问题,提出自适应编码联邦学习(ACFL),通过自适应调整聚合权重,在保护隐私的同时提升学习性能,仿真验证其优于非自适应方法。
2025-08-06 cs.CR cs.LG eess.SP
Improved Differential Privacy for SGD via Optimal Private Linear Operators on Adaptive Streams
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Research(谷歌研究院);Boston University(波士顿大学)
最近的应用程序需要差分隐私自适应流的动机,我们调查的矩阵机制在这种设置的最佳实例化的问题。我们证明了基本的理论结果的适用性矩阵分解自适应流,并提供了一个无参数的不动点算法计算最佳因子分解。我们实例化这个框架的具体矩阵,自然出现在机器学习,训练用户级差分隐私模型与由此产生的最佳机制,产生显着的改善,在一个显着的问题,在联邦学习与用户级差分隐私。
2023-01-18 cs.LG math.OC
DPxFin: Adaptive Differential Privacy for Anti-Money Laundering Detection via Reputation-Weighted Federated Learning
A*STAR IHPC(A*STAR 国家实验室信息物理计算中心);SRM University-AP(SRM 大学-安得拉邦);Evyd Singapore(Evyd 新加坡)
本文提出DPxFin框架,通过声誉引导的自适应差分隐私技术,在反洗钱检测中提升隐私保护与模型效用的平衡。
2026-03-14 cs.CR cs.LG
Differential Privacy has Bounded Impact on Fairness in Classification
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文从理论上证明群体公平性度量关于模型参数具有Lipschitz连续性,并据此给出非渐近界,表明随样本增加差分隐私对分类公平性的影响有界且受置信边际制约。
2023-09-18 cs.CR cs.LG stat.ML
SAPAG: A Self-Adaptive Privacy Attack From Gradients
University of Connecticut(康涅狄格大学);Northeastern University(东北大学);Duke University(杜克大学);Amazon Web Services, Inc.(亚马逊云科技公司);Stevens Institute of Technology(史蒂文斯理工学院)
分布式学习,如联邦学习或协作学习,可以对来自用户的分散数据进行模型训练,并且只收集局部梯度,其中数据在接近其来源的地方进行处理,以保护数据隐私。不集中训练数据的性质解决了隐私敏感数据的隐私问题。近年来的研究表明,在分布式机器学习系统中,第三方可以通过公开共享的梯度重构真实的训练数据。然而,现有的重构攻击框架缺乏对不同深度神经网络(DNN)架构和不同权重分布初始化的通用性,并且只能在早期训练阶段成功。为了解决这些限制,在本文中,我们提出了一个更一般的隐私攻击梯度,SAPAG,它使用高斯核的梯度差作为距离测量。我们的实验表明,SAPAG可以构建训练数据在不同的DNN与不同的权重初始化和DNN在任何训练阶段。
2020-09-14 cs.CR cs.LG stat.ML
Private Adaptive Optimization with Side Information
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
自适应优化方法已经成为许多机器学习任务的默认求解器。不幸的是,当使用差分隐私进行训练时,自适应性的好处可能会降低,因为为确保隐私而添加的噪声会降低自适应预处理器的有效性。为此,我们提出了AdaDPS,一个通用的框架,使用非敏感的边信息来预处理梯度,允许在私人设置中有效地使用自适应方法。我们正式表明AdaDPS减少了实现类似隐私保证所需的噪声量,从而提高了优化性能。从经验上讲,我们利用简单和现成的辅助信息来探索AdaDPS在实践中的性能,与集中式和联邦设置中的强大基线进行比较。我们的研究结果表明,AdaDPS平均将准确率提高了7.7%(绝对值)-在大规模文本和图像基准测试中获得了最先进的隐私实用性权衡。
2022-06-25 cs.CR cs.LG stat.ML
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara(加州大学圣巴巴拉分校)
“Propose-Test-Release”(PTR)框架是设计数据自适应的差分私有(DP)算法的经典配方,即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性,将PTR扩展到更一般的设置,从而使其适用于标准的噪声添加机制之外,例如,具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外,我们应用我们的算法来解决一个来自“教师集合的私人聚合(PATE)”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
PA-CFL: Privacy-Adaptive Clustered Federated Learning for Transformer-Based Sales Forecasting on Heterogeneous Retail Data
University of Cambridge(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
针对零售异构数据下联邦学习需求预测的精度与隐私平衡问题,提出PA-CFL方法,通过差分隐私与特征分布划分气泡集群、适配Transformer模型,提升预测精度的同时保障隐私与系统鲁棒性。
2025-03-21 cs.CR cs.LG
ALPINE: Closed-Loop Adaptive Privacy Budget Allocation for Mobile Edge Crowdsensing
ALPINE通过闭环自适应隐私预算分配框架,结合多维风险感知与深度强化学习策略,实现动态隐私保护与数据效用的平衡,降低隐私攻击风险并提升下游任务性能。
2026-04-09 cs.LG
Differentially Private Federated Learning With Time-Adaptive Privacy Spending
University of Toronto(多伦多大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对联邦学习中隐私预算均匀消耗的假设,提出时间自适应DP-FL框架,按轮次和客户端非均匀分配隐私预算,在早期节省预算用于后期细粒度学习,理论证明并实验验证了隐私-效用权衡的改善。
2025-02-25 cs.CR cs.DC cs.LG
Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics
LinkedIn(领英)
差分隐私(DP)为个人数据提供严格的隐私保证,同时还允许对整体敏感数据集进行准确的统计。要设计一个私有系统,首先必须设计私有算法,可以量化每个结果的隐私损失。然而,将噪声注入计算的私有算法不足以确保个人数据受到保护,因为许多噪声结果最终集中于真实的非私有化结果。因此,已经有几个作品提供了精确的公式,说明隐私损失如何在与私有算法的多次交互中累积。然而,这些公式要么提供了非常一般的隐私损失的界限,在某些类型的私人算法过于悲观的代价,或者他们可以太窄的范围,适用于一般的隐私系统。在这项工作中,我们统一了现有的隐私损失组合边界的特殊类别的差分隐私(DP)算法,以及一般DP组合边界。特别是,我们提供了强大的隐私损失界限时,分析师可以选择纯DP,有界范围(例如指数机制),或集中DP机制以任何顺序。我们还提供了最佳的隐私损失界限,适用于分析师可以选择纯DP和有界范围的机制在一批,即非自适应。此外,当一个分析师在每个类自适应选择机制,我们表现出不同的,预定的纯DP和有界范围机制之间的差异,隐私损失。最后,我们比较了基于直方图数据集的拉普拉斯和高斯机制的组合边界。
2020-11-17 cs.CR cs.LG
Adaptive Control of Differentially Private Linear Quadratic Systems
Indian Institute of Science(印度科学研究院);Wayne State University(韦恩州立大学);The Ohio State University(俄亥俄州立大学)
本文研究了差分隐私约束下的强化学习(RL)中的遗憾最小化问题。这项工作的动机是广泛的RL应用程序提供个性化的服务,隐私问题变得至关重要。与以前的作品相比,我们向非表格RL设置迈出了第一步,同时提供了严格的隐私保证。特别地,我们考虑了差分私有线性二次(LQ)系统的自适应控制。我们开发了第一个私人RL算法,PRL,这是能够达到一个次线性的遗憾,同时保证隐私保护。更重要的是,在给定隐私参数$ε, δ> 0$的情况下,由于隐私而产生的额外成本仅为$\frac{\ln(1/δ)^{1/4}}{ε^{1/2}}$的量级。通过这一过程,我们还提供了一个一般的过程,LQ系统的自适应控制下的变化的正则化,这不仅推广了以前的非私人控制,但也作为一般的私人控制的基础。
2021-08-26 cs.LG
Mitigating Bias in Adaptive Data Gathering via Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
自适应地收集的数据-例如,通过强盗算法-显示出偏见。这是真实的,当收集简单的数值数据时-由随机强盗算法跟踪的经验手段是向下偏置的-当收集更复杂的数据时-对通过上下文强盗算法收集的复杂数据运行假设检验会导致错误的发现。在本文中,我们表明,如果数据汇集过程是差分私有的,这个问题是缓解。这让我们既可以约束简单数值量的偏差(如随机强盗算法的经验平均值),又可以校正在自适应收集的数据上运行的假设检验的p值。此外,存在差分私人土匪算法与附近的最佳遗憾界:我们应用现有的定理在简单的随机情况下,并给出了一个新的分析线性上下文土匪。我们补充我们的理论结果与实验验证我们的理论。
2018-06-06 cs.DS cs.LG stat.ML
Adaptive Statistical Learning with Bayesian Differential Privacy
Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
在统计学习中,数据集通常被划分为两个部分:训练集和保持集(即,测试)集合。例如,训练集用于学习预测器,然后保持集用于估计预测器在真实分布上的准确性。然而,在实践中,经常会重复使用保持数据集,并且基于先前估计的结果自适应地选择在保持数据集上测试的估计,导致预测器可能变得依赖于保持集。因此,可能会发生过拟合,并且学习的模型可能无法很好地推广到看不见的数据集。先前的研究已经建立了学习算法的稳定性和它的泛化能力之间的联系,但传统的泛化是不鲁棒的自适应组合。最近,Dwork等人在NIPS,STOC和Science 2015中表明,来自i.i.d.如果使用为差分隐私开发的技术来扰动和协调估计,则数据样本可以在自适应统计学习中被重新使用,差异隐私是量化隐私的广泛使用的概念。然而,Dwork等人的结果仅适用于i.i.d.的情况。样品相比之下,数据样本之间的相关性存在,因为用户之间的各种行为,社会和遗传关系。我们在自适应统计学习中的结果推广了Dwork等人的结果。数据样本到任意相关的数据。具体来说,我们证明了相关样本的holdout数据集可以在自适应统计学习中重用,如果使用贝叶斯差分隐私开发的技术对估计进行扰动和协调,这是Yang等人最近在SIGMOD 2015中引入的隐私概念,以拓宽数据记录相关时差分隐私的应用场景。
2019-11-02 cs.CR cs.CY cs.LG
DP-MGTD: Privacy-Preserving Machine-Generated Text Detection via Adaptive Differentially Private Entity Sanitization
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Hengxin Tech(恒心科技)
DP-MGTD通过自适应差分隐私实体净化技术,在保障隐私的前提下实现对机器生成文本的高精度检测。
2026-07-30 cs.CL cs.CR cs.LG
Evaluation of Differential Privacy Mechanisms on Federated Learning
Technical University of Munich(慕尼黑工业大学)
针对联邦学习中固定差分隐私预算导致模型收敛时噪声过大的问题,本工作基于 SelecEval 模拟器实现了自适应隐私预算的 Laplace 和 Gaussian 机制,并引入自适应裁剪技术,实验证明该方法能在保护隐私的同时维持模型准确率。
2025-10-09 cs.AI cs.LG
Flexible Differentially Private Vertical Federated Learning with Adaptive Feature Embeddings
Fudan University(复旦大学);Tencent(腾讯);Tongji University(同济大学)
本文针对纵向联邦学习中的隐私与效用平衡问题,提出VFL-AFE框架,通过解耦隐私与效用目标,利用范数裁剪提供严格差分隐私保证,并自适应调整特征嵌入以优化任务效用。
2023-07-26 cs.AI cs.CR cs.LG
Privacy-preserving Continual Federated Clustering via Adaptive Resonance Theory
Osaka Metropolitan University(大阪公立大学);Okayama University(冈山大学);Universiti Malaya(马来亚大学);Southern University of Science and Technology(南方科技大学);Tokyo Metropolitan University(东京都立大学)
本文提出一种基于自适应共振理论的隐私保护持续联邦聚类算法,无需预先指定簇数即可处理分布未知或持续变化的数据,并在合成与真实数据集上取得优于现有联邦聚类方法的性能。
2023-09-07 cs.CR cs.LG cs.NE
Enhanced Privacy and Communication Efficiency in Non-IID Federated Learning with Adaptive Quantization and Differential Privacy
Department of Computer Engineering, Gebze Technical University(计算机工程系,盖兹技术大学)
本文提出结合差分隐私和自适应量化方法,以解决非IID联邦学习中的隐私保护和通信效率问题,通过实验验证在不同数据集上显著减少传输数据量并保持模型精度。
2026-04-25 cs.CV cs.LG
Differential Privacy for Adaptive Weight Aggregation in Federated Tumor Segmentation
针对联邦脑肿瘤分割中的隐私风险,提出DP-SimAgg差分隐私相似性权重聚合算法,在保持分割性能的同时增强隐私保护并降低通信成本。
2025-10-08 cs.CR cs.LG eess.IV
Stochastic Adaptive Line Search for Differentially Private Optimization
University of Georgia(佐治亚大学)
私有的基于梯度的优化算法的性能高度依赖于步长(或学习率)的选择,这通常需要非平凡量的调整。在本文中,我们介绍了一个经典的回溯线搜索算法,满足Rényi差分隐私的随机变体。具体而言,该算法自适应地选择步长satsisfying的Armijo条件(具有高概率)使用噪声梯度和函数估计。此外,为了提高所选择的步长满足条件的概率,该算法在运行时根据噪声梯度的可靠性来调整每次迭代的隐私预算。回溯搜索算法的幼稚实现可能最终使用不可接受的大隐私预算,因为自适应步长选择的能力是以额外的函数评估为代价的。该算法利用稀疏向量技术结合最近的隐私放大引理避免了这个问题。我们还引入了一个隐私预算自适应策略,该算法自适应地增加预算时,它检测到,连续梯度指向的方向是截然不同的。在凸和非凸问题上的大量实验表明,自适应选择的步长使该算法能够有效地利用隐私预算,并与现有的私有优化器相比表现出竞争力。
2020-08-27 cs.LG stat.ML
Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach
Isfahan University of Technology(伊斯法罕理工大学)
针对联邦学习中差分隐私噪声注入导致模型精度下降的问题,提出基于特征相对重要性的自适应噪声添加方法,通过向重要参数加较少噪声、不重要参数加较多噪声,在保护隐私的同时有效维持模型精度。
2024-01-04 cs.CR cs.DC cs.LG
An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
Université Paris Cité(巴黎大学)
本文提出DDP-SA-adaptive自适应梯度裁剪与噪声注入机制,可改善差分隐私联邦学习的隐私-精度-效率权衡,在联邦回归任务上较静态基线提升训练效率与模型精度,且隐私预算更低。
2026-08-18 cs.CR cs.LG
Recovering Clinical Utility Under Differential Privacy: Empirical Validation of Adaptive Federated Aggregation on Heterogeneous Cardiovascular Datasets
Federal Institute of Education, Science and Technology of Rio Grande do Norte (IFRN)(北里奥格兰德联邦教育、科学与技术研究所)
研究在五个真实心血管数据集上验证FedCVR框架,通过异构联邦场景和留一机构交叉验证,证明其在实际数据上保持自适应优势,F1分数达79.2%,AUC为0.96,优于标准FedAvg,验证了临床可行性。
2026-07-23 cs.AI cs.CR cs.CY
Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in Federated Learning
Meta AI;Cornell University(康奈尔大学)
针对联邦学习中现有梯度压缩等防御被认为能有效抵御梯度反演攻击的结论,本文提出一种基于辅助数据训练模型的简单自适应攻击,可攻破视觉与语言任务下的现有防御,揭示被低估的隐私风险。
2023-06-09 cs.CR cs.LG
SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models
School of Information Technology Carleton University(信息科技学院卡尔顿大学)
SA-ADP通过根据个体PII的敏感性分配噪声,实现了大语言模型的隐私保护与效用之间的平衡。
2025-12-01 cs.LG
Bayesian Frequency Estimation Under Local Differential Privacy With an Adaptive Randomized Response Mechanism
Sabancı University(萨班哲大学)
针对随时间顺序收集的私有分类数据,提出AdOBEst-LDP算法,通过自适应LDP机制和贝叶斯后验采样提高未来数据效用,理论分析证明其收敛性,数值结果显示其优于非自适应和半自适应方法。
2024-11-30 cs.CR cs.LG stat.ML
Differentially Private Query Release Through Adaptive Projection
Amazon AWS AI/ML(亚马逊云科技人工智能与机器学习部门);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出,实施,并评估一个新的算法,用于释放答案非常大量的统计查询,如$k$方式的边缘,受到差分隐私。我们的算法自适应地使用了投影机制的连续松弛,该机制使用简单的扰动来回答对私有数据集的查询,然后尝试找到最接近噪声答案的合成数据集。我们使用合成数据集域的连续松弛,这使得投影损失可微,并允许我们使用有效的ML优化技术和工具。我们不是预先回答所有的查询,而是通过迭代和自适应地找到我们的(放松的)合成数据具有高误差的查询,然后重复投影,来明智地使用我们的隐私预算。我们在一系列参数和数据集上进行了广泛的实验评估,发现我们的方法在许多情况下优于现有的算法,特别是当隐私预算很小或查询类很大时。
2021-06-23 cs.CR cs.LG
Enhancing Federated Learning with Adaptive Differential Privacy and Priority-Based Aggregation
Isfahan University of Technology(伊斯法罕理工大学)
本文提出一种个性化差分隐私联邦学习框架,根据客户端影响因子注入噪声并考虑异质性进行聚合,分析固定与自适应影响因子下的收敛边界。
2024-06-26 cs.CR cs.DC cs.LG
Concentration Bounds for High Sensitivity Functions Through Differential Privacy
Georgetown University(乔治城大学);Harvard University(哈佛大学)
一项新的工作[Dwork et al. STOC 2015],[Hardt and Ullman FOCS 2014],[Steinke and Ullman COLT 2015],[Basily et al. STOC 2016]证明了差分隐私[Dwork et al. TCC 2006]如何用作保证自适应数据分析泛化的数学工具。具体地,如果对i.i.d.例如,选择低灵敏度函数f,则w.h.p. f(S)接近其期望值,尽管f是基于数据选择的。最近,Steinke和Ullman观察到,这些泛化保证可以用于证明非自适应设置中的浓度边界,其中低灵敏度函数是预先固定的。特别是,他们获得了低灵敏度函数的经典浓度界的替代证明,如Beschoff界和McDiarmid不等式。在这项工作中,我们着手研究的情况下,高灵敏度的功能,差分隐私并不意味着泛化保证下自适应分析。我们表明,差分隐私可以用来证明浓度界的非自适应设置这样的功能。
2017-03-06 cs.LG
Adaptively Private Next-Token Prediction of Large Language Models
University of Southern California(南加州大学)
本文提出自适应私有解码框架AdaPMixED,通过带噪筛选机制和数据依赖分析,在保持模型实用性的同时将隐私损失降低16倍,解决了PMixED固定隐私水平难以扩展的问题。
2024-10-02 cs.CR cs.LG
A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism
Baidu Inc.(百度公司);Baidu Research(百度研究院)
本研究针对LLM云部署的成本与隐私-准确率权衡问题,提出名为CypherTalk的自适应抖动调优恢复框架,通过水平、垂直抖动算子实现与SOTA隐私方案相当的准确率,是首个兼顾成本与效用-隐私权衡的LLM相关研究。
2024-03-12 cs.CL cs.CR cs.LG
Adaptive False Discovery Rate Control with Privacy Guarantee
Iowa State University(爱荷华州立大学)
本文提出差分隐私自适应FDR控制方法DP-AdaPT,通过新颖的p值变换和镜像剥离算法,在精确控制FDR的同时保护隐私,相比现有方法性能更优且计算成本更低。
2023-05-31 cs.LG stat.ME stat.ML
Adaptive Token-Weighted Differential Privacy for LLMs: Not All Tokens Require Equal Protection
The University of Queensland(昆士兰大学);Institute of Science Tokyo(东京科学研究所)
针对DP-SGD均匀加噪导致训练慢、精度下降的问题,本文提出ATDP,按Token敏感性自适应加权加噪,并结合脱敏微调实现约90%训练提速与相当或更优隐私保护。
2025-09-27 cs.AI cs.LG
A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization
Princeton University(普林斯顿大学)
本文提出一种自适应超参数优化方法,通过低成本试验估计并放大最优超参数,在22个基准任务上取得最优性能并兼顾隐私成本。
2024-05-05 cs.AI cs.CR cs.LG
Model Explanations with Differential Privacy
National University of Singapore (NUS)(新加坡国立大学)
黑箱机器学习模型被用于关键决策领域,这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息,从而破坏数据隐私。为了解决这个问题,我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法,找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释,减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响,不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
Adaptive Client Selection in Federated Learning: A Network Anomaly Detection Use Case
University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本文提出一种结合差分隐私和容错机制的联邦学习自适应客户端选择框架,在网络异常检测用例中相比FedL2P准确率提升7%、训练时间减少25%,并验证了隐私与性能的权衡。
2025-01-25 cs.AI cs.LG
Max-Information, Differential Privacy, and Post-Selection Hypothesis Testing
University of Pennsylvania(宾夕法尼亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
在本文中,我们开始了一个原则性的研究,如何推广属性的近似差分隐私可以用来执行自适应假设检验,同时给出统计上有效的$p$值的更正。我们这样做,通过观察,有界近似最大信息的算法的保证是足够的,以纠正$p$ -值的自适应选择的假设,然后通过证明,算法,满足$(ε,δ)$ -差分隐私有界近似最大信息时,他们的输入是从产品分布。这实质上扩展了差分隐私和最大信息之间的已知联系,其先前仅已知适用于(纯)$(ε,0)$ -差分隐私。它还扩展了我们对最大信息作为控制自适应数据分析泛化特性的部分统一度量的理解。我们还展示了一个下界,证明(尽管强大的最大信息的组合属性),当数据是从产品分布,$(ε,δ)$差分私有算法可以首先在一个组合与其他算法满足最大信息的界限,但不一定是第二个,如果该组合本身需要满足一个非平凡的最大信息的界限。特别地,这意味着$(ε,δ)$ -差分隐私和最大信息之间的连接仅适用于从产品分发中提取的输入,而不像$(ε,0)$ -差分隐私和最大信息之间的连接。
2016-09-09 cs.LG
Steps Adaptive Decay DPSGD: Enhancing Performance on Imbalanced Datasets with Differential Privacy with HAM10000
Guangdong Provincial Key Laboratory of IRADS(广东省级IRADS关键实验室);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港 Baptist大学)
针对不平衡医学数据集上差分隐私梯度裁剪导致性能下降的问题,提出SAD-DPSGD,通过线性衰减噪声与裁剪阈值,在HAM10000上比Auto-DPSGD准确率提升2.15%。
2025-07-09 cs.LG stat.ML
ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push
Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center, Qilu University of Technology (Shandong Academy of Sciences)(计算能力网络与信息安全重点实验室,教育部,山东计算机科学中心,齐鲁大学(山东科学院));Shandong Provincial Key Laboratory of Industrial Network and Information System Security, Shandong Fundamental Research Center for Computer Science(山东省工业网络与信息系统安全重点实验室,山东省计算机科学基础研究中心);School of Information and Software Engineering, University of Electronic Science and Technology of China(信息与软件工程学院,电子科技大学)
提出ADP-VRSGP方法,通过自适应噪声方差与学习率调度及渐进梯度融合,在去中心化学习中实现节点级隐私保护并提升训练性能与收敛速度。
2025-10-23 cs.DC cs.LG
Tight Accounting in the Shuffle Model of Differential Privacy
Nokia Bell Labs(诺基亚贝尔实验室);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
差分隐私的Shuffle模型是一种基于局部隐私机制和安全Shuffler相结合的分布式隐私模型。已经表明,由洗牌器提供的额外随机化与纯本地机制相比提高了隐私界限。然而,会计紧边界由于洗牌带来的复杂性而变得复杂。最近提出的数值技术,用于评估$(\varepsilon,δ)$ -差分隐私保证已被证明比常用的各种复杂机制的组合物的方法给出更严格的界限。在本文中,我们展示了如何使用Feldman等人(2021)的分析获得一般$\varepsilon$ -LDP混洗器的自适应组合的准确界,以及如何使用Balle等人(2019)的分析获得$k$ -随机响应机制的混洗器的自适应组合的紧界。我们将展示如何加快评估所产生的隐私损失分布从$\mathcal{O}(n^2)$到$\mathcal{O}(n)$,其中$n$是用户的数量,而不会产生明显的变化$δ(\varepsilon)$上限。我们还证明了现有的界限和方法在文献中发现的松散,改善以前的组合物的结果显着。
2022-01-31 cs.CR cs.LG stat.ML
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research(微软研究院)
差分隐私(DP)是隐私保护深度学习的主要方法。因此,有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP,依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而,现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数,称为隐私预算。这阻止了训练算法的设计,即在运行中调整隐私预算,或者提前终止以减少总的隐私损失。或者,现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限,常数太大,是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题,证明了一个简单的合成定理,该定理具有较小的常数,使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用:在线调整噪声或批量大小,以在固定的总隐私损失内提高模型的准确性,以及在微调模型时提前停止,以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Resource-Adaptive Federated Text Generation with Differential Privacy
Oak Ridge National Laboratory(奥克伍德国家实验室)
本文提出了一种资源自适应的联邦文本生成框架,通过差分隐私机制和轻量级投票机制,提升在计算异质性和隐私保护下的分布对齐和下游任务鲁棒性。
2026-03-07 cs.LG
Minimax and Adaptive Covariance Matrix Estimation under Differential Privacy
The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);Department of Statistics and Data Science(统计与数据科学系);Tsinghua University(清华大学)
本文研究在差分隐私约束下高维带状协方差矩阵的最小最大与自适应估计,提出一种新的差分隐私分块三对角估计器,达到运算规范和弗罗贝尼乌斯范数下的最优收敛速率,并引入自适应估计器在不预知衰减参数的情况下达到最优速率。
2026-09-28 cs.LG math.ST stat.TH