Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data
针对联邦学习 Non-IID 数据导致全局模型性能下降的问题,提出 FedDPMS,利用可信服务器共享的差分隐私潜在表示均值生成合成数据以增强本地训练,并在图像分类中优于同类先进方法。
2023-04-20 cs.CR cs.DC cs.LG
Scalable Time-Lock Puzzle
本文提出可扩展时间锁谜题,定义委托概念并实现ED-TLP协议,支持外包计算与实时验证,以极小开销委托客户端99%和服务器100%的工作负载。
2025-05-23 cs.CR
Harnessing Sparsification in Federated Learning: A Secure, Efficient, and Differentially Private Realization
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong Polytechnic University(香港理工大学)
Clover 是一种安全、高效且具有差分隐私的联邦学习系统框架,通过稀疏化梯度和分布式信任设置提升通信效率和隐私保护。
2025-11-27 cs.CR
Differential Secrecy for Distributed Data and Applications to Robust Differentially Secure Vector Summation
Apple(苹果公司)
计算实值向量的噪声和是差分私有学习和统计中的重要基础。在私有联邦学习应用程序中,这些向量由客户端设备保存,导致分布式求和问题。针对该问题的标准安全多方计算(SMC)协议容易受到中毒攻击,其中客户端可能对和有很大影响,而不被检测到。在这项工作中,我们提出了一个中毒的强大的私人求和协议在多服务器设置,最近在PRIO研究。我们提出了一个协议,验证了每个贡献的欧几里德范数近似有界的向量求和。我们表明,通过放松SMC的安全约束的差分隐私一样的保证,可以提高在PRIO方面的通信要求,以及客户端的计算。与SMC算法不可避免地将整数转换为大型有限域的元素不同,我们的算法可以在整数/实数上工作,这可以提高效率。
2022-02-22 cs.CR cs.LG
DP-RuL: Differentially-Private Rule Learning for Clinical Decision Support Systems
针对临床决策支持系统的患者数据隐私问题,提出首个带本地差分隐私的群体规则学习框架DP-RuL,结合蒙特卡洛树搜索与自适应预算分配,在低隐私预算下仍能实现高覆盖、高临床效用的规则学习。
2024-05-15 cs.CR
cpSGD: Communication-efficient and differentially-private distributed SGD
Princeton University(普林斯顿大学);Google Research, New York(谷歌研究院纽约分部);Google Research, Seattle(谷歌研究院西雅图分部)
分布式随机梯度下降是分布式学习中的一个重要子程序。特别感兴趣的设置是当客户端是移动设备时,其中两个重要的关注点是通信效率和客户端的隐私。最近的几项工作都集中在降低通信成本或引入隐私保证,但没有一个提出的通信有效的方法是已知的隐私保护和没有一个已知的隐私机制是通信有效的。为此,我们研究的算法,实现通信效率和差分隐私。对于$d$变量和$n \approx d$客户端,所提出的方法使用每个坐标每个客户端的$O(\log \log(nd))$通信位,并确保恒定的隐私。我们还扩展和改进以前的分析的\emph{Binomial mechanism}表明,它实现了几乎相同的效用的高斯机制,同时需要更少的代表位,这可以是独立的利益。
2018-05-27 cs.CR cs.LG stat.ML
Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning
School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院);Vector Institute(向量研究所);Tokyo Institute of Technology(东京工业大学)
针对联邦学习中客户端隐私需求、批次/数据集大小异构导致DP噪声差异及现有方法局限,提出Robust-HDP算法,通过估计真实噪声提升模型实用性与收敛速度,且可抵御客户端恶意伪造隐私参数。
2025-02-14 cs.CR cs.DC cs.LG
Distributed Differentially Private Data Analytics via Secure Sketching
Aarhus University(奥胡斯大学)
本文提出线性变换模型,一种分布式差分隐私数据分析模型,介于中心模型和本地模型之间,通过安全多方计算在多服务器上分布应用公共矩阵,避免了单点故障并降低噪声,在低秩近似和岭回归等任务中保持高效用。
2025-03-05 cs.CR cs.LG
Differentially-Private "Draw and Discard" Machine Learning
Snap Inc.(Snap公司);USC(南加州大学)
在这项工作中,我们提出了一个新的框架,隐私保护客户端分布式机器学习。它的动机是希望实现差分隐私保证在本地模型的隐私的方式,满足所有系统的约束,使用异步客户端-服务器通信,并提供有吸引力的模型学习属性。我们称之为"DrawandDiscard",因为它依赖于模型的随机抽样来进行负载分布(可伸缩性),这还提供了额外的服务器端隐私保护,并通过平均来提高模型质量。我们介绍了"绘制和丢弃"的客户端和服务器组件的机制,并演示了如何将该框架应用于学习广义线性模型。然后,我们分析了我们的方法对几种类型的对手提供的隐私保证,并展示了实验结果,为该框架在实际部署中的可行性提供了证据。
2018-10-10 cs.CR cs.LG stat.ML
Differentially Private Combinatorial Optimization
请考虑以下问题:给定一个度量空间,其中一些点是"客户端",打开一组至多$k$设施,以最小化从客户端到这些设施的平均距离。这正是研究得很好的$k$-中值问题,对于该问题,已知许多近似算法和硬度结果。请注意,目标函数鼓励在有许多客户的地区开设设施,并且给定解决方案,通常可以很好地了解客户所在的位置。然而,这造成了以下困境:如果客户端的身份是我们希望保密的敏感信息,该怎么办?有没有可能为这个问题设计好的算法来保护客户的隐私?在本文中,我们发起了一个系统的研究离散优化问题的算法的框架内的差分隐私(形式化的想法,保护个人输入元素的隐私)。我们发现,许多这样的问题确实有很好的近似算法,保持差分隐私,这是即使在情况下,它是不可能保持加密的隐私定义,而计算任何非平凡的近似,甚至最佳解决方案的值,更不用说整个解决方案。除了$k$-中位数问题,我们研究的问题,顶点和集覆盖,最小割,设施的位置,Steiner树,和最近推出的子模块最大化问题,"组合公共项目"(CPP)。
2009-11-11 cs.CR cs.DS cs.GT
Differentially Private Clustered Federated Learning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
针对差分隐私联邦学习中数据异构性导致的聚类易错问题,提出基于模型更新与训练损失值进行客户端聚类的新算法,利用大批量与高斯混合模型降低噪声影响,有效提升了聚类鲁棒性。
2025-04-28 cs.CR cs.DC cs.LG
Differentially Private Secure Multi-Party Computation for Federated Learning in Financial Applications
Georgia Institute of Technology(佐治亚理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院)
联邦学习使一群客户端能够与受信任的服务器一起协作学习共享的机器学习模型,同时将每个客户端的数据保存在自己的本地系统中。这降低了暴露敏感数据的风险,但仍然有可能从通信的模型参数中对有关客户端私有数据集的信息进行逆向工程。因此,大多数联邦学习系统使用差分隐私来将噪声引入参数。这增加了任何试图揭示私人客户端数据的不确定性,但也降低了共享模型的准确性,限制了隐私保护噪声的有用规模。一种系统,通过还包括安全多方计算,可以进一步降低协调服务器恢复私人客户端信息的能力,而没有额外的准确性损失。结合这两种技术的方法与金融公司特别相关,因为它为协作学习提供了新的可能性,而不会暴露敏感的客户数据。这可以为重要任务(如最佳交易执行、信贷发放或欺诈检测)生成更准确的模型。本文的主要贡献是:我们提出了一个隐私保护的联邦学习协议的非专业观众,证明它使用逻辑回归在现实世界中的信用卡欺诈数据集,并评估它使用一个开源的模拟平台,我们已经适应了联邦学习系统的发展。
2020-10-12 cs.AI cs.CR cs.MA
Differentially Private Federated Learning With Time-Adaptive Privacy Spending
University of Toronto(多伦多大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对联邦学习中隐私预算均匀消耗的假设,提出时间自适应DP-FL框架,按轮次和客户端非均匀分配隐私预算,在早期节省预算用于后期细粒度学习,理论证明并实验验证了隐私-效用权衡的改善。
2025-02-25 cs.CR cs.DC cs.LG
PAC-DP: Personalized Adaptive Clipping for Differentially Private Federated Learning
Nanjing University of Post and Telecommunication(南京邮电大学);Nanjing University(南京大学)
本文提出PAC-DP框架,通过模拟曲线拟合方法实现个性化隐私预算与梯度截断阈值的映射,提升隐私保护与模型性能的平衡,实验显示在相同隐私预算下准确率提升26%,收敛速度加快45.5%。
2026-03-25 cs.CR
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology(北京理工大学)
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题,提出结合本地差分隐私与混洗技术的隐私放大算法,在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
Feature Space Hijacking Attacks against Differentially Private Split Learning
LiveRamp
拆分学习和差分隐私技术在帮助分布式数据集进行隐私合规高级分析方面具有越来越大的潜力。对分裂学习的攻击是一种重要的评估工具,最近受到越来越多的研究关注。这项工作的贡献是应用最近的特征空间劫持攻击(FSHA)的分裂神经网络的学习过程中增强了差分隐私(DP),使用客户端现成的DP优化器。FSHA攻击在任意设置的DP攻击级别下以低出错率获得客户端的私有数据重建。我们还尝试了降维作为一种潜在的攻击风险缓解,并表明它可能在一定程度上有所帮助。我们讨论了为什么差分隐私在这种情况下不是一种有效的保护,并提到潜在的其他风险缓解方法的原因。
2022-01-14 cs.AI cs.CR
Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出FedPower框架,通过重构服务器端聚合和引入PowerDP机制,缓解差分隐私对低秩因子的负面影响,提升跨孤岛联邦学习的隐私保护与准确性。
2026-05-08 cs.CR
A Theoretical Perspective on Differentially Private Federated Multi-task Learning
Ant Group(蚂蚁集团)
在大数据时代,通过数据共享来扩大数据量以提高模型性能的需求已变得越来越迫切。因此,有效的协作学习模式需要开发的隐私和实用性的关注。在这项工作中,我们提出了一种新的联邦多任务学习方法,有效的参数传输与差分隐私,以保护梯度在客户端级别。具体而言,网络的较低层在所有客户端之间共享以捕获可转移的特征表示,而网络的顶层是针对客户端个性化的特定任务。我们提出的算法自然解决了联邦网络中的统计异质性问题。据我们所知,我们是第一个为这样一个拟议的联邦算法提供隐私和效用保证的。在非凸、凸和强凸条件下,证明了Lipschitz光滑目标函数的收敛性。在不同数据集上的实验结果验证了该算法的有效性和理论研究结果的意义。
2020-11-14 cs.CR cs.DC cs.LG
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University(华东师范大学)
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而,研究表明,通过分析局部模型参数,如深度神经网络模型权重,仍然可以推断出私人信息。近年来,差分隐私被应用于联邦学习中以保护数据隐私,但加入的噪声可能会大大降低学习性能。通常情况下,在以前的工作中,训练参数被同等地裁剪,噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中,我们提出了一个差分隐私的联邦学习方案与自适应噪声(Adap DP-FL)。具体来说,由于梯度的异质性,我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛,我们添加相应的减少噪音。在真实数据集上的大量实验表明,我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出联邦学习框架 FedCEO,通过服务器端张量低秩近端优化让客户端协作平滑全局语义空间,在严格差分隐私保证下恢复模型语义并改进效用-隐私权衡界。
2025-05-05 cs.AI cs.CR cs.LG
From Bilinear to Linear: Differentially Private Federated LoRA via Low-Dimensional Parameterization
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院)
针对联邦LoRA中DP聚合不匹配和二次噪声放大问题,提出FedHSIP框架,通过低维参数化将双线性聚合转为线性,并引入异质性感知等距投影,在隐私保护下提升性能3-4%并降低80%通信成本。
2026-09-23 cs.CR
Robust and differentially private stochastic linear bandits
Cornell University(康奈尔大学);Google Research(谷歌研究院)
针对随机线性老虎机,本文在批量观测、奖励被任意污染及两种隐私模型下,提出兼具差分隐私与对抗鲁棒性的对数批量查询臂消除算法,并证明遗憾界。
2023-04-23 cs.CR cs.LG stat.ML
Locally Differentially Private Bayesian Inference
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
近年来,局部差分隐私(LDP)已成为一种选择的隐私保护数据收集在几种情况下,当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此,客户端不需要依赖于聚合器的可信度。在这项工作中,我们提供了一个噪声感知的概率建模框架,它允许贝叶斯推断考虑到噪声下的LDP隐私,条件是局部扰动观测。LDP协议提供的更强的隐私保护(与中央模型相比)是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Verifiable Homomorphic Linear Combinations in Multi-Instance Time-Lock Puzzles
Newcastle University(纽卡斯尔大学)
针对现有时间锁谜题缺乏可验证同态计算的问题,提出支持单客户端的MH-TLP和多客户端的MMH-TLP方案,实现高效可验证的同态线性组合,无需可信第三方且成本随规模线性扩展。
2024-08-22 cs.CR cs.DC cs.LG
Differentially private federated learning with Byzantine-robust aggregation: A cross-domain framework for secure model training in banking and healthcare systems
LTIMindtree Research(LTIMindtree研究院)
本文提出DP-BR-FedAvg框架,结合差分隐私与拜占庭鲁棒聚合,在跨机构分类任务中平衡隐私保护与模型鲁棒性,解决联邦学习的隐私泄露和恶意更新问题。
2026-09-04 cs.CR cs.LG
DP-RTFL: Differentially Private Resilient Temporal Federated Learning for Trustworthy AI in Regulated Industries
RTFL Project Contributor(RTFL项目贡献者)
本文提出DP-RTFL框架,通过结合本地差分隐私、弹性时序状态管理与零知识完整性验证,解决受监管行业联邦学习的容错、系统弹性与隐私合规问题,确保训练连续性与数据隐私。
2025-05-27 cs.AI cs.CR
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Samsung AI Centre Cambridge(三星剑桥人工智能中心)
本文提出DP-LAC,通过隐私直方图估计估计初始截断阈值,并在训练过程中自适应调整,无需额外隐私预算或新超参数,提升联邦微调语言模型的隐私保护与准确性。
2026-05-11 cs.AI cs.CR cs.DC
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation
Samsung R&D Institute UK(英国三星研发研究院);AI Center-Cambridge, Samsung(三星剑桥人工智能中心)
本文针对 DP-FL 下设备端微调大型 Transformer 性能下降问题,提出可满足差分隐私的动态低秩适配方法 DP-DyLoRA,并在多领域任务中显著降低准确率与 WER 损失。
2025-02-17 cs.CR cs.DC cs.LG
Client Clustering Meets Knowledge Sharing: Enhancing Privacy and Robustness in Personalized Peer-to-Peer Learning
Imperial College London(伦敦帝国学院)
本文提出完全去中心化的 P4 方法,通过隐私保护的客户端聚类与差分隐私知识蒸馏,在资源受限 IoT 对等学习中提升个性化准确率、隐私性及抗投毒攻击鲁棒性。
2025-10-20 cs.AI cs.CR cs.LG
DP-FedSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix
Department of Mechanical Engineering, Indian Institute of Technology Delhi(印度理工学院德里机械工程系);SQC & OR Unit, Indian Statistical Institute Kolkata(印度统计研究院科钦SQC与OR单位);Department of Artificial Intelligence, Indian Institute of Technology Hyderabad(印度理工学院海得拉巴人工智能系);Operations Management & Quantitative Techniques Area, Indian Institute of Management, Indore(印度管理学院印地尔运营管理和定量技术领域)
针对差分隐私联邦学习在严格隐私预算下收敛慢的问题,提出DP-FedSOFIM方法,利用正则化Fisher信息矩阵的代理进行二阶优化,无需完整Hessian计算,在CIFAR-10和PathMNIST上实现更快收敛和更高精度。
2026-06-23 cs.CR cs.DC cs.LG
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学网络空间先进技术研究院)
针对联邦学习中的隐私泄露和通信低效问题,提出基于差分隐私草图的DPSFL方法及其采用自适应裁剪策略的增强版DPSFL-AC,在保障隐私与通信效率的同时提升了模型准确率。
2024-10-10 cs.CR cs.LG
Efficient Language Model Architectures for Differentially Private Federated Learning
Google, Inc.(谷歌公司)
本文提出尺度不变的CIFG循环网络,通过修改激活函数使语言模型能用SGD高效训练,在跨设备联邦学习中实现更快收敛和更好效用,并改善差分隐私下的隐私效用权衡。
2024-03-12 cs.CR cs.DC cs.LG
CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness
Knight Foundation School of Computing and Information Sciences, Florida International University(佛罗里达国际大学奈特计算与信息科学学院)
本文提出CorBin-FL,一种基于相关二元随机量化的差分隐私联邦学习机制,利用安全多方计算实现参数级本地差分隐私,并扩展至用户级和样本级中心差分隐私,在MNIST和CIFAR10上优于高斯和拉普拉斯机制。
2024-09-20 cs.CR cs.IT cs.LG
Local Differentially Private Frequency Estimation based on Learned Sketches
草图被广泛用于大范围数据的频率估计。然而,基于草图的频率估计在考虑隐私时面临更多挑战。局部差分隐私(LDP)是一种在保护隐私的同时对敏感数据进行频率估计的解决方案。LDP允许每个用户在客户端上干扰其数据以保护隐私,但它也会给频率估计带来误差。草图中的哈希冲突使得对低频项的估计变得更糟。在本文中,我们提出了一个两阶段的频率估计框架的基础上,一个LDP学习草图,它分离的高频和低频项目,以避免哈希冲突所造成的错误具有较大的域数据。从理论上证明了该方法满足LDP,并且比Apple-CMS、Apple-HCMS和FLH等现有的频率估计方法精度更高。实验结果验证了我们的方法的性能。
2022-11-20 cs.CR cs.DB
Optimal Flexible Consensus and its Application to Ethereum
本文提出首个模块化构造,使每个客户端可同时实现最优安全性-活性权衡,并将其适配到以太坊协议中,推导出客户端可单方面采用的最优灵活确认规则。
2023-12-03 cs.CR cs.DC
Differentially Private Linear Bandits with Partial Distributed Feedback
Virginia Tech(弗吉尼亚理工大学);Wayne State University(韦恩州立大学);Nokia Corporation(诺基亚公司)
针对中央实体收集全局奖励反馈成本高且存在隐私担忧的问题,提出差分隐私分布式阶段消除(DP-DPE)框架,通过部分分布式反馈学习全局模型,实现次线性遗憾与通信成本,并达到“免费”的隐私保护。
2024-03-21 cs.CR cs.LG cs.NA
ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations
East China Normal University(华东师范大学);Shanghai Key Laboratory of Trustworthy Computing(上海市可信计算重点实验室)
针对资源受限的联邦学习,提出ALI-DPFL算法,通过理论分析确定最优本地迭代次数,在MNIST等数据集上显著优于现有方法。
2024-05-22 cs.CR cs.LG
A Differentially Private Blockchain-Based Approach for Vertical Federated Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究提出DP-BBVFL算法,结合区块链智能合约与本地差分隐私实现可验证、隐私保护的去中心化纵向联邦学习,首个原型在医疗数据上取得高准确率,为可信协作机器学习提供新方案。
2024-07-09 cs.CR cs.ET cs.LG
Secure Stateful Aggregation: A Practical Protocol with Applications in Differentially-Private Federated Learning
针对不可信单服务器下难以实现DP-FTRL的问题,提出安全有状态聚合协议,在保障隐私的同时提升了差分隐私联邦学习的效用,且开销极小。
2024-10-15 cs.CR
Nebula: Efficient, Private and Accurate Histogram Estimation
Brave Software(Brave软件公司);Inria, Université de Montpellier(法国国家信息与自动化研究所,蒙彼利埃大学);Imperial College London(伦敦帝国理工学院)
Nebula通过高效、隐私保护和准确的直方图估计技术,在保证差分隐私的前提下实现高实用性。
2025-07-03 cs.CR
Differentially Private Clustered Federated Learning with Privacy-Preserving Initialization and Normality-Driven Aggregation
Samsung AI Centre Cambridge(三星剑桥人工智能中心)
本文提出PINA框架,通过轻量级LoRA适配器和正态驱动聚合机制,提升聚类联邦学习的隐私保护与收敛性能,实验显示在隐私预算下准确率提升2.9%。
2026-04-22 cs.CR cs.LG
Tempora-Fusion: Time-Lock Puzzle with Efficient Verifiable Homomorphic Linear Combination
Newcastle University(纽卡斯尔大学)
Tempora-Fusion提出首个支持高效公开验证同态线性组合的时间锁谜题方案,通过有限域映射与多项式编码实现无需可信设置的验证,原型验证耗时低于3毫秒。
2026-09-09 cs.CE cs.CR cs.LG
Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy
University of Minnesota(明尼苏达大学);Carnegie Mellon University(卡内基梅隆大学);JD.com, Inc.(京东集团)
提供隐私保护一直是联邦学习(FL)的主要动机之一。最近,已经有一系列的工作,将正式的隐私概念的差分隐私与FL。为了保证客户端级别的差分隐私在FL算法,客户端的传输模型更新必须被裁剪之前添加隐私噪声。这种剪裁操作与集中式差异私有SGD中的梯度裁剪操作有很大不同,并且尚未得到很好的理解。在本文中,我们首先通过经验证明,在训练神经网络时,即使存在大量数据异构性,裁剪后的FedAvg也可以表现得令人惊讶,这部分是因为客户端的更新对于几种流行的深度架构变得相似。基于这个关键的观察,我们提供了一个差分私有(DP)FedAvg算法的收敛性分析,并强调裁剪偏差和客户端的更新分布之间的关系。据我们所知,这是第一个工作,严格调查的理论和经验问题,在FL算法的裁剪操作。
2021-06-25 cs.CR cs.DC cs.LG
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning Based on Constant-Overhead Linear Secret Resharing
J.P. Morgan AI Research \& J.P. Morgan AlgoCRYPT CoE, New York, New York, USA
针对分布式差分隐私联邦学习效用不足的问题,提出基于恒定开销线性秘密重分享的分布式矩阵机制DMM,通过新型密码学协议实现兼具高隐私与高效用的联邦学习,实验验证其效用提升显著且开销低。
2025-06-17 cs.CR cs.LG
Efficient Public Blockchain Client for Lightweight Users
公共区块链提供了一种去中心化的方法来存储交易数据,并在不同的领域有许多应用。为了让用户跟踪交易,一个简单的方法是让他们保留整个公共账本的本地副本。由于账本的规模不断增长,这种方法变得越来越不实用,特别是对于物联网设备和智能手机等轻量级用户。为了应对这个问题,已经提出了几种解决方案来减少存储负担。然而,现有的解决方案要么实现有限的存储减少(例如,简单的支付验证),或者依赖于某种强安全性假设(例如,使用可信服务器)。在本文中,我们提出了一种新的方法来解决这个问题。具体来说,我们提出了一个\underline{e}有效的验证协议,用于\underline{p}公共\underline{b}锁链\underline{c},或简称EPBC。EPBC特别适合轻量级用户,他们只需要存储少量数据,这些数据{ \it独立于}区块链的大小。我们分析了EPBC的性能和安全性,并讨论了它与现有公共分类账系统的集成。实验结果表明,EPBC是实用的轻量级用户。
2018-11-12 cs.CR
Privatized Graph Federated Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院)
联邦学习是一种半分布式算法,其中服务器与多个分散的客户端通信以学习全局模型。联邦体系结构不健壮,并且由于其一主多客户端结构而对通信和计算过载敏感。它还可能受到针对通信链路上的个人信息的隐私攻击。在这项工作中,我们介绍了图联邦学习(GFL),它由多个联邦单元连接的图。然后,我们展示了如何使用图同态扰动来确保算法是差异私有的。我们进行收敛和隐私的理论分析,并说明性能的计算机模拟。
2023-01-16 cs.CR cs.LG
Securing Private Federated Learning in a Malicious Setting: A Scalable TEE-Based Approach with Client Auditing
LY Corporation(LY公司)
针对现有DP-FTRL假设半诚实服务器的问题,本文提出基于临时TEE模块的服务器扩展作为可信计算基,实现恶意安全DP-FTRL,并通过客户端审计证明,在保持可扩展性的同时提供隐私保证。
2025-09-11 cs.CR cs.LG
Choose Wisely and Privately: Proactive Client Selection for Fair and Efficient Federated Learning
Adda Akram Bendoukha1(Adda Akram Bendoukha(1));Heber Hwang Arcolezi2(Heber Hwang Arcolezi(2));Nesrine Kaaniche1(Nesrine Kaaniche(1));Aymen Boudguiga3(Aymen Boudguiga(3))
本文提出了一种主动客户端选择框架,旨在在训练前找到满足效用和公平性要求的最佳客户端联邦,以提高联邦学习的效率和公平性。
2026-05-21 cs.CR cs.LG
PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance
针对DP-SGD因梯度裁剪信息损失导致的收敛问题,提出PCDP-SGD框架,通过预投影压缩冗余梯度范数并保留关键分量,扩展为DPFL组件缓解数据异构,理论证明收敛性提升,实验在计算机视觉任务中准确率更高且优于现有联邦学习框架。
2025-04-12 cs.CR cs.LG
DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出DP$^2$-FedSAM,结合个性化部分模型共享与锐度感知最小化,在差分隐私联邦学习中减轻噪声与裁剪影响,提升模型效用,尤其在数据异构场景下改善隐私-效用权衡。
2024-09-20 cs.CR cs.DC cs.LG
Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy
University of Nevada, Reno(内华达大学雷诺分校);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联邦学习(FL)使边缘设备能够协作地学习共享模型,同时将其训练数据保持在本地,近来受到了极大的关注,并且与传统的集中式学习范式相比,它可以保护隐私。然而,关于训练数据的敏感信息仍然可以从FL中共享的模型参数中推断出来。差分隐私(DP)是防御这些攻击的最新技术。在FL中实现DP的关键挑战在于DP噪声对模型精度的不利影响,特别是对于具有大量参数的深度学习模型。本文提出了一种新的差分私有FL方案Fed-SMP,它在保持高模型精度的同时提供了客户端级的DP保证。为了减轻隐私保护对模型准确性的影响,Fed-SMP利用了一种名为稀疏模型扰动(SMP)的新技术,在该技术中,本地模型在被高斯噪声扰动之前首先被稀疏化。我们提供了一个紧密的端到端的隐私分析Fed-SMP使用Renyi DP,并证明了收敛的Fed-SMP与无偏和有偏稀疏。在真实数据集上进行了大量的实验,以证明Fed-SMP在提高模型精度的同时,具有相同的DP保证和节省通信成本的有效性。
2022-11-15 cs.CR cs.LG
Privacy-Preserving Application-to-Application Authentication Using Dynamic Runtime Behaviors
应用程序身份验证通常使用某种形式的秘密凭据(如加密密钥、密码或API密钥)来执行。由于客户端负责安全地存储和管理密钥,因此这种方法很容易受到客户端的攻击。类似地,集中管理的密钥存储也容易受到各种攻击,并且如果受到损害,则可能泄漏凭据。为了解决这些问题,我们提出了一个应用程序身份验证,我们依赖于独特的和可区分的应用程序的行为,在设置阶段锁定密钥,并解锁它进行身份验证。我们的系统在现有的证书认证系统的基础上增加了一个模糊提取层。在密钥注册过程中,从网络中的各种传感器收集的应用程序的行为数据用于隐藏凭证密钥。如果应用程序在身份验证期间的行为与在注册期间收集的行为匹配,模糊提取器将向服务器释放密钥,并具有一定的噪声容限。我们设计了该系统,分析了其安全性,并使用部署在我们网络中的10个实际应用程序对其进行了实施和评估。我们的安全性分析表明,该系统是安全的客户端妥协,保险库妥协,和功能观察。测试结果表明,该方案的误接受率为0,平均误拒绝率为14%,认证成功时间约为51 ms。鉴于这些有希望的结果,我们希望我们的系统是实际使用,因为它的部署需要在服务器上的零到最小的变化。
2022-11-23 cs.CR
Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix
Department of Electronic Engineering(电子工程系);Fudan University(复旦大学);School of Computing(计算学院);Macquarie University(麦觉瑞大学);Department of Communication Science and Engineering(通信科学与工程系)
针对差分隐私联邦LoRA中添加噪声放大模型噪声或固定适配器损害学习能力的困境,提出FedASK框架,利用两阶段素描流程在保护隐私的同时实现双适配器有效更新,并在理论上和实验上证明其优越性。
2025-07-14 cs.AI cs.CR
An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
Université Paris Cité(巴黎大学)
本文提出DDP-SA-adaptive自适应梯度裁剪与噪声注入机制,可改善差分隐私联邦学习的隐私-精度-效率权衡,在联邦回归任务上较静态基线提升训练效率与模型精度,且隐私预算更低。
2026-08-18 cs.CR cs.LG