Local Differentially Private Heavy Hitter Detection in Data Streams with Bounded Memory
提出HG-LDP框架,通过设计新颖的本地差分隐私随机化方法,在有界内存下实现准确的Top-$k$项检测,在内存效率、隐私保护和检测准确性间取得优越权衡。
2023-11-27 cs.CR
Distributed Private Heavy Hitters
在本文中,我们给出了有效的算法和下界解决重打击者问题,同时保持差分隐私在完全分布式的局部模型。在这个模型中,有n方,每一方拥有一个来自大小为N的宇宙的元素。heavy hitters问题是找到n方之间共享的最常见元素的身份。在本地模型中,没有可信的数据库管理员,因此算法必须使用不同的私有协议分别与每一个$n$方交互。我们给出了严格的信息理论的上限和下限的精度,这个问题可以解决在本地模型(给本地模型和更常见的集中式隐私模型之间的分离),以及计算效率的算法,即使在数据宇宙N可能是指数大的情况下。
2014-11-06 cs.CR cs.DB cs.DS
Local Differential Privacy: a tutorial
在过去的十年中,大数据分析在许多情况下都被证明是非常有价值的。本地差分隐私(LDP)是一种最先进的方法,它允许统计计算,同时保护每个单独用户的隐私。与差分隐私不同,不需要信任中央机构,因为噪声被本地添加到用户输入。在本文中,我们给出了一个概述不同的LDP算法的问题,如本地私人重打击识别和空间数据汇集。最后,对自民党存在的问题进行了展望.
2019-07-27 cs.CR
Lightweight Techniques for Private Heavy Hitters
本文提出了一个新的解决私有重打击者问题的系统Poplar。在这个问题中,有许多客户端和一小组数据收集服务器。每个客户端持有一个私有比特串。服务器希望恢复所有流行字符串的集合,而不需要了解任何客户端字符串的任何其他信息。例如,网络浏览器供应商可以使用Poplar来确定哪些主页是受欢迎的,而无需了解任何用户的主页。我们还考虑了更简单的私有子集直方图问题,其中服务器希望计算有多少客户端持有特定集合中的字符串,而不向客户端透露该集合。Poplar使用两个数据收集服务器,在一个协议运行中,每个客户端send只向服务器发送一条消息。Poplar保护客户端隐私免受任意服务器的不当行为,我们的方法不需要公钥密码学(除了安全信道),也不需要通用的多方计算。相反,我们依赖于增量分布式点函数,一个新的加密工具,允许客户端简洁地秘密共享的标签上的节点的指数大二叉树,只要树有一个单一的非零path.Along的方式,我们开发新的通用工具,提供恶意的安全应用程序的分布式点函数。
2023-03-23 cs.CR
Enhancing Privacy via Hierarchical Federated Learning
联邦学习存在几个与隐私相关的问题,这些问题使参与者面临各种威胁。这些问题中的许多问题因联邦学习的集中式架构而加剧。在本文中,我们讨论了将联邦学习应用于分层体系结构作为一种潜在的解决方案。我们介绍的机会,更灵活的分散控制的培训过程及其对参与者的隐私的影响。此外,我们调查的可能性,以提高效率和有效性的防御和验证方法。
2020-04-23 cs.CR
Towards Explainable Privacy Preservation in Federated Learning via Shapley Value-Guided Noise Injection
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院)
本文提出FedSVA,一种基于Shapley值动态校准噪声注入的可解释差分隐私机制,通过量化属性对模型训练的影响,提供严格隐私保障并最小化效用损失。
2026-04-01 cs.CR
Privacy-Preserving Prompt Injection Detection for LLMs Using Federated Learning and Embedding-Based NLP Classification
Wayamba University of Sri Lanka(斯里兰卡瓦亚姆巴大学)
针对LLM提示注入攻击检测需集中数据导致隐私风险的问题,提出基于联邦学习和嵌入分类的隐私保护检测框架,通过联邦逻辑回归模型实现与集中式相当的检测性能且无需暴露原始数据。
2025-11-15 cs.CR
Sample and Threshold Differential Privacy: Histograms and applications
联合分析试图从分布在用户设备上的数据中计算准确的统计数据,同时提供适当的隐私保证,并且实际上可行。在本文中,我们展示了如何强大的$(ε, δ)$ -差分隐私(DP)保证可以实现的基本问题,直方图生成在联邦设置,通过一个高度实用的采样为基础的程序,不添加噪音披露的数据。考虑到采样在实践中的普遍性,我们因此几乎免费获得DP保证,避免高估直方图计数,并允许轻松推理隐私保证如何掩盖少数群体和离群值。使用这样的直方图,相关的问题,如重打击和分位数可以回答可证明的错误和隐私保证。实验结果表明,我们的样本和阈值的方法是准确的和可扩展的。
2022-03-09 cs.CR
On the Security & Privacy in Federated Learning
最近的隐私意识举措,如欧盟通用数据保护条例,使机器学习(ML)屈服于隐私和安全评估。联邦学习(FL)提供了一个隐私驱动的分散训练方案,可以提高ML模型的安全性。业界对FL技术的快速适应和安全评估暴露了各种威胁FL机密性、完整性或可用性的漏洞。这项工作通过审查最先进的(SoTA)并创建一个包含攻击的表面,敌对行为者,能力和目标的威胁模型来评估FL的CIA。我们提出了第一个统一的攻击和防御分类,并提供了有前途的未来研究方向。
2022-03-16 cs.CR
PPT: A Privacy-Preserving Global Model Training Protocol for Federated Learning in P2P Networks
联邦学习(FL)的概念已经作为机器学习、信息和通信技术的融合而出现。它对机器学习的发展至关重要,预计机器学习将完全分散,隐私保护,安全和健壮。然而,一般的联邦学习设置与一个中央服务器不能满足分散的环境中的要求。在本文中,我们提出了一个分散的,安全的和隐私保护的全局模型训练协议,命名为PPT,联邦学习在对等(P2P)网络。PPT采用单跳通信方式聚合局部模型更新参数,并采用对称密码体制保证安全性。值得一提的是,PPT修改了Eschenauer-Gligor(E-G)方案来分发加密密钥。在隐私保护方面,PPT产生随机噪声干扰局部模型更新参数。最终消除了噪声,与FL中其他基于噪声的隐私保护方法(例如,差分隐私。PPT还采用了博弈论来抵抗合谋攻击。通过广泛的分析,我们证明了PPT的各种安全威胁和保护用户隐私.巧妙的实验证明了实用性和效率。
2021-08-09 cs.CR
PrivFL: Practical Privacy-preserving Federated Regressions on High-dimensional Data over Mobile Networks
联邦学习(FL)使大量用户能够共同学习由集中式服务器协调的共享机器学习(ML)模型,其中数据分布在多个设备上。这种方法使服务器或用户能够使用梯度下降来训练和学习ML模型,同时将所有训练数据保持在用户的设备上。我们考虑在移动网络上训练ML模型,其中用户辍学是一种常见现象。虽然联邦学习旨在降低数据隐私风险,但ML模型隐私并没有受到太多关注。在这项工作中,我们提出了PrivFL,这是一个隐私保护系统,用于训练(预测)线性和逻辑回归模型以及联邦设置中的不经意预测,同时保证数据和模型隐私,并确保用户退出网络的鲁棒性。基于加性同态加密(HE)方案和聚合协议,设计了两种隐私保护协议用于训练线性和逻辑回归模型。利用联邦学习的训练算法,在我们的训练协议的核心是一个安全的多方全局梯度计算活用户的数据。我们分析了我们的训练协议对半诚实的对手的安全性。只要聚合协议在聚合隐私博弈下是安全的,并且加性HE方案是语义安全的,PrivFL保证了用户对服务器的数据隐私,以及服务器对用户的回归模型隐私。我们展示了PrivFL在真实数据集上的性能,并展示了它在联邦学习系统中的适用性。
2020-04-05 cs.CR
Privacy-preserving Federated Learning based on Multi-key Homomorphic Encryption
本文提出基于多密钥同态加密协议xMK-CKKS的隐私保护联邦学习方案,通过聚合公钥加密模型更新并需多方协作解密,在抵御合谋的同时保持模型精度并降低计算成本,适用于物联网场景。
2021-04-14 cs.CR
Bridging Local and Federated Data Normalization in Federated Learning: A Privacy-Preserving Approach
Bilkent University(比尔肯特大学)
本文针对联邦学习中现有归一化方法的缺陷,定义联邦归一化并基于多方全同态加密提出隐私保护实现方案,可在不泄露隐私的前提下达到池化归一化的性能。
2025-11-14 cs.CR
FedFDP: Fairness-Aware Federated Learning with Differential Privacy
East China Normal University(华东师范大学);Stevens Institute of Technology(史蒂文斯理工学院);Nanyang Technological University(南洋理工大学)
FedFDP通过引入差分隐私和公平感知梯度裁剪技术,提升联邦学习在公平性和隐私保护方面的性能
2026-01-07 cs.CR
Combining Homomorphic Encryption and Differential Privacy in Federated Learning for Model Inspection and Availability
Sabancı University(萨班吉大学)
提出结合同态加密训练与差分隐私检查发布的联邦学习框架,采用贝叶斯隐私估计,在FEMNIST上相比仅差分隐私方法提升了模型效用和隐私保护。
2026-10-02 cs.CR
Local Differential Privacy for Federated Learning with Fixed Memory Usage and Per-Client Privacy
University of South Florida(南佛罗里达大学);Texas State University(德克萨斯州立大学);Virginia Tech(弗吉尼亚理工大学)
针对联邦学习中现有本地差分隐私方法资源消耗高且缺乏异步参与隐私保证的问题,提出L-RDP方法,以固定低内存使用和严格每客户端隐私保证,提升模型泛化性与合规性。
2025-10-14 cs.CR
Towards Privacy-Preserving and Verifiable Federated Matrix Factorization
近年来,联邦学习(FL)迅速发展,这是一种新兴的隐私感知机器学习范式,允许在分布在多个参与者之间的孤立数据集上进行协作学习。FL的突出特点是参与者可以将其私有数据集保持在本地,并且只共享模型更新。最近,一些研究工作已经开始探索FL的矩阵分解(MF),在现代推荐系统和服务中使用的一种流行的方法的适用性。已经表明,在联邦MF中共享梯度更新会带来泄露用户个人评级的隐私风险,从而提出了保护共享梯度的需求。现有技术的局限性在于,它们会导致显著的准确性损失,或者依赖于重密码系统,并假设了弱威胁模型。在本文中,我们提出了VPFedMF,一个新的设计,旨在保护隐私和可验证的联邦MF。VPFedMF通过轻量级和安全的聚合来保证各个梯度更新的机密性。此外,VPFedMF雄心勃勃,新的支持联邦MF中的协调服务器产生的聚合结果的正确性验证。在真实世界的电影评级数据集上的实验证明了VPFedMF在计算,通信和准确性方面的实际性能。
2022-06-11 cs.CR
A Privacy-Preserving Information-Sharing Protocol for Federated Authentication
University Mediterranea of Reggio Calabria(雷焦卡拉布里亚地中海大学)
本文提出了一种基于OPRFs的隐私保护协议,用于联邦认证中身份注册和信息共享,通过伪匿名标识符实现隐私保护和欺诈检测。
2025-12-01 cs.CR
Federated learning with differential privacy and an untrusted aggregator
Aero系统通过针对特定联邦学习算法的架构调优和新安全聚合协议,在不可信服务器上同时实现差分隐私、高准确率和低设备开销,效率较Orchard提升最高达10^5倍。
2024-10-23 cs.CR
Data Poisoning Attacks to Local Differential Privacy Protocols
本地差分隐私(LDP)协议使不受信任的数据收集器能够执行隐私保护数据分析。具体地,每个用户在将其数据发送到数据收集器之前在本地扰动其数据以保护隐私,数据收集器聚合扰动的数据以获得感兴趣的统计数据。在过去的几年里,来自多个社区的研究人员--例如安全、数据库和理论计算机科学--提出了许多LDP协议。这些研究主要集中在提高LDP协议的实用性。然而,LDP协议的安全性在很大程度上是未开发的。在这项工作中,我们的目标是弥合这一差距。我们专注于LDP协议的频率估计和重打击识别,这是两个基本的数据分析任务。具体来说,我们证明了攻击者可以将假用户注入LDP协议,假用户将精心制作的数据发送给数据收集器,以便LDP协议估计任意攻击者选择的项目的高频率或将其识别为重量级人物。我们称之为数据投毒攻击。我们从理论上和/或经验上证明了我们的攻击的有效性。我们还探讨了三个对策,对我们的攻击。我们的实验结果表明,它们在某些情况下可以有效地防御我们的攻击,但在其他情况下效果有限,这突出了对我们攻击的新防御的需求。
2020-12-09 cs.CR cs.DC
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布,本文改进 Misra-Gries 草图机制,使噪声不随草图规模线性增长,并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
Survey of Privacy Threats and Countermeasures in Federated Learning
Secure System Platform Research Laboratories, NEC Corporation(NEC公司安全系统平台研究实验室)
本文综述横向、纵向和迁移联邦学习中的隐私威胁及防护对策,弥补现有研究对不同类型联邦学习共性与特有威胁缺乏系统分类的不足。
2025-08-29 cs.CR cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类,证明通过策略性校准隐私预算,可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Secure Aggregation Is Not All You Need: Mitigating Privacy Attacks with Noise Tolerance in Federated Learning
National Taiwan University(台湾大学)
联邦学习是一种协作方法,旨在创建AI模型的同时保护数据隐私。当前的联邦学习方法往往严重依赖于安全聚合协议来保护数据隐私。然而,在某种程度上,这样的协议假设编排联邦学习过程的实体(即,服务器)并非完全恶意或不诚实。我们调查安全聚合的漏洞,如果服务器是完全恶意的,并试图获得访问私人,潜在的敏感数据可能会出现。此外,我们还提供了一种方法来进一步防御这种恶意服务器,并证明了在联邦学习设置中重建数据的已知攻击的有效性。
2022-11-10 cs.AI cs.CR
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Privacy enabled Financial Text Classification using Differential Privacy and Federated Learning
Manipal Institute of Technology(马尼帕尔理工学院);Carnegie Mellon University(卡内基梅隆大学);Yildiz Technical University(耶尔德兹理工大学)
考虑到金融领域,隐私很重要,因为这些数据是高度机密和敏感的。自然语言处理(NLP)技术可以应用于金融领域的文本分类和实体检测目的,例如客户反馈情感分析、发票实体检测、按类型对金融文档进行分类等。由于此类数据的敏感性,需要采取隐私措施来处理和训练具有此类数据的大型模型。在这项工作中,我们提出了一个上下文化的Transformer(BERT和RoBERTa)的文本分类模型集成的隐私功能,如差分隐私(DP)和联邦学习(FL)。我们介绍了如何私下训练NLP模型和理想的隐私-效用权衡,并在金融短语银行数据集上对其进行评估。
2021-10-04 cs.CL cs.CR
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Frequency Estimation under Local Differential Privacy [Experiments, Analysis and Benchmarks]
从大型分布式群体中私人收集统计数据是一个重要的问题,并且已经导致了几家领先技术公司的大规模部署。占主导地位的方法要求每个用户随机干扰他们的输入,导致在本地差分隐私模型的保证。在本文中,我们把各种方法,已建议到一个共同的框架,并进行了一系列广泛的实验,以了解不同的实施选择之间的权衡。我们的结论是,对于频率估计和重打击识别的核心问题,仔细选择算法可以导致非常有效的解决方案,可扩展到数百万用户
2021-07-12 cs.CR cs.DB
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
DP-FedLoRA: Privacy-Enhanced Federated Fine-Tuning for On-Device Large Language Models
Department of Information Technology, Kennesaw State University(信息科技系,肯纳邦大学);Department of Computer Science, Georgia State University(计算机科学系,佐治亚州立大学)
针对设备端大语言模型联邦微调中的隐私问题,提出DP-FedLoRA框架,结合LoRA与差分隐私,通过本地裁剪和加噪实现隐私保护,理论分析保证无偏性,实验验证性能与隐私兼顾。
2025-09-11 cs.AI cs.CR
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
联邦学习(FL)是一种新兴的分布式学习范式,具有默认的客户端隐私,因为客户端可以将敏感数据保存在其设备上,并且仅与联邦服务器共享本地训练参数更新。然而,最近的研究表明,FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法,该方法基于每个训练样本的客户端差分隐私,称为Fed-CDP。它有三个原创性的贡献。首先,我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁,即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法,被称为Fed-SDP,是不足以保护训练数据的隐私。其次,介绍了基于实例的客户端差分隐私算法Fed-CDP,给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析,并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三,形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡,并提出了一种动态衰减噪声注入策略,进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP(衰减)与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明,Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP,同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
On the Usage of Verifiable Credentials in Privacy-Preserving Federated Analytics
University of Bucharest(布加勒斯特大学);Research Institute of the University of Bucharest (ICUB)(布加勒斯特大学研究所)
本文探讨将可验证凭证与隐私保护联邦分析结合,以解决节点真实性和数据验证挑战,实现认证且保持完整性的数据模型。
2026-09-29 cs.CR cs.ET
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University(理海大学);Samsung Research America(三星美国研究院)
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法,它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而,以前的作品没有给出一个实际的解决方案,由于三个问题。首先,噪声数据以高概率接近其原始值,增加了信息暴露的风险。第二,将大的方差引入估计的平均值,导致精度差。最后,由于深度学习模型中权重的高维性,隐私预算爆炸式增长。针对上述问题,提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同,并引入较低的方差。此外,所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明,我们的解决方案不仅可以实现卓越的深度学习性能,同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University(京都大学)
联邦学习(FL)正在成为隐私保护机器学习的一个有前途的范例,它在多个客户端之间训练算法,而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点,并分别使用局部差分隐私(LDP)和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而,目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白,这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的,因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证,证明了局部差分隐私对对抗鲁棒性既有积极的影响,也有消极的影响。
2021-06-13 cs.CR cs.LG
Advances in Privacy Preserving Federated Learning to Realize a Truly Learning Healthcare System
本文提出将隐私保护联邦学习(PPFL)整合进医疗生态系统,以解决数据共享与隐私保护难题,实现医学研究所定义的真正学习型医疗系统。
2024-09-29 cs.CR cs.DC
Federated $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
联邦学习(FL)是一种训练范式,其中客户端通过重复共享信息来协作学习模型,而不会对其本地敏感数据的隐私造成太大影响。在本文中,我们介绍了联邦$f$ -差分隐私,一个新的概念,专门为联邦设置,高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行:它为一个客户端数据的每个单独记录提供隐私保证,以对抗对手。然后,我们提出了一个通用的私人联邦学习框架{PriFedSync},可容纳一个大家庭的国家的最先进的FL算法,可证明实现联邦$f$差分隐私。最后,我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Bit-efficient Numerical Aggregation and Stronger Privacy for Trust in Federated Analytics
边缘设备(从智能手机到汽车电子产品)生成的私人数据在聚合时具有高度的信息性,但在处理不当时可能会造成破坏。各种解决方案正在探索中,但尚未赢得公众的信任和移动平台的全力支持。在这项工作中,我们提出了数值聚合协议,经验上改进现有技术,同时提供可比的本地差分隐私保证。每个值共享单个私有位支持隐私计量,其实现了未被差分隐私覆盖的隐私控制和保证。我们把重点放在易于实施,与现有方法的兼容性,和令人信服的经验表现。
2021-08-03 cs.CR cs.DS
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen(卑尔根大学)
本文通过教育数据预测实验比较联邦学习与传统非联邦方法,证明其准确率相当且在对抗攻击下更具韧性,为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
Deciphering the Interplay between Attack and Protection Complexity in Privacy-Preserving Federated Learning
Huazhong University of Science(华中科技大学);The Hong Kong Polytechnic University, China(香港理工大学)
本文提出理论框架,通过定义攻击复杂度和保护复杂度并推导其界限,定量揭示隐私保护联邦学习中隐私、效用与攻防代价之间的权衡。
2025-08-16 cs.AI cs.CR
Comments on "Federated Learning with Differential Privacy: Algorithms and Performance Analysis"
本文指出Wei等人提出的NbAFL差分隐私联邦学习算法收敛上界(定理2)有误,并给出其正确的收敛上界形式。
2024-06-09 cs.CR cs.DC cs.PF
Federated Learning for Multi-Center Sepsis Early Prediction with Privacy-Preserving
University of Science and Technology of China(中国科学技术大学)
针对多中心医疗数据的隐私和分布式特性,提出基于联邦学习的分布式协作建模方法,实现与集中式模型相当的预测精度并避免隐私泄露。
2026-06-03 cs.CR cs.LG
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学安达卢西亚数据科学与计算智能研究所)
边缘人工智能服务的高需求也保护了数据隐私,推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私,这些方法将数据保存在数据孤岛中。同样,差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布,但它们缺乏对这些技术所需的统一愿景,以及支持其使用的方法工作流程。因此,我们提出了Sherpa.ai联邦学习框架,该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究,以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
A Privacy-Preserving Subgraph-Level Federated Graph Neural Network via Differential Privacy
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Beijing Jiaotong University(北京交通大学)
目前,联邦图神经网络(GNN)由于其在不违反隐私法规的情况下在现实中的广泛应用而引起了人们的广泛关注。在所有的隐私保护技术中,差分隐私(DP)由于其有效性和较小的计算开销是最有前途的一个。然而,基于DP的联邦GNN还没有得到很好的研究,特别是在子图级的设置,如推荐系统的场景。联邦GNN面临的最大挑战是如何在保证隐私的同时解决非独立同分布(non-IID)数据。在本文中,我们提出了DP-FedRec,一个基于DP的联邦GNN来填补这一空白。利用私有集交叉(PSI)来扩展每个客户端的局部图,从而解决非IID问题。最重要的是,DP不仅应用于PSI的权重,还应用于PSI的交集图的边缘,以充分保护客户端的隐私。测试结果表明,DP-FedRec在图形扩展方面取得了更好的性能,DP只引入了很少的计算开销。
2022-06-07 cs.AI cs.CR cs.LG