On the Security & Privacy in Federated Learning
最近的隐私意识举措,如欧盟通用数据保护条例,使机器学习(ML)屈服于隐私和安全评估。联邦学习(FL)提供了一个隐私驱动的分散训练方案,可以提高ML模型的安全性。业界对FL技术的快速适应和安全评估暴露了各种威胁FL机密性、完整性或可用性的漏洞。这项工作通过审查最先进的(SoTA)并创建一个包含攻击的表面,敌对行为者,能力和目标的威胁模型来评估FL的CIA。我们提出了第一个统一的攻击和防御分类,并提供了有前途的未来研究方向。
2022-03-16 cs.CR
PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);University of Washington Tacoma(华盛顿大学塔科马分校);Ghent University(根特大学)
群体公平性确保了基于机器学习(ML)的决策系统的结果不会偏向于由敏感属性(如性别或种族)定义的特定人群。在联邦学习(FL)中实现群体公平性是具有挑战性的,因为减轻偏见本质上需要使用所有客户端的敏感属性值,而FL的目的正是通过不允许访问客户端的数据来保护隐私。正如我们在本文中所示,在FL中的公平性和隐私性之间的冲突可以通过将FL与安全多方计算(MPC)和差分隐私(DP)相结合来解决。在这样做的过程中,我们提出了一种在完整和正式的隐私保证下在跨设备FL中训练组公平ML模型的方法,而不需要客户端公开其敏感属性值。
2022-08-26 cs.CR cs.LG
Fairness and Privacy in Federated Learning and Their Implications in Healthcare
University of Virginia(弗吉尼亚大学)
本文综述医疗场景下公平联邦学习的生命周期,提出更新的公平性分类,并分析隐私保护、非iid数据、通信开销与客户端异构性带来的实现挑战。
2023-08-15 cs.CR cs.LG
Federated Learning with Relative Fairness
The University of Tokyo(东京大学);RIKEN Advanced Intelligence Project(理化学研究所先进智能项目)
本文提出一个联邦学习框架,通过极小极大问题方法最小化客户端间的相对不公平性,引入基于损失比率的公平性指标,并开发了Scaff-PD-IA算法,在保持性能的同时降低差异。
2024-11-02 cs.CR cs.LG stat.ML
Survey of Privacy Threats and Countermeasures in Federated Learning
Secure System Platform Research Laboratories, NEC Corporation(NEC公司安全系统平台研究实验室)
本文综述横向、纵向和迁移联邦学习中的隐私威胁及防护对策,弥补现有研究对不同类型联邦学习共性与特有威胁缺乏系统分类的不足。
2025-08-29 cs.CR cs.LG
Privacy and Fairness in Federated Learning: on the Perspective of Trade-off
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文综述了联邦学习中隐私与公平的相互作用,分析了FL环境下的独特挑战与解决方案,并揭示了二者相互竞争的权衡关系,为公平与隐私联邦学习指明了新研究方向。
2023-06-25 cs.AI cs.CR cs.CY
Linkage on Security, Privacy and Fairness in Federated Learning: New Balances and New Perspectives
City University of Macau(澳门城市大学);University of Technology Sydney(悉尼科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述梳理联邦学习中隐私、安全与公平问题,分析三者间复杂关联与权衡,并指出公平性可作为连接隐私与安全的桥梁及未来研究方向。
2024-06-16 cs.CR cs.DC cs.LG
Privacy-Preserving Federated Learning with Verifiable Fairness Guarantees
CryptoFair-FL通过加密技术实现隐私保护下的公平性验证,有效降低公平性违规并保持高隐私保护水平。
2026-02-13 cs.CL cs.CR cs.CV
Attacks on fairness in Federated Learning
University of Cambridge(剑桥大学)
本文提出了一种针对联邦学习中公平性的攻击方法,通过控制少量客户端影响模型的属性层面表现分布,强调了在可能使用户受益的情况下,防御此类攻击的重要性。
2026-01-13 cs.CR cs.LG
SAFES: Sequential Privacy and Fairness Enhancing Data Synthesis for Responsible AI
Lucy Family Institute for Data & Society(数据与社会卢西家族研究所);University of Notre Dame(北德克萨斯大学);Department of Applied and Computational Mathematics and Statistics(应用与计算数学与统计系)
提出 SAFES 序贯数据合成框架,将差分隐私合成与公平感知预处理结合,支持在隐私、公平性和效用间灵活权衡,并在真实数据集上验证其低效用损失下显著改善公平性。
2025-10-20 cs.CR cs.LG
On the Alignment of Group Fairness with Attribute Privacy
Univ Lyon, INSA Lyon, Inria, CITI(里昂大学、里昂国立应用科学学院、法国国家信息与自动化研究所、CITI研究所);University of Waterloo(滑铁卢大学)
本文研究群体公平性与属性隐私的关系,提出面向类别不平衡数据的AdaptAIA,并证明标准群体公平算法可在仅承担效用权衡的同时防御属性推断攻击。
2024-03-05 cs.CR cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);Tongji University(同济大学);Northeastern University(东北大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学);Institute of Science Tokyo(东京科学研究所)
该研究针对现有差分隐私联邦学习系统综述的不足,提出基于隐私模型定义、保障特性与联邦场景的新分类体系,梳理相关应用,为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich(慕尼黑工业大学);Bytedance Inc.(字节跳动公司);Massachusetts Institute of Technology(麻省理工学院)
联邦学习是一种分布式机器学习框架,它支持多方协作训练,同时确保数据隐私。XGBoost是最先进的树提升框架,由于传统隐私保护方法的高成本,XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题,我们提出了两种具有隐私保证的联邦XGBoost变体:FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法,以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的,它是用噪声扰动为本地差分隐私设计的,并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类,证明通过策略性校准隐私预算,可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Fairness-Constrained Optimization Attack in Federated Learning
University of Surrey, U.K.(英国萨里大学);The Alan Turing Institute, London, U.K.(艾伦·图灵研究所);The University of Warwick, U.K.(沃里克大学);The University of Essex, UK(埃塞克斯大学);Indian Institute of Technology (BHU), Varanasi(印度理工学院(班加罗尔));University of Louisville, USA(路易斯维尔大学);University of North Texas, USA(北德克萨斯大学);Indian Institute of Technology Patna(印度理工学院帕纳布)
本文提出一种联邦学习中的公平性攻击,通过优化公平性损失使恶意客户端发送有偏模型,在保持全局准确率的同时将偏见提升至90%,且难以被现有鲁棒聚合方案检测。
2025-10-14 cs.CR cs.LG
Secure Aggregation Is Not All You Need: Mitigating Privacy Attacks with Noise Tolerance in Federated Learning
National Taiwan University(台湾大学)
联邦学习是一种协作方法,旨在创建AI模型的同时保护数据隐私。当前的联邦学习方法往往严重依赖于安全聚合协议来保护数据隐私。然而,在某种程度上,这样的协议假设编排联邦学习过程的实体(即,服务器)并非完全恶意或不诚实。我们调查安全聚合的漏洞,如果服务器是完全恶意的,并试图获得访问私人,潜在的敏感数据可能会出现。此外,我们还提供了一种方法来进一步防御这种恶意服务器,并证明了在联邦学习设置中重建数据的已知攻击的有效性。
2022-11-10 cs.AI cs.CR
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习(ML)模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡,ML模型对由敏感属性(如种族和性别)识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外,ML模型容易受到属性推断攻击,其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱,但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施,审计黑盒公平算法,使模型构建者占隐私和公平的模型设计。我们提出了Dikaios,一个隐私审计工具的公平算法的模型构建者,利用一个新的有效的属性推理攻击,占类不平衡的敏感属性,通过自适应预测阈值。我们对Dikaios进行了评估,以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明,我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性,以确保在敏感属性的不同值之间进行不可区分的预测。事实上,这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Productionized Fairness Measurement Under Privacy Constraints
LinkedIn(领英)
提出隐私保护的概率种族/民族估计方法,结合隐私技术实现美国LinkedIn成员种族/民族公平性度量,并展示其在候选人和观众侧公平性测量中的应用。
2026-06-29 cs.CR cs.LG
FairVFL: A Fair Vertical Federated Learning Framework with Contrastive Adversarial Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Sony AI(索尼人工智能);USTC(中国科学技术大学);Shenzhen University(深圳大学);Zhongguancun Laboratory(中关村实验室)
垂直联邦学习(Vertical Federated Learning,VFL)是一种隐私保护的机器学习范式,它可以以隐私保护的方式从分布在不同平台上的特征中学习模型。由于在现实世界的应用程序中,数据可能包含对公平敏感特征的偏见(例如,性别),VFL模型可能从训练数据继承偏差,并且对于某些用户组变得不公平。然而,现有的公平机器学习方法通常依赖于公平敏感特征的集中存储来实现模型公平性,这通常不适用于联邦场景。本文提出了一种公平的垂直联邦学习框架(FairVFL),该框架可以提高VFL模型的公平性。FairVFL的核心思想是以隐私保护的方式基于分散的特征字段学习样本的统一和公平表示。具体来说,每个具有公平性不敏感特征的平台首先从本地特征学习本地数据表示。然后,这些本地表示被上传到服务器,并聚合成目标任务的统一表示。为了学习公平的统一表示,我们将其发送到存储公平敏感特征的每个平台,并应用对抗学习来消除从有偏差数据继承的统一表示中的偏差。此外,为了保护用户隐私,我们进一步提出了一种对比对抗学习方法,在将隐私信息发送到保持公平敏感特征的平台之前,将隐私信息从服务器的统一表示中删除。在三个真实数据集上的实验表明,该方法能有效地提高模型的公平性,同时很好地保护用户隐私。
2022-10-31 cs.CR cs.CY cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark(南丹麦大学)
联邦学习(FL)是一种隐私感知的数据采掘策略,它将私有数据保存在所有者的机器上,从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中,使用安全聚合对本地参数进行额外屏蔽,使得仅全局聚合统计数据以明文形式可用,而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中,我们调查了三个QR分解算法的适用性跨筒仓FL,并提出了一个隐私感知QR分解方案的基础上,Gram-Schmidt算法,不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Privacy enabled Financial Text Classification using Differential Privacy and Federated Learning
Manipal Institute of Technology(马尼帕尔理工学院);Carnegie Mellon University(卡内基梅隆大学);Yildiz Technical University(耶尔德兹理工大学)
考虑到金融领域,隐私很重要,因为这些数据是高度机密和敏感的。自然语言处理(NLP)技术可以应用于金融领域的文本分类和实体检测目的,例如客户反馈情感分析、发票实体检测、按类型对金融文档进行分类等。由于此类数据的敏感性,需要采取隐私措施来处理和训练具有此类数据的大型模型。在这项工作中,我们提出了一个上下文化的Transformer(BERT和RoBERTa)的文本分类模型集成的隐私功能,如差分隐私(DP)和联邦学习(FL)。我们介绍了如何私下训练NLP模型和理想的隐私-效用权衡,并在金融短语银行数据集上对其进行评估。
2021-10-04 cs.CL cs.CR
FinP: Fairness-in-Privacy in Federated Learning by Addressing Disparities in Privacy Risk
University of California, Irvine(加州大学尔湾分校)
针对联邦学习中隐私风险分布不均的问题,提出FinP框架,通过服务器端自适应聚合和客户端正则化技术,减轻源推理攻击风险,将隐私暴露差异降低57.14%,同时保持模型效用与基线相当。
2026-06-18 cs.CR cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
联邦学习(FL)是一种训练范式,其中客户端通过重复共享信息来协作学习模型,而不会对其本地敏感数据的隐私造成太大影响。在本文中,我们介绍了联邦$f$ -差分隐私,一个新的概念,专门为联邦设置,高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行:它为一个客户端数据的每个单独记录提供隐私保证,以对抗对手。然后,我们提出了一个通用的私人联邦学习框架{PriFedSync},可容纳一个大家庭的国家的最先进的FL算法,可证明实现联邦$f$差分隐私。最后,我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Fairly Private: Investigating The Fairness of Visual Privacy Preservation Algorithms
Vienna University of Technology(维也纳技术大学);University of Alicante(阿利坎特大学)
随着摄像头监控和面部识别带来的隐私风险越来越大,对隐私保护算法的研究也越来越多。其中,视觉隐私保护算法试图通过模糊隐私敏感区域来将身体隐私赋予视觉对象。虽然不同表型的面部识别系统的不同性能是许多研究的主题,但其对应的隐私保护通常不会从公平的角度进行分析。本文通过人脸识别模型在模糊图像上的表现,研究了常用的视觉隐私保护算法的公平性。PubFig数据集上的实验清楚地表明,所提供的隐私保护在不同群体之间是不平等的。
2023-01-12 cs.CR cs.CV cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Fairness, Integrity, and Privacy in a Scalable Blockchain-based Federated Learning System
University of Bayreuth(拜罗伊特大学);FIM Research Center(FIM研究中心);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
联邦机器学习(FL)允许在敏感数据上集体训练模型,因为只需要共享客户端的模型,而不需要共享其训练数据。然而,尽管对外语的研究已经引起了人们的关注,但这一概念在实践中仍然缺乏广泛的采用。其中一个关键原因是实施FL系统的巨大挑战,同时为所有参与客户实现公平,完整性和隐私保护。为了解决这个问题,我们的论文提出了一个融合区块链技术、局部差分隐私和零知识证明的FL系统。我们使用多元线性回归实现的概念验证表明,这些最先进的技术可以结合到FL系统中,该系统可以在可扩展和透明的系统中调整经济激励,信任和保密要求。
2021-11-11 cs.AI cs.CR cs.DC
Empirical Analysis of Privacy-Fairness-Accuracy Trade-offs in Federated Learning: A Step Towards Responsible AI
本文首次对联邦学习中的隐私-公平性-效用权衡进行大规模实证研究,系统比较了DP、HE、SMC与公平性优化器在多数据集上的表现,揭示了隐私与公平机制的意外相互作用,并提出了设计鲁棒FL系统的实用指南。
2025-08-09 cs.CR cs.DC cs.ET
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学安达卢西亚数据科学与计算智能研究所)
边缘人工智能服务的高需求也保护了数据隐私,推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私,这些方法将数据保存在数据孤岛中。同样,差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布,但它们缺乏对这些技术所需的统一愿景,以及支持其使用的方法工作流程。因此,我们提出了Sherpa.ai联邦学习框架,该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究,以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen(卑尔根大学)
本文通过教育数据预测实验比较联邦学习与传统非联邦方法,证明其准确率相当且在对抗攻击下更具韧性,为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
Comments on "Federated Learning with Differential Privacy: Algorithms and Performance Analysis"
本文指出Wei等人提出的NbAFL差分隐私联邦学习算法收敛上界(定理2)有误,并给出其正确的收敛上界形式。
2024-06-09 cs.CR cs.DC cs.PF
Analysing Fairness of Privacy-Utility Mobility Models
Imperial College London(伦敦帝国理工学院);University of Washington(华盛顿大学)
本文定义了一组基于轨迹结构相似性和熵的人类移动性公平性指标,并据此评估两个基于GAN和表示学习的隐私保护模型,发现它们在群体公平上达标但违反个人公平性,揭示了重识别任务与个人公平性之间的张力。
2023-04-10 cs.AI cs.CR cs.CY
Federated Learning with Bayesian Differential Privacy
EPFL(洛桑联邦理工学院)
我们考虑的问题,加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私,放松差分隐私类似分布的数据,提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置,并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明,在图像分类任务(包括医疗应用程序)上,联邦学习的最先进的差分隐私界限具有显着的优势,使隐私预算在客户端级别低于1,在实例级别低于0.1。较低的噪声量也有利于模型的准确性,并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
A Privacy-Preserving Subgraph-Level Federated Graph Neural Network via Differential Privacy
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Beijing Jiaotong University(北京交通大学)
目前,联邦图神经网络(GNN)由于其在不违反隐私法规的情况下在现实中的广泛应用而引起了人们的广泛关注。在所有的隐私保护技术中,差分隐私(DP)由于其有效性和较小的计算开销是最有前途的一个。然而,基于DP的联邦GNN还没有得到很好的研究,特别是在子图级的设置,如推荐系统的场景。联邦GNN面临的最大挑战是如何在保证隐私的同时解决非独立同分布(non-IID)数据。在本文中,我们提出了DP-FedRec,一个基于DP的联邦GNN来填补这一空白。利用私有集交叉(PSI)来扩展每个客户端的局部图,从而解决非IID问题。最重要的是,DP不仅应用于PSI的权重,还应用于PSI的交集图的边缘,以充分保护客户端的隐私。测试结果表明,DP-FedRec在图形扩展方面取得了更好的性能,DP只引入了很少的计算开销。
2022-06-07 cs.AI cs.CR cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University(查尔斯特大学)
为应对COVID-19的医疗挑战,我们需要在全球范围内频繁共享健康数据、知识和资源。然而,在这个数字时代,数据隐私是一个大问题,需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中,我们介绍了差分隐私的设计(dPbD)框架,并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围,我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计,并讨论了如何差分隐私设计(dPbD)框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为,可扩展的差异私有联邦学习设计是一个很有前途的解决方案,用于建立一个安全,私有和协作的机器学习模型,如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Privacy Threats Against Federated Matrix Factorization
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学);WeBank Co. Ltd(微众银行)
矩阵分解在实际推荐应用和电子商务中非常成功。由于数据短缺和严格的法规,很难收集足够的数据来为单个公司构建高性能的推荐系统。联邦学习提供了在不损害隐私和安全的情况下桥接数据孤岛和构建机器学习模型的可能性。共享共同用户或项目的参与者协作地在来自所有参与者的数据上构建模型。已经有一些工作探索应用联邦学习的推荐系统和协同过滤系统中的隐私问题。然而,联邦矩阵分解中的隐私威胁没有被研究。本文根据特征空间的划分将联邦矩阵分解分为三类,并分析了每类联邦矩阵分解模型的隐私威胁。我们还讨论了隐私保护方法。据我们所知,这是联邦学习框架中的矩阵分解方法的隐私威胁的第一个研究。
2020-07-03 cs.CR cs.LG stat.ML
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington(华盛顿大学)
针对电子健康记录的高敏感属性,为保障机器学习模型分析患者数据时的隐私安全,提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
PUFFLE: Balancing Privacy, Utility, and Fairness in Federated Learning
University of Pisa(比萨大学);Telefónica Research(西班牙电信研究院)
本文提出PUFFLE方法,首次在联邦学习中同时平衡效用、隐私与公平性,在保持严格隐私保证下将不公平性降低达75%,最坏情况效用仅降17%。
2024-07-21 cs.AI cs.CR cs.CY
Federated Visualization: A Privacy-preserving Strategy for Aggregated Visual Query
我们提出了一种新的隐私保护策略去中心化可视化。其关键思想是模仿联邦学习框架的流程图,并在联邦基础设施中重新制定可视化过程。通过利用共享的全局模块来实现可视化的联合,该全局模块在本地模块中组成数据片的转换的视觉特征的加密外部化。我们设计了两个联邦可视化的实现:一个基于预测的计划,和一个基于查询的计划。我们证明了我们的方法的有效性与一组视觉形式,并验证其鲁棒性的评价。我们报告了联合可视化在真实场景中的价值,并进行了专家评审。
2022-02-09 cs.CR cs.GR cs.HC
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University(卡内基梅隆大学)
为了应对日益增长的对用户隐私的担忧,联邦学习已经成为一种很有前途的工具,可以在设备网络上训练统计模型,同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务,并且不与第三方共享原始用户数据。然而,当前的方法仍然共享模型更新,其可以包含私有信息(例如,(1)身高和体重,在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协:性能(特别是通信成本),准确性或隐私性。为了更好地优化这些权衡,我们建议\textit{sketching algorithms}具有独特的优势,因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明,在不牺牲性能或准确性的情况下,为联邦学习提供强大的隐私保证是可能的。我们的工作强调,在分布式环境中,隐私和通信之间存在着根本的联系,并提出了围绕实用的私人联邦学习的理论理解,方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
联邦学习是一种机器学习技术,它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名,因为数据永远不会离开计算设备,最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而,我们发现,尽管做出了努力,联邦学习仍然存在隐私威胁,因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁,揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归,我们通过理论分析表明,攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型,我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China(中国人民大学);Kyoto University(京都大学)
随着大量数据从小型设备中产生,移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中,随机梯度下降(SGD)已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露,最近,本地差分隐私(LDP)被认为是联邦SGD中的隐私保证。然而,现有的解决方案具有维度依赖性问题:注入的噪声基本上与维度$d$成比例。在这项工作中,我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是,并非所有维度都同等重要,因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说,我们提出了三个私人维度选择机制,并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度,并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University(崇实大学)
联邦学习(FL)是一种机器学习(ML)技术,旨在减少对用户数据隐私的威胁。训练是使用用户设备(称为客户端)上的原始数据完成的,只有训练结果(称为梯度)被发送到服务器进行聚合并生成更新的模型。但是,我们不能假设服务器可以信任私有信息,例如与数据的所有者或源相关的元数据。因此,对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此,客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名,称为GSFL,被设计为不仅保护客户端的数据和身份的隐私,而且考虑到联邦学习的迭代过程,还显著降低了计算和通信成本。我们表明,GSFL优于现有的方法在计算,通信和信令成本。此外,我们表明,该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
Optimal Fairness under Local Differential Privacy
Department of Computing and Software, McMaster University(计算与软件系,麦斯特大学)
本文提出一种基于局部差分隐私的最优机制,通过减少数据不公平性提升分类公平性,同时在保持隐私和准确性方面优于现有方法。
2026-01-30 cs.CR cs.LG stat.ML
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology(北京理工大学)
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题,提出结合本地差分隐私与混洗技术的隐私放大算法,在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph
Lancaster University(兰卡斯特大学)
确定一组学习者如何以完全分散的(点对点,没有协调员)方式提供隐私保护的联邦学习是一个开放的问题。我们提出了第一个隐私保护的基于共识的算法,分布式学习器,以实现分散的全球模型聚合的环境中的高流动性,学习器之间的通信图可能会有所不同,连续轮的模型聚合。特别地,在每一轮全局模型聚合中,Metropolis-Hastings方法被应用于基于当前通信拓扑来更新加权邻接矩阵。此外,Shamir的秘密共享方案的整合,以促进隐私达成共识的全球模型。本文建立了该算法的正确性和隐私属性。通过建立在联邦学习框架上的仿真实验,对算法的计算效率进行了评估。
2022-10-01 cs.CR cs.LG cs.MA
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG