Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University（卡内基梅隆大学）
为了应对日益增长的对用户隐私的担忧，联邦学习已经成为一种很有前途的工具，可以在设备网络上训练统计模型，同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务，并且不与第三方共享原始用户数据。然而，当前的方法仍然共享模型更新，其可以包含私有信息（例如，（1）身高和体重，在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协：性能（特别是通信成本），准确性或隐私性。为了更好地优化这些权衡，我们建议\textit{sketching algorithms}具有独特的优势，因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明，在不牺牲性能或准确性的情况下，为联邦学习提供强大的隐私保证是可能的。我们的工作强调，在分布式环境中，隐私和通信之间存在着根本的联系，并提出了围绕实用的私人联邦学习的理论理解，方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute（拉特格尔理工学院）
本文提出PBM-VFL算法，结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习，首次从理论上刻画隐私预算、收敛误差与通信成本间的关系，并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
FedEM: A Privacy-Preserving Framework for Concurrent Utility Preservation in Federated Learning
本文提出FedEM算法，通过自适应噪声注入引入受控扰动，在联邦学习中有效缓解梯度泄露攻击，同时保持模型精度，实现隐私保护与效用保留的稳健平衡。
2025-03-08 cs.LG
Federated Hypergraph Learning with Local Differential Privacy: Toward Privacy-Aware Hypergraph Structure Completion
School of Computer Science and Engineering（计算机科学与工程学院）；Central South University（中南大学）
针对联邦超图学习中的高阶信息丢失与隐私泄露问题，提出了FedHGL框架，通过预传播超边补全机制和本地差分隐私保护，有效提升了跨客户端协同训练与隐私保护下的模型性能。
2025-09-18 cs.LG
Local Differential Privacy based Federated Learning for Internet of Things
Nanyang Technological University（南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-新加坡南洋理工大学联合研究院）
车联网（IoT）是物联网的一个很有前途的分支。车联网模拟了Waze、Uber、Amazon Mechanical Turk等多种众包应用，这些应用的用户将实时交通信息上报到云服务器，云服务器根据用户上报的交通信息训练机器学习模型，实现智能交通管理。然而，众包应用程序所有者可以很容易地推断出用户的位置信息，这引起了严重的位置隐私的用户的关注。此外，随着车辆数量的增加，车辆与云服务器之间的频繁通信会产生意想不到的通信成本。为了避免隐私威胁和降低通信成本，本文提出将联邦学习和局部差分隐私（LDP）相结合，以便于众包应用实现机器学习模型。具体来说，我们提出了四个LDP机制来扰动车辆产生的梯度。提出了三输出机制，该机制引入了三种不同的输出可能性，以在隐私预算较小时提供高准确性。三路输出的输出可能性可以用两位编码，以降低通信成本。此外，当隐私预算较大时，为了最大化性能，提出了一种最优分段机制（PM-OPT）。我们进一步提出了一种次优机制（PM-OPT），它具有简单的公式和与PM-OPT相当的效用。然后，我们将三输出和PM-OPT相结合，构建了一种新的混合机制。
2020-12-22 cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
A Survey on Blockchain-Based Federated Learning and Data Privacy
Texas Tech University（得克萨斯理工大学）
本文综述了联邦学习的隐私泄露风险，系统比较了基于区块链的联邦学习架构中各种数据隐私机制的性能与安全性，并指出了未来研究方向。
2023-06-29 cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology（史蒂文斯理工学院）；University of Connecticut（康涅狄格大学）；Tongji University（同济大学）；Northeastern University（东北大学）；The Hong Kong Polytechnic University（香港理工大学）；East China Normal University（华东师范大学）；Institute of Science Tokyo（东京科学研究所）
该研究针对现有差分隐私联邦学习系统综述的不足，提出基于隐私模型定义、保障特性与联邦场景的新分类体系，梳理相关应用，为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich（慕尼黑工业大学）；Bytedance Inc.（字节跳动公司）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式机器学习框架，它支持多方协作训练，同时确保数据隐私。XGBoost是最先进的树提升框架，由于传统隐私保护方法的高成本，XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题，我们提出了两种具有隐私保证的联邦XGBoost变体：FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法，以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的，它是用噪声扰动为本地差分隐私设计的，并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类，证明通过策略性校准隐私预算，可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨分校）；Queen’s University（女王大学）
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架，并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada（格拉纳达大学安达卢西亚数据科学与计算智能研究所）
边缘人工智能服务的高需求也保护了数据隐私，推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私，这些方法将数据保存在数据孤岛中。同样，差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布，但它们缺乏对这些技术所需的统一愿景，以及支持其使用的方法工作流程。因此，我们提出了Sherpa.ai联邦学习框架，该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究，以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对多模态LLM联邦提示学习中个性化、泛化性与隐私难以平衡的问题，提出DP-FPL方法，通过低秩分解与差异化差分隐私保护策略，在减轻隐私噪声影响的同时平衡权衡，实验效果优于基准方法。
2025-02-13 cs.LG
Privacy Risks Analysis and Mitigation in Federated Learning for Medical Images
Knight Foundation School of Computing and Information Sciences（奈特基金会计算与信息科学学院）
本文提出MedPFL框架分析并缓解医学图像联邦学习的隐私风险，证实该场景下存在严重隐私泄露风险，且传统加噪防御并非总能有效防护。
2024-01-31 cs.LG
When Differential Privacy Meets Wireless Federated Learning: An Improved Analysis for Privacy and Convergence
School of Informatics, Xiamen University, China（厦门大学信息学院，中国）；Internet of Things Thrust, Hong Kong University of Science and Technology (Guangzhou), China（香港科技大学（广州）物联网研究组，中国）
本文研究了差分隐私无线联邦学习中隐私损失的精确表征及收敛性，提出通用非凸损失目标下的分析方法，明确设备选择与小批量采样影响，证明隐私损失可收敛于常数，建立梯度裁剪下的收敛保证及隐私-效用权衡。
2026-08-04 cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University（康奈尔大学）；University of Minnesota（明尼苏达大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出一种基于联邦学习的分布式数据隐私保护框架，通过仅共享模型参数实现安全的跨域数据协作，实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen（卑尔根大学）
本文通过教育数据预测实验比较联邦学习与传统非联邦方法，证明其准确率相当且在对抗攻击下更具韧性，为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
A Multivocal Literature Review on Privacy and Fairness in Federated Learning
University of Bayreuth（拜罗伊特大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
本文通过多声文献综述梳理联邦学习中隐私与公平性的整合方法，指出二者关系被忽视且存在内在张力，呼吁构建兼顾隐私、公平与性能的一体化框架。
2024-10-27 cs.AI cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
DP-Hype: Federated Differentially Private Hyperparameter Search
Institute of IT Security, University of Luebeck（吕贝克大学IT安全研究所）
提出DP-Hype算法，通过联邦投票基于客户端本地评估进行隐私保护超参数搜索，实现客户端级差分隐私且隐私预算与超参数数量无关，在多种数据集上展示高效用。
2026-06-16 cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark（南丹麦大学）
联邦学习（FL）是一种隐私感知的数据采掘策略，它将私有数据保存在所有者的机器上，从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中，使用安全聚合对本地参数进行额外屏蔽，使得仅全局聚合统计数据以明文形式可用，而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中，我们调查了三个QR分解算法的适用性跨筒仓FL，并提出了一个隐私感知QR分解方案的基础上，Gram-Schmidt算法，不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Federated Diffusion Modeling with Differential Privacy for Tabular Data Synthesis
Deutsche Bundesbank（德国联邦银行）；University of St.Gallen（圣加尔大学）；Swiss Federal Audit Office（瑞士联邦审计局）；International Computer Science Institute (ICSI)（国际计算机科学研究所）
提出 DP-FedTabDiff 框架，融合差分隐私、联邦学习与扩散模型生成高保真表格数据，并在真实数据集上验证其隐私与效用平衡。
2025-08-29 cs.LG q-fin.ST
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
移动众测是一种新兴的感知数据汇集模式，具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外，现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护，而不是数据处理的隐私保护。为了解决MCS面临的问题，本文将联邦学习（FL）融入MCS，提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说，为了保护隐私，参与者通过联邦学习在本地处理传感数据，只上传加密的训练模型。特别地，提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销，设计了丢弃和重传策略。此外，设计了一种隐私保护的发布定价激励机制，试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明，所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私，是可行和有效的。
2021-02-20 cs.CR cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University（查尔斯特大学）
为应对COVID-19的医疗挑战，我们需要在全球范围内频繁共享健康数据、知识和资源。然而，在这个数字时代，数据隐私是一个大问题，需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中，我们介绍了差分隐私的设计（dPbD）框架，并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围，我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计，并讨论了如何差分隐私设计（dPbD）框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为，可扩展的差异私有联邦学习设计是一个很有前途的解决方案，用于建立一个安全，私有和协作的机器学习模型，如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of Hong Kong（香港大学）；Florida International University（佛罗里达国际大学）
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题，提出EPAFL框架，通过三种早停技术在保持攻击成功率的同时显著降低计算开销，并公开代码。
2024-04-15 cs.CR cs.LG
FederatedNILM: A Distributed and Privacy-preserving Framework for Non-intrusive Load Monitoring based on Federated Deep Learning
University of Essex（埃塞克斯大学）；Durham University（杜伦大学）；University College Cork（科克大学学院）
非侵入式负载监测（NILM）通常利用机器学习方法，并有效地将智能电表读数从家庭级别分解为电器级别的消耗，可以帮助分析用户的用电行为，并实现实际的智能能源和智能电网应用。然而，智能电表是私有和分布式的，这使得NILM的实际应用具有挑战性。为此，本文提出了一种分布式隐私保护的联邦深度学习框架（FederatedNILM），将联邦学习与最先进的深度学习架构相结合，进行NILM，用于家电典型状态的分类。通过大量的对比实验，证明了所提出的FederatedNILM框架的有效性。
2021-08-08 cs.AI cs.LG eess.SP
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg（卢森堡大学FINATRAX）；University of Luxembourg（卢森堡大学）
由于间歇性发电和动态需求模式的高水平，对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用，因为它们提供详细的负荷数据。然而，由于数据隐私要求，使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术（如差分隐私和安全聚合）来满足这些要求。在我们的分析中，我们使用了大量的住宅负载数据，并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明，结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说，我们发现，这种组合使高水平的信息共享，同时确保隐私的处理负荷数据和预测模型。此外，我们确定并讨论了应用联邦学习，差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech（弗吉尼亚理工大学）
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决，即模型压缩、部分设备参与和周期性聚合，代价是增加训练方差。与传统的分布式学习系统不同，联邦学习存在数据异构性（因为设备从可能不同的分布中采样数据），这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响，而它们通常需要额外的通信资源来提供必要的控制信息。此外，数据隐私仍然是FL中的一个关键问题，因此已经有人尝试将差分隐私引入该框架，作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡，以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架，其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩，隐私是因为用户数据通常是敏感的，压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中，我们采取了全面的问题，并设计了一个家庭的隐私意识的压缩机制，适用于任何给定的通信预算。首先，我们提出了一种机制，用于传输一个单一的实数，在一定条件下具有最佳的方差。然后，我们将展示如何将其扩展到位置隐私用例的度量差分隐私，以及向量，以应用于联邦学习。我们的实验表明，我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
Federated Recommendation System via Differential Privacy
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在本文中，我们感兴趣的是我们所谓的联邦私人强盗框架，结合差分隐私与多代理强盗学习。我们探讨了如何差分隐私为基础的置信上限（UCB）的方法可以应用到多智能体环境中，特别是联邦学习环境中的“主工人”和“完全分散”的设置。我们提供了一个理论分析所提出的方法的隐私和遗憾的性能，并探讨这两者之间的权衡。
2020-05-16 cs.IT cs.LG math.IT
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh（匹兹堡大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型，他们可能希望保持私有。然而，参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题，已经提出了基于差分隐私和安全多方计算（SMC）等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中，我们提出了HybridAlpha，隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单，高效，对参与者退出具有弹性。我们评估我们的方法，关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明，HybridAlpha可以将训练时间平均减少68%，数据传输量平均减少92%，同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Safeguarding Privacy: Privacy-Preserving Detection of Mind Wandering and Disengagement Using Federated Learning in Online Education
Chair of Human-Centered Technologies for Learning（人类中心学习技术教授职位）
本文提出利用联邦学习在在线教育中实现隐私保护的注意力分散和脱节检测，通过面部表情和注视特征训练模型，提升学习者参与度的同时保障数据隐私。
2026-02-10 cs.HC cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习（FL）是一种新兴的分布式学习范式，具有默认的客户端隐私，因为客户端可以将敏感数据保存在其设备上，并且仅与联邦服务器共享本地训练参数更新。然而，最近的研究表明，FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法，该方法基于每个训练样本的客户端差分隐私，称为Fed-CDP。它有三个原创性的贡献。首先，我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁，即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法，被称为Fed-SDP，是不足以保护训练数据的隐私。其次，介绍了基于实例的客户端差分隐私算法Fed-CDP，给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析，并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三，形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡，并提出了一种动态衰减噪声注入策略，进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP（衰减）与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明，Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP，同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University（理海大学）；Samsung Research America（三星美国研究院）
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法，它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而，以前的作品没有给出一个实际的解决方案，由于三个问题。首先，噪声数据以高概率接近其原始值，增加了信息暴露的风险。第二，将大的方差引入估计的平均值，导致精度差。最后，由于深度学习模型中权重的高维性，隐私预算爆炸式增长。针对上述问题，提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同，并引入较低的方差。此外，所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明，我们的解决方案不仅可以实现卓越的深度学习性能，同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy
Hong Kong University of Science and Technology（香港科技大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Southern University of Science and Technology（南方科技大学）
针对联邦学习中的隐私泄露与通信瓶颈，提出DP-FCRN算法，融合二阶牛顿法、局部噪声扰动与上行稀疏化，在增强隐私保证的同时降低通信开销，并通过实验验证其有效性。
2025-03-15 cs.LG cs.SY eess.SY
Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data
School of Management Engineering, Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院管理工程学院）
在临床研究中，缺乏感兴趣的事件往往需要不平衡的学习。解决这一障碍的一种方法是数据集成或共享，但由于隐私问题，这两种方法都不实用。因此，对于可以在联合环境中在其上执行分析同时保持隐私的平台的需求日益增加。然而，这是相当具有挑战性的联邦学习算法，可以同时解决隐私保护和类不平衡的问题。在这项研究中，我们引入了一个联邦生成模型学习平台，用于在数据分布式环境中生成样本，同时保护隐私。我们特别提出了近似贝叶斯计算为基础的高斯混合模型称为“联邦ABC-GMM”，它可以过采样数据在一个小类通过估计的后验分布的模型参数在整个机构的隐私保护的方式。PhysioNet 2012是一个用于预测重症监护病房（ICU）患者死亡率的数据集，用于验证所提出的方法的性能。实验结果表明，我们的方法提高了分类性能的F1得分接近理想的情况。据信，所提出的方法可以是一种新的替代解决类不平衡问题。
2020-08-29 cs.LG stat.ML
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University（京都大学）
联邦学习（FL）正在成为隐私保护机器学习的一个有前途的范例，它在多个客户端之间训练算法，而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点，并分别使用局部差分隐私（LDP）和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而，目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白，这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的，因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证，证明了局部差分隐私对对抗鲁棒性既有积极的影响，也有消极的影响。
2021-06-13 cs.CR cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
联邦学习是一种机器学习技术，它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名，因为数据永远不会离开计算设备，最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而，我们发现，尽管做出了努力，联邦学习仍然存在隐私威胁，因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁，揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归，我们通过理论分析表明，攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型，我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
随着大量数据从小型设备中产生，移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中，随机梯度下降（SGD）已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露，最近，本地差分隐私（LDP）被认为是联邦SGD中的隐私保证。然而，现有的解决方案具有维度依赖性问题：注入的噪声基本上与维度$d$成比例。在这项工作中，我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是，并非所有维度都同等重要，因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说，我们提出了三个私人维度选择机制，并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度，并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Training Fair Models in Federated Learning without Data Privacy Infringement
McMaster University（麦克马斯特大学）；East China University of Science and Technology（华东理工大学）；Huawei Technologies Canada（华为技术加拿大公司）
针对联邦学习中难以在保护隐私的前提下训练公平模型的问题，提出联邦公平性评估方法与FedFair框架，可在不侵犯隐私的同时训练高性能公平模型，经三个真实数据集验证效果优异。
2024-11-01 cs.CY cs.LG
Federated Transfer Learning with Differential Privacy
School of Mathematics, University of Birmingham（伯明翰大学数学学院）；Department of Statistics, Columbia University（哥伦比亚大学统计系）；Department of Biostatistics, School of Global Public Health, New York University（纽约大学全球公共卫生学院生物统计系）；Department of Statistics, University of Warwick（华威大学统计系）
本文提出联邦差分隐私框架，解决分布式数据异质性和隐私保护问题，通过多源数据信息提升目标数据集学习效果，分析隐私模型的统计问题及最小最大率。
2026-04-06 cs.CR cs.LG math.ST
A Novel Privacy-Preserved Recommender System Framework based on Federated Learning
College of Information Science and Engineering（信息科学与工程学院）；Ningbo University（宁波大学）
推荐系统是目前解决信息过载的有效方法。为了满足用户的下一次点击行为，RS需要收集用户的个人信息和行为，以实现全面而深刻的用户偏好感知。然而，这些集中收集的数据是隐私敏感的，任何泄漏都可能对用户和服务提供商造成严重问题。提出了一种新的隐私保护推荐系统框架（PPRSF），通过应用联邦学习范式，使推荐算法在不集中收集用户隐私数据的情况下进行训练和推理。PPRSF不仅能够降低隐私泄露风险，满足法律法规的要求，而且允许各种推荐算法的应用。
2020-11-11 cs.IR cs.LG
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
研究联邦学习中隐私问题，提出将其表述为平均场隐私博弈的方法，每个客户端通过平均场统计量选隐私预算，该框架能产生可处理均衡，适应异构偏好，继承隐私保证，实验表明其实现隐私 - 效用权衡并提供个性化保证。
2026-07-28 cs.AI cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology（华中科技大学）
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析，证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私，推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界，为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Stratified cross-validation for unbiased and privacy-preserving federated learning
Université de Paris（巴黎大学）；CRESS, INSERM, INRA（流行病学与统计学研究中心, 法国国家健康与医学研究院, 法国国家农业科学研究院）；Service Oncodermatologie（皮肤肿瘤科）；CHU Nantes, CIC 1413, CRCINA Inserm 1232（南特大学医院, 临床研究中心1413, 法国国家健康与医学研究院1232癌症与免疫研究中心）
大规模收集电子记录既是开发更准确预测模型的机会，也是对隐私的威胁。为了限制隐私暴露，新的隐私增强技术正在出现，例如联邦学习，它可以进行大规模数据分析，同时避免将记录集中在一个唯一的数据库中，这将代表一个关键的故障点。虽然联邦学习在隐私保护方面很有前途，但它阻止了一些数据清理算法的使用，从而引发了新的偏见。在这项工作中，我们专注于重复记录的经常性问题，如果处理不当，可能会导致过于乐观的模型的性能估计。我们介绍并讨论分层交叉验证，这是一种验证方法，它利用分层技术来防止联邦学习设置中的数据泄漏，而不依赖于苛刻的重复数据删除算法。
2020-01-23 cs.LG stat.ME stat.ML
PrivacyFL: A simulator for privacy-preserving and secure federated learning
Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种使分布式客户端能够协作学习共享的机器学习模型，同时保持其训练数据本地化的技术。这降低了数据隐私风险，然而，隐私问题仍然存在，因为有可能从训练模型的权重或参数中泄露有关训练数据集的信息。建立一个联邦学习环境，特别是有安全和隐私保证的环境，是一个耗时的过程，有许多配置和参数可以操作。为了帮助客户确保协作是可行的，并检查它是否提高了他们的模型准确性，需要一个真实世界的隐私保护和安全的联邦学习模拟器。在本文中，我们介绍PrivacyFL，这是一个可扩展的，易于配置和可扩展的模拟器的联邦学习环境。它的主要特性包括延迟模拟、对客户端离开的鲁棒性、对集中式和分散式学习的支持，以及基于差分隐私和安全多方计算的可配置隐私和安全机制。在本文中，我们激发了我们的研究，描述了模拟器和相关协议的架构，并讨论了其在众多场景中的评估，这些场景强调了其广泛的功能及其优势。我们的论文解决了一个重要的现实问题：检查在各种情况下参与联邦学习环境的可行性。它还具有很强的实际影响，因为医院、银行和研究机构等拥有大量敏感数据并希望进行协作的组织将从一个能够以隐私保护和安全的方式进行协作的系统中受益匪浅。
2020-07-08 cs.CR cs.DC cs.LG
Asynchronous Federated Learning with Differential Privacy for Edge Intelligence
Imperial College London（帝国理工学院）
联邦学习因其在解决大规模机器学习中的数据隔离问题方面的巨大潜力，已成为打通人工智能最后一公里的有效方法。特别是考虑到实际边缘计算系统的异构性，基于异步边缘云协作的联邦学习可以显著降低离散者效应，进一步提高学习效率。尽管异步联邦学习（AFL）没有原始数据共享，但其开放的体系结构和广泛的协作仍然为一些恶意参与者提供了大量机会来推断其他参与者的训练数据，从而导致严重的隐私问题。为了实现具有高实用性的严格隐私保证，研究了具有差分隐私的异步边缘云协同联邦学习，重点研究了差分隐私对AFL模型收敛的影响.形式上，我们给出了第一次分析的模型收敛的AFL下DP和提出了一个多阶段的可调整的隐私算法（MAPA），以改善模型的效用和隐私之间的权衡，通过动态调整噪声规模和学习率。通过广泛的模拟和现实世界的实验与边缘可以测试床，我们证明，MAPA显着提高了模型的准确性和收敛速度，有足够的隐私保证。
2019-12-17 cs.LG math.OC stat.ML
WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy
The University of Aizu（会津大学）；Sun Yat-sen University（中山大学）
对于数据孤岛和隐私问题，联邦学习引起了广泛的兴趣，因为它允许客户使用本地数据协作训练全球模型，而无需与第三方共享任何数据。然而，现有的联邦学习框架总是需要复杂的条件配置（例如，独立图形卡（如NVIDIA、编译环境）驱动程序配置复杂，给大规模开发和部署带来诸多不便。为了促进联邦学习的部署和相关应用的实现，我们创新性地提出了WebFed，一种新颖的基于浏览器的联邦学习框架，它利用浏览器的特性（例如，跨平台、JavaScript编程特性），并通过本地差分隐私机制增强隐私保护。最后，我们在异构设备上进行实验，以评估所提出的WebFed框架的性能。
2021-10-22 cs.AI cs.CR cs.DC
