Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication
联邦学习（FL）由于其分散的结构允许私下训练大量的数据。随机梯度下降（SGD）由于其良好的经验性能而通常用于FL，但是仍然可以从FL迭代期间共享的权重更新推断敏感的用户信息。我们考虑高斯机制，以保持局部差分隐私（LDP）的用户数据在FL模型与SGD。用户隐私，全球效用和传输速率之间的权衡证明通过定义适当的指标FL与LDP。与已有的结果相比，LDP中使用的查询敏感度被定义为一个变量，并应用更严格的隐私计费方法。建议的效用界允许所有用户的异构参数。我们的界限特征有多少效用减少和传输速率增加，如果一个更强的隐私制度的目标。此外，给定一个目标隐私级别，我们的研究结果保证一个显着更大的效用和更小的传输速率相比，现有的隐私会计方法。
2021-02-09 cs.CR cs.DC cs.IT
Federated Recommendation System via Differential Privacy
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在本文中，我们感兴趣的是我们所谓的联邦私人强盗框架，结合差分隐私与多代理强盗学习。我们探讨了如何差分隐私为基础的置信上限（UCB）的方法可以应用到多智能体环境中，特别是联邦学习环境中的“主工人”和“完全分散”的设置。我们提供了一个理论分析所提出的方法的隐私和遗憾的性能，并探讨这两者之间的权衡。
2020-05-16 cs.IT cs.LG math.IT
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University（卡内基梅隆大学）
为了应对日益增长的对用户隐私的担忧，联邦学习已经成为一种很有前途的工具，可以在设备网络上训练统计模型，同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务，并且不与第三方共享原始用户数据。然而，当前的方法仍然共享模型更新，其可以包含私有信息（例如，（1）身高和体重，在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协：性能（特别是通信成本），准确性或隐私性。为了更好地优化这些权衡，我们建议\textit{sketching algorithms}具有独特的优势，因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明，在不牺牲性能或准确性的情况下，为联邦学习提供强大的隐私保证是可能的。我们的工作强调，在分布式环境中，隐私和通信之间存在着根本的联系，并提出了围绕实用的私人联邦学习的理论理解，方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
随着大量数据从小型设备中产生，移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中，随机梯度下降（SGD）已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露，最近，本地差分隐私（LDP）被认为是联邦SGD中的隐私保证。然而，现有的解决方案具有维度依赖性问题：注入的噪声基本上与维度$d$成比例。在这项工作中，我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是，并非所有维度都同等重要，因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说，我们提出了三个私人维度选择机制，并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度，并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；HKUST（香港科技大学）
我们提出了拜占庭鲁棒的联邦学习协议，具有接近最优的统计率。与以前的工作相比，我们提出的协议提高了维度依赖性，并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准，并显示所提出的协议的经验优势。最后，我们注意到，我们的协议与桶可以自然地与隐私保证程序相结合，以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology（华中科技大学）
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析，证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私，推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界，为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
WebFed: Cross-platform Federated Learning Framework Based on Web Browser with Local Differential Privacy
The University of Aizu（会津大学）；Sun Yat-sen University（中山大学）
对于数据孤岛和隐私问题，联邦学习引起了广泛的兴趣，因为它允许客户使用本地数据协作训练全球模型，而无需与第三方共享任何数据。然而，现有的联邦学习框架总是需要复杂的条件配置（例如，独立图形卡（如NVIDIA、编译环境）驱动程序配置复杂，给大规模开发和部署带来诸多不便。为了促进联邦学习的部署和相关应用的实现，我们创新性地提出了WebFed，一种新颖的基于浏览器的联邦学习框架，它利用浏览器的特性（例如，跨平台、JavaScript编程特性），并通过本地差分隐私机制增强隐私保护。最后，我们在异构设备上进行实验，以评估所提出的WebFed框架的性能。
2021-10-22 cs.AI cs.CR cs.DC
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology（史蒂文斯理工学院）；University of Connecticut（康涅狄格大学）；Tongji University（同济大学）；Northeastern University（东北大学）；The Hong Kong Polytechnic University（香港理工大学）；East China Normal University（华东师范大学）；Institute of Science Tokyo（东京科学研究所）
该研究针对现有差分隐私联邦学习系统综述的不足，提出基于隐私模型定义、保障特性与联邦场景的新分类体系，梳理相关应用，为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich（慕尼黑工业大学）；Bytedance Inc.（字节跳动公司）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式机器学习框架，它支持多方协作训练，同时确保数据隐私。XGBoost是最先进的树提升框架，由于传统隐私保护方法的高成本，XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题，我们提出了两种具有隐私保证的联邦XGBoost变体：FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法，以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的，它是用噪声扰动为本地差分隐私设计的，并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection
National University of Singapore（新加坡国立大学）；The University of Western Australia（西澳大利亚大学）
联邦学习是在隐私限制下实现不同组织间机器学习模型协同训练的一个研究热点。随着研究人员试图用不同的隐私保护方法支持更多的机器学习模型，开发系统和基础设施时需要简化各种联邦学习算法的开发。与PyTorch和TensorFlow等深度学习系统类似，联邦学习系统（FLS）同样重要，并面临来自有效性，效率和隐私等各个方面的挑战。在本调查中，我们对联邦学习系统进行了全面的综述。为了实现流畅的流程和指导未来的研究，我们介绍了联邦学习系统的定义和分析的系统组件。从数据分布、机器学习模型、隐私机制、通信结构、联邦规模和联邦动机六个方面对联邦学习系统进行了分类。正如我们的案例研究所示，分类可以帮助设计联邦学习系统。通过对现有的联邦学习系统进行系统总结，提出了联邦学习系统的设计要素、案例分析和未来的研究方向。
2021-12-05 cs.CR cs.DB cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类，证明通过策略性校准隐私预算，可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
Federated Transfer Learning with Differential Privacy
School of Mathematics, University of Birmingham（伯明翰大学数学学院）；Department of Statistics, Columbia University（哥伦比亚大学统计系）；Department of Biostatistics, School of Global Public Health, New York University（纽约大学全球公共卫生学院生物统计系）；Department of Statistics, University of Warwick（华威大学统计系）
本文提出联邦差分隐私框架，解决分布式数据异质性和隐私保护问题，通过多源数据信息提升目标数据集学习效果，分析隐私模型的统计问题及最小最大率。
2026-04-06 cs.CR cs.LG math.ST
Federated Model Distillation with Noise-Free Differential Privacy
Lehigh University（理海大学）；Ant Group（蚂蚁集团）
传统的联邦学习直接对模型权重进行平均，这只适用于具有同构架构的模型之间的协作。共享预测而不是权重消除了这一障碍，并消除了传统联邦学习中白盒推理攻击的风险。然而，来自本地模型的预测是敏感的，并且会将训练数据隐私泄露给公众。为了解决这个问题，一种简单的方法是将差分私有随机噪声添加到预测中，然而这在隐私预算和模型性能之间带来了实质性的权衡。在本文中，我们提出了一种新的框架称为FEDMD-NFDP，它适用于无噪声差分隐私（NFDP）机制到联邦模型蒸馏框架。我们在各种数据集上的大量实验结果验证了FEDMD-NFDP不仅可以提供相当的效用和通信效率，而且还提供了无噪声的差分隐私保证。我们还通过考虑IID和非IID设置，异构模型架构以及来自不同分布的未标记公共数据集来证明我们的FEDMD-NFDP的可行性。
2021-05-21 cs.CR cs.LG stat.ML
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
A Review of Privacy-preserving Federated Learning for the Internet-of-Things
Keele University（基尔大学）
物联网（IoT）产生大量数据，其中大部分可归因于个人的活动和行为。收集个人数据并在中央位置对这些数据执行机器学习任务，会给个人带来重大的隐私风险，也会给将这些数据传输到云端带来挑战。然而，基于机器学习，特别是深度学习的分析可以从大量数据中受益匪浅，以开发高性能预测模型。这项工作回顾了联邦学习作为一种方法，用于对分布式数据执行机器学习，其目标是保护用户生成的数据的隐私，以及减少与数据传输相关的通信成本。我们调查了各种各样的论文，涵盖了通信效率，客户端异构性和隐私保护方法，这些方法对于物联网环境中的联邦学习至关重要。在这篇综述中，我们确定了应用于联邦学习的不同方法的优点和缺点，最后，我们概述了隐私保护联邦学习研究的未来方向，特别是专注于物联网应用。
2020-09-08 cs.CR cs.LG stat.ML
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨分校）；Queen’s University（女王大学）
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架，并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Randomized Quantization is All You Need for Differential Privacy in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
针对联邦学习中的隐私与通信挑战，提出随机量化机制（RQM），通过两级随机化实现Rényi差分隐私，无需显式离散噪声，在隐私-精度权衡上优于先前工作。
2023-06-20 cs.CR cs.DC cs.LG
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
New York University（纽约大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
大规模机器学习系统通常涉及分布在用户集合中的数据。联邦学习算法通过将模型更新传递到中央服务器而不是整个数据集来利用这种结构。在本文中，我们研究了随机最优化算法的个性化联邦学习设置，涉及本地和全球模型的用户级（联合）差分隐私。虽然学习私有全局模型会导致隐私成本，但局部学习是完全私有的。我们提供的泛化保证表明，协调本地学习与私人集中式学习产生了普遍有用的和改进的准确性和隐私之间的权衡。我们用合成和真实世界数据集上的实验来说明我们的理论结果。
2022-07-15 cs.CR cs.LG math.OC
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen（卑尔根大学）
本文通过教育数据预测实验比较联邦学习与传统非联邦方法，证明其准确率相当且在对抗攻击下更具韧性，为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
DP-REC: Private & Communication-Efficient Federated Learning
Qualcomm AI Research（高通人工智能研究院）
隐私和通信效率是神经网络联邦训练中的重要挑战，将它们结合起来仍然是一个悬而未决的问题。在这项工作中，我们开发了一种方法，统一高度压缩通信和差分隐私（DP）。我们介绍了一种压缩技术的基础上相对熵编码（REC）的联邦设置。通过对REC的微小修改，我们得到了一个可证明的差分隐私学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。
2021-12-07 cs.CR cs.LG stat.ML
Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for Multi-Agent System
University of Southern California（南加州大学）
分散学习是一种有效的新兴范式，用于提高多个有界计算代理的计算能力。在大数据时代，在分布式和联邦学习（DL和FL）框架内执行推理，中央服务器需要处理大量数据，同时依赖各种代理执行多个分布式训练任务。考虑到分布式计算的拓扑结构，隐私已经成为一个首要的问题。此外，假设代理的信息处理能力有限，需要一个复杂的\textit{privacy-preserving decentralization}来确保有效的计算。为此，我们研究的\textit{privacy-aware server to multi-agent assignment}问题受到信息处理的限制与每个代理，同时保持隐私和确保学习信息的消息，通过分布式私人联邦学习（DPFL）的方法收到代理全球终端。为了找到一个分散的计划，两个代理系统，我们制定了一个优化问题，平衡隐私和准确性，考虑到与每个代理相关联的压缩约束的质量。我们提出了一个迭代收敛算法交替自洽方程。我们还对所提出的解决方案进行了数值评估，以显示隐私预测的权衡，并证明了新方法在确保DL和FL隐私方面的有效性。
2022-04-24 cs.CR cs.IT cs.LG
LDP-Fed: Federated Learning with Local Differential Privacy
Georgia Institute of Technology（佐治亚理工学院）
本文提出了LDP-Fed，一种新的联邦学习系统，使用本地差分隐私（LDP）的正式隐私保证。现有的LDP协议主要是为了在收集单个数值或分类值时确保数据隐私，例如Web访问日志中的点击计数。然而，在联邦学习中，模型参数更新是从每个参与者迭代收集的，并且由具有高精度（小数点后10位数）的高维连续值组成，使得现有的LDP协议不适用。为了解决这一挑战，在LDP-Fed，我们设计和开发两种新的方法。首先，LDP-Fed的LDP模块为大规模神经网络在多个个体参与者的私有数据集上的联邦训练中重复收集模型训练参数提供了正式的差分隐私保证。其次，LDP-Fed实现了一套选择和过滤技术，用于干扰和与参数服务器共享选择参数更新。我们验证了我们的系统部署了一个浓缩的LDP协议，在公共数据上训练深度神经网络。我们比较了这个版本的LDP-Fed（CLDP-Fed）与其他最先进的方法在模型准确性、隐私保护和系统功能方面的差异。
2020-06-05 cs.CR cs.LG stat.ML
Federated Crowdsensing: Framework and Challenges
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）
Crowdsensing是智能城市应用的有前途的感测范例（例如，交通和环境监测），智能移动设备和先进的网络基础设施的普及。同时，由于任务是由个体来完成的，因此隐私保护是群体感知系统的关键问题之一。传统上，为了减轻用户的隐私担忧，噪声被添加到参与者的敏感数据（例如，参与者的位置）通过诸如差分隐私的技术。然而，这不可避免地导致对众测任务的质量损失。最近，联邦学习范式被提出，其目的是在机器学习中实现隐私保护，同时确保学习质量受到很小或没有损失。受联邦学习范式的启发，本文研究了联邦学习如何使众测应用受益。特别是，我们首先提出了一个联邦众测框架，它分析了每个众测阶段的隐私问题（即，任务创建、任务分配、任务执行和数据聚合），并讨论联邦学习技术如何生效。最后，我们总结了联邦众测的主要挑战和机遇。
2020-11-06 cs.CR cs.DC cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University（查尔斯特大学）
为应对COVID-19的医疗挑战，我们需要在全球范围内频繁共享健康数据、知识和资源。然而，在这个数字时代，数据隐私是一个大问题，需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中，我们介绍了差分隐私的设计（dPbD）框架，并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围，我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计，并讨论了如何差分隐私设计（dPbD）框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为，可扩展的差异私有联邦学习设计是一个很有前途的解决方案，用于建立一个安全，私有和协作的机器学习模型，如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University（康奈尔大学）；University of Minnesota（明尼苏达大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出一种基于联邦学习的分布式数据隐私保护框架，通过仅共享模型参数实现安全的跨域数据协作，实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano（米兰理工大学）
本文提出 TimberStrike 攻击，针对水平联邦树模型，利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据，揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出一种局部差分隐私联邦学习算法，通过动态分配时变噪声方差以最小化优化误差上界，在隐私预算约束下同时实现隐私保护与效用，无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Federated Extra-Trees with Privacy Preserving
JD Intelligent Cities Research, JD Digits（京东智能城市研究院，京东数科）；JD Intelligent Cities Business Unit, JD Digits（京东智能城市业务部，京东数科）；Institute of Artificial Intelligence, Southwest Jiaotong University（西南交通大学人工智能研究院）
人们普遍认为，数据是分散的，很难集中。数据隐私和安全也成为一个敏感话题。欧盟《通用数据保护条例》（GDPR）等法律法规旨在保护公众的数据隐私。然而，机器学习需要大量的数据才能获得更好的性能，而目前的情况使部署现实生活中的AI应用程序处于极其困难的境地。为了应对这些挑战，在本文中，我们提出了一种新的隐私保护联邦机器学习模型，命名为联邦额外树，它适用于局部差分隐私的联邦树模型。开发了一个安全的多机构机器学习系统，通过在不同客户端上联合处理建模而无需交换任何原始数据来提供卓越的性能。我们已经通过在公共数据集上进行广泛的实验来验证我们工作的准确性，并且通过模拟真实世界场景来验证效率和鲁棒性。总体而言，我们提出了一个可扩展的，可扩展的和实用的解决方案来处理数据孤岛问题。
2020-02-18 cs.CR cs.LG stat.ML
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Trading Off Privacy, Utility and Efficiency in Federated Learning
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
本研究提出兼容横纵向联邦学习的统一框架，量化隐私泄露、效用损失与效率下降的权衡关系，推导NFL定理，并分析主流保护机制的相关下界，为参数选择提供指导。
2023-02-21 cs.CR cs.DC cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark（南丹麦大学）
联邦学习（FL）是一种隐私感知的数据采掘策略，它将私有数据保存在所有者的机器上，从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中，使用安全聚合对本地参数进行额外屏蔽，使得仅全局聚合统计数据以明文形式可用，而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中，我们调查了三个QR分解算法的适用性跨筒仓FL，并提出了一个隐私感知QR分解方案的基础上，Gram-Schmidt算法，不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Federated Learning for Privacy-Preserving Open Innovation Future on Digital Health
Australian Department of Health（澳大利亚卫生部）；University of Technology Sydney（悉尼科技大学）
隐私保护是人工智能领域一个备受关注的伦理问题。联邦学习是一种新的机器学习范式，用于在用户或组织之间学习共享模型，而无需直接存取数据。它有很大的潜力成为下一个通用的AI模型训练框架，提供隐私保护，因此对数字健康和医疗保健信息学的未来具有广泛的影响。在医疗保健行业实施开放式创新框架，即开放式医疗，旨在通过与合作伙伴组织和研究界建立下一代合作框架，提高医疗保健相关组织的创新和创造能力。特别是，这个改变游戏规则的协作框架提供了来自不同数据的知识共享，同时保护了隐私。本章将讨论联邦学习如何在人工智能的支持下实现开放的健康生态系统的发展。将讨论联邦学习的现有挑战和解决方案。
2021-08-24 cs.AI cs.CR cs.DC
In-depth Analysis of Privacy Threats in Federated Learning for Medical Data
本文提出MedPFL框架，用于分析医疗数据联邦学习中的隐私风险并制定缓解策略，通过实验证明联邦学习在处理医学图像时存在严重隐私风险，并发现添加随机噪声的防御机制并非总是有效。
2024-09-27 cs.LG
No Vandalism: Privacy-Preserving and Byzantine-Robust Federated Learning
Beijing Institute of Technology（北京理工大学）；University of Auckland（奥克兰大学）
本文提出一种隐私保护且拜占庭鲁棒的联邦学习方案NoV，通过结合零知识证明的模型过滤器抵御数据和模型投毒攻击，并采用秘密共享实现可验证安全聚合以剔除恶意客户端，有效保护数据隐私并优于现有方案。
2024-06-03 cs.CR cs.DC cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
移动众测是一种新兴的感知数据汇集模式，具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外，现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护，而不是数据处理的隐私保护。为了解决MCS面临的问题，本文将联邦学习（FL）融入MCS，提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说，为了保护隐私，参与者通过联邦学习在本地处理传感数据，只上传加密的训练模型。特别地，提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销，设计了丢弃和重传策略。此外，设计了一种隐私保护的发布定价激励机制，试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明，所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私，是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of Hong Kong（香港大学）；Florida International University（佛罗里达国际大学）
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题，提出EPAFL框架，通过三种早停技术在保持攻击成功率的同时显著降低计算开销，并公开代码。
2024-04-15 cs.CR cs.LG
H-FL: A Hierarchical Communication-Efficient and Privacy-Protected Architecture for Federated Learning
Xi’an Jiaotong University（西安交通大学）
联邦学习（FL）的长期目标要求严格的隐私保证和低通信开销，同时保持相对较高的模型准确性。然而，同时实现所有目标是极具挑战性的。在本文中，我们提出了一个新的框架称为分层联邦学习（H-FL）来应对这一挑战。考虑到训练数据的统计异质性会降低模型的性能，本文提出了一种运行时分布重构策略，该策略对客户端进行适当的重新分配，并利用中介器重新安排客户端的局部训练。此外，我们设计了一个压缩校正机制纳入H-FL，以减少通信开销，同时不牺牲模型的性能。为了进一步提供隐私保证，我们在执行本地训练时引入了差分隐私，这只会在完整模型的一部分中注入适量的噪声。实验结果表明，我们的H-FL框架实现了最先进的性能在不同的数据集上的真实世界的图像识别任务。
2021-06-01 cs.CR cs.DC cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech（弗吉尼亚理工大学）
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决，即模型压缩、部分设备参与和周期性聚合，代价是增加训练方差。与传统的分布式学习系统不同，联邦学习存在数据异构性（因为设备从可能不同的分布中采样数据），这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响，而它们通常需要额外的通信资源来提供必要的控制信息。此外，数据隐私仍然是FL中的一个关键问题，因此已经有人尝试将差分隐私引入该框架，作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡，以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架，其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩，隐私是因为用户数据通常是敏感的，压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中，我们采取了全面的问题，并设计了一个家庭的隐私意识的压缩机制，适用于任何给定的通信预算。首先，我们提出了一种机制，用于传输一个单一的实数，在一定条件下具有最佳的方差。然后，我们将展示如何将其扩展到位置隐私用例的度量差分隐私，以及向量，以应用于联邦学习。我们的实验表明，我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
Clustered Federated Learning: Model-Agnostic Distributed Multi-Task Optimization under Privacy Constraints
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
联邦学习（FL）是目前最广泛采用的用于在隐私约束下协作训练（深度）机器学习模型的框架。尽管联邦学习很受欢迎，但据观察，如果本地客户端的数据分布出现分歧，它会产生次优结果。为了解决这个问题，我们提出了一种新的联邦多任务学习（FMTL）框架，即分布式联邦学习（CFL），它利用FL损失表面的几何特性，将客户端群体分组为具有联合可训练数据分布的集群。与现有的FMTL方法相比，CFL不需要对FL通信协议进行任何修改，适用于一般的非凸目标（特别是深度神经网络），并且具有对聚类质量的强数学保证。CFL足够灵活，可以处理随时间变化的客户端人群，并且可以以隐私保护的方式实现。由于只有在联邦学习收敛到一个固定点后才执行聚类，因此CFL可以被视为一种后处理方法，通过允许客户端到达更专业的模型，它始终可以实现比传统FL更高或相等的性能。我们在常用的联邦学习数据集上使用深度卷积和递归神经网络进行实验，验证了我们的理论分析。
2019-10-04 cs.DC cs.LG stat.ML
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh（匹兹堡大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型，他们可能希望保持私有。然而，参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题，已经提出了基于差分隐私和安全多方计算（SMC）等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中，我们提出了HybridAlpha，隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单，高效，对参与者退出具有弹性。我们评估我们的方法，关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明，HybridAlpha可以将训练时间平均减少68%，数据传输量平均减少92%，同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing
University of Connecticut（康涅狄格大学）；University of California Irvine（加州大学欧文分校）
针对动态IoT场景下差分隐私联邦学习噪声累积致准确率下降的问题，提出融合神经符号计算与DP的FedHDPrivacy框架，主动监控累积噪声仅按需补充，在制造监测场景中性能优于主流联邦框架最高37%。
2025-03-22 cs.AI cs.CR cs.LG
Privacy and Trust Redefined in Federated Machine Learning
Edinburgh Napier University（爱丁堡龙比亚大学）；Eight Bells LTD（八钟有限公司）
传统机器学习中的一个常见隐私问题是训练过程需要公开数据。在医疗记录等高度敏感数据的情况下，访问这些信息具有挑战性，并且通常被禁止。幸运的是，隐私保护技术已经开发出来，通过分配训练的计算并确保其所有者的数据隐私来克服这一障碍。将计算分配给多个参与实体引入了新的隐私复杂性和风险。在本文中，我们提出了一个隐私保护的分散工作流程，促进参与者之间的可信联邦学习。我们的概念验证定义了一个信任框架，该框架使用在超级账本项目Aries/Indy/Ursa下开发的分散身份技术进行实例化。只有拥有由适当机构颁发的可验证凭据的实体才能够建立安全的、经过认证的通信渠道，这些渠道被授权参与与心理健康数据相关的联邦学习工作流程。
2021-03-30 cs.CR cs.CY cs.DC
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
联邦学习是一种机器学习技术，它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名，因为数据永远不会离开计算设备，最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而，我们发现，尽管做出了努力，联邦学习仍然存在隐私威胁，因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁，揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归，我们通过理论分析表明，攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型，我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习（FL）是一种新兴的分布式学习范式，具有默认的客户端隐私，因为客户端可以将敏感数据保存在其设备上，并且仅与联邦服务器共享本地训练参数更新。然而，最近的研究表明，FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法，该方法基于每个训练样本的客户端差分隐私，称为Fed-CDP。它有三个原创性的贡献。首先，我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁，即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法，被称为Fed-SDP，是不足以保护训练数据的隐私。其次，介绍了基于实例的客户端差分隐私算法Fed-CDP，给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析，并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三，形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡，并提出了一种动态衰减噪声注入策略，进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP（衰减）与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明，Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP，同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Stratified cross-validation for unbiased and privacy-preserving federated learning
Université de Paris（巴黎大学）；CRESS, INSERM, INRA（流行病学与统计学研究中心, 法国国家健康与医学研究院, 法国国家农业科学研究院）；Service Oncodermatologie（皮肤肿瘤科）；CHU Nantes, CIC 1413, CRCINA Inserm 1232（南特大学医院, 临床研究中心1413, 法国国家健康与医学研究院1232癌症与免疫研究中心）
大规模收集电子记录既是开发更准确预测模型的机会，也是对隐私的威胁。为了限制隐私暴露，新的隐私增强技术正在出现，例如联邦学习，它可以进行大规模数据分析，同时避免将记录集中在一个唯一的数据库中，这将代表一个关键的故障点。虽然联邦学习在隐私保护方面很有前途，但它阻止了一些数据清理算法的使用，从而引发了新的偏见。在这项工作中，我们专注于重复记录的经常性问题，如果处理不当，可能会导致过于乐观的模型的性能估计。我们介绍并讨论分层交叉验证，这是一种验证方法，它利用分层技术来防止联邦学习设置中的数据泄漏，而不依赖于苛刻的重复数据删除算法。
2020-01-23 cs.LG stat.ME stat.ML
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University（崇实大学）
联邦学习（FL）是一种机器学习（ML）技术，旨在减少对用户数据隐私的威胁。训练是使用用户设备（称为客户端）上的原始数据完成的，只有训练结果（称为梯度）被发送到服务器进行聚合并生成更新的模型。但是，我们不能假设服务器可以信任私有信息，例如与数据的所有者或源相关的元数据。因此，对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此，客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名，称为GSFL，被设计为不仅保护客户端的数据和身份的隐私，而且考虑到联邦学习的迭代过程，还显著降低了计算和通信成本。我们表明，GSFL优于现有的方法在计算，通信和信令成本。此外，我们表明，该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
