Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨分校）；Queen’s University（女王大学）
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架，并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University（康奈尔大学）；University of Minnesota（明尼苏达大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出一种基于联邦学习的分布式数据隐私保护框架，通过仅共享模型参数实现安全的跨域数据协作，实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark（南丹麦大学）
联邦学习（FL）是一种隐私感知的数据采掘策略，它将私有数据保存在所有者的机器上，从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中，使用安全聚合对本地参数进行额外屏蔽，使得仅全局聚合统计数据以明文形式可用，而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中，我们调查了三个QR分解算法的适用性跨筒仓FL，并提出了一个隐私感知QR分解方案的基础上，Gram-Schmidt算法，不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
移动众测是一种新兴的感知数据汇集模式，具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外，现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护，而不是数据处理的隐私保护。为了解决MCS面临的问题，本文将联邦学习（FL）融入MCS，提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说，为了保护隐私，参与者通过联邦学习在本地处理传感数据，只上传加密的训练模型。特别地，提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销，设计了丢弃和重传策略。此外，设计了一种隐私保护的发布定价激励机制，试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明，所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私，是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of Hong Kong（香港大学）；Florida International University（佛罗里达国际大学）
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题，提出EPAFL框架，通过三种早停技术在保持攻击成功率的同时显著降低计算开销，并公开代码。
2024-04-15 cs.CR cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架，其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩，隐私是因为用户数据通常是敏感的，压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中，我们采取了全面的问题，并设计了一个家庭的隐私意识的压缩机制，适用于任何给定的通信预算。首先，我们提出了一种机制，用于传输一个单一的实数，在一定条件下具有最佳的方差。然后，我们将展示如何将其扩展到位置隐私用例的度量差分隐私，以及向量，以应用于联邦学习。我们的实验表明，我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh（匹兹堡大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型，他们可能希望保持私有。然而，参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题，已经提出了基于差分隐私和安全多方计算（SMC）等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中，我们提出了HybridAlpha，隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单，高效，对参与者退出具有弹性。我们评估我们的方法，关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明，HybridAlpha可以将训练时间平均减少68%，数据传输量平均减少92%，同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
An Efficient and Robust System for Vertically Federated Random Forest
JD Finance America Corporation（京东金融美国公司）
随着人们对利用跨多个资源的数据来构建更好的机器学习模型的兴趣越来越大，已经提出了许多垂直联邦学习算法来保护参与组织的数据隐私。然而，现有垂直联邦学习算法的效率仍然是一个大问题，特别是当应用于大规模真实世界数据集时。在本文中，我们提出了一个快速，准确，可扩展的，但强大的系统垂直联邦随机森林。通过广泛的优化，我们实现了$5\times$和$83\times$在SOTA SecureBoost模型\cite{cheng2019secureboost}上的加速，用于训练和服务任务。此外，所提出的系统可以达到类似的精度，但具有良好的可扩展性和分区容忍。我们的守则已经公开，以促进社区的发展和保护用户数据隐私。
2022-01-26 cs.CR cs.DC cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习（FL）是一种新兴的分布式学习范式，具有默认的客户端隐私，因为客户端可以将敏感数据保存在其设备上，并且仅与联邦服务器共享本地训练参数更新。然而，最近的研究表明，FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法，该方法基于每个训练样本的客户端差分隐私，称为Fed-CDP。它有三个原创性的贡献。首先，我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁，即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法，被称为Fed-SDP，是不足以保护训练数据的隐私。其次，介绍了基于实例的客户端差分隐私算法Fed-CDP，给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析，并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三，形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡，并提出了一种动态衰减噪声注入策略，进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP（衰减）与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明，Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP，同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University（理海大学）；Samsung Research America（三星美国研究院）
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法，它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而，以前的作品没有给出一个实际的解决方案，由于三个问题。首先，噪声数据以高概率接近其原始值，增加了信息暴露的风险。第二，将大的方差引入估计的平均值，导致精度差。最后，由于深度学习模型中权重的高维性，隐私预算爆炸式增长。针对上述问题，提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同，并引入较低的方差。此外，所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明，我们的解决方案不仅可以实现卓越的深度学习性能，同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University（京都大学）
联邦学习（FL）正在成为隐私保护机器学习的一个有前途的范例，它在多个客户端之间训练算法，而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点，并分别使用局部差分隐私（LDP）和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而，目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白，这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的，因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证，证明了局部差分隐私对对抗鲁棒性既有积极的影响，也有消极的影响。
2021-06-13 cs.CR cs.LG
BlindFL: Vertical Federated Machine Learning without Peeking into Your Data
Peking University（北京大学）；Tencent Inc.（腾讯公司）
由于对隐私保护的日益关注，如何在不同数据源上构建具有安全保证的机器学习（ML）模型越来越受欢迎。垂直联邦学习（VFL）描述了这样一种情况，即ML模型建立在不同参与方的私有数据之上，这些参与方拥有相同实例集的不相交特征，这适合许多现实世界的协作任务。然而，我们发现现有的VFL解决方案要么支持有限的输入功能，要么在联邦执行过程中遭受潜在的数据泄漏。为此，本文旨在研究VFL场景中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，一个新的VFL训练和推理框架。首先，为了解决VFL模型的功能，我们提出了联合源层来统一来自不同方的数据。联合源层可以有效地支持各种特性，包括密集、稀疏、数值和分类特性。其次，我们仔细分析了联邦执行过程中的安全性，并形式化了隐私需求。在分析的基础上，我们设计了安全和准确的算法协议，并进一步证明了理想-真实仿真范式下的安全保证。大量的实验表明，BlindFL有效地支持不同的数据集和模型，同时实现了强大的隐私保证。
2022-06-16 cs.CR cs.LG
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
Defending against Reconstruction Attack in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）；Bytedance Ltd.（字节跳动有限公司）
最近研究人员研究了联邦学习（FL）中的输入泄漏问题，其中恶意方可以从共享梯度重建用户提供的敏感训练输入。它引起了人们对FL的关注，因为输入泄漏与使用FL的隐私保护意图相矛盾。尽管关于水平FL中输入重构的攻击和防御的文献相对丰富，但垂直FL中的输入泄漏和保护最近开始引起研究人员的注意。在本文中，我们研究了如何抵御垂直FL中的输入泄漏攻击。我们设计了一个基于对抗训练的框架，该框架包含三个模块：对抗重建，噪声正则化和距离相关最小化。这些模块既可以单独使用，也可以一起使用，因为它们彼此独立。通过对大规模工业在线广告数据集的广泛实验，我们表明我们的框架在保护输入隐私的同时保留了模型效用。
2021-07-21 cs.CR cs.LG
Federated Learning for Multi-Center Sepsis Early Prediction with Privacy-Preserving
University of Science and Technology of China（中国科学技术大学）
针对多中心医疗数据的隐私和分布式特性，提出基于联邦学习的分布式协作建模方法，实现与集中式模型相当的预测精度并避免隐私泄露。
2026-06-03 cs.CR cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University（塔尔库大学）
本文提出将混合同态加密（HHE）集成到联邦学习中，以同时解决通信开销和数据隐私挑战，从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen（卑尔根大学）
本文通过教育数据预测实验比较联邦学习与传统非联邦方法，证明其准确率相当且在对抗攻击下更具韧性，为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University（查尔斯特大学）
为应对COVID-19的医疗挑战，我们需要在全球范围内频繁共享健康数据、知识和资源。然而，在这个数字时代，数据隐私是一个大问题，需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中，我们介绍了差分隐私的设计（dPbD）框架，并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围，我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计，并讨论了如何差分隐私设计（dPbD）框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为，可扩展的差异私有联邦学习设计是一个很有前途的解决方案，用于建立一个安全，私有和协作的机器学习模型，如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada（格拉纳达大学安达卢西亚数据科学与计算智能研究所）
边缘人工智能服务的高需求也保护了数据隐私，推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私，这些方法将数据保存在数据孤岛中。同样，差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布，但它们缺乏对这些技术所需的统一愿景，以及支持其使用的方法工作流程。因此，我们提出了Sherpa.ai联邦学习框架，该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究，以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
联邦学习是一种机器学习技术，它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名，因为数据永远不会离开计算设备，最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而，我们发现，尽管做出了努力，联邦学习仍然存在隐私威胁，因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁，揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归，我们通过理论分析表明，攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型，我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
随着大量数据从小型设备中产生，移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中，随机梯度下降（SGD）已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露，最近，本地差分隐私（LDP）被认为是联邦SGD中的隐私保证。然而，现有的解决方案具有维度依赖性问题：注入的噪声基本上与维度$d$成比例。在这项工作中，我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是，并非所有维度都同等重要，因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说，我们提出了三个私人维度选择机制，并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度，并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
In-depth Analysis of Privacy Threats in Federated Learning for Medical Data
本文提出MedPFL框架，用于分析医疗数据联邦学习中的隐私风险并制定缓解策略，通过实验证明联邦学习在处理医学图像时存在严重隐私风险，并发现添加随机噪声的防御机制并非总是有效。
2024-09-27 cs.LG
Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners
Massachusetts Institute of Technology（麻省理工学院）
垂直联邦学习（Vertical Federated Learning，VFL）是指在数据集上协作训练模型，其中数据集的特征在多个数据所有者之间划分，而标签信息由单个数据所有者拥有。在本文中，我们提出了一种新的方法，多垂直联邦学习（多VFL），训练VFL模型时，有多个数据和标签所有者。我们的方法是第一个考虑$D$ -数据所有者（分布特征）和$K$ -标签所有者（分布标签）存在的设置。这种建议的配置允许不同的实体训练和学习最佳模型，而不必共享它们的数据。我们的框架利用分裂学习和自适应联邦优化器来解决这个问题。为了进行实证评估，我们在MNIST和FashionMNIST数据集上进行了实验。我们的研究结果表明，使用自适应优化器的模型聚合的收敛性和提高精度。
2021-06-17 cs.LG
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute（拉特格尔理工学院）
本文提出PBM-VFL算法，结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习，首次从理论上刻画隐私预算、收敛误差与通信成本间的关系，并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University（崇实大学）
联邦学习（FL）是一种机器学习（ML）技术，旨在减少对用户数据隐私的威胁。训练是使用用户设备（称为客户端）上的原始数据完成的，只有训练结果（称为梯度）被发送到服务器进行聚合并生成更新的模型。但是，我们不能假设服务器可以信任私有信息，例如与数据的所有者或源相关的元数据。因此，对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此，客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名，称为GSFL，被设计为不仅保护客户端的数据和身份的隐私，而且考虑到联邦学习的迭代过程，还显著降低了计算和通信成本。我们表明，GSFL优于现有的方法在计算，通信和信令成本。此外，我们表明，该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
Efficient Vertical Federated Learning with Secure Aggregation
University of Cambridge（剑桥大学）
针对纵向联邦学习中的梯度交换隐私泄露风险，提出一种利用最先进安全聚合模块实现安全高效训练的新方法，在不影响训练性能的同时比同态加密加速9.1e2至3.8e4倍。
2023-05-18 cs.AI cs.CR cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Hijack Vertical Federated Learning Models As One Party
College of Computer Science and Technology at Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology at Zhejiang University（浙江大学软件学院）；Hefei Interdisciplinary Center, National University of Defense Technology（国防科技大学合肥跨学科中心）；College of Information Science and Technology at Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）
本文聚焦纵向联邦学习（VFL）场景，指出尽管现有框架依赖密码学保障隐私并推动效率优化，但作为参与一方时模型本身的安全性仍缺乏研究。
2024-02-16 cs.AI cs.CR cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology（北京理工大学）
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题，提出结合本地差分隐私与混洗技术的隐私放大算法，在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph
Lancaster University（兰卡斯特大学）
确定一组学习者如何以完全分散的（点对点，没有协调员）方式提供隐私保护的联邦学习是一个开放的问题。我们提出了第一个隐私保护的基于共识的算法，分布式学习器，以实现分散的全球模型聚合的环境中的高流动性，学习器之间的通信图可能会有所不同，连续轮的模型聚合。特别地，在每一轮全局模型聚合中，Metropolis-Hastings方法被应用于基于当前通信拓扑来更新加权邻接矩阵。此外，Shamir的秘密共享方案的整合，以促进隐私达成共识的全球模型。本文建立了该算法的正确性和隐私属性。通过建立在联邦学习框架上的仿真实验，对算法的计算效率进行了评估。
2022-10-01 cs.CR cs.LG cs.MA
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
Fair and efficient contribution valuation for vertical federated learning
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙 Fraser大学）；Huawei Technologies Canada（华为技术加拿大）
本文针对纵向联邦学习中数据源贡献难以公平评估的问题，提出基于Shapley值的VerFedSV指标，在保证公平性的同时实现高效计算，并适配同步与异步算法，实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
Towards Privacy-Aware Causal Structure Learning in Federated Setting
Hefei University of Technology（合肥工业大学）；Shanxi University（山西大学）
针对联邦学习中的隐私保护需求，提出FedPC算法，通过逐层聚合与一致分离集策略实现无需集中数据的因果结构学习。
2023-09-06 cs.AI cs.CR cs.LG
Local Pan-Privacy for Federated Analytics
Apple（苹果公司）
针对联邦遥测中本地状态遭反复入侵时的事件计数隐私问题，论文证明信息论差分隐私与遥测收集不相容，并提出用标准密码学原语实现可扩展的本地泛隐私方案。
2025-03-14 cs.CR cs.DS cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University（杜克大学）
对抗训练（AT）对于获得对对抗攻击鲁棒的深度神经网络至关重要，但最近的研究发现，它也可能使模型更容易受到隐私攻击。在这项工作中，我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击，实际上适用于隐私敏感的联邦学习（FL）系统。使用我们的方法，攻击者可以利用在FL系统中的AT模型，以准确地重建用户的私人训练图像，即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Plankton-FL: Exploration of Federated Learning for Privacy-Preserving Training of Deep Neural Networks for Phytoplankton Classification
University of Waterloo（滑铁卢大学）；University of Montreal（蒙特利尔大学）；Blue Lion Labs（蓝狮实验室）
为浮游植物监测创建高性能可推广的深度神经网络需要利用来自全球不同水源的大规模数据。培训这类网络的一个主要挑战在于数据隐私，在不同设施收集的数据往往被限制转移到一个集中的位置。克服这一挑战的一种有希望的方法是联邦学习，其中在站点级别对本地数据进行训练，并且仅通过网络交换模型参数以生成全局模型。在这项研究中，我们探讨了利用联邦学习进行浮游植物分类的深度神经网络的隐私保护训练的可行性。更具体地说，我们模拟了两种不同的联邦学习框架，联邦学习（FL）和互斥FL（ME-FL），并将其性能与传统的集中式学习（CL）框架进行了比较。本研究的实验结果证明了联邦学习在浮游植物监测中的可行性和潜力。
2022-12-18 cs.CR cs.CV cs.LG
Federated Learning on Riemannian Manifolds with Differential Privacy
Xiamen University（厦门大学）；Microsoft（微软公司）
针对联邦学习中的敏感信息泄露问题，提出基于差分隐私的黎曼流形联邦学习框架PriRFed，并证明其隐私保证与收敛性，通过合成及真实数据集验证有效性。
2024-04-15 cs.CR cs.LG math.OC
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer
Tokyo Metropolitan University（东京都立大学）
近年来，深度学习的隐私保护方法已经成为一个迫切的问题。因此，我们提出了联邦学习（FL）和加密图像的隐私保护图像分类下使用的视觉Transformer（ViT）的组合使用。所提出的方法不仅允许我们在多个参与者之间进行训练模型而不直接共享原始数据，而且还首次保护了测试（查询）图像的隐私。此外，它还可以保持与正常训练模型相同的精度。在一个实验中，所提出的方法被证明是很好的工作，没有任何性能下降的CIFAR-10和CIFAR-100数据集。
2023-03-03 cs.CR cs.CV cs.LG
Federated Model Distillation with Noise-Free Differential Privacy
Lehigh University（理海大学）；Ant Group（蚂蚁集团）
传统的联邦学习直接对模型权重进行平均，这只适用于具有同构架构的模型之间的协作。共享预测而不是权重消除了这一障碍，并消除了传统联邦学习中白盒推理攻击的风险。然而，来自本地模型的预测是敏感的，并且会将训练数据隐私泄露给公众。为了解决这个问题，一种简单的方法是将差分私有随机噪声添加到预测中，然而这在隐私预算和模型性能之间带来了实质性的权衡。在本文中，我们提出了一种新的框架称为FEDMD-NFDP，它适用于无噪声差分隐私（NFDP）机制到联邦模型蒸馏框架。我们在各种数据集上的大量实验结果验证了FEDMD-NFDP不仅可以提供相当的效用和通信效率，而且还提供了无噪声的差分隐私保证。我们还通过考虑IID和非IID设置，异构模型架构以及来自不同分布的未标记公共数据集来证明我们的FEDMD-NFDP的可行性。
2021-05-21 cs.CR cs.LG stat.ML
Differentially Private Vertical Federated Learning
Data61, CSIRO（联邦科学与工业研究组织数据61所）
成功的机器学习（ML）算法通常依赖于大量高质量的数据来训练性能良好的模型。监督学习方法，例如深度学习技术，为现实生活中的应用生成高质量的ML函数，但是需要花费大量的成本和人力来标记训练数据。联邦学习（FL）的最新进展允许多个数据所有者或组织在不共享原始数据的情况下协作训练机器学习模型。在这种情况下，垂直FL允许组织在参与组织具有垂直分区数据时构建全局模型。此外，在垂直FL设置中，与直接共享数据相比，参与组织通常需要更少的资源，从而实现轻量级和可扩展的分布式培训解决方案。然而，由于中间输出的通信和模型更新的梯度，垂直FL中的隐私保护具有挑战性。这会邀请对手实体推断其他组织的底层数据。因此，在本文中，我们的目的是探讨如何保护个人组织数据的隐私在差分隐私（DP）设置。我们使用不同的真实世界数据集和DP预算进行实验。我们的实验结果表明，需要找到一个折衷点，以实现之间的平衡垂直FL性能和隐私保护的扰动噪声量。
2022-11-13 cs.CR cs.DB cs.LG
