User-Level Label Leakage from Gradients in Federated Learning
Technical University of Darmstadt（达姆施塔特工业大学）
联邦学习使多个用户能够通过共享他们的模型更新（梯度）来构建联合模型，而他们的原始数据仍保留在他们的设备上。与普遍认为这提供了隐私益处相反，我们在这里添加了最近关于共享梯度时隐私风险的结果。具体来说，我们调查标签泄漏从副本（LLG），一种新的攻击提取标签的用户的训练数据从他们的共享梯度。该攻击利用梯度的方向和幅度来确定是否存在任何标签。LLG简单而有效，能够泄漏由标签表示的潜在敏感信息，并且可以很好地扩展到任意批量大小和多个类。我们从数学和经验上证明了在不同的设置下的攻击的有效性。此外，实验结果表明，LLG在模型训练的早期阶段成功地提取了高精度的标签。我们还讨论了不同的防御机制对这种泄漏。我们的研究结果表明，梯度压缩是一种实用的技术，以减轻攻击。
2022-01-03 cs.CR cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的分布式机器学习框架，用于与客户端（边缘设备）网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而，最近的研究表明，即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击，并侵犯客户端关于其训练数据的隐私。在本文中，我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析，以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据（例如，局部梯度或权重更新向量）。然后，我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量，评估和分析客户端隐私泄漏攻击的有效性时，使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略，以强调提供系统的攻击评估框架的重要性，以深入了解联邦学习中各种形式的客户端隐私泄露威胁，并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Encoded Gradients Aggregation against Gradient Leakage in Federated Learning
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院）；The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
联邦学习使孤立的客户端能够通过聚合本地计算的梯度更新来协作地训练共享模型。然而，隐私信息可能会从上传的梯度中泄露，并暴露给恶意攻击者或诚实但好奇的服务器。虽然加性同态加密技术保证了该过程的安全性，但它给FL参与者带来了不可接受的计算和通信负担。为了减轻这种成本的安全聚合和保持学习性能，我们提出了一个新的框架，称为编码梯度聚合（\emph{EGA}）。详细地说，EGA首先将局部梯度更新编码到编码域中，在服务器中聚合之前，在每个客户端中注入噪声。然后，可以经由解码函数恢复编码的梯度聚合结果以用于全局模型更新。该方案可以防止单个客户端的原始梯度暴露在互联网上，并使服务器不知道它们。EGA可以在不同的噪声水平下提供优化和通信的好处，并防止梯度泄漏。我们进一步提供了近似误差及其对联邦优化的影响的理论分析。此外，EGA与大多数联邦优化算法兼容。我们进行了密集的实验，以评估EGA在现实世界的联邦设置，结果表明其有效性。
2023-02-25 cs.CR cs.LG
Random Gradient Masking as a Defensive Measure to Deep Leakage in Federated Learning
UC Berkeley（加州大学伯克利分校）；Keimyung University（启明大学）
针对联邦学习中梯度深度泄漏攻击的隐私威胁，实验评估四种防御方法，发现随机梯度掩码防御效果优异且与裁剪法均几乎不影响训练性能。
2024-08-15 cs.CR cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology（史蒂文斯理工学院）；University of Connecticut（康涅狄格大学）；Tongji University（同济大学）；Northeastern University（东北大学）；The Hong Kong Polytechnic University（香港理工大学）；East China Normal University（华东师范大学）；Institute of Science Tokyo（东京科学研究所）
该研究针对现有差分隐私联邦学习系统综述的不足，提出基于隐私模型定义、保障特性与联邦场景的新分类体系，梳理相关应用，为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich（慕尼黑工业大学）；Bytedance Inc.（字节跳动公司）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式机器学习框架，它支持多方协作训练，同时确保数据隐私。XGBoost是最先进的树提升框架，由于传统隐私保护方法的高成本，XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题，我们提出了两种具有隐私保证的联邦XGBoost变体：FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法，以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的，它是用噪声扰动为本地差分隐私设计的，并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本研究提出一种新颖的差分隐私联邦学习模型用于医学图像分类，证明通过策略性校准隐私预算，可在维持稳健分类性能的同时提供实质性隐私保护。
2023-06-30 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨分校）；Queen’s University（女王大学）
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架，并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Gradient Leakage Attack Resilient Deep Learning
Georgia Institute of Technology（佐治亚理工学院）
梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一，因为攻击者在迭代训练期间秘密地监视梯度更新，而不影响模型训练质量，并且使用泄漏的梯度秘密地重建敏感的训练数据，具有高攻击成功率。虽然具有差分隐私的深度学习是发布具有差分隐私保证的深度学习模型的事实标准，但我们表明具有固定隐私参数的差分隐私算法容易受到梯度泄漏攻击。本文研究了具有差分隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了具有差分隐私的深度学习的现有实现，该实现使用固定的噪声方差来使用固定的隐私参数向所有层的梯度注入恒定的噪声。尽管提供了DP保证，但该方法精度低并且容易受到梯度泄漏攻击。其次，我们提出了一种梯度泄漏弹性深度学习方法，通过使用动态隐私参数的差分隐私保证。与导致恒定噪声方差的固定参数策略不同，不同的动态参数策略提供了引入自适应噪声方差和自适应噪声注入的替代技术，这些技术与差分私有模型训练期间的梯度更新趋势密切相关。最后，我们描述了四个补充指标来评估和比较替代方法。
2021-12-25 cs.CR cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University（康奈尔大学）；University of Minnesota（明尼苏达大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出一种基于联邦学习的分布式数据隐私保护框架，通过仅共享模型参数实现安全的跨域数据协作，实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
Defending against Reconstruction Attack in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）；Bytedance Ltd.（字节跳动有限公司）
最近研究人员研究了联邦学习（FL）中的输入泄漏问题，其中恶意方可以从共享梯度重建用户提供的敏感训练输入。它引起了人们对FL的关注，因为输入泄漏与使用FL的隐私保护意图相矛盾。尽管关于水平FL中输入重构的攻击和防御的文献相对丰富，但垂直FL中的输入泄漏和保护最近开始引起研究人员的注意。在本文中，我们研究了如何抵御垂直FL中的输入泄漏攻击。我们设计了一个基于对抗训练的框架，该框架包含三个模块：对抗重建，噪声正则化和距离相关最小化。这些模块既可以单独使用，也可以一起使用，因为它们彼此独立。通过对大规模工业在线广告数据集的广泛实验，我们表明我们的框架在保护输入隐私的同时保留了模型效用。
2021-07-21 cs.CR cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology（华中科技大学）
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析，证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私，推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界，为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University（杜克大学）
对抗训练（AT）对于获得对对抗攻击鲁棒的深度神经网络至关重要，但最近的研究发现，它也可能使模型更容易受到隐私攻击。在这项工作中，我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击，实际上适用于隐私敏感的联邦学习（FL）系统。使用我们的方法，攻击者可以利用在FL系统中的AT模型，以准确地重建用户的私人训练图像，即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Location Leakage in Federated Signal Maps
University of California Irvine（加州大学尔湾分校）；University of Southern California（南加州大学）
研究在线联邦学习预测蜂窝网络信号地图时的位置泄露问题，发现DLG攻击可重建用户粗粒度轨迹，提出调整参数、策划本地批次和多用户聚合等机制实现隐私与效用的良好权衡。
2024-01-06 cs.CR cs.LG
Speech Privacy Leakage from Shared Gradients in Distributed Learning
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Intuit AI Research（财捷人工智能研究院）
分布式机器学习范例，如联邦学习，最近已被采用在许多隐私关键的应用程序的语音分析。然而，这样的框架容易受到来自共享梯度的隐私泄露攻击。尽管在图像领域进行了广泛的努力，但对梯度语音隐私泄漏的探索非常有限。在本文中，我们探讨了在分布式学习环境中从共享梯度中恢复私人语音/说话人信息的方法。我们进行实验的关键字定位模型与两种不同类型的语音特征，通过测量原始和恢复的语音信号之间的相似性来量化泄漏的信息量。我们进一步证明了在分布式学习框架下，在不访问用户数据的情况下推断各种水平的侧信道信息（包括语音内容和说话人身份）的可行性。
2023-02-21 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark（南丹麦大学）
联邦学习（FL）是一种隐私感知的数据采掘策略，它将私有数据保存在所有者的机器上，从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中，使用安全聚合对本地参数进行额外屏蔽，使得仅全局聚合统计数据以明文形式可用，而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中，我们调查了三个QR分解算法的适用性跨筒仓FL，并提出了一个隐私感知QR分解方案的基础上，Gram-Schmidt算法，不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
移动众测是一种新兴的感知数据汇集模式，具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外，现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护，而不是数据处理的隐私保护。为了解决MCS面临的问题，本文将联邦学习（FL）融入MCS，提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说，为了保护隐私，参与者通过联邦学习在本地处理传感数据，只上传加密的训练模型。特别地，提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销，设计了丢弃和重传策略。此外，设计了一种隐私保护的发布定价激励机制，试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明，所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私，是可行和有效的。
2021-02-20 cs.CR cs.LG
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of Hong Kong（香港大学）；Florida International University（佛罗里达国际大学）
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题，提出EPAFL框架，通过三种早停技术在保持攻击成功率的同时显著降低计算开销，并公开代码。
2024-04-15 cs.CR cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架，其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩，隐私是因为用户数据通常是敏感的，压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中，我们采取了全面的问题，并设计了一个家庭的隐私意识的压缩机制，适用于任何给定的通信预算。首先，我们提出了一种机制，用于传输一个单一的实数，在一定条件下具有最佳的方差。然后，我们将展示如何将其扩展到位置隐私用例的度量差分隐私，以及向量，以应用于联邦学习。我们的实验表明，我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh（匹兹堡大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型，他们可能希望保持私有。然而，参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题，已经提出了基于差分隐私和安全多方计算（SMC）等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中，我们提出了HybridAlpha，隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单，高效，对参与者退出具有弹性。我们评估我们的方法，关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明，HybridAlpha可以将训练时间平均减少68%，数据传输量平均减少92%，同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Hear No Evil: Detecting Gradient Leakage by Malicious Servers in Federated Learning
University of Toronto（多伦多大学）
本文从防御者视角首次全面分析了联邦学习中恶意服务器引发的梯度泄露攻击，揭示其隐蔽性与有效性存在核心权衡，并提出一种轻量级客户端检测机制以标记可疑更新。
2026-11-02 cs.AI cs.CR cs.DC
Securing Distributed SGD against Gradient Leakage Threats
Georgia Institute of Technology（佐治亚理工学院）；Fordham University（福特汉姆大学）；Soochow University（苏州大学）；Florida International University（佛罗里达国际大学）
本文提出一种基于差分隐私自适应噪声注入的梯度泄漏鲁棒分布式SGD方法，通过跟踪逐样本梯度趋势实现噪声对齐，在五个基准数据集上优于现有方法，兼顾准确性、隐私与攻击鲁棒性。
2023-05-10 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
A Survey of What to Share in Federated Learning: Perspectives on Model Utility, Privacy Leakage, and Communication Efficiency
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Polytechnic University（香港理工大学）
本文从“共享什么”的新视角系统综述了联邦学习，提出基于共享模型、合成数据和知识的新分类法，分析了隐私攻击脆弱性与防御机制，并通过实验比较了不同共享方式的学习性能、通信开销及隐私泄露情况。
2024-02-18 cs.CR cs.LG
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Lehigh University（理海大学）；Samsung Research America（三星美国研究院）
在敏感用户数据上训练机器学习模型已经在许多领域引起了越来越多的隐私问题。联邦学习是一种流行的隐私保护方法，它收集局部梯度信息而不是真实数据。实现严格隐私保证的一种方法是将局部差分隐私应用到联邦学习中。然而，以前的作品没有给出一个实际的解决方案，由于三个问题。首先，噪声数据以高概率接近其原始值，增加了信息暴露的风险。第二，将大的方差引入估计的平均值，导致精度差。最后，由于深度学习模型中权重的高维性，隐私预算爆炸式增长。针对上述问题，提出了一种新的联邦学习局部差分隐私机制设计。它能够使数据与其原始值更加不同，并引入较低的方差。此外，所提出的机制通过分裂和洗牌模型更新绕过维数灾难。在MNIST、Fashion-MNIST和CIFAR-10三个常用数据集上的一系列实证评估表明，我们的解决方案不仅可以实现卓越的深度学习性能，同时还可以提供强大的隐私保障。
2021-05-21 cs.CR cs.LG
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University（京都大学）
联邦学习（FL）正在成为隐私保护机器学习的一个有前途的范例，它在多个客户端之间训练算法，而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点，并分别使用局部差分隐私（LDP）和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而，目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白，这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的，因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证，证明了局部差分隐私对对抗鲁棒性既有积极的影响，也有消极的影响。
2021-06-13 cs.CR cs.LG
The Resource Problem of Using Linear Layer Leakage Attack in Federated Learning
Purdue University（普渡大学）；University of Southern California（南加州大学）
安全聚合承诺在联邦学习中提高隐私级别，维护服务器只能访问解密的聚合更新。在这种情况下，线性层泄漏方法是唯一能够扩展并实现高泄漏率的数据重建攻击，无论客户端数量或批量大小如何。这是通过增加注入的全连接（FC）层的大小来完成的。然而，这导致随着客户端数量的增加而增长的资源开销。我们表明，这种资源开销是由一个不正确的角度在所有以前的工作，对待一个聚合更新的攻击，以同样的方式作为一个更大的批量大小的个人更新。相反，通过从聚合组合多个单独更新的角度攻击更新，这允许应用稀疏性来减轻资源开销。我们表明，使用稀疏性可以减少超过327 $\times$的模型大小开销和3.34 $\times$的计算时间相比，SOTA，同时保持相等的总泄漏率，77%，即使与$1000$客户端聚合。
2023-03-27 cs.CR cs.CV cs.LG
CAFE: Catastrophic Data Leakage in Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
最近的研究表明，私有训练数据可以通过部署在分布式机器学习系统（如联邦学习（FL））中的梯度共享机制泄漏。增加批量大小以使数据恢复复杂化通常被视为一种有前途的数据泄漏防御策略。在本文中，我们重新审视这一防御前提，并提出了一种先进的数据泄漏攻击与理论的理由，有效地恢复批数据从共享的聚合梯度。我们将我们提出的方法命名为垂直联邦学习中的灾难性数据泄漏（CAFE）。与现有的数据泄漏攻击相比，我们在垂直FL设置上的大量实验结果证明了CAFE在执行大批量数据泄漏攻击时的有效性，并提高了数据恢复质量。我们还提出了一个切实可行的对策，以减轻CAFE。我们的研究结果表明，私人数据参与标准FL，特别是垂直的情况下，有很高的风险被泄漏的训练梯度。我们的分析表明，在这些学习环境中存在前所未有的实际数据泄露风险。我们的工作代码可在https://github.com/DeRafael/CAFE上获得。
2022-02-19 cs.AI cs.LG
Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning
Wuhan University（武汉大学）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
联邦学习，即，用于深度学习的移动边缘计算框架是隐私保护机器学习的最新进展，其中模型由客户端以分散的方式训练，即，数据管理员，防止服务器直接访问来自客户端的这些私有数据。这种学习机制极大地挑战了来自服务器端的攻击。尽管结合生成对抗网络（GANs）的先进性的最先进的攻击技术可以在所有客户端之间构建全局数据分布的类代表，但是可预测地攻击特定客户端（即，用户级隐私泄露），这是从特定客户端精确恢复私人数据的更强隐私威胁。本文首次尝试通过恶意服务器的攻击来研究针对联邦学习的用户级隐私泄露问题。我们提出了一个框架，将GAN与多任务的识别，同时区分类别，现实和客户端身份的输入样本。新的客户端身份的歧视，使发电机恢复用户指定的私人数据。与现有的作品往往会干扰联邦学习的训练过程不同，所提出的方法在服务器端“看不见”地工作。实验结果表明，该攻击方法是有效的，优于现有的攻击方法。
2018-12-05 cs.CR cs.CV cs.LG
Differential Privacy: Gradient Leakage Attacks in Federated Learning Environments
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；University of Deusto (Bilbao, Spain)（德乌斯大学）
本研究针对联邦学习中的梯度泄露攻击问题，评估DP-SGD与PDP-SGD两种差分隐私机制的防御效果，发现DP-SGD可有效降低泄露风险但存在效用权衡，为分布式学习隐私防护提供实证依据。
2025-10-27 cs.CR cs.DC cs.LG
Towards Privacy-Preserving Data-Driven Education: The Potential of Federated Learning
University of Bergen（卑尔根大学）
本文通过教育数据预测实验比较联邦学习与传统非联邦方法，证明其准确率相当且在对抗攻击下更具韧性，为教育隐私保护提供可行路径。
2025-03-16 cs.AI cs.CR cs.LG
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University（查尔斯特大学）
为应对COVID-19的医疗挑战，我们需要在全球范围内频繁共享健康数据、知识和资源。然而，在这个数字时代，数据隐私是一个大问题，需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中，我们介绍了差分隐私的设计（dPbD）框架，并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围，我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计，并讨论了如何差分隐私设计（dPbD）框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为，可扩展的差异私有联邦学习设计是一个很有前途的解决方案，用于建立一个安全，私有和协作的机器学习模型，如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Eliminating Label Leakage in Tree-Based Vertical Federated Learning
The University of Tokyo（东京大学）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出了一种针对基于树的纵向联邦学习的新标签推理攻击ID2Graph，并设计了Grafting-LDP和ID-LMID两种防御机制，有效消除实例空间中的标签泄露风险。
2023-10-22 cs.AI cs.CR cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano（米兰理工大学）
本文提出 TimberStrike 攻击，针对水平联邦树模型，利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据，揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Federated Learning and Differential Privacy: Software tools analysis, the Sherpa.ai FL framework and methodological guidelines for preserving data privacy
Andalusian Research Institute in Data Science and Computational Intelligence, University of Granada（格拉纳达大学安达卢西亚数据科学与计算智能研究所）
边缘人工智能服务的高需求也保护了数据隐私，推动了对符合这些需求的新型机器学习范式的研究。联邦学习的目标是通过分布式学习方法来保护数据隐私，这些方法将数据保存在数据孤岛中。同样，差分隐私通过测量联邦学习的元素之间的通信中的隐私损失来实现对数据隐私的保护。联邦学习和差分隐私与数据隐私保护挑战的前瞻性匹配导致了几个支持其功能的软件工具的发布，但它们缺乏对这些技术所需的统一愿景，以及支持其使用的方法工作流程。因此，我们提出了Sherpa.ai联邦学习框架，该框架建立在联邦学习和差分隐私的整体视图上。它源于对如何使机器学习范式适应联邦学习的研究，以及基于联邦学习和差分隐私开发人工智能服务的方法指南的定义。我们展示了如何通过分类和回归用例来遵循Sherpa.ai联邦学习框架的方法指南。
2020-10-06 cs.AI cs.CR cs.LG
Federated $f$-Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
联邦学习（FL）是一种训练范式，其中客户端通过重复共享信息来协作学习模型，而不会对其本地敏感数据的隐私造成太大影响。在本文中，我们介绍了联邦$f$ -差分隐私，一个新的概念，专门为联邦设置，高斯差分隐私的框架的基础上。联合$f$ -差异隐私在记录级别上运行：它为一个客户端数据的每个单独记录提供隐私保证，以对抗对手。然后，我们提出了一个通用的私人联邦学习框架{PriFedSync}，可容纳一个大家庭的国家的最先进的FL算法，可证明实现联邦$f$差分隐私。最后，我们实证地展示了在计算机视觉任务中由{PriFedSync}训练的模型的隐私保证和预测性能之间的权衡。
2021-02-22 cs.AI cs.CR cs.CV
Impact of Prior Knowledge and Data Correlation on Privacy Leakage: A Unified Analysis
差分隐私（DP）技术可以保证严格的隐私性，从而防止具有任意先验知识的攻击者。然而，最近的研究表明，这可能是不正确的相关数据，并表明三个因素可能会影响隐私泄漏：数据相关模式，对手的先验知识，和查询功能的敏感性。这就提出了一个基本问题：这三个因素与隐私泄露之间的数学关系是什么？在本文中，我们提出了一个统一的分析这个问题。提出了一种新的隐私定义\textit{prior differential privacy (PDP)}，考虑攻击者所拥有的精确先验知识来评估隐私泄露。我们使用两个模型，加权层次图（WHG）和多元高斯模型来分析离散和连续的数据，分别。我们证明，积极的，消极的，和混合的相关性对隐私泄露有不同的影响。考虑到一般相关性，推导了连续数据隐私泄露的封闭表达式，给出了离散数据隐私泄露的链式规则。我们的结果是有效的一般线性查询，包括计数，总和，平均值和直方图。数值实验验证了我们的理论分析。
2019-06-05 cs.CR cs.LG math.PR
Label Leakage in Federated Inertial-based Human Activity Recognition
University of Siegen（辛根大学）
本研究评估了联邦学习中基于梯度的标签泄露攻击在惯性人体活动识别任务上的有效性，发现活动类别数、采样策略和类别不平衡是影响泄露的关键因素，重建准确率超90%，且局部差分隐私保护有限，并为隐私感知部署提供了建议。
2025-08-07 cs.HC cs.LG
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
联邦学习是一种机器学习技术，它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名，因为数据永远不会离开计算设备，最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而，我们发现，尽管做出了努力，联邦学习仍然存在隐私威胁，因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁，揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归，我们通过理论分析表明，攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型，我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
随着大量数据从小型设备中产生，移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中，随机梯度下降（SGD）已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露，最近，本地差分隐私（LDP）被认为是联邦SGD中的隐私保证。然而，现有的解决方案具有维度依赖性问题：注入的噪声基本上与维度$d$成比例。在这项工作中，我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是，并非所有维度都同等重要，因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说，我们提出了三个私人维度选择机制，并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度，并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
In-depth Analysis of Privacy Threats in Federated Learning for Medical Data
本文提出MedPFL框架，用于分析医疗数据联邦学习中的隐私风险并制定缓解策略，通过实验证明联邦学习在处理医学图像时存在严重隐私风险，并发现添加随机噪声的防御机制并非总是有效。
2024-09-27 cs.LG
Efficient and Privacy Preserving Group Signature for Federated Learning
Soongsil University（崇实大学）
联邦学习（FL）是一种机器学习（ML）技术，旨在减少对用户数据隐私的威胁。训练是使用用户设备（称为客户端）上的原始数据完成的，只有训练结果（称为梯度）被发送到服务器进行聚合并生成更新的模型。但是，我们不能假设服务器可以信任私有信息，例如与数据的所有者或源相关的元数据。因此，对服务器隐藏客户端信息有助于减少与隐私相关的攻击。因此，客户端身份的隐私以及客户端数据的隐私对于使此类攻击更加困难是必要的。提出了一种基于群签名的高效且隐私保护的FL协议。一种新的用于联邦学习的群签名，称为GSFL，被设计为不仅保护客户端的数据和身份的隐私，而且考虑到联邦学习的迭代过程，还显著降低了计算和通信成本。我们表明，GSFL优于现有的方法在计算，通信和信令成本。此外，我们表明，该协议可以处理各种安全攻击的联邦学习环境。
2022-07-15 cs.CR cs.LG cs.NI
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology（北京理工大学）
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题，提出结合本地差分隐私与混洗技术的隐私放大算法，在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph
Lancaster University（兰卡斯特大学）
确定一组学习者如何以完全分散的（点对点，没有协调员）方式提供隐私保护的联邦学习是一个开放的问题。我们提出了第一个隐私保护的基于共识的算法，分布式学习器，以实现分散的全球模型聚合的环境中的高流动性，学习器之间的通信图可能会有所不同，连续轮的模型聚合。特别地，在每一轮全局模型聚合中，Metropolis-Hastings方法被应用于基于当前通信拓扑来更新加权邻接矩阵。此外，Shamir的秘密共享方案的整合，以促进隐私达成共识的全球模型。本文建立了该算法的正确性和隐私属性。通过建立在联邦学习框架上的仿真实验，对算法的计算效率进行了评估。
2022-10-01 cs.CR cs.LG cs.MA
A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage
研究指出现有文本数据净化方法仅评估显性标识符泄露，忽视文本中细微标记可能引发的重新识别风险，提出新框架量化个体隐私风险，发现辅助信息可推断敏感属性，揭示当前净化技术存在隐私虚假感。
2026-03-13 cs.CL cs.CR cs.LG
Towards Privacy-Aware Causal Structure Learning in Federated Setting
Hefei University of Technology（合肥工业大学）；Shanxi University（山西大学）
针对联邦学习中的隐私保护需求，提出FedPC算法，通过逐层聚合与一致分离集策略实现无需集中数据的因果结构学习。
2023-09-06 cs.AI cs.CR cs.LG
Local Pan-Privacy for Federated Analytics
Apple（苹果公司）
针对联邦遥测中本地状态遭反复入侵时的事件计数隐私问题，论文证明信息论差分隐私与遥测收集不相容，并提出用标准密码学原语实现可扩展的本地泛隐私方案。
2025-03-14 cs.CR cs.DS cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
