Federated Learning with Fair Averaging
Xiamen University（厦门大学）；University of Melbourne（墨尔本大学）
公平性已成为联邦学习（FL）中的一个关键问题。在这项工作中，我们确定了FL不公平的原因-冲突的梯度与幅度的巨大差异。为了解决这个问题，我们提出了联邦公平平均（FedFV）算法，以减轻客户端之间的潜在冲突之前，平均其梯度。我们首先使用余弦相似度来检测梯度冲突，然后通过修改梯度的方向和幅度来迭代地消除这种冲突。我们进一步展示了FedFV的理论基础，以减轻冲突的梯度问题，并收敛到帕累托平稳的解决方案。在一组联邦数据集上进行的大量实验证实，FedFV在公平性、准确性和效率方面优于最先进的方法。源代码可在https://github.com/WwZzz/easyFL上获得。
2021-06-16 cs.LG
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Client Selection in Federated Learning based on Gradients Importance
Mohammed VI Polytechnic University（穆罕默德六世理工大学）
联邦学习（FL）使多个设备能够协作学习全局模型，而无需共享其个人数据。在实际应用中，不同的参与方可能具有异构的数据分布和有限的通信带宽。在本文中，我们感兴趣的是提高FL系统的通信效率。我们研究并设计了一种基于梯度范数重要性的设备选择策略。特别是，我们的方法包括在每个通信回合中选择具有最高梯度值范数的设备。我们研究了这样的选择技术的收敛性和性能，并将其与现有技术进行比较。我们进行了几个实验与非iid设置。结果表明，与随机选择相比，我们的方法具有收敛性，并且测试准确度显着提高。
2021-11-19 cs.LG
FedSynth: Gradient Compression via Synthetic Data in Federated Learning
CMU（卡内基梅隆大学）；Meta
模型压缩在联邦学习（FL）中具有重要的意义，可以减少大模型的通信开销。先前的工作一直集中在基于稀疏化的压缩，这可能会严重影响全局模型的准确性。在这项工作中，我们提出了一个新的方案，而不是传输模型更新，每个客户端学习和传输一个轻量级的合成数据集，使它作为训练数据，该模型表现同样好的真实训练数据。服务器将通过合成数据恢复本地模型更新并应用标准聚合。然后，我们提供了一个新的算法FedSynth本地学习的合成数据。从经验上讲，我们发现我们的方法在所有三个常见的联邦学习基准数据集中与随机掩蔽基线相当/更好。
2022-04-04 cs.LG
Adaptive Gradient Clipping for Robust Federated Learning
EPFL（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）
针对联邦学习中静态梯度裁剪对不同攻击鲁棒性不一致的问题，本文提出自适应鲁棒裁剪方法ARC，动态调整裁剪阈值，在保持理论鲁棒性保证的同时改善收敛性，并通过图像分类实验验证其在异构对抗环境下的有效性。
2025-05-09 cs.LG
TESSERACT: Gradient Flip Score to Secure Federated Learning Against Model Poisoning Attacks
Purdue University（普渡大学）
联邦学习--分散环境中的多方分布式学习-容易受到模型中毒攻击，甚至比集中式学习方法更容易受到攻击。这是因为恶意客户端可以串通并发送精心定制的模型更新，以使全局模型不准确。这推动了拜占庭弹性联邦学习算法的开发，例如Krum、Bulyan、FABA和FoolsGold。然而，最近开发的无目标模型中毒攻击表明，所有先前的防御都可以被绕过。这种攻击利用的直觉是，对于一组恶意客户端，只需改变优化器正在计算的梯度更新的符号，就可以使模型偏离最优值，从而增加测试出错率。在这项工作中，我们开发了TESSERACT-针对这种定向偏差攻击的防御，一种最先进的模型中毒攻击。TESSERACT基于一个简单的直觉，即在联邦学习设置中，某些梯度翻转模式表示攻击。这种直觉在不同的学习算法、模型和数据集上非常稳定。TESSERACT根据参与客户在训练阶段的行为为他们分配信誉分数，然后对客户的贡献进行加权。我们表明，TESSERACT提供了鲁棒性，即使是白盒版本的攻击。
2021-10-19 cs.LG
Communication-Efficient Federated Learning by Exploiting Spatio-Temporal Correlations of Gradients
College of Information Science and Technology, Jinan University（信息科学与技术学院，暨南大学）；College of Engineering, Mathematics and Physical Sciences, University of Exeter（工程、数学与物理科学学院，埃克塞特大学）
GradESTC通过利用梯度的时空相关性，有效减少联邦学习中的通信开销，同时保持收敛速度和精度。
2026-01-15 cs.LG
MANDERA: Malicious Node Detection in Federated Learning via Ranking
University of Sydney（悉尼大学）；School of Computing, Macquarie University（麦考瑞大学计算学院）；School of Computer Science and Engineering, The University of New South Wales（新南威尔士大学计算机科学与工程学院）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
MANDERA通过将原始梯度空间转换为排序矩阵，有效检测联邦学习中的恶意梯度，适用于不同数据集和攻击类型。
2026-03-26 cs.LG
SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
研究联邦学习中统计异构性问题，从频域视角发现漂移谱偏差，提出SpecGradFilter框架，通过抑制低频信号驯服异构性，实验证明其在高非IID设置下性能优且通信开销小。
2026-08-31 cs.LG
Rethinking the initialization of Momentum in Federated Learning with Heterogeneous Data
School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院）
针对联邦学习中传统动量累积在异构数据下的次优问题，提出反向动量联邦学习（RMFL），通过对梯度分配随时间指数衰减的权重优化本地初始化动量，在不同异构性基准数据集上验证了有效性。
2024-11-29 cs.LG
FedGreen: Federated Learning with Fine-Grained Gradient Compression for Green Mobile Edge Computing
Guangdong University of Technology（广东工业大学）；University of Houston（休斯顿大学）
FedGreen通过细粒度梯度压缩和精度-能效权衡优化，在保证80%测试精度下将移动边缘计算联邦学习的设备总能耗至少降低32%。
2021-11-11 cs.LG
Federated Zeroth-Order Optimization using Trajectory-Informed Surrogate Gradients
National University of Singapore（新加坡国立大学）
本文针对联邦零阶优化中查询与通信效率低的问题，提出利用轨迹信息代理梯度和自适应梯度校正的FZooS算法，在理论和实验上均取得改进。
2023-08-08 cs.AI cs.LG
Bikelution: Federated Gradient-Boosting for Scalable Shared Micro-Mobility Demand Forecasting
Department of Informatics University of Piraeus（信息学院 希腊比雷埃国际机场）
Bikelution通过联邦学习实现隐私保护的中期共享微出行需求预测，优于现有方法。
2026-02-24 cs.LG
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
GI-SMN: Gradient Inversion Attack against Federated Learning without Prior Knowledge
College of Information and Technology, Jinan University（暨南大学信息科学技术学院）；Guangdong Key Laboratory of Data Security and Privacy Protection（广东省数据安全与隐私保护重点实验室）；School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
本文提出基于风格迁移网络的梯度反演攻击GI-SMN，无需修改模型或获取先验知识即可高相似度重建联邦学习用户数据，并优于现有攻击且能突破梯度剪枝和差分隐私防御。
2024-05-06 cs.LG
Robust Federated Learning against Noisy Clients via Masked Optimization
Institute of Computing Technology, Chinese Academy of Sciences & University of Chinese Academy of Sciences（计算技术研究所，中国科学院及中国科学院大学）；Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学）；Institute of Computing Technology, Chinese Academy of Sciences（计算技术研究所，中国科学院）
本文提出两阶段联邦学习框架 MaskedOptim，通过检测高噪声客户端并进行端到端标签校正，结合基于几何中位数的模型聚合，有效缓解标签噪声对模型性能的不利影响。
2025-06-02 cs.AI cs.CV cs.LG
FedHFT: Efficient Federated Finetuning with Heterogeneous Edge Clients
School of Computer Science, Georgia Institute of Technology, USA（计算机科学系，佐治亚理工学院，美国）；CISCO Research, USA（思科研究，美国）
FedHFT通过掩码适配器混合与双层优化，在异构边缘客户端上实现高效个性化联邦微调，兼顾资源异构与非独立同分布数据，显著提升NLU性能与效率。
2025-10-15 cs.DC cs.LG
An End-to-End Encrypted Neural Network for Gradient Updates Transmission in Federated Learning
Tongdun Technology（同盾科技）；ZhongAn Technology（众安科技）
联邦学习是一种分布式学习方法，通过聚集本地计算的梯度更新来训练共享模型。在联邦学习中，带宽和隐私是梯度更新传输的两个主要关注点。本文提出了一种端到端的梯度更新加密神经网络传输。该网络首先将输入梯度更新编码到每个客户端的低维空间，这显著减轻了联邦学习中数据通信的压力。在服务器上的网络的解码层中，编码的梯度更新作为整体直接恢复，即训练模型的聚合梯度更新。通过这种方式，在每个客户端中加密的梯度更新不仅可以防止在通信期间被拦截，而且服务器也不知道。在加密神经网络的基础上，设计了一种新的联邦学习框架，并将其应用于实际应用。实验结果表明，该网络在联邦学习中以较小的模型精度为代价，能够有效地实现隐私保护和数据压缩两个目标。
2019-08-22 cs.LG stat.ML
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark（南丹麦大学）
联邦学习（FL）是一种隐私感知的数据采掘策略，它将私有数据保存在所有者的机器上，从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中，使用安全聚合对本地参数进行额外屏蔽，使得仅全局聚合统计数据以明文形式可用，而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中，我们调查了三个QR分解算法的适用性跨筒仓FL，并提出了一个隐私感知QR分解方案的基础上，Gram-Schmidt算法，不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在最近的论文FLECS（Agafonov et al，FLECS：A联邦学习Second-Order Framework via Compression and Sketching）中，针对联邦学习问题提出了二阶框架FLECS。该方法利用Hessian草图的压缩，使通信成本低。然而，FLECS的主要瓶颈是没有压缩的梯度通信。在本文中，我们提出了修改的FLECS压缩梯度差异，我们称之为FLECS-CGD（FLECS压缩梯度差异），使其适用于随机优化。在强凸和非凸的情况下提供收敛保证。实验结果表明，该方法具有较好的实用价值.
2022-10-18 cs.LG math.OC
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
IBM Research - Almaden（IBM阿尔马登研究中心）
联邦学习（FL）是一种跨多方协作训练模型的方法，而无需在各方或聚合器之间共享数据。它既用于消费者领域，以保护个人数据，也用于企业环境，其中处理数据住所监管和数据孤岛的实用性是主要驱动力。虽然XGBoost等梯度提升树实现在许多用例中都非常成功，但由于使用加密和隐私方法，其联邦学习适应性往往非常缓慢，并且没有广泛使用。我们提出了用于联邦学习的Party-Adaptive XGBoost（PAX），这是一种新的梯度提升实现，它利用了一种Party-Adaptive直方图聚合方法，而不需要数据加密。它构造了数据分布的代理表示，用于查找决策树的分裂。我们的实验结果证明了强大的模型性能，特别是在非IID分布上，并且在不同数据集上的训练运行时间比现有的联邦实现要快得多。这种方法使得梯度提升树在企业联邦学习中的使用变得实用。
2020-12-11 cs.DC cs.LG
Encoded Gradients Aggregation against Gradient Leakage in Federated Learning
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院）；The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
联邦学习使孤立的客户端能够通过聚合本地计算的梯度更新来协作地训练共享模型。然而，隐私信息可能会从上传的梯度中泄露，并暴露给恶意攻击者或诚实但好奇的服务器。虽然加性同态加密技术保证了该过程的安全性，但它给FL参与者带来了不可接受的计算和通信负担。为了减轻这种成本的安全聚合和保持学习性能，我们提出了一个新的框架，称为编码梯度聚合（\emph{EGA}）。详细地说，EGA首先将局部梯度更新编码到编码域中，在服务器中聚合之前，在每个客户端中注入噪声。然后，可以经由解码函数恢复编码的梯度聚合结果以用于全局模型更新。该方案可以防止单个客户端的原始梯度暴露在互联网上，并使服务器不知道它们。EGA可以在不同的噪声水平下提供优化和通信的好处，并防止梯度泄漏。我们进一步提供了近似误差及其对联邦优化的影响的理论分析。此外，EGA与大多数联邦优化算法兼容。我们进行了密集的实验，以评估EGA在现实世界的联邦设置，结果表明其有效性。
2023-02-25 cs.CR cs.LG
DRAGD: A Federated Unlearning Data Reconstruction Attack Based on Gradient Differences
Beijing Jiaotong University（北京交通大学）
本文提出DRAGD及其增强版DRAGDP，通过利用联邦遗忘前后梯度差异重构被删除数据，揭示隐私漏洞并显著优于现有方法。
2025-07-13 cs.AI cs.LG
Intrinisic Gradient Compression for Federated Learning
Oxford University（牛津大学）；Harvard University（哈佛大学）
联邦学习是一个快速发展的研究领域，它使大量客户能够在私人持有的数据上联合训练机器学习模型。更广泛地采用联邦学习的最大障碍之一是从客户端发送模型更新和向客户端发送模型更新的通信成本，这一点由于许多这些设备都受到带宽限制而变得更加突出。在本文中，我们的目标是解决这个问题，通过优化网络在其完整的参数空间的子空间，一个想法被称为内在维度在机器学习理论界。我们使用的内在维度和梯度压缩的概念之间的对应关系，以获得一个家庭的低带宽的优化算法，我们称之为内在梯度压缩算法。具体来说，我们提出了三种算法在这个家庭中使用不同级别的上传和下载带宽在各种联邦设置，以及理论上的保证，他们的性能。最后，在包含多达100 M参数的模型的大规模联邦学习实验中，我们表明，与当前最先进的梯度压缩方法相比，我们的算法表现非常好。
2021-12-05 cs.DC cs.LG
AMSFL: Adaptive Multi-Step Federated Learning via Gradient Difference-Based Error Modeling
College of Computer Science and Technology, Hainan University（计算机科学与技术学院，海南大学）
针对联邦学习中平衡通信效率与模型精度的挑战，提出轻量级梯度差异近似（GDA）方法，利用一阶信息估计局部误差趋势，作为AMSFL框架关键组件，为大规模多步自适应训练提供统一误差建模策略。
2025-05-27 cs.DC cs.LG
FedGIG: Graph Inversion from Gradient in Federated Learning
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
本文首次探讨梯度反演攻击对联邦图学习的影响，提出专为图结构数据设计的FedGIG方法，通过邻接矩阵约束和子图重建模块恢复私有图数据，在分子数据集上准确率优于现有技术。
2024-12-24 cs.CR cs.LG
Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank?
Purdue University（普渡大学）
在本文中，我们质疑在联邦学习过程中通过分布式系统传播大量参数的基本原理。我们首先检查由跨时期的梯度所跨越的子空间的秩特性（即，梯度空间），并观察到该梯度空间通常由占解释方差的绝大多数（95-99%）的几个主要主成分组成。受此启发，我们提出了“回望梯度乘法器”（LBGM）算法，该算法利用这种低秩属性，使梯度循环之间的模型更新轮的联邦学习，减少大参数的传输到单个标量的聚合。我们分析了LBGM的收敛行为，揭示了通信节省和模型性能之间的权衡的性质。我们随后的实验结果表明，与传统的联邦学习相比，LBGM在多个数据集和深度学习模型上的通信开销有所改善。此外，我们表明，LBGM是一个通用的即插即用算法，可以单独使用或堆叠在现有的稀疏化技术的分布式模型训练。
2022-02-01 cs.LG stat.ML
Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging
Stanford University（斯坦福大学）；The University of Hong Kong（香港大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
收集和管理来自多个机构的大规模医疗数据集对于训练准确的深度学习模型至关重要，但隐私问题通常会阻碍数据共享。联邦学习（FL）是一种很有前途的解决方案，它可以在不同机构之间实现隐私保护的协作学习，但由于数据分布的异构性和缺乏高质量的标记数据，它通常会受到性能恶化的影响。在本文中，我们提出了一个强大的和标签效率的自监督FL框架的医学图像分析。我们的方法引入了一种新的基于transformer的自监督预训练范式，该范式使用掩码图像建模直接在分散的目标任务数据集上预训练模型，以促进对异构数据的更鲁棒的表示学习和向下游模型的有效知识转移。在模拟和真实世界的医学成像非IID联邦数据集上的大量实证结果表明，使用Transformers进行掩码图像建模可以显著提高模型对各种程度的数据异质性的鲁棒性。值得注意的是，在严重的数据异质性下，与ImageNet预训练的监督基线相比，我们的方法在不依赖任何额外的预训练数据的情况下，在视网膜，皮肤病学和胸部X射线分类的测试准确性方面分别提高了5.06%，1.53%和4.58%。此外，我们还表明，与现有的FL算法相比，我们的联邦自监督预训练方法产生的模型可以更好地推广到分布外的数据，并且在使用有限的标记数据进行微调时表现得更有效。该代码可在https://github.com/rui-yan/SSL-FL上获得。
2023-01-11 cs.CV cs.LG
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习（FL）是一种新兴的分布式学习范式，具有默认的客户端隐私，因为客户端可以将敏感数据保存在其设备上，并且仅与联邦服务器共享本地训练参数更新。然而，最近的研究表明，FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法，该方法基于每个训练样本的客户端差分隐私，称为Fed-CDP。它有三个原创性的贡献。首先，我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁，即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法，被称为Fed-SDP，是不足以保护训练数据的隐私。其次，介绍了基于实例的客户端差分隐私算法Fed-CDP，给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析，并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三，形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡，并提出了一种动态衰减噪声注入策略，进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP（衰减）与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明，Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP，同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in Federated Learning
Meta AI；Cornell University（康奈尔大学）
针对联邦学习中现有梯度压缩等防御被认为能有效抵御梯度反演攻击的结论，本文提出一种基于辅助数据训练模型的简单自适应攻击，可攻破视觉与语言任务下的现有防御，揭示被低估的隐私风险。
2023-06-09 cs.CR cs.LG
Local Gradient Regulation Stabilizes Federated Learning under Client Heterogeneity
National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology（国家并行与分布式计算实验室，计算机科学与技术学院，国防科技大学）
本文提出通过调节局部梯度动态来稳定联邦学习，采用ECGR方法平衡对齐和错位梯度，提升异构数据下的收敛性能。
2026-01-07 cs.DC cs.LG
AFBS:Buffer Gradient Selection in Semi-asynchronous Federated Learning
School of Software Engineering（软件工程学院）；State Key Laboratory of Integrated Services Networks（信息服务网络国家重点实验室）
AFBS提出首个在缓冲区中基于信息价值选择梯度的算法，通过客户端聚类和隐私保护，在半异步联邦学习中丢弃低价值梯度，在CIFAR-100上准确率提升4.8%，训练时间缩短75%。
2025-06-23 cs.AI cs.LG
Bayesian Federated Learning over Wireless Networks
POSTECH（浦项科技大学）；Hanyang University（汉阳大学）；Weizmann Institute of Science（魏茨曼科学研究所）
联邦学习是一种隐私保护和分布式训练方法，使用存储在本地设备上的异构数据集。无线网络上的联合学习需要在服务器处聚合本地计算的梯度，其中移动设备通过异构通信链路发送统计上不同的梯度信息。本文提出了一种贝叶斯联邦学习（BFL）算法，在最小化均方误差（MSE）的意义下，最佳地聚集异构量化梯度信息。BFL的思想是通过联合利用i）局部梯度的先验分布、ii）梯度量化器函数和iii）信道分布来在服务器处聚合一位量化的局部梯度。随着移动设备数量的增加，实现BFL需要很高的通信和计算成本。为了解决这个问题，我们还提出了一个有效的修改BFL算法称为可扩展BFL（SBFL）。在SBFL中，我们假设局部梯度上的简化分布。每个移动终端发送其一比特量化局部梯度以及表示该分布的两个标量参数。然后，服务器聚合噪声和褪色的量化梯度以最小化MSE。我们提供了一类非凸损失函数的SBFL的收敛性分析。我们的分析阐明了如何通信信道的参数和梯度先验影响收敛。从模拟中，我们证明了SBFL大大优于传统的符号随机梯度下降算法时，训练和测试神经网络在异构无线网络上使用MNIST数据集。
2020-12-31 cs.LG eess.SP
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Efficient Client Contribution Evaluation for Horizontal Federated Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在联邦学习（FL）中，公平、准确地度量每个联邦参与者的贡献具有重要意义。贡献水平不仅为在联邦参与者之间分配经济利益提供了合理的指标，而且还有助于发现试图毒害FL框架的恶意参与者。以前的贡献度量方法是基于对联邦参与者可能组合的枚举。它们的计算成本随着参与者的数量或特征维度的增加而急剧增加，使得它们在实际情况中不适用。本文提出了一种有效的方法来评估联邦参与者的贡献。本文重点介绍了水平FL框架，其中客户-服务器的计算其本地数据的参数梯度，并将梯度上传到中央服务器。在聚合客户端梯度之前，中央服务器使用强化学习技术训练梯度的数据值估计器。实验结果表明，该方法在估值真实性和时间复杂度方面均优于传统的留一法。
2021-02-26 cs.LG eess.AS
Attacks to Federated Learning: Responsive Web User Interface to Recover Training Data from User Gradients
Nanyang Technological University（南洋理工大学）
局部差分隐私（LDP）是一种保护个人用户数据的新兴隐私标准。可以应用LDP的一个场景是联邦学习，其中每个用户将他/她的用户梯度发送到聚合器，聚合器使用这些梯度来执行随机梯度下降。在聚合器不可信并且LDP不应用于每个用户梯度的情况下，聚合器可以从这些梯度恢复敏感的用户数据。在本文中，我们提出了一个新的交互式Web演示展示本地差分隐私的力量，通过可视化联邦学习与本地差分隐私。此外，现场演示还展示了LDP如何防止不受信任的聚合器恢复敏感的训练数据。还创建了一个称为exp-hamming恢复的度量，以显示聚合器可以恢复多少数据。
2020-07-17 cs.CR cs.DC cs.LG
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
Gradient Obfuscation Gives a False Sense of Security in Federated Learning
North Carolina State University（北卡罗来纳州立大学）；Zhejiang University（浙江大学）
联邦学习已经被提出作为一种隐私保护的机器学习框架，它使多个客户端能够在不共享原始数据的情况下进行协作。然而，客户端隐私保护在此框架中的设计并不保证。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击。然而，在实践中，考虑到高通信成本或由于隐私增强要求，客户端可能不发送原始梯度。经验研究表明，梯度混淆，包括通过梯度噪声注入的有意混淆和通过梯度压缩的无意混淆，可以提供更多的隐私保护以对抗重建攻击。在这项工作中，我们提出了一个新的数据重建攻击框架，针对图像分类任务的联邦学习。我们发现，通常采用的梯度后处理程序，如梯度量化，梯度稀疏化，梯度扰动，可能会给联邦学习一个虚假的安全感。与以前的研究相反，我们认为，隐私增强不应该被视为梯度压缩的副产品。此外，我们设计了一种新的方法，在所提出的框架下，在语义级重建图像。我们量化的语义隐私泄漏，并与传统的基于图像相似性得分。我们的比较挑战文献中的图像数据泄漏评估方案。结果强调了在现有的联邦学习算法中重新访问和重新设计客户端数据隐私保护机制的重要性。
2022-10-14 cs.AI cs.CR cs.DC
Trajectory-Aware Information Matching for Multi-Step Gradient Inversion in Federated Learning
Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China（民族语言智能分析与安全治理教育部重点实验室，中央民族大学）
针对联邦学习梯度反演攻击问题，提出NL-SME方法，通过构建可学习非线性替代轨迹近似隐藏局部状态，整合轨迹级信息与校准梯度匹配，提升多步梯度反演性能，揭示隐私泄漏风险。
2026-07-07 cs.CR cs.LG
On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients
IIIT Delhi（德里印度理工学院）
本文提出基于回放记忆的持续联邦学习策略C-FLAG，通过边缘梯度更新与聚合梯度解决全局灾难性遗忘，并给出收敛性分析，实验表明其在任务和类别增量场景下优于现有方法。
2025-11-09 cs.DC cs.LG
User-Level Label Leakage from Gradients in Federated Learning
Technical University of Darmstadt（达姆施塔特工业大学）
联邦学习使多个用户能够通过共享他们的模型更新（梯度）来构建联合模型，而他们的原始数据仍保留在他们的设备上。与普遍认为这提供了隐私益处相反，我们在这里添加了最近关于共享梯度时隐私风险的结果。具体来说，我们调查标签泄漏从副本（LLG），一种新的攻击提取标签的用户的训练数据从他们的共享梯度。该攻击利用梯度的方向和幅度来确定是否存在任何标签。LLG简单而有效，能够泄漏由标签表示的潜在敏感信息，并且可以很好地扩展到任意批量大小和多个类。我们从数学和经验上证明了在不同的设置下的攻击的有效性。此外，实验结果表明，LLG在模型训练的早期阶段成功地提取了高精度的标签。我们还讨论了不同的防御机制对这种泄漏。我们的研究结果表明，梯度压缩是一种实用的技术，以减轻攻击。
2022-01-03 cs.CR cs.LG
GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model
Institute for Clarity in Documentation（文档清晰性研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
联邦学习平台越来越受欢迎。其中一个主要好处是减轻隐私风险，因为算法的学习可以在不收集或共享数据的情况下实现。虽然联邦学习（即，尽管许多基于随机梯度算法的算法已经显示出很大的潜力，但是在隐私保护方面仍然存在许多挑战性的问题，特别是在梯度更新和交换过程中。本文提出了第一个无梯度的联邦学习框架GRAFFL，用于学习基于近似贝叶斯计算的贝叶斯生成模型。与传统的基于梯度的联邦学习算法不同，我们的框架不需要分解模型（即，线性分量）或扰乱数据（或用于聚合的数据加密）以保护隐私。相反，该框架使用来自每个参与机构的隐式信息来学习参数的后验分布。隐式信息是来自SuffiAE的汇总统计数据，SuffiAE是本研究中开发的神经网络，用于创建压缩和线性可分离的表示，从而保护敏感信息免受泄漏。作为一种充分的降维技术，这被证明可以提供足够的汇总统计量。我们提出了基于GRAFFL的贝叶斯高斯混合模型作为框架的概念验证。使用几个数据集，我们证明了我们的模型在隐私保护和预测性能方面的可行性和实用性（即，接近理想状态）。训练后的模型作为一个准全局模型，可以生成包含其他机构信息的信息样本，并增强对每个机构的数据分析。
2020-08-29 cs.LG stat.ML
Deep leakage from gradients
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）
随着人工智能技术的发展，联邦学习（FL）模型以其高效性和保密性在许多行业得到了广泛的应用。一些研究者对它的保密性进行了探索，设计了一些攻击训练数据集的算法，但这些算法都有各自的局限性。因此，大多数人仍然认为本地机器学习梯度信息是安全可靠的。本文设计了一种基于梯度特征的算法对联邦学习模型进行攻击，以期引起人们对联邦学习系统安全性的更多关注。在联邦学习系统中，梯度与原始训练数据集相比包含的信息较少，但本项目拟通过梯度信息恢复原始训练图像数据。卷积神经网络（CNN）在图像处理中具有优良的性能。因此，本项目的联邦学习模型采用卷积神经网络结构，并利用图像数据集对模型进行训练。该算法通过生成虚拟图像标签来计算虚拟梯度。然后将虚拟梯度与真实梯度进行匹配，恢复原始图像。该攻击算法采用Python语言编写，使用猫狗分类Kaggle数据集，并从全连接层逐步扩展到卷积层，从而提高了通用性。目前，该算法恢复的数据与原始图像信息的平均平方误差约为5，绝大多数图像都可以根据给出的梯度信息完全恢复，说明联邦学习系统的梯度并不是绝对安全可靠的。
2022-12-15 cs.CR cs.LG
Beyond Weights and Gradients: A Taxonomy of Federated Learning Messages
AIMS lab, Center for Neurosciences, UZ Brussel, Vrije Universiteit Brussel, Brussels, Belgium（AIMS实验室，神经科学中心，布鲁塞尔大学医院，布鲁塞尔自由大学，布鲁塞尔，比利时）；Artificial Intelligence Lab, Vrije Universiteit Brussel, Brussels, Belgium（人工智能实验室，布鲁塞尔自由大学，布鲁塞尔，比利时）
本文提出联邦消息的正式数学定义，建立包含模型结构、统计摘要和数据条件表示的三类分类法，分析计算、通信和隐私权衡，并综述202篇文献揭示2021年后消息范式多样化趋势。
2026-08-07 cs.AI cs.LG
FedAPA: Server-side Gradient-Based Adaptive Personalized Aggregation for Federated Learning on Heterogeneous Data
College of Information Science and Technology, Jinan University（暨南大学信息科学技术学院）；College of Information and Computational Science, Jilin University（吉林大学信息与计算科学学院）；University of Toronto（多伦多大学）；The Hong Kong Polytechnic University（香港理工大学）
针对异构数据下个性化联邦学习的准确率、计算与通信挑战，提出FedAPA，在服务器端基于客户端参数变化对聚合权重的梯度自适应更新权重，兼具理论收敛保证与优异性能。
2025-02-15 cs.CV cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin（柏林技术大学）
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法，以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
An Efficient Gradient-Based Inference Attack for Federated Learning
Gradiant
本文提出了一种高效的基于梯度的推理攻击方法，用于联邦学习场景，通过分析多轮次梯度演变，揭示数据泄露风险及聚合器威胁。
2025-12-17 cs.CR cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University（莱斯大学）
一旦活动客户端的数量增加，同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法（Nguyen等人，2022）通过允许异步更新（过时）来解决这个问题，这增强了训练的可扩展性，同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法，并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析，该算法的收敛速度时，异构数据，批量大小，并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Evaluating Gradient Inversion Attacks and Defenses in Federated Learning
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
梯度反转攻击（Gradient Inversion Attack）是联邦学习安全性和隐私保护面临的一种新威胁，恶意窃听者或协议参与者可以利用梯度反转攻击恢复（部分）客户端的隐私数据。本文评估了现有的攻击和防御。我们发现，一些攻击对设置做出了强烈的假设。放松这些假设可以大大削弱这些攻击。然后，我们评估了三个建议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄露和数据效用的权衡，并发现以适当的方式将它们结合起来会使攻击变得不那么有效，即使在最初的强假设下。我们还估计了每个评估防御下单个图像的端到端恢复的计算成本。我们的研究结果表明，目前可以通过轻微的数据实用程序损失来防御最先进的攻击，如潜在策略列表所示。我们的代码可在https://github.com/Princeton-SysML/GradAttack上获得。
2021-11-30 cs.CR cs.LG
LSHFed: Robust and Communication-Efficient Federated Learning with Locally-Sensitive Hashing Gradient Mapping
针对联邦学习在信任缺失环境下面临的隐私泄露与投毒攻击问题，提出LSHFed框架，通过局部敏感哈希梯度映射机制将高维梯度转为紧凑二进制表示，在不泄露隐私的前提下准确过滤恶意梯度，在50%共谋对手下仍保持高模型性能且通信开销最高降低1000倍。
2025-11-03 cs.AI cs.LG
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
联邦学习是一种分布式机器学习方法，其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势，但它受到了域转移问题的影响，在域转移问题中，学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中，我们提出了联邦不变学习一致性（FedILC）的方法，它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境，并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明，我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网（IoT）的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients
Pusan National University（釜山国立大学）；Hanoi University of Technology（河内工业大学）；University of Sydney（悉尼大学）；Trinity College of Dublin（都柏林圣三一学院）；Zhejiang University（浙江大学）
针对个性化联邦学习中数据异质性导致的梯度发散、更新退化问题，提出基于层级梯度冲突的FedLAG方法，按梯度冲突程度分配个性化层、排除冲突层参与全局聚合，理论和实验证明其收敛性与性能更优且易集成。
2024-10-03 cs.AI cs.LG
Revisiting Gradient Staleness: Evaluating Distance Metrics for Asynchronous Federated Learning Aggregation
本文提出了一种基于不同距离度量的异步联邦学习聚合方法，通过评估梯度陈旧的影响，提升了模型收敛性和训练稳定性。
2026-03-09 cs.AI cs.LG
Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
针对联邦学习中non-IID数据与设备异构性导致的梯度冲突问题，提出即插即用的FedGH梯度协调方法，可有效缓解局部漂移，在多类场景下稳定提升现有基线性能，异构性越强提升越显著。
2024-03-07 cs.AI cs.LG
