Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases
Centre for Brain, Mind and Markets（脑、心智与市场中心）；University of Melbourne（墨尔本大学）；Parkville, Victoria, Australia（维多利亚州帕克维尔）
本文研究了联邦学习中由于注册和参与选择偏差导致的偏差问题，提出FedIPW算法和校正方法，通过逆概率加权和有限信息聚合修正目标群体与训练目标的不匹配。
2026-04-29 cs.LG
Collaboration Equilibrium in Federated Learning
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；University of Connecticut（康涅狄格大学）；Weill Cornell Medicine（威尔康奈尔医学院）
联邦学习（FL）是指在不牺牲隐私的情况下，在涉及多个客户的协作研究网络上的学习模型的范例。最近，人们越来越关注不同客户之间的分配差异，这甚至可能在与他人合作时造成适得其反的后果。虽然它不一定是与所有客户端的合作将实现最佳性能，在本文中，我们研究了一个合理的合作称为“协作均衡”（CE），在较小的协作联盟形成。每个客户端与最大限度地提高模型学习的某些成员合作，并隔离其他贡献不大的成员。我们提出了利益图的概念，它描述了每个客户端如何可以受益于与其他客户端的合作，并提出了一个帕累托优化方法来确定最佳的合作者。然后，我们从理论上证明，我们可以达到CE从效益图通过迭代图操作。我们的框架提供了一种在研究网络中建立合作的新方法。合成和真实世界的数据集上的实验证明了我们的方法的有效性。
2022-06-02 cs.LG
Federated Learning with a Sampling Algorithm under Isoperimetry
KAUST（阿卜杜拉国王科技大学）；Microsoft Research（微软研究院）
联邦学习使用一组技术来跨拥有训练数据的若干设备高效地分布机器学习算法的训练。这些技术主要依赖于降低设备和中央服务器之间的通信成本-主要瓶颈。联邦学习算法通常采用优化方法：它们是在通信（和其他）约束下最小化训练损失的算法。在这项工作中，我们采用贝叶斯方法进行训练任务，并提出了一种通信效率高的Langevin算法变体来对后验进行采样。后一种方法是更强大的，并提供更多的知识的\textit{a posteriori}分布比其优化对应。我们分析我们的算法，而不假设目标分布是强对数凹的。相反，我们假设弱对数Sobolev不等式，它允许非凸性。
2022-06-07 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
Summary of Point Transformer with Federated Learning for Predicting Breast Cancer HER2 Status from Hematoxylin and Eosin-Stained Whole Slide Images
Towson University（陶森大学）
本研究提出基于联邦学习和点Transformer的方法，结合动态标签分布、辅助分类器与最远余弦采样，从H&E染色全切片图像预测乳腺癌HER2状态，在多站点数据上表现卓越且泛化性强。
2024-12-19 cs.AI cs.CV cs.LG
Do We Really Need to Design New Byzantine-robust Aggregation Rules?
Wichita State University（威奇托州立大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Louisville（路易斯维尔大学）；Florida International University（佛罗里达国际大学）；University of North Texas（北得克萨斯大学）
针对联邦学习中的投毒攻击，本文提出FoundationFL防御机制，通过服务器生成合成更新并结合现有拜占庭鲁棒聚合规则，证明无需设计新规则即可增强系统安全性，并从理论和实验上验证了其收敛性与有效性。
2025-01-29 cs.CR cs.DC cs.LG
FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization
Alibaba Group（阿里巴巴集团）；ETH Zürich（苏黎世联邦理工学院）
超参数优化（HPO）是机器学习算法获得满意性能的关键，相关的基准测试促进了HPO的研究进展。尽管如此，现有的基准测试的努力都集中在HPO传统的集中式学习，而忽略了联邦学习（FL），一个有前途的范例，从分散的数据协作学习模型。本文首先从多个方面证明了FL算法的HPO的一些唯一性。由于这种独特性，现有的HPO基准不再满足在FL设置中比较HPO方法的需要。为了促进HPO在FL设置的研究，我们提出并实现了一个基准套件FedHPO-B，它结合了全面的FL任务，使有效的功能评估，并简化了持续的扩展。我们还进行了广泛的实验的基础上FedHPO-B基准几个HPO方法。我们在https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB上开源了FedHPO-B。
2022-06-20 cs.LG
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
Università della Svizzera italiana（瑞士意大利大学）；Carnegie Mellon University（卡内基梅隆大学）
ERIS通过联邦分片聚合机制解决联邦学习中的隐私、可扩展性和模型效用之间的平衡问题，减少通信瓶颈并提升对抗鲁棒性。
2026-10-12 cs.LG
Private Federated Learning with Dynamic Power Control via Non-Coherent Over-the-Air Computation
Shandong University（山东大学）
本文提出一种基于非相干空中计算与动态功率控制的联邦学习方案，通过OFDM子载波传输梯度符号并利用能量累积投票，在保护权重隐私的同时提升模型性能并减轻同步误差、信道衰落和噪声影响。
2023-08-05 cs.LG
PQFed: A Privacy-Preserving Quality-Controlled Federated Learning Framework
Case Western Reserve University（凯斯西储大学）；IBM Research Europe（IBM欧洲研究院）
PQFed提出一种隐私保护的个性化联邦学习框架，通过聚类估计客户端数据相似性并实施客户端选择策略，在低参与率下提升目标模型性能，优于IFCA基线。
2025-09-25 cs.LG
Decentralized Federated Learning through Proxy Model Sharing
Layer 6 AI（Layer 6人工智能公司）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Carleton University（卡尔顿大学）；Mayo Clinic（梅奥诊所）
本文提出一种去中心化联邦学习通信高效方案ProxyFL，通过参与者维护私有与公开代理模型实现无中心服务器信息交换，支持模型异构并利用差分隐私增强保护，实验证明其以更低通信开销和更强隐私优于现有方法。
2023-05-23 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
在联邦学习中，跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而，已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异，而是一次性地对整个模型参数进行调整，导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展，同时会增加通信成本。我们提出了FedLAMA，一个分层的模型聚合方案，可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式，联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔，以放松聚合频率，而不会对模型精度产生显著影响。我们的实证研究表明，FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本，同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
HAFLO: GPU-Based Acceleration for Federated Logistic Regression
iSING Lab, The Hong Kong University of Science and Technology（香港科技大学iSING实验室）；Clustar；Peng Cheng Lab（鹏城实验室）
近年来，联邦学习（FL）被广泛应用于支持分散式协作学习场景。在现有的FL模型中，联邦逻辑回归（FLR）是一种广泛使用的统计模型，已被应用于各个行业。为了确保数据安全和用户隐私，FLR利用同态加密（HE）来保护不同协作方之间交换的数据。然而，HE引入了显著的计算开销（即，数据加密/解密的成本和对加密数据的计算），这最终成为整个系统的性能瓶颈。在本文中，我们提出了HAFLO，一个基于GPU的解决方案，以提高性能的FLR。HAFLO的核心思想是总结一组FLR使用的性能关键同态运算符（HO），并通过存储、IO和计算的联合优化来加速这些运算符的执行。初步结果表明，我们的加速FATE，一个流行的FL框架，实现了49.9 $\times$加速异构LR和88.4 $\times$同构LR。
2021-08-22 cs.LG
Applied Federated Learning: Improving Google Keyboard Query Suggestions
Google（谷歌）
联邦学习是机器学习的一种分布式形式，其中训练数据和模型训练都是分散的。在本文中，我们使用联邦学习在商业，全球规模的设置训练，评估和部署一个模型，以提高虚拟键盘搜索建议的质量，而无需直接存取底层用户数据。我们描述了我们在联合训练中的观察结果，将指标与实时部署进行比较，并提出了由此产生的质量提高。总之，我们展示了如何端到端地应用联邦学习来改善用户体验并增强用户隐私。
2018-12-07 cs.LG stat.ML
Federated Learning by Utility-Constrained Stochastic Aggregation for Improving Rational Participation
Indian Institute of Science（印度科学研究所）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；IIIT Hyderabad（海得拉巴IIIT）
本文提出FedUCA框架，通过形式化服务器作为优化器的角色，旨在通过维持客户端参与来最大化全局模型性能，从而提高客户端参与度和全局模型性能。
2026-05-18 cs.LG
Whole-brain radiomics for clustered federated personalization in brain tumor segmentation
Univ Lyon（里昂大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Inserm（法国国家健康与医学研究院）；Centrale Lyon（里昂中央理工学院）；Univ Lyon 2（里昂第二大学）
针对联邦医学图像分割中机构间与机构内特征偏移导致的异质性问题，提出基于全脑影像组学特征聚类的新型个性化算法，通过聚类去中心化数据集微调全局模型，在FeTS2022数据集上验证了有效性。
2023-10-17 cs.CV cs.LG eess.IV
Byzantine-Robust Federated Fire Detection with a Rotating Coordinator
Aalto University（阿尔托大学）；Kudelski Labs（库德尔斯基实验室）
针对联邦火灾检测中带宽、拜占庭客户端和固定服务器信任问题，提出压缩更新、数据集及结合历史感知聚合与轮换协调器的半去中心化方法，消除单点故障并保持性能。
2026-09-14 cs.LG
Point Transformer with Federated Learning for Predicting Breast Cancer HER2 Status from Hematoxylin and Eosin-Stained Whole Slide Images
University of Science and Technology of China（中国科学技术大学）；Chinese Academy of Sciences（中国科学院）；West China Hospital, Sichuan University（四川大学华西医院）；Beihang University（北京航空航天大学）
本文提出结合联邦学习的点Transformer方法，通过动态标签分布策略、辅助分类器和最远余弦采样，解决多中心HE染色WSIs的标签不平衡与长程依赖建模问题，在2687张WSIs上实现HER2状态预测的最先进性能并具备跨站点泛化能力。
2024-02-27 cs.CV cs.LG eess.IV
Simeon -- Secure Federated Machine Learning Through Iterative Filtering
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
联邦学习使得全局机器学习模型能够由分布式的、相互不信任的学习代理协作地训练，这些学习代理希望维护其训练数据和其硬件的隐私。一个全局模型被分发给客户端，客户端执行训练，并提交他们新训练的模型，以聚合成一个更好的模型。然而，联邦学习系统容易受到恶意学习代理的干扰，这些恶意学习代理可能希望阻止训练或在最终的全局模型中引起有针对性的错误分类。已经出现了一类容忍拜占庭的聚合算法，提供了不同程度的鲁棒性来对抗这些攻击，通常需要注意的是，攻击者的数量受到训练之前已知的数量的限制。本文介绍了西蒙：一种新的聚合方法，应用基于信誉的迭代过滤技术，即使在存在可能表现出任意行为的攻击者的情况下也能实现鲁棒性。我们比较Simeon国家的最先进的聚合技术，并发现Simeon实现了相当或优越的鲁棒性，各种攻击。值得注意的是，我们表明，Simeon是容忍sybil攻击，其他算法没有，提出了我们的方法的一个关键优势。
2021-03-13 cs.CR cs.DC cs.LG
Technical Report: Assisting Backdoor Federated Learning with Whole Population Knowledge Alignment
Auburn University（奥本大学）
由于联邦学习（FL）的分布式特性，研究人员发现FL容易受到后门攻击的攻击，后门攻击的目的是在不破坏主任务性能的情况下将子任务注入FL。单次后门攻击在FL模型收敛时注入，对主任务和后门子任务都实现了高精度。然而，早期注入的单次后门攻击是无效的，因为：（1）由于来自正常本地更新的稀释效应，在注入时没有达到最大后门有效性;（2）后门效应快速减小，因为后门将被新到来的正常本地更新覆盖。在本文中，我们加强了早期注入单次后门攻击利用FL模型的信息泄漏。我们表明，如果客户端在模拟整个人口分布和梯度的数据集上训练，FL收敛可以加快。基于这一观察，我们提出了一个两阶段的后门攻击，其中包括一个初步阶段的后续后门攻击。在初始阶段，攻击者控制的客户端首先发起整体分布推断攻击，然后在与梯度和推断分布一致的本地制作的数据集上进行训练。受益于前期阶段，后期注入的后门实现更好的效果，因为后门效应将不太可能被正常的模型更新所稀释。在MNIST数据集上进行了大量的实验，以评估所提出的后门攻击的有效性。结果表明，提出的后门优于现有的后门攻击的成功率和寿命，即使在防御机制到位。
2022-07-25 cs.AI cs.LG
Federated Learning for Computational Pathology on Gigapixel Whole Slide Images
Brigham and Women’s Hospital（布里格姆妇女医院）；Harvard Medical School（哈佛医学院）；Broad Institute of Harvard and MIT（哈佛-麻省理工学院布罗德研究所）；Department of Pathology（病理系）；Northwell Health（诺斯韦尔健康）；Department of Biomedical Informatics（生物医学信息学系）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Cancer Program（癌症项目）；Cancer Data Science（癌症数据科学）
基于深度学习的计算病理学算法已经证明了在广泛的任务中表现出色的能力，这些任务包括从已知形态表型的表征到预测组织学中的非人类可识别特征，如分子改变。然而，基于深度学习的强大、适应性强和准确的模型的开发通常依赖于收集和时间成本高昂的大型高质量注释训练数据，这些数据理想情况下应该来自不同的来源和患者人群，以满足此类数据集中存在的异质性。跨多个机构的医疗数据的多中心和协作集成自然有助于克服这一挑战并提高模型性能，但由于模型扩展到使用数十万千兆像素的整个幻灯片图像，因此在复杂的数据共享过程中可能会出现其他困难，其中包括隐私问题。在本文中，我们介绍了在计算病理学中使用弱监督注意力多实例学习和差分隐私的千兆像素全切片图像的隐私保护联邦学习。我们评估了我们的方法在两个不同的诊断问题上使用数千个组织学全载玻片图像，只有载玻片级别的标签。此外，我们提出了一个弱监督学习框架，用于从整个幻灯片图像进行生存预测和患者分层，并在联邦环境中证明了其有效性。我们的研究结果表明，使用联邦学习，我们可以有效地从分布式数据孤岛中开发准确的弱监督深度学习模型，而无需直接共享数据及其相关的复杂性，同时还可以使用随机噪声生成来保护差分隐私。
2020-09-23 cs.CV cs.LG eess.IV
Pretraining Federated Text Models for Next Word Prediction
University of Washington（华盛顿大学）
联邦学习是一种在分布式设备上训练模型的分散方法，通过总结本地变化并将聚合参数从本地模型发送到云端，而不是数据本身。在这项研究中，我们采用了迁移学习的思想来进行下一个词预测（NWP）的联邦训练，并进行了一些实验，证明了对联邦NWP模型已经成功的当前基线的增强。具体来说，我们将随机初始化模型的联邦训练基线与预训练方法的各种组合进行比较，包括预训练的词嵌入和整个模型预训练，然后在Stack Overflow帖子数据集上对NWP进行联邦微调。我们使用预训练的嵌入实现性能提升，而不会加剧所需的训练轮数或内存占用。我们还观察到使用集中预训练网络的显着差异，特别是取决于所使用的数据集。我们的研究为联邦NWP提供了有效而廉价的改进，并为联邦学习的迁移学习技术的更严格实验铺平了道路。
2020-08-17 cs.LG stat.ML
Revocable Federated Learning: A Benchmark of Federated Forest
Xidian University（西安电子科技大学）；Fuzhou University（福州大学）；Data 61, CSIRO（联邦科学与工业研究组织数据61所）；Zhejiang University（浙江大学）
学习联邦由多个参与者组成，这些参与者使用联邦学习技术来协作训练机器学习模型，而不直接揭示本地数据。然而，现有的联邦学习框架存在一个严重的缺陷，即使某个参与者被撤销，其数据仍然被训练好的模型记住。在公司层面的合作中，允许剩下的公司使用包含被撤销公司记忆的训练模型显然是不可接受的，因为这可能导致巨大的利益冲突。为此，本文重点讨论了联邦学习的参与者撤销问题，并设计了一个可撤销的联邦随机森林（RF）框架RevFRF，进一步阐述了可撤销的联邦学习的概念。在RevFRF中，我们首先定义了一个可扩展的联邦RF要解决的安全问题。然后，设计了一套基于同态加密的安全协议，用于联邦射频的构建、预测和撤销。通过理论分析和实验，证明了该协议能够安全有效地实现RF的协同训练，并确保训练RF中被撤销参与者的记忆被安全删除。
2019-11-08 cs.CR cs.LG
Salvaging Federated Learning by Local Adaptation
Cornell University（康奈尔大学）
联邦学习（FL）是一种大力推广的方法，用于在敏感数据上训练ML模型，例如，用户在智能手机上输入的文本。FL是专门为培训数据而设计的，这些数据在参与者中是不平衡和非iid的。为了确保联邦模型的隐私和完整性，最新的FL方法使用差分隐私或鲁棒聚合。我们从个体参与者的\emph{local}的角度来看待外语，并问：（1）参与者是否有动机参与外语学习？(2)参与者\emph{individually}如何在不重新设计FL框架和/或不涉及其他参与者的情况下提高其本地模型的质量？首先，我们表明，在标准的任务，如下一个词的预测，许多参与者没有从FL中获益，因为联邦模型是不准确的数据比模型，他们可以训练本地自己。其次，我们表明，差分隐私和强大的聚合，使这个问题变得更糟，进一步破坏了许多参与者的准确性的联邦模型。然后，我们评估了三种技术的局部适应联邦模型：微调，多任务学习，和知识蒸馏。我们分析了每一个适用的地方，并证明所有参与者都受益于当地的适应。本地模型较差的参与者获得了比传统FL更大的准确性改进。本地模型优于联合模型\textemdash并且今天没有动机参与FL的参与者\textemdash改进较少，但足以使适应的联合模型优于其本地模型。
2022-03-03 cs.AI cs.DC cs.LG
FedSPDnet: Geometry-Aware Federated Deep Learning with SPDnet
本文提出两种联邦学习框架，用于在对称正定矩阵上运行经典SPDnet模型，通过ProjAvg和RLAvg策略保持几何结构，提升信号处理应用的联邦学习性能。
2026-09-02 cs.LG stat.ML
FLOSS: Federated Learning with Opt-Out and Straggler Support
Williams College, USA（威廉姆斯学院，美国）
本文提出FLOSS系统，解决联邦学习中因用户退出和延迟者导致的数据缺失问题，通过模拟验证其性能。
2026-04-21 cs.AI cs.LG
Decision Models for Selecting Federated Learning Architecture Patterns
CSIRO Data61（联邦科学与工业研究组织数据61研究所）；University of New South Wales（新南威尔士大学）
针对联邦学习架构设计中模式选择难的问题，本文基于系统性文献综述提出一组将功能与非功能需求映射到模式并说明弊端的决策模型，经大厂架构验证可规范设计流程、明确设计依据。
2023-04-28 cs.LG cs.SE
Robust and IP-Protecting Vertical Federated Learning against Unexpected Quitting of Parties
Duke University（杜克大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对纵向联邦学习中被动方意外退出导致的性能下降与标签知识产权泄露问题，提出Party-wise Dropout提升模型鲁棒性，并设计DIMIP防御方法有效保护主动方知识产权。
2023-03-28 cs.CR cs.LG
Mitigating Backdoor Attacks in Federated Learning
Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
恶意客户端可以在训练阶段使用恶意数据（包括后门样本）攻击联邦学习系统。受损的全局模型将在为任务设计的验证数据集上表现良好，但具有后门模式的一小部分数据可能会触发模型做出错误的预测。在服务器端训练的聚合阶段，试图隐藏攻击的攻击者和试图检测攻击的防御者之间一直存在军备竞赛。在这项工作中，我们提出了一种新的和有效的方法来减轻后门攻击后的训练阶段。具体而言，我们设计了一种联邦剪枝方法来删除网络中的冗余神经元，然后调整模型的极端权重值。我们在分布式Fashion-MNIST上进行的实验表明，我们的方法可以将平均攻击成功率从99.7%降低到1.9%，在验证数据集上的测试准确性损失为5.5%。为了尽量减少剪枝对测试准确率的影响，我们可以在剪枝后进行微调，攻击成功率下降到6.4%，测试准确率仅损失1.7%。在CIFAR-10上进行的分布式后门攻击下的进一步实验也显示了有希望的结果，平均攻击成功率下降了70%以上，验证数据集上的测试准确性损失不到2%。
2021-01-14 cs.CR cs.LG
Subject Membership Inference Attacks in Federated Learning
University of Virginia（弗吉尼亚大学）；Oracle Labs（甲骨文实验室）；Amazon（亚马逊）
针对跨筒仓联邦学习中现有条目级与用户级隐私分析无法刻画数据主体风险的问题，本文提出两种黑盒主体成员推理攻击，并通过真实数据与数百种合成联邦配置评估风险及差分隐私的缓解效果。
2023-06-02 cs.AI cs.CR cs.LG
FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting
Harvard University（哈佛大学）
本文提出FedStaleWeight算法，通过平均陈旧度计算公平重加权，将异步联邦学习聚合重构为机制设计问题，激励真实计算速度报告，在实现更强公平性的同时加速收敛至更高的全局模型精度。
2024-06-05 cs.DC cs.LG
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies（HCL科技公司）
联邦学习（FL）是一种新兴技术，用于协作训练全局机器学习模型，同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同（非IID）数据分布，这会减慢收敛速度并降低性能。为了解决这个根本问题，我们提出了一种方法（ComFed），它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明，ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Benchmarking federated strategies in Peer-to-Peer Federated learning for biomedical data
CUNEF Universidad（库内夫大学）；Universidad Autónoma de Chile（智利自治大学）；Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；Universidad de Extremadura（埃斯特雷马杜拉大学）
本研究针对生物医学数据，在对等联邦学习环境中测试了多种聚合策略，发现基于准确率的加权平均方法优于经典的联邦平均方法。
2024-02-15 cs.AI cs.DC cs.LG
Stochastic Unrolled Federated Learning
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
提出随机展开联邦学习（SURF），将算法展开引入联邦学习，通过随机小批量与下降约束保证收敛，利用GNN展开DGD保留去中心化，理论证明近最优收敛，实验验证图像分类协作训练有效。
2024-02-06 cs.LG eess.SP
Federated Bayesian Network Ensembles
Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）；Statistics Netherlands（荷兰统计总局）
本文提出贝叶斯网络联邦集成（FBNE）方法，通过在分布式数据上训练分类器集成，在保持模型性能的同时显著提升训练速度，并有效应对本地数据偏斜和各方人口规模不平衡问题。
2024-02-19 cs.CR cs.LG
Iterated Vector Fields and Conservatism, with Applications to Federated Learning
Google Research（谷歌研究院）
研究了迭代向量场（由自身合成的向量场）是否保守。我们给出明确的例子向量场，这种自组合保持保守性。值得注意的是，这包括与某些广义线性模型相关的损失函数的梯度向量场。正如我们所示，描述满足这个条件的向量场的集合会导致非平凡的几何问题。在联邦学习的背景下，我们表明，当客户端的损失函数的梯度满足这个条件，联邦平均相当于梯度下降的代理损失函数。我们利用这一点来获得联邦学习的新收敛结果。相比之下，我们证明，当客户端损失违反此属性时，联合平均可以产生与集中式优化根本不同的行为。最后，我们讨论了我们的分析框架为联邦学习提出的理论和实践问题。
2021-11-13 cs.DC cs.LG math.CA
FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）
联邦学习旨在保护用户的隐私，同时执行来自不同参与者的数据分析。然而，由于各种计算能力和通信瓶颈，在异构系统上保证训练效率具有挑战性。在这项工作中，我们提出FedSkel，通过只更新模型的基本部分（称为骨架网络），在边缘设备上实现计算效率和通信效率高的联邦学习。FedSkel在具有不平衡数据集的真实边缘设备上进行评估。实验结果表明，该算法在保证训练精度的前提下，可使CONV层的反向传播速度提高到5.52 $\times$，整个训练过程的速度提高到1.82 $\times$，通信开销降低了64.8%.
2021-08-20 cs.AI cs.DC cs.LG
An End-to-End Encrypted Neural Network for Gradient Updates Transmission in Federated Learning
Tongdun Technology（同盾科技）；ZhongAn Technology（众安科技）
联邦学习是一种分布式学习方法，通过聚集本地计算的梯度更新来训练共享模型。在联邦学习中，带宽和隐私是梯度更新传输的两个主要关注点。本文提出了一种端到端的梯度更新加密神经网络传输。该网络首先将输入梯度更新编码到每个客户端的低维空间，这显著减轻了联邦学习中数据通信的压力。在服务器上的网络的解码层中，编码的梯度更新作为整体直接恢复，即训练模型的聚合梯度更新。通过这种方式，在每个客户端中加密的梯度更新不仅可以防止在通信期间被拦截，而且服务器也不知道。在加密神经网络的基础上，设计了一种新的联邦学习框架，并将其应用于实际应用。实验结果表明，该网络在联邦学习中以较小的模型精度为代价，能够有效地实现隐私保护和数据压缩两个目标。
2019-08-22 cs.LG stat.ML
Statistical Estimation and Inference via Local SGD in Federated Learning
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
联合学习（FL）使得大量的边缘计算设备（例如，移动电话）在没有数据共享的情况下共同学习全局模型。在FL中，数据以高度异构的分散方式生成。本文研究了如何在联邦环境下进行统计估计和推理。我们分析了所谓的本地SGD，一个多轮的估计过程，使用间歇性的通信，以提高通信效率。我们首先建立了一个{ \it泛函中心极限定理}，证明了局部SGD的平均迭代弱收敛于一个重标布朗运动。接下来，我们提供两种迭代推理方法：{ \it插件}和{ \it随机缩放}。随机尺度方法利用整个局部SGD路径上的信息构造一个渐近关键的统计量进行推理，这两种方法都是有效的，并且适用于在线数据。我们的理论和实证结果表明，本地SGD同时实现统计效率和通信效率。
2021-12-17 cs.LG stat.ML
Fairness in Federated Learning: Fairness for Whom?
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文批判性分析了联邦学习公平性研究中脱离社会技术背景的五个陷阱，并提出以危害为中心的框架，将公平性定义与具体风险及利益相关者脆弱性相联系，倡导更全面、上下文感知和负责任的公平性研究。
2025-05-27 cs.AI cs.CY cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Disentangling data distribution for Federated Learning
Shenzhen International Graduate School, THU（清华大学深圳国际研究生院）；AI Lab, Webank（微众银行AI实验室）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学系）
本文提出 FedDistr 算法，利用稳定扩散模型解耦客户端数据分布，使联邦学习仅需一轮通信即可达到与分布式系统相当的效率，并在 CIFAR100 和 DomainNet 上验证了其优越性。
2024-12-30 cs.DC cs.LG
Subgraph Federated Learning with Missing Neighbor Generation
Emory University（埃默里大学）；University of Hong Kong（香港大学）；University of British Columbia（不列颠哥伦比亚大学）；Lehigh University（理海大学）
图由于其对现实世界对象及其相互作用的独特表示而被广泛应用于数据采掘和机器学习中。随着图变得越来越大，通常会看到它们的子图被单独收集并存储在多个本地系统中。因此，考虑子图联邦学习设置是很自然的，其中每个局部系统都持有可能偏离整个图的分布的小的子图。因此，子图联邦学习的目标是协作训练一个强大的和可推广的图挖掘模型，而不直接共享他们的图数据。在这项工作中，针对子图联邦学习的新颖而现实的设置，我们提出了两种主要技术：（1）FedSage，它基于FedAvg训练GraphSage模型，以集成多个局部子图上的节点特征，链接结构和任务标签;（2）FedSage+，它沿着FedSage训练缺失邻居生成器，以处理局部子图上的缺失链接。四个真实世界的图数据集与合成子图联邦学习设置的实证结果表明，我们提出的技术的有效性和效率。同时，对它们在全局图上的推广能力给出了一致的理论暗示。
2021-11-06 cs.LG cs.SI
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
联邦学习是一种分布式机器学习方法，其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势，但它受到了域转移问题的影响，在域转移问题中，学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中，我们提出了联邦不变学习一致性（FedILC）的方法，它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境，并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明，我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网（IoT）的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
FedH2L: Federated Learning with Model and Statistical Heterogeneity
National University of Defense Technology（国防科技大学）；The University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）
联邦学习（FL）使分布式参与者能够在不牺牲个人数据隐私的情况下集体学习强大的全局模型。主流FL方法要求每个参与者共享一个共同的网络架构，并进一步假设数据是跨参与者采样的IID。然而，在实际部署中，参与者可能需要异构网络架构;并且数据分布几乎可以肯定在参与者之间是不均匀的。为了解决这些问题，我们引入了FedH 2L，它对模型架构不可知，并且对参与者之间的不同数据分布具有鲁棒性。与共享参数或梯度的方法相比，FedH 2L依赖于相互蒸馏，仅以分散的方式在参与者之间交换共享种子集的后验。这使得它具有极高的带宽效率，模型不可知性，并且在从异构孤岛中学习时，关键是生成能够在整个数据分布上表现良好的模型。
2021-07-27 cs.AI cs.LG
Post-Fair Federated Learning: Achieving Group and Community Fairness in Federated Learning via Post-processing
University of Notre Dame（圣母大学）
本文提出后处理公平联邦学习框架post-FFL，通过线性规划同时实现群体公平与社区公平，最大化全局模型效用，理论界定准确率损失，实验证明优于现有方法。
2024-05-28 cs.CY cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类，深入分析RoFL协议的优缺点，提出两种利用其漏洞的新型Sybil攻击，给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
Federated Learning as a Network Effects Game
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）
联邦学习（FL）旨在促进客户群体之间的协作，以提高机器学习的准确性，而无需直接共享本地数据。虽然有丰富的文献设计联邦学习算法，大多数以前的作品隐含地假设，所有的客户端都愿意参与FL计划。在实践中，客户可能不会从加入FL中受益，特别是考虑到与隐私和计算等问题相关的潜在成本。在这项工作中，我们研究了客户在联邦学习中的动机，以帮助服务提供商设计更好的解决方案，并确保客户做出更好的决策。我们是第一个将FL中的客户行为建模为网络效应游戏的公司，每个客户的利益取决于也加入网络的其他客户。使用这种设置，我们分析客户的参与动态和特征的均衡，没有客户有动机改变他们的决定。具体来说，我们表明，在人口动态自然收敛到平衡，而不需要明确的干预。最后，我们提供了一个具有成本效益的支付方案，激励客户端达到理想的平衡时，初始网络是空的。
2023-02-16 cs.DC cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University（台湾大学）
针对大数据下企业数据共享与隐私保护的矛盾，本文研究纵向联邦学习框架下的安全模型训练，以加密域执行的方式保障数据隐私，为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
Oort: Efficient Federated Learning via Guided Participant Selection
University of Michigan（密歇根大学）
联邦学习（FL）是分布式机器学习（ML）的一个新兴方向，它支持对边缘数据进行原位模型训练和测试。尽管与传统ML具有相同的最终目标，但FL执行的规模差异很大，涉及数千到数百万台参与设备。因此，数据特征和设备功能在客户端之间差异很大。然而，现有的努力随机选择FL参与者，这导致模型和系统效率低下。在本文中，我们提出奥尔特，以提高性能的联邦训练和测试指导参与者的选择。为了提高模型训练的准确性性能，Oort优先考虑使用那些既有数据又有数据的客户端，这些数据在提高模型准确性方面具有最大的效用，并且能够快速运行训练。为了使FL开发人员能够在模型测试中解释他们的结果，Oort强制执行他们对参与者数据分布的要求，同时通过挑选客户端来提高联邦测试的持续时间。我们的评估表明，与现有的参与者选择机制相比，Oort将时间准确性提高了1.2倍至14.1倍，最终模型准确性提高了1.3%至9.8%，同时在数百万客户端的规模上有效地执行开发人员指定的模型测试标准。
2021-05-28 cs.DC cs.LG
FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation
University of Padova（帕多瓦大学）；Uppsala University（乌普萨拉大学）
本文提出 FedZeN，这是一种在联邦零阶凸优化中利用增量 Hessian 与 Stiefel 流形搜索方向估计曲率的算法，实现高概率局部二次及全局线性收敛，并在实验中优于现有方法。
2023-09-29 cs.LG math.OC
Dynamic Free-Rider Detection in Cross-Silo Federated Learning via Simulated Attack Patterns
Fujitsu Limited（富士通株式会社）
针对联邦学习中动态搭便车者难以检测的问题，提出S2-WEF方法，通过模拟全局模型攻击的权重演化频率模式并结合偏差评分进行二维聚类，实现无需代理数据集或预训练的高鲁棒性检测。
2026-10-09 cs.CR cs.LG
