Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）；Myant Inc.（迈安特公司）
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的，并且相对较慢，在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法（FLT），通过学习客户端之间的任务相关性来更有效地联合聚合异构数据，从而概括了这一方向。在一个一次性的过程中，服务器为客户端提供一个预先训练（和微调）的编码器，将其数据压缩成潜在的表示，并将其数据的签名传输回服务器。然后，服务器通过流形学习来学习客户端之间的任务相关性，并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图，当没有显式的客户端集群，以及有效地将其分解成（不相交）集群的联邦学习。我们证明，FLT不仅优于现有的国家的最先进的基线在非IID的情况下，但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Semi-decentralized Federated Time Series Prediction with Client Availability Budgets
Department of Electrical and Software Engineering, University of Calgary（电气与软件工程系，卡尔加里大学）；Department of Geomatics Engineering, University of Calgary（测绘工程系，卡尔加里大学）
针对联邦学习中客户端能量与可用预算受限问题，提出半去中心化客户端选择方法FedDeCAB，通过概率排序选客户端、离线时从近邻获取参数优化，在多场景下均有效。
2025-09-03 cs.DC cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMWare Research（威睿研究院）；The University of Chicago（芝加哥大学）
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题，提出带算力感知调度器的半异步算法FedCompass，兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Towards Client Driven Federated Learning
Southeast University（东南大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对传统联邦学习服务器驱动模式的局限，提出客户端驱动的联邦学习框架CDFL，让客户端异步发起更新，服务器维护聚类模型并优化估计，实现快速适应新任务，提升性能与计算效率。
2024-05-24 cs.DC cs.LG
Optimal Client Sampling for Federated Learning
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
众所周知，客户机-主机通信可能是联邦学习中的主要瓶颈。在这项工作中，我们解决了这个问题，一个新的客户端二次抽样方案，我们限制了客户端的数量允许他们的更新通信回主节点。在每一轮通信中，所有参与的客户端都计算它们的更新，但只有那些具有“重要”更新的客户端才与主服务器通信。我们表明，重要性可以衡量，只使用规范的更新，并给出了一个公式，最佳的客户端参与。这个公式最小化了完全更新（所有客户端都参与）和有限更新（参与客户端的数量受到限制）之间的距离。此外，我们提供了一个简单的算法，近似的客户端参与，这只需要安全的聚合，从而不会损害客户端的隐私的最佳公式。我们从理论上和经验上表明，对于分布式SGD（DSGD）和联邦平均（FedAvg），我们的方法的性能可以接近充分参与，并优于参与客户端均匀采样的基线。此外，我们的方法是正交的，并与现有的方法，以减少通信开销，如本地方法和通信压缩方法兼容。
2022-08-22 cs.DC cs.LG
Debiasing Federated Learning with Correlated Client Participation
Northwestern University（西北大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对跨设备联邦学习中客户端非均匀、跨轮相关参与导致的偏差，本文用马尔可夫链建模并分析最小间隔机制，提出可在未知可用性分布下收敛至无偏最优解的 FedAvg 去偏算法。
2024-10-02 cs.DC cs.LG
Client Selection Approach in Support of Clustered Federated Learning over Wireless Edge Networks
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
针对数据不平衡、非独立同分布的情况，提出了一种有效的联合多任务学习方法（CFL）.（非独立和同分布）时尚之间的客户。虽然相似性度量指标（如余弦相似性）可用于为客户端组赋予专门的模型，但此过程可能很艰巨，因为服务器应在每一轮联邦学习中涉及所有客户端。因此，由于网络边缘的有限带宽和延迟约束，必须定期选择客户端的子集。为此，本文提出了一种新的客户端选择算法，旨在加快收敛速度，以获得专门的机器学习模型，实现高测试精度的所有客户端组。具体来说，我们引入了一种客户端选择方法，利用设备的异构性，根据其轮延迟来调度客户端，并利用带宽重用的客户端，消耗更多的时间来更新模型。然后，服务器执行模型平均并基于预定义的阈值对客户端进行聚类。当一个特定的集群到达一个稳定点，该算法使用贪婪调度算法，该组通过选择具有较少的延迟来更新模型的客户端。大量的实验表明，该方法降低了训练时间，加快了收敛速度高达50%，同时为每个客户端注入了适合其本地数据分布的专用模型。
2021-08-16 cs.DC cs.LG
Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients
University of Delaware（特拉华大学）
针对联邦学习在未知客户端上泛化差且难以扩展的问题，提出利用隐私保护客户端拓扑的 TFL 框架，并验证其 OOF 鲁棒性与可扩展性。
2024-07-06 cs.DC cs.LG
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
针对联邦学习客户端优化中加速与稳定性难以兼顾的问题，提出FedCAda，通过客户端Adam矩估计自适应修正和服务器端参数聚合，在CV与NLP任务上实现更优收敛、稳定性和整体性能。
2024-05-20 cs.DC cs.LG
Heterogeneity-Aware Client Selection Methodology For Efficient Federated Learning
University of Oregon, US（俄勒冈大学）；Boston College, US（波士顿学院）；Microsoft Research, India（微软研究院）
Terraform通过梯度更新和确定性算法选择异质性客户端，提升联邦学习的准确率至47%以上。
2026-02-24 cs.DC cs.LG
Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning
University of Science and Technology of China（中国科学技术大学）
联邦学习（FL）允许多个客户机协作训练模型而不公开本地数据。然而，现有的工作未能解决所有这些实际问题在FL：有限的通信资源，动态的网络条件和异构的客户端属性，这减慢了FL的收敛。为了解决上述挑战，我们提出了一个异构性感知FL框架，称为FedCG，自适应客户端选择和梯度压缩。具体地，参数服务器（PS）考虑统计异质性选择代表性客户端子集，并将全局模型发送给它们。在本地训练之后，这些选定的客户端将与其能力相匹配的压缩模型更新上传到PS以进行聚合，这显著地减轻了通信负载并减轻了掉队者效应。我们从理论上分析了客户端选择和梯度压缩对收敛性能的影响。在导出的收敛速度的指导下，我们开发了一种基于迭代的算法，使用子模最大化和线性规划来联合优化客户端选择和压缩比决策。在真实世界的原型和模拟上的大量实验表明，与其他方法相比，FedCG可以提供高达5.3 $\times$的加速比。
2022-12-19 cs.DC cs.LG
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies（HCL科技公司）
联邦学习（FL）是一种新兴技术，用于协作训练全局机器学习模型，同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同（非IID）数据分布，这会减慢收敛速度并降低性能。为了解决这个根本问题，我们提出了一种方法（ComFed），它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明，ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
The Hong Kong University of Science and Technology（香港科技大学）；Southeast University（东南大学）
针对异构客户端下FedAvg同步慢的问题，提出异步联邦学习框架DeFedAvg，允许客户端按自身节奏使用陈旧模型训练，在保证收敛速率的同时首次实现线性加速。
2024-02-17 cs.DC cs.LG
Greedy Shapley Client Selection for Communication-Efficient Federated Learning
IIT Bombay（印度理工学院孟买分校）；Aalborg University（奥尔堡大学）
针对联邦学习中客户端异质性导致收敛慢的问题，提出基于Shapley值快速近似的贪心客户端选择策略GreedyFed，在通信轮次受限下实现快速稳定收敛和高精度。
2024-02-07 cs.DC cs.LG
TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients
Technical University of Munich（慕尼黑工业大学）
针对联邦学习中客户端计算受限导致的收敛慢问题，提出TurboSVM-FL聚合策略，利用SVM进行选择性聚合和最大间隔正则化，在不增加客户端负担下加速收敛，并在多个数据集上优于现有算法。
2025-04-25 cs.DC cs.LG
FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning
Duke University（杜克大学）；Tsinghua University（清华大学）
在联邦学习（FL）中，客户端数据异构性是阻碍有效训练的主要问题之一。由于每个客户端上的数据分布可能会有很大的不同，客户端选择策略可以显着影响FL过程的收敛速度。主动客户选择策略是近年来研究的热点。然而，他们忽略了客户端之间的损失相关性，并实现了边际改善相比，统一的选择策略。在这项工作中，我们提出了FedCor --一个建立在基于相关性的客户选择策略上的FL框架，以提高FL的收敛速度。具体来说，我们首先使用高斯过程（GP）对客户之间的损失相关性进行建模。基于GP模型，我们得到了一个客户端选择策略，在每一轮的预期全球损失显着减少。此外，我们开发了一个有效的GP训练方法，在FL场景下，通过利用协方差平稳性的低通信开销。实验结果表明，与现有方法相比，FedCorr算法在FMNIST和CIFAR-10上的收敛速度分别提高了$34\%\sim 99\%$和$26\%\sim 51\%$.
2022-03-24 cs.DC cs.LG
Adaptive Determinantal Client Scheduling in Federated Learning
University of Toronto（多伦多大学）；Ericsson（爱立信）
针对联邦学习中客户端调度忽视多样性的问题，提出基于行列式点过程的自适应调度算法ADCS，实现质量-多样性权衡，并给出收敛性分析，实验证明其优于现有算法。
2026-09-22 cs.DC cs.LG
Unlocking Dynamic Inter-Client Spatial Dependencies: A Federated Spatio-Temporal Graph Learning Method for Traffic Flow Forecasting
针对联邦场景下交通流预测难以建模动态客户端间空间依赖的问题，提出FedSTGD框架，通过分解模块、嵌入增强模块与协同协议实现动态依赖建模，实验证明其性能优于现有联邦基线、接近集中式方法且鲁棒性强。
2025-11-13 cs.DC cs.LG
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；Duke University（杜克大学）
针对不完整客户端参与问题，本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性，并提出SAFARI算法，享有线性收敛加速保证，实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University（杜克大学）
联邦学习使客户端能够协作学习共享的全局模型，而无需与云服务器共享其本地训练数据。然而，恶意客户端可以破坏全局模型，以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而，这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是，给定任何基础联邦学习算法，我们使用该算法学习多个全局模型，每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时，我们在全局模型中进行多数投票。我们表明，我们的集成联邦学习与任何基础联邦学习算法是可证明的安全，对恶意客户端。具体来说，我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外，我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如，当1,000个客户端中有20个是恶意客户端时，我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
FilFL: Client Filtering for Optimized Client Participation in Federated Learning
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）
本文提出FilFL框架，通过贪心过滤算法定期选择最大化组合目标函数的客户端子集参与训练，以优化联邦学习中的客户端参与，提升模型泛化能力、学习效率与收敛速度，实现约10%的准确率提升。
2024-08-29 cs.AI cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India（IBM印度研究院）
联邦学习（FL）的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中，每个客户端的数据都是私有的，不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注，但在外语教学过程中，如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择（FRCS）。由于服务器对每个客户端拥有的数据的性质没有明确的控制，因此在FL设置中选择相关客户端的问题非常复杂。在本文中，我们解决重要的和相关的FRCS问题，即，选择具有相关数据的客户端，检测拥有与特定目标标签相关的数据的客户端，以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题，并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此，我们提出了一个合作的游戏，涉及到客户端共享的梯度。使用这个游戏，我们计算Shapley值的客户端，然后提出基于Shapley值的联邦平均（S-FedAvg）算法，使服务器选择相关的客户端具有高概率。事实证明，S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后，我们对图像分类和语音识别任务进行了全面的实证分析，以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
FedSS: Federated Learning with Smart Selection of clients
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对联邦学习现有客户端选择机制歧视慢速客户端、导致训练偏见的问题，提出FedSS，通过智能客户端选择与调度在快速收敛和客户端异构性之间取得平衡。
2023-09-26 cs.DC cs.LG cs.NI
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Efficient Client Selection in Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架，在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
RobustFSM: Submodular Maximization in Federated Setting with Malicious Clients
Department of Computer Science, University of Massachusetts, Boston, USA（计算机科学系，马萨诸塞大学波士顿分校）
针对联邦子模最大化中恶意客户端共享虚假信息的问题，本文提出鲁棒的RobustFSM方案，并通过真实数据集验证其在严重攻击下解质量可显著优于传统联邦算法，提升幅度最高达200%。
2025-11-08 cs.AI cs.DC cs.LG
Anomalous Client Detection in Federated Learning
University of Calabria（卡拉布里亚大学）
针对联邦学习中的恶意攻击和客户端漂移问题，提出异常客户端检测算法，通过移除异常客户端提升系统安全与效率，相比随机选择减少约50%通信轮次。
2024-11-03 cs.CR cs.DC cs.LG
Adaptive Federated Learning with Auto-Tuned Clients
Rice University（莱斯大学）
本文提出Δ-SGD步长规则，使联邦学习中各客户端能根据局部平滑度自动调整自身步长，从而解决客户端超参数调优难题，并通过理论与实验验证了其优势。
2024-05-02 cs.DC cs.LG math.OC
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
针对联邦学习中异构非平稳的客户端不可用问题，提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法，可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University（成均馆大学）
客户贡献评估，也称为数据估值，是联邦学习（FL）中客户选择和激励分配的关键方法。然而，由于原始数据的可访问性的限制，只有有限的信息，如每个客户端的本地权重和本地数据大小是开放的，以量化客户端的贡献。利用现有信息的数据大小，我们引入了一种经验评估方法，称为联邦客户贡献评估通过准确性近似（FedCCEA）。该方法建立了准确度近似模型（AAM），以样本数据量为输入，估计模拟测试的准确度，提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势：（1）支持客户端的数据大小选择，（2）无论客户端数量如何，都有可行的评估时间，以及（3）在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比，以前的方法，通过几个实验：客户端的贡献分布，客户端删除，部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
异构边缘网络上的通信是联邦学习（FL）中的一个基本瓶颈，限制了模型容量和用户参与。为了解决这个问题，我们引入了两种新的策略来降低通信成本：（1）在服务器到客户端发送的全局模型上使用有损压缩;以及（2）联合丢弃，它允许用户在全局模型的较小子集上有效地本地训练，并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明，这些策略，结合现有的压缩方法的客户端到服务器的通信，共同提供了一个$14\times$减少服务器到客户端的通信，一个$1.7\times$减少本地计算，和一个$28\times$减少上传通信，所有没有降低最终模型的质量。因此，我们全面降低了FL对客户端设备资源的影响，允许训练更高容量的模型，并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection
Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）是一种分布式机器学习范式，允许客户端在自己的本地数据上协作训练模型。FL保证了客户端的隐私，其安全性可以通过诸如加性同态加密（HE）的密码学方法来加强。然而，FL的效率可能会严重受到客户之间的数据分布差异和全局分布偏度的统计异质性的影响。我们从数学上证明了FL性能下降的原因，并在各种数据集上检查FL的性能。为了解决统计异质性问题，我们提出了一种可插拔的系统级客户端选择方法Dubhe，它允许客户端主动参与训练，同时在HE的帮助下保护他们的隐私。实验结果表明，Dubhe算法在分类精度上与最优贪婪算法相当，而加密和通信开销可以忽略不计。
2021-09-08 cs.CR cs.DC cs.LG
Random Client Selection on Contrastive Federated Learning for Tabular Data
Department of Computing, The Hong Kong Polytechnic University（计算机学院，香港理工大学）
针对对比联邦学习仍易受梯度攻击的隐私问题，本文通过全面实验分析验证了随机客户端选择作为防御策略的有效性，为构建更安全的协作学习框架提供参考。
2025-05-16 cs.CR cs.DC cs.LG
Personalized Federated Learning with First Order Model Optimization
Stanford University（斯坦福大学）；NVIDIA（英伟达）
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型，但一个模型可能并不总是适合所有参与的客户端。在这里，我们提出了一种替代方案，每个客户端只与其他相关客户端联合，以获得每个客户端特定目标的更强大的模型。为了实现这种个性化，而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值，我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识，并允许每个客户端针对感兴趣的任意目标分布进行优化，从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置，数据集和本地数据异构性的程度。我们的方法优于现有的替代方案，同时还为个性化FL提供了新功能，例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
A General Theory for Client Sampling in Federated Learning
Inria Sophia Antipolis（索菲亚·安提波利斯国家信息与自动化研究所）；Accenture Labs（埃森哲实验室）
虽然客户端采样是当前最先进的联邦学习（FL）方法的核心操作，但该过程对FL的收敛和速度的影响仍有待研究。在这项工作中，我们提供了一个通用的理论框架来量化客户端的抽样方案和客户端的异质性对联邦优化的影响。首先，我们提供了一个统一的理论基础，以前报道的抽样方案的实验结果之间的关系FL收敛和聚集权重的方差。其次，我们首次证明了FL收敛的质量也受到聚合权重之间的协方差的影响。我们的理论是一般的，并在这里适用于多项分布（MD）和均匀抽样，两个默认的无偏客户端抽样方案的FL，并通过一系列的实验证明在非iid和不平衡的情况下。我们的研究结果表明，MD抽样应作为默认的抽样方案，由于在学习过程中的数据比率的变化的弹性，而均匀抽样是优越的，只有在特殊情况下，当客户端有相同的数据量。
2022-06-14 cs.AI cs.DC cs.LG
Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Imperial College London（伦敦帝国理工学院）
客户端到参数服务器（PS）的间歇性连接是联合边缘学习框架中的主要瓶颈。缺乏恒定的连接性会导致很大的泛化差距，特别是当客户端之间的本地数据分布表现出异质性时。为了克服客户端和中央PS之间的间歇性通信中断，我们引入了协作中继的概念，其中参与的客户端将其邻居的本地更新中继到PS，以提高与PS的连接性差的客户端的参与。我们提出了一个半分散的联邦学习框架，在每个通信回合中，每个客户端最初计算其相邻客户端更新的子集的本地共识，并最终将其自己的更新和其邻居的更新的加权平均值传输到PS。我们适当地优化这些局部共识权重，以确保PS的全局更新是无偏的，方差最小-从而提高收敛速度。对CIFAR-10数据集的数值评估表明，我们的协作中继方法优于基于联邦平均的基准，用于在不连续连接的网络上进行学习，例如当客户端通过毫米波信道进行通信时，间歇性阻塞。
2022-10-21 cs.DC cs.LG cs.MA
Fairness-Aware Client Selection for Federated Learning
Nanyang Technological University (NTU)（南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-新加坡南洋理工大学联合研究院）；Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）
针对联邦学习客户端选择中性能与公平难以平衡的问题，提出基于Lyapunov优化的FairFedCS方法，联合多维度动态调整选择概率，实验验证其在公平性和准确率上均优于现有前沿方法。
2023-07-20 cs.AI cs.DC cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
针对实际联邦学习中客户端非静态不可用性问题，提出轻量高效的FedSWE算法，可补偿错过计算、稳定扩散全局更新，收敛性好且开销小，经实验验证其有效性。
2026-09-07 cs.DC cs.LG math.OC
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Asynchronous Wireless Federated Learning with Probabilistic Client Selection
South China University of Technology（华南理工大学）；Shanghai Jiao Tong University（上海交通大学）；Xidian University（西安电子科技大学）
本文研究异步无线联邦学习中的落后节点问题，提出概率客户端选择与带宽分配联合优化方法，并设计迭代算法全局最优求解非凸问题，以权衡收敛速率与设备能耗。
2023-11-28 cs.DC cs.LG cs.NI
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs（埃森哲实验室）；INRIA Sophia-Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；INRIA Paris（巴黎国立计算机与自动化研究所）；DIENS - PSL（巴黎文理研究大学计算机科学系）
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题，提出SIFU方法，适用于凸与非凸优化，无需额外客户端计算成本，提供正式遗忘质量保证，并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎萨克雷大学）
联邦学习使各方能够在服务器的编排下协作构建全局模型，同时将训练数据保存在客户端的设备上。但是，当客户端具有异构数据时，性能会受到影响。为了解决这个问题，我们假设，尽管数据的异质性，有组的客户端谁拥有类似的数据分布，可以集群。在以前的方法中，为了集群客户端，服务器要求客户端同时发送它们的参数。然而，在存在可能具有有限可用性的大量参与者的上下文中，这可能是有问题的。为了防止这样的瓶颈，我们提出了FLIC（联邦学习与增量聚类），其中服务器利用客户端在联合训练期间发送的更新，而不是要求他们同时发送参数。因此，除了经典的联邦学习所需要的，服务器和客户机之间不需要额外的通信。我们经验证明，对于各种非IID的情况下，我们的方法成功地将客户端分成组，遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明，FLIC是一个强大的防御中毒攻击，即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
A Snapshot of the Frontiers of Client Selection in Federated Learning
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）；University of Sussex（萨塞克斯大学）
联邦学习（FL）是分布式机器学习中的一种隐私保护方法。一个联邦学习架构由一个中央服务器和多个客户端组成，这些客户端可以访问私有的、潜在敏感的数据。客户端能够将数据保存在本地机器中，并且只与管理协作学习过程的中央服务器共享本地训练模型的参数。FL在医疗保健、能源和金融等现实生活场景中取得了可喜的成果。然而，当参与客户端的数量很大时，管理客户端的开销会减慢学习。因此，客户端选择已被引入作为一种策略，以限制在该过程的每一步通信方的数量。由于早期天真的随机选择的客户端，几个客户端选择方法已在文献中提出。不幸的是，由于这是一个新兴领域，缺乏客户选择方法的分类，因此很难比较各种方法。在本文中，我们提出了一个分类的客户端选择在联邦学习，使我们能够阐明目前的进展领域，并确定未来的研究在这个有前途的领域机器学习的潜在领域。
2023-01-02 cs.AI cs.CR cs.DC
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta（阿尔伯塔大学）
本文提出FedSTaS方法，通过客户端分层、最优Neyman分配和本地数据均匀采样，在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
