Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami（迈阿密大学）
本文研究了联邦学习（FL）在一个经典的无线网络，其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络（WFLN）中，优化学习性能至关重要，这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽，因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试，以分配有限的无线资源，以优化FL，他们专注于在个别学习轮的问题，忽略了一个固有的，但关键的特点，联邦学习。本文带来了一个新的长期的视角，资源分配在WFLN，实现学习轮不仅是时间上相互依赖的，但也有不同的意义，对最终的学习成果。为此，我们首先设计数据驱动的实验，以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解，我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束，并开发了一种新的算法，只利用目前可用的无线信道信息，但可以实现长期的性能保证。进一步的实验表明，我们的算法在所需的时间客户端选择模式的结果，是适应不断变化的网络环境，远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia（不列颠哥伦比亚大学）；Purdue University（普渡大学）；Tianjin University（天津大学）
联邦学习（FL）是一种有效的技术，可以直接将边缘设备参与机器学习训练，同时保护客户端隐私。然而，FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输，并且没有考虑FL客户端采样。在本文中，我们提出了一个框架，它结合了新的客户端采样和模型压缩算法，以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端，并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中，GSTYLE FL平均将下游客户端带宽减少了27%，平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
Federated Learning as a Network Effects Game
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）
联邦学习（FL）旨在促进客户群体之间的协作，以提高机器学习的准确性，而无需直接共享本地数据。虽然有丰富的文献设计联邦学习算法，大多数以前的作品隐含地假设，所有的客户端都愿意参与FL计划。在实践中，客户可能不会从加入FL中受益，特别是考虑到与隐私和计算等问题相关的潜在成本。在这项工作中，我们研究了客户在联邦学习中的动机，以帮助服务提供商设计更好的解决方案，并确保客户做出更好的决策。我们是第一个将FL中的客户行为建模为网络效应游戏的公司，每个客户的利益取决于也加入网络的其他客户。使用这种设置，我们分析客户的参与动态和特征的均衡，没有客户有动机改变他们的决定。具体来说，我们表明，在人口动态自然收敛到平衡，而不需要明确的干预。最后，我们提供了一个具有成本效益的支付方案，激励客户端达到理想的平衡时，初始网络是空的。
2023-02-16 cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）；Myant Inc.（迈安特公司）
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的，并且相对较慢，在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法（FLT），通过学习客户端之间的任务相关性来更有效地联合聚合异构数据，从而概括了这一方向。在一个一次性的过程中，服务器为客户端提供一个预先训练（和微调）的编码器，将其数据压缩成潜在的表示，并将其数据的签名传输回服务器。然后，服务器通过流形学习来学习客户端之间的任务相关性，并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图，当没有显式的客户端集群，以及有效地将其分解成（不相交）集群的联邦学习。我们证明，FLT不仅优于现有的国家的最先进的基线在非IID的情况下，但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
Carnegie Mellon University（卡内基梅隆大学）
联邦学习是一种分布式优化范例，它使大量资源有限的客户端节点能够在没有数据共享的情况下协作训练模型。有几篇文章分析了联邦学习的收敛性，包括数据异构性、通信和计算限制以及部分客户端参与。然而，他们假设客户的参与是无偏见的，客户是随机选择的，或者是按照数据大小的比例选择的。在本文中，我们提出了第一个有偏见的客户端选择策略的联邦优化的收敛性分析，并量化选择偏见如何影响收敛速度。我们发现，偏置客户端的选择对客户端具有较高的本地损失实现更快的误差收敛。利用这一洞察力，我们提出了选择的力量，一个通信和计算效率的客户端选择框架，可以灵活地跨越收敛速度和解决方案之间的权衡。我们的实验表明，权力的选择策略收敛到3 $\times$更快，并给出$10$ %的测试精度比基线随机选择。
2020-10-03 cs.DC cs.LG stat.ML
SAFL: Structure-Aware Personalized Federated Learning via Client-Specific Clustering and SCSI-Guided Model Pruning
本文提出SAFL框架，通过客户端特定聚类和SCSI引导的模型剪枝解决联邦学习中的高开销和本地数据不足问题，显著降低计算开销并提升异构数据环境下的推理准确性与模型效率。
2025-01-30 cs.DC cs.LG
Semi-decentralized Federated Time Series Prediction with Client Availability Budgets
Department of Electrical and Software Engineering, University of Calgary（电气与软件工程系，卡尔加里大学）；Department of Geomatics Engineering, University of Calgary（测绘工程系，卡尔加里大学）
针对联邦学习中客户端能量与可用预算受限问题，提出半去中心化客户端选择方法FedDeCAB，通过概率排序选客户端、离线时从近邻获取参数优化，在多场景下均有效。
2025-09-03 cs.DC cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University（杜克大学）
联邦学习使客户端能够协作学习共享的全局模型，而无需与云服务器共享其本地训练数据。然而，恶意客户端可以破坏全局模型，以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而，这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是，给定任何基础联邦学习算法，我们使用该算法学习多个全局模型，每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时，我们在全局模型中进行多数投票。我们表明，我们的集成联邦学习与任何基础联邦学习算法是可证明的安全，对恶意客户端。具体来说，我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外，我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如，当1,000个客户端中有20个是恶意客户端时，我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
FedProto: Federated Prototype Learning across Heterogeneous Clients
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
联邦学习（FL）中，当客户知识在梯度空间中聚集时，客户间的异质性会影响优化收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面不同，这可能容易导致其局部梯度的不对准。为了提高对异构性的容忍度，我们提出了一种新的联邦原型学习（FedProto）框架，在该框架中，客户端和服务器之间的通信抽象类原型，而不是梯度。FedProto将从不同客户端收集的本地原型进行聚合，然后将全局原型发送回所有客户端，以规范本地模型的训练。对每个客户端的训练旨在最大限度地减少本地数据的分类错误，同时保持所产生的本地原型与相应的全局原型足够接近。此外，我们提供了一个理论分析FedProto的收敛速度下的非凸目标。在实验中，我们提出了一个为异构FL量身定制的基准设置，FedProto在多个数据集上的表现优于最近的几种FL方法。
2022-03-05 cs.DC cs.LG
FilFL: Client Filtering for Optimized Client Participation in Federated Learning
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）
本文提出FilFL框架，通过贪心过滤算法定期选择最大化组合目标函数的客户端子集参与训练，以优化联邦学习中的客户端参与，提升模型泛化能力、学习效率与收敛速度，实现约10%的准确率提升。
2024-08-29 cs.AI cs.DC cs.LG
FedAL: Black-Box Federated Knowledge Distillation Enabled by Adversarial Learning
School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
本文提出FedAL框架，通过服务器作为判别器的对抗学习缓解联邦知识蒸馏中的数据异构性问题，并设计少遗忘正则化防止灾难性遗忘，实验证明其准确率优于其他基线方法。
2024-06-02 cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India（IBM印度研究院）
联邦学习（FL）的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中，每个客户端的数据都是私有的，不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注，但在外语教学过程中，如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择（FRCS）。由于服务器对每个客户端拥有的数据的性质没有明确的控制，因此在FL设置中选择相关客户端的问题非常复杂。在本文中，我们解决重要的和相关的FRCS问题，即，选择具有相关数据的客户端，检测拥有与特定目标标签相关的数据的客户端，以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题，并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此，我们提出了一个合作的游戏，涉及到客户端共享的梯度。使用这个游戏，我们计算Shapley值的客户端，然后提出基于Shapley值的联邦平均（S-FedAvg）算法，使服务器选择相关的客户端具有高概率。事实证明，S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后，我们对图像分类和语音识别任务进行了全面的实证分析，以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
FedSS: Federated Learning with Smart Selection of clients
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对联邦学习现有客户端选择机制歧视慢速客户端、导致训练偏见的问题，提出FedSS，通过智能客户端选择与调度在快速收敛和客户端异构性之间取得平衡。
2023-09-26 cs.DC cs.LG cs.NI
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMWare Research（威睿研究院）；The University of Chicago（芝加哥大学）
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题，提出带算力感知调度器的半异步算法FedCompass，兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Towards Client Driven Federated Learning
Southeast University（东南大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对传统联邦学习服务器驱动模式的局限，提出客户端驱动的联邦学习框架CDFL，让客户端异步发起更新，服务器维护聚类模型并优化估计，实现快速适应新任务，提升性能与计算效率。
2024-05-24 cs.DC cs.LG
Optimal Client Sampling for Federated Learning
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
众所周知，客户机-主机通信可能是联邦学习中的主要瓶颈。在这项工作中，我们解决了这个问题，一个新的客户端二次抽样方案，我们限制了客户端的数量允许他们的更新通信回主节点。在每一轮通信中，所有参与的客户端都计算它们的更新，但只有那些具有“重要”更新的客户端才与主服务器通信。我们表明，重要性可以衡量，只使用规范的更新，并给出了一个公式，最佳的客户端参与。这个公式最小化了完全更新（所有客户端都参与）和有限更新（参与客户端的数量受到限制）之间的距离。此外，我们提供了一个简单的算法，近似的客户端参与，这只需要安全的聚合，从而不会损害客户端的隐私的最佳公式。我们从理论上和经验上表明，对于分布式SGD（DSGD）和联邦平均（FedAvg），我们的方法的性能可以接近充分参与，并优于参与客户端均匀采样的基线。此外，我们的方法是正交的，并与现有的方法，以减少通信开销，如本地方法和通信压缩方法兼容。
2022-08-22 cs.DC cs.LG
Debiasing Federated Learning with Correlated Client Participation
Northwestern University（西北大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对跨设备联邦学习中客户端非均匀、跨轮相关参与导致的偏差，本文用马尔可夫链建模并分析最小间隔机制，提出可在未知可用性分布下收敛至无偏最优解的 FedAvg 去偏算法。
2024-10-02 cs.DC cs.LG
Federated Self-supervised Learning for Heterogeneous Clients
University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习由于其隐私性和计算性的优点而成为一种重要的学习范式。随着该领域的发展，仍然需要解决的两个关键挑战是：（1）系统异构性-每个客户端上存在的计算和/或数据资源的可变性，以及（2）在某些联合设置中缺乏标记数据。最近的一些事态发展试图独立地克服这些挑战。在这项工作中，我们提出了一个统一的和系统的框架，\emph{Heterogeneous Self-supervised Federated Learning}（异质SSFL），使自监督学习与联邦异构客户端。所提出的框架允许协作表示学习在所有的客户端，而不施加架构约束或要求存在的标记数据。Hetero-SSFL的核心思想是让每个客户端训练其独特的自监督模型，并通过在公共数据集上对齐低维表示来实现跨客户端的联合学习。整个训练过程可以被视为自我和同行监督，因为本地训练和对齐过程都不需要存在任何标记数据。与传统的自监督学习一样，所获得的客户端模型与任务无关，可以用于不同的终端任务。我们提供了一个收敛性的保证，所提出的框架，在异构环境中的非凸目标，也经验证明，我们提出的方法优于最先进的方法的显着利润率。
2022-05-31 cs.DC cs.LG
Efficient Client Selection in Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架，在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University（成均馆大学）
客户贡献评估，也称为数据估值，是联邦学习（FL）中客户选择和激励分配的关键方法。然而，由于原始数据的可访问性的限制，只有有限的信息，如每个客户端的本地权重和本地数据大小是开放的，以量化客户端的贡献。利用现有信息的数据大小，我们引入了一种经验评估方法，称为联邦客户贡献评估通过准确性近似（FedCCEA）。该方法建立了准确度近似模型（AAM），以样本数据量为输入，估计模拟测试的准确度，提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势：（1）支持客户端的数据大小选择，（2）无论客户端数量如何，都有可行的评估时间，以及（3）在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比，以前的方法，通过几个实验：客户端的贡献分布，客户端删除，部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Client Selection Approach in Support of Clustered Federated Learning over Wireless Edge Networks
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
针对数据不平衡、非独立同分布的情况，提出了一种有效的联合多任务学习方法（CFL）.（非独立和同分布）时尚之间的客户。虽然相似性度量指标（如余弦相似性）可用于为客户端组赋予专门的模型，但此过程可能很艰巨，因为服务器应在每一轮联邦学习中涉及所有客户端。因此，由于网络边缘的有限带宽和延迟约束，必须定期选择客户端的子集。为此，本文提出了一种新的客户端选择算法，旨在加快收敛速度，以获得专门的机器学习模型，实现高测试精度的所有客户端组。具体来说，我们引入了一种客户端选择方法，利用设备的异构性，根据其轮延迟来调度客户端，并利用带宽重用的客户端，消耗更多的时间来更新模型。然后，服务器执行模型平均并基于预定义的阈值对客户端进行聚类。当一个特定的集群到达一个稳定点，该算法使用贪婪调度算法，该组通过选择具有较少的延迟来更新模型的客户端。大量的实验表明，该方法降低了训练时间，加快了收敛速度高达50%，同时为每个客户端注入了适合其本地数据分布的专用模型。
2021-08-16 cs.DC cs.LG
Federated Graph Learning with Graphless Clients
University of Virginia（弗吉尼亚大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
针对部分客户端仅有节点特征而无图结构的联邦图学习问题，提出框架FedGLS，通过本地图学习器、特征编码器与GNN模型结合知识蒸馏机制实现结构知识跨客户端传输，实验证明其优于五个基线。
2024-11-13 cs.DC cs.LG
Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients
University of Delaware（特拉华大学）
针对联邦学习在未知客户端上泛化差且难以扩展的问题，提出利用隐私保护客户端拓扑的 TFL 框架，并验证其 OOF 鲁棒性与可扩展性。
2024-07-06 cs.DC cs.LG
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
针对联邦学习客户端优化中加速与稳定性难以兼顾的问题，提出FedCAda，通过客户端Adam矩估计自适应修正和服务器端参数聚合，在CV与NLP任务上实现更优收敛、稳定性和整体性能。
2024-05-20 cs.DC cs.LG
Heterogeneity-Aware Client Selection Methodology For Efficient Federated Learning
University of Oregon, US（俄勒冈大学）；Boston College, US（波士顿学院）；Microsoft Research, India（微软研究院）
Terraform通过梯度更新和确定性算法选择异质性客户端，提升联邦学习的准确率至47%以上。
2026-02-24 cs.DC cs.LG
Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning
University of Science and Technology of China（中国科学技术大学）
联邦学习（FL）允许多个客户机协作训练模型而不公开本地数据。然而，现有的工作未能解决所有这些实际问题在FL：有限的通信资源，动态的网络条件和异构的客户端属性，这减慢了FL的收敛。为了解决上述挑战，我们提出了一个异构性感知FL框架，称为FedCG，自适应客户端选择和梯度压缩。具体地，参数服务器（PS）考虑统计异质性选择代表性客户端子集，并将全局模型发送给它们。在本地训练之后，这些选定的客户端将与其能力相匹配的压缩模型更新上传到PS以进行聚合，这显著地减轻了通信负载并减轻了掉队者效应。我们从理论上分析了客户端选择和梯度压缩对收敛性能的影响。在导出的收敛速度的指导下，我们开发了一种基于迭代的算法，使用子模最大化和线性规划来联合优化客户端选择和压缩比决策。在真实世界的原型和模拟上的大量实验表明，与其他方法相比，FedCG可以提供高达5.3 $\times$的加速比。
2022-12-19 cs.DC cs.LG
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies（HCL科技公司）
联邦学习（FL）是一种新兴技术，用于协作训练全局机器学习模型，同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同（非IID）数据分布，这会减慢收敛速度并降低性能。为了解决这个根本问题，我们提出了一种方法（ComFed），它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明，ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
The Hong Kong University of Science and Technology（香港科技大学）；Southeast University（东南大学）
针对异构客户端下FedAvg同步慢的问题，提出异步联邦学习框架DeFedAvg，允许客户端按自身节奏使用陈旧模型训练，在保证收敛速率的同时首次实现线性加速。
2024-02-17 cs.DC cs.LG
Greedy Shapley Client Selection for Communication-Efficient Federated Learning
IIT Bombay（印度理工学院孟买分校）；Aalborg University（奥尔堡大学）
针对联邦学习中客户端异质性导致收敛慢的问题，提出基于Shapley值快速近似的贪心客户端选择策略GreedyFed，在通信轮次受限下实现快速稳定收敛和高精度。
2024-02-07 cs.DC cs.LG
TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients
Technical University of Munich（慕尼黑工业大学）
针对联邦学习中客户端计算受限导致的收敛慢问题，提出TurboSVM-FL聚合策略，利用SVM进行选择性聚合和最大间隔正则化，在不增加客户端负担下加速收敛，并在多个数据集上优于现有算法。
2025-04-25 cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
RobustFSM: Submodular Maximization in Federated Setting with Malicious Clients
Department of Computer Science, University of Massachusetts, Boston, USA（计算机科学系，马萨诸塞大学波士顿分校）
针对联邦子模最大化中恶意客户端共享虚假信息的问题，本文提出鲁棒的RobustFSM方案，并通过真实数据集验证其在严重攻击下解质量可显著优于传统联邦算法，提升幅度最高达200%。
2025-11-08 cs.AI cs.DC cs.LG
StoCFL: A Stochastically Clustered Federated Learning Framework for Non-IID Data with Dynamic Client Participation
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Meta AI
本文提出StoCFL，一种随机聚类联邦学习框架，通过灵活支持任意比例客户端参与和新客户端加入，解决非独立同分布数据下的性能下降问题，并在未知聚类数下取得优于基线的结果。
2026-10-02 cs.CL cs.LG
FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning
Duke University（杜克大学）；Tsinghua University（清华大学）
在联邦学习（FL）中，客户端数据异构性是阻碍有效训练的主要问题之一。由于每个客户端上的数据分布可能会有很大的不同，客户端选择策略可以显着影响FL过程的收敛速度。主动客户选择策略是近年来研究的热点。然而，他们忽略了客户端之间的损失相关性，并实现了边际改善相比，统一的选择策略。在这项工作中，我们提出了FedCor --一个建立在基于相关性的客户选择策略上的FL框架，以提高FL的收敛速度。具体来说，我们首先使用高斯过程（GP）对客户之间的损失相关性进行建模。基于GP模型，我们得到了一个客户端选择策略，在每一轮的预期全球损失显着减少。此外，我们开发了一个有效的GP训练方法，在FL场景下，通过利用协方差平稳性的低通信开销。实验结果表明，与现有方法相比，FedCorr算法在FMNIST和CIFAR-10上的收敛速度分别提高了$34\%\sim 99\%$和$26\%\sim 51\%$.
2022-03-24 cs.DC cs.LG
Adaptive Determinantal Client Scheduling in Federated Learning
University of Toronto（多伦多大学）；Ericsson（爱立信）
针对联邦学习中客户端调度忽视多样性的问题，提出基于行列式点过程的自适应调度算法ADCS，实现质量-多样性权衡，并给出收敛性分析，实验证明其优于现有算法。
2026-09-22 cs.DC cs.LG
Unlocking Dynamic Inter-Client Spatial Dependencies: A Federated Spatio-Temporal Graph Learning Method for Traffic Flow Forecasting
针对联邦场景下交通流预测难以建模动态客户端间空间依赖的问题，提出FedSTGD框架，通过分解模块、嵌入增强模块与协同协议实现动态依赖建模，实验证明其性能优于现有联邦基线、接近集中式方法且鲁棒性强。
2025-11-13 cs.DC cs.LG
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno（内华达大学拉斯维加斯分校）
提出Fed-pilot框架，通过背包优化选择LoRA模块子集，并采用动态补偿聚合规则，解决异构客户端内存约束下的联邦微调问题，实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
Anomalous Client Detection in Federated Learning
University of Calabria（卡拉布里亚大学）
针对联邦学习中的恶意攻击和客户端漂移问题，提出异常客户端检测算法，通过移除异常客户端提升系统安全与效率，相比随机选择减少约50%通信轮次。
2024-11-03 cs.CR cs.DC cs.LG
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；Duke University（杜克大学）
针对不完整客户端参与问题，本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性，并提出SAFARI算法，享有线性收敛加速保证，实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Adaptive Federated Learning with Auto-Tuned Clients
Rice University（莱斯大学）
本文提出Δ-SGD步长规则，使联邦学习中各客户端能根据局部平滑度自动调整自身步长，从而解决客户端超参数调优难题，并通过理论与实验验证了其优势。
2024-05-02 cs.DC cs.LG math.OC
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
针对联邦学习中异构非平稳的客户端不可用问题，提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法，可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
异构边缘网络上的通信是联邦学习（FL）中的一个基本瓶颈，限制了模型容量和用户参与。为了解决这个问题，我们引入了两种新的策略来降低通信成本：（1）在服务器到客户端发送的全局模型上使用有损压缩;以及（2）联合丢弃，它允许用户在全局模型的较小子集上有效地本地训练，并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明，这些策略，结合现有的压缩方法的客户端到服务器的通信，共同提供了一个$14\times$减少服务器到客户端的通信，一个$1.7\times$减少本地计算，和一个$28\times$减少上传通信，所有没有降低最终模型的质量。因此，我们全面降低了FL对客户端设备资源的影响，允许训练更高容量的模型，并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习作为一种分布式机器学习方法越来越受欢迎，可用于部署依赖AI的物联网应用程序，同时保护客户端数据隐私和安全。由于客户端的差异性，单一的全局模型不一定能在所有客户端上表现良好，因此为每个客户端训练更适合其个性化需求的个性化模型的个性化联邦学习方法成为研究热点。然而，大多数个性化的联邦学习研究都集中在数据异构性上，而忽略了模型架构异构性的需求。现有的大多数联邦学习方法都统一设置了所有参与联邦学习的客户端的模型架构，这对于每个客户端的个体模型和本地数据分布要求都不方便，也增加了客户端模型泄露的风险。提出了一种基于协同训练和生成对抗网络（GANs）的联邦学习方法，允许每个客户端设计自己的模型独立参与联邦学习训练，而无需与其他客户端或中心共享任何模型架构或参数信息。在我们的实验中，所提出的方法优于现有的方法在平均测试精度的42%时，客户端的模型架构和数据分布变化显着。
2022-02-18 cs.LG
Federated Continual Learning with Weighted Inter-client Transfer
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
人们对持续学习和联邦学习的兴趣激增，这两种学习在现实世界的深度神经网络中都很重要。然而，对于每个客户端从私人本地数据流中学习一系列任务的场景，人们几乎没有进行过研究。这种联合持续学习的问题对持续学习提出了新的挑战，例如利用来自其他客户端的知识，同时防止不相关知识的干扰。为了解决这些问题，我们提出了一种新的联邦持续学习框架，联邦加权客户端间传输（FedWeIT），它将网络权重分解为全局联邦参数和稀疏的任务特定参数，每个客户端从其他客户端接收选择性的知识，通过采取加权组合的任务特定参数。FedWeIT最大限度地减少了不兼容任务之间的干扰，并允许在学习过程中跨客户进行积极的知识转移。我们验证了我们的FedWeIT对现有的联邦学习和持续学习方法在不同程度的任务相似性的客户端，我们的模型显着优于他们的通信成本大幅降低。代码可在www.example.com上获得
2021-06-14 cs.LG stat.ML
Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection
Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）是一种分布式机器学习范式，允许客户端在自己的本地数据上协作训练模型。FL保证了客户端的隐私，其安全性可以通过诸如加性同态加密（HE）的密码学方法来加强。然而，FL的效率可能会严重受到客户之间的数据分布差异和全局分布偏度的统计异质性的影响。我们从数学上证明了FL性能下降的原因，并在各种数据集上检查FL的性能。为了解决统计异质性问题，我们提出了一种可插拔的系统级客户端选择方法Dubhe，它允许客户端主动参与训练，同时在HE的帮助下保护他们的隐私。实验结果表明，Dubhe算法在分类精度上与最优贪婪算法相当，而加密和通信开销可以忽略不计。
2021-09-08 cs.CR cs.DC cs.LG
Random Client Selection on Contrastive Federated Learning for Tabular Data
Department of Computing, The Hong Kong Polytechnic University（计算机学院，香港理工大学）
针对对比联邦学习仍易受梯度攻击的隐私问题，本文通过全面实验分析验证了随机客户端选择作为防御策略的有效性，为构建更安全的协作学习框架提供参考。
2025-05-16 cs.CR cs.DC cs.LG
Personalized Federated Learning with First Order Model Optimization
Stanford University（斯坦福大学）；NVIDIA（英伟达）
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型，但一个模型可能并不总是适合所有参与的客户端。在这里，我们提出了一种替代方案，每个客户端只与其他相关客户端联合，以获得每个客户端特定目标的更强大的模型。为了实现这种个性化，而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值，我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识，并允许每个客户端针对感兴趣的任意目标分布进行优化，从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置，数据集和本地数据异构性的程度。我们的方法优于现有的替代方案，同时还为个性化FL提供了新功能，例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization
Yale University（耶鲁大学）
联邦学习已经被广泛研究，并且是边缘设备中隐私保护分布式学习的流行方法。相应地，持续学习是一个新兴的领域，旨在学习多个任务顺序。然而，很少有人注意到联邦聚合在持续学习系统中执行时出现的额外挑战。我们确定\textit{client drift}的主要弱点之一，出现香草联邦平均时，在这样的系统中，特别是因为每个客户端可以独立地有不同的任务顺序。我们概述了执行联邦持续学习（FCL）的框架，通过使用NetTailor作为候选人的持续学习的方法，并显示客户端漂移的问题的程度。我们表明，自适应联邦优化可以减少客户端漂移的不利影响，并展示其在CIFAR100，MiniImagenet和Decathlon基准测试中的有效性。此外，我们还提供了一个实证分析，强调了不同超参数之间的相互作用，如客户端和服务器学习率，本地训练迭代次数和通信回合。最后，我们评估了我们的框架的有用特性的联邦学习系统，如可扩展性，鲁棒性的偏斜客户端的数据分布，和掉队。
2022-03-24 cs.AI cs.LG
A Snapshot of the Frontiers of Client Selection in Federated Learning
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）；University of Sussex（萨塞克斯大学）
联邦学习（FL）是分布式机器学习中的一种隐私保护方法。一个联邦学习架构由一个中央服务器和多个客户端组成，这些客户端可以访问私有的、潜在敏感的数据。客户端能够将数据保存在本地机器中，并且只与管理协作学习过程的中央服务器共享本地训练模型的参数。FL在医疗保健、能源和金融等现实生活场景中取得了可喜的成果。然而，当参与客户端的数量很大时，管理客户端的开销会减慢学习。因此，客户端选择已被引入作为一种策略，以限制在该过程的每一步通信方的数量。由于早期天真的随机选择的客户端，几个客户端选择方法已在文献中提出。不幸的是，由于这是一个新兴领域，缺乏客户选择方法的分类，因此很难比较各种方法。在本文中，我们提出了一个分类的客户端选择在联邦学习，使我们能够阐明目前的进展领域，并确定未来的研究在这个有前途的领域机器学习的潜在领域。
2023-01-02 cs.AI cs.CR cs.DC
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
A General Theory for Client Sampling in Federated Learning
Inria Sophia Antipolis（索菲亚·安提波利斯国家信息与自动化研究所）；Accenture Labs（埃森哲实验室）
虽然客户端采样是当前最先进的联邦学习（FL）方法的核心操作，但该过程对FL的收敛和速度的影响仍有待研究。在这项工作中，我们提供了一个通用的理论框架来量化客户端的抽样方案和客户端的异质性对联邦优化的影响。首先，我们提供了一个统一的理论基础，以前报道的抽样方案的实验结果之间的关系FL收敛和聚集权重的方差。其次，我们首次证明了FL收敛的质量也受到聚合权重之间的协方差的影响。我们的理论是一般的，并在这里适用于多项分布（MD）和均匀抽样，两个默认的无偏客户端抽样方案的FL，并通过一系列的实验证明在非iid和不平衡的情况下。我们的研究结果表明，MD抽样应作为默认的抽样方案，由于在学习过程中的数据比率的变化的弹性，而均匀抽样是优越的，只有在特殊情况下，当客户端有相同的数据量。
2022-06-14 cs.AI cs.DC cs.LG
