MDA: Availability-Aware Federated Learning Client Selection
University of Calgary(卡尔加里大学);York University(约克大学)
最近,一个新的分布式学习方案称为联邦学习(FL)已经推出。FL的设计使服务器永远不会收集用户拥有的数据,这意味着它在保护隐私方面做得很好。FL的过程从服务器向客户端发送模型开始,然后客户端使用其数据训练该模型,并将更新后的模型发送回服务器。之后,服务器聚合所有更新并修改全局模型。重复这个过程,直到模型收敛。这项研究的重点是一个FL设置称为跨设备FL,培训的基础上,大量的客户端。由于许多设备在跨设备FL中可能不可用,并且服务器和所有客户端之间的通信成本极高,因此在每一轮中只有一小部分客户端被选择用于训练。在vanilla FL中,客户端是随机选择的,这导致了可接受的准确性,但从整体培训时间的角度来看并不理想,因为一些客户端速度很慢,可能会导致一些培训轮很慢。如果只选择快速客户端,学习速度会加快,但它将只偏向快速客户端的数据,准确性会降低。因此,提出了新的客户选择技术,通过考虑个人客户的资源和速度来缩短培训时间。本文介绍了第一个可用性感知的选择策略称为MDA。结果表明,我们的方法使学习速度比vanilla FL快6.5%。此外,我们表明,资源异质性感知技术是有效的,但当与我们的方法相结合时,可以变得更好,使其比最先进的选择器快16%。最后,与只选择快速客户端的客户端选择器相比,我们的方法选择了更多独特的客户端进行训练,这减少了我们技术的偏差。
2022-11-25 cs.LG
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology(罗切斯特理工学院);The Ohio State University(俄亥俄州立大学);Wayne State University(韦恩州立大学);Duke University(杜克大学)
针对不完整客户端参与问题,本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性,并提出SAFARI算法,享有线性收敛加速保证,实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning
Fudan University(复旦大学)
知识蒸馏作为联邦学习服务器上的模型聚合方法,最近变得流行起来。通常假设服务器上存在大量的公共未标记数据。然而,在现实中,服务器域和客户端域的数据集之间存在域差异,这限制了知识蒸馏的性能。如何在这样的领域差异设置下提高聚合仍然是一个悬而未决的问题。本文首先分析了客户领域知识蒸馏所产生的聚合模型的泛化界,然后描述了领域差异给聚合模型带来的两个挑战:服务器到客户端差异和客户端到客户端差异。在此基础上,提出了一种基于领域差异感知的自适应知识聚合算法FedD3A。FedD3A在每轮FL中在样本级别执行自适应加权。对于服务器域中的每个样本,仅选择其相似域的客户端模型来扮演教师角色。为了实现这一点,我们表明,服务器端的样本和客户端域之间的差异可以近似测量使用子空间投影矩阵计算每个客户端,而无需访问其原始数据。因此,服务器可以利用来自多个客户端的投影矩阵来为每个服务器端样本的对应教师模型分配权重。我们在两个流行的跨域数据集上验证了FedD3A,并表明它在跨竖井和跨设备FL设置中优于比较的竞争对手。
2022-10-04 cs.AI cs.LG
DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning
University of Cambridge(剑桥大学)
联邦学习(FL)是一种强大的技术,用于以隐私保护的方式使用来自多个客户端的数据在服务器上训练模型。在FL中,服务器将模型发送给每个客户端,然后客户端在本地训练模型并将其发送回服务器。服务器聚合更新的模型并重复该过程几轮。FL会产生很大的通信成本,特别是在将更新的本地模型从客户端传输回服务器时。最近提出的算法优化模型参数,以有效地压缩FL通信。这些算法通常具有控制压缩因子的量化级别。我们发现,动态适应的量化级别可以提高压缩,而不牺牲模型的质量。首先,我们引入了一种时间自适应量化算法,随着训练的进行,该算法增加了量化级别。其次,我们引入了一种客户端自适应量化算法,该算法在每一轮为每个客户端分配最佳量化级别。最后,我们将这两种算法结合成DAdaQuant,双自适应量化算法。我们的实验表明,DAdaQuant始终提高客户端$\rightarrow$服务器压缩,性能优于最强的非自适应基线高达$2.8\times$。
2021-10-31 cs.LG
GAS: Generative Activation-Aided Asynchronous Split Federated Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对异步分割联邦学习中激活异步传输导致的模型更新偏差问题,提出生成式激活辅助的异步SFL(GAS),通过生成激活来校正更新,并推导更紧的收敛界,实验验证有效性。
2024-12-14 cs.DC cs.LG
FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion
Fudan University(复旦大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
如今,数据通常分散在数十亿资源受限的边缘设备中,这些设备具有安全和隐私限制。联邦学习(Federated Learning,FL)已经成为一种可行的学习全局模型同时保持数据私有性的解决方案,但是FL的模型复杂度受到边缘节点计算资源的限制。在这项工作中,我们研究了一种新的范式,利用一个强大的服务器模型,突破模型容量FL。通过选择性地学习多个教师客户端和自己,服务器模型开发深入的知识,并将其知识转移回客户端,以提高各自的性能。我们提出的框架在服务器和客户端模型上实现了卓越的性能,并在统一的框架中提供了几个优点,包括异构客户端架构的灵活性,对中毒攻击的鲁棒性,以及客户端和服务器之间在各种图像分类任务上的通信效率。
2021-12-07 cs.AI cs.LG
Towards Client Driven Federated Learning
Southeast University(东南大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对传统联邦学习服务器驱动模式的局限,提出客户端驱动的联邦学习框架CDFL,让客户端异步发起更新,服务器维护聚类模型并优化估计,实现快速适应新任务,提升性能与计算效率。
2024-05-24 cs.DC cs.LG
Personalized Federated Learning with Server-Side Information
snu(首尔国立大学)
个性化联邦学习是一个新兴的研究领域,它在客户端数据异构的情况下学习一个易于适应的全局模型。然而,个性化FL的主要挑战之一是严重依赖客户端的计算资源来计算高阶梯度,因为客户端数据与服务器隔离以确保隐私。为了解决这个问题,我们专注于一个问题设置,服务器可能拥有自己的数据独立于客户端的数据-在各种应用程序中普遍存在的问题设置,但在现有的文献中相对未被探索。具体来说,我们提出了FedSIM,个性化FL的一种新方法,积极利用这些服务器数据,以提高个性化性能的服务器中的元梯度计算。在实验中,我们通过各种基准测试和消融证明,FedSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,计算效率更高,收敛速度快34.2%。
2022-06-13 cs.AI cs.LG
Remote Rowhammer Attack using Adversarial Observations on Federated Learning Clients
Faculty of Engineering & Applied Sciences, Cranfield University(工程与应用科学学院,克兰菲尔德大学);Queen’s University Belfast(女王大学贝尔法斯特分校)
本文提出通过攻击联邦学习客户端引发服务器内存行锤攻击,利用强化学习攻击者操控客户端传感器观测以实现高频内存更新,导致服务器DRAM位翻转,影响学习过程与权限。
2026-10-22 cs.AI cs.CR cs.LG
CATFL: Certificateless Authentication-based Trustworthy Federated Learning for 6G Semantic Communications
Shanghai Jiao Tong University(上海交通大学);Hangzhou Normal University(杭州师范大学);Shanghai Normal University(上海师范大学)
联邦学习(FL)提供了一种用于协作训练语义通信系统的语义编码器/解码器模型的新兴方法,而无需私有用户数据离开设备。现有可信FL的研究大多以消除恶意客户端产生的数据投毒威胁为目标,但在很多情况下,消除伪服务器带来的模型投毒攻击也是一个重要目标。本文提出了一种基于无证书认证的可信联邦学习(CATFL)框架,实现了客户端和服务器端的身份相互认证。在CATFL中,每个客户端在接受交付的全局模型之前验证服务器的签名信息,以确保全局模型不是由虚假服务器交付的。相反,服务器还在接受所传递的模型更新之前验证服务器的签名信息,以确保它们是由授权的客户端提交的。与基于PKI的方法相比,CATFL可以避免过高的证书管理开销。同时,客户端的匿名性屏蔽了数据投毒攻击,而实名注册则可能遭遇用户特定隐私泄露风险。因此,在CATFL中还提出了一个假名生成策略,以实现身份可追溯性和用户匿名性之间的权衡,这是必要的,有条件地防止特定于用户的隐私泄漏。理论安全性分析和评估结果验证了CATFL的优越性。
2023-02-01 cs.CR cs.LG cs.NI
FedMMKT:Co-Enhancing a Server Text-to-Image Model and Client Task Models in Multi-Modal Federated Learning
Institute for AI Industry Research, Tsinghua University(人工智能产业研究院,清华大学);School of Software Engineering, Nankai University(软件工程学院,南开大学);Department of Computing, Hong Kong Polytechnic University(计算机学院,香港理工大学);AsiaInfo Technologies(亚信息科技);China-Austria Belt and Road Joint Laboratory on Artificial Intelligence and Advanced Manufacturing, Hangzhou Dianzi University(人工智能与先进制造联合实验室,杭州电子科技大学)
本文提出FedMMKT框架,利用去中心化多模态数据协同增强服务器T2I模型与客户端任务模型,在保护隐私的同时提升任务适配能力。
2025-10-14 cs.LG
Enhancing Robustness of Federated Learning via Server Learning
National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);University of Maryland, College Park(马里兰大学帕克分校);Tata Consultancy Services Research(塔塔咨询服务公司研究院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出结合服务器学习与客户端更新过滤的启发式算法,通过几何中位数聚合提升联邦学习在恶意攻击下的模型准确率,即使在恶意客户端比例高达50%且服务器数据集较小的情况下也有效。
2026-04-03 cs.AI cs.LG
COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication
Washington University in St. Louis(华盛顿大学圣路易斯分校)
COSMOS通过伪标签通信实现服务器端个性化,利用客户端本地模型预测公共数据并聚类,训练集群特定模型并回传知识蒸馏,理论分析显示其能有效降低个性化风险,实验验证其在异构环境中优于现有基线方法。
2026-10-21 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
数据异构的联邦学习(FL)系统存在两个重要的收敛误差来源:1)在客户端执行多个局部优化步骤导致的客户端漂移误差; 2)只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现,其中,只有前者在文献中得到了显着的关注。为了弥补这一点,我们提出了FedVARP,一种新的方差减少算法应用在服务器上,消除了错误,由于部分客户端的参与。为此,服务器只需在内存中维护每个客户端的最新更新,并在每一轮中使用这些更新作为非参与客户端的代理更新。此外,为了减轻在服务器上的内存需求,我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同,FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验,我们表明,FedVARP优于国家的最先进的方法,和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
Blockchain-based Secure Client Selection in Federated Learning
University of Florida(佛罗里达大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
尽管联邦学习(FL)在大规模分布式学习中具有巨大的潜力,但由于客户端训练的本地模型暴露于中央服务器,当前系统仍然受到一些隐私问题的影响。因此,FL的安全聚合协议已经被开发出来,以隐藏服务器的本地模型。然而,我们表明,通过操纵客户端的选择过程中,服务器可以绕过安全聚合学习受害者客户端的本地模型,表明安全聚合本身是不够的隐私保护。为了解决这个问题,我们利用区块链技术提出了一个可验证的客户端选择协议。由于区块链的不变性和透明性,我们提出的协议强制随机选择客户端,使服务器无法自行控制选择过程。我们目前的安全证明表明,我们的协议是安全的,对这种攻击。此外,我们在类似以太坊的区块链上进行了几次实验,以证明我们的解决方案的可行性和实用性。
2022-05-11 cs.CR cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India(IBM印度研究院)
联邦学习(FL)的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中,每个客户端的数据都是私有的,不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注,但在外语教学过程中,如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择(FRCS)。由于服务器对每个客户端拥有的数据的性质没有明确的控制,因此在FL设置中选择相关客户端的问题非常复杂。在本文中,我们解决重要的和相关的FRCS问题,即,选择具有相关数据的客户端,检测拥有与特定目标标签相关的数据的客户端,以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题,并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此,我们提出了一个合作的游戏,涉及到客户端共享的梯度。使用这个游戏,我们计算Shapley值的客户端,然后提出基于Shapley值的联邦平均(S-FedAvg)算法,使服务器选择相关的客户端具有高概率。事实证明,S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后,我们对图像分类和语音识别任务进行了全面的实证分析,以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA(法国原子能与替代能源委员会 LIST 研究所);Université Paris-Saclay(巴黎萨克雷大学)
联邦学习使各方能够在服务器的编排下协作构建全局模型,同时将训练数据保存在客户端的设备上。但是,当客户端具有异构数据时,性能会受到影响。为了解决这个问题,我们假设,尽管数据的异质性,有组的客户端谁拥有类似的数据分布,可以集群。在以前的方法中,为了集群客户端,服务器要求客户端同时发送它们的参数。然而,在存在可能具有有限可用性的大量参与者的上下文中,这可能是有问题的。为了防止这样的瓶颈,我们提出了FLIC(联邦学习与增量聚类),其中服务器利用客户端在联合训练期间发送的更新,而不是要求他们同时发送参数。因此,除了经典的联邦学习所需要的,服务器和客户机之间不需要额外的通信。我们经验证明,对于各种非IID的情况下,我们的方法成功地将客户端分成组,遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明,FLIC是一个强大的防御中毒攻击,即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
DisAgg通过分布式聚合器实现高效安全聚合,减少通信轮次和计算开销,提升10万维更新向量处理速度达4.6倍。
2026-05-13 cs.CR cs.DC cs.LG
Agentic Federated Learning: Rule-Based Client and Server Agents for Adaptive Training
Model Engineering College(模范工程学院);APJ Abdul Kalam Technological University(APJ阿卜杜勒·卡拉姆技术大学)
本文提出智能体联邦学习(AFL)框架,通过客户端侧智能体(CSA)和服务器端编排智能体(SSOA)实现自适应训练,在CIFAR-10上优于FedAvg和FedProx,提升准确率、鲁棒性和通信效率。
2026-09-30 cs.LG cs.MA
LEFL: Low Entropy Client Sampling in Federated Learning
Iowa State University(爱荷华州立大学)
提出LEFL联邦学习客户端采样策略,基于模型高层特征对客户端进行一次性隐私保护聚类并分层采样,降低数据相对熵,使全局模型收敛率最高提升7.4%并减少通信轮次。
2024-02-13 cs.LG
FEDZIP: A Compression Framework for Communication-Efficient Federated Learning
Semnan University(塞姆南大学);Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);Boston University(波士顿大学)
联邦学习通过保护用户隐私和保护原始数据免受第三方访问,标志着无线设备分散式机器学习(尤其是深度学习)实现的转折点。它将学习过程独立分配给每个客户。首先,客户端基于本地数据本地训练机器学习模型。接下来,客户端将模型权重和偏差的本地更新(训练数据)传输到服务器。然后,服务器聚合(从客户端接收的)更新以创建全局学习模型。然而,由于深度学习模型使用大量参数(权重和偏差),客户端和服务器之间的连续传输增加了通信成本,并且从资源利用的角度来看是低效的。当捐款客户和沟通回合数增加时,沟通成本成为一个更大的问题。在这项工作中,我们提出了一个新的框架,FedZip,显着减少更新的大小,同时从客户端和服务器之间的深度学习模型转移权重。FedZip实现了Top-z稀疏化,使用量化和聚类,并使用三种不同的编码方法实现压缩。FedZip优于最先进的压缩框架,压缩率高达1085倍,并在通信过程中为客户端保留高达99%的带宽和99%的能量。
2021-02-02 cs.LG
Incentive Mechanism Design for Unbiased Federated Learning with Randomized Client Participation
Duke Kunshan University(昆山杜克大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Yale University(耶鲁大学)
本文针对联邦学习中因预算和异构性导致的固定子集参与偏差问题,提出基于随机客户端参与的博弈论激励机制,通过定制定价和收敛界分析实现无偏高性能模型,并验证其能同时提升服务器模型性能和客户端收益。
2023-04-17 cs.AI cs.GT cs.LG
Timely Asynchronous Hierarchical Federated Learning: Age of Convergence
University of Maryland, College Park(马里兰大学帕克分校)
本研究针对客户端-边缘-云架构的异步分层联邦学习,提出在固定平均及时性下,将节点划分为常数个集群可概率性保证有限时间收敛,为密集客户端场景提供了收敛性分析。
2023-06-21 cs.DC cs.IT cs.LG
FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
Yidu Cloud Technology Inc.(医渡云科技有限公司);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Army Engineering University of PLA(中国人民解放军陆军工程大学)
在这项工作中,我们提出了FedSSO,服务器端二阶优化方法的联邦学习(FL)。与以前在这个方向上的工作相比,我们采用了服务器端近似的拟牛顿方法,而不需要任何训练数据从客户端。通过这种方式,我们不仅将计算负担从客户端转移到服务器,而且完全消除了客户端和服务器之间的二阶更新的额外通信。我们提供了理论保证,我们的新方法的收敛性,并实证证明我们的快速收敛和通信节省在凸和非凸设置。
2022-08-23 cs.AI cs.LG math.OC
Accelerating Hybrid Federated Learning Convergence under Partial Participation
University of Miami(迈阿密大学);University of Virginia(弗吉尼亚大学)
针对部分参与制约混合联邦学习收敛速度的问题,提出FedCLG算法,通过发挥服务器本地训练与梯度引导的双重作用提升收敛效率,实验验证其性能优于现有最优方法。
2024-05-18 cs.DC cs.LG
DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
联邦学习(FL)范式在异构客户端数据下面临挑战。在非iid分布数据上进行局部训练会导致局部最优值偏离,这会导致客户端模型彼此偏离,从而降低聚合全局模型的性能。一个自然的解决方案是将所有客户端数据收集到服务器上,这样服务器就可以全局查看整个数据分布。不幸的是,这减少了定期培训,这损害了客户的隐私,并与FL的目的相冲突。在本文中,我们提出了一个想法,在服务器上收集和利用全球知识,而不妨碍数据隐私。我们从全球模型的动态轨迹中挖掘出这样的知识。具体来说,我们首先在服务器上保留全局模型快照的短轨迹。然后,我们合成一个小的伪数据集,使得在其上训练的模型模仿保留的全局模型轨迹的动态。之后,合成的数据用于帮助将偏转的客户端聚合到全局模型中。我们将该方法命名为Dynafed,它具有以下优点:1)不依赖于任何外部服务器上的数据集,不需要额外的数据汇集成本; 2)伪数据可以在早期的通信轮次中合成,这使得Dynafed能够早期生效,以促进收敛和稳定训练; 3)伪数据只需要合成一次,就可以直接在服务器上使用,帮助后续轮次的聚合。在广泛的基准测试中进行实验,以展示Dynafed的有效性。我们还提供了我们的方法的基本机制的见解和理解。
2022-11-20 cs.AI cs.LG
Distributed Federated Learning by Alternating Periods of Training
本文提出了一种分布式联邦学习算法,通过客户端和服务器间的交替训练周期,提高系统的可扩展性和容错性。
2026-01-05 cs.LG cs.SY eess.SY
Communication-Efficient Federated Learning via Optimal Client Sampling
Department of Electrical and Computer Engineering, University of Texas at Austin(德克萨斯大学奥斯汀分校电气与计算机工程系);University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习(FL)改善了中央服务器协调从分布在许多客户端的数据中学习的设置中的隐私问题。客户端在本地进行训练,并将它们学习的模型传递给服务器;本地模型的聚合需要客户端和中央服务器之间频繁地传递大量信息。我们提出了一种新的,简单而有效的方式更新的中心模型在通信受限的设置的基础上收集模型从客户端提供信息的更新和估计本地更新,没有沟通。特别是,建模模型的权重的进展由一个Ornstein-Uhlenbeck过程,使我们能够获得一个最佳的抽样策略,选择一个子集的客户端显着的权重更新。中央服务器仅从所选择的客户端收集更新的本地模型,并将它们与未被选择用于通信的客户端的估计的模型更新组合。我们在逻辑回归的合成数据集和两个FL基准上测试了这一策略,即EMNIST上的分类任务和使用莎士比亚数据集的现实语言建模任务。结果表明,所提出的框架提供了显着减少沟通,同时保持竞争力或实现卓越的性能相比,基线。我们的方法代表了一种新的通信高效FL策略,与现有的用户本地方法(如量化或稀疏化)正交,从而补充而不是旨在取代现有的方法。
2020-10-14 cs.LG stat.ML
Robust Federated Learning under Adversarial Attacks via Loss-Based Client Clustering
School of Electrical and Computer Engineering, National Technical University of Athens(电气与计算机工程学院,国家技术大学雅典);Faculty of Sciences, University of Novi Sad(科学学院,诺维萨德大学)
本文提出一种基于损失的客户端聚类方法,在对抗攻击下实现鲁棒的联邦学习,通过仅需两个诚实参与者即可有效工作,理论分析显示在强拜占庭攻击下仍能保持最优解的有界差距,实验表明在多个基准上优于标准和鲁棒的FL基线方法。
2026-04-29 cs.AI cs.LG
FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification
Florida State University(佛罗里达州立大学)
本文提出 FedAR 算法,通过将客户端最新更新作为替代并分配不同权重,解决联邦学习中客户端不可用问题,在非独立同分布数据上实现最优收敛并全面超越现有基线。
2024-07-26 cs.DC cs.LG
Apodotiko: Enabling Efficient Serverless Federated Learning in Heterogeneous Environments
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
针对无服务器联邦学习中异构硬件导致的落后者问题,提出异步训练策略Apodotiko,通过评估客户端硬件与数据集大小的评分机制智能选择客户端,实现最高7.03倍加速并显著减少冷启动。
2024-04-22 cs.DC cs.LG
Server-Enforced Watermarking in U-Shaped Split Federated Learning
Software Engineering Institute, East China Normal University(东华大学软件工程学院);College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);College of Control Science and Engineering, China University of Petroleum (East China)(中国石油大学(华东)控制科学与工程学院)
针对U型拆分联邦学习中能力受限服务器易遭模型窃取、现有水印方案不可用或不可行的问题,本文提出强制水印框架Sigil,通过梯度注入嵌入水印并搭配自适应梯度裁剪机制,经实验验证其具备良好的保真度、鲁棒性与隐蔽性。
2026-09-29 cs.AI cs.CR cs.LG
Hybrid-FL for Wireless Networks: Cooperative Learning Mechanism Using Non-IID Data
Kyoto University(京都大学);OMRON SINIC X Corporation(欧姆龙 SINIC X 公司)
提出了一种协作机制,即联邦学习(FL),用于缓解协作机器学习(ML)中由于非独立同分布(non-IID)数据而导致的性能下降。由于移动客户的兴趣和使用的多样性,移动客户的数据通常是非IID的,并且具有非IID数据的FL会降低模型性能。因此,为了减轻由非IID数据引起的降级,我们假设有限数量(例如,少于1%)的客户端允许他们的数据上传到服务器,我们提出了一种混合学习机制,称为Hybrid-FL,其中服务器使用从客户端收集的数据更新模型,并将模型与客户端训练的模型聚合。Hybrid-FL通过启发式算法解决了客户端和数据选择问题,该算法试图选择使用自己的数据训练模型的客户端、将数据上传到服务器的客户端以及上传到服务器的数据的最佳集合。该算法增加了参与FL的客户端数量,使更多的数据聚集在服务器IID中,从而提高了聚合模型的预测精度。评估,其中包括网络模拟和ML实验,表明所提出的计划实现了13.5%的分类精度比以前提出的计划的非IID的情况下。
2020-03-05 cs.DC cs.LG stat.ML
Regulating Clients' Noise Adding in Federated Learning without Verification
Singapore University of Technology and Design(新加坡科技设计大学)
在联邦学习(FL)中,客户端协同训练一个全局模型,但不透露它们的原始数据,只透露梯度或参数,而本地信息仍然可以从传输到参数服务器的本地输出中透露。有了这样的隐私问题,客户端可能会过度添加人工噪声到他的本地更新,以损害全局模型的训练,我们证明了自私的噪声添加导致无政府状态(PoA)的无限无政府代价。本文提出了一种新的定价机制,以调节隐私敏感的客户端,而无需验证他们的参数更新,不像现有的隐私机制,假设服务器的全部知识增加的噪音。在不知道基础事实的情况下,我们的机制根据客户端的更新参数和所有客户端的平均参数之间的差异,达到社会最优,以最好地平衡全局训练误差和隐私损失。我们还通过改进服务器上的聚合规则来提高FL收敛范围,以考虑不同客户端的噪声方差。此外,我们扩展了我们的定价方案,以适应客户隐私敏感性的不完整信息,确保他们真实的类型报告和系统的事前预算平衡。仿真结果表明,我们的定价方案大大提高了系统的性能,特别是当客户端有不同的隐私敏感性。
2023-02-24 cs.GT cs.LG
SafeSplit: A Novel Defense Against Client-Side Backdoor Attacks in Split Learning (Full Version)
Technical University of Darmstadt(达姆施塔特工业大学)
SafeSplit是针对分割学习中客户端后门攻击的首个防御方法,通过循环反向分析和双重检测(频域静态分析与旋转距离动态度量)识别并过滤恶意客户端,在保持模型效用的同时有效缓解后门攻击。
2025-02-24 cs.CR cs.DC cs.LG
Truthful Incentive Mechanism for Federated Learning with Crowdsourced Data Labeling
Auburn University(奥本大学)
联邦学习(FL)已经成为一种有前途的范例,其以分布式方式在客户端设备上训练机器学习(ML)模型,而不需要将客户端的数据传输到FL服务器。在机器学习的许多应用中,训练数据的标签需要由人类代理手动生成。在本文中,我们研究了FL与众包数据标记,其中FL的每个参与客户端的本地数据由客户端手动标记。我们考虑客户端的策略行为,这些客户端可能没有在本地数据标记和本地模型计算中做出所需的努力,并且可能向FL服务器误报其本地模型。我们将训练损失的性能界限描述为客户端的数据标记工作,本地计算工作和报告的本地模型的函数。我们设计了真实的激励机制,激励战略客户做出真实的努力,并向服务器报告真实的本地模型。真实的设计利用了训练损失对客户努力和局部模型的非平凡依赖性。在真实的机制下,我们描述了服务器的最优本地计算工作分配。我们评估提出的FL算法与众包数据标签和激励机制,使用实验。
2023-01-31 cs.AI cs.DC cs.LG
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization
KAUST(阿卜杜拉国王科技大学);Inria Sierra(法国国家信息与自动化研究所塞拉实验室)
本文对联邦学习中的服务器端优化进行了理论研究。我们的研究结果是第一个表明,广泛流行的启发式扩展客户端更新与一个额外的参数是非常有用的背景下,联邦平均(FedAvg)与本地通过客户端数据。每次本地传递都使用随机重排执行,无需替换,这是我们可以显示出更高复杂性的关键原因。特别是,我们证明,每当局部步长很小,更新方向是由FedAvg与随机重排在所有客户端,可以采取一个大的飞跃,在获得的方向和提高率凸,强凸,非凸目标。特别地,在非凸区域中,我们得到了从$\mathcal{O}\left(\varepsilon^{-3}\right)$到$\mathcal{O}\left(\varepsilon^{-2}\right)$的收敛速度的增强。这个结果甚至对于在单个节点上执行的随机重排也是新的。相比之下,如果本地步长较大,我们证明了客户端采样的噪声可以通过使用一个小的服务器端步长来控制。据我们所知,这是第一次证明地方步骤有助于克服沟通瓶颈。总之,我们的研究结果的优势,大,小的服务器端步长提供了一个正式的理由的做法,自适应服务器端优化联邦学习。此外,我们认为我们的算法的一个变种,支持部分客户端的参与,这使得该方法更实用。
2022-01-26 cs.LG math.OC
FedSplitX: Federated Split Learning for Computationally-Constrained Heterogeneous Clients
KAIST(韩国科学技术院);Myongji University(明知大学)
FedSplitX是一种新型联邦学习框架,通过在多个分区点拆分模型并引入辅助网络,解决异构客户端计算受限问题,有效利用服务器算力训练大模型并降低通信成本。
2023-10-23 cs.AI cs.LG
FedRecover: Recovering from Poisoning Attacks in Federated Learning using Historical Information
Duke University(杜克大学);University of Science and Technology of China(中国科学技术大学)
联邦学习容易受到中毒攻击,其中恶意客户端通过向服务器发送恶意模型更新来中毒全局模型。现有的防御措施主要集中在通过健壮的联邦学习方法防止少量恶意客户端毒害全局模型,并在存在大量恶意客户端时检测恶意客户端。然而,如何在检测到恶意客户端后从中毒攻击中恢复全局模型仍然是一个开放的挑战。一种简单的解决方案是删除检测到的恶意客户端,并从头开始训练新的全局模型,这会导致资源受限的客户端(如智能手机和物联网设备)无法承受的巨大成本。在这项工作中,我们提出了FedRecover,它可以从中毒攻击中恢复一个准确的全局模型,为客户端提供较小的成本。我们的关键思想是服务器估计客户端的模型更新,而不是要求客户端在恢复过程中计算和传达它们。特别地,当训练中毒的全局模型时,服务器存储全局模型和客户端在每一轮中的模型更新。在恢复过程中,服务器使用其存储的历史信息来估计客户端在每一轮中的模型更新。此外,我们进一步优化FedRecover,以使用预热,定期校正,异常修复和最终调整策略来恢复更准确的全局模型,其中服务器要求客户端计算并传达其精确的模型更新。从理论上讲,我们证明了在某些假设下,FedRecover恢复的全局模型与从头开始训练恢复的模型接近或相同。从经验上讲,我们对四个数据集、三种联邦学习方法以及无针对性和有针对性的中毒攻击(例如,后门攻击)表明FedRecover既准确又高效。
2022-10-20 cs.AI cs.CR cs.LG
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
联邦学习(FL)是一种分布式机器学习范例,其中数据分布在客户端之间,这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重,可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL,其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而,这些作品要么完全忽略了数据不平衡的问题,要么假设客户端的权重是先验已知的服务器,而在实践中,它很可能是由客户端自己向服务器报告的权重,因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法,并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析,我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
Using Synthetic Data to Mitigate Unfairness and Preserve Privacy in Collaborative Machine Learning
Lehigh University(利哈伊大学)
提出两阶段合成数据策略,通过双层优化和差分隐私生成合成数据,实现协作机器学习中的公平预测、隐私保护和单次通信降本。
2025-01-23 cs.CY cs.LG math.OC
Local Data Quantity-Aware Weighted Averaging for Federated Learning with Dishonest Clients
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);School of Engineering, Westlake University(西湖大学工程学院);College of Computing and Data Science, Nanyang Technological University (NTU)(南洋理工大学计算与数据科学学院)
针对联邦学习中不诚实客户端虚报数据量导致加权平均聚合偏差的问题,提出FedDua方法,通过客户端上传的梯度准确预测其真实数据量以优化聚合,可无缝集成现有算法,在基准数据集上比四种流行方法平均提升3.17%性能。
2025-04-17 cs.AI cs.CR cs.LG
Communication and Storage Efficient Federated Split Learning
University of Virginia(弗吉尼亚大学)
联邦学习(FL)是一种流行的分布式机器学习(ML)范例,但通常受到显著的通信成本和边缘设备计算能力的限制。Federated Split Learning(FSL)保留了FL的并行模型训练原理,由于在服务器和客户端之间拆分ML模型,因此减少了设备计算需求。然而,由于在每个全局轮中在客户端和服务器之间传输破碎的数据和梯度,FSL仍然引起非常高的通信开销。此外,服务器必须为每个客户端维护单独的模型,这导致了大量的计算和存储需求,并且随着客户端的数量线性增长。本文试图解决这两个问题,提出了一种通信和存储高效的联邦和分裂学习(CSE-FSL)策略,它利用一个辅助网络来本地更新客户端模型,而在服务器上只保留一个单一的模型,从而避免了从服务器的梯度通信,大大减少了服务器的资源需求。通过仅从客户端发送选定时期中的粉碎数据,进一步降低了通信成本。我们提供了一个严格的理论分析CSE-FSL,保证其收敛性的非凸损失函数。大量的实验结果表明,CSE-FSL有一个显着的通信减少现有的FSL技术,同时实现了最先进的收敛和模型精度,使用几个现实世界的FL任务。
2023-02-11 cs.IT cs.LG eess.SP
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为,因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击,从而降低学习性能或实施有针对性的模型中毒攻击(也称为“攻击”)。后门攻击)。因此,及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中,我们提出了一个新的框架,强大的联邦学习,中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型,导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明,我们的解决方案确保了强大的联邦学习,是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Federated Learning with Server Learning: Enhancing Performance for Non-IID Data
National Institute of Standards and Technology(美国国家标准与技术研究院);University of Maryland(马里兰大学)
针对 Non-IID 数据导致联邦学习性能下降、收敛变慢的问题,提出让服务器利用小型数据集进行辅助学习,并证明其可显著提升准确率与收敛速度。
2023-08-15 cs.DC cs.LG math.OC
FedAgentBench: Towards Automating Real-world Federated Medical Image Analysis with Server-Client LLM Agents
Department of Engineering Science, University of Oxford(工程科学系,牛津大学)
该研究提出由服务器与医院客户端 LLM 智能体协同驱动的联邦学习框架及 FedAgentBench 基准,覆盖40种算法、201个数据集和6类医学影像场景,评估24个模型的自主编排能力。
2025-09-28 cs.AI cs.CV cs.DC
Robust Server Defense Against Unreliable Clients in One-Shot Fair Collaborative Machine Learning
Department of Industrial and Systems Engineering(工业与系统工程系);Lehigh University(莱文森大学)
本文提出基于双层优化的服务器防御框架,通过学习客户端权重和使用可信根数据集,提升在不可靠客户端提供偏见代理数据时的公平性,实验表明在保持准确性的同时有效改善公平性。
2026-05-09 cs.LG
CoLM: Collaborative Large Models via A Client-Server Paradigm
本文提出CoLM框架,以客户端-服务器范式重新定义大模型协作,通过聚合共享高质量输出使客户端模型独立优化自身生成,并在多个基准上验证其能有效提升单模型在失败查询上的表现。
2025-11-10 cs.LG
Client-server multi-task learning from distributed datasets
University of Pavia(帕维亚大学);Istituto Universitario di Studi Superiori (IUSS)(高等研究大学学院);University of Padova(帕多瓦大学)
描述了一种从分布式数据集同时解决多个学习任务的客户-服务器的【形】架构。在这种架构中,每个客户端都与一个单独的学习任务和相关的示例数据集相关联。该架构的目标是从多个数据集执行信息融合,同时保护个人数据的隐私。服务器的作用是从客户端实时收集数据,并将信息编入公共数据库。所有客户都可以使用该数据库中编码的信息来解决其个人学习任务,因此每个客户都可以利用所有数据集的信息内容,而无需实际访问其他人的私人数据。所提出的算法框架,正则化理论和核方法的基础上,使用一个合适的类的混合效果的内核。通过一个模拟的音乐推荐系统说明了新方法。
2010-01-11 cs.AI cs.LG
Distributed Optimization for Client-Server Architecture with Negative Gradient Weights
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大量数据集和计算资源的可用性使得机器学习和预测分析非常普遍。在这项工作中,我们提出了一个同步算法和架构的分布式优化的隐私要求所提出的应用程序在机器学习。我们提出了一个算法,最近提出的多参数服务器架构。我们考虑一组参数服务器,它们根据从客户端接收的随机梯度来学习模型。客户端是具有私有数据集(引入私有目标函数)的计算实体,其评估随机化梯度并将其上传到参数服务器。参数服务器基于接收到的梯度执行模型更新,并与其他服务器共享模型参数。我们证明,该算法可以优化一个非常一般的架构,涉及$C$客户端连接到$S$参数服务器在任意时变拓扑结构和参数服务器形成一个连接的网络的整体目标函数。
2016-12-19 cs.DC cs.LG math.OC
Splintering with distributions: A stochastic decoy scheme for private computation
在执行计算的同时保持隐私是当今分布式机器学习解决方案中的一个重要问题。考虑客户端和服务器之间的以下两个设置,其中在设置i)中,客户端具有公共数据向量$\mathbf{x}$,服务器具有数据向量$\mathcal{B}$的大型私有数据库,并且客户端想要找到内积$\langle \mathbf{x,y_k} \rangle, \forall \mathbf{y_k} \in \mathcal{B}$。客户端不希望服务器学习$\mathbf{x}$,而服务器不希望客户端学习其数据库中的记录。这与另一种设置ii)形成对比,在该设置ii)中,客户端想要仅对它的数据执行操作,诸如对它的数据矩阵$\mathbf{M}$的矩阵逆的计算,但是想要使用服务器的高级计算能力来这样做而不必将$\mathbf{M}$泄漏给服务器。\par我们提出了一个随机的方案,用于将客户端数据分割成私有化的份额,在这种设置中传输到服务器。服务器对这些共享执行请求的操作,而不是对服务器上的原始客户端数据执行。所获得的中间结果被发送回客户端,在客户端处它们被组装以获得最终结果。
2022-01-26 cs.CR cs.LG stat.ML
Provably Near-Optimal Federated Ensemble Distillation with Negligible Overhead
针对联邦集成蒸馏中客户端预测权重分配影响性能的问题,提出基于GAN理论、利用服务器分发生成器与本地数据训练客户端判别器的近似最优加权法,性能优于基线且额外开销可忽略。
2025-05-19 cs.LG
Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
针对无服务器联邦学习中客户端模型异构性挑战,本文利用知识蒸馏技术优化FedMD和FedDF的无服务器工作流,实验表明优化后的无服务器FedDF在鲁棒性、速度和成本上均优于FedMD。
2024-02-11 cs.AI cs.DC cs.LG