Federated Active Learning (F-AL): an Efficient Annotation Strategy for Federated Learning
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
针对联邦学习中标注成本高的问题,提出联邦主动学习(F-AL)方法,通过客户端协作采样信息量大的实例,在图像分类任务上优于随机采样和独立主动学习基线。
2022-02-07 cs.LG
Active Federated Learning
University of Michigan(密歇根大学);Facebook(脸书)
联邦学习允许在不集中客户端数据的情况下训练群体级模型,方法是将全局模型传输到客户端,在本地计算梯度,然后对梯度进行平均。下载模型和上传梯度会使用客户端的带宽,因此最大限度地减少这些传输成本非常重要。每个客户端上的数据都是高度可变的,因此对不同客户端进行培训的好处可能会有很大差异。为了利用这一点,我们提出了主动联邦学习,在每一轮中,客户端不是随机选择的,而是以当前模型和客户端数据为条件的概率来最大化效率。我们提出了一个便宜,简单和直观的采样方案,它减少了20-70%的训练迭代次数,同时保持相同的模型精度,并在某些条件下模仿众所周知的reservation技术。
2019-09-27 cs.LG stat.ML
Federated Active Learning Framework for Efficient Annotation Strategy in Skin-lesion Classification
Tokyo Institute of Technology(东京工业大学)
针对联邦医疗场景标注成本高的问题,提出FedAL框架,通过本地与全局模型集成及集成熵主动选择标注样本,仅用50%数据即达到接近全数据FL的最先进皮肤病变分类性能。
2024-06-17 cs.CV cs.LG
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种很有前途的范例,可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均(FedAvg),然而,它面临着几个关键问题,包括高通信开销和处理异构模型架构的困难。联邦蒸馏(FD)是最近提出的一种替代方案,使通信高效和强大的FL,它实现了数量级的通信开销减少相比,FedAvg,是灵活的处理客户端的异构模型。然而,到目前为止,还没有统一的算法框架或理论分析的FD为基础的方法。在本文中,我们首先提出了一个通用的元算法FD和调查的影响,通过实证实验的关键参数。然后,我们从理论上验证了经验观察。基于实验结果和理论,我们提出了一个通信有效的FD算法与主动数据采样,以提高模型的性能,减少通信开销。在基准数据集上的实证模拟表明,我们提出的算法有效地,显着地减少了通信开销,同时取得了令人满意的性能。
2022-03-14 cs.LG
Active Membership Inference Attack under Local Differential Privacy in Federated Learning
University of Florida(佛罗里达大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出联邦学习中由不诚实服务器发起的主动成员推理攻击,利用非线性决策边界在本地差分隐私下实现高成功率,并揭示防御噪声会显著损害模型效用。
2023-07-24 cs.AI cs.CR cs.LG
Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift
School of Computing Science University of Glasgow(计算科学学院格拉斯哥大学)
针对联邦学习中数据异质性导致的泛化问题,提出结合剪枝与正则化的新框架,并引入CelebA-Gender基准数据集,实验证明其优于标准基线,提升模型鲁棒性。
2025-09-09 cs.CV cs.LG
Class-wise Federated Unlearning: Harnessing Active Forgetting with Teacher-Student Memory Generation
School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院);College of Computer Science & Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学网络空间学院)
针对联邦学习中细粒度数据删除需求,本文提出基于主动遗忘的框架,通过师生学习生成新记忆覆盖目标记忆,并用改进EWC保护非目标知识。
2025-03-13 cs.LG
Active-Passive Federated Learning for Vertically Partitioned Multi-view Data
National University of Defense Technology(国防科技大学)
提出主动-被动联邦学习框架,主动客户端独立构建完整模型,被动客户端仅辅助训练,解决推理时客户端协作不可靠问题,通过重构损失和对比损失实例化两种分类方法并验证有效性。
2026-06-09 cs.LG
Automating aggregation strategy selection in federated learning
Imperial College London(伦敦帝国理工学院);OctaiPipe
本文提出一个端到端框架,通过单次试验和多次试验模式自动化联邦学习的聚合策略选择,提升非iid条件下的鲁棒性和泛化能力,减少人工干预。
2026-04-09 cs.LG
Beyond Passive Aggregation: Active Auditing and Topology-Aware Defense in Decentralized Federated Learning
Yunnan Key Laboratory of Statistical Modeling and Data Analysis(云南统计模型与数据研究所);Yunnan University(云南大学)
本文提出主动审计和拓扑感知防御框架,通过动态模型和新型审计指标检测隐蔽后门,提升去中心化联邦学习的鲁棒性。
2026-03-19 cs.LG stat.ME
Active Client Selection in Federated Trajectory Prediction with Uncertainty-Awareness and Heterogeneous Complexity
Northeastern University(东北大学);University of Connecticut(康涅狄格大学)
针对联邦轨迹预测中场景不确定性与复杂度异质性挑战,提出不确定性感知及联合复杂度-不确定性感知的主动客户端选择方法,在Argoverse上加速收敛并提升预测性能。
2026-09-25 cs.LG
Towards Active Participant Centric Vertical Federated Learning: Some Representations May Be All You Need
Ikerlan Technology Research Centre(伊克尔兰技术研究中心);Flower Labs(弗劳尔实验室);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
针对 VFL 在部分对齐数据下通信与操作成本高的问题,提出 APC-VFL,通过本地无监督表示学习和主动方知识蒸馏实现单轮通信,并在三个数据集上取得更优性能。
2025-02-19 cs.LG
SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning
University of Electronic Science and Technology of China(电子科技大学);Southwestern University of Finance and Economics(西南财经大学);Zhejiang University(浙江大学)
针对脉冲联邦学习中随机客户端选择忽视统计异质性影响模型收敛与准确率的问题,提出基于信用分配的主动客户端选择策略SFedCA,通过训练前后脉冲发放强度分配信用以平衡分布,在non-IID场景下性能更优且通信轮次更少。
2024-06-18 cs.DC cs.ET cs.LG
FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning
Duke University(杜克大学);Tsinghua University(清华大学)
在联邦学习(FL)中,客户端数据异构性是阻碍有效训练的主要问题之一。由于每个客户端上的数据分布可能会有很大的不同,客户端选择策略可以显着影响FL过程的收敛速度。主动客户选择策略是近年来研究的热点。然而,他们忽略了客户端之间的损失相关性,并实现了边际改善相比,统一的选择策略。在这项工作中,我们提出了FedCor --一个建立在基于相关性的客户选择策略上的FL框架,以提高FL的收敛速度。具体来说,我们首先使用高斯过程(GP)对客户之间的损失相关性进行建模。基于GP模型,我们得到了一个客户端选择策略,在每一轮的预期全球损失显着减少。此外,我们开发了一个有效的GP训练方法,在FL场景下,通过利用协方差平稳性的低通信开销。实验结果表明,与现有方法相比,FedCorr算法在FMNIST和CIFAR-10上的收敛速度分别提高了$34\%\sim 99\%$和$26\%\sim 51\%$.
2022-03-24 cs.DC cs.LG
PAUSE: Low-Latency and Privacy-Aware Active User Selection for Federated Learning
School of ECE, Ben-Gurion University of the Negev(本·加里昂大学电子工程学院);Department of ECE, National Yang-Ming Chiao-Tung University(National Yang-Ming Chiao-Tung大学电子工程系)
针对联邦学习中隐私泄露累积与通信延迟问题,提出基于多臂老虎机的 PAUSE 主动用户选择算法及模拟退火松弛,实现隐私、延迟和准确率的更优权衡。
2025-10-21 cs.LG eess.SP
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
深度神经网络容易受到各种推理攻击,因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法,相对于被动和主动推理攻击者,并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击,以跟踪其训练数据记录。我们表明,一个简单的扩展已知的黑盒攻击的白盒设置(通过分析激活函数的输出)是无效的。因此,我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法,该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后,我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型,证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中,对抗性参与者如何成功地对其他参与者进行主动成员推理攻击,即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Federated Learning: Issues in Medical Application
Sungkyunkwan University(成均馆大学)
自2017年谷歌推出联邦学习以来,它一直在积极研究,特别是在医学领域。事实上,人工智能中的机器学习不从本地客户端收集数据的想法是非常有吸引力的,因为数据保留在本地站点。然而,联邦学习技术由于其自身的特点,如非一致分布、客户参与管理和脆弱的环境等,仍然存在各种问题。在本演讲中,将简要概述当前使联邦学习在现实世界中毫无用处的问题。它们与数据/系统异构性、客户端管理、可跟踪性和安全性有关。此外,我们介绍了模块化的联邦学习框架,我们目前开发,实验各种技术和协议,以找到解决上述问题的方案。该框架将在开发完成后向公众开放。
2021-09-01 cs.AI cs.LG
Adaptive Active Inference Agents for Heterogeneous and Lifelong Federated Learning
Faculty of Mathematics and Information Science, Warsaw University of Technology(华沙理工大学数学与信息科学学院);Distributed Systems Group, TU Wien(维也纳技术大学分布式系统组);Universitat Pompeu Fabra(庞培法布拉大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
本文提出基于主动推理的自适应智能体,将全局约束设为高层SLO,在异构终身联邦学习场景中自动平衡资源目标并适应环境变化,实验实现高达98%的SLO满足率。
2025-03-08 cs.AI cs.DC cs.LG
Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks
IIT Dharwad(达尔瓦德印度理工学院);Euprime Pvt. Ltd.(Euprime私人有限公司)
联邦学习(FL)已经发展成为一种很有前途的技术,可以跨边缘设备处理分布式机器学习。优化全局目标的单个神经网络(NN)通常在FL中的大多数工作中学习,这对于边缘设备来说可能是次优的。虽然存在为边缘设备特定任务找到个性化NN的工作,但它们缺乏泛化和/或收敛保证。在本文中,提出了一种新的通信效率FL算法的个性化学习在无线设置的保证。该算法依赖于找到一个“更好"的经验估计损失在每个设备,使用加权平均损失在不同的设备。它是根据建议的经验损失对真实损失的可能近似正确(PAC)界限设计的,并且由(i)Rademacher复杂度,(ii)差异,(iii)和惩罚项限制。使用带符号的梯度反馈在每个设备处找到个性化的NN,它也被证明在瑞利平坦衰落(在上行链路中)信道中以max{1/SNR,1/sqrt(T)}阶的速率收敛。实验结果表明,所提出的算法在实际SNR制度下优于本地训练的设备以及常规使用的FedAvg和FedSGD算法。
2022-03-09 cs.AI cs.IT cs.LG
Mutual Information Regularization for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院)
垂直联邦学习(Vertical Federated Learning,VFL)被广泛应用于现实世界的应用中,以实现协作学习,同时保护数据隐私和安全。然而,以往的工作表明,没有标签的各方(被动方)在VFL可以推断的敏感标签信息所拥有的标签方(主动方)或执行后门攻击VFL。同时,主动方也可以从被动方推断敏感特征信息。所有这些都对VFL系统提出了新的隐私和安全挑战。我们提出了一种新的通用防御方法,限制私有原始数据之间的互信息,包括特征和标签,以及中间输出,以实现模型效用和隐私之间更好的权衡。我们将这种防御称为互信息正则化防御(MID)。我们从理论和实验上证明了我们的MID方法在抵御现有的攻击VFL,包括标签推理攻击,后门攻击和特征重建攻击的有效性。
2023-02-24 cs.LG
DVFL: A Vertical Federated Learning Method for Dynamic Data
联邦学习通过将多个计算设备连接到一个分散的系统中来解决数据孤岛问题,已成为隐私保护机器学习的一个有前途的范例。本文研究了垂直联邦学习(VFL),它解决了协作组织共享同一组用户但不相交特征的情况。当代VFL方法主要用于静态场景,主动方和被动方从一开始就拥有所有数据,并且不会改变。然而,现实生活中的数据往往是动态变化的。为了缓解这个问题,我们提出了一种新的垂直联邦学习方法,DVFL,它适应动态数据分布的变化,通过知识蒸馏。在DVFL中,大部分计算都在本地进行,以提高数据安全性和模型效率。大量的实验结果表明,DVFL不仅可以在静态场景中获得与现有VFL方法接近的结果,而且可以适应动态场景中数据分布的变化。
2021-11-05 cs.AI cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
FedJAX: Federated learning simulation with JAX
Google Research(谷歌研究院)
联邦学习是一种机器学习技术,可以跨分散的数据进行训练。最近,联邦学习已经成为一个活跃的研究领域,因为人们越来越关注隐私和安全。有鉴于此,各种开源联邦学习库已经开发并发布。我们介绍FedJAX,一个基于JAX的开源库,用于联邦学习模拟,强调研究中的易用性。凭借其用于实现联邦学习算法的简单原语、预打包的数据集、模型和算法以及快速的仿真速度,FedJAX旨在使研究人员更快、更容易地开发和评估联邦算法。我们的基准测试结果表明,FedJAX可用于训练模型,在EMNIST数据集上进行联邦平均只需几分钟,在Stack Overflow数据集上使用TPU使用标准超参数大约需要一个小时。
2021-11-06 cs.LG
Robust and IP-Protecting Vertical Federated Learning against Unexpected Quitting of Parties
Duke University(杜克大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对纵向联邦学习中被动方意外退出导致的性能下降与标签知识产权泄露问题,提出Party-wise Dropout提升模型鲁棒性,并设计DIMIP防御方法有效保护主动方知识产权。
2023-03-28 cs.CR cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近,出现了一种新的联邦学习算法范例--联邦蒸馏(Federated Distillation,FD),它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出,在中央服务器和参与的客户端之间,在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法,如联合平均(FA),通信与联合训练的模型的大小成比例,在FD通信中与蒸馏数据集大小成比例,导致有利的通信属性,特别是当训练大模型时。在这项工作中,我们调查FD从通信效率的角度来看,通过分析的影响,积极蒸馏数据整理,软标签量化和增量编码技术。基于从这种分析中收集的见解,我们提出了压缩联合蒸馏(CFD),一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明,我们的方法可以减少必要的通信量,以实现固定的性能目标超过两个数量级,相比FD和超过四个数量级相比,FA。
2020-12-01 cs.AI cs.LG stat.ML
Cascading Gradient Inversion via LT-Code Inspired Peeling in Federated Learning
University of Isfahan(伊斯法罕大学)
本文通过建立梯度反演与纠删码理论的联系,提出LT码启发的剥离攻击,在单轮FedSGD中精确恢复整个批次及标签,大幅超越先前攻击,揭示联邦学习隐私泄露被严重低估。
2026-09-10 cs.AI cs.CR cs.LG
Distributed client selection with multi-objective in federated learning assisted Internet of Vehicles
Inner Mongolia University of Finance and Economics(内蒙古财经大学)
本文提出一种基于模糊逻辑的分布式客户端选择方案,通过综合评估样本数量、可用吞吐量、计算能力和本地数据集质量,在邻居中选出最优客户端,有效降低了车联网联邦学习中维持活跃状态的成本,并在准确率上接近集中式选择,显著减少通信开销。
2024-01-06 cs.DC cs.LG
FedSteer: Taming Extreme Gradient Staleness in Federated Learning with Corrective Projections and Caching
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Avignon(阿维尼昂大学);Singapore University of Technology and Design(新加坡科技与设计大学);University of Washington(华盛顿大学)
针对联邦学习中客户端参与不均导致的梯度陈旧问题,提出FedSteer方法,利用客户端梯度缓存构建子空间,通过投影和缓存策略校正陈旧梯度,显著提升训练稳定性与精度。
2026-06-24 cs.AI cs.LG
Entity Resolution and Federated Learning get a Federated Resolution
University of Amsterdam(阿姆斯特丹大学);Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学);N1 Analytics(N1分析公司);Data61(Data61数据科学研究中心)
考虑两个数据提供者,每个都维护关于公共实体的不同特征集的记录。他们的目标是在整个特征集上学习线性模型。垂直分区数据上的联邦学习问题包括一个关键的上游问题:实体解析,即找到数据集行之间的对应关系。众所周知,实体解析和学习一样,在现实世界中也是容易出错的。尽管问题的重要性,一直没有正式的评估如何在实体分辨率的错误影响学习。在本文中,我们对这个问题提供了一个彻底的答案,回答了最佳分类器,经验损失,利润率和泛化能力是如何受到影响的。虽然我们的答案涵盖了广泛的损失-超越了正确的,凸的,或分类校准-它带来了简单的实际参数,以升级实体分辨率作为学习的预处理步骤。其中之一表明,实体解析的目的应该是控制或最小化不同类的示例之间的匹配错误的数量。在我们的实验中,我们修改了一个简单的基于令牌的实体分辨率算法,使其确实旨在避免匹配属于不同类别的行,并在实体分辨率依赖于噪声数据的设置中进行实验,这与现实世界的领域非常相关。值得注意的是,我们的方法涵盖的情况下,一个对等\textit{does not}类,或类的嘈杂记录。实验表明,在实体分解过程中使用类信息可以从复杂度的角度以很小的代价获得显著的学习提升。
2018-03-20 cs.DB cs.LG
Faster Federated Learning with Decaying Number of Local SGD Steps
University of Exeter(埃克塞特大学)
针对联邦学习中数据异构导致多步本地SGD训练收敛慢且性能受损的问题,提出随训练衰减本地SGD步数K的方法,并从理论和四个基准数据集实验上证明其能提升模型性能并降低时间与计算成本。
2023-05-16 cs.LG
FedCliP: Federated Learning with Client Pruning
Sichuan University(四川大学);Tsinghua University(清华大学)
目前流行的通信高效的联邦学习(FL)框架通常利用模型梯度压缩或模型蒸馏。然而,参与客户的本地数据分布(无论是数量还是质量)不平衡,对全球模型训练的贡献不对等,仍然对这些工作构成了很大的挑战。在本文中,我们提出了FedCliP,一种新的通信效率FL框架,允许更快的模型训练,通过自适应学习哪些客户端应该保持活跃,以进一步的模型训练和修剪那些应该不活动的潜在贡献较少。我们还介绍了一种新定义的贡献得分措施,以促进活跃和不活跃的客户端确定的替代优化方法。我们经验性地评估FL框架的通信效率,在IID和非IID设置下对三个基准数据集进行了广泛的实验。数值结果表明,提出的FedCliP框架优于最先进的FL框架,即,FedCliP在MNIST数据集上可以节省70%的通信开销,而精度损失仅为0.2%,在FMNIST和CIFAR-10数据集上分别节省50%和15%的通信开销,而精度损失小于1%。
2023-01-29 cs.AI cs.CR cs.LG
Personalized Federated Learning with Server-Side Information
snu(首尔国立大学)
个性化联邦学习是一个新兴的研究领域,它在客户端数据异构的情况下学习一个易于适应的全局模型。然而,个性化FL的主要挑战之一是严重依赖客户端的计算资源来计算高阶梯度,因为客户端数据与服务器隔离以确保隐私。为了解决这个问题,我们专注于一个问题设置,服务器可能拥有自己的数据独立于客户端的数据-在各种应用程序中普遍存在的问题设置,但在现有的文献中相对未被探索。具体来说,我们提出了FedSIM,个性化FL的一种新方法,积极利用这些服务器数据,以提高个性化性能的服务器中的元梯度计算。在实验中,我们通过各种基准测试和消融证明,FedSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,计算效率更高,收敛速度快34.2%。
2022-06-13 cs.AI cs.LG
Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption
Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学);University of Amsterdam(阿姆斯特丹大学);N1Analytics;Data61
考虑两个数据提供者,每个都维护关于公共实体的不同特征集的私有记录。他们的目标是在联合设置中联合学习线性模型,即数据是本地的,共享模型是从本地计算的更新中训练的。与大多数分布式学习的工作相比,在这种情况下,(i)数据是垂直分割的,即按特征分割,(ii)只有一个数据提供者知道目标变量,(iii)实体没有跨数据提供者链接。因此,对于私人学习的挑战,我们增加了实体解析错误的潜在负面后果。我们的贡献是双重的。首先,我们描述了一个三方端到端的解决方案,分为两个阶段-隐私保护实体解决方案和联邦逻辑回归消息加密的加法同态方案-,对诚实但好奇的对手安全。该系统允许学习,而无需公开数据或共享数据提供者共有的实体。我们的实现就像一个天真的非私有解决方案一样准确,它将所有数据放在一个地方,并扩展到具有数百个功能的数百万个实体的问题。其次,我们提供了什么是我们所知的第一个正式的分析实体解析的错误对学习的影响,最佳分类器,经验损失,利润率和泛化能力的影响。我们的研究结果为联邦学习提供了明确而有力的支持:在对实体解析错误的数量和幅度进行合理假设的情况下,在每个对等体的数据为另一个提供显著提升的环境中进行联邦学习可能非常有益。
2017-11-29 cs.LG
Behavior Mimics Distribution: Combining Individual and Group Behaviors for Federated Learning
Key Lab of Intelligent Perception and Image Understanding of Ministry of Education(教育部智能感知与图像理解重点实验室);Peng Cheng Lab(鹏城实验室);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
联邦学习(Federated Learning,FL)已经成为一种活跃的、有前途的分布式机器学习范式。由于统计异质性,最近的研究清楚地表明,流行的FL方法(例如,FedAvg)由于本地更新引起的客户端漂移而急剧恶化。本文提出了一种新的联邦学习算法(IGFL),它利用个体和群体的行为来模拟分布,从而提高了处理异质性的能力。与现有的FL方法不同,我们的IGFL可以应用于客户端和服务器优化。作为副产品,我们提出了一个新的基于注意力的联邦学习在IGFL的服务器优化。据我们所知,这是第一次将注意力机制纳入联邦优化。我们进行了大量的实验,并表明IGFL可以显着提高现有的联邦学习方法的性能。特别是当数据在个体之间的分布是多样的,IGFL可以提高约13%的分类精度相比,先验基线。
2021-06-23 cs.CV cs.DC cs.LG
GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting
East China Normal University(华东师范大学)
联邦学习(FL)已经成为一个事实上的机器学习领域,并受到了社会各界迅速增长的研究兴趣。然而,由于数据的异质性和部分参与所导致的灾难性遗忘对外语学习提出了独特的挑战,这对外语学习的性能是不利的。为了解决这些问题,我们提出了一种新的FL方法(即GradMA),它从持续学习的灵感,同时纠正服务器端和工人端的更新方向,以及充分利用服务器的丰富的计算和内存资源。此外,我们制定了一个内存减少策略,使GradMA,以适应FL与大规模的工人。然后,我们分析了GradMA的收敛性理论下的光滑非凸设置,并表明其收敛速度达到一个线性的速度w.r.t增加采样的活跃工人的数量。最后,我们在各种图像分类任务上的大量实验表明,与SOTA基线相比,GradMA在准确性和通信效率方面实现了显着的性能提升。
2023-03-15 cs.CV cs.LG
FedCVESA: Taking Away Training Data in Federated Learning via Correlation Value Encoding and Segmented Aggregation
Institute of Cyberspace Security, School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院网络空间安全学院)
研究联邦学习中白盒TATD攻击,提出FedCVESA方法,通过添加皮尔逊相关正则化器将私有训练数据编码到选定模型参数,并用分段聚合减少覆盖,实验证明该方法能窃取私有训练图像且保持主任务效用,揭示联邦学习存在的安全隐患。
2026-07-09 cs.AI cs.CR cs.LG
FedHB: Hierarchical Bayesian Federated Learning
Samsung AI Center Cambridge(三星剑桥人工智能中心);The University of Edinburgh(爱丁堡大学)
FedHB提出了一种分层贝叶斯方法用于联邦学习,通过分层建模和变分推断实现分布式优化,兼容FL并保证收敛性和泛化性能。
2026-03-02 cs.DC cs.LG stat.ML
Feature Reconstruction Attacks and Countermeasures of DNN training in Vertical Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);University of Toronto(多伦多大学)
联邦学习(FL)越来越多地以垂直形式在组织中部署,以促进孤立数据上的安全协作培训。在垂直FL(VFL)中,参与者持有同一组样本实例的不相交特征。其中,只有一个有标签。该参与者(称为主动方)发起培训并与其他参与者(称为被动方)进行交互。尽管VFL的采用越来越多,但主动方是否以及如何从被动方提取特征数据仍然是一个未知数,特别是在训练深度神经网络(DNN)模型时。本文首次尝试研究虚拟语言中DNN训练的特征安全问题。我们考虑了一个DNN模型,该模型在主动方和被动方之间进行划分,其中后者仅持有输入层的一个子集,并表现出一些二进制值的分类特征。使用从精确覆盖问题的减少,我们证明了重建这些二进制功能是NP难的。通过分析,我们证明,除非特征维数是非常大的,它仍然是可行的,理论和实践上,发动重建攻击与一个有效的基于搜索的算法,优于当前的特征保护技术。为了解决这个问题,我们开发了一种新的功能保护方案,以防止重建攻击,有效地误导搜索到一些预先指定的随机值。通过一组广泛的实验,我们表明,我们的保护方案在各种VFL应用中承受特征重建攻击,而不损失准确性。
2022-10-13 cs.LG
FLUTE: A Scalable, Extensible Framework for High-Performance Federated Learning Simulations
Microsoft Research(微软研究院);University of California, San Diego(加州大学圣地亚哥分校)
在本文中,我们介绍了“联邦学习实用程序和工具的实验”(FLUTE),一个高性能的开源平台的联邦学习的研究和离线模拟。FLUTE的目标是实现大规模新联邦学习算法的快速原型设计和仿真,包括新的优化、隐私和通信策略。我们描述了FLUTE的体系结构,使任意联邦建模方案得以实现。我们将该平台与其他最先进的平台进行比较,并描述了FLUTE的可用功能,用于在积极研究的核心领域进行实验,如优化,隐私和可扩展性。与其他已建立的平台相比,速度提高了42倍,内存占用节省了3倍。还为一系列任务提供了平台功能的示例,以及其他功能,例如参与客户端数量的线性缩放,以及各种联合优化器,包括FedAdam,DGA等。
2022-11-14 cs.LG
EASTER: Embedding Aggregation-based Heterogeneous Models Training in Vertical Federated Learning
Beijing Institute of Technology(北京理工大学);School of Cyberspace Science and Technology(信息空间科学与技术学院);Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE(教育部民族语言智能分析与安全治理重点实验室);Minzu University of China(中央民族大学);School of Information Engineering(信息工程学院);School of Computing and Communications(计算与通信学院)
本文提出VFedMH方法,通过在前向传播中聚合本地嵌入并利用轻量级致盲因子保护隐私,解决了垂直联邦学习中异构本地模型的训练难题,实现了多异构模型同时优化并提升了性能。
2025-07-15 cs.AI cs.DC cs.LG
Privacy Against Inference Attacks in Vertical Federated Learning
University of Essex(埃塞克斯大学);Imperial College London(帝国理工学院)
垂直联邦学习被认为是,其中一个积极的一方,有真正的类标签的访问,希望建立一个分类模型,通过利用更多的功能,从被动的一方,没有访问的标签,以提高模型的准确性。在预测阶段,以逻辑回归作为分类模型,提出了几种推理攻击技术,主动方可以用来重构被动方的被视为敏感信息的特征。这些攻击主要基于集合中心的经典概念,即,Chebyshev中心,被证明是优于文献中提出的。此外,为上述攻击提供了几种理论性能保证。随后,我们考虑的最小量的信息,对手需要完全重建被动方的功能。特别是,它表明,当被动方持有一个功能,对手只知道所涉及的参数的迹象,它可以完美地重建该功能时,预测的数量是足够大的。接下来,作为一种防御机制,提出了一个隐私保护方案,恶化对手的重建攻击,同时保持VFL带来的积极的一方的全部利益。最后,实验结果证明了所提出的攻击和隐私保护方案的有效性。
2022-09-07 cs.CR cs.IT cs.LG
A study on performance limitations in Federated Learning
University of Toronto(多伦多大学)
本文研究联邦学习中的通信瓶颈与Non-IID数据问题,通过基线模型刻画其对性能的影响并评估,进而讨论改进途径。
2025-01-07 cs.LG
Privacy Against Agnostic Inference Attacks in Vertical Federated Learning
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
研究提出垂直联邦学习中一种新的推理攻击形式,通过在训练阶段获取独立训练的机器学习模型,主动方可对训练和预测样本进行推理攻击,提出隐私保护方案以平衡被动方隐私与主动方可解释性。
2026-04-13 cs.CR cs.IT cs.LG
Meta Knowledge Condensation for Federated Learning
Center for Frontier AI Research(前沿人工智能研究中心);A*STAR(新加坡科技研究局);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
现有的联邦学习范例通常在中央求解器处广泛地交换分布式模型以实现更强大的模型。然而,这将导致严重的通信负担之间的服务器和多个客户端,特别是当数据分布是异构的。因此,当前的联邦学习方法在训练中通常需要大量的通信回合。与现有的范例,我们引入了一个替代的角度来显着降低联邦成员学习的通信成本。在这项工作中,我们首先介绍了一个元知识表示方法,从分布式客户端提取元知识。提取的元知识编码的基本信息,可以用来改善当前的模型。随着训练的进行,训练样本对联邦模型的贡献也会发生变化。因此,我们引入了一个动态的权重分配机制,使样本有助于自适应当前的模型更新。然后,来自所有活动客户端的信息元知识被发送到服务器用于模型更新。在不暴露不同客户端之间的原始数据的情况下,在组合的元知识上训练模型可以显着减轻异构性问题。此外,为了进一步改善数据异构性,我们还交换元知识之间的客户端作为条件初始化本地元知识提取。大量的实验证明了我们所提出的方法的有效性和效率。值得注意的是,我们的方法在具有受限通信预算(即10轮)的MNIST上以较大幅度(从$74.07\%$到$92.95\%$)优于最先进的方法。
2022-09-29 cs.CV cs.LG
Federated Learning with Uncertainty via Distilled Predictive Distributions
Eightfold AI(Eightfold人工智能公司);IIT Kanpur(印度理工学院坎普尔分校)
针对现有联邦学习无法估计不确定性的问题,提出基于蒸馏后验预测分布的框架,仅传输蒸馏网络,无需蒙特卡洛平均,在分类、主动学习及OOD检测任务上优于现有基线。
2023-10-01 cs.LG stat.ML
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
GTFLAT: Game Theory Based Add-On For Empowering Federated Learning Aggregation Techniques
Mälardalen University(梅拉达伦大学)
GTFLAT作为一个基于博弈论的插件,解决了一个重要的研究问题:如何通过在模型聚合阶段设置更有效的自适应平均权重,使联邦学习算法获得更好的性能和训练效率?回答这个问题的理想方法的主要目标是:(1)使联邦学习算法能够在更少的通信回合中达到更好的性能,特别是在面对异构场景时,最后但并非最不重要的是,(2)作为一个新模块,易于与最先进的联邦学习算法一起使用。为此,GTFLAT将平均任务建模为活跃用户之间的策略游戏。在此基础上,提出了一种基于种群博弈和进化动力学的系统解决方案来寻找均衡点。与现有的方法,强加给参与者的权重相比,GTFLAT的结论是一个自我执行的协议,客户端之间的方式,他们都没有动机偏离它单独。结果表明,平均而言,使用GTFLAT将前1测试的准确率提高了1.38%,而达到准确率所需的通信轮次减少了21.06%。
2022-12-08 cs.AI cs.DC cs.GT
Incentive Allocation in Vertical Federated Learning Based on Bankruptcy Problem
Maastricht University(马斯特里赫特大学)
本文针对纵向联邦学习中被动方激励分配问题,将其建模为破产博弈并采用Talmudic分配规则得到核仁解,在合成与真实数据集上验证了该方法相比Shapley值计算更高效且能保证公平性与稳定性。
2025-02-10 cs.DC cs.GT cs.LG
On the Volatility of Shapley-Based Contribution Metrics in Federated Learning
SnT, University of Luxembourg(卢森堡大学SnT学院)
本文研究了联邦学习中基于Shapley值的贡献度波动性,通过梯度模型重建技术评估参与者贡献,并分析了不同聚合策略下的稳定性问题。
2025-05-26 cs.AI cs.LG
Combined Federated and Split Learning in Edge Computing for Ubiquitous Intelligence in Internet of Things: State of the Art and Future Directions
Pennsylvania State University(宾夕法尼亚州立大学);Fudan University(复旦大学)
联合学习(Federated Learning,FL)和分裂学习(Split Learning,SL)是两种新兴的协作学习方法,可以极大地促进物联网(Internet of Things,IoT)中的泛在智能。联邦学习使使用私有数据本地训练的机器学习(ML)模型能够聚合成全局模型。拆分学习允许ML模型的不同部分在学习框架中的不同工作者上进行协作训练。联邦学习和分裂学习各有其独特的优势和各自的局限性,可以相互补充,共同实现物联网中的泛在智能。因此,联邦学习和分裂学习的结合成为近年来一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联邦学习和分离学习的最新发展,并对在基于边缘计算的物联网环境中结合这两种学习方法的最新技术进行了调查。我们还确定了一些开放的问题,并讨论了在这一领域的未来研究的可能方向,希望进一步引起研究界对这一新兴领域的兴趣。
2022-07-20 cs.DC cs.LG
FedECADO: A Dynamical System Model of Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
针对联邦学习中异构数据分布和计算负载导致的更新不一致与性能受限问题,提出受动力系统表示启发的FedECADO算法,通过聚合敏感度模型和多速率积分方法同步客户端更新,在多种异构场景下实现了比FedProx等方法更高的分类准确率。
2024-10-13 cs.LG cs.SY eess.SY
Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing
University of Connecticut(康涅狄格大学);University of California Irvine(加州大学欧文分校)
针对动态IoT场景下差分隐私联邦学习噪声累积致准确率下降的问题,提出融合神经符号计算与DP的FedHDPrivacy框架,主动监控累积噪声仅按需补充,在制造监测场景中性能优于主流联邦框架最高37%。
2025-03-22 cs.AI cs.CR cs.LG
FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems
College of Computer Science, Chongqing University(重庆大学计算机学院)
针对联邦学习中系统异构性导致掉队设备多、精度下降的问题,提出自适应框架FedSAE,通过预测设备负载调整训练量、结合主动学习选参与节点,在高异构系统中收敛更快、精度更高且掉队设备大幅减少。
2021-04-15 cs.DC cs.LG
Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院);College of Finance and Statistics, Hunan University(湖南大学金融与统计学院)
提出DA-DPFL稀疏至更稀疏训练方案,通过动态聚合逐步减少模型参数,在保持测试精度的同时显著降低能耗并证明其收敛性。
2024-07-22 cs.AI cs.LG