Fair and efficient contribution valuation for vertical federated learning
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙 Fraser大学);Huawei Technologies Canada(华为技术加拿大)
本文针对纵向联邦学习中数据源贡献难以公平评估的问题,提出基于Shapley值的VerFedSV指标,在保证公平性的同时实现高效计算,并适配同步与异步算法,实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
Measure Contribution of Participants in Federated Learning
Swiss Re(瑞士再保险);Ping An P&C Insurance Co., Ltd.(平安财产保险股份有限公司)
联合机器学习(FML)创建了一个生态系统,供多方协作构建模型,同时保护参与者的数据隐私。对FML中每一方的贡献的度量使得能够公平地分配信用。在本文中,我们开发了简单但强大的技术来公平地计算FML中多方的贡献,无论是在水平FML还是垂直FML的背景下。对于水平FML,我们使用删除方法来计算分组实例的影响。对于垂直FML,我们使用Shapley值来计算分组特征的重要性。我们的方法为联邦机器学习背景下的模型贡献和信用分配研究打开了大门。
2019-09-17 cs.LG stat.ML
Data-Free Evaluation of User Contributions in Federated Learning
Shanghai Jiao Tong University(上海交通大学);Missouri University of Science and Technology(密苏里科技大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Alibaba Group(阿里巴巴集团)
联邦学习(FL)使用每个设备的私有数据和计算资源以分布式方式在移动设备上训练机器学习模型。一个关键的问题是评估个人用户的贡献,以便(1)用户在模型训练中的努力可以通过适当的激励来补偿,(2)恶意和低质量的用户可以被检测和删除。最先进的解决方案需要一个代表性的测试数据集用于评估目的,但这样的数据集往往是不可用的,很难合成。在本文中,我们提出了一种方法称为成对相关协议(PCA)的基础上的同行预测的思想来评估用户的贡献在FL没有测试数据集。PCA使用用户上传的模型参数的统计相关性来实现这一点。然后,我们应用PCA设计(1)一个新的联邦学习算法称为Fed-PCA,和(2)一个新的激励机制,保证真实性。我们使用MNIST数据集和一个大型工业产品推荐数据集来评估PCA和Fed-PCA的性能。实验结果表明,Fed-PCA算法在准确性上优于经典的FedAvg算法和其他基准算法,同时,PCA有效地激励用户真实地行为。
2021-08-24 cs.GT cs.LG
FedToken: Tokenized Incentives for Data Contribution in Federated Learning
Aalborg University(奥尔堡大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61所)
补偿联邦学习(FL)模式分散培训所涉成本的激励措施是客户长期参与的关键激励措施。然而,说服客户参与FL的质量是具有挑战性的,因为缺乏:(i)关于客户数据质量和属性的完整信息;(ii)客户数据贡献的价值;以及(iii)值得信赖的货币激励机制。这往往导致培训和沟通效率低下。虽然有几项工作侧重于战略激励设计和客户选择,以克服这一问题,有一个重大的知识差距方面的整体设计,适合预见的数字经济,包括Web 3.0,同时满足学习目标。为了解决这一差距,我们提出了一个基于贡献的令牌化激励计划,即\texttt{FedToken},由区块链技术支持,确保令牌在客户端之间的公平分配,与模型训练期间对其数据的估值相对应。利用基于Shapley的设计方案,我们首先在模型聚合过程中近似本地模型的贡献,然后策略性地安排客户端降低通信轮次,以实现收敛和锚定方式,从而在受限的货币预算下分配\emph{affordable}令牌。大量的模拟实验证明了我们所提出的方法的有效性。
2022-11-03 cs.DC cs.GT cs.LG
DPVS-Shapley:Faster and Universal Contribution Evaluation Component in Federated Learning
Software College. Zhejiang University Hangzhou China;Software College. Zhejiang University
本文提出DPVS-Shapley组件,通过动态剪枝数据集加速联邦学习中的Shapley值贡献评估,并通过样本加权奖励能区分困难样本的客户端,实现更快且通用的贡献评估。
2024-10-19 cs.AI cs.CR cs.GT
Collaborative Domain Blocking: Using federated NLP To Detect Malicious Domains
University of California Davis(加州大学戴维斯分校)
当前的内容过滤和阻止方法容易受到各种规避技术的影响,并且在处理新威胁时相对较慢。这是由于这些方法使用基于众包块列表中找到的正则表达式规则的浅模式识别。我们提出了一种新的系统,旨在通过检查与正在交互的域相关的面向网络的内容的深层文本模式来解决上述问题。此外,我们建议使用联邦学习,允许用户利用彼此的本地化知识/经验,在不影响隐私的情况下,在网络上应该或不应该阻止什么。我们的实验表明,我们提出的方法在现实世界中的设置的承诺。我们还就如何最好地实施拟议系统提供了数据驱动的建议。
2022-10-08 cs.CR cs.LG
A Contribution-based Device Selection Scheme in Federated Learning
Aalborg University(奥尔堡大学)
在联邦学习(FL)设置中,许多设备有助于训练公共模型。我们提出了一种方法来选择提供更新的设备,以实现更好的泛化,快速收敛,更好的设备级性能。我们制定了一个最小-最大优化问题,并将其分解成一个原始-对偶设置,其中的对偶间隙是用来量化的设备级性能。我们的策略结合了\emph{exploration}的数据新鲜度通过随机设备选择与\emph{exploitation}通过简化的估计设备的贡献。这提高了训练模型在泛化和个性化方面的性能。在开发阶段,采用了一种改进的截断蒙特卡罗(TMC)方法来估计设备的贡献,降低通信开销。实验结果表明,该方法具有较低的通信开销和较好的个性化性能。
2022-06-07 cs.DC cs.LG cs.NI
Detect \& Score: Privacy-Preserving Misbehaviour Detection and Contribution Evaluation in Federated Learning
Technical University of Munich(慕尼黑工业大学);Chalmers University of Technology(查尔姆斯理工大学);BME(布达佩斯技术与经济大学)
本文结合QI和FedGT的优势,在联邦学习中同时实现稳健的恶意行为检测与准确的客户端贡献评估,实验证明其性能优于单独使用任一方法。
2025-06-30 cs.CR cs.DC cs.LG
On the Fragility of Contribution Score Computation in Federated Learning
Dep. of Networked Systems and Services(网络化系统与服务系);Fac. of Electrical Eng. and Informatics(电气工程与信息学系);Faculty of Natural Sciences(自然科学系)
本文揭示联邦学习贡献分数易受聚合方法选择和投毒攻击影响而扭曲,通过Flower框架实验验证,强调需更稳健的评估方案。
2025-10-27 cs.CR cs.GT cs.LG
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory
Google Research(谷歌研究院)
联邦学习(FL)中的一个重要瓶颈是从客户端设备向中央服务器发送模型更新的网络通信成本。我们提出了一个全面的实证研究模型更新的统计数据在FL,以及各种压缩技术的作用和好处。受这些观察结果的启发,我们提出了一种新的方法来降低平均通信成本,该方法在许多用例中接近最佳,并且在堆栈溢出下一个词预测方面优于Top-K,DRIVE,3LC和QSGD,这是一个现实且具有挑战性的FL基准。这是通过使用率失真理论检查问题,并提出失真作为模型精度的可靠代理来实现的。失真可以更有效地用于优化模型性能和跨客户端的通信成本之间的权衡。我们的经验表明,尽管非独立同分布。由于联邦学习的本质,率失真边界在数据集、优化器、客户端和训练轮之间是一致的。
2022-05-19 cs.DC cs.IT cs.LG
Private and Robust Contribution Evaluation in Federated Learning
University of La Laguna(拉拉加大学);HUN-REN Hungarian Research Network(HUN-REN匈牙利研究网络);Chalmers University(查尔姆斯大学);Budapest University of Technology and Economics(布达佩斯技术经济大学)
本文提出两种与安全聚合兼容的边际差异贡献评分,兼顾公平性、隐私和鲁棒性,提升联邦学习中的贡献评估效果。
2026-02-25 cs.CR cs.GT cs.LG
Contribution Evaluation of Heterogeneous Participants in Federated Learning via Prototypical Representations
Xi’an Jiaotong University(西安交通大学);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出FLCE方法,利用新型“类别贡献动量”指标从个体、相对和整体视角评估联邦学习异构参与者贡献,无需辅助测试数据集,并在多场景实验中验证其优越性。
2024-07-02 cs.LG
FedRandom: Sampling Consistent and Accurate Contribution Values in Federated Learning
Interdisciplinary Centre for Security, Reliability and Trust(安全、可靠性与信任跨学科研究中心)
FedRandom通过生成更多样本来缓解联邦学习中贡献估计的不稳定性,提升了模型的稳定性和准确性。
2026-02-05 cs.DC cs.LG
FairEnergy: Contribution-Based Fairness meets Energy Efficiency in Federated Learning
FairEnergy通过整合贡献评分优化设备选择、带宽分配和压缩级别,实现联邦学习中的公平性与能效的平衡,实验表明其在非IID数据上能提升精度并显著降低能耗。
2025-11-19 cs.LG
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece(电气与计算机工程学院,国家技术大学亚历山大学院,希腊);Department of Informatics and Telematics, Harokopio University of Athens, Greece(信息与电信学院,哈罗基奥大学亚历山大学院,希腊)
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能,通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
A Survey on Contribution Evaluation in Vertical Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);Webank(微众银行);Peking University(北京大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文系统综述了纵向联邦学习中的贡献评估方法,按生命周期、评估粒度、隐私和计算方法进行分类,并展望未来挑战,为设计高效且隐私优先的VFL方案提供指导。
2024-05-03 cs.DC cs.LG
Estimation of Individual Device Contributions for Incentivizing Federated Learning
Kyoto University(京都大学);Rutgers University(罗格斯大学)
联邦学习(FL)是一种新兴的技术,用于在不暴露隐私敏感的用户数据的情况下使用移动设备的数据和计算资源协作地训练机器学习模型。激励数据和移动设备所有者参与FL的适当激励机制是为FL构建可持续平台的关键。然而,很难评估设备/所有者的贡献水平以在没有大量计算和通信开销的情况下确定适当的奖励。本文提出了一种计算和通信有效的方法来估计参与设备的贡献水平。所提出的方法在单个FL训练过程期间实现这样的估计,从而减少对流量和计算开销的需求。使用MNIST数据集的性能评估表明,所提出的方法准确地估计个体参与者的贡献,与朴素估计方法相比,计算开销减少46-49%,并且没有通信开销。
2020-09-20 cs.LG cs.NI
Towards Fair, Robust and Efficient Client Contribution Evaluation in Federated Learning
University of Memphis(孟菲斯大学)
本文提出FRECA方法,利用FedTruth框架估计全局模型真实更新,平衡客户端贡献并过滤恶意影响,实现对联邦学习客户端贡献的公平、稳健且高效评估。
2024-02-06 cs.AI cs.CR cs.DC
Auction-Based Ex-Post-Payment Incentive Mechanism Design for Horizontal Federated Learning with Reputation and Contribution Measurement
联邦学习使用分布式数据跨设备训练模型,同时保护隐私并获得类似于集中式ML的模型。大量拥有数据和计算能力的工作人员是联邦学习的基础。然而,不可避免的成本阻止了自利的工人免费服务。此外,由于数据隔离,任务发布者缺乏有效的方法来选择、评估和支付具有高质量数据的可靠工人。因此,我们设计了一个基于拍卖的激励机制,水平联邦学习与声誉和贡献的测量。通过设计合理的贡献度衡量方法,建立了劳动者易降难升的声誉。通过反向拍卖,工作者为任务出价,任务发布者结合声誉和出价来选择工作者。由于预算限制,获胜的工人根据业绩获得报酬。我们证明了我们的机制满足诚实工人的个人理性,预算的可行性,真实性和计算效率。
2022-03-15 cs.AI cs.LG cs.MA
Incentivize Contribution and Learn Parameters Too: Federated Learning with Strategic Data Owners
本文提出两种机制,通过纳什均衡激励客户端贡献并学习参数,同时确保信息真实披露,最终实现最优参数学习和数据贡献。
2026-10-15 cs.GT cs.LG cs.MA
FedCM: A Real-time Contribution Measurement Method for Participants in Federated Learning
Hainan University(海南大学);University of Macao(澳门大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习(FL)为多个代理创建了一个生态系统,以便在考虑数据隐私的情况下协作构建模型。在FL系统中,每个代理的贡献测量方法是公平分配学分的关键,但很少有人提出。在本文中,我们开发了一个实时的【形】的贡献测量方法FedCM是简单的,但功能强大。该方法定义了各Agent的影响力,综合考虑当前回合和上一回合,得到各Agent的注意力聚合贡献率。此外,FedCM每轮更新贡献,这使得它能够实时的【形】执行。现有的方法没有考虑实时的【形】,但对FL系统的计算能力、通信资源等的分配至关重要。实验结果表明,在满足实时的【形】前提下,FedCM对数据量和数据质量更敏感。在此基础上,开发了基于FedCM的联邦学习开源软件。该软件已应用于基于医学图像识别COVID-19。
2021-02-11 cs.CR cs.LG stat.ML
Lower Bounds and Optimal Algorithms for Personalized Federated Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在这项工作中,我们考虑了Hanzely和Richtárik(2020)最近引入的个性化联邦学习的优化公式,该公式被证明可以对本地{ \tt SGD}方法的工作原理给出另一种解释。我们的第一个贡献是建立第一个下界,这个配方,为通信复杂性和本地预言复杂性。我们的第二个贡献是几个最佳的方法匹配这些下限在几乎所有的制度的设计。这些是第一个可证明的个性化联邦学习的最佳方法。我们的优化方法包括{ \tt FedProx}的加速变体和{ \tt FedAvg}/Local { \tt SGD}的加速方差缩减版本。我们通过大量的数值实验证明了我们的方法的实际优势。
2020-10-05 cs.DC cs.LG math.OC
Beyond performance-wise Contribution Evaluation in Federated Learning
CrySyS Lab, Hungary(匈牙利CrySyS实验室)
本文提出通过Shapley值近似方法评估联邦学习中客户端对模型可靠性、鲁棒性和公平性的多维贡献,揭示单一指标不足以全面评价的缺陷。
2026-02-25 cs.CR cs.LG
On the Volatility of Shapley-Based Contribution Metrics in Federated Learning
SnT, University of Luxembourg(卢森堡大学SnT学院)
本文研究了联邦学习中基于Shapley值的贡献度波动性,通过梯度模型重建技术评估参与者贡献,并分析了不同聚合策略下的稳定性问题。
2025-05-26 cs.AI cs.LG
Data-Free Contribution Estimation in Federated Learning using Gradient von Neumann Entropy
MBZUAI, UAE(马布里克大学人工智能研究所,阿联酋);Michigan State University, USA(密歇根州立大学,美国)
本文提出无数据的联邦学习贡献估计方法,通过最终层更新的矩阵von Neumann熵衡量信息多样性,提出SpectralFed和SpectralFuse两种方案,验证熵值与客户端准确性的高相关性。
2026-04-24 cs.AI cs.CV cs.DC
Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank?
Purdue University(普渡大学)
在本文中,我们质疑在联邦学习过程中通过分布式系统传播大量参数的基本原理。我们首先检查由跨时期的梯度所跨越的子空间的秩特性(即,梯度空间),并观察到该梯度空间通常由占解释方差的绝大多数(95-99%)的几个主要主成分组成。受此启发,我们提出了“回望梯度乘法器”(LBGM)算法,该算法利用这种低秩属性,使梯度循环之间的模型更新轮的联邦学习,减少大参数的传输到单个标量的聚合。我们分析了LBGM的收敛行为,揭示了通信节省和模型性能之间的权衡的性质。我们随后的实验结果表明,与传统的联邦学习相比,LBGM在多个数据集和深度学习模型上的通信开销有所改善。此外,我们表明,LBGM是一个通用的即插即用算法,可以单独使用或堆叠在现有的稀疏化技术的分布式模型训练。
2022-02-01 cs.LG stat.ML
Fair Federated Medical Image Segmentation via Client Contribution Estimation
The Chinese University of Hong Kong(香港中文大学);NVIDIA(英伟达)
如何保证公平性是联邦学习的一个重要课题。最近的研究调查了如何根据客户的贡献(合作公平性)来奖励客户,以及如何在客户之间实现一致的绩效(绩效公平性)。尽管在这两个方面都取得了进展,但我们认为,为了吸引和激励更多不同的客户加入FL,以获得高质量的全球模式,将它们放在一起考虑至关重要。在这项工作中,我们提出了一种新的方法来同时优化这两种类型的公平性。具体来说,我们建议在梯度和数据空间中估计客户端的贡献。在梯度空间中,我们监控每个客户端相对于其他客户端的梯度方向差异。在数据空间中,我们使用辅助模型来度量客户端数据的预测误差。基于这种贡献估计,我们提出了一种FL方法,通过贡献估计的联邦训练(FedCE),即,使用估计作为全局模型聚合权重。我们从理论上分析了我们的方法,并在两个真实世界的医疗数据集上进行了经验评估。我们的方法的有效性已被验证与显着的性能改进,更好的协作公平性,更好的性能公平性,以及全面的分析研究。
2023-03-29 cs.AI cs.CV cs.LG
TRIP-Shapley: Propagation-Aware Contribution Attribution Framework for Peer-to-Peer Federated Learning
The University of Tokyo(东京大学);Institute of Science Tokyo(东京科学研究所);RIKEN AIP(理化学研究所AIP)
针对去中心化联邦学习中现有贡献评估方法不适用的问题,提出TRIP-Shapley方法,通过追踪逐轮贡献传播估算总体贡献,兼具准确性、可扩展性与抗不诚实客户端的鲁棒性。
2026-10-19 cs.LG
Clustered Federated Learning via Generalized Total Variation Minimization
本文提出将联邦学习表述为广义全变差最小化,并设计一种完全分散的原始-对偶算法,在理论上界定了与聚类基准方法的偏差,从而有效训练个性化模型。
2023-06-18 cs.DC cs.LG stat.ML
Federated Learning using Smart Contracts on Blockchains, based on Reward Driven Approach
J.P.Morgan Chase & Co(摩根大通公司)
近年来,联邦机器学习继续获得兴趣和动力,需要从数据中获得见解,同时保护数据提供者的隐私。然而,采用联邦学习的其他现有挑战之一是缺乏公平,透明和普遍认可的奖励联邦学习贡献者的激励计划。区块链网络上的智能合约为网络的所有参与者提供透明、不可变和可独立验证的证明。我们利用区块链上智能合约的这种开放和透明的性质来定义贡献者的激励规则,这是基于一种新的标量-联邦贡献。这种基于智能合约的奖励驱动模型有可能彻底改变企业中联邦学习的采用。我们的贡献是双重的:首先是展示基于智能合约的区块链如何成为联邦学习的一个非常自然的沟通渠道。其次,利用这个基础设施,我们可以展示如何建立每个代理贡献的直观度量,并将其与培训和奖励过程的生存周期集成。
2022-03-26 cs.CR cs.LG
TriCon-SF: A Triple-Shuffle and Contribution-Aware Serial Federated Learning Framework for Heterogeneous Healthcare Data
School of Engineering Westlake University Hangzhou 310030, China(工程学院 西湖大学 杭州 310030, 中国)
TriCon-SF通过三重洗牌和贡献感知机制,在串行联邦学习中增强隐私鲁棒性并检测恶意客户端,在非IID医疗数据上提升准确性和通信效率。
2025-06-20 cs.AI cs.LG
Hierarchically Fair Federated Learning
Deakin University(迪肯大学)
当联邦学习在具有孤立数据集的竞争代理之间采用时,代理是自私的,并且只有当它们得到公平的奖励时才参与。为了鼓励联邦学习的应用,本文采用了一种管理策略,即,贡献越多,回报越多。我们提出了一种新的分层公平的联邦学习(HFFL)框架。在这一框架下,代理商将按其预先商定的贡献水平获得奖励。HFFL+扩展了这一点,以纳入异构模型。理论分析和几个数据集的实证评估证实了我们的框架在维护公平性,从而促进联邦学习在竞争环境中的有效性。
2020-05-01 cs.AI cs.CY cs.LG
Enhancing Convergence in Federated Learning: A Contribution-Aware Asynchronous Approach
Northern Arizona University(北亚利桑那大学);Universidad Internacional Isabel I de Castilla(卡斯蒂利亚伊莎贝尔一世国际大学);Indian Institute of Technology(印度理工学院)
针对异步联邦学习忽略更新相对贡献导致收敛变慢的问题,本文提出一种结合更新陈旧性与统计异质性、动态调整更新权重的贡献感知方法,以提升收敛速度。
2024-03-04 cs.AI cs.LG
When Foundation Model Meets Federated Learning: Motivations, Challenges, and Future Directions
Sony Research(索尼研究)
本文系统分析了基础模型与联邦学习双向赋能的动机与挑战,提出未来研究方向,以推动两者协同发展。
2025-05-04 cs.AI cs.DC cs.LG
Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院)
本文提出适用于多种个性化联邦学习目标的通用优化器(Local SGD变体及加速坐标下降/加速SVRCD变体),建立统一优化理论,恢复已知最优通信与计算保证,使任务专用优化器设计在许多场景下不再必要。
2023-05-26 cs.LG
Class-wise Contribution Estimation via Logit Maximization for Federated Learning
MBZUAI, Abu Dhabi, UAE(MBZUAI,阿布扎赫德,阿联酋);Michigan State University, Michigan, USA(密歇根州立大学,密歇根,美国)
本文提出了一种基于Logit最大化的无数据客户端贡献估计和聚合框架CELM,该框架无需共享原始数据、客户端元数据或辅助公开数据,通过客户端更新获取类别证据分数并构建跨客户端证据矩阵,以量化每类的竞争力和类别覆盖范围,从而计算出对少数类提供强判别性证据的客户端贡献权重,提高联邦学习的鲁棒性和性能。
2026-09-14 cs.AI cs.DC cs.LG
Redefining Contributions: Shapley-Driven Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本文提出ShapFed方法,利用Shapley值对联邦学习中参与者贡献进行细粒度评估,并引入ShapFed-WA加权聚合方法,在类别不平衡场景下提升模型效用、效率和公平性。
2024-06-01 cs.AI cs.LG
Federated Learning at the Forefront of Fairness: A Multifaceted Perspective
School of Computing, Macquarie University(麦考瑞大学计算机学院);School of Control and Computer Engineering, North China Electric Power University(华北电力大学控制与计算机工程学院)
本文从多维度视角探讨联邦学习中的公平性问题,分类现有公平性方法,并提出框架和未来研究方向以推动公平性在FL中的发展。
2026-01-31 cs.LG
CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks
Shenzhen MSU-BIT University(深圳MSU-BIT大学);Beijing Institute of Technology(北京理工大学);AI Atlas Inc.(AI Atlas公司)
针对联邦学习中的数据异构与聚合偏差问题,提出贡献导向的CO-PFL算法,通过双子空间贡献评估和参数级个性化机制,在多个基准上提升了个性化精度与稳定性。
2025-10-23 cs.LG
ConDa: Fast Federated Unlearning with Contribution Dampening
SagePilot AI(赛奇领航人工智能公司);KIIT Bhubaneswar(布巴内斯瓦尔KIIT学院);University of Cambridge(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
针对联邦学习中参与者数据移除难的问题,提出无需重训、无额外计算开销的ConDa框架,通过突触抑制实现高效遗忘,在多数据集上速度超现有方法至少100倍,且鲁棒性良好。
2024-10-05 cs.CR cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs(埃森哲实验室);INRIA Sophia-Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);INRIA Paris(巴黎国立计算机与自动化研究所);DIENS - PSL(巴黎文理研究大学计算机科学系)
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题,提出SIFU方法,适用于凸与非凸优化,无需额外客户端计算成本,提供正式遗忘质量保证,并在实验中优于现有方法。
2024-03-16 cs.LG
How Can Incentives and Cut Layer Selection Influence Data Contribution in Split Federated Learning?
School of Computing, Gachon University(嘉泉大学计算机学院);School of Cybersecurity, Korea University(高丽大学网络安全学院);Princeton University(普林斯顿大学)
针对分割联邦学习中的竞争情境,本文通过Stackelberg博弈建模激励与切层选择对客户端数据贡献的影响,证明均衡存在性并实现双方效用最大化。
2026-09-23 cs.AI cs.GT cs.LG
Fast-Convergent Federated Learning with Adaptive Weighting
York University(约克大学)
联邦学习(FL)使资源受限的边缘节点能够在中央服务器的编排下协作学习全局模型,同时将隐私敏感数据保存在本地。跨参与节点的非独立同分布(非IID)数据样本会减慢模型训练,并为FL收敛施加额外的通信轮次。在本文中,我们提出了联邦自适应加权(FedAdp)算法,旨在加速模型的收敛下存在的节点与非IID数据集。通过理论和实证分析,我们观察到节点对全局模型聚合的贡献与局部节点上的数据分布之间的隐含联系。然后,我们建议通过每一轮训练,根据节点贡献自适应地分配不同的权重来更新全局模型。首先通过局部梯度向量与全局梯度向量之间的夹角来衡量参与节点的贡献,然后通过设计的非线性映射函数来量化权重。该策略简单而有效,能够动态地增强(抑制)节点的正贡献,从而大幅减少通信轮数。理论和实验都证明了它优于通常采用的联邦平均法(Federated Averaging,FedAvg)。通过在Pytorch和PySyft中进行的大量实验,我们表明,与FedAvg算法相比,使用FedAdp的FL训练可以在MNIST数据集上减少高达54.1%的通信轮数,在FashionMNIST数据集上减少高达45.4%的通信轮数。
2021-04-06 cs.AI cs.LG
Prior-Independent Auctions for the Demand Side of Federated Learning
MIT(麻省理工学院)
联邦学习(FL)是一种范例,它允许分布式客户端学习共享的机器学习模型,而无需共享其敏感的训练数据。虽然在很大程度上是分散的,但FL需要资源来资助中央协调器或偿还数据集的贡献者以激励参与。从先前的独立拍卖设计的见解的启发,我们提出了一种机制,FIPIA(通过先前的独立拍卖联合激励支付),从自我利益的客户端收集货币贡献。该机制在半诚实信任模型中运行,即使客户端对接收高质量模型有不同的兴趣,服务器也不知道客户端的兴趣水平。我们在MNIST、FashionMNIST和CIFAR-10数据集上进行了实验,以测试客户在FIPIA和FIPIA激励属性下的模型质量。
2021-04-13 cs.GT cs.LG
A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学伯克利深圳研究院);Southern University of Science and Technology(南方科技大学);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对异步联邦学习中的设备异构、低带宽和更新陈旧问题,提出 FedLuck 框架联合自适应优化本地更新频率与梯度压缩率,显著降低通信与训练开销。
2024-07-06 cs.DC cs.LG
Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR
Apple(苹果公司)
本文系统研究联邦学习训练端到端ASR时优化器平滑性、CTC权重、初始化、归一化方式及FL超参数对词错误率的影响,并总结适用于端到端ASR的联邦学习最佳实践。
2023-09-22 cs.DC cs.LG cs.SD
Event-Driven Online Vertical Federated Learning
Western University(西部大学);Vector Institute(向量研究所);Jilin University(吉林大学)
针对纵向联邦学习中客户端数据到达不同步的挑战,提出事件驱动的在线VFL框架,仅激活相关客户端并引入动态局部遗憾分析,在非平稳环境下更稳定且降低通信与计算成本。
2025-06-17 cs.DC cs.LG
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
CoAst: Validation-Free Contribution Assessment for Federated Learning based on Cross-Round Valuation
Nanjing University(南京大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出免验证联邦学习贡献评估方法 CoAst,通过权重量化和跨轮参数相似性估值,在不依赖验证数据的情况下实现与基于验证方法相当、优于现有免验证方法的评估可靠性。
2024-09-04 cs.AI cs.LG
Client Contribution Normalization for Enhanced Federated Learning
Indian Institute of Technology Jodhpur(印度焦特布尔理工学院);Teradata India Private Limited(Teradata印度私人有限公司)
本文针对联邦学习中非独立同分布数据导致的统计异构性问题,提出利用本地模型的均值潜在表示对客户端贡献进行归一化的方法,显著提升了全局模型在多种FL方案下的准确性与一致性。
2024-11-10 cs.LG
Owen Sampling Accelerates Contribution Estimation in Federated Learning
Department of Electrical and Software Engineering, University of Calgary, Calgary, Alberta, Canada(电气与软件工程系,卡里尔大学);Department of Electrical Engineering and Computer Science, York University, Toronto, Ontario, Canada(电气工程与计算机科学系,约克大学);School of Information, University of Michigan, Ann Arbor, Michigan, USA(信息学院,密歇根大学)
针对联邦学习中Shapley值贡献估计计算复杂度高的问题,提出基于Owen采样的FedOwen框架,结合自适应客户端选择策略,在相同预算下以更小误差近似Shapley值,准确率最高提升23%。
2025-10-06 cs.LG
A Reputation Mechanism Is All You Need: Collaborative Fairness and Adversarial Robustness in Federated Learning
University of Singapore(新加坡大学);Ant financial(蚂蚁金融)
联邦学习(FL)是一种新兴的实用框架,用于在多个参与者(如最终用户、组织和公司)之间进行有效和可扩展的机器学习。然而,大多数现有的FL或分布式学习框架都没有很好地解决两个重要问题:协作公平性和对抗鲁棒性(例如搭便车者和恶意参与者)。在传统的FL中,所有参与者都获得全局模型(平等奖励),这可能对高贡献的参与者不公平。此外,由于缺乏一个安全机制,搭便车者或恶意advertisers可以游戏的系统访问的全球模型免费或破坏it. In本文中,我们提出了一种新的鲁棒性和公平的联邦学习(RFFL)框架,通过信誉机制,同时实现合作的公平性和对抗性的鲁棒性。RFFL通过经由其上传的梯度(使用向量相似性)检查其贡献来维护每个参与者的声誉,从而识别要移除的非贡献或恶意参与者。我们的方法与众不同,不需要任何辅助/验证数据集。在基准数据集上的大量实验表明,RFFL可以实现高公平性,对不同类型的对手具有很强的鲁棒性,同时实现有竞争力的预测精度。
2021-07-27 cs.LG stat.ML
FedControl: When Control Theory Meets Federated Learning
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
迄今为止,最流行的联邦学习算法使用模型参数的坐标平均。我们通过根据本地学习的表现及其演变来区分客户的贡献,从而偏离了这种方法。该技术的灵感来自控制理论,其分类性能进行了广泛的评估,在IID框架,并与FedAvg。
2022-05-27 cs.LG
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University(庆应义塾大学)
本文提出一种基于神经ODE模型的灵活联邦学习方法,可聚合不同迭代次数或深度的模型,减少通信开销,并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG