Contribution Evaluation in Federated Learning: Examining Current Approaches
Imperial College London(帝国理工学院);City University London(伦敦城市大学);Flashbots
本文综述联邦学习中的贡献评估方法,提出新方法并在MNIST和CIFAR-10上基准测试,强调公平高效评估对FL主流采用的关键作用。
2023-11-16 cs.DC cs.GT cs.LG
Towards Fair, Robust and Efficient Client Contribution Evaluation in Federated Learning
University of Memphis(孟菲斯大学)
本文提出FRECA方法,利用FedTruth框架估计全局模型真实更新,平衡客户端贡献并过滤恶意影响,实现对联邦学习客户端贡献的公平、稳健且高效评估。
2024-02-06 cs.AI cs.CR cs.DC
FedRandom: Sampling Consistent and Accurate Contribution Values in Federated Learning
Interdisciplinary Centre for Security, Reliability and Trust(安全、可靠性与信任跨学科研究中心)
FedRandom通过生成更多样本来缓解联邦学习中贡献估计的不稳定性,提升了模型的稳定性和准确性。
2026-02-05 cs.DC cs.LG
A Survey on Contribution Evaluation in Vertical Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);Webank(微众银行);Peking University(北京大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文系统综述了纵向联邦学习中的贡献评估方法,按生命周期、评估粒度、隐私和计算方法进行分类,并展望未来挑战,为设计高效且隐私优先的VFL方案提供指导。
2024-05-03 cs.DC cs.LG
Lower Bounds and Optimal Algorithms for Personalized Federated Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在这项工作中,我们考虑了Hanzely和Richtárik(2020)最近引入的个性化联邦学习的优化公式,该公式被证明可以对本地{ \tt SGD}方法的工作原理给出另一种解释。我们的第一个贡献是建立第一个下界,这个配方,为通信复杂性和本地预言复杂性。我们的第二个贡献是几个最佳的方法匹配这些下限在几乎所有的制度的设计。这些是第一个可证明的个性化联邦学习的最佳方法。我们的优化方法包括{ \tt FedProx}的加速变体和{ \tt FedAvg}/Local { \tt SGD}的加速方差缩减版本。我们通过大量的数值实验证明了我们的方法的实际优势。
2020-10-05 cs.DC cs.LG math.OC
Data-Free Contribution Estimation in Federated Learning using Gradient von Neumann Entropy
MBZUAI, UAE(马布里克大学人工智能研究所,阿联酋);Michigan State University, USA(密歇根州立大学,美国)
本文提出无数据的联邦学习贡献估计方法,通过最终层更新的矩阵von Neumann熵衡量信息多样性,提出SpectralFed和SpectralFuse两种方案,验证熵值与客户端准确性的高相关性。
2026-04-24 cs.AI cs.CV cs.DC
Clustered Federated Learning via Generalized Total Variation Minimization
本文提出将联邦学习表述为广义全变差最小化,并设计一种完全分散的原始-对偶算法,在理论上界定了与聚类基准方法的偏差,从而有效训练个性化模型。
2023-06-18 cs.DC cs.LG stat.ML
Towards Realistic Mechanisms That Incentivize Federated Participation and Contribution
University of Maryland(马里兰大学);University of Central Florida(中佛罗里达大学);Amazon(亚马逊公司)
针对联邦学习中设备参与和贡献不足及搭便车问题,提出RealFM机制,通过现实建模设备效用、非线性精度-效用关系,激励参与和贡献,并在真实数据上显著提升效用与贡献。
2024-05-22 cs.CY cs.DC cs.GT
Class-wise Contribution Estimation via Logit Maximization for Federated Learning
MBZUAI, Abu Dhabi, UAE(MBZUAI,阿布扎赫德,阿联酋);Michigan State University, Michigan, USA(密歇根州立大学,密歇根,美国)
本文提出了一种基于Logit最大化的无数据客户端贡献估计和聚合框架CELM,该框架无需共享原始数据、客户端元数据或辅助公开数据,通过客户端更新获取类别证据分数并构建跨客户端证据矩阵,以量化每类的竞争力和类别覆盖范围,从而计算出对少数类提供强判别性证据的客户端贡献权重,提高联邦学习的鲁棒性和性能。
2026-09-14 cs.AI cs.DC cs.LG
SI-ChainFL: Shapley-Incentivized Secure Federated Learning for High-Speed Rail Data Sharing
Muroran Institute of Technology(室兰工业技术大学);Department of Sciences and Informatics, Muroran Institute of Technology(室兰工业技术大学科学与信息学部)
SI-ChainFL通过结合Shapley激励与去中心化聚合,解决高速铁路数据共享中的激励不足和集中化聚合问题,提升模型准确性和安全性。
2026-03-09 cs.DC
FedToken: Tokenized Incentives for Data Contribution in Federated Learning
Aalborg University(奥尔堡大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61所)
补偿联邦学习(FL)模式分散培训所涉成本的激励措施是客户长期参与的关键激励措施。然而,说服客户参与FL的质量是具有挑战性的,因为缺乏:(i)关于客户数据质量和属性的完整信息;(ii)客户数据贡献的价值;以及(iii)值得信赖的货币激励机制。这往往导致培训和沟通效率低下。虽然有几项工作侧重于战略激励设计和客户选择,以克服这一问题,有一个重大的知识差距方面的整体设计,适合预见的数字经济,包括Web 3.0,同时满足学习目标。为了解决这一差距,我们提出了一个基于贡献的令牌化激励计划,即\texttt{FedToken},由区块链技术支持,确保令牌在客户端之间的公平分配,与模型训练期间对其数据的估值相对应。利用基于Shapley的设计方案,我们首先在模型聚合过程中近似本地模型的贡献,然后策略性地安排客户端降低通信轮次,以实现收敛和锚定方式,从而在受限的货币预算下分配\emph{affordable}令牌。大量的模拟实验证明了我们所提出的方法的有效性。
2022-11-03 cs.DC cs.GT cs.LG
FAIR-BFL: Flexible and Incentive Redesign for Blockchain-based Federated Learning
Hunan University(湖南大学);Deakin University(迪肯大学)
Vanilla联邦学习(FL)依赖于集中式全局聚合机制,并假设所有客户端都是诚实的。这使得FL在减轻单点故障和不诚实客户方面面临挑战。FL设计理念中这些迫在眉睫的挑战要求基于区块链的联邦学习(BFL),因为FL和区块链耦合的好处(例如,民主、激励和不变性)。然而,vanilla BFL的一个问题是它的功能不能以动态的方式满足采用者的需求。此外,vanilla BFL依赖于无法验证的客户端自我报告的贡献,如数据大小,因为出于隐私考虑,FL不允许检查客户端的原始数据。我们设计和评估了一个新的BFL框架,并解决了在香草BFL更大的灵活性和激励机制称为FAIR-BFL识别的挑战。与现有的作品相比,FAIR-BFL通过模块化设计提供了前所未有的灵活性,允许采用者以动态的方式根据业务需求调整其功能。我们的设计考虑了BFL量化每个客户对全球学习过程的贡献的能力。这种量化为在联合客户端之间分配奖励提供了一个合理的度量,并有助于发现可能毒害全局模型的恶意参与者。
2022-06-26 cs.AI cs.DC
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
FedImpro: Measuring and Improving Client Update in Federated Learning
Hong Kong Baptist University(香港浸会大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Science and Technology of China(中国科学技术大学);The University of Sydney(悉尼大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出FedImpro方法,通过解耦模型并在重构特征分布上训练高层部分,以构建相似条件分布,从而缓解联邦学习中的数据异构导致的客户端漂移,增强泛化性能。
2024-03-14 cs.AI cs.DC cs.LG
Benchmarking federated strategies in Peer-to-Peer Federated learning for biomedical data
CUNEF Universidad(库内夫大学);Universidad Autónoma de Chile(智利自治大学);Universidad Pablo de Olavide(巴勃罗·德·奥拉维德大学);Universidad de Extremadura(埃斯特雷马杜拉大学)
本研究针对生物医学数据,在对等联邦学习环境中测试了多种聚合策略,发现基于准确率的加权平均方法优于经典的联邦平均方法。
2024-02-15 cs.AI cs.DC cs.LG
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University(庆应义塾大学)
本文提出一种基于神经ODE模型的灵活联邦学习方法,可聚合不同迭代次数或深度的模型,减少通信开销,并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG
Collaboration in Participant-Centric Federated Learning: A Game-Theoretical Perspective
Sun Yat-sen University(中山大学);University of California Davis(加州大学戴维斯分校)
联邦学习(FL)是一种很有前途的分布式框架,用于协作式人工智能模型训练,同时保护用户隐私。一个引导组件,吸引了显着的研究注意力是设计的激励机制,以刺激用户的合作在FL。大多数作品采用经纪人为中心的方法,以帮助中央运营商吸引参与者,并进一步获得一个训练有素的模型。很少有研究考虑在参与者之间建立以参与者为中心的合作,以追求他们共同利益的FL模型,这导致激励机制设计与以经纪人为中心的FL有很大的不同。为了协调自私和异质的参与者,我们提出了一个新的分析框架,用于激励以参与者为中心的FL的有效和高效的合作。具体来说,我们分别提出了贡献不经意FL(COFL)和贡献感知FL(CAFL)两种新型游戏模型,其中后者实现了最小贡献阈值机制。我们进一步分析了COFL和CAFL博弈的纳什均衡的唯一性和存在性,并设计了有效的算法来获得均衡解。广泛的性能评估表明,COFL中存在搭便车现象,通过采用优化的最小阈值CAFL模型,可以大大减轻这种现象。
2022-07-25 cs.AI cs.DC cs.GT
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google(谷歌);California Institute of Technology(加州理工学院)
联邦学习使移动设备能够协作学习共享的推理模型,同时将所有训练数据保存在用户的设备上,从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化,从而降低用户和服务器之间的通信成本。同时,安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合,而无需观察任何单独设备的非聚合形式的贡献。在本文中,我们强调了设置安全聚合参数以实现通信效率的一些挑战,特别是在随机旋转实现的积极量化输入的背景下。然后,我们开发了一个自动调整通信高效的安全聚合的配方,基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Maverick-Aware Shapley Valuation for Client Selection in Federated Learning
University of California, Irvine(加利福尼亚大学欧文分校);University of Southern California(南加利福尼亚大学)
针对联邦学习中稀有数据客户端 Mavericks 易被低估的问题,提出按类别计算 Shapley 值的 FedMS 客户端选择机制,提升模型性能并改善奖励分配公平性。
2024-05-21 cs.DC cs.LG
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法,客户端交换隐私保护模型作为基础模型训练元模型,适用于多种数据划分和隐私技术,并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation
Samsung R&D Institute UK(英国三星研发研究院);AI Center-Cambridge, Samsung(三星剑桥人工智能中心)
本文针对 DP-FL 下设备端微调大型 Transformer 性能下降问题,提出可满足差分隐私的动态低秩适配方法 DP-DyLoRA,并在多领域任务中显著降低准确率与 WER 损失。
2025-02-17 cs.CR cs.DC cs.LG
Collaborative Fairness in Federated Learning
National University of Singapore(新加坡国立大学);Wuhan University(武汉大学)
在当前的深度学习范例中,局部训练或独立框架往往会导致过拟合,从而导致泛化能力差。这个问题可以通过分布式或联邦学习(FL)来解决,它利用参数服务器来聚合来自各个参与者的模型更新。然而,大多数现有的分布式或FL框架都忽略了参与的一个重要方面:协作公平性。特别是,所有参与者都可以获得相同或相似的模型,无论他们的贡献如何。为了解决这个问题,我们研究了FL中的协作公平性,并提出了一种新的协作公平联邦学习(CFFL)框架,该框架利用声誉来强制参与者收敛到不同的模型,从而在不影响预测性能的情况下实现公平性。在基准数据集上的大量实验表明,CFFL实现了高公平性,提供了与分布式框架相当的准确性,并优于独立框架。
2020-08-28 cs.DC cs.LG stat.ML
FedQUIT: On-Device Federated Unlearning via a Quasi-Competent Virtual Teacher
Institute of Informatics and Telematics - National Research Council of Italy, Pisa, Italy (IIT-CNR)(意大利国家研究委员会信息学与远程信息处理研究所(IIT-CNR))
本文提出FedQUIT算法,通过知识蒸馏在客户端设备上实现反学习,保留模型泛化能力,无需额外假设,有效降低通信和计算开销。
2026-04-13 cs.DC cs.LG
Federated style aware transformer aggregation of representations
Khuynghee Univ(韩国科学技术院)
FedSTAR通过解耦客户端特定风格因素与共享内容表示,结合Transformer注意力机制实现高效个性化联邦学习,提升异构环境下的鲁棒性与泛化能力。
2025-11-24 cs.AI cs.DC cs.LG
Blockchain-based Framework for Scalable and Incentivized Federated Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对中心化联邦学习的信任、单点故障与激励不足问题,提出融合智能合约和混合激励机制的区块链FL框架,并通过gas分析验证其可扩展性。
2025-02-20 cs.DC cs.LG
Fed-Focal Loss for imbalanced data classification in Federated Learning
Hike Ltd.(Hike有限公司);IITM, Gwalior(瓜廖尔IITM)
联邦学习设置具有协调设备网络上的模型训练的中央服务器。其中一个挑战是当数据集具有类别不平衡时的可变训练性能。在本文中,我们解决这个问题,通过引入一个新的损失函数称为美联储焦点损失。我们建议通过重塑交叉熵损失来解决类别不平衡问题,使其降低分配给分类良好的示例的损失的权重。此外,通过利用可调采样框架,我们考虑了中央服务器上的选择性客户端模型贡献,以在训练期间进一步关注检测器,从而提高其鲁棒性。使用详细的实验分析与虚拟(变分联邦多任务学习)的方法,我们表现出一贯优越的性能在平衡和不平衡的情况下MNIST,FEMNIST,VSN和HAR基准。我们在不平衡的MNIST基准中获得了超过9%(绝对百分比)的改善。我们进一步表明,我们的技术可以在多个联邦学习算法中采用,以获得改进。
2020-11-12 cs.DC cs.LG
Towards Effective Device-Aware Federated Learning
Polytechnic University of Bari(巴里理工大学)
随着社交网络、智能手机、医疗或金融应用程序产生的大量信息,人们对这些数据在用户个人隐私和数据安全方面的敏感性提出了猜测。为了解决上述问题,最近提出了联邦学习(FL)作为一种手段,以使数据和计算资源分布在大量节点(客户端)上,其中中央协调服务器仅聚合本地计算的更新而不知道原始数据。在这项工作中,我们通过在几个维度上推进该领域的最新技术来扩展FL框架:(i)与仅依赖于单一标准的原始FedAvg方法不同(即,本地数据集大小),一套域和客户端特定的标准构成计算每个本地客户端的贡献的基础,(ii)通过利用在信息检索领域中使用的优先级感知聚合运算符以优先化的方式计算每个设备的多标准贡献,以及(iii)提出了一种通过具有回溯的局部搜索策略在线调整聚合算子参数的机制。在公开数据集上进行的大量实验表明,与标准FedAvg基线相比,所提出的方法具有优点。
2019-08-20 cs.DC cs.LG stat.ML
FedHK-MVFC: Federated Heat Kernel Multi-View Clustering
Independent Researcher(独立研究者)
FedHK-MVFC通过联邦学习和隐私保护技术,在医疗领域实现几何感知的多视图聚类,提升聚类准确率并保护患者隐私。
2025-12-01 cs.CV cs.DC cs.LG
FedSAC: Dynamic Submodel Allocation for Collaborative Fairness in Federated Learning
Xiamen University(厦门大学);Sony AI(索尼人工智能)
针对联邦学习中的协作公平性问题,提出FedSAC框架,通过动态子模型分配实现有界协作公平性,兼顾本地模型一致性,提升公平性与模型精度。
2024-05-28 cs.AI cs.DC cs.LG
Evaluating and Incentivizing Diverse Data Contributions in Collaborative Learning
University of California, Berkeley(加州大学伯克利分校)
本研究针对联邦学习中数据贡献者仅关注局部性能导致数据多样性不足的问题,构建委托人与多智能体博弈模型,分析统计准则与算法对均衡的影响,设计出激励贡献全局代表性数据的最优机制以提升全局性能。
2023-06-08 cs.CY cs.DC cs.GT
Towards Value-Constrained Credit Assignment in Fully Delegated AI Cooperatives
Hongik University(弘益大学)
提出在完全委托的AI合作社中,基于异质价值约束筛选更新,利用遍历学习实现细粒度信用分配,以解决数据估值和联邦学习中的贡献归属问题。
2026-06-29 cs.AI cs.DC cs.LG
Federated Learning with Blockchain-Enhanced Machine Unlearning: A Trustworthy Approach
Faculty of Data Science, City University of Macau(澳门大学数据科学学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院)
本文提出一种结合区块链与联邦学习的框架,通过不可篡改的记录和认证机制解决物联网环境中机器遗忘学习缺乏可验证性的信任问题,同时优化数据管理以保障系统效率与隐私安全。
2024-05-27 cs.AI cs.CR cs.DC