Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach
Colleague of Computer Science and Technology, National University of Defense Technology, Changsha, China(计算机科学与技术系,国防科技大学,中国长沙);City University of Hong Kong, Hong Kong, China(香港城市大学,中国香港);Shenzhen University, Shenzhen, China(深圳大学,中国深圳)
本文提出ProjRes方法,通过分析隐藏嵌入向量在梯度子空间中的投影残差,有效识别联邦大语言模型中的成员推断攻击,实现近100%的准确率,优于现有方法75.75%。
2026-04-23 cs.LG
FwdLLM: Efficient FedLLM using Forward Gradient
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出 FwdLLM,通过无反向传播的扰动推理、参数高效训练、自适应负载分配和预测采样,实现移动设备上高效 FedLLM,收敛最高快三个数量级、内存降低14.6倍。
2024-01-20 cs.AI cs.LG
On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View
Shenzhen University(深圳大学);Guangzhou University(广州大学);PolyU;HKUST(香港科技大学);Southeast University(东南大学);NTU(南洋理工大学)
本文从模型可访问性视角综述联邦大语言模型后训练方法,提出白盒、灰盒、黑盒分类法,并展望黑盒推理API范式下的研究方向与挑战。
2025-08-22 cs.LG
Reconstructing Training Data from Adapter-based Federated Large Language Models
National University of Defense Technology(国防科技大学);City University of Hong Kong(香港城市大学)
研究提出UTR攻击,揭示基于适配器的FedLLMs中低秩适配器导致的隐私泄露问题,挑战轻量级适应提升安全性的假设。
2026-01-24 cs.AI cs.CR cs.LG
Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Kuaishou Technology(快手科技);Meta AI;Monash University(墨尔本大学);Fudan University(复旦大学);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院)
本文提出三种简单有效的方法,用于在联邦微调大型语言模型中提取客户端私有数据,揭示了FedLLMs中的隐私风险并建立了评估框架。
2026-02-25 cs.AI cs.CL
Federated Large Language Models: Current Progress and Future Directions
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);University of California San Diego(加州大学圣地亚哥分校);The University of New South Wales(新南威尔士大学);Adobe Research(Adobe研究);University of Maryland College Park(马里兰大学学院公园分校);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
本文综述联邦学习与大语言模型结合(FedLLM)的最新进展,重点分析联邦微调和联邦提示学习如何应对效率、个性化和安全挑战,并展望联邦预训练和联邦智能体等方向。
2026-06-08 cs.CL cs.LG
DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately
Zhejiang Laboratory(浙江实验室)
本文针对FedLLM微调中的信息泄露问题,提出DR-Encoder两阶段差分隐私方案,通过带高斯随机先验的梯度自编码器加噪微调,在多个模型与基准上验证了性能提升并完成隐私分析。
2024-12-22 cs.AI cs.CR cs.LG
Benchmarking federated strategies in Peer-to-Peer Federated learning for biomedical data
CUNEF Universidad(库内夫大学);Universidad Autónoma de Chile(智利自治大学);Universidad Pablo de Olavide(巴勃罗·德·奥拉维德大学);Universidad de Extremadura(埃斯特雷马杜拉大学)
本研究针对生物医学数据,在对等联邦学习环境中测试了多种聚合策略,发现基于准确率的加权平均方法优于经典的联邦平均方法。
2024-02-15 cs.AI cs.DC cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称,以提高指标,如准确性,公平性和健壮性,在联邦网络。然而,尽管在这一领域已经做了大量的工作,但仍然不清楚:(1)哪些个性化技术在各种设置中最有效,以及(2)个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题,我们提出了Motley,一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成,以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法,在基准上建立基线。这些初步结果突出了现有方法的优点和缺点,并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法,以推进个性化和异构感知联邦学习的发展,以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
FedNLP: Benchmarking Federated Learning Methods for Natural Language Processing Tasks
University of Southern California(南加州大学);Amazon Alexa AI(亚马逊Alexa AI)
对数据隐私和稀疏性的日益关注和监管需要研究用于自然语言处理(NLP)任务的隐私保护,分散学习方法。联邦学习(FL)为大量客户提供了有前途的方法(例如,个人设备或组织)协作学习共享的全局模型,以使所有客户机受益,同时允许用户将其数据保存在本地。尽管有兴趣研究自然语言处理任务的外语方法,但在文献中缺乏系统的比较和分析。在这里,我们提出了FedNLP,一个基准框架,用于评估联邦学习方法在四个不同的任务制定:文本分类,序列标记,问答,和seq2seq。我们提出了一个基于transformer的语言模型之间的通用接口(例如,BERT、BART)和FL方法(例如,FedAvg、FedOPT等)在各种非IID分区策略下。我们对FedNLP的大量实验提供了FL方法之间的经验比较,并帮助我们更好地理解这个方向的固有挑战。全面的分析指出,有趣的和令人兴奋的未来研究,旨在发展FL方法的NLP任务。
2022-05-06 cs.AI cs.CL cs.LG
FedScale: Benchmarking Model and System Performance of Federated Learning at Scale
University of Michigan(密歇根大学);University of Washington(华盛顿大学)
我们提出FedScale,一个联邦学习(FL)基准测试套件,具有真实的数据集和可扩展的运行时,以实现可重复的FL研究。FedScale数据集涵盖了广泛的关键FL任务,从图像分类和目标检测到语言建模和语音识别。每个数据集都有一个统一的评估协议,使用真实世界的数据分割和评估指标。为了重现真实的FL行为,FedScale包含一个可伸缩和可扩展的运行时。它提供高级API来实现FL算法,在不同的硬件和软件后端中大规模部署它们,并大规模评估它们,所有这些都需要最少的开发人员工作。我们将两者结合起来,进行系统的基准测试实验,并强调FL中异质性感知协同优化的潜在机会。FedScale是开源的,并由来自http://fedscale.ai的不同机构的贡献者积极维护。我们欢迎来自社区的反馈和贡献。
2022-06-18 cs.AI cs.DC cs.LG
FedRS-Bench: Realistic Federated Learning Datasets and Benchmarks in Remote Sensing
Shanghai Jiao Tong University(上海交通大学)
针对遥感缺乏真实联邦数据集与统一基准的问题,本文构建覆盖八数据集、135个客户端的 FedRS,并实现10种 FL 算法形成 FedRS-Bench,以评估真实异构场景下的方法性能。
2025-05-13 cs.AI cs.LG
Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning
本文提出通过联邦学习平台在跨域基准中评估联邦微调方法,展示在隐私数据上训练LLM的可行性,对比三种参数高效微调策略,证明联邦微调在非独立同分布数据下的有效性。
2026-05-13 cs.AI cs.DC cs.LG
Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark
Wuhan University(武汉大学);Hong Kong University of Science and Technology(香港科技大学)
该综述系统梳理了联邦学习在泛化性、鲁棒性和公平性三方面的研究进展,并基于多个数据集进行基准测试,同时提供公开平台以持续追踪领域发展。
2023-11-12 cs.AI cs.LG
The OARF Benchmark Suite: Characterization and Implications for Federated Learning Systems
National University of Singapore(新加坡国立大学)
本文提出并描述了一个用于联邦学习的开放应用程序库(OARF),一个联邦机器学习系统的基准套件。以前可用的联邦学习基准主要集中在合成数据集上,并使用有限数量的应用程序。OARF将公开可用的数据集作为图像、文本和结构化数据中的不同数据孤岛来模拟更真实的应用场景。我们的表征表明,基准套件是不同的数据大小,分布,功能分布和学习任务的复杂性。广泛的评估与参考实现显示了未来的研究机会的重要方面的联邦学习系统。我们已经开发了参考实现,并评估了联邦学习的重要方面,包括模型准确性,通信成本,吞吐量和收敛时间。通过这些评估,我们发现了一些有趣的发现,例如联邦学习可以有效地提高端到端的吞吐量。
2022-03-02 cs.LG stat.ML
A Federated Learning Benchmark on Tabular Data: Comparing Tree-Based Models and Neural Networks
DENSO Automotive Deutschland GmbH(电装德国汽车有限公司);Corporate Research and Development(企业研发部)
本文在10个表格数据集上对横向联邦学习中的基于树的模型和深度神经网络进行基准测试,发现联邦化XGBoost等树模型在不同数据划分及大量客户端场景下均优于联邦化参数化模型。
2024-05-03 cs.LG
HtFLlib: A Comprehensive Heterogeneous Federated Learning Library and Benchmark
Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学);Chongqing University(重庆大学);Tongji University(同济大学);Hong Kong Polytechnic University(香港理工大学)
本文提出首个异构联邦学习库HtFLlib,集成12个数据集、40种模型架构和10种代表性HtFL方法,并提供系统化基准评估,以推动异构联邦学习研究与应用。
2025-06-04 cs.AI cs.DC cs.LG
ATR-Bench: A Federated Learning Benchmark for Adaptation, Trust, and Reasoning
ATR-Bench通过适应、信任和推理三个维度系统评估联邦学习方法,分析其概念基础、任务形式化及开放挑战,提供基准测试和文献驱动洞察,推动实际应用中的联邦学习发展。
2026-05-02 cs.CL cs.CV cs.LG
Silent Failures in Federated Personalization of Foundation Models
Medical & Imaging Informatics (MII) Group, University of California, Los Angeles (UCLA)(医学与影像信息学(MII)组,加州大学洛杉矶分校(UCLA))
本文提出联邦基础模型个性化中因隐私约束导致的一类信任失败——静默失败,包括偏差放大、公平性崩溃和对齐侵蚀,并引入六种静默失败模式的分类法,强调隐私保护训练不足以保障可信部署。
2026-06-15 cs.AI cs.LG
Benchmarking Federated Learning for Semantic Datasets: Federated Scene Graph Generation
Graduate School of Artificial Intelligence, Ulsan National Institute of Science and Technology(人工智能研究生院,乌山国立科学技术研究所);Department of Electrical Engineering, Ulsan National Institute of Science and Technology(电气工程系,乌山国立科学技术研究所);Electronics and Telecommunications Research Institute (ETRI)(电子电信研究院(ETRI))
本文提出首个面向多语义视觉任务的联邦学习基准测试框架,通过语义聚类和可控语义异质性数据分配构建联邦PSG基准,并验证了现有PSG方法及鲁棒联邦学习算法在场景图生成任务中的有效性。
2025-08-19 cs.CV cs.LG
FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization
Alibaba Group(阿里巴巴集团);ETH Zürich(苏黎世联邦理工学院)
超参数优化(HPO)是机器学习算法获得满意性能的关键,相关的基准测试促进了HPO的研究进展。尽管如此,现有的基准测试的努力都集中在HPO传统的集中式学习,而忽略了联邦学习(FL),一个有前途的范例,从分散的数据协作学习模型。本文首先从多个方面证明了FL算法的HPO的一些唯一性。由于这种独特性,现有的HPO基准不再满足在FL设置中比较HPO方法的需要。为了促进HPO在FL设置的研究,我们提出并实现了一个基准套件FedHPO-B,它结合了全面的FL任务,使有效的功能评估,并简化了持续的扩展。我们还进行了广泛的实验的基础上FedHPO-B基准几个HPO方法。我们在https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB上开源了FedHPO-B。
2022-06-20 cs.LG
FLBench: A Benchmark Suite for Federated Learning
Guangxi Normal University(广西师范大学);BenchCouncil R&D Lab - Guilin(BenchCouncil桂林研发实验室);Guilin University of Electronic Technology(桂林电子科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
联邦学习是一种新的机器学习范式。我们的目标是从分布在多个设备上的数据集(即所谓的隔离数据岛)构建一个机器学习模型,同时保持数据的安全性和私密性。大多数现有的联邦学习基准测试都是手动将常用的公共数据集划分为分区,以模拟真实世界中孤立的数据岛场景。尽管如此,这种模拟无法捕捉真实世界中孤立的数据岛的内在特征。本文提出了一个联邦学习(FL)基准测试套件FLBench。FLBench包含三个领域:医疗、金融和AIoT。通过配置各种域,FLBench有资格评估联邦学习系统和算法的基本方面,如通信、场景转换、隐私保护、数据分布异构性和协作策略。因此,它成为一个有前途的平台,开发新的联邦学习算法。目前,FLBench是开源的,并且正在快速发展。我们将其打包为自动化部署工具。基准测试套件可从https://www.benchcouncil.org/flbench.html获得。
2021-03-12 cs.LG stat.ML
VertiBench: Advancing Feature Distribution Diversity in Vertical Federated Learning Benchmarks
National University of Singapore(新加坡国立大学)
针对纵向联邦学习基准中特征分布多样性不足的问题,本文提出特征重要性与相关性两个关键因素及相应评估指标和划分方法,并引入真实数据集,为算法评估提供更全面的基准。
2024-03-13 cs.AI cs.LG
FHBench: Towards Efficient and Personalized Federated Learning for Multimodal Healthcare
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对现实医疗数据多模态及计算资源有限的挑战,本文开发FHBench基准(源自真实医疗应用数据集)并提出EPFL框架,支持多模态医疗评估,提升联邦学习的效率与个性化效果。
2025-04-15 cs.AI cs.LG
Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment
Flower Labs;University of Cambridge(剑桥大学);University of Auckland(奥克兰大学);University of Melbourne(墨尔本大学);Vector Institute;Fraunhofer IMS(弗劳恩霍夫应用固体物理与材料力学研究所);NetCompany;Gachon University(嘉泉大学);Owkin;Sony AI(索尼人工智能)
Flower Hub是一款联邦学习基准测试平台,可将基准打包为可执行应用,支持跨仿真与部署运行,涵盖多领域任务,推动联邦学习基准测试向可复用方向发展。
2026-08-27 cs.AI cs.LG
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks
UC San Diego(加州大学圣地亚哥分校);UCF(中佛罗里达大学)
虽然成功,但联邦学习为机器学习提出了新的挑战,特别是当数据异构性(也称为非IID数据)问题出现时。为了应对统计异质性,以前的作品在本地优化中加入了近端项,或者在服务器端修改了模型聚合方案,或者提倡集群联邦学习方法,其中中央服务器将代理人口分组为具有联合可训练数据分布的集群,以利用一定程度的个性化。虽然有效,但它们缺乏对什么样的数据异构性以及数据异构性如何影响参与客户端的准确性性能的深入阐述。与许多以前的联邦学习方法相比,我们不仅证明了当前设置中的数据异构性问题不一定是一个问题,而且事实上它对FL参与者也是有益的。我们的观察是直观的:(1)客户端的不同标签(标签偏斜)不一定被认为是数据异质性,以及(2)由其对应的数据主向量所跨越的代理的数据子空间之间的主角度是数据异质性的更好估计。我们的代码可在https://github.com/MMorafah/FL-SC-NIID上获得。
2022-09-30 cs.AI cs.LG
Revocable Federated Learning: A Benchmark of Federated Forest
Xidian University(西安电子科技大学);Fuzhou University(福州大学);Data 61, CSIRO(联邦科学与工业研究组织数据61所);Zhejiang University(浙江大学)
学习联邦由多个参与者组成,这些参与者使用联邦学习技术来协作训练机器学习模型,而不直接揭示本地数据。然而,现有的联邦学习框架存在一个严重的缺陷,即使某个参与者被撤销,其数据仍然被训练好的模型记住。在公司层面的合作中,允许剩下的公司使用包含被撤销公司记忆的训练模型显然是不可接受的,因为这可能导致巨大的利益冲突。为此,本文重点讨论了联邦学习的参与者撤销问题,并设计了一个可撤销的联邦随机森林(RF)框架RevFRF,进一步阐述了可撤销的联邦学习的概念。在RevFRF中,我们首先定义了一个可扩展的联邦RF要解决的安全问题。然后,设计了一套基于同态加密的安全协议,用于联邦射频的构建、预测和撤销。通过理论分析和实验,证明了该协议能够安全有效地实现RF的协同训练,并确保训练RF中被撤销参与者的记忆被安全删除。
2019-11-08 cs.CR cs.LG
FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems
Technical University of Munich(慕尼黑工业大学);University of Bayreuth(拜罗伊特大学);IBM Research(IBM研究院);University of Toronto(多伦多大学)
针对边缘计算系统的硬件异构等特性,提出可系统评估客户端能力的FLEdge联邦学习基准测试工具,实验发现嵌入式硬件内存瓶颈显著,处理时间是数据中心GPU的4倍。
2024-11-04 cs.DC cs.LG
PFLlib: A Beginner-Friendly and Comprehensive Personalized Federated Learning Library and Benchmark
Shanghai Jiao Tong University(上海交通大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Queen’s University Belfast(贝尔法斯特女王大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文介绍了PFLlib,一个初学者友好且全面的个性化联邦学习库与基准平台,实现了37种FL算法,支持多种异构场景和数据集,以促进pFL研究。
2025-02-27 cs.DC cs.LG
Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
Telefónica Innovación Digital, Scientific Research(西班牙电信数字创新研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidad Autónoma de Madrid(马德里自治大学)
针对多语言语音识别,提出联邦学习基准,评估四种语音-大语言模型架构,发现独立调整学习率和三组件适配可获最佳效果,FedProx有效性依赖架构,为隐私敏感分布式部署提供设计指导。
2026-09-22 cs.AI cs.CL
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Benchmarking Mutual Information-based Loss Functions in Federated Learning
BITS Pilani(Pilani大学);Queen Mary University of London(伦敦玛丽女王大学)
针对联邦学习的公平性挑战,本文研究基于互信息(MI)的损失函数,通过基准测试评估其在减少客户端差异、提升系统公平性与整体性能方面的效果。
2025-04-16 cs.DC cs.LG
pFL-Bench: A Comprehensive Benchmark for Personalized Federated Learning
Alibaba Group(阿里巴巴集团)
个性化联邦学习(Personalized Federated Learning,pFL)利用和部署不同的局部模型,由于其在处理FL客户端的统计异质性方面的成功,近年来得到了越来越多的关注。然而,标准化评价和系统分析不同的pFL方法仍然是一个挑战。首先,高度变化的数据集,FL模拟设置和pFL实现妨碍了pFL方法的简单和公平的比较。其次,目前的pFL文献在采用的评价和消融方案方面存在分歧。最后,pFL方法的有效性和鲁棒性在各种实际情况下,如推广到新的客户端和资源有限的客户端的参与下进行了探索。为了应对这些挑战,我们提出了第一个全面的pFL基准,pFL-Bench,以促进快速,可重复,标准化和彻底的pFL评估。建议的基准包含10多个数据集变量在不同的应用领域与一个统一的数据分区和现实的异构设置;一个模块化的和易于扩展的pFL代码库与20多个有竞争力的pFL方法实现;和系统的评估在容器化的环境下的泛化,公平性,系统开销和收敛。我们强调了最先进的pFL方法的优势和潜力,并希望pFL-Bench能够进一步推动pFL研究和广泛应用,否则由于缺乏专用基准而难以实现。该代码在https://github.com/alibaba/FederatedScope/tree/master/benchmark/pFL-Bench上发布。
2022-10-13 cs.LG
FedMultimodal: A Benchmark For Multimodal Federated Learning
University of Southern California(南加州大学);Amazon Alexa AI(亚马逊Alexa人工智能部门);The Ohio State University(俄亥俄州立大学)
FedMultimodal是首个多模态联邦学习基准,覆盖五种应用、十种数据集和八种模态,提供标准化流程并评估对三种数据损坏的鲁棒性,以促进该领域研究。
2023-06-20 cs.DC cs.LG
FedCMAPSS: A Benchmark for Federated Learning in Remaining Useful Life Estimation
University of Catania(卡塔尼亚大学)
本文提出基于NASA C-MAPSS数据集的联邦RUL估计基准FedCMAPSS,定义五类任务模拟工业挑战,评估多种联邦优化算法,为联邦预测性维护提供标准基础。
2026-08-28 cs.LG
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
联邦学习是一种分布式机器学习方法,其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势,但它受到了域转移问题的影响,在域转移问题中,学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中,我们提出了联邦不变学习一致性(FedILC)的方法,它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境,并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明,我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网(IoT)的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
FedAIoT: A Federated Learning Benchmark for Artificial Intelligence of Things
The Ohio State University(俄亥俄州立大学);University of Southern California(南加利福尼亚大学);Michigan State University(密歇根州立大学);Yonsei University(延世大学);Meta
本文提出面向人工智能物联网的联邦学习基准FedAIoT,包含8个真实IoT设备数据集与统一的端到端FL框架,揭示了FL在AIoT中的机遇与挑战。
2024-08-21 cs.DC cs.DL cs.LG
Towards Unsupervised Domain Adaptation for Deep Face Recognition under Privacy Constraints via Federated Learning
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
无监督领域自适应已被广泛采用,以推广目标域中的未标记数据的模型,给定源域中的标记数据,其数据分布与目标域不同。然而,现有的工作是不适用于人脸识别的隐私约束下,因为他们需要在两个域之间共享敏感的人脸图像。为了解决这个问题,我们提出了一种新的无监督联邦人脸识别方法(FedFR)。FedFR通过联邦学习迭代地聚合来自源域的知识来提高目标域的性能。它通过在域之间传输模型而不是原始数据来保护数据隐私。此外,我们提出了一种新的域约束损失(DCL)来正则化源域训练。DCL抑制了源域的数据量优势。我们还提高了层次聚类算法预测伪标签的未标记的目标域准确。为此,FedFR形成了一个端到端的训练管道:(1)在源域中进行预训练;(2)通过在目标域中进行聚类来预测伪标签;(3)跨两个域进行域约束的联邦学习。在两个新构造的基准测试上的大量实验和分析证明了FedFR的有效性。在更现实的基准测试中,它在目标域中的性能优于基线和经典方法4%以上。我们相信,FedFR将有助于在隐私限制下将联邦学习应用于更多计算机视觉任务。
2021-05-17 cs.AI cs.CV cs.DC
Benchmarking Federated Machine Unlearning methods for Tabular Data
University of Birmingham(伯明翰大学);University of Southampton(南安普顿大学);AdviceRobo(阿德维克罗博公司)
本文针对表格数据在联邦学习环境下的机器遗忘方法进行基准测试,评估了微调和基于梯度等算法在保真度、可认证性和计算效率上的表现,发现树模型可认证性强而梯度方法计算效率高。
2025-04-01 cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University(耶鲁大学);Renmin University of China(中国人民大学);JD Technology Group(京东科技集团)
联邦学习有助于解决数据隐私和安全问题,近年来受到越来越多的关注。然而,现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型,导致Boosting步骤冗余,交互通信代价高。相比之下,联邦装袋模型通过并行构建多个决策树来节省时间,但它遭受性能损失。为了以更少的时间代价获得出色的性能,我们提出了一种新的模型,在垂直联邦设置称为联邦梯度提升森林(FedGBF)。FedGBF通过并行构建决策树作为Boosting的基础学习器,同时集成了Boosting和Bagging的优势。继FedGBF之后,超参数调优问题日益突出。然后,我们提出了动态FedGBF,它动态地改变每个森林的参数,从而降低了复杂性。最后,基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
针对异构联邦学习中的模型异构与本地更新灾难性遗忘问题,提出 FCCL+,通过公共数据上的互相关、实例相似性对齐及联邦非目标蒸馏提升泛化,并构建覆盖四种域偏移场景的综合基准验证其优势。
2023-09-28 cs.AI cs.LG
Benchmarking Differential Privacy and Federated Learning for BERT Models
Manipal Institute of Technology(马尼帕尔理工学院);Carnegie Mellon University(卡内基梅隆大学);OpenMined;Yildiz Technical University(耶尔德兹技术大学);Ford Motor Company(福特汽车公司);University of California, San Diego(加州大学圣地亚哥分校)
自然语言处理(NLP)技术可以应用于帮助诊断医疗条件,如抑郁症,使用一个人的话语集合。抑郁症是一种严重的医学疾病,会对一个人的感觉、思想和行为产生不利影响,从而导致情绪和身体问题。由于这些数据的敏感性,需要采取隐私措施来处理和训练这些数据的模型。在这项工作中,我们研究了差分隐私(DP)的应用,在集中式和联邦学习(FL)的设置,训练上下文语言模型(BERT,ALBERT,RoBERTa和DistilBERT)的影响。我们提供了关于如何私下训练NLP模型以及什么架构和设置提供更理想的隐私实用程序权衡的见解。我们设想这项工作将用于未来的医疗保健和心理健康研究,以保持病史的私密性。因此,我们提供了这项工作的开源实现。
2022-06-16 cs.CL cs.CR cs.LG
A Federated Learning Benchmark for Drug-Target Interaction
University of Turin(都灵大学);University of Cambridge(剑桥大学)
本文提出在药物-靶点相互作用(DTI)领域应用联邦学习以应对数据隐私限制,构建了基准并在 GraphDTA 模型和 KIBA 数据集上验证其性能提升达 15%,同时揭示了非 IID 数据不影响 FL 性能及新增数据与客户端的成本收益权衡。
2023-10-18 cs.DC cs.LG
Benchmarking Data Heterogeneity Evaluation Approaches for Personalized Federated Learning
Beijing University of Posts and Telecommunications(北京邮电大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所);Centre for Frontier AI Research, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心);School of Engineering, Westlake University(西湖大学工程学院)
本文提出统一的 DH-Benchmark 框架,在五种标准 non-IID FL 设置下系统比较六种数据异质性评估方法,为 PFL 方案设计、方法选择和训练公平性提供指导。
2024-10-28 cs.AI cs.LG
Fed-Focal Loss for imbalanced data classification in Federated Learning
Hike Ltd.(Hike有限公司);IITM, Gwalior(瓜廖尔IITM)
联邦学习设置具有协调设备网络上的模型训练的中央服务器。其中一个挑战是当数据集具有类别不平衡时的可变训练性能。在本文中,我们解决这个问题,通过引入一个新的损失函数称为美联储焦点损失。我们建议通过重塑交叉熵损失来解决类别不平衡问题,使其降低分配给分类良好的示例的损失的权重。此外,通过利用可调采样框架,我们考虑了中央服务器上的选择性客户端模型贡献,以在训练期间进一步关注检测器,从而提高其鲁棒性。使用详细的实验分析与虚拟(变分联邦多任务学习)的方法,我们表现出一贯优越的性能在平衡和不平衡的情况下MNIST,FEMNIST,VSN和HAR基准。我们在不平衡的MNIST基准中获得了超过9%(绝对百分比)的改善。我们进一步表明,我们的技术可以在多个联邦学习算法中采用,以获得改进。
2020-11-12 cs.DC cs.LG
FedCV: A Federated Learning Framework for Diverse Computer Vision Tasks
University of Southern California(南加州大学);Hong Kong Baptist University(香港浸会大学);Tencent AI Lab(腾讯AI Lab)
联邦学习(FL)是一种分布式学习范式,可以从边缘设备上的分散数据集学习全局或个性化模型。然而,在计算机视觉领域,由于缺乏统一的FL框架在不同任务中的探索,FL中的模型性能远远落后于集中训练。FL在高级计算机视觉任务中,如目标检测和图像分割中很少被有效地证明。为了弥合差距,促进FL的计算机视觉任务的发展,在这项工作中,我们提出了一个联邦学习库和基准测试框架,名为FedCV,评估FL的三个最具代表性的计算机视觉任务:图像分类,图像分割,和目标检测。我们提供非身份证。基准测试数据集、模型和各种参考FL算法。我们的基准研究表明,有多种挑战值得未来探索:集中式训练技巧可能不会直接应用于FL;非I.I.D.在不同的任务中,数据集实际上在一定程度上降低了模型的准确性;考虑到大量的参数和每个客户端的内存成本,提高联邦训练的系统效率是一项挑战。我们相信,这样的库和基准,以及可比较的评估设置,是必要的,以取得有意义的进展,在FL的计算机视觉任务。FedCV是公开的:https://github.com/FedML-AI/FedCV。
2021-11-22 cs.AI cs.CV cs.LG
Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness
ARTORG Center for Biomedical Engineering Research University of Bern(伯尔尼大学生物医学工程研究中心);Graduate School for Cellular and Biomedical Sciences University of Bern(伯尔尼大学细胞与生物医学科学研究生院)
针对联邦学习中特征级缺失问题,提出Fed-ReMasker方法,将掩码自编码器适配至联邦框架,利用跨中心知识填补未观测特征,在多种基准中显著优于现有方法,接近集中式模型性能。
2026-09-24 cs.AI cs.LG
Dynamic Participation in Federated Learning: Benchmarks and a Knowledge Pool Plugin
本文提出首个开源框架用于评估动态参与下的联邦学习模型,引入知识池联邦学习插件以提升模型鲁棒性和泛化能力。
2025-11-20 cs.LG
FedSecurity: Benchmarking Attacks and Defenses in Federated Learning and Federated LLMs
University of California, Irvine(加州大学欧文分校);University of Southern California(南加州大学);TensorOpera Inc.(TensorOpera公司);Lehigh University(理海大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Texas A&M University(德克萨斯农工大学);Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学);USC(南加州大学)
本文提出端到端基准FedSecurity,作为FedML库的补充,包含攻击与防御两大组件,支持多模型、多优化器及灵活配置,可用于联邦学习及联邦大语言模型的攻防模拟与验证。
2024-06-21 cs.AI cs.CR
A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data
University of Dhaka(达卡大学)
针对联邦学习在非独立同分布数据上的精度与效率权衡问题,提出集中式和半集中式神经网络联邦学习系统,在五个基准数据集上取得满意性能。
2023-11-16 cs.AI cs.DC cs.LG
A Unified Benchmark of Federated Learning with Kolmogorov-Arnold Networks for Medical Imaging
School of Electrical Engineering, KAIST, South Korea(韩国成均馆大学电子工程学院);Department of Applied AI, Hansung University, South Korea(韩国翰山大学应用人工智能系)
本文在血细胞分类数据集上对比评估了KAN与MLP在六种联邦学习算法下的表现,发现KAN以更简架构实现更优性能,是医学影像隐私保护的首个综合基准。
2025-09-17 cs.LG eess.SP
Federated Fine-Tuning of Large Language Models: Kahneman-Tversky vs. Direct Preference Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本研究对比联邦学习场景下KTO与DPO对大语言模型的微调效果,提出仅KTO适用的再分配数据集设置,证实KTO在多基准上均优于DPO,为联邦学习提供了鲁棒可扩展的微调方案。
2025-02-20 cs.CL cs.LG
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley(加州大学伯克利分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);HKUST(香港科技大学)
我们提出了拜占庭鲁棒的联邦学习协议,具有接近最优的统计率。与以前的工作相比,我们提出的协议提高了维度依赖性,并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准,并显示所提出的协议的经验优势。最后,我们注意到,我们的协议与桶可以自然地与隐私保证程序相结合,以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
FLAIR: Federated Learning Annotated Image Repository
Apple(苹果公司)
跨设备联邦学习是一种新兴的机器学习(ML)范例,其中大量设备共同训练ML模型,而数据保留在设备上。这一研究领域面临着一系列独特的实际挑战,为了系统地取得进展,需要与这一范式兼容的新数据集。图像领域现有的联邦学习基准测试无法准确捕捉许多真实用例的规模和异构性。我们介绍了FLAIR,这是一个具有挑战性的大规模注释图像数据集,用于多标签分类,适合于联邦学习。FLAIR拥有来自51,414名Flickr用户的429,078张图像,并捕获了联邦学习中通常遇到的许多复杂问题,例如异构用户数据和长尾标签分布。我们在不同的学习设置中为这个数据集上的不同任务实现了多个基线。我们相信FLAIR可以作为一个具有挑战性的基准,推动联邦学习的发展。在\url{https://github.com/apple/ml-flair}上可以获得数据集访问和基准测试的代码。
2022-07-18 cs.CR cs.CV cs.LG