Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models
University of Maryland, College Park(马里兰大学彭福分校);Queen Mary University of London(伦敦玛丽女王大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验上证明,对于大型基础模型,单轮聚合的一次性联邦微调即可达到与多轮联邦微调相当的性能,显著降低通信成本并增强隐私性。
2025-11-06 cs.DC cs.LG
Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation
University of Nevada, Reno(内华达大学雷诺分校)
Fed-PLoRA通过并行一秩适应和Select-N-Fold策略,解决异构联邦微调中的初始化和聚合噪声问题,提升LLM微调的准确性和效率。
2026-02-18 cs.DC
Just Talk Once: Communication-Efficient Split Federated LLM Fine-Tuning on Edge Devices
Duke Kunshan University(杜克昆山大学);The University of Hong Kong(香港大学)
针对边缘设备LLM微调的通信与客户端在线时间瓶颈,提出L型SFT及基于它的一次性SFT框架,实现仅一次通信即可完成微调,显著降低了通信成本和客户端在线时间。
2026-09-02 cs.DC
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
CacheFL: Privacy-Preserving and Efficient Federated Cache Model Fine-Tuning for Vision-Language Models
针对联邦微调视觉语言模型时通信成本高及非IID数据影响性能的问题,提出CacheFL,用轻量级缓存模型微调替代完整模型微调,降低资源消耗并提升分类精度与隐私保护。
2025-05-24 cs.DC
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团)
提出FedKSeed,利用零阶优化和随机种子将联邦全参数微调通信成本降至千字节级,实现十亿级LLM在设备上的高效微调,并在多个场景中优于现有方法。
2024-05-27 cs.DC cs.LG
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
University of Maryland(马里兰大学);Rutgers University(罗格斯大学);Sony Reasearch(索尼研究院)
针对联邦微调中 LoRA 适配器聚合数学不正确且难支持异构配置的问题,本文提出 FLORA,通过基于堆叠的无噪声聚合实现异构 LoRA 联邦微调,并在同构与异构场景中超越现有方法。
2024-09-09 cs.DC cs.LG
Federated Customization of Large Models: Approaches, Experiments, and Insights
College of Physics and Information Engineering, Fuzhou University(物理与信息工程学院,福州大学);Data61, CSIRO(Data61,CSIRO);Department of Computer Science and Information Technology, La Trobe University(计算机科学与信息科技系,拉筹夫大学);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)
本文提出联邦学习中的大模型定制化方法,通过实验验证了前缀微调的有效性,展示了其在性能、效率和鲁棒性方面的竞争力。
2026-01-02 cs.DC cs.LG
Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA
University of Toronto(多伦多大学);Ericsson-GAIA(爱立信GAIA)
本文提出RoLoRA框架,通过交替最小化LoRA实现鲁棒联邦微调,在降低通信开销的同时提升对参数缩减和数据异质性的鲁棒性。
2024-09-04 cs.DC cs.LG
FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
本文提出FedQuad框架,通过自适应调整LoRA深度与激活量化层数,解决联邦微调中资源受限设备的内存与计算瓶颈及异构同步问题,实现1.4-5.3倍收敛加速。
2025-06-01 cs.DC
Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出HetLoRA方法,通过允许设备间异构LoRA秩并结合本地秩自剪枝与服务器稀疏加权聚合,解决设备端基础模型联邦微调中的数据与系统异构性问题,提升收敛速度与性能。
2024-02-20 cs.DC cs.LG
Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare
Institut intelligence et données (IID)(智能与数据研究所);Université Laval(拉瓦尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所)
本文提出一种通过正交LoRA适配器解耦通用与客户端特定知识的个性化联邦微调方法,用于医疗视觉基础模型,在真实医学影像任务上表现具有竞争力。
2025-10-14 cs.CV cs.DC
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno(内华达大学拉斯维加斯分校)
提出Fed-pilot框架,通过背包优化选择LoRA模块子集,并采用动态补偿聚合规则,解决异构客户端内存约束下的联邦微调问题,实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University(卡内基梅隆大学);Hewlett Packard Enterprise(慧与科技)
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性,其中模型是通过异构设备的分布式网络学习的;在这里,需要将数据保存在设备上并执行本地训练,这使得很难有效地训练和评估配置。在这项工作中,我们研究联邦超参数调整的问题。我们首先确定关键的挑战,并展示如何调整标准方法来形成联邦设置的基线。然后,通过与权重共享的神经架构搜索技术建立新的连接,我们引入了一种新的方法FedEx来加速联邦超参数调整,该方法适用于广泛使用的联邦优化方法,如FedAvg和最近的变体。从理论上讲,我们表明,联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲,我们表明FedEx可以在Shakespeare,FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点,使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
Hong Kong Polytechnic University(香港理工大学);University of California, Merced(加州大学梅尔德分校);The University of Hong Kong(香港大学)
本文提出SplitFT系统,通过自适应设置切层和降低LoRA秩来提升联邦分裂学习在大语言模型微调中的效率与性能,实验表明其在多个基准测试中表现优异。
2026-04-29 cs.DC cs.LG
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题,提出SFPrompt方法,结合分割学习与联邦学习,引入软提示、数据集剪枝和本地损失更新策略,在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG
Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices
Shandong University(山东大学);Xi’an Jiaotong University(西安交通大学)
本文提出FLUX系统,通过基于量化的本地分析、自适应层感知专家合并和动态专家角色分配三项创新,在资源受限设备上实现MoE大模型高效联邦微调,达到精度时间最高加速4.75倍。
2025-10-10 cs.AI cs.DC
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University(南开大学);Nanyang Technological University(南洋理工大学);University of British Columbia (UBC)(不列颠哥伦比亚大学(UBC))
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题,提出pFedLoRA框架,通过同构小型适配器实现全局-局部知识交换迭代训练,在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(苏州市先进研究 institute,中国科学技术大学);School of Computer Science and Technology, China University of Mining and Technology(计算机科学与技术学院,中国矿业大学);Mine Digitization Engineering Research Center of the Ministry of Education(教育部矿山数字化工程研究中心)
针对联邦微调中的灾难性遗忘问题,本文提出FedBE框架,通过自适应Transformer块扩展和动态可训练块分配策略分离新旧知识并适配异构客户端,显著提升准确率保持率和收敛速度。
2025-06-06 cs.DC cs.LG
AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments
University of Science and Technology Beijing(北京科技大学)
提出AlignFed框架,通过多阶段语义对齐机制(版本感知更新分组、跨版本语义对齐、公平性感知聚合)解决异步联邦微调中大语言模型在异构边缘环境中的模型漂移、客户端漂移和聚合不公平问题。
2026-06-06 cs.CL cs.DC
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
ADF-LoRA通过交替低秩聚合提升去中心化联邦学习的稳定性与收敛速度,实现更高准确率。
2025-11-23 cs.DC cs.LG
Scaling Federated Learning for Fine-tuning of Large Language Models
Peltarion(佩尔塔里昂);RISE Research Institutes of Sweden(瑞典RISE研究院)
联邦学习(FL)是分布式计算和分布式数据的一种很有前途的方法,并提供了一定程度的隐私和法律框架的合规性。这使得FL对消费者和医疗保健应用都具有吸引力。虽然这一领域正在积极探索,但很少有研究在更大的语言模型的背景下研究外语,并且缺乏对跨任务,架构,客户端数量和其他相关因素的鲁棒性的全面评论。在本文中,我们将探讨在联邦学习环境中对基于transformer的语言模型进行微调。我们评估了三个流行的BERT变体的不同大小(BERT,ALBERT,和蒸馏BERT)的文本分类任务,如情感分析和作者识别。我们对最多32个客户端的数量进行了广泛的扫描,以评估分布式计算对联合平均设置中任务性能的影响。虽然我们的研究结果表明,评估模型的大尺寸通常不会对联邦训练造成阻碍,但我们发现不同的模型在不同程度上处理联邦平均。最值得注意的是,DistilBERT在大量客户端的情况下收敛速度明显较慢,在某些情况下,甚至会崩溃到偶然水平。调查这个问题为未来的研究提供了一个有趣的视角。
2021-02-01 cs.CL cs.DC cs.LG
Federated Action Recognition on Heterogeneous Embedded Devices
Indian Institute of Technology Bombay(印度理工学院孟买分校);Purdue University(普渡大学)
联邦学习允许大量设备在不共享数据的情况下联合学习模型。在这项工作中,我们使有限的计算能力的客户端执行动作识别,计算繁重的任务。我们首先在中央服务器上通过对大型数据集进行知识蒸馏来执行模型压缩。这允许模型学习复杂的特征,并作为模型微调的初始化。需要进行微调,因为较小数据集中的有限数据不足以让动作识别模型学习复杂的时空特征。由于目前的客户端往往是异构的计算资源,我们使用异步联邦优化,我们进一步展示了收敛界。我们比较我们的方法,两个基准方法:微调在中央服务器(无客户端)和微调使用(异构)客户端使用同步联邦平均。我们在异构嵌入式设备的测试平台上以经验证明,我们可以以与上述两个基线相当的准确度执行动作识别,而我们的异步学习策略相对于同步学习减少了40%的训练时间。
2021-07-18 cs.CV cs.DC
Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA(电气与计算机工程系,纽约大学,布鲁克林,纽约,美国)
TAD-LoRA通过拓扑感知的交替LoRA方法,在去中心化联邦学习中稳定参数高效微调,提升不同通信拓扑下的性能。
2026-01-31 cs.DC cs.LG
Efficient Federated Fine-Tuning of Large Language Models with Layer Dropout
University of Science and Technology of China(中国科学技术大学)
本文提出联邦 PEFT 框架 DropPEFT,通过随机 transformer 层丢弃和自适应丢弃比例配置降低终端训练开销,显著加速收敛并减少内存占用。
2025-03-13 cs.AI cs.DC cs.LG
SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
Xi’an Jiaotong University(西安交通大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
SHE-LoRA通过整合选择性同态加密与LoRA技术,在跨设备环境中实现高效且隐私保护的LLM联邦调优,显著降低通信和加密开销,同时保持性能与抗攻击能力。
2026-02-21 cs.CR cs.DC
FedPop: Federated Population-based Hyperparameter Tuning
Siemens(西门子)
提出FedPop,一种基于联邦种群进化的超参数调优算法,采用“边训练边调优”框架同时优化客户端与服务器端超参数,在多个基准及全尺寸Non-IID ImageNet-1K上显著优于现有方法。
2024-07-23 cs.AI cs.DC cs.LG
FedChronos: Federated Fine-Tuning of Time-Series Foundation Models for Privacy-Preserving Commodity Price Forecasting
FedChronos是用于时间序列基础模型联邦微调的框架,结合LoRA与差分隐私,在非IID商品价格联邦预测中实现隐私与准确性互补,适配边缘部署
2026-08-04 cs.DC cs.LG
FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 FedEx-LoRA,通过在冻结权重矩阵中添加残差误差项,解决联邦学习中 LoRA 适配器传统联邦平均导致的不精确更新问题,在最小开销下实现精确聚合,并在多任务上取得一致性能提升。
2025-06-30 cs.CL cs.CV cs.DC
FlexP-SFT: A Flexible Aggregation-Free Framework for On-Device Personalized Split Federated Fine-Tuning of LLMs
Duke Kunshan University(杜克大学昆山学院);The University of Hong Kong(香港大学);Guangdong University of Technology(广东技术大学)
FlexP-SFT是一种无聚合的设备端个性化拆分联邦LLM微调框架,通过层灵活对齐策略与资源感知拆分比例优化,解决了现有框架的通信瓶颈与掉队者问题,在准确率和延迟上优于基线。
2026-09-02 cs.DC cs.LG
Exploring Selective Layer Fine-Tuning in Federated Learning
Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
本研究探索联邦学习中的选择性层微调,提出灵活策略让客户端按需选择层,理论分析其对收敛的影响,并通过实验验证该策略在适应异质性和识别关键层上的有效性。
2024-11-26 cs.DC cs.LG
Learning Like Humans: Resource-Efficient Federated Fine-Tuning through Cognitive Developmental Stages
University of Macau(澳门大学);HKUST(香港科技大学);HKUST (Guangzhou)(香港科技大学(广州))
针对联邦微调资源消耗高、难部署在边缘设备的问题,提出受人类认知发展启发的DevFT方法,通过分阶段优化递增参数的子模型并结合层分组与融合技术,实现更快收敛、更低通信开销和更优性能。
2025-07-31 cs.AI cs.DC cs.LG
Towards Building the Federated GPT: Federated Instruction Tuning
Duke University(杜克大学);Microsoft Research(微软研究院);Adobe Research(Adobe研究院);Amazon(亚马逊)
针对大语言模型指令微调面临的高质量数据获取难、隐私受限等问题,提出首个基于联邦学习的联邦指令微调方法FedIT,经GPT-4评估性能优于有限数据的集中式训练,并发布Shepherd开源框架支撑相关研究。
2024-01-29 cs.CL cs.DC cs.SY
Unveiling the Depth-Performance Dilemma in Split-Federated Fine-tuning of LLMs
Vellore Institute of Technology(韦洛尔理工学院);University of Arizona(亚利桑那大学)
本研究针对拆分式联邦微调(SFF),识别出深度-性能困境,评估多种联邦适配器聚合方法后发现其无法缓解拆分架构缺陷,归因于Transformer拓扑,为分布式LLM微调提供结构基础。
2026-08-25 cs.CL cs.DC cs.LG
FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients
Fudan University(复旦大学)
针对联邦学习中异构客户端资源不足难以完整微调基础模型的问题,提出基于随机分配矩阵、用适配器微调少量层的FedRA算法,可适配无客户端能承载完整模型的场景,在多数据集非独立同分布设置下性能显著优于对比方法。
2024-03-12 cs.AI cs.DC cs.LG
Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation
Department of Computer Science and Engineering, University of Nevada, Reno(计算机科学与工程系,内华达大学雷诺分校)
针对联邦基础模型微调中客户端资源异构、现有方法性能受限的问题,提出Fed-HeLLo框架及多种异构LoRA分配策略,在多数据集多分布设置下实现了高效且性能优异的联邦微调。
2025-06-13 cs.DC cs.LG
CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction
University of Science and Technology of China(中国科学技术大学);University of Macau(澳门大学)
CooperLLM通过结合移动端ZOO和云引导梯度校正,实现云-边-端协同联邦微调,显著提升收敛速度和精度,同时保护隐私。
2026-01-19 cs.DC cs.LG
A Closer Look at Personalized Fine-Tuning in Heterogeneous Federated Learning
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);McMaster University(麦马斯特大学);University of Southern California(南加州大学)
本文提出LP-FT方法,通过缓解特征扭曲来提升异构联邦学习中个性化与泛化能力的平衡,揭示了联邦特征扭曲现象并提供了部署鲁棒个性化的方法指导。
2025-12-28 cs.AI cs.DC cs.LG
Fed-SB: A Silver Bullet for Extreme Communication Efficiency and Performance in (Private) Federated LoRA Fine-Tuning
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Duke University(杜克大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
针对联邦LoRA微调中传统方法通信成本高或性能下降的问题,提出Fed-SB方法,通过对LoRA-SB中的小方阵R直接平均实现与客户端数无关的低通信成本,在多任务上达SOTA且通信成本最高降230倍,同时适配私有联邦场景。
2025-10-04 cs.AI cs.CL cs.DC
A Survey on Federated Fine-tuning of Large Language Models
State Key Laboratory of IOTSC, University of Macau(物联网科学与技术国家重点实验室,澳门大学);University of Electronic Science and Technology of China(电子科技大学);The University of Hong Kong(香港大学);Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
本文综述了大型语言模型联邦微调的技术、挑战与应用,旨在为隐私保护AI的发展提供指导。
2026-02-24 cs.DC cs.LG
CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning
State Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);School of Artificial Intelligence(人工智能学院);School of Electronic Science and Engineering(电子科学与工程学院);Nanjing University(南京大学)
CF-LoRA通过解耦LoRA因子聚合与自适应感知客户端聚类,解决联邦LoRA微调中异构数据下的结构聚合和统计协作不匹配,在语言和视觉任务上取得最高平均准确率且通信高效。
2026-09-30 cs.AI cs.DC
MIRA: A Method of Federated MultI-Task Learning for LaRge LAnguage Models
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC));American University in Cairo(开罗美国大学);Cairo University(开罗大学)
本文提出MIRA方法,将多任务学习思想引入联邦学习以微调大语言模型,并利用LoRA降低计算与通信开销,在保持全局性能的同时降低各客户端局部损失。
2024-10-20 cs.DC cs.LG
Federated Learning Hyper-Parameter Tuning from a System Perspective
Shandong University(山东大学);Bank of Jiangsu(江苏银行);Fudan University(复旦大学);Ohio State University(俄亥俄州立大学);University of California, Davis(加州大学戴维斯分校)
联邦学习(FL)是一种分布式模型训练范式,它保护了客户端的数据隐私。它得到了学术界和工业界的极大关注。FL超参数(例如,所选择的客户端的数量和训练遍数)在计算时间、传输时间、计算负载和传输负载方面显著地影响训练开销。然而,目前手动选择FL超参数的做法给FL从业者带来了沉重的负担,因为应用程序具有不同的培训偏好。在本文中,我们提出了FedTune,一个自动FL超参数调整算法量身定制的应用程序的不同系统要求的FL训练。FedTune在FL训练过程中迭代调整FL超参数,可以轻松集成到现有的FL系统中。通过对FedTune在不同应用程序和FL聚合算法中的广泛评估,我们表明FedTune是轻量级和有效的,与使用固定FL超参数相比,系统开销减少了8.48%-26.75%。本文旨在帮助外语从业者设计高性能的外语培训解决方案。FedTune的源代码可以在https://github.com/DataSysTech/FedTune上找到。
2022-11-24 cs.DC cs.LG
Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所);EVYD Technology(EVYD科技公司)
本文提出pFedSeq框架,利用选择性状态空间模型对客户端历史适配器更新序列进行建模,以提升个性化联邦学习中适配器微调的性能。
2025-01-03 cs.DC cs.LG
Improved Modelling of Federated Datasets using Mixtures-of-Dirichlet-Multinomials
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);Apple(苹果公司)
针对联邦学习训练慢导致调优受限的问题,提出一种完全联邦的Dirichlet-Multinomial混合模型算法,高效学习真实客户端分布以划分集中式代理数据,显著提升了服务器端训练模拟的准确性。
2024-06-04 cs.DC cs.LG
Enhancing Data Quality in Federated Fine-Tuning of Foundation Models
University of Cambridge(剑桥大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Flower Labs
针对基础模型联邦微调中不共享私有数据的本地训练场景下数据质量控制难的问题,提出一种计算数据质量分数并设全局阈值的控制流水线,可提升训练有效性与模型性能。
2024-03-07 cs.AI cs.DC cs.LG
FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
提出FLoRIST框架,通过奇异值阈值化在紧凑中间空间中对局部适配器进行分解,实现数学上准确的聚合,同时保持通信和计算高效。
2026-05-22 cs.AI cs.DC cs.LG
Optimizing Cross-Client Domain Coverage for Federated Instruction Tuning of Large Language Models
Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
本文针对大语言模型联邦领域指令微调,实证发现跨客户端领域覆盖率是关键因素,并提出通过多样性客户端选择和检索增强来最大化覆盖率的FedDCA算法,在多个领域显著优于基线且隐私风险可控。
2025-08-21 cs.CL cs.DC cs.LG
A Measured Communication-Quality Frontier for Federated LoRA Fine-Tuning with Adaptive Phase-Switching
针对联邦LoRA微调通信开销大的问题,提出自适应相位切换聚合器ReverseAdaptive,通过监测损失相对改善定位前沿拐点,在TinyLlama上实现40.5%通信节省且质量损失极小,阈值可跨规模迁移。
2026-10-06 cs.AI cs.DC cs.LG
Adaptive Rank Allocation for Federated Parameter-Efficient Fine-Tuning of Language Models
Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系)
FedARA通过自适应秩分配提升联邦参数高效语言模型微调的性能与通信效率
2026-02-18 cs.AI cs.DC cs.LG
FedTLU: Federated Learning with Targeted Layer Updates
Carnegie Mellon University(卡内基梅隆大学)
针对联邦学习中非独立同分布数据导致模型微调收敛困难的问题,提出FedTLU目标层更新策略,利用评分机制仅更新关键层并冻结其余参数,有效避免了噪声和投毒更新,显著提升了收敛速度与性能。
2025-01-26 cs.AI cs.DC cs.LG
Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients
POSTECH(浦项科技大学)
针对联邦微调LLMs时聚合不一致及低秩异构数据下性能下降的问题,提出LoRA-A$^2$方法,通过交替冻结和自适应秩选择提升鲁棒性与通信效率,实现参数显著减少且不损性能。
2025-05-30 cs.AI cs.DC cs.LG
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation
Samsung R&D Institute UK(英国三星研发研究院);AI Center-Cambridge, Samsung(三星剑桥人工智能中心)
本文针对 DP-FL 下设备端微调大型 Transformer 性能下降问题,提出可满足差分隐私的动态低秩适配方法 DP-DyLoRA,并在多领域任务中显著降低准确率与 WER 损失。
2025-02-17 cs.CR cs.DC cs.LG
Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning
本文提出通过联邦学习平台在跨域基准中评估联邦微调方法,展示在隐私数据上训练LLM的可行性,对比三种参数高效微调策略,证明联邦微调在非独立同分布数据下的有效性。
2026-05-13 cs.AI cs.DC cs.LG