FedMap: Iterative Magnitude-Based Pruning for Communication-Efficient Federated Learning
Toshiba Europe Ltd.（东芝欧洲有限公司）
本文提出FedMap，一种通过迭代非结构化剪枝从零开始协同学习稀疏全局模型的联邦学习方法，在IID和非IID环境下分别实现超90%和约80%的剪枝率，有效缓解通信瓶颈且保持准确率。
2024-06-27 cs.AI cs.LG
Sky of Unlearning (SoUL): Rewiring Federated Machine Unlearning via Selective Pruning
Texas Tech University（德克萨斯理工大学）；The University of New Mexico（新墨西哥大学）
本文针对无人机互联网中的联邦学习安全问题，提出了联邦遗忘框架SoUL，通过设计选择性剪枝算法移除对遗忘影响大但对整体性能影响小的神经元，在保持模型准确率的同时有效消除不良数据影响并降低计算与通信开销。
2025-04-02 cs.AI cs.LG cs.MA
FedSpaLLM: Federated Pruning of Large Language Models
Argonne National Laboratory（阿贡国家实验室）；Emory University（埃默里大学）
针对隐私场景下大语言模型剪枝缺乏可用校准数据的问题，提出首个专为LLM剪枝设计的联邦学习框架FedSpaLLM，通过三项创新技术在兼顾系统异构性与通信效率的同时提升了多场景剪枝性能。
2025-02-18 cs.CR cs.LG
Orthogonal Soft Pruning for Efficient Class Unlearning
Qinghui Gong（青辉公）；Xue Yang（岳阳）；Xiaohu Tang（唐晓虎）
针对联邦学习中数据遗忘的性能权衡与非IID下特征纠缠问题，提出FedOrtho框架，结合正交卷积核与单次软剪枝实现多粒度高效遗忘，取得SOTA效果并大幅降低成本。
2025-11-14 cs.AI cs.LG
Federated Learning Client Pruning for Noisy Labels
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Central Florida（中佛罗里达大学）
本文提出ClipFL框架，通过噪声候选分数（NCS）识别并排除噪声客户端，在干净客户端上微调全局模型，有效解决联邦学习中的噪声标签问题，提升性能并降低通信成本。
2024-11-11 cs.AI cs.CV cs.DC
PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation
Hong Kong University of Science and Technology（香港科学与技术大学）；WeBank Co., Ltd（WeBank公司）；Hong Kong Polytechnic University（香港理工大学）
PPC-GPT提出一种联邦框架，结合差分隐私、合成数据生成、剪枝与思维链蒸馏，将LLM压缩为任务特定SLM，在保护隐私的同时保持竞争性能。
2025-11-09 cs.AI cs.CL cs.LG
FedKLPR: KL-Guided Pruning-Aware Federated Learning for Person Re-Identification
Media IC and System Lab, the Graduate Institute of Electronics Engineering and Department of Electrical Engineering, National Taiwan University（媒体IC与系统实验室，电子工程研究所及电气工程系，国立台湾大学）
本文提出FedKLPR框架，通过KL散度引导训练、无结构剪枝和跨轮次恢复技术，解决联邦学习在人重识别中的统计异质性和通信开销问题，实验表明其在通信开销和准确性方面均优于现有方法。
2026-05-18 cs.AI cs.CV cs.LG
Pruning Federated Models through Loss Landscape Analysis and Client Agreement Scoring
Bielefeld University（比勒菲尔德大学）；School of Engineering, Westlake University（西湖大学工程学院）
本文提出AutoFLIP框架，通过联邦损失探索识别鲁棒高效的子网络，减少计算和通信开销，提升非iid场景下的准确率。
2026-05-12 cs.AI cs.DC cs.ET
A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出MPFL算法，将剪枝掩码协同融入联邦学习迭代流程，通过低维掩码与共识掩码降低通信成本，并实验验证其优于现有方法且开源软件包。
2023-12-06 cs.AI cs.DC cs.LG
FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization
University of Glasgow（格拉斯哥大学）；Hunan University（湖南大学）
FedDIP结合动态剪枝与增量正则化，在联邦学习中实现极端稀疏性，减少参数交换，保持高精度，性能优于现有方法。
2023-09-13 cs.AI cs.DC cs.LG
Federated Learning based on Pruning and Recovery
Beijing University of Posts and Telecommunications（北京邮电大学）
提出一种结合异步学习与剪枝技术的异构环境联邦学习框架，通过逐步恢复模型大小、引入缓冲机制及优化通信，显著减少训练时间并提升收敛精度，在异构和非独立同分布场景下优势更明显。
2024-03-16 cs.DC cs.LG
HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign Supermask
Hong Kong University of Science and Technology（香港科技大学）；University of Science and Technology China（中国科学技术大学）；University of Cambridge（剑桥大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
联邦学习通过仅将本地模型更新传输到中央服务器来消除分布式学习中的隐私风险。然而，它面临的挑战包括客户端数据集的统计异构性和客户端设备的资源限制，这严重影响了训练性能和用户体验。先前的工作已经通过将个性化与包括量化和修剪的模型压缩方案相结合来解决这些挑战。然而，修剪是依赖于数据的，因此必须在客户端完成，这需要相当大的计算成本。此外，修剪通常训练二进制超级掩码$\in \{0, 1\}$，这显著限制了模型容量，但没有计算益处。因此，训练需要高计算成本和长时间的收敛，而模型性能没有得到回报。在这项工作中，我们提出了HideNseek，它在初始化时采用一次性数据无关的修剪，以获得基于权重的突触显着性的子网络。每个客户端然后优化一个符号超级掩码$\in \{-1, +1\}$乘以未修剪的权重，以允许更快的收敛与相同的压缩率的国家的最先进的。从三个数据集的实证结果表明，相比国家的最先进的，HideNseek提高推理精度高达40.6%，同时减少通信成本和训练时间分别高达39.7%和46.8%。
2022-06-09 cs.LG
CLIP: Client-Side Invariant Pruning for Mitigating Stragglers in Secure Federated Learning
University of Toronto（多伦多大学）
针对安全联邦学习中异构掉队客户端造成的计算与网络瓶颈，提出 CLIP 客户端不变神经元剪枝及网络感知剪枝方法，在 CIFAR10、Shakespeare、FEMNIST 上实现 13%–34% 训练加速且精度损失很小。
2025-10-19 cs.CR cs.DC cs.LG
Rethinking Federated Unlearning via the Lens of Memorization
Royal Melbourne Institute of Technology（皇家墨尔本理工学院）；Griffith University（格里菲斯大学）；Swinburne University of Technology（斯威本理工大学）
针对联邦学习中遗忘数据与保留数据重叠导致遗忘无效和客户端不公平的问题，提出基于分组记忆评估的联邦记忆剪枝方法，通过重置负责记忆的冗余参数实现高效遗忘。
2026-05-23 cs.AI cs.LG
FedCliP: Federated Learning with Client Pruning
Sichuan University（四川大学）；Tsinghua University（清华大学）
目前流行的通信高效的联邦学习（FL）框架通常利用模型梯度压缩或模型蒸馏。然而，参与客户的本地数据分布（无论是数量还是质量）不平衡，对全球模型训练的贡献不对等，仍然对这些工作构成了很大的挑战。在本文中，我们提出了FedCliP，一种新的通信效率FL框架，允许更快的模型训练，通过自适应学习哪些客户端应该保持活跃，以进一步的模型训练和修剪那些应该不活动的潜在贡献较少。我们还介绍了一种新定义的贡献得分措施，以促进活跃和不活跃的客户端确定的替代优化方法。我们经验性地评估FL框架的通信效率，在IID和非IID设置下对三个基准数据集进行了广泛的实验。数值结果表明，提出的FedCliP框架优于最先进的FL框架，即，FedCliP在MNIST数据集上可以节省70%的通信开销，而精度损失仅为0.2%，在FMNIST和CIFAR-10数据集上分别节省50%和15%的通信开销，而精度损失小于1%。
2023-01-29 cs.AI cs.CR cs.LG
Dynamic Entanglement-Weighted Pruning for Quantum Federated Unlearning in Supply-Chain Risk Prediction
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
本研究针对供应链风险预测的量子联邦学习，提出EWP剪枝方法，可高效移除客户端贡献，性能接近全量重训练且耗时仅为其约1/16。
2026-08-19 cs.LG quant-ph
DapperFL: Domain Adaptive Federated Learning with Model Fusion Pruning for Edge Devices
School of Computing, Macquarie University（麦考瑞大学计算学院）；School of Information and Physical Sciences, University of Newcastle（纽卡斯尔大学信息与物理科学学院）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；College of Computer Science and Technology, China University of Petroleum (East China)（中国石油大学（华东）计算机科学与技术学院）
针对边缘计算中联邦学习因系统异构性和数据领域偏移导致性能下降的问题，提出DapperFL框架，通过模型融合剪枝、领域自适应正则化及异构聚合算法，在提升精度的同时大幅缩减模型体积。
2024-12-08 cs.AI cs.LG
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
University of California San Diego（加州大学圣迭戈分校）
FL中的传统方法试图在中央服务器的编排下，在多个客户端的帮助下协作地学习单个全局模型。然而，在数据异构的情况下，学习单个全局模型可能无法很好地适用于参与FL的所有客户端。因此，全局模型的个性化在处理统计异质性和数据的非IID分布所带来的挑战方面变得至关重要。与以前的作品不同，在这项工作中，我们提出了一种新的方法，从客户端级别的目标获得个性化的模型。这进一步激励了所有客户端即使在统计异质性下也参与联合，以提高其性能，而不仅仅是中央服务器的数据和模型训练的来源。为了实现这种个性化，我们通过应用混合修剪（结构化和非结构化修剪的组合）和非结构化修剪来为每个客户端找到一个小型子网。通过对不同基准测试的一系列实验，我们观察到具有相似数据（标签）的客户端共享相似的个人参数。通过为每个客户端查找子网...
2021-05-10 cs.DC cs.LG
Federated Multimodal Learning with Dual Adapters and Selective Pruning for Communication and Computational Efficiency
Iowa State University（爱荷华州立大学）；Intel Labs（英特尔实验室）；Amazon（亚马逊）
本文提出一种联邦多模态学习框架，通过双适配器实现客户端个性化与全局知识共享，并结合选择性剪枝降低通信开销，在提升准确率和公平性的同时显著减少通信与计算成本。
2025-03-10 cs.LG
Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift
School of Computing Science University of Glasgow（计算科学学院格拉斯哥大学）
针对联邦学习中数据异质性导致的泛化问题，提出结合剪枝与正则化的新框架，并引入CelebA-Gender基准数据集，实验证明其优于标准基线，提升模型鲁棒性。
2025-09-09 cs.CV cs.LG
A Theoretical Framework for Energy-Aware Gradient Pruning in Federated Learning
Kapodistrian University of Athens Department of Informatics
本文提出一种面向能耗的梯度剪枝方法，通过考虑硬件差异优化通信效率，实验显示其在性能与能耗方面优于传统Top-K方法。
2026-03-23 cs.DC cs.IT cs.LG
Advancing IIoT with Over-the-Air Federated Learning: The Role of Iterative Magnitude Pruning
National University of Sciences & Technology (NUST)（巴基斯坦国立科技大学）；University of Calgary（卡尔加里大学）；University of Sussex（萨塞克斯大学）
针对工业物联网中外围智能单元资源受限的问题，提出在空中联邦学习环境中集成迭代幅度剪枝技术，以获取紧凑且鲁棒的高性能深度神经网络模型。
2024-03-21 cs.AI cs.LG eess.SP
Towards Communication-Learning Trade-off for Federated Learning at the Network Edge
Beijing University of Posts and Telecommunications（北京邮电大学）
在这封信中，我们研究了一个无线联邦学习（FL）系统，网络修剪应用于本地用户有限的资源。虽然修剪有利于减少FL延迟，但由于信息丢失，它也会降低学习性能。因此，提出了沟通和学习之间的权衡问题。为了解决这一挑战，我们量化的网络修剪和数据包错误的学习性能的影响，通过推导FL的收敛速度与非凸损失函数。然后，修剪控制和带宽分配的封闭形式的解决方案，提出了FL延迟和FL性能的加权和最小化。最后，数值实验结果表明：1）我们提出的方法在降低成本和保证精度方面优于基准算法; 2）较高的剪枝率会带来较少的通信开销，但也会降低FL的精度，这与我们的理论分析是一致的。
2022-05-27 cs.IT cs.LG eess.SP
Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data
Hithink RoyalFlush Information Network Co., Ltd.（同花顺网络信息股份有限公司）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Baidu Research（百度研究院）；Software Institute, Peking University（北京大学软件学院）；Auburn University（奥本大学）；North Carolina State University（北卡罗来纳州立大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对联邦学习训练效率低、资源受限的问题，提出FedDUMAP框架，融合动态服务器更新、全局动量自适应优化与层自适应剪枝，显著提升效率、准确率并降低计算成本。
2024-08-11 cs.AI cs.DC cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率，通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Improving Local Training in Federated Learning via Temperature Scaling
School of Integrated Technology, Yonsei University（燕尼大学整合技术学院）；BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University（燕尼大学智能半导体技术研究生项目）；Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）
FLex&Chill通过温度缩放方法提升联邦学习中本地训练的收敛速度和推理精度。
2025-12-23 cs.AI cs.LG
Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity
North Carolina State University（北卡罗来纳州立大学）；University of Southern California（南加州大学）；Zhejiang University（浙江大学）
本文针对无线网络中的带宽稀缺和系统异构性，提出启用剪枝的分层联邦学习（PHFL），通过联合优化剪枝比率、CPU频率和传输功率以最小化收敛上界，并利用SCA解决非凸问题，仿真验证了其在准确率、时间、能耗和带宽上的有效性。
2024-03-24 cs.LG cs.NI cs.SY
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty
Ant Group（蚂蚁集团）
联邦学习（FL）近年来受到越来越多的关注。作为一种保护隐私的协作学习范式，它可以实现更广泛的应用，特别是对于计算机视觉和自然语言处理任务。然而，迄今为止，联邦学习在关系数据上的研究有限，即知识图谱（KG）。在这项工作中，我们提出了一个修改后的版本的图神经网络算法，在不同的参与者进行联合建模的KG。具体来说，为了解决固有的数据异构性问题和算法收敛效率低下，我们提出了一种新的优化算法，命名为FedAlign，1）最佳运输（OT）的客户端个性化和2）重量约束，以加快收敛。在几个广泛使用的数据集上进行了大量的实验。实验结果表明，我们提出的方法优于最先进的FL方法，如FedAVG和FedProx，具有更好的收敛性。
2020-11-23 cs.AI cs.LG
FedUP: Efficient Pruning-based Federated Unlearning for Model Poisoning Attacks
New Jersey Institute of Technology（新泽西理工学院）
FedUP提出一种基于剪枝的轻量级联邦遗忘方法，通过置零良性与恶意客户端更新差异最大的高幅值权重，在模型投毒攻击下高效移除恶意影响，实验证明其有效、鲁棒且比SOTA更快更省存储。
2025-08-19 cs.LG
Federated Unlearning via Class-Discriminative Pruning
Hong Kong Polytechnic University（香港理工大学）；Dalian University of Technology（大连理工大学）
我们探讨了在联邦学习（FL）中从训练好的CNN分类模型中选择性遗忘类别的问题。鉴于用于训练的数据无法在FL中全局访问，我们的见解深入探讨了每个通道的内部影响。通过对不同通道激活的特征图的可视化，我们观察到不同通道对图像分类中不同类别的贡献不同。受此启发，我们提出了一种方法，用于擦洗模型中有关特定类别的信息。该方法不需要从头开始重新训练，也不需要对用于训练的数据进行全局访问。相反，我们引入了术语频率逆文档频率（TF-IDF）的概念来描述信道的类别区分。具有高TF-IDF分数的通道对目标类别有更多的区分，因此需要修剪以忘记。通道修剪之后是微调过程，以恢复修剪后模型的性能。在CIFAR 10数据集上进行评估，与从头开始重新训练相比，我们的方法将ResNet模型的遗忘速度提高了8.9倍，VGG模型的遗忘速度提高了7.9倍，而准确性没有下降。对于CIFAR 100数据集，加速比分别为9.9倍和8.4倍。我们设想这项工作作为FL遵守法律和道德标准的补充块。
2022-01-29 cs.CR cs.CV cs.DC
FedOBP: Federated Optimal Brain Personalization through Cloud-Edge Element-wise Decoupling
Beijing Key Laboratory of MEMS Technology and Device Reliability for Industrial Internet, the School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications（北京工业互联网MEMS技术与器件可靠性重点实验室，智能工程与自动化学院，北京邮电大学）；School of Business Administration, Southwestern University of Finance and Economics（西南财经大学商学院）；Institute of Artificial Intelligence and the School of Computer Science, Beihang University（北京航空航天大学人工智能研究院和计算机学院）；School of Electronic Engineering, Dublin City University（都柏林城市大学电子工程学院）；DreamSoul
本文提出FedOBP算法，通过量化阈值机制和元素重要性评分，结合最优脑损伤理论，解决联邦学习中个性化参数选择问题，实验表明其在多种数据集和异构场景中表现优异。
2026-04-17 cs.AI cs.LG
Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning
Department of Engineering and Information Technology, Åbo Akademi University（奥布大学工程与信息技术系）
针对数据稀缺联邦学习中稀疏模型发现困难，提出熵正则化概率门方法，通过维持门分布不确定性避免过早稀疏承诺，在异质性和稀疏性下提升统计性能与稀疏恢复精度。
2026-07-02 cs.AI cs.DC cs.LG
Mitigating Backdoor Attacks in Federated Learning
Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
恶意客户端可以在训练阶段使用恶意数据（包括后门样本）攻击联邦学习系统。受损的全局模型将在为任务设计的验证数据集上表现良好，但具有后门模式的一小部分数据可能会触发模型做出错误的预测。在服务器端训练的聚合阶段，试图隐藏攻击的攻击者和试图检测攻击的防御者之间一直存在军备竞赛。在这项工作中，我们提出了一种新的和有效的方法来减轻后门攻击后的训练阶段。具体而言，我们设计了一种联邦剪枝方法来删除网络中的冗余神经元，然后调整模型的极端权重值。我们在分布式Fashion-MNIST上进行的实验表明，我们的方法可以将平均攻击成功率从99.7%降低到1.9%，在验证数据集上的测试准确性损失为5.5%。为了尽量减少剪枝对测试准确率的影响，我们可以在剪枝后进行微调，攻击成功率下降到6.4%，测试准确率仅损失1.7%。在CIFAR-10上进行的分布式后门攻击下的进一步实验也显示了有希望的结果，平均攻击成功率下降了70%以上，验证数据集上的测试准确性损失不到2%。
2021-01-14 cs.CR cs.LG
PriPrune: Quantifying and Preserving Privacy in Pruned Federated Learning
IMDEA Networks Institute（IMDEA网络研究所）；University of California, Irvine（加利福尼亚大学欧文分校）；Universidad Carlos III de Madrid（卡洛斯三世大学）
本文首次量化联邦学习剪枝的隐私泄露，提出隐私感知剪枝算法PriPrune，通过个性化防御掩码和自适应剪枝率，显著提升隐私-准确性权衡。
2023-12-22 cs.CR cs.IT cs.LG
Efficient Federated Learning with Enhanced Privacy via Lottery Ticket Pruning in Edge Computing
Tsinghua University（清华大学）；JD Explore Academy（京东探索研究院）；Hong Kong Polytechnic University（香港理工大学）；Nanjing University of Science and Technology（南京理工大学）；Shenzhen Wisdom and Strategy Technology Co., Ltd.（深圳智略科技有限公司）
针对联邦学习存在的通信、资源及隐私瓶颈，提出结合彩票假设剪枝与零集中差分隐私的Fed-LTP框架，通过服务器端双剪枝方案、客户端稀疏到稀疏训练及拉普拉斯机制验证，在多数据集上实现更优的效用-隐私权衡与资源效率。
2023-05-02 cs.CR cs.DC cs.LG
Stochastic Channel-Based Federated Learning for Medical Data Privacy Preserving
Xi’an Jiaotong University（西安交通大学）；Mianyang Vocational College（绵阳职业技术学院）；MIT（麻省理工学院）
人工神经网络在医学领域取得了前所未有的成功。这一成功取决于大量有代表性的数据集的可用性。然而，数据汇集往往被隐私问题所阻止，人们希望在培训和使用过程中控制他们的敏感信息。为了解决这个问题，我们提出了一个隐私保护的分布式系统，随机基于联邦学习（SCBF），它使参与者训练一个高性能的模型合作，而不共享他们的输入方法。具体来说，我们设计，实现和评估一个基于通道的更新算法的中央服务器在一个分布式系统中，它选择的通道方面的最活跃的功能在一个训练循环，并上传他们作为学习信息从本地数据集。一个修剪过程应用到算法的基础上的验证集，作为一个模型加速器。在实验中，我们的模型表现出更好的性能和更高的饱和速度比联邦平均方法，揭示了本地模型的所有参数时，更新到服务器。我们还证明，通过引入修剪过程可以提高性能的饱和率。通过调整剪枝率可以进一步提高系统的性能。我们的实验表明，修剪过程节省了57%的时间，AUCROC性能仅降低了0.0047，AUCPR降低了0.0068。
2019-11-15 cs.CR cs.DC cs.LG
Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices
ShanghaiTech University（上海科技大学）；LG Electronics（乐金电子）；The University of Hong Kong（香港大学）
联邦学习（FL）是一种流行的框架，用于在无线网络中使用分布式移动数据来训练AI模型。它通过将学习任务分配给多个边缘设备，同时试图保护其本地数据隐私，从而实现数据并行。实际FL面临的一个主要挑战是资源受限设备与更新深度神经网络模型的计算密集型任务作斗争。为了解决这一问题，本文在经典的随机模型剪枝丢弃方案的基础上，提出了一种联邦丢弃（FedDrop）方案。具体地，在FL算法的每次迭代中，在服务器处使用dropout但具有异构的dropout率（即，参数修剪概率），其中的每一个都适合于所分配的信道的状态。这些数据将被下载到相关设备以进行更新。因此，与传统FL相比，FedDrop减少了通信开销和设备的计算负载，同时在过拟合的情况下优于后者，并且还优于具有均匀丢弃的FL方案（即，相同）。
2022-02-05 cs.IT cs.LG math.IT
Lightweight Federated Learning over Wireless Edge Networks
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；School of Cyber Science and Technology, Beihang University（信息科学与技术学院，北航）；Tsinghua Space Center, Tsinghua University（清华大学空间中心）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
本文提出轻量级联邦学习框架LTFL，集成无线传输功率控制、模型剪枝和梯度量化，通过推导收敛差距闭式表达式并求解非凸优化问题，在满足延迟和能耗约束下最小化收敛差距，实验证明其优于现有方案。
2025-07-13 cs.DC cs.LG
Applied Federated Learning: Improving Google Keyboard Query Suggestions
Google（谷歌）
联邦学习是机器学习的一种分布式形式，其中训练数据和模型训练都是分散的。在本文中，我们使用联邦学习在商业，全球规模的设置训练，评估和部署一个模型，以提高虚拟键盘搜索建议的质量，而无需直接存取底层用户数据。我们描述了我们在联合训练中的观察结果，将指标与实时部署进行比较，并提出了由此产生的质量提高。总之，我们展示了如何端到端地应用联邦学习来改善用户体验并增强用户隐私。
2018-12-07 cs.LG stat.ML
DPVS-Shapley:Faster and Universal Contribution Evaluation Component in Federated Learning
Software College. Zhejiang University Hangzhou China；Software College. Zhejiang University
本文提出DPVS-Shapley组件，通过动态剪枝数据集加速联邦学习中的Shapley值贡献评估，并通过样本加权奖励能区分困难样本的客户端，实现更快且通用的贡献评估。
2024-10-19 cs.AI cs.CR cs.GT
Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Zhongguancun Laboratory（中关村实验室）；Beijing Jiaotong University（北京交通大学）
针对联邦蒸馏的通信开销问题，本文提出 ALU 方法，通过累积多轮本地更新后再向中央服务器传输知识，降低通信频率并显著提升通信效率。
2023-12-07 cs.DC cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置，通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而，当将联邦学习扩展到生产环境时，通信效率仍然是一个主要瓶颈，特别是由于上行链路通信期间的带宽限制。在本文中，我们正式和解决的问题，压缩客户端到服务器的模型更新下的安全聚合原语，联邦学习管道，允许服务器聚合客户端更新，而无需单独访问它们的核心组件。特别是，我们适应标准的标量量化和修剪方法安全聚合，并提出安全索引，安全聚合的一个变种，支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果，在上行链路通信中进行了多达40次$\times$压缩，与未压缩的基线相比，效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis
针对工业物联网多元时间序列分析，提出一种联邦学习框架下的服务器端压缩剪枝方法，实现高压缩率（>99.7%）且性能损失极小（<1.18%），兼顾隐私与资源效率。
2024-11-06 cs.AI cs.LG eess.SP
FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging
College of Intelligence and Computing, Tianjin University, Tianjin, China（天津大学智能学院）；Medical School, Tianjin University, Tianjin, China（天津大学医学院）；Peng Cheng Lab, Shenzhen, China（鹏城实验室）；School of Artificial Intelligence, Xidian University, Xi'an, China（西安电子科技大学人工智能学院）；School of Cyber Engineering, Xidian University, Xi'an, China（西安电子科技大学网络工程学院）
本文提出FedSWA和FedMoSWA算法，通过随机受控权重平均提升联邦学习在高度异质数据中的泛化能力，理论分析和实验验证其有效性。
2025-07-26 cs.AI cs.LG
Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance
University of Granada（格拉纳达大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所（DaSCI））
针对联邦学习在高维空间中拜占庭攻击鲁棒性下降的问题，提出分层余弦聚合方法，通过逐层余弦距离增强鲁棒性，理论分析与实验表明准确率最高提升16%。
2025-03-27 cs.AI cs.LG
Energy-Efficient Federated Learning for Edge Real-Time Vision via Joint Data, Computation, and Communication Design
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学）
针对边缘实时视觉的节能联邦学习，提出FedDPQ框架，联合优化数据增强、剪枝、量化和功率控制，实现高能效与快速收敛。
2025-08-03 cs.DC cs.LG
Improving Early Sepsis Onset Prediction Through Federated Learning
Bielefeld University（比勒菲尔德大学）；CITEC（CITEC研究中心）
本研究提出一种联邦注意力增强LSTM模型，利用多中心ICU数据实现可变预测窗口的脓毒症早期预测，在保护隐私的同时提升早期检测性能并降低开销。
2025-09-25 cs.AI cs.LG
Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning
Delft University of Technology（代尔夫特理工大学）
Shapley值通常用于衡量和激励客户参与联邦学习。在本文中，我们通过理论和模拟表明，Shapley值低估了一种常见类型的客户端的贡献：小牛。Mavericks是数据分布和数据量不同的客户端，可以是某些类型数据的唯一所有者。在正确的时刻选择正确的客户端对于联邦学习减少收敛时间和提高准确性非常重要。我们提出了FedEMD，一个自适应的客户端选择策略的基础上Wasserstein距离的本地和全球数据分布。由于FedEMD调整了选择概率，使得当模型受益于稀有类的改进时优选选择Mavericks，因此它始终确保在存在不同类型的Mavericks时的快速收敛。与现有的策略相比，包括基于Shapley值的策略，FedEMD将神经网络分类器的收敛性提高了至少26.9%，用于FedAvg聚合。
2021-06-20 cs.AI cs.CY cs.LG
Improving Fairness via Federated Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近，已经提出了许多算法来从分散数据中学习公平分类器。然而，许多理论和算法问题仍然是开放的。首先，联邦学习是否必要，即，我们是否可以简单地训练当地公平的分类人员并将其汇总？在这项工作中，我们首先提出了一个新的理论框架，我们证明了联邦学习可以严格提高模型公平性相比，这样的非联邦算法。然后，我们从理论上和经验表明，基于FedAvg的公平学习算法的性能权衡严格比集中式数据训练的公平分类器差。为了弥合这一差距，我们提出了FedFB，一个私人公平的学习算法分散的数据。关键思想是修改FedAvg协议，使其能够有效地模仿集中式公平学习。我们的实验结果表明，FedFB显著优于现有方法，有时与集中训练模型的性能相匹配。
2022-12-07 cs.LG
Improving Fairness for Data Valuation in Horizontal Federated Learning
University of British Columbia（不列颠哥伦比亚大学）；Huawei Technologies Canada Co.（华为技术加拿大公司）；Simon Fraser University（西蒙弗雷泽大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
联邦学习是一种新兴的分散式机器学习方案，允许多个数据所有者协同工作，同时确保数据隐私。联邦学习的成功很大程度上取决于数据所有者的参与。为了维持和鼓励数据所有者的参与，公平地评估数据所有者提供的数据质量并给予相应的奖励至关重要。最近由Wang等人提出的联邦Shapley值[联邦学习，2020]是在联邦学习框架下对数据价值的度量，满足数据估值的许多期望属性。然而，在联合Shapley值的设计中仍然存在潜在的不公平因素，因为具有相同本地数据的两个数据所有者可能不会收到相同的评估。为了提高联邦Shapley值的公平性，提出了一种新的度量标准--完备联邦Shapley值。设计依赖于完成一个矩阵，该矩阵由数据所有者的不同子集的所有可能贡献组成。它示出了在温和的条件下，该矩阵是近似低秩的利用优化的概念和工具。理论分析和实证评估都证实了该措施在许多情况下确实改善了公平性。
2022-05-23 cs.LG
Improving Response Time of Home IoT Services in Federated Learning
Chungnam National University（忠南国立大学）
对于具有传感器和机器学习的智能家居物联网服务，我们需要将物联网数据上传到无法共享私有数据的云服务器进行训练。最近的一种机器学习方法称为联邦学习，它将用户数据保存在分布式计算环境中的设备上。虽然联邦学习对于保护隐私很有用，但它在家庭物联网服务的端到端响应时间方面表现不佳，因为物联网设备通常由云中的远程服务器控制。此外，由于数据不足问题和模型反演攻击，很难实现联邦学习模型的高精度。在本文中，我们提出了一种本地物联网控制方法，用于联邦学习家庭服务，快速准确地识别家庭网络中的用户行为。我们提出了一个具有迁移学习和差分隐私的联邦学习客户端，以解决数据稀缺和数据模型反转攻击问题。从实验中，我们表明，本地控制家庭物联网设备的用户认证和控制消息传输的联邦学习客户端提高了响应时间小于1秒。此外，我们证明了联邦学习与迁移学习在9,000个样本下达到了97%的准确率，这与集中式学习的差异只有2%。
2022-02-28 cs.LG
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）
近年来，随着越来越多的法规涉及用户的隐私敏感数据保护，对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据，一种革命性的分散式机器学习设置（称为联邦学习）使位于不同地理位置的多个客户端能够协作学习机器学习模型，同时将所有数据保存在设备上。然而，联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中，我们提出并研究了自适应联邦丢弃（AFD），一种新的技术，以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明，这种策略，结合现有的压缩方法，共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外，它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
FedSAP: Federated Learning with Structured Adaptive Partitioning for Multi-Domain Heterogeneous Edge Devices
针对异构边缘设备联邦学习中的资源与域偏移问题，提出FedSAP框架，通过结构化剪枝实现三态通道分配，隔离域敏感更新，在Digits和Office-Caltech上超越基线并支持高剪枝率。
2026-10-02 cs.LG
Federated Data-Efficient Instruction Tuning for Large Language Models
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
提出联邦数据高效指令微调方法FedHDS，通过减少客户端内外数据冗余选取代表性子集，在仅用不到1.5%数据下使未见任务Rouge-L平均提升10.72%，显著提升训练效率。
2025-06-27 cs.AI cs.CL cs.LG
