Feature-based Federated Transfer Learning: Communication Efficiency, Robustness and Privacy
Syracuse University（雪城大学）
该研究提出基于特征的联邦迁移学习方法，通过上传特征与输出替代参数更新大幅降低上行负载，同时分析其鲁棒性与隐私问题，并经多任务实验验证有效性。
2024-05-15 cs.LG cs.MA
Federated Continual Learning with Weighted Inter-client Transfer
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
人们对持续学习和联邦学习的兴趣激增，这两种学习在现实世界的深度神经网络中都很重要。然而，对于每个客户端从私人本地数据流中学习一系列任务的场景，人们几乎没有进行过研究。这种联合持续学习的问题对持续学习提出了新的挑战，例如利用来自其他客户端的知识，同时防止不相关知识的干扰。为了解决这些问题，我们提出了一种新的联邦持续学习框架，联邦加权客户端间传输（FedWeIT），它将网络权重分解为全局联邦参数和稀疏的任务特定参数，每个客户端从其他客户端接收选择性的知识，通过采取加权组合的任务特定参数。FedWeIT最大限度地减少了不兼容任务之间的干扰，并允许在学习过程中跨客户进行积极的知识转移。我们验证了我们的FedWeIT对现有的联邦学习和持续学习方法在不同程度的任务相似性的客户端，我们的模型显着优于他们的通信成本大幅降低。代码可在www.example.com上获得
2021-06-14 cs.LG stat.ML
Hierarchical Federated Transfer Learning in Digital Twin-Based Vehicular Networks
Georgia State University（佐治亚州立大学）；Penn State Berks（宾州州立大学柏克斯分校）；College of Information Sciences and Technology（信息科学与技术学院）
针对DT-VANET中联邦学习受数据异质性、稀疏性及恶意车辆影响的问题，提出HFTL算法，结合车辆聚类与数据质量评分机制，经真实数据集实验验证其有效高效。
2026-08-13 cs.AI cs.LG
Federated and Transfer Learning: A Survey on Adversaries and Defense Mechanisms
University of Windsor（温莎大学）
联邦学习的出现促进了机器学习模型之间的大规模数据交换，同时保持了隐私。尽管它的历史很短，但联邦学习正在迅速发展，使其更广泛地使用。该领域最重要的进步之一是将迁移学习纳入联邦学习，这克服了主要联邦学习的基本限制，特别是在安全性方面。本章从安全的角度对联邦学习和迁移学习的交叉点进行了全面的调查。本研究的主要目标是发现可能损害使用联邦和迁移学习的系统的隐私和性能的潜在漏洞和防御机制。
2022-07-05 cs.AI cs.CR cs.CV
An Adaptive ML Framework for Power Converter Monitoring via Federated Transfer Learning
Corporate Research Center, ABB AB（ABB AB公司企业研究中心）；Motion System Drives, ABB Oy（ABB Oy公司运动系统驱动部）；Division of Electric Power and Energy Systems, KTH Royal Institute of Technology（KTH皇家理工学院电力与能源系统系）
本研究提出一种结合迁移学习与联邦学习的自适应框架，通过微调、TCA和DDA技术增量调整电力变换器热模型，验证了微调的高精度及本地与云端联邦学习的适用场景。
2025-04-23 cs.LG
Federated deep transfer learning for EEG decoding using multiple BCI tasks
Imperial College London（帝国理工学院）；University of Bayreuth（拜罗伊特大学）
深度学习在BCI解码中取得了成功。但是，它非常需要数据，需要从多个来源汇集数据。来自各种来源的EEG数据由于负传递而降低解码性能。最近，用于EEG解码的迁移学习已被建议作为一种补救措施，并成为最近BCI竞赛（例如BEETL）的主题，但在组合来自许多受试者的数据时存在两个并发症。首先，隐私没有得到保护，因为高度个人化的大脑数据需要共享（并跨越日益严格的信息治理边界复制）。此外，BCI数据从不同的来源收集，并且通常基于不同的BCI任务，这被认为限制了它们的可重用性。在这里，我们展示了一种联合深度迁移学习技术，即基于我们以前的SCSN工作的多数据集联合分离-公共-分离网络（MF-SCSN），它将隐私保护属性集成到深度迁移学习中，以利用不同任务的数据集。该框架使用从不同图像任务获得的不同源数据集（例如，一些数据集具有手和脚，而另一些数据集具有单手和舌头等）来训练BCI解码器。因此，通过引入保护隐私的迁移学习技术，我们解锁了现有BCI数据集的可重用性和可扩展性。我们在NeurIPS 2021 BEETL竞赛BCI任务中评估了我们的联邦迁移学习方法。所提出的架构优于基线解码器的3%。此外，与基线和其他迁移学习算法相比，我们的方法保护了来自不同数据中心的大脑数据的隐私。
2023-02-06 cs.LG eess.SP
Feature Distribution Matching for Federated Domain Generalization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；United Nations University（联合国大学）
多源领域自适应已被广泛研究。特定领域固有的特征的分布偏移导致了负转移问题，降低了模型对看不见的任务的通用性。在联邦学习（FL）中，共享学习的模型参数以训练全局模型，该全局模型利用在单独的数据域上训练的客户端模型之间的基础知识。然而，FL的数据机密性阻碍了传统领域自适应方法的有效性，这些方法需要不同领域数据的先验知识。提出了一种新的联邦领域泛化方法-联邦知识对齐（Federated Knowledge Alignment，FedKA）。FedKA利用全局工作空间中的特征分布匹配，使得全局模型可以在未知客户端数据的约束下学习域不变的客户端特征。FedKA采用联邦投票机制，根据客户端的共识生成目标域伪标签，以促进全局模型的微调。我们进行了广泛的实验，包括消融研究，以评估所提出的方法在使用不同的模型架构的图像和文本分类任务的有效性。实证结果表明，FedKA在Digit-Five和Digi-Caltech 10中分别实现了8.8%和3.5%的性能提升，在训练数据极其有限的情况下，在Amazon Review中实现了0.7%的性能提升。此外，我们研究了FedKA在减轻负迁移的外语的基础上的一个新的标准称为群体效应的有效性。结果表明，FedKA可以减少负迁移，通过模型聚合将性能增益提高4倍。
2022-10-15 cs.LG
Parameter-Efficient Transfer Learning under Federated Learning for Automatic Speech Recognition
Google（谷歌公司）
本文研究在保护数据隐私下提升ASR模型在用户特定领域性能的挑战，采用联邦学习与参数高效的领域自适应方法解决海量数据需求与高通信开销问题，证明配备适当适配器的联邦微调能达到与集中式微调相近的性能，为隐私保护ASR服务提供新方向。
2024-08-19 cs.CR cs.LG eess.AS
Model-Contrastive Federated Domain Adaptation
提出基于对比学习和ViT的联邦域适应方法FDAC，通过操纵ViT潜在架构学习可迁移表示，并利用域增强和语义匹配增加目标数据多样性，在多数条件下优于对比方法且提升通信效率。
2023-05-07 cs.LG
FedOpenHAR: Federated Multi-Task Transfer Learning for Sensor-Based Human Activity Recognition
Bogazici University（博阿齐奇大学）
本文提出FedOpenHAR，利用联邦多任务迁移学习同时处理传感器人体活动识别和设备位置识别，在Flower环境中基于DeepConvLSTM和OpenHAR框架实验，实现个性化联邦模型，准确率接近独立训练且优于集中式方法。
2023-11-13 cs.CV cs.LG
Secure Federated Transfer Learning
WeBank（微众银行）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）
机器学习依赖于大量数据的可用性进行训练。然而，在现实中，大多数数据分散在不同的组织中，在许多法律和实际限制下无法轻松集成。在本文中，我们介绍了一种新的技术和框架，称为联邦迁移学习（FTL），以改善统计模型下的数据联邦。该联盟允许在不损害用户隐私的情况下共享知识，并使补充知识能够在网络中传输。因此，目标域方可以通过利用来自源域方的丰富标签来构建更灵活、更强大的模型。为了保证联邦下的FTL性能，提出了一种安全的传输交叉验证方法。该框架需要对现有模型结构进行最小的修改，并提供与非隐私保护方法相同的准确性。该框架非常灵活，可以有效地适应各种安全的多方机器学习任务。
2020-06-24 cs.LG stat.ML
Differential Private Federated Transfer Learning for Mental Health Monitoring in Everyday Settings: A Case Study on Stress Detection
University of California, Irvine（加利福尼亚大学欧文分校）；School of Nursing, University of California, Irvine（加利福尼亚大学欧文分校护理学院）；Institute for Future Health, University of California, Irvine（加利福尼亚大学欧文分校未来健康研究所）
针对心理健康监测中的隐私泄露与数据不足问题，提出差分隐私联邦迁移学习框架，结合差分隐私与预训练模型，在压力检测案例中实现准确率提升10%、召回率提升21%且保障隐私。
2024-04-29 cs.CR cs.LG
A Cross-City Federated Transfer Learning Framework: A Case Study on Urban Region Profiling
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；JD iCity, JD Technology（京东科技京东智联云）；JD Intelligent Cities Research（京东智能城市研究院）；Department of Civil and Environmental Engineering, Hong Kong University of Science and Technology（香港科技大学土木与环境工程系）
数据不足问题（即，由于服务和基础设施不足或城市发展水平不平衡而导致的数据缺失和标签稀缺）严重影响了真实场景中的城市计算任务。现有的迁移学习方法启发了对数据不足的优雅解决方案，但仅关注一类不足问题，而未能兼顾两方面。此外，大多数以前的跨城市传输方法忽略了城市间的数据隐私，这是在实际应用中公众关注的问题。为了解决上述挑战性问题，我们提出了一个新的跨城市联邦迁移学习框架（CcFTL），以应对数据不足和隐私问题。具体而言，CcFTL将关系知识从多个数据丰富的源城市转移到目标城市。此外，特定于目标任务的模型参数首先在源数据上训练，然后通过参数传递微调到目标城市。通过采用联邦训练和同态加密设置，CcFTL能够有效地解决城市间的数据隐私问题。我们将城市区域分析作为智慧城市的一个应用，并通过实际研究评估所提出的方法。实验表明，我们的框架比几个有竞争力的国家的最先进的方法显着的优越性。
2022-07-12 cs.AI cs.LG
Framework Construction of an Adversarial Federated Transfer Learning Classifier
China University of Petroleum (East China)（中国石油大学（华东））
随着互联网的普及，越来越多的分类工作，如物联网，金融行业和医疗保健领域，依靠移动边缘计算来推进机器学习。然而，在医疗行业，良好的诊断准确性需要结合大量的标记数据来训练模型，这是困难和昂贵的收集和风险危及患者的隐私。在本文中，我们提供了一种新的医疗诊断框架，采用联邦学习平台，以确保患者数据的隐私，通过转移分类算法在标记域中获得的域稀疏或丢失的标记数据。我们的框架不是使用生成对抗网络，而是使用判别模型来构建多分类损失函数，目的是提高诊断准确性。它还避免了收集大量标记数据的困难或生成大量样本数据的高成本。在真实世界图像数据集上的实验表明，所提出的对抗性联邦迁移学习方法对于使用图像分类的真实世界医疗诊断应用是有希望的。
2022-11-09 cs.CR cs.LG q-bio.QM
A Survey of Incremental Transfer Learning: Combining Peer-to-Peer Federated Learning and Domain Incremental Learning for Multicenter Collaboration
University Hospital Erlangen（埃尔朗根大学医院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Comprehensive Cancer Center Erlangen-EMN（埃尔朗根-EMN综合癌症中心）；Bavarian Cancer Research Center（巴伐利亚癌症研究中心）
本文提出融合对等联邦学习与领域增量学习的增量迁移学习框架，系统评估基于正则化的持续学习方法及多种因素对多中心临床协作的影响。
2023-09-29 cs.CV cs.LG
FedLED: Label-Free Equipment Fault Diagnosis with Vertical Federated Transfer Learning
针对联邦迁移学习在设备故障诊断中面临样本异质性和标签稀缺问题，提出首个无监督垂直联邦迁移学习方法FedLED，利用无标签目标域知识，显著提升诊断准确率（高达4.13倍）和泛化性。
2023-12-29 cs.AI cs.LG
A Comprehensive Survey of Federated Transfer Learning: Challenges, Methods and Applications
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院）
本文综述联邦迁移学习，针对FL中的分布、系统异构、增量数据与标注稀缺等挑战，分类梳理FTL方法、解决方案、应用、场景设定、数据集及相关研究。
2024-03-03 cs.DC cs.LG
Let's Focus: Focused Backdoor Attack against Federated Transfer Learning
University of Pavia（帕维亚大学）；Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
本文针对联邦迁移学习中特征固定导致传统后门攻击失效的问题，提出结合可解释AI与数据集蒸馏的聚焦后门攻击方法FB-FTL，在图像分类场景下取得平均80%攻击成功率，并能绕过现有联邦学习防御。
2024-04-30 cs.CR cs.LG
FedHealth 2: Weighted Federated Transfer Learning via Batch Normalization for Personalized Healthcare
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
机器学习应用的成功往往需要大量的数据。近年来，由于数据隐私和安全性的需求，特别是在医疗领域，联邦学习（FL）正引起越来越多的关注。然而，现有的FL方法的性能往往恶化时，有客户之间存在域转移，很少有以前的作品集中在医疗保健的个性化。在本文中，我们提出了FedHealth 2，这是FedHealth \cite{chen2020fedhealth}的扩展，用于处理域转移并为本地客户端获得个性化模型。FedHealth 2通过预训练的模型获得客户端相似性，然后对所有加权模型进行平均，并保留本地批量归一化。可穿戴活动识别和COVID-19辅助诊断实验已经评估，FedHealth 2可以实现更好的准确性（活动识别提高10%以上）和个性化医疗，而不会影响隐私和安全。
2021-07-21 cs.AI cs.LG
FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
针对个性化与联邦学习中的少样本图像分类，提出结合迁移学习与元学习的FiT方法，以极低参数实现高精度，并在VTAB-1k上达到最优。
2023-02-02 cs.CV cs.LG stat.ML
A Two-Stage Federated Transfer Learning Framework in Medical Images Classification on Limited Data: A COVID-19 Case Study
New Mexico State University（新墨西哥州立大学）
COVID-19疫情迅速蔓延，导致全球医疗资源短缺。COVID-19诊断的效率变得非常重要。随着深度学习和卷积神经网络（CNN）在医学图像分析中的广泛应用和验证，它已成为计算机辅助诊断的有力工具。然而，在深度学习和神经网络的帮助下，医学图像分类存在两个最显著的挑战，其中之一是难以获得足够的样本，这可能导致模型过拟合。隐私问题主要带来了另一个挑战，因为医疗相关记录通常被视为患者的私人信息，并受到GDPR和HIPPA等法律的保护。联邦学习可以确保模型训练分散在不同的设备上，并且它们之间没有数据共享，这保证了隐私。然而，由于数据位于不同的设备上，每个设备的可访问数据可能受到限制。由于迁移学习已经在处理有限数据方面得到了良好的验证，因此，在本文中，我们尝试使用CNN实现联邦学习和迁移学习技术，以使用肺部CT扫描对COVID-19进行分类。我们还探讨了数据集分布在客户端对联邦学习的影响，以及模型训练的训练周期数。最后，我们通过联邦学习获得了非常高的性能，证明了我们在利用准确性和隐私方面的成功。
2022-05-26 cs.CR cs.CV cs.LG
Federated Transfer Learning for EEG Signal Classification
WeBank Co., Ltd.（微众银行）；Hong Kong University of Science and Technology（香港科技大学）；Southern University of Science and Technology（南方科技大学）；Nanyang Technological University（南洋理工大学）
深度学习（DL）方法在脑机接口（BCI）领域用于脑电图（EEG）记录分类的成功受到缺乏大型数据集的限制。与EEG信号相关的隐私问题限制了通过聚集多个小数据集来构建大的EEG-BCI数据集以用于联合训练机器学习模型的可能性。因此，在本文中，我们提出了一种新的隐私保护的DL架构命名为联邦迁移学习（FTL）的EEG分类是基于联邦学习框架。该结构利用单次试验的协方差矩阵，通过领域自适应技术从多受试者脑电数据中提取共同的判别信息。我们评估了所提出的架构的性能的PhysioNet数据集2类运动想象分类。在避免实际数据共享的同时，我们的FTL方法在受试者自适应分析中实现了2%的分类准确率。此外，在没有多学科数据的情况下，我们的架构提供了比其他最先进的DL架构高6%的准确性。
2021-01-25 cs.LG eess.SP
FedHealth: A Federated Transfer Learning Framework for Wearable Healthcare
Beijing Key Lab. of Mobile Computing and Pervasive Devices, Inst. of Computing Tech., CAS（中国科学院计算技术研究所北京移动计算与普适设备重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Pengcheng Laboratory（鹏城实验室）；Microsoft Research Asia（微软亚洲研究院）
随着计算技术的快速发展，智能手机、腕带等可穿戴设备使得人们可以轻松获取包括活动、睡眠、运动等在内的健康信息。智能医疗通过在大量用户数据上训练机器学习模型取得了巨大成功。然而，有两个关键挑战。首先，用户数据往往以孤岛的形式存在，难以在不损害隐私安全的情况下进行聚合。其次，在云上训练的模型在个性化方面失败。在本文中，我们提出了FedHealth，这是第一个用于可穿戴医疗保健的联邦迁移学习框架，以应对这些挑战。FedHealth通过联邦学习进行数据聚合，然后通过迁移学习构建个性化模型。它能够在不影响隐私和安全的情况下实现准确和个性化的医疗保健。实验表明，与传统方法相比，FedHealth对可穿戴活动识别的准确率更高（提高5.3%）。FedHealth具有通用性和可扩展性，有可能用于许多医疗保健应用程序。
2021-05-11 cs.AI cs.LG cs.NE
Enhancing Privacy Preservation and Reducing Analysis Time with Federated Transfer Learning in Digital Twins-based Computed Tomography Scan Analysis
Georgia State University（佐治亚州立大学）
本文提出基于数字孪生的联邦迁移学习方法，用于CT扫描分析，通过预训练模型和知识迁移解决隐私与数据异构问题，在性能上优于传统联邦学习，实现安全高效的医学诊断。
2025-09-09 cs.CV cs.LG eess.IV
Quantifying the Performance of Federated Transfer Learning
Hong Kong University of Science and Technology（香港科技大学）；Clustar Technology Co., Ltd.（星环科技有限公司）；Peng Cheng Lab（鹏城实验室）
数据的稀缺性和孤立的数据孤岛鼓励不同的组织彼此共享数据，以训练机器学习模型。然而，数据隐私和安全问题日益受到关注，这促使人们寻求像联邦迁移学习（FTL）这样的解决方案，在不侵犯数据隐私的情况下共享训练数据。FTL利用迁移学习技术来利用来自不同来源的数据进行训练，同时在没有显著准确性损失的情况下实现数据隐私保护。然而，这些好处伴随着额外的计算和通信消耗的成本，从而导致效率问题。为了在实践中有效地部署和扩展FTL解决方案，我们需要深入了解基础设施如何影响FTL的效率。我们的论文试图通过定量测量Google Cloud上真实世界的FTL实现FATE来回答这个问题。根据实验结果，我们验证了以下瓶颈可以进一步优化：1）进程间通信是主要的瓶颈; 2）数据加密增加了相当大的计算开销; 3）当模型较大时，Internet网络状况对性能影响很大。
2019-12-30 cs.DC cs.LG cs.PF
Grounding Foundation Models through Federated Transfer Learning: A General Framework
WeBank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出一个通用FTL-FM框架，系统形式化联邦学习设定下基座模型的基础支撑问题，并通过构建分类体系综述现有工作、效率与隐私技术及未来方向。
2024-03-29 cs.AI cs.LG
FTA-FTL: A Fine-Tuned Aggregation Federated Transfer Learning Scheme for Lithology Microscopic Image Classification
School of Computing, Macquarie University（麦考瑞大学计算学院）；Institute of Computational Systems Biology, University of Hamburg（汉堡大学计算系统生物学研究所）；Sahand University of Technology（萨汉德工业大学）；Yasouj University（亚苏季大学）；School of Computer, Data and Mathematical Sciences, Western Sydney University（西悉尼大学计算机、数据与数学学院）
针对岩性显微图像数据稀缺与隐私保护问题，提出微调聚合联邦迁移学习方案FTA-FTL，并通过多指标实验证明其性能接近集中式方法。
2025-01-06 cs.AI cs.CV cs.LG
Targeting Underrepresented Populations in Precision Medicine: A Federated Transfer Learning Approach
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Biostatistics, Harvard University（哈佛大学生物统计系）
少数民族和弱势群体在大规模临床和基因组学研究中的代表性有限，已成为将精准医学研究转化为实践的障碍。由于人群的异质性，风险预测模型在这些代表性不足的人群中往往表现不佳，因此可能进一步加剧已知的健康差异。在本文中，我们提出了一种双向数据集成策略，通过联邦迁移学习方法集成来自不同人群和多个医疗机构的异构数据。所提出的方法可以处理具有挑战性的设置，其中来自不同群体的样本量是高度不平衡的。在参与研究中心之间仅进行少量通信的情况下，所提出的方法可以实现与将个人水平数据直接汇总在一起的汇总分析相当的性能。我们表明，所提出的方法提高了估计和预测精度在代表性不足的人口，并减少了人口之间的模型性能的差距。我们的理论分析揭示了估计精度是如何受到通信预算，隐私限制和人群异质性的影响。我们通过数值实验和实际应用证明了我们的方法的可行性和有效性的多中心研究，在该研究中，我们构建了多基因的风险预测模型，在AA人群中的II型糖尿病。
2021-08-27 cs.CY cs.LG stat.ML
Designing ECG Monitoring Healthcare System with Federated Transfer Learning and Explainable AI
University of Lille（里尔大学）；ENSAIT（国立高等艺术与纺织工业学院）；GEMTEX–Laboratoire de Génie et Matériaux Textiles（纺织工程与材料实验室）；University of Kent（肯特大学）
深度学习在使用心电图（ECG）数据对不同心律失常进行分类方面发挥着至关重要的作用。然而，训练深度学习模型通常需要大量数据，并且可能导致隐私问题。不幸的是，大量的医疗保健数据无法从单个筒仓中轻松收集。此外，深度学习模型就像黑箱，预测结果无法解释，而这在临床医疗保健中经常需要。这限制了深度学习在现实世界卫生系统中的应用。在本文中，我们设计了一个新的可解释的人工智能（XAI）为基础的深度学习框架，在联邦设置为基于心电图的医疗保健应用程序。联邦设置用于解决数据可用性和隐私问题。此外，所提出的框架设置使用自动编码器和分类器有效地对心律失常进行分类，两者都基于卷积神经网络（CNN）。此外，我们提出了一个基于XAI的模块上提出的分类器来解释分类结果，这有助于临床医生做出快速和可靠的决策。使用MIT-BIH心律失常数据库对所提出的框架进行了训练和测试。分类器实现了高达94%和98%的心律失常检测使用噪声和干净的数据，分别与五倍交叉验证的准确性。
2022-01-10 cs.AI cs.LG eess.SP
Federated Transfer Learning with Dynamic Gradient Aggregation
Microsoft（微软）
介绍了一个联邦学习（FL）仿真平台。目标场景是基于该平台的声学模型训练。据我们所知，这是第一次尝试应用FL技术的语音识别任务，由于固有的复杂性。该平台采用模块化设计，能够支持不同的任务。作为该平台的一部分，提出了一种新的分层优化方案和两种梯度聚合方法，与其他分布式或FL训练算法（如BMUF和FedAvg）相比，训练收敛速度几乎提高了一个数量级。除了增强的收敛速度之外，分层优化还在训练管道中提供了额外的灵活性。在分层优化的基础上，提出了一种基于数据驱动权值推理的动态梯度聚集算法。该聚合算法充当梯度质量的正则化器。最后，为FL量身定制的无监督训练管道作为一个单独的训练场景。所提出的系统的实验验证是基于两个任务：第一，LibriSpeech任务显示出7倍的速度和6%的字出错率减少（WERR）相比，基线结果。第二个任务是基于会话自适应，提供了20%的WERR比有竞争力的生产就绪LAS模型的改进。所提出的联邦学习系统在收敛速度和整体模型性能方面都优于分布式训练的黄金标准。
2020-08-06 cs.DC cs.LG stat.ML
FedCL-Ensemble Learning: A Framework of Federated Continual Learning with Ensemble Transfer Learning Enhanced for Alzheimer's MRI Classifications while Preserving Privacy
Vellore Institute of Technology（韦洛尔理工学院）
本文提出FedCL-集成学习框架，结合ResNet、ImageNet、VNet迁移学习与联邦学习及加密机制，在保护隐私的前提下提升阿尔茨海默病MRI分类性能。
2024-11-15 cs.AI cs.CV cs.IR
Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning
Central South University（中南大学）；Arizona State University（亚利桑那州立大学）
为了满足许多物联网应用对性能、安全性和延迟的要求，必须立即在网络边缘做出智能决策。然而，有限的资源和有限的本地数据量对边缘AI的发展构成了重大挑战。为了克服这些挑战，我们探索能够利用以前任务中的知识转移的持续边缘学习。为了实现快速和持续的边缘学习，我们提出了一种平台辅助的联邦元学习架构，其中边缘节点协作学习元模型，并辅之以来自先前任务的知识转移。边缘学习问题被转换为正则化优化问题，其中从先前任务中学习到的有价值的知识被提取为正则化。然后，我们设计了一个基于ADMM的联邦元学习算法，即ADMM-FedMeta，其中ADMM提供了一种自然的机制，将原始问题分解为许多子问题，这些子问题可以跨边缘节点和平台并行求解。此外，不精确ADMM方法的一个变体是采用"解决"的子问题，通过线性近似以及海森估计，以减少每轮的计算成本$\mathcal{O}(n)$。我们提供了一个全面的分析ADMM-FedMeta，在收敛性能，快速适应性能，和遗忘效应的先验知识转移，一般非凸的情况下。广泛的实验研究证明了ADMM-FedMeta的有效性和效率，并显示它大大优于现有的基线。
2021-08-17 cs.LG cs.NI
Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA
University of Toronto（多伦多大学）；Ericsson-GAIA（爱立信GAIA）
本文提出RoLoRA框架，通过交替最小化LoRA实现鲁棒联邦微调，在降低通信开销的同时提升对参数缩减和数据异质性的鲁棒性。
2024-09-04 cs.DC cs.LG
On the Energy and Communication Efficiency Tradeoffs in Federated and Multi-Task Learning
Consiglio Nazionale delle Ricerche（意大利国家研究委员会）；University of Oulu（奥卢大学）；Centre for Wireless Communications（无线通信中心）
联邦学习（FL）的最新进展为设计新颖的策略铺平了道路，该策略通过利用联网设备之间的协作来同时解决多个学习任务。与传统的迁移学习方法相比，多任务学习（MTL）利用任务之间的相关共性来提高效率。通过联合学习多个任务，可以显著减少能量足迹。本文提供了第一次看MTL过程的能源成本驱动的模型不可知元学习（MAML）范式和分布式无线网络中实现的。本文的目标是一个集群的多任务网络设置，自主智能体学习不同的，但相关的任务。MTL过程分两个阶段进行：可以快速适应学习新任务的元模型的优化，以及特定于任务的模型适应阶段，其中学习到的元模型被转移到代理并为特定任务定制。本文分析了机器人环境下多任务强化学习（RL）系统中影响MTL能量平衡的主要因素。结果表明，MAML方法可以减少至少2倍的能源法案相比，传统的方法没有感应传输。此外，它表明，在无线网络中的最佳能量平衡取决于上行链路/下行链路和侧链路通信效率。
2022-12-02 cs.DC cs.LG
Vertical Federated Knowledge Transfer via Representation Distillation for Healthcare Collaboration Networks
Peking University（北京大学）；Shanghai University of Finance and Economics（上海财经大学）
医疗机构之间的合作可以显著减少不同地理区域医疗资源的不平衡。然而，由于保护患者高度敏感的隐私，通常不允许在机构之间直接共享诊断信息。联邦学习（FL）作为一种新的隐私保护机器学习范式，使得多个医疗机构之间的数据效用最大化成为可能。这些特征富集FL技术被称为垂直FL（VFL）。传统的VFL只能使多方共享样本受益，这极大地限制了其应用范围。为了提高各医疗相关机构的信息共享能力和创新能力，进而建立下一代开放式医疗协作网络，提出了一种基于跨医院表示蒸馏组件的垂直联邦知识转移机制（VFedTrans）统一框架。具体来说，我们的框架包括三个步骤。首先，利用现有的有效的垂直联邦表示学习方法，通过协作建模多方的联合特征来提取共享样本的联邦表示。其次，对于每个医院，我们学习一个本地表示提取模块，它可以从共享样本的联邦表示中转移知识，以丰富本地样本的表示。最后，每家医院都可以利用蒸馏模块丰富的本地样本表示来促进任意下游机器学习任务。在真实医学数据集上的实验验证了该框架的知识转移有效性。
2023-02-11 cs.LG
Heterogeneous Federated Learning System for Sparse Healthcare Time-Series Prediction
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）
本文提出一种异构联邦学习系统，通过稠密/稀疏特征张量处理稀疏医疗时间序列，实现异步网络共享与知识迁移，在多数任务上显著降低预测误差。
2025-01-21 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
Simon Fraser University（西蒙弗雷泽大学）
本文提出SplitFedZip方法，通过学习型压缩技术有效降低SplitFed学习中的数据传输量，在医学图像分割实验中显著减少通信开销并保持模型准确率。
2024-12-18 cs.LG
SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Clients in Federated Learning
Iowa State University（爱荷华州立大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
联邦学习~（FL）有助于在边缘设备上训练和部署人工智能模型。在FL中保护用户数据隐私带来了几个挑战，包括昂贵的通信成本、有限的资源和数据异构性。在本文中，我们提出了SPATL，FL方法，解决这些问题：（a）引入一个显着的参数选择代理和通信选定的参数;（b）分裂成一个共享的编码器和本地预测模型，并通过本地定制的预测将其知识转移到异构客户端。此外，我们利用梯度控制机制来进一步加快模型收敛并提高训练过程的鲁棒性。实验表明，SPATL减少了通信开销，加速了模型推理，并实现了稳定的训练过程，与最先进的方法相比，结果更好。我们的方法将通信成本降低到$86.45\%$，通过减少VGG-11上的$39.7\%$ FLOP来加速本地推理，并且在训练ResNet-20时需要$7.4 \times$更少的通信开销。
2022-08-26 cs.LG
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning
The Hong Kong Polytechnic University（香港理工大学）；Harvard University（哈佛大学）
为了消除传统联邦学习（FL）中对全标记数据进行监督模型训练的要求，自监督学习（SSL）方法在FL中的应用受到了广泛关注，以解决标记稀缺问题。以前关于联邦SSL的工作通常分为两类：基于参数的模型聚合（即，FedAvg，适用于同类情况）或基于数据的特征共享（即，知识蒸馏，适用于异构案例），以实现多个未标记客户端之间的知识转移。尽管取得了进展，但所有这些都不可避免地依赖于一些假设，例如同质模型或存在额外的公共数据集，这阻碍了培训框架在更一般情景中的普遍性。因此，在本文中，我们提出了一种新的和一般的方法命名为联邦自监督学习与基于相关性的聚合（FedFoA），以解决上述限制的通信效率和隐私保护的方式。我们的见解是利用特征相关性来对齐特征映射，并在客户端的本地训练过程中校准本地模型更新。更具体地说，我们设计了一种基于因子分解的方法来提取跨特征关系矩阵的本地表示。然后，将关系矩阵作为语义信息的载体进行聚合。我们证明了FedFoA是一个与模型无关的训练框架，可以很容易地与最先进的无监督FL方法兼容。大量的实证实验表明，我们提出的方法优于国家的最先进的方法的显着保证金。
2022-11-14 cs.LG
FedeKD: Energy-Based Gating for Robust Federated Knowledge Distillation under Heterogeneous Settings
Department of Computer Science and Software Engineering（计算机科学与软件工程系）
FedeKD通过引入样本级信任评估，提升联邦知识蒸馏在异构环境下的鲁棒性，无需额外公开数据，实验表明其有效减少负迁移并保持预测性能。
2026-05-07 cs.LG
FedTransKD-IDS: Robust Federated Transfer Learning with Knowledge Distillation for Intrusion Detection in IoT
University of Isfahan（伊斯法罕大学）
本研究针对物联网入侵检测场景，提出FedTransKD-IDS框架，融合几何均值鲁棒聚合、联邦迁移学习与知识蒸馏，在异质数据集上实现99.18%准确率、99.99%召回率，提升了联邦学习的稳定性与效率。
2026-08-10 cs.LG cs.NI
Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
联邦学习（FL）使边缘设备能够协作学习模型，而无需向中央聚合服务器公开其私有数据。现有的FL算法大多要求在客户端和服务器端部署相同架构的模型，由于客户端系统资源有限，无法训练大型模型。在这项工作中，我们提出了一种新的集成知识转移方法命名为Fed-ET，其中小模型（不同的架构）的客户端进行训练，并用于训练一个更大的模型在服务器上。与传统的集成学习不同，在FL中，集成可以在客户端的高度异构数据上进行训练。认识到这一特性，Fed-ET使用了一个加权的共识蒸馏方案与多样性正则化，有效地提取可靠的共识，同时提高泛化利用集成内的多样性。我们展示了在异构数据集上训练的加权模型集合的泛化界，这支持了Fed-ET的直觉。我们对图像和语言任务的实验表明，Fed-ET显着优于其他国家的最先进的FL算法与更少的通信参数，也是强大的高数据异构性。
2022-04-27 cs.LG
ResSFL: A Resistance Transfer Framework for Defending Model Inversion Attack in Split Federated Learning
Arizona State University（亚利桑那州立大学）；Shanghai Jiao Tong University（上海交通大学）
针对分裂联邦学习（SFL）的模型反演（MI）攻击问题，提出了一种新的模型反演算法. SFL是最近的分布式训练方案，其中多个客户端发送中间激活（即，特征图）而不是原始数据发送到中央服务器。虽然这样的方案有助于减少客户端的计算负荷，但它本身对从服务器的中间激活重建原始数据开放。现有的保护SFL的工作只考虑推理，不处理训练过程中的攻击。因此，我们提出了ResSFL，这是一个分裂的联邦学习框架，旨在在训练过程中抵抗MI。它基于通过攻击者感知训练导出抵抗特征提取器，并使用此提取器在标准SFL训练之前初始化客户端模型。这种方法有助于降低由于在客户端对抗训练中使用强反演模型以及在早期训练时期发起的攻击的脆弱性而导致的计算复杂性。在CIFAR-100数据集上，我们提出的框架成功地减轻了对VGG-11模型的MI攻击，与基线系统获得的0.005相比，重建均方误差为0.050。该框架实现了67.5%的准确率（只有1%的准确率下降），具有非常低的计算开销。代码发布于：https://github.com/zlijingtao/ResSFL。
2022-05-09 cs.LG
UniTrans: A Unified Vertical Federated Knowledge Transfer Framework for Enhancing Cross-Hospital Collaboration
Peking University（北京大学）；Beihang University（北京航空航天大学）
提出统一纵向联邦知识迁移框架UniTrans，通过联邦表示学习与领域自适应知识迁移，提升跨医院协作中非重叠患者的医疗预测性能。
2025-01-20 cs.DC cs.LG
FedProK: Trustworthy Federated Class-Incremental Learning via Prototypical Feature Knowledge Transfer
Southwestern University of Finance and Economics（西南财经大学）；Webank（微众银行）；Southwest Jiaotong University（西南交通大学）
FedProK提出利用原型特征进行时空知识迁移，通过客户端特征转换和服务器原型知识融合，在同步与异步联邦类增量学习中同时提升持续效用、隐私性和效率。
2024-05-04 cs.AI cs.LG cs.NE
Optimizing the Collaboration Structure in Cross-Silo Federated Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对联邦学习中存在的负迁移问题，提出新型框架FedCollab，通过按分布距离和数据量划分客户端联盟来优化协作结构，在多种设置下均能有效缓解负迁移且性能优于现有聚类式联邦学习算法。
2023-06-10 cs.LG
Improving Response Time of Home IoT Services in Federated Learning
Chungnam National University（忠南国立大学）
对于具有传感器和机器学习的智能家居物联网服务，我们需要将物联网数据上传到无法共享私有数据的云服务器进行训练。最近的一种机器学习方法称为联邦学习，它将用户数据保存在分布式计算环境中的设备上。虽然联邦学习对于保护隐私很有用，但它在家庭物联网服务的端到端响应时间方面表现不佳，因为物联网设备通常由云中的远程服务器控制。此外，由于数据不足问题和模型反演攻击，很难实现联邦学习模型的高精度。在本文中，我们提出了一种本地物联网控制方法，用于联邦学习家庭服务，快速准确地识别家庭网络中的用户行为。我们提出了一个具有迁移学习和差分隐私的联邦学习客户端，以解决数据稀缺和数据模型反转攻击问题。从实验中，我们表明，本地控制家庭物联网设备的用户认证和控制消息传输的联邦学习客户端提高了响应时间小于1秒。此外，我们证明了联邦学习与迁移学习在9,000个样本下达到了97%的准确率，这与集中式学习的差异只有2%。
2022-02-28 cs.LG
Improving Transferability of Network Intrusion Detection in a Federated Learning Setup
Purdue University（普渡大学）
本文研究联邦学习设置下网络入侵检测的迁移性问题，提出两种技术显著提升联邦入侵检测系统对未见入侵类别的检测迁移性。
2024-01-07 cs.CR cs.LG eess.SP
Decentralized Federated Learning via Mutual Knowledge Transfer
Tsinghua University（清华大学）；Syracuse University（雪城大学）
在本文中，我们研究了物联网（IoT）系统中的分散式联邦学习（DFL）问题，其中许多IoT客户端训练模型共同完成一项共同任务，而无需在没有中央服务器的情况下共享其私有训练数据。大多数现有的DFL方案由两个交替步骤组成，即，模型更新和模型平均。然而，直接平均模型参数以在本地客户端融合不同模型会遭受客户端漂移，特别是当训练数据在不同客户端上是异构的时。这导致收敛速度慢和学习性能下降。作为一种可能的解决方案，我们提出了分散式联合学习通过相互知识转移（Def-KT）算法，其中本地客户端通过相互转移他们的学习知识来融合模型。我们在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明，所提出的Def-KT算法显著优于具有模型平均的基线DFL方法，即，Combo和FullAvg，特别是当训练数据在不同客户端之间不是独立和相同分布（非IID）时。
2021-05-12 cs.DC cs.LG
Heterogeneous Federated Learning Systems for Time-Series Power Consumption Prediction with Multi-Head Embedding Mechanism
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）；Brandon University（布兰登大学）；Sejong University（世宗大学）
提出多头异构联邦学习系统MHHFL，通过多头网络嵌入与选择机制实现多客户端协作学习，显著降低电力消耗预测误差24.9%-94.1%。
2025-01-21 cs.LG
Rethinking the Transferable Adversarial Attacks and Robust Defense in Federated Learning
University of Nevada Las Vegas（内华达大学拉斯维加斯分校）；Cyber Security Research Center at KAIST（韩国科学技术院网络安全研究中心）；Georgia State University（佐治亚州立大学）
本文针对联邦学习场景，分析对抗样本的可迁移性，设计基于对抗训练的防御机制，经真实数据集验证其性能优于现有最先进方法。
2026-08-27 cs.CR cs.LG
Server-Proximal Aggregation for Federated Domain-Incremental Learning under Partial Participation: Task-Uniform Convergence and Backward Transfer
Stony Brook University, New York（石英布鲁克大学，纽约）
针对联邦域增量学习（FDIL）中客户端异构、任务顺序到达且标签空间固定的场景，提出无记忆算法SPECIAL，通过服务器端轻量近端项抑制累积漂移，实现反向知识迁移（BKT）保证和首个部分参与下的非凸收敛速率O((E/NT)^(1/2))。
2026-05-28 cs.LG
Data Selection for Efficient Model Update in Federated Learning
University of Sheffield（谢菲尔德大学）
用分布式数据训练集中式模型的联邦学习（FL）工作流越来越流行。然而，直到最近，这是具有类似计算能力的贡献客户端的领域。快速扩展的物联网空间和在边缘生成和处理的数据正在鼓励更多的努力扩展联邦学习以包括异构系统。以往的轻量级模型分发方法都是依靠知识转移来适应局部数据的特点，在分区更新中进行局部更新。然而，他们的额外的知识交换通过网络传输降低了FL的通信效率。我们建议通过聚类和选择只从客户端的信息的最具代表性的位来减少在这些FL设置中交换的知识的大小。我们的工作中采用的分区全局更新将全局深度神经网络分为用于通用特征提取的下部和对所选客户端知识更敏感的上部。我们的实验表明，只有1.6%的初始交换的数据可以有效地转移到我们的FL方法，使用分裂网络的客户端数据的特征的全局模型。这些初步的结果通过展示使用策略性选择的训练样本进行有效训练来发展我们对联邦学习的理解。
2022-03-22 cs.LG
