BLEND: Balancing Personalization vs. Generalization in Federated Vision-Language Models
University at Buffalo–SUNY（纽约州立大学布法罗分校）；Adobe（奥多比公司）；Zhejiang University（浙江大学）
本研究提出BLEND框架，通过选择性微调聚合策略与新型损失函数，在联邦视觉-语言模型中平衡个性化与泛化，实验显示其性能优于现有最优基线。
2026-10-12 cs.CV cs.LG
Federated Learning with Partial Model Personalization
University of Washington（华盛顿大学）；Meta AI
我们考虑两个联邦学习算法训练部分个性化的模型，其中共享和个人参数更新同时或交替的设备上。这两种算法已经提出了在文献中，但其收敛性并没有完全理解，特别是交替变量。我们提供的收敛性分析，这两种算法在一般的非凸设置与部分参与，并划定制度，其中一个占主导地位。我们在真实世界的图像，文本和语音数据集上的实验表明，（a）部分个性化可以获得大部分的好处，完全模型个性化与一小部分的个人参数，和（b）交替更新算法往往优于同步更新算法的一个小的，但一致的利润。
2022-08-16 cs.DC cs.LG math.OC
PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization
Peking University（北京大学）
联邦学习（FL）已经成为一种流行的分布式机器学习范例，具有改进的隐私性。在学习之后，应该针对每个不同的客户机进一步个性化所得到的联邦模型。虽然已经提出了几种方法来实现个性化，但它们通常限于单个本地设备，这可能导致偏差或过拟合，因为单个设备中的数据非常有限。在本文中，我们试图实现超越单一客户端的个性化。其动机是，在FL期间，可能存在许多具有相似数据分布的客户端，因此，如果这些相似的客户端可以相互协作，则可以显著提高个性化性能。受此启发，本文引入了一个新的概念，称为联邦自适应，旨在以联邦的方式适应训练模型，以实现更好的个性化效果。然而，联邦自适应的关键挑战是，由于隐私问题，我们在自适应期间不能从客户端外包任何原始数据。在本文中，我们提出了PFA，一个框架来实现隐私保护联邦适应。PFA利用神经网络的稀疏性来生成隐私保护表示，并使用它们来有效地识别具有相似数据分布的客户端。根据分组结果，PFA对联邦模型进行分组FL过程以完成自适应。为了进行评估，我们手动构建了几个实际的FL数据集的基础上，公共数据集，以模拟类不平衡和背景差异的条件。在这些数据集和流行的模型架构上进行的大量实验证明了PFA的有效性，在确保用户隐私的同时，大大优于其他最先进的方法。我们将在https://github.com/lebyni/PFA上发布我们的代码。
2021-03-08 cs.AI cs.DC cs.LG
Federated Evaluation and Tuning for On-Device Personalization: System Design & Applications
Apple（苹果公司）
我们描述了我们的联邦任务处理系统的设计。最初，该系统是为了支持两个特定的联邦任务而创建的：评估和调优设备上的ML系统，主要是为了个性化这些系统。近年来，增加了对额外联邦任务的支持：深度神经网络的联邦学习（FL）。据我们所知，只有一个其他系统已被描述在文献中，支持FL的规模。我们包括该系统的比较，以帮助讨论设计决策和附加的权衡。最后，我们详细描述了两个特定的大规模个性化用例，以展示联合调优对设备上个性化的适用性，并强调特定于应用程序的解决方案。
2021-02-16 cs.LG
Personalization Disentanglement for Federated Learning: An explainable perspective
University of Technology Sydney（悉尼科技大学）
本文提出FedDVA框架，通过双编码器将潜在表示显式解耦为共享知识与客户端个性化两部分，以可解释方式改进个性化联邦学习，并可兼容现有FL方法，实验证明其显著优于普通方法。
2023-07-13 cs.LG
Survey of Personalization Techniques for Federated Learning
Vishwakarma University（维什瓦卡玛大学）；DeepTek Inc（迪普泰克公司）
联邦学习使机器学习模型能够在不损害隐私的情况下从私有分散数据中学习。联邦学习的标准制定为所有客户生成一个共享模型。由于跨设备的数据的非IID分布导致的统计异质性通常会导致这样的场景：对于某些客户端来说，仅在其私有数据上训练的本地模型比全局共享模型表现更好，从而剥夺了他们参与该过程的动力。已经提出了几种技术来个性化全局模型，以便更好地为各个客户端工作。本文强调了个性化的必要性，并调查了最近关于这一主题的研究。
2020-03-19 cs.LG stat.ML
Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对联邦学习中传统本地训练忽略客户端个性化需求的问题，提出Scafflix算法，将显式个性化与本地训练高效集成，在理论和实践上均实现了双重通信加速。
2023-05-22 cs.LG
MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes
Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
针对联邦学习中客户端类别不完整的Non-I.I.D.场景，提出MAP算法，通过受限softmax优化聚合、继承式私有模型存储个性化经验，同时实现聚合与个性化目标，经实验验证性能更优。
2024-04-14 cs.DC cs.LG
Whole-brain radiomics for clustered federated personalization in brain tumor segmentation
Univ Lyon（里昂大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Inserm（法国国家健康与医学研究院）；Centrale Lyon（里昂中央理工学院）；Univ Lyon 2（里昂第二大学）
针对联邦医学图像分割中机构间与机构内特征偏移导致的异质性问题，提出基于全脑影像组学特征聚类的新型个性化算法，通过聚类去中心化数据集微调全局模型，在FeTS2022数据集上验证了有效性。
2023-10-17 cs.CV cs.LG eess.IV
Dual Personalization on Federated Recommendation
Jilin University（吉林大学）；University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Maryland（马里兰大学）
本文提出PFedRec框架，通过双重个性化机制在用户和物品上实现细粒度个性化，生成轻量级用户特定模型，提升联邦推荐性能并保护隐私。
2023-05-13 cs.AI cs.IR cs.LG
CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning
Shanghai Jiao Tong University（上海交通大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；The University of Hong Kong（香港大学）
联邦学习（FL）是一种分布式学习范式，它使多个客户能够协作学习共享的全局模型。尽管最近的进展，它仍然具有挑战性，以处理异构数据客户端，差异的数据分布通常会阻止全局模型提供良好的泛化能力，对每个参与的客户端。在本文中，我们提出了CD^2-pFed，一种新的循环蒸馏引导的通道解耦框架，在FL中个性化的全局模型，在各种数据异构性的设置。不同于以往的作品，建立逐层个性化，以克服跨不同客户端的非IID数据，我们首次尝试在通道分配模型个性化，称为通道解耦。为了进一步促进私有和共享权重之间的协作，我们提出了一种新的循环蒸馏方案，在联邦期间在局部和全局模型表示之间施加一致的正则化。在循环蒸馏的指导下，我们的通道解耦框架可以为不同类型的异质性（如特征偏斜，标签分布偏斜和概念转移）提供更准确和更普遍的结果。四个基准测试，包括自然图像和医学图像分析任务的综合实验，证明了我们的方法在本地和外部验证的一致有效性。
2022-04-08 cs.CV cs.LG
Ditto: Fair and Robust Federated Learning Through Personalization
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
公平性和鲁棒性是联邦学习系统的两个重要问题。在这项工作中，我们确定，数据和模型中毒攻击和公平性的鲁棒性，衡量跨设备的性能的均匀性，在统计异构网络的竞争约束。为了解决这些限制，我们建议采用一个简单的，通用的框架个性化的联邦学习，Ditto，可以提供内在的公平性和鲁棒性的好处，并开发一个可扩展的solver为it.Theoretically，我们分析的能力，Ditto实现公平性和鲁棒性同时对一类线性问题。从经验上讲，在一套联合数据集上，我们表明Ditto不仅相对于最近的个性化方法实现了具有竞争力的性能，而且相对于最先进的公平或稳健的基线，还实现了更准确，稳健和公平的模型。
2021-06-15 cs.LG stat.ML
FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning
University of Central Florida（中佛罗里达大学）；University of Pittsburgh（匹兹堡大学）
针对 ViT 在个性化联邦学习中的部分个性化问题，本文依据各层数据分布敏感性提出 FedPerfix，用插件向本地客户端传递聚合模型信息，并在三个数据集上验证其优于先进 PFL 方法。
2023-08-17 cs.CV cs.LG
FedBABU: Towards Enhanced Representation for Federated Image Classification
KAIST（韩国科学技术院）
联邦学习已经发展到在数据异构的情况下改进单个全局模型（作为诅咒），或者使用数据异构开发多个个性化模型（作为祝福）。然而，很少有研究同时考虑这两个方向。在本文中，我们首先通过分析客户端级别的联邦平均来研究它们之间的关系，并确定更好的联邦全局模型性能并不能不断提高个性化。为了阐明这种个性化性能下降问题的原因，我们将整个网络分解为与通用性相关的主体（提取器）和与个性化相关的头部（分类器）。然后我们指出，这个问题源于训练头部。基于这一观察，我们提出了一种新的联邦学习算法，称为FedBABU，它只在联邦训练期间更新模型的主体（即，磁头被随机初始化并且从不更新），并且磁头在评估过程期间被微调以用于个性化。大量的实验表明，一致的性能改进和有效的个性化FedBABU。该代码可在https://github.com/jhoon-oh/FedBABU上获得。
2022-03-16 cs.LG
Three Approaches for Personalization with Applications to Federated Learning
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences, New York（纽约大学库朗数学科学研究所）
机器学习的标准目标是为所有用户训练单个模型。然而，在许多学习场景中，例如云计算和联邦学习，可以为每个用户学习个性化模型。在这项工作中，我们提出了一个系统的学习理论研究的个性化。我们提出并分析了三种方法：用户聚类，数据插值和模型插值。对于所有这三种方法，我们提供了学习理论的保证和有效的算法，我们也证明了经验的性能。我们所有的算法都是模型不可知的，适用于任何假设类。
2020-07-19 cs.LG stat.ML
DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；University at Buffalo（纽约州立大学布法罗分校）
针对个性化联邦学习中泛化与个性化难以兼得的冲突，本文提出DualFed方法，通过在编码器与分类器间插入个性化投影网络，分别生成泛化表示和个性化表示，从而同时提升模型泛化能力与本地个性化效果。
2025-02-05 cs.DC cs.LG
Federated Short-Term Load Forecasting with Personalization Layers for Heterogeneous Clients
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Argonne National Laboratory（阿贡国家实验室）
针对联邦短期负荷预测中客户端数据异构导致模型性能下降的问题，提出PL-FL算法，通过仅在本地训练个性化层提升异构商业建筑负荷预测效果。
2023-09-22 cs.LG
DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；National University of Defense Technology（国防科技大学）；Dongguan University of Technology（东莞理工大学）
本文提出DA-PFL模型，通过从互补视角构建亲和力度量并设计动态聚合策略，在每轮联邦学习中动态聚合客户端，以缓解类别不平衡问题，并在三个真实数据集上显著提升各客户端准确性。
2024-03-14 cs.DC cs.LG
FedKPer: Tackling Generalization and Personalization in Medical Federated Learning via Knowledge Personalization
Georgia Institute of Technology（佐治亚理工学院）
FedKPer通过选择性对齐全局模型和改进的聚合方案，缓解统计异质性影响，提升泛化与个性化平衡，无需牺牲保留性能。
2026-05-01 cs.LG eess.IV
QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning
University of California, Los Angeles（加州大学洛杉矶分校）
传统上，联邦学习（FL）旨在训练单个全局模型，同时协作使用多个客户端和服务器。FL算法面临的两个自然挑战是跨客户端的数据异构性和客户端与{ \em多样资源}的协作。在这项工作中，我们介绍了一个\textit{quantized}和\textit{personalized} FL算法QuPeD，便于集体（个性化模型压缩）培训通过\textit{knowledge distillation}（KD）之间的客户端谁可以访问异构数据和资源。为了个性化，我们允许客户端学习具有不同量化参数和模型维度/结构的\textit{compressed personalized models}。为此，首先，我们提出了一个算法，通过一个宽松的优化问题，量化值也被优化的学习量化模型。当每个客户端参与（联邦）学习过程中有不同的要求压缩模型（无论是在模型的尺寸和精度），我们制定了一个压缩个性化框架，通过引入知识蒸馏损失的本地客户端目标合作，通过一个全球性的模型。我们开发了一个交替的邻近梯度更新来解决这个压缩的个性化问题，并分析了其收敛性。在数值上，我们验证QuPeD优于竞争个性化FL方法，FedAvg，和本地培训的客户在各种异构环境。
2022-07-05 cs.LG
Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning
针对环形拓扑去中心化联邦学习中数据异构与信息共享效率低的问题，提出DRDFL框架，通过PersonaNet模块提取个性化特征，并利用Learngene模块对齐共享知识，实现泛化与个性化的协调。
2025-04-27 cs.DC cs.LG
Federated Recommendation with Additive Personalization
University of Technology Sydney（悉尼科技大学）；University of Maryland（马里兰大学）
针对联邦推荐中个性化不足与通信开销大的问题，提出FedRAP，通过全局稀疏视图与本地个性化视图相加生成个性化物品嵌入，并在多个基准上取得最优性能。
2024-02-08 cs.LG
FediOS: Decoupling Orthogonal Subspaces for Personalization in Feature-skew Federated Learning
Zhejiang University（浙江大学）；Xiamen University（厦门大学）
本文提出FediOS方法，通过双特征提取器加共享预测头，并利用正交投影将通用特征与个性化特征映射到不同子空间，解决特征偏斜联邦学习中的解耦难题，在四个视觉数据集上取得最先进性能。
2023-11-30 cs.CV cs.LG
Silent Failures in Federated Personalization of Foundation Models
Medical & Imaging Informatics (MII) Group, University of California, Los Angeles (UCLA)（医学与影像信息学（MII）组，加州大学洛杉矶分校（UCLA））
本文提出联邦基础模型个性化中因隐私约束导致的一类信任失败——静默失败，包括偏差放大、公平性崩溃和对齐侵蚀，并引入六种静默失败模式的分类法，强调隐私保护训练不足以保障可信部署。
2026-06-15 cs.AI cs.LG
Addressing Heterogeneity in Federated Load Forecasting with Personalization Layers
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出 PL-FL 框架，通过在联邦负荷预测中引入个性化层，在降低通信带宽的同时提升异质数据下的预测性能，并在三个数据集上验证其优于联邦学习和纯本地训练。
2024-04-01 cs.LG eess.SP
Adaptive Expert Models for Personalization in Federated Learning
Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（KTH皇家理工学院）；RISE Research Institutes of Sweden（瑞典RISE研究院）；AI Sweden（瑞典人工智能研究院）；Chalmers University of Technology（查尔姆斯理工大学）
联邦学习（FL）是一种很有前途的分布式学习框架，适用于数据隐私和敏感的情况。然而，在这个框架中的最先进的解决方案是不是最佳的数据是异构的和非独立的和相同的分布（非IID）。我们提出了一个实用和强大的方法来适应异构和非IID数据的平衡探索和利用几个全球模型的个性化FL。为了实现我们的个性化目标，我们使用混合专家模型（MoE），它可以学习将彼此相似的客户分组，同时更有效地使用全局模型。我们表明，我们的方法实现了高达29.78%的准确性和高达4.38%的更好的局部模型相比，在病理非IID设置，即使我们调整我们的方法在IID设置。
2022-06-15 cs.LG
IOP-FL: Inside-Outside Personalization for Federated Medical Image Segmentation
The Chinese University of Hong Kong（香港中文大学）
联合学习（FL）允许多个医疗机构协作学习全球模型，而无需集中客户数据。由于来自各种扫描仪和患者人口统计学的医学图像的异质性，这种全局模型很难（如果可能的话）为每个单独的客户端共同实现最佳性能。当将全局模型部署到FL之外的看不见的客户端时，这个问题变得更加严重，其中在联邦训练期间没有呈现看不见的分布。为了优化医疗成像任务的每个单独的客户端的预测精度，我们提出了一种新的统一的框架\textit{Inside and Outside model Personalization in FL}（IOP-FL）。我们的内部个性化使用了一种轻量级的基于梯度的方法，该方法通过积累用于公共知识的全局梯度和用于特定于客户端的优化的局部梯度，为每个客户端利用本地适应模型。此外，并且重要的是，所获得的局部个性化模型和全局模型可以形成多样且信息丰富的路由空间，以针对外部FL客户端个性化适配模型。因此，我们设计了一个新的测试时路由方案，使用形状约束的一致性损失，动态地将模型，给定的分布信息所传达的测试数据。我们在两个医学图像分割任务上的广泛实验结果在内部和外部个性化方面都比SOTA方法有了显着的改进，证明了我们的IOP-FL方案在临床实践中的潜力。
2023-03-29 cs.AI cs.CV cs.LG
Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation
National Taiwan University（台湾大学）；NVIDIA（英伟达）
提出pFedPG框架，通过服务器端生成客户端特定视觉提示，实现联邦学习中高效且个性化的模型适配，优于现有方法。
2023-08-29 cs.AI cs.CV cs.LG
Cluster-Aware Over-the-Air Federated Learning with Energy-Harvesting Devices: From Global Training to Model Personalization
Bilkent University（比尔肯特大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；CentraleSupélec（中央理工学院）；Imperial College London（帝国理工学院）
本研究针对带能量收集设备的异质性数据分布场景，提出统一集群感知空中联邦学习框架，可分别实现全局训练的公平性优化与模型个性化，同时降低通信开销。
2026-08-04 cs.DC cs.LG
Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization
The University of Sydney（悉尼大学）；The University of Pennsylvania（宾夕法尼亚大学）；Kyung Hee University（庆熙大学）
针对联邦学习的通信瓶颈、数据异质性等挑战，提出结合深度均衡学习与ADMM的FeDEQ框架，在性能持平SOTA的同时显著降低通信与内存开销。
2024-10-29 cs.DC cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Improving Federated Learning Personalization via Model Agnostic Meta Learning
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
联邦学习（FL）是指基于分散的数据存储来学习高质量的全局模型，而无需复制原始数据。一个自然的场景出现了由移动电话用户的活动在移动电话上创建的数据。考虑到这种情况下典型的数据异构性，很自然地会问如何为每个这样的设备单独定制全局模型。在这项工作中，我们指出，设置模型不可知的元学习（MAML），其中一个优化的快速，基于梯度的，Few-Shot适应异构分布的任务，有一些相似之处与FL的个性化的目标。我们提出FL作为一个自然的源MAML算法的实际应用，并作出以下观察。1)流行的FL算法，联邦平均，可以被解释为一个元学习算法。2)仔细的微调可以产生更高精度的全局模型，同时更容易个性化。然而，仅针对全局模型准确性进行优化会产生较弱的个性化结果。3)使用标准数据中心优化方法训练的模型比使用联合平均训练的模型更难个性化，这支持了第一个说法。这些结果为FL，MAML和更广泛的ML研究提出了新的问题。
2023-01-18 cs.LG stat.ML
Robustness and Personalization in Federated Learning: A Unified Approach via Regularization
IBM Research（IBM研究院）
我们提出了一类用于健壮的、个性化的联邦学习的方法，称为Fed+，它统一了许多联邦学习算法。这类方法的主要优点是更好地适应联邦训练中发现的真实世界特征，例如缺乏跨各方的IID数据，需要对离群值或掉队者具有鲁棒性，以及需要在特定于各方的数据集上表现良好。我们实现这一目标，通过一个问题的制定，允许中央服务器采用强大的方式聚合本地模型，同时保持本地计算的结构完整。在不对各方本地数据的异质性程度进行任何统计假设的情况下，我们为Fed+在不同（鲁棒）聚合方法下的凸和非凸损失函数提供了收敛保证。美联储+理论还配备了处理异构计算环境，包括掉队者没有额外的假设;具体而言，收敛结果涵盖了一般设置的本地更新步骤的数量跨各方可以有所不同。我们通过在标准基准数据集上的广泛实验证明了Fed+的好处。
2022-07-12 cs.DC cs.LG math.OC
FedPC: Federated Learning for Language Generation with Personal and Context Preference Embeddings
Georgia Institute of Technology（佐治亚理工学院）
联邦学习是一种训练范例，它从多个分布式用户学习，而无需在集中式服务器上聚合数据。这样的范例承诺能够将机器学习大规模部署到不同的最终用户群体中，而无需首先为所有可能的任务收集大型标记数据集。由于联邦学习通常在分散的人群中平均学习更新，因此对联邦学习系统的个性化需求日益增长（即会话代理必须能够根据特定用户的偏好进行个性化）。在这项工作中，我们提出了一个新的方向，个性化的研究在联邦学习，利用个人嵌入和共享上下文嵌入。我们还提出了一种方法来预测这些“偏好”嵌入，使个性化没有反向传播。与最先进的个性化基线相比，我们的方法使用基线方法所需的0.001%的内存，实现了测试时困惑度的50%的改善，并实现了更高的样本和计算效率。
2022-10-07 cs.CL cs.LG
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
New York University（纽约大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
大规模机器学习系统通常涉及分布在用户集合中的数据。联邦学习算法通过将模型更新传递到中央服务器而不是整个数据集来利用这种结构。在本文中，我们研究了随机最优化算法的个性化联邦学习设置，涉及本地和全球模型的用户级（联合）差分隐私。虽然学习私有全局模型会导致隐私成本，但局部学习是完全私有的。我们提供的泛化保证表明，协调本地学习与私人集中式学习产生了普遍有用的和改进的准确性和隐私之间的权衡。我们用合成和真实世界数据集上的实验来说明我们的理论结果。
2022-07-15 cs.CR cs.LG math.OC
SplitGP: Achieving Both Generalization and Personalization in Federated Learning
Purdue University（普渡大学）；KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）
提供边缘人工智能服务的一个根本挑战是需要一个机器学习（ML）模型来实现个性化（即，到个人客户端）和一般化（即，到不可见的数据）属性。联邦学习（FL）中的现有技术在这些目标之间遇到了急剧的权衡，并且在训练和推理期间对边缘设备施加了大量的计算要求。在本文中，我们提出了SplitGP，这是一种新的分割学习解决方案，可以同时捕获泛化和个性化功能，以便在资源受限的客户端（例如，移动/IoT设备）。我们的关键思想是将完整的ML模型分为客户端和服务器端组件，并为它们施加不同的角色：客户端模型经过训练，具有针对每个客户端的主要任务进行优化的强大个性化能力，而服务器端模型经过训练，具有处理所有客户端的分发任务的强大泛化能力。我们分析了SplitGP的收敛行为，揭示了所有客户端模型渐近地接近稳定点。此外，我们分析了SplitGP中的推理时间，并提供了确定模型分割比的界限。实验结果表明，SplitGP优于现有的基线，在推理时间和测试精度的大幅利润率为不同数量的分布外的样本。
2023-02-11 cs.LG
NEXUS-MI: Communication-Aware Federated Personalization for Gateway-Coordinated Motor-Imagery Brain-Computer Interfaces
University of Notre Dame（圣母大学）
NEXUS-MI提出网关协调的通信感知联邦个性化框架，通过将同步视为学习与通信控制问题，在BCICIV-2a和OpenBMI上减少约42%骨干流量，同时保持准确性并揭示受试者水平脆弱性。
2026-09-10 cs.LG cs.NI
Multi-Center Federated Learning: Clients Clustering for Better Personalization
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
联邦学习因其能够以分散的方式训练大规模模型而无需直接访问用户数据的能力而受到极大关注。它有助于保护用户的私人数据不被集中收集。与分布式机器学习不同，联邦学习旨在处理来自各种现实世界应用程序（例如智能手机上的应用程序）中的异构源的非IID数据。现有的联邦学习方法通常采用单一的全局模型，通过聚合所有用户的梯度来捕获所有用户的共享知识，而不管其数据分布之间的差异。然而，由于用户行为的多样性，将用户的梯度分配给不同的全局模型（即，中心）可以更好地捕获跨用户的数据分布的异质性。本文提出了一种新的多中心聚合机制用于联邦学习，该机制从非IID用户数据中学习多个全局模型，同时导出用户和中心之间的最优匹配。我们制定的问题作为一个联合优化，可以有效地解决随机期望最大化（EM）算法。我们在基准数据集上的实验结果表明，我们的方法优于几个流行的联邦学习方法。
2023-02-05 cs.DC cs.LG stat.ML
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University（中山大学）
物联网（IoT）已经广泛渗透到现代生活的各个方面，许多智能物联网服务和应用正在涌现。最近，联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型，同时防止数据泄漏。然而，复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战，使其不适合直接部署。在本文中，我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题，我们研究了新兴的个性化联邦学习方法，这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能，还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后，我们提供了一个基于物联网的人类活动识别的案例研究，以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
Representation-Aligned Multi-Scale Personalization for Federated Learning
Department of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电气与电子工程学院）
本文提出FRAMP框架，通过生成客户端特定模型实现个性化和资源适应的联邦学习，提升泛化能力和适应性。
2026-04-13 cs.LG
An Empirical Study of Personalized Federated Learning
Osaka University（大阪大学）
联邦学习是一种分布式机器学习方法，其中单个服务器和多个客户端协作构建机器学习模型，而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性（即，数据分布在客户端之间可能不同）。为了解决这个问题，许多联邦学习方法都是针对个性化的联邦学习，为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法，但实验设置（例如，比较方法、数据集和客户端设置）彼此不同，并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准（即，非个性化）联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试，评价每种方法的特点。我们的实验研究表明：（1）不存在冠军方法，（2）大数据异构性通常会导致高准确度的预测，以及（3）具有微调的标准联邦学习方法（例如FedAvg）通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench，供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率，通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Connecting Low-Loss Subspace for Personalized Federated Learning
Ulsan National Institute of Science and Technology（蔚山科学技术院）；Kakao Enterprise（Kakao企业）
由于客户端之间统计异质性的诅咒，采用个性化的联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在个性化技术的不同分支中，基于模型混合的个性化方法是优选的，因为作为联邦学习的结果，每个客户端具有其自己的个性化模型。它通常需要一个本地模型和一个联邦模型，但这种方法要么局限于部分参数交换，要么需要额外的本地更新，每一个都是无助的新客户端和客户端的计算能力的负担。由于已经发现在两个或多个独立的深度网络之间存在包含不同低损失解决方案的连接子空间，我们将这个有趣的特性与基于模型混合的个性化联邦学习方法相结合，以提高个性化的性能。我们提出了SuperFed，一种个性化的联邦学习方法，该方法在权重空间中引入局部和联邦模型的最优值之间的显式连接，以相互提升。通过在多个基准数据集上的大量实验，我们证明了我们的方法在个性化性能和对现实服务中可能出现的问题场景的鲁棒性方面都取得了一致的收益。
2022-08-11 cs.AI cs.LG
FedOBP: Federated Optimal Brain Personalization through Cloud-Edge Element-wise Decoupling
Beijing Key Laboratory of MEMS Technology and Device Reliability for Industrial Internet, the School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications（北京工业互联网MEMS技术与器件可靠性重点实验室，智能工程与自动化学院，北京邮电大学）；School of Business Administration, Southwestern University of Finance and Economics（西南财经大学商学院）；Institute of Artificial Intelligence and the School of Computer Science, Beihang University（北京航空航天大学人工智能研究院和计算机学院）；School of Electronic Engineering, Dublin City University（都柏林城市大学电子工程学院）；DreamSoul
本文提出FedOBP算法，通过量化阈值机制和元素重要性评分，结合最优脑损伤理论，解决联邦学习中个性化参数选择问题，实验表明其在多种数据集和异构场景中表现优异。
2026-04-17 cs.AI cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Adaptive Personalized Federated Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
对联邦学习算法中个性化程度的研究表明，只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中，我们提倡一种自适应个性化联邦学习（APFL）算法，每个客户端将训练他们的本地模型，同时有助于全球模型。我们推导了局部和全局模型混合的推广界，并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型，并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性，以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Lower Bounds and Optimal Algorithms for Personalized Federated Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这项工作中，我们考虑了Hanzely和Richtárik（2020）最近引入的个性化联邦学习的优化公式，该公式被证明可以对本地{ \tt SGD}方法的工作原理给出另一种解释。我们的第一个贡献是建立第一个下界，这个配方，为通信复杂性和本地预言复杂性。我们的第二个贡献是几个最佳的方法匹配这些下限在几乎所有的制度的设计。这些是第一个可证明的个性化联邦学习的最佳方法。我们的优化方法包括{ \tt FedProx}的加速变体和{ \tt FedAvg}/Local { \tt SGD}的加速方差缩减版本。我们通过大量的数值实验证明了我们的方法的实际优势。
2020-10-05 cs.DC cs.LG math.OC
FedTP: Federated Learning by Transformer Personalization
ShanghaiTech University（上海科技大学）；Nantong University（南通大学）；University of Technology Sydney（悉尼科技大学）
本文提出FedTP框架，通过服务器端超网络学习个性化自注意力投影矩阵，解决联邦平均对Transformer自注意力的负面影响，在非IID场景下取得最先进性能。
2023-04-18 cs.AI cs.LG
Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对多模态LLM联邦提示学习中个性化、泛化性与隐私难以平衡的问题，提出DP-FPL方法，通过低秩分解与差异化差分隐私保护策略，在减轻隐私噪声影响的同时平衡权衡，实验效果优于基准方法。
2025-02-13 cs.LG
Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning
University of Pittsburgh（匹兹堡大学）
传统的联邦学习（FL）训练一个全局模型，用于具有分散数据的客户端联盟，降低了集中训练的隐私风险。然而，跨非IID数据集的分布偏移通常对这种一个模型适合所有解决方案构成挑战。个性化FL旨在系统地缓解这一问题。在这项工作中，我们提出了APPLE，一个个性化的跨筒仓FL框架，自适应地学习每个客户端可以从其他客户端的模型中受益多少。我们还介绍了一种方法来灵活地控制训练APPLE的全局和局部目标之间的焦点。我们经验性地评估了我们的方法的收敛性和泛化行为，并在两个基准数据集和两个非IID设置下的两个医学成像数据集上进行了广泛的实验。结果表明，所提出的个性化FL框架，APPLE，达到国家的最先进的性能相比，其他几个个性化FL方法在文献中。该代码可在https://github.com/ljaiverson/pFL-APPLE上公开获取。
2022-06-06 cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
TAP: Two-Stage Adaptive Personalization of Multi-Task and Multi-Modal Foundation Models in Federated Learning
Purdue University（普渡大学）；Yonsei University（延世大学）；University at Buffalo-SUNY（布法罗大学-苏尼尔）
本文提出TAP方法，通过两阶段自适应个性化在联邦学习中提升多任务和多模态基础模型的泛化能力，解决数据、任务和模态异质性问题。
2026-05-08 cs.AI cs.LG
Cost-Free Personalization via Information-Geometric Projection in Bayesian Federated Learning
EURECOM；University of Granada（格拉纳达大学）
本文提出了一种基于信息几何投影的无成本个性化方法，用于贝叶斯联邦学习，通过在统计流形上计算barycenter实现全局与局部性能的平衡。
2026-01-21 cs.IT cs.LG cs.NI
On Privacy and Personalization in Cross-Silo Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
虽然差分隐私（DP）的应用已经在跨设备联邦学习（FL）中得到了很好的研究，但缺乏考虑DP及其对跨筒仓FL的影响的工作，这种设置的特点是每个包含许多数据主体的客户端数量有限。在跨筒仓FL中，客户端级别DP的通常概念不太适合，因为现实世界的隐私法规通常涉及筒仓内的数据主体，而不是筒仓本身。在这项工作中，我们反而考虑了一个替代的概念，筒仓特定的样本级DP，其中筒仓设置自己的隐私目标，为他们的本地例子。在这种情况下，我们重新考虑个性化在联邦学习中的作用。特别是，我们表明，均值正则化多任务学习（MR-MTL），一个简单的个性化框架，是跨筒仓FL的一个强大的基线：在更强的隐私要求下，筒仓被激励相互联合，以减轻DP噪声，从而相对于标准基线方法实现一致的改进。我们提供了一个实证研究的竞争方法，以及MR-MTL的均值估计的理论表征，突出隐私和跨筒仓数据异质性之间的相互作用。我们的工作是为私人跨筒仓FL建立基线，并确定这一领域未来工作的主要方向。
2022-10-17 cs.CR cs.LG stat.ML
