Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University（清华大学致理书院）
联合学习是指基于来自多个客户端的分散数据的机器学习任务，具有安全的数据隐私。最近的研究表明，量子算法可以用来提高其性能。然而，当客户端的数据不是独立同分布的（IID），传统的联邦算法的性能是已知的恶化。在这项工作中，我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道，并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明，该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
DPMM-CFL: Clustered Federated Learning via Dirichlet Process Mixture Model Nonparametric Clustering
Dept. of Electrical \& Computer Engineering, Northeastern University, Boston, MA, USA
DPMM-CFL通过非参数贝叶斯推断自动确定聚类数量和客户端分配，实现更灵活的联邦学习框架。
2026-01-29 cs.DC cs.LG stat.ML
FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models
Michigan Technological University（密歇根理工大学）；University of Florida（佛罗里达大学）
联邦学习使多个分布式设备能够协作学习共享的预测模型，而无需集中其设备上的数据。大多数当前的算法需要具有相同结构和大小的设备上模型的本地训练的可比的个人努力，然而，这阻碍了资源受限的设备的参与。鉴于当今广泛而异构的设备，在本文中，我们提出了一个创新的联邦学习框架，通过Zero-shot知识转移，命名为FedZKT的异构设备上的模型。具体来说，FedZKT允许设备根据其本地资源独立确定设备上的模型。为了在这些异构的设备上模型之间实现知识转移，设计了一种zero-shot蒸馏方法，而不需要任何私有设备上数据的先决条件，这与基于公共数据集或预训练数据生成器的某些现有研究相反。此外，这种计算密集型的蒸馏任务被分配给服务器，以允许资源受限的设备参与，其中生成器通过收集的设备上模型的集合来对抗学习。然后，将提取的中心知识以相应的设备上模型参数的形式发送回来，这些参数可以很容易地在设备侧被吸收。大量的实验研究证明了FedZKT对设备上知识不可知、设备上模型异构和其他具有挑战性的联邦学习场景（如异构设备上数据和离散效应）的有效性和鲁棒性。
2022-04-05 cs.LG stat.ML
Federated learning with hierarchical clustering of local updates to improve training on non-IID data
Keele University（基尔大学）
联邦学习（FL）是一种在大规模分布式数据上执行机器学习任务的成熟方法。然而，在数据以非iid（非独立和相同分布）方式分布的设置中-这在现实世界中是典型的-与iid数据上的训练相比，FL产生的联合模型在测试集准确性和/或通信成本方面受到影响。我们发现，在某些类型的非iid数据存在的情况下，学习单个联合模型往往不是最佳的。在这项工作中，我们提出了一个修改FL通过引入一个层次聚类步骤（FL+HC）来分离集群的客户端的相似性，他们的本地更新的全球联合模型。一旦分离，集群将在专门的模型上独立和并行地进行训练。我们提出了一个强大的经验分析的超参数FL+HC几个iid和非iid设置。我们展示了FL+HC如何允许模型训练在更少的通信回合中收敛（在某些非iid设置下显着），而FL没有聚类。此外，FL+HC允许更大比例的客户端达到目标精度相比，标准FL。最后，我们提出了良好的默认超参数，以促进卓越的性能专业化模型，而无需修改底层的联邦学习通信协议的建议。
2020-05-06 cs.LG stat.ML
FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
针对个性化与联邦学习中的少样本图像分类，提出结合迁移学习与元学习的FiT方法，以极低参数实现高精度，并在VTAB-1k上达到最优。
2023-02-02 cs.CV cs.LG stat.ML
One-Shot Federated Conformal Prediction
本文提出一种用于单次联邦学习的保形预测方法，通过分位数之分位数估计器在单轮通信中实现目标覆盖率，并提供本地差分隐私版本，实验证明其效果与集中式设置相近。
2023-07-31 stat.ML
Federated Myopic Community Detection with One-shot Communication
Purdue University（普渡大学）
在本文中，我们研究了联邦近视学习下的网络社区结构恢复问题。在这种模式下，我们有几个客户，他们每个人都有一个短视的观点，即，观察网络的一个小的子图。每个客户端向中央服务器发送经审查的证据图。我们提供了一个有效的算法，它计算一个共识签署的加权图从客户端的证据，并恢复底层的网络结构在中央服务器。我们分析了网络的拓扑结构条件，以及允许恢复网络结构的客户端的信号和噪声水平。我们的分析表明，准确的恢复是可能的，可以在多项式时间内实现。我们还为中央服务器从任何单个客户端证据恢复网络结构提供了信息理论限制。最后，作为我们分析的副产品，我们提供了一个新的Cheeger型不等式一般符号加权图。
2021-06-14 cs.LG stat.ML
Patient Clustering Improves Efficiency of Federated Machine Learning to predict mortality and hospital stay time using distributed Electronic Medical Records
Academy of Arts and Design, Tsinghua University（清华大学美术学院）；Massachusetts Institute of Technology（麻省理工学院）
电子病历（EMR）支持机器学习算法的开发，用于预测疾病发生率、患者对治疗的反应以及其他医疗保健事件。但到目前为止，大多数算法都是集中式的，很少考虑到EMR的分散、非完全独立分布（非IID）和隐私敏感特性，这些特性会使数据汇集、共享和学习变得复杂。为了应对这一挑战，我们引入了基于社区的联邦机器学习（CBFL）算法，并在非IID ICU EMR上对其进行了评估。我们的算法将分布式数据聚类为具有临床意义的社区，这些社区捕获了类似的诊断和地理位置，并为每个社区学习了一个模型。在整个学习过程中，数据被保存在医院的本地，而本地计算的结果被汇总在服务器上。评估结果表明，CBFL优于基线FL算法的受试者工作特征曲线下的面积（ROC AUC），精确召回曲线下的面积（PR AUC），医院和服务器之间的通信成本。此外，社区的绩效差异可以用社区与其他社区的差异来解释。
2019-03-22 cs.LG stat.ML
FedFisher: Leveraging Fisher Information for One-Shot Federated Learning
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
FedFisher利用Fisher信息矩阵，通过贝叶斯视角实现单轮通信的一次性联邦学习，理论证明在过参数化ReLU网络下误差趋近于零，并提出了对角Fisher和K-FAC近似的高效变体，实验验证其优于现有基线。
2024-03-19 cs.DC cs.LG stat.ML
Multi-Center Federated Learning: Clients Clustering for Better Personalization
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
联邦学习因其能够以分散的方式训练大规模模型而无需直接访问用户数据的能力而受到极大关注。它有助于保护用户的私人数据不被集中收集。与分布式机器学习不同，联邦学习旨在处理来自各种现实世界应用程序（例如智能手机上的应用程序）中的异构源的非IID数据。现有的联邦学习方法通常采用单一的全局模型，通过聚合所有用户的梯度来捕获所有用户的共享知识，而不管其数据分布之间的差异。然而，由于用户行为的多样性，将用户的梯度分配给不同的全局模型（即，中心）可以更好地捕获跨用户的数据分布的异质性。本文提出了一种新的多中心聚合机制用于联邦学习，该机制从非IID用户数据中学习多个全局模型，同时导出用户和中心之间的最优匹配。我们制定的问题作为一个联合优化，可以有效地解决随机期望最大化（EM）算法。我们在基准数据集上的实验结果表明，我们的方法优于几个流行的联邦学习方法。
2023-02-05 cs.DC cs.LG stat.ML
Distilled One-Shot Federated Learning
University of Florida（佛罗里达大学）；Cognization Lab（认知实验室）
目前的联邦学习算法在理想情况下需要数十轮通信来传输庞大的模型权重，而在数据分布不佳的情况下则需要数百轮通信。受最近数据集蒸馏和分布式单次学习工作的启发，我们提出了蒸馏单次联邦学习（DOSFL），以显着降低通信成本，同时实现相当的性能。在一轮中，每个客户端提取其私有数据集，将合成数据（例如图像或句子）发送到服务器，并共同训练全局模型。提取的数据看起来像噪声，并且仅对特定的模型权重有用，即，在模型更新后变得无用。通过这种轻量和无梯度的设计，DOSFL的总通信成本比FedAvg低三个数量级，同时保留了集中式对等体的93%到99%的性能。之后，客户可以切换到传统的方法，如FedAvg来微调最后的几个百分比，以适应个性化的本地模型与本地数据集。通过全面的实验，我们展示了DOSFL在视觉和语言任务上的准确性和通信性能，包括CNN，LSTM，Transformer等。我们证明了窃听攻击者无法使用泄漏的蒸馏数据正确地训练一个好的模型，而不知道初始模型权重。DOSFL是一种廉价的方法，可以快速收敛到高性能的预训练模型，其通信成本低于传统方法的0.1%。
2021-06-06 cs.AI cs.LG stat.ML
Federated Matrix Factorization: Algorithm Design and Application to Data Clustering
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
近年来，人们对数据隐私的要求使得联邦学习（FL）成为大规模异构网络中一种新的分布式学习范式。尽管已经提出了许多FL算法，但是很少有人考虑矩阵分解（MF）模型，该模型已知具有大量的信号处理和机器学习应用。与现有的FL算法是针对单一变量块的光滑问题而设计的不同，联邦MF（FedMF）算法需要处理两个变量块的非凸和非光滑问题（由于约束或正则化）。在本文中，我们提出了两个新的FedMF算法，即FedMAvg和FedMGS，模型平均和梯度共享原则的基础上，分别解决这一挑战。FedMAvg和FedMGS都采用每轮通信多步本地更新的方式来加快收敛速度，并只允许随机抽样的客户端子集与服务器通信以降低通信开销。分别给出了两种算法的收敛性分析，描述了数据分布、局部更新次数和部分客户端通信对算法性能的影响。通过集中在一个数据聚类任务，广泛的实验结果，以检查这两种算法的实际性能，以及证明他们的有效性，现有的分布式聚类算法。
2020-10-30 cs.DC cs.LG math.OC
Marginal and training-conditional guarantees in one-shot federated conformal prediction
针对单次联邦学习场景下的共形预测问题，提出基于分位数的分位数估计与拆分共形预测的高效无分布算法，理论证明其性能接近中心化场景，实验验证了预测集的覆盖率与长度表现。
2024-05-21 math.ST stat.ML stat.TH
An Improved Algorithm for Clustered Federated Learning
Halıcıoğlu Data Science Institute（哈利西奥卢数据科学研究所）；UC San Diego（加州大学圣地亚哥分校）
在本文中，我们通过聚类框架解决了联邦学习（FL）中异构模型和同时训练之间的二分法。我们定义了一个新的聚类模型FL的基础上（最佳）的本地模型的用户：两个用户属于同一个集群，如果他们的本地模型是接近的，否则他们属于不同的集群。在\cite{ghosh_efficient_2021}中提出了一种用于聚类FL的标准算法，称为\texttt{IFCA}，其需要\emph{suitable}初始化和超参数的知识，如聚类的数量（在实际应用中通常很难获得）以收敛。我们提出了一种改进的算法，\emph{Successive Refine Federated Clustering Algorithm}（\texttt{SR-FCA}），它消除了这种限制性的假设。\texttt{SR-FCA}首先将每个用户作为一个单例聚类进行初始化，然后利用属于同一个聚类的相似用户不断地细化聚类估计。在任何中间步骤中，\texttt{SR-FCA}在每个集群中使用健壮的联邦学习算法来利用同步训练并纠正集群错误。此外，\texttt{SR-FCA}在理论上和实践中都不需要任何\emph{good}初始化（热启动）。我们表明，适当选择的学习率，\texttt{SR-FCA}引起任意小的聚类误差。此外，我们在标准FL数据集上验证了我们的算法在非凸问题（如神经网络）中的性能，并展示了\texttt{SR-FCA}优于基线的优势…
2022-10-20 cs.DC cs.IT cs.LG
Federated Variational Inference for Bayesian Mixture Models
MRC Biostatistics Unit University of Cambridge（英国癌症研究委员会生物统计学单位剑桥大学）；Institute of Applied Health Research University of Birmingham（应用健康研究学院伯明翰大学）
针对大规模二元和分类数据集的贝叶斯模型聚类问题，提出基于变分推断的联邦“分治”方法，通过局部和全局合并操作实现无需共享完整数据的联邦学习，在模拟、基准及EHR数据上验证了其优于现有算法的性能。
2025-11-12 cs.LG stat.ME stat.ML
One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them
Sharif University of Technology（谢里夫理工大学）
我们考虑在单次设置中的分布式统计优化，其中有$m$机器，每个机器观察$n$ i.i.d.。样品基于其观察到的样本，每台机器向服务器发送一条$B$位长的消息。然后，服务器从所有机器收集消息，并估计使预期凸损失函数最小化的参数。我们调查的影响，通信约束，$B$，对预期的错误，并推导出一个严格的下界的错误实现的任何算法。然后，我们提出了一个估计，我们称之为多分辨率估计（MRE），其预期误差（当$B\ge\log mn$）满足上述下限的多对数因子，从而阶最优。我们还解决了在微小的通信预算下的学习问题，并提出了$B$是一个常数时的上下误差界。与现有算法不同，MRE的预期误差随着机器的数量（$m$）趋于无穷大而趋于零，即使当每台机器的样本数量（$n$）保持由常数限定的上限时也是如此。MRE算法的这一特性使其适用于$m$比$n$大得多的新机器学习范例。
2019-12-30 cs.DC cs.LG stat.ML
One-Shot Federated Learning with Bayesian Pseudocoresets
Eindhoven University of Technology（埃因霍温理工大学）；Graz University of Technology（格拉茨理工大学）
本文提出一种基于贝叶斯伪核心集的单次通信联邦学习方法，通过函数空间近似推断解决多峰后验坍塌问题，在保持竞争性预测性能的同时将通信成本降低两个数量级并提供良好的不确定性估计。
2024-06-04 cs.AI cs.DC cs.LG
Semantic-Aware Task Clustering for Federated Cooperative Multi-Task Semantic Communication
University of Bremen（不来梅大学）
本文提出了一种基于联邦学习的语义感知任务聚类方法，用于提升分布式多用户场景下的协同多任务语义通信性能。
2026-01-24 cs.IT eess.SP math.IT
