Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
One-Shot Federated Learning with Bayesian Pseudocoresets
Eindhoven University of Technology（埃因霍温理工大学）；Graz University of Technology（格拉茨理工大学）
本文提出一种基于贝叶斯伪核心集的单次通信联邦学习方法，通过函数空间近似推断解决多峰后验坍塌问题，在保持竞争性预测性能的同时将通信成本降低两个数量级并提供良好的不确定性估计。
2024-06-04 cs.AI cs.DC cs.LG
Bayesian Neural Network For Personalized Federated Learning Parameter Selection
Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
本文提出在元素级别利用贝叶斯神经网络的不确定性选择个性化参数，以解决联邦学习中的数据异构问题，并在多个真实数据集上验证其优于现有基线。
2024-02-25 cs.AI cs.LG
Bayesian Federated Neural Matching that Completes Full Information
Tongji University（同济大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习是一种当代机器学习范式，其中局部训练模型被提炼成全局模型。由于神经网络具有固有的排列不变性，概率联合神经网络匹配（PFNM）在局部神经元的生成过程中采用贝叶斯非参数框架，然后在每次交替优化迭代中创建线性和分配公式。但根据我们的理论分析，PFNM中的优化迭代忽略了现有的全局信息。在这项研究中，我们提出了一种新的方法，克服了这一缺陷，在每次迭代引入Kullback-Leibler发散惩罚。我们的方法的有效性证明了图像分类和语义分割任务的实验。
2023-02-22 cs.LG
FedRef: Bayesian Fine-Tuning using a Reference Model to Mitigate Catastrophic Forgetting for Heterogeneous Federated Learning
School of Computer Science and Engineering（计算机科学与工程学院）；Center for Biosystems and Biotech Data Science（生物系统与生物技术数据科学中心）；Ghent University Global Campus, Incheon, Republic of Korea（因斯布鲁克大学全球校区，韩国）
FedRef通过在服务器端进行贝叶斯微调，利用参考模型缓解异构联邦学习中的灾难性遗忘问题，提升模型稳定性和收敛速度，降低客户端计算开销。
2026-04-25 cs.AI cs.DC cs.LG
Bayesian Nonparametric Federated Learning of Neural Networks
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Center for Computational Health（计算健康中心）
在联邦学习问题中，数据分散在不同的服务器上，交换或池化数据通常是不切实际的或被禁止的。我们开发了一个贝叶斯非参数框架联邦学习与神经网络。假设每个数据服务器提供本地神经网络权重，这些权重通过我们的框架建模。然后，我们开发了一种推理方法，使我们能够合成一个更具表现力的全球网络，而无需额外的监督，数据池，并且只需一轮通信。然后，我们证明了我们的方法对联邦学习问题的有效性，从两个流行的图像分类数据集模拟。
2019-05-28 cs.LG stat.ML
QLSD: Quantised Langevin stochastic dynamics for Bayesian federated learning
Criteo AI Lab（科韬人工智能实验室）；École Polytechnique（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Centre Borelli（博雷利中心）
联邦学习（FL）的目标是对分散存储在网络客户端上的数据进行统计推断。FL提出了许多限制，包括隐私和数据所有权，通信开销，统计异质性，部分客户端参与。在本文中，我们解决这些问题的贝叶斯范式的框架。为此，我们提出了一种新型的联邦马尔可夫链蒙特卡罗算法，称为量化朗之万随机动力学，它可以被视为随机梯度朗之万动力学FL设置的扩展，它使用梯度压缩来处理通信瓶颈。为了提高性能，我们然后引入方差减少技术，这导致两个改进的版本创造\texttt{QLSD} $^{\star}$和\texttt{QLSD} $^{++}$。我们给出了所提出的算法的非渐近和渐近收敛保证。我们使用各种贝叶斯联邦学习基准来说明它们的性能。
2022-05-31 cs.AI cs.LG stat.CO
Federated Deep Learning with Bayesian Privacy
WeBank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）旨在通过协作学习模型而不在用户之间共享私有数据来保护数据隐私。对于具有数十亿模型参数的深度神经网络的联邦学习，现有的隐私保护解决方案不能令人满意。基于同态加密（HE）的方法提供安全的隐私保护，但是遭受极高的计算和通信开销，使得其在实践中几乎无用。具有差分隐私（DP）的深度学习被实现为以可管理的复杂度成本的实用学习算法。然而，DP是容易受到侵略性的贝叶斯恢复攻击，在文献中公开，并在这项工作的实验结果中证明。为了解决上述困惑，我们提出了一种新的贝叶斯隐私（BP）框架，使贝叶斯恢复攻击被制定为从观察到的公共信息重建私人数据的概率。具体地，所提出的BP框架通过Kullback-Leibler（KL）关于隐私数据的先验分布与基于暴露信息的恢复隐私数据的后验分布之间的分歧来准确地量化隐私损失。据我们所知，这种贝叶斯隐私分析是第一个提供安全的隐私保护能力对贝叶斯恢复攻击的理论依据。作为一个具体的用例，我们证明了一种使用私有护照层的新型联邦深度学习方法能够同时实现高模型性能，隐私保护能力和低计算复杂性。理论分析是根据信息泄漏的经验测量广泛实验了各种DNN网络的图像分类MNIST，CIFAR 10和CIFAR 100数据集。
2021-09-27 cs.AI cs.CR cs.LG
Bayesian Federated Learning for Continual Training
DEIB and DIG, Politecnico di Milano（米兰理工学院DEIB和DIG部门）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）；Nokia Bell Labs（诺基亚贝尔实验室）
本文提出一种持续贝叶斯联邦学习框架，利用SGLD顺序更新模型，以雷达人体感知数据验证其在动态环境下保留知识并适应数据分布变化的能力。
2025-04-21 cs.AI cs.LG stat.ML
Federated Learning Algorithms for Generalized Mixed-effects Model (GLMM) on Horizontally Partitioned Data from Distributed Sources
UTHealth（德克萨斯大学休斯顿健康科学中心）；University of Pennsylvania（宾夕法尼亚大学）；University of Manitoba（曼尼托巴大学）
目的：本文开发了两种算法来实现联邦广义线性混合效应模型（GLMM），并比较了所开发的模型的结果彼此，以及从标准R包（`lme 4 '）。研究方法：GLMM的对数似然函数用两种数值方法（拉普拉斯近似和高斯埃尔米特近似）来近似，支持GLMM的联邦分解，将计算量带到数据上。结果如下：我们开发的方法可以处理GLMM，以适应分层数据与多个非独立的观察水平，在联邦设置。实验结果表明，与模拟和真实世界的数据相当（拉普拉斯）和优越的（高斯-厄米特）性能。结论：我们开发并比较了具有不同近似值的联邦GLP-D，这可以支持研究人员分析生物医学数据，以适应混合效应并解决由于分层结构（即，机构、地区、国家等）。
2022-06-07 cs.LG stat.ML
Towards Instance-wise Personalized Federated Learning via Semi-Implicit Bayesian Prompt Tuning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
本文提出pFedBayesPT框架，通过半隐式贝叶斯提示微调实现实例级个性化联邦学习，以解决客户端内部数据异质性问题，并在基准数据集上验证了其优于现有方法。
2025-08-27 cs.AI cs.LG
Personalized Federated Learning with Hidden Information on Personalized Prior
Sichuan University（四川大学）
联邦学习（FL）是一种分布式机器学习技术，它利用全局服务器和协作客户端来实现隐私保护的全局模型训练，而无需直接的数据共享。然而，异构数据问题，作为FL的主要问题之一，使得它很难有效地执行每个客户端的本地数据的全局模型。因此，个性化的联邦学习（PFL用于简化）旨在尽可能地提高模型在本地数据上的性能。贝叶斯学习，其中模型的参数被视为具有先验假设的随机变量，是异构数据问题的可行解决方案，因为模型使用的局部数据越多，它就越关注局部数据，否则就关注先验。当贝叶斯学习应用于PFL时，全局模型提供全局知识作为局部训练过程之前。在本文中，我们采用贝叶斯学习模型PFL假设在缩放指数家庭的先验，因此提出pFedBreD，一个框架来解决我们使用Bregman发散正则化模型的问题。经验上，我们的实验表明，在球面高斯和一阶策略的均值选择的先验假设下，我们的建议显着优于其他PFL算法在多个公共基准。
2022-11-24 cs.AI cs.DC cs.LG
BTFL: A Bayesian-based Test-Time Generalization Method for Internal and External Data Distributions in Federated learning
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于贝叶斯的测试时泛化方法BTFL，通过双头架构和双贝叶斯框架在样本层面平衡个性化与泛化，以应对联邦学习中内部与外部分布测试时的性能下降问题，并在多数据集上以更低时间成本取得更优效果。
2025-03-09 cs.AI cs.LG
Federated Bayesian Network Ensembles
Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）；Statistics Netherlands（荷兰统计总局）
本文提出贝叶斯网络联邦集成（FBNE）方法，通过在分布式数据上训练分类器集成，在保持模型性能的同时显著提升训练速度，并有效应对本地数据偏斜和各方人口规模不平衡问题。
2024-02-19 cs.CR cs.LG
Explainable Federated Bayesian Causal Inference and Its Application in Advanced Manufacturing
Northeastern University（东北大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对制造系统中因果推断应用不足与数据隐私问题，提出可解释联邦贝叶斯框架 xFBCI，利用本地后验估计倾向得分并以 PSM 估计处理效应，在多数据集和 EHD 打印数据上优于现有方法。
2025-01-10 cs.LG stat.AP
Trustworthy Personalized Bayesian Federated Learning via Posterior Fine-Tune
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）
本文提出一种结合贝叶斯方法和归一化流的个性化联邦学习框架，从参数后验角度实现个性化，在提升异构数据准确率的同时显著增强分布外检测能力。
2024-02-25 cs.CV cs.LG
Federated Learning of Dynamic Bayesian Network via Continuous Optimization from Time Series Data
Northeastern University（东北大学）；Brown University（布朗大学）
本文针对分布式时间序列数据的隐私与异质性挑战，提出基于连续优化的联邦学习方法FDBNL和PFDBNL来学习动态贝叶斯网络结构，并在多客户端小样本场景下优于现有技术。
2025-02-05 cs.AI cs.LG stat.CO
A Bayesian Framework for Clustered Federated Learning
本文提出统一的贝叶斯聚类联邦学习框架，通过灵活关联客户端与聚类并设计权衡性能与复杂度的算法，提升非IID数据下的模型性能。
2024-10-22 cs.DC cs.LG stat.ML
FedBEns: One-Shot Federated Learning based on Bayesian Ensemble
University of Milano-Bicocca（米兰比可卡大学）；Inria（法国国家信息与自动化研究所）
针对单次联邦学习问题，提出基于贝叶斯集成的FedBEns算法，利用局部损失多模态特性，通过客户端局部后验的拉普拉斯近似混合经服务器聚合得到全局模型，性能优于单模态近似基线。
2025-03-19 cs.LG
FedHB: Hierarchical Bayesian Federated Learning
Samsung AI Center Cambridge（三星剑桥人工智能中心）；The University of Edinburgh（爱丁堡大学）
FedHB提出了一种分层贝叶斯方法用于联邦学习，通过分层建模和变分推断实现分布式优化，兼容FL并保证收敛性和泛化性能。
2026-03-02 cs.DC cs.LG stat.ML
Personalized Federated Learning via Variational Bayesian Inference
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
由于客户缺乏数据和统计多样性，联邦学习面临着模型过拟合的巨大挑战。为了解决这些问题，提出了一种基于贝叶斯变分推理的个性化联邦学习方法pFedBayes。为了减轻过拟合，权重不确定性被引入到神经网络的客户端和服务器。为了实现个性化，每个客户端通过平衡其在私有数据上的构造误差以及其KL发散与来自服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上界，并证明了该算法的泛化误差的收敛速度是极大极小最优的。实验表明，该方法在个性化模型上优于其他先进的个性化方法，例如，在非独立同分布情况下，pFedBayes算法在MNIST、FMNIST和CIFAR-10上的性能分别比其他SOTA算法高1.25%、0.42%和11.71%。有限的数据。
2022-06-16 cs.LG
Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory
ByteDance Inc（字节跳动公司）；Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
该研究提出贝叶斯联邦学习新算法FA-HMC，在非独立同分布数据下建立严格收敛保证并验证分析紧致性，实验证明其性能优于现有FA-LD算法。
2024-07-09 cs.LG stat.CO stat.ML
Differentially Private and Federated Structure Learning in Bayesian Networks
PreMeDICal, Inria, Idesp, Inserm, University of Montpellier（PreMeDICal, 法国国家信息与自动化研究所, Idesp, 法国国家健康与医学研究院, 蒙彼利埃大学）
本文提出Fed-Sparse-BNSL方法，结合差分隐私与贪心更新，实现高效隐私保护和低通信开销的贝叶斯网络结构学习。
2026-04-10 cs.LG stat.ML
FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning
The Ohio State University（俄亥俄州立大学）
联邦学习旨在通过访问用户的本地训练模型而不是他们自己的数据来协作训练强大的全局模型。因此，关键的一步是将局部模型聚合成全局模型，当用户具有非i.i.d.数据在本文中，我们提出了一种新的聚合算法名为FedBE，它采取了贝叶斯推理的角度，通过采样更高质量的全球模型，并通过贝叶斯模型Ensemble组合它们，导致更强大的聚合。我们表明，一个有效的模型分布可以通过简单地拟合高斯分布或狄利克雷分布的本地模型。我们的实证研究验证了FedBE的卓越性能，特别是当用户的数据不是i.i.d.时。当神经网络深入的时候。此外，FedBE与最近规范用户模型训练的努力兼容，使其成为一个易于应用的模块：您只需要替换聚合方法，但保留联邦学习算法的其他部分不变。我们的代码可在https://github.com/hongyouc/FedBE上公开获取。
2021-10-10 cs.LG stat.ML
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University（麦考瑞大学）；Northeastern University（东北大学）
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题，提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed，加入先验持续更新机制，并提供理论分析与实验验证。
2023-10-03 cs.LG
Compressed Bayesian Federated Learning for Reliable Passive Radio Sensing in Industrial IoT
Politecnico di Milano（米兰理工大学）；Consiglio Nazionale delle Ricerche（国家研究委员会）
针对去中心化贝叶斯联邦学习通信开销高的问题，提出结合后验压缩与多步本地优化的方法，在工业物联网雷达人员定位中保持精度与校准，并将通信量最高降低99%。
2024-05-09 cs.DC cs.LG eess.SP
FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对联邦学习上行通信瓶颈，本文提出 FedBIAD，利用贝叶斯推理和损失趋势重要性指标自适应丢弃权重行，并证明其极小极大最优收敛，实验显示通信减半、精度提升且训练时间最多降低 72%。
2023-07-14 cs.DC cs.LG
Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data
School of Management Engineering, Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院管理工程学院）
在临床研究中，缺乏感兴趣的事件往往需要不平衡的学习。解决这一障碍的一种方法是数据集成或共享，但由于隐私问题，这两种方法都不实用。因此，对于可以在联合环境中在其上执行分析同时保持隐私的平台的需求日益增加。然而，这是相当具有挑战性的联邦学习算法，可以同时解决隐私保护和类不平衡的问题。在这项研究中，我们引入了一个联邦生成模型学习平台，用于在数据分布式环境中生成样本，同时保护隐私。我们特别提出了近似贝叶斯计算为基础的高斯混合模型称为“联邦ABC-GMM”，它可以过采样数据在一个小类通过估计的后验分布的模型参数在整个机构的隐私保护的方式。PhysioNet 2012是一个用于预测重症监护病房（ICU）患者死亡率的数据集，用于验证所提出的方法的性能。实验结果表明，我们的方法提高了分类性能的F1得分接近理想的情况。据信，所提出的方法可以是一种新的替代解决类不平衡问题。
2020-08-29 cs.LG stat.ML
GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model
Institute for Clarity in Documentation（文档清晰性研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
联邦学习平台越来越受欢迎。其中一个主要好处是减轻隐私风险，因为算法的学习可以在不收集或共享数据的情况下实现。虽然联邦学习（即，尽管许多基于随机梯度算法的算法已经显示出很大的潜力，但是在隐私保护方面仍然存在许多挑战性的问题，特别是在梯度更新和交换过程中。本文提出了第一个无梯度的联邦学习框架GRAFFL，用于学习基于近似贝叶斯计算的贝叶斯生成模型。与传统的基于梯度的联邦学习算法不同，我们的框架不需要分解模型（即，线性分量）或扰乱数据（或用于聚合的数据加密）以保护隐私。相反，该框架使用来自每个参与机构的隐式信息来学习参数的后验分布。隐式信息是来自SuffiAE的汇总统计数据，SuffiAE是本研究中开发的神经网络，用于创建压缩和线性可分离的表示，从而保护敏感信息免受泄漏。作为一种充分的降维技术，这被证明可以提供足够的汇总统计量。我们提出了基于GRAFFL的贝叶斯高斯混合模型作为框架的概念验证。使用几个数据集，我们证明了我们的模型在隐私保护和预测性能方面的可行性和实用性（即，接近理想状态）。训练后的模型作为一个准全局模型，可以生成包含其他机构信息的信息样本，并增强对每个机构的数据分析。
2020-08-29 cs.LG stat.ML
Towards Federated Bayesian Network Structure Learning with Continuous Optimization
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
传统上，贝叶斯网络结构学习通常在一个中心站点进行，所有数据都收集在该中心站点。然而，在实践中，数据可以跨不同方分布（例如，公司、设备），他们打算共同学习贝叶斯网络，但由于隐私或安全问题而不愿意披露与他们的数据相关的信息。在这项工作中，我们提出了一个联邦学习的方法来估计贝叶斯网络的结构，从数据是水平划分在不同的缔约方。我们开发了一个分布式结构学习方法的基础上连续优化，使用交替方向的乘法器（ADMM），只有模型参数必须在优化过程中进行交换。我们证明了我们的方法的灵活性，通过采用它的线性和非线性的情况下。在合成数据集和真实数据集上的实验结果表明，该方法比其他方法具有更好的性能，特别是当客户端数量相对较多且每个客户端的样本量有限时。
2022-04-04 cs.LG stat.ML
Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对联邦学习中客户端异构、数据有限带来的隐私与不确定性量化需求，提出基于函数空间先验的定制化本地贝叶斯联邦学习框架，兼具差分隐私保障，在多场景下性能优于基线且可表征不确定性。
2023-06-13 cs.LG
BVFLMSP : Bayesian Vertical Federated Learning for Multimodal Survival with Privacy
本文提出BVFLMSP框架，通过贝叶斯神经网络处理多模态数据，实现隐私保护下的生存预测，提升预测可靠性并提供不确定性估计。
2026-04-02 cs.LG stat.ML
Personalized Federated Learning via Amortized Bayesian Meta-Learning
University of Electronic Science and Technology of China（电子科技大学）；Nanjing Audit University（南京审计大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng National Lab（鹏城国家实验室）
本文提出FedABML算法，通过摊销贝叶斯元学习和层次化变分推断解决联邦学习中的客户端统计异质性问题，并给出泛化误差上界，实验证明其优于多个基线方法。
2023-07-05 cs.LG
Bayesian Robust Aggregation for Federated Learning
Scaleout Systems（Scaleout系统公司）；Science for Life Laboratory（生命科学实验室）
针对联邦学习中恶意客户端数量未知且攻击随时间变化的问题，本文提出一种基于贝叶斯推理的自适应鲁棒聚合方法，在保持经典平均估计器简洁性的同时，在多个基准数据集上取得了最先进的鲁棒性能。
2025-05-05 cs.LG stat.ML
Differentially Private Federated Bayesian Optimization with Distributed Exploration
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近，贝叶斯优化（BO）被联邦汤普森采样（FTS）算法扩展到联邦学习（FL）设置，它有很好的应用，如联邦超参数调整。然而，FTS没有配备一个严格的隐私保证，这是一个重要的考虑因素，在FL。最近的作品已纳入差分隐私（DP）到训练的深度神经网络通过一个通用的框架添加DP迭代算法。遵循这个通用DP框架，我们在这里的工作将DP集成到FTS中，以保护用户级隐私。我们还利用这个通用DP框架处理不同参数向量的能力，以及BO的本地建模技术，通过分布式探索（DE）进一步提高我们算法的实用性。由此产生的差分隐私FTS与DE（DP-FTS-DE）算法被赋予的隐私和效用的理论保证，并服从有趣的理论见解的隐私效用权衡。我们还使用真实世界的实验表明，DP-FTS-DE实现高效用（竞争性能），具有很强的隐私保证（小的隐私损失），并诱导隐私和效用之间的权衡。
2021-10-27 cs.CR cs.LG
Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms
École Polytechnique（巴黎综合理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Institut Polytechnique de Paris（巴黎理工学院）
本文主要研究联邦学习环境下的贝叶斯推断。虽然已经提出了几个分布式MCMC算法，很少考虑FL的具体限制，如通信瓶颈和统计异质性。最近，引入了联合平均朗之万动力学（Federated Averaging Langevin Dynamics，简称FMD），其将联合平均算法扩展到贝叶斯推断。我们得到了一个新的紧的非渐近上界的瓦瑟斯坦距离的全球后验的Wasserstein D。该界限突出了统计异质性的影响，这会导致局部更新的漂移，从而对收敛产生负面影响。我们提出了一个新的算法VR-VRND *，使用控制变量来纠正客户端漂移。我们建立了非渐近界，表明VR-ADVD * 不受统计异质性的影响。最后，我们说明了我们的结果在几个FL基准贝叶斯推断。
2022-10-31 cs.LG stat.ML
Information-Geometric Barycenters for Bayesian Federated Learning
Communication Systems Department, EURECOM, France（埃鲁埃康通信系统部门）；Andalusian Institute of Data Science（安达卢西亚数据科学研究所）；Department of Computer Science and Artificial Intelligence, University of Granada, Spain（格拉纳达大学计算机科学与人工智能系）
本文从信息几何角度将贝叶斯联邦学习的聚合表述为局部后验的重心问题，提出保留非凸收敛性的BA-BFL算法，并验证其在非IID场景下具备先进性能与可解释性。
2025-09-30 cs.IT cs.LG cs.NI
Federated Variational Inference for Bayesian Mixture Models
MRC Biostatistics Unit University of Cambridge（英国癌症研究委员会生物统计学单位剑桥大学）；Institute of Applied Health Research University of Birmingham（应用健康研究学院伯明翰大学）
针对大规模二元和分类数据集的贝叶斯模型聚类问题，提出基于变分推断的联邦“分治”方法，通过局部和全局合并操作实现无需共享完整数据的联邦学习，在模拟、基准及EHR数据上验证了其优于现有算法的性能。
2025-11-12 cs.LG stat.ME stat.ML
Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models
Naval Postgraduate School（海军研究生院）
本文针对贝叶斯深度学习模型难以直接使用联邦聚合的问题，在 CIFAR-10 的 IID 与非 IID 设置下评估六种策略及 Monte Carlo dropout 联邦平均，证明聚合策略是影响准确率、校准和不确定性的关键超参数。
2024-04-04 cs.LG stat.ML
Bayesian AirComp with Sign-Alignment Precoding for Wireless Federated Learning
POSTECH（浦项工科大学）
在本文中，我们考虑的问题，无线联邦学习的符号随机梯度下降（signSGD）算法的基础上，通过多址接入信道。当发送本地计算的梯度的符号信息时，每个移动终端需要应用预编码以规避无线衰落效应。然而，实际上，在所有移动设备处获取信道状态信息（CSI）的完美知识是不可行的。在本文中，我们提出了一个简单而有效的预编码方法，有限的信道知识，称为符号对齐预编码。符号对齐预编码的思想是保护符号翻转错误免受无线衰落的影响。在局部梯度的高斯先验假设下，我们还推导出了均方误差（MSE）最优聚集函数，称为贝叶斯空中计算（BayAirComp）。我们的关键发现是，即使使用完美的CSI与AirComp聚合，BayAirComp聚合的一位预编码也可以提供比现有预编码方法更好的学习性能。
2021-09-14 cs.LG eess.SP
Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning
University of Glasgow（格拉斯哥大学）；King’s College London（伦敦国王学院）；Rice University（莱斯大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出LR-BPFL方法，通过全局确定性模型加个性化低秩贝叶斯修正和自适应秩选择机制，在个性化联邦学习中提升模型校准性与准确性的同时降低计算和内存开销。
2024-10-18 cs.LG
Task Diversity in Bayesian Federated Learning: Simultaneous Processing of Classification and Regression
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（未来区块链与隐私计算北京高精尖创新中心）
本文针对联邦学习中本地任务同质化问题，提出结合多输出高斯过程与联邦学习的贝叶斯多任务框架，通过Pólya-Gamma增强和变分推断提升效率，实验证明其在预测、OOD检测和校准上表现优越。
2024-12-25 cs.LG stat.ML
Adaptive Bayesian Partner Selection for Federated Clinical Centers
Missouri University of Science and Technology（密苏里科技大学）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
提出自适应贝叶斯伙伴选择（ABPS）框架，通过Beta-Bernoulli后验和UCB标准实现点对点协作，在230个非IID临床中心上以0.09倍通信成本匹配FedDyn性能，减少通信且不牺牲准确性。
2026-09-16 cs.DC cs.LG
FedPop: A Bayesian Approach for Personalised Federated Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Criteo AI Lab（Criteo人工智能实验室）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Ecole Polytechnique（巴黎综合理工学院）
个性化联邦学习（FL）旨在协作学习为每个客户端定制的机器学习模型。尽管在这个方向上已经取得了令人鼓舞的进展，但大多数现有方法都不允许不确定性量化，而不确定性量化在许多应用中至关重要。此外，跨设备设置中的个性化仍然涉及重要问题，特别是对于新客户或观察次数较少的客户。本文旨在填补这些空白。为此，我们提出了一种新的方法FedPop重塑个性化FL到人口建模范式，客户端的模型涉及固定的共同人口参数和随机效应，旨在解释数据的异质性。为了获得我们的计划的收敛保证，我们引入了一类新的联邦随机优化算法，它依赖于马尔可夫链蒙特卡罗方法。与现有的个性化FL方法相比，所提出的方法具有重要的优点：它对客户端漂移具有鲁棒性，对于新客户端的推断具有实用性，最重要的是，能够在温和的计算和内存开销下进行不确定性量化。我们提供了非渐近收敛保证所提出的算法，并说明其性能的各种个性化的联邦学习任务。
2023-01-26 cs.LG stat.ME stat.ML
A Secure and Private Distributed Bayesian Federated Learning Design
Beijing Laboratory of Advanced Information Network（北京先进信息网络实验室）；Beijing Key Laboratory of Network System Architecture and Convergence（北京网络系统架构与融合重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；College of Information Science and Electronic Engineering（信息科学与电子工程学院）；University of Miami（迈阿密大学）；The University of Hong Kong（香港大学）
本文提出了一种结合拜占庭鲁棒性、隐私保护和收敛加速的分布式贝叶斯联邦学习框架，通过图神经网络强化学习算法实现设备自主连接决策，提升了系统鲁棒性和效率。
2026-02-23 cs.AI cs.LG
BayBFed: Bayesian Backdoor Defense for Federated Learning
Technical University of Darmstadt（达姆施塔特工业大学）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
联邦学习（FL）允许参与者联合训练机器学习模型，而无需与他人共享他们的私人数据。然而，FL容易受到中毒攻击，例如后门攻击。因此，最近已经提出了各种防御，其主要利用全局模型的中间状态（即，logits）或局部模型的距离（即，L2-norm）从全局模型中检测恶意后门。然而，由于这些方法直接对客户端更新进行操作，因此其有效性取决于客户端的数据分布或对手的攻击策略等因素。在本文中，我们介绍了一种新的，更通用的后门防御框架，称为BayBFed，它建议利用客户端更新的概率分布来检测FL中的恶意更新：它计算客户端更新上的概率度量以跟踪更新中所做的任何调整，并使用一种新颖的检测算法，该算法可以利用这种概率测量来有效地检测和过滤恶意更新。因此，它克服了由于直接使用客户端更新而产生的先前方法的缺点;因为我们的概率度量将包括本地客户端培训策略的所有方面。BayBFed利用两个贝叶斯非参数扩展：（i）分层Beta-Bernoulli过程，以在给定客户端更新的情况下绘制概率度量，以及（ii）中国餐馆过程（CRP）的改编，我们称为CRP-Jensen，它利用此概率度量来检测和过滤恶意更新。我们在五个基准数据集上广泛评估了我们的防御方法：CIFAR 10，Reddit，物联网入侵检测，MNIST和FMNIST，并表明它可以有效地检测和消除FL中的恶意更新，而不会降低全局模型的良性性能。
2023-01-23 cs.AI cs.LG
Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
提出基于变分贝叶斯推理的联邦学习方法，通过个性化、稀疏性和聚类策略解决数据异构和有限问题，实现更优性能。
2026-06-01 cs.LG
Bayesian Federated Learning over Wireless Networks
POSTECH（浦项科技大学）；Hanyang University（汉阳大学）；Weizmann Institute of Science（魏茨曼科学研究所）
联邦学习是一种隐私保护和分布式训练方法，使用存储在本地设备上的异构数据集。无线网络上的联合学习需要在服务器处聚合本地计算的梯度，其中移动设备通过异构通信链路发送统计上不同的梯度信息。本文提出了一种贝叶斯联邦学习（BFL）算法，在最小化均方误差（MSE）的意义下，最佳地聚集异构量化梯度信息。BFL的思想是通过联合利用i）局部梯度的先验分布、ii）梯度量化器函数和iii）信道分布来在服务器处聚合一位量化的局部梯度。随着移动设备数量的增加，实现BFL需要很高的通信和计算成本。为了解决这个问题，我们还提出了一个有效的修改BFL算法称为可扩展BFL（SBFL）。在SBFL中，我们假设局部梯度上的简化分布。每个移动终端发送其一比特量化局部梯度以及表示该分布的两个标量参数。然后，服务器聚合噪声和褪色的量化梯度以最小化MSE。我们提供了一类非凸损失函数的SBFL的收敛性分析。我们的分析阐明了如何通信信道的参数和梯度先验影响收敛。从模拟中，我们证明了SBFL大大优于传统的符号随机梯度下降算法时，训练和测试神经网络在异构无线网络上使用MNIST数据集。
2020-12-31 cs.LG eess.SP
A Bayesian Vertical Federated Learning Framework for Multivariate Reduced-Rank High-Dimensional Regression
Texas A&M University（德克萨斯农工大学）
提出BayesVFLReg，一种用于多元高维降秩回归的贝叶斯纵向联邦学习框架，通过随机草图保护隐私，实现精确系数估计与特征选择，并具有理论保证和实证有效性。
2026-09-29 cs.LG stat.CO stat.ML
Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
针对贝叶斯联邦学习中局部预测后验乘积导致过度自信的问题，提出β-Predictive Bayes算法，通过可调参数β在混合与乘积之间插值以改善全局集成校准，并在多种数据集上验证了其优于基线。
2024-01-09 cs.LG stat.ML
Personalized Bayesian Federated Learning with Wasserstein Barycenter Aggregation
School of Statistics, Renmin University of China（中国人民大学统计学院）；Guanghua School of Management, Peking University（北京大学光华管理学院）；School of Mathematics Science, Dalian University of Technology（大连理工大学数学科学学院）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学统计学院）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高级创新中心）
针对个性化贝叶斯联邦学习在客户端参数化推断和服务器简单平均聚合上的局限，提出FedWBA方法，采用基于粒子的变分推断和Wasserstein重心聚合，并提供了理论收敛保证，实验证明其在精度、校准和收敛上优于基线。
2025-10-13 cs.LG
Learning Personalized Brain Functional Connectivity of MDD Patients from Multiple Sites via Federated Bayesian Networks
Northwest University（西北大学）；Air Force Medical University（空军军医大学）；Xijing Hospital（西京医院）
识别重性抑郁障碍（MDD）患者的功能连接生物标志物对于促进对障碍机制的理解和早期干预至关重要。然而，由于样本量小，可用的神经影像数据的高维数，现有的方法的性能往往是有限的。多站点数据可以提高统计能力和样本规模，但它们往往受制于站点间的异质性和数据共享政策。在本文中，我们提出了一个联邦联合估计，NOTEARS-PFL，同时学习多个贝叶斯网络（BN）的连续优化，以确定疾病引起的变化在MDD患者。我们将网站之间共享的信息和网站特定的信息到建议的联邦学习框架学习个性化BN结构，通过引入组融合套索惩罚。我们开发了交替方向的乘法器，其中在本地更新步骤中，神经成像数据在每个本地站点进行处理。然后将学习到的网络结构传输到中心进行全局更新。特别地，我们推导了局部更新步骤的封闭形式表达式，并使用迭代邻近投影方法来处理全局更新步骤中的组融合套索惩罚。我们评估所提出的方法在合成和真实世界的多站点rs-fMRI数据集的性能。结果表明，建议NOTEARS-PFL产生优越的有效性和准确性比可比的方法。
2023-01-06 cs.LG q-bio.NC
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology（昆士兰科技大学）
本文提出了一种面向联邦学习场景的结构化变分推断方法，并给出通信高效的 FedAvg 式变体，通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
Cost-Free Personalization via Information-Geometric Projection in Bayesian Federated Learning
EURECOM；University of Granada（格拉纳达大学）
本文提出了一种基于信息几何投影的无成本个性化方法，用于贝叶斯联邦学习，通过在统计流形上计算barycenter实现全局与局部性能的平衡。
2026-01-21 cs.IT cs.LG cs.NI
