Federated Learning with Uncertainty via Distilled Predictive Distributions
Eightfold AI(Eightfold人工智能公司);IIT Kanpur(印度理工学院坎普尔分校)
针对现有联邦学习无法估计不确定性的问题,提出基于蒸馏后验预测分布的框架,仅传输蒸馏网络,无需蒙特卡洛平均,在分类、主动学习及OOD检测任务上优于现有基线。
2023-10-01 cs.LG stat.ML
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
Korea Advanced Institute of Science and Technology(韩国科学技术院);King’s College London(伦敦国王学院)
用于分布式机器学习的协作训练方法通常假设无噪声和理想的通信信道。这项工作研究了无线通信链路的存在所带来的机遇和挑战。我们特别考虑无线实现的联邦学习(FL)和联邦蒸馏(FD),以及一种新的混合联邦蒸馏(HFD)计划。这两个数字实现的基础上单独的源信道编码和空中计算实现的基础上联合源信道编码提出和评估高斯多址信道。
2019-07-05 cs.IT cs.LG math.IT
Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control
The Ohio State University(俄亥俄州立大学)
本文考虑空中联邦学习(OTA-FL)。OTA-FL利用无线介质的叠加特性,免费进行空中模型聚合。因此,它可以大大降低在从边缘设备传送模型更新时所引起的通信成本。为了充分利用这一优势,同时提供可比的学习性能,传统的联邦学习,假设通过无噪声信道的模型聚合,我们考虑联合设计的传输缩放和本地迭代次数在每一轮,给定的功率约束在每个边缘设备。我们首先通过建立具有Lipschitz连续梯度的一般函数的基本下界来表征由于OTA-FL中的这种信道噪声而导致的训练误差。然后,通过引入自适应收发器功率缩放方案,我们提出了一个空中联邦学习算法与联合自适应计算和功率控制(ACPC-OTA-FL)。我们提供了收敛分析ACPC-OTA-FL在非凸目标函数和异构数据的训练。我们表明,ACPC-OTA-FL的收敛速度相匹配的FL与无噪声通信。
2022-05-12 cs.LG
Uncertainty-Aware Explainable Federated Learning
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文提出 UncertainXFL 框架,首次在联邦学习中显式评估解释的不确定性,并利用不确定性分数加权聚合客户端模型,从而同时提升模型准确率与解释可靠性。
2025-03-07 cs.AI cs.DC cs.LG
Privacy-preserving and Uncertainty-aware Federated Trajectory Prediction for Connected Autonomous Vehicles
Northeastern University(东北大学);University of Connecticut(康涅狄格大学)
深度学习是自动驾驶车辆轨迹预测的首选方法。不幸的是,其数据饥渴的性质隐含地要求提供足够丰富和高质量的集中式数据集,这很容易导致隐私泄露。此外,不确定性意识对于安全关键的网络物理系统变得越来越重要,其预测模块严重依赖于机器学习工具。在本文中,我们放宽了数据汇集的要求,并通过使用联邦学习的不确定性意识的全局目标的互联自动驾驶汽车,提高不确定性意识。我们将我们的算法命名为FLTP。我们进一步介绍了ALFLTP,它通过使用主动学习技术,在自适应选择参与客户端来提高FLTP。我们认为负对数似然(NLL)和任意的不确定性(AU)作为客户端选择指标。在Argoverse数据集上的实验表明,FLTP显著优于在本地数据上训练的模型。此外,ALFLTP-AU在训练回归损失方面收敛得更快,并且在大多数轮次中在NLL,minADE和MR方面比FLTP表现得更好,并且比ALFLTP-NLL具有更稳定的轮性能。
2023-03-08 cs.CV cs.DC cs.LG
Uncertainty-Aware Federated Learning for Infant Movement Analysis
University of Glasgow(格拉斯哥大学)
针对婴儿运动分析中集中式训练的数据隐私问题,提出首个联邦学习框架,并引入不确定性感知的联邦平均策略,在不集中数据下达到接近集中式训练的性能。
2026-09-28 cs.AI cs.CV cs.LG
Achieving Distributive Justice in Federated Learning via Uncertainty Quantification
University of Arkansas(亚拉巴马大学)
提出UDJ-FL框架,通过偶然不确定性加权实现联邦学习中平等主义、功利主义、罗尔斯差异原则和应得四种分配正义公平性指标,并提供泛化界限理论保证。
2025-04-22 cs.AI cs.LG stat.ML
Decoding Federated Learning: The FedNAM+ Conformal Revolution
UC San Diego(加州大学圣地亚哥分校);ECE(电子工程系);CSE(计算机科学与工程系)
本文提出FedNAM+框架,通过集成NAMs与共形预测方法,利用梯度敏感度图实现可解释且高效的像素级不确定性估计,在多个数据集上验证了其高精度与低计算开销的优势。
2025-06-28 cs.CV cs.LG
Joint Probability Selection and Power Allocation for Federated Learning
Mohammed VI Polytechnic University(穆罕默德六世理工大学)
本文针对无线网络中能量受限的联邦学习,提出联合优化客户端选择概率与功率分配的概率方法,并通过交替算法获得闭式解,在能耗、完成时间和精度上显著优于基准。
2024-01-15 cs.LG
Joint Energy and Latency Optimization in Federated Learning over Cell-Free Massive MIMO Networks
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出一种基于坐标梯度下降的无蜂窝大规模MIMO网络联邦学习上行功率分配方案,通过联合优化用户上行能量和训练延迟,在有限预算下显著提升了测试准确率。
2024-04-28 cs.IT cs.LG cs.NI
FEDBUD: Joint Incentive and Privacy Optimization for Resource-Constrained Federated Learning
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院)
本文提出FEDBUD系统,通过联合考虑数据量和噪声水平对激励策略的影响,解决联邦学习中隐私保护与激励策略设计的难题。
2026-04-12 cs.DC cs.LG
Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning
College of Information Sciences and Technology, Pennsylvania State University(信息科学与技术学院,宾夕法尼亚州立大学)
FedEcho通过不确定性感知蒸馏,有效缓解异步联邦学习中滞后客户端和数据异质性带来的负面影响,提升模型性能。
2025-11-25 cs.DC cs.LG
Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning
Hitachi (China) Research & Development Cooperation(日立(中国)研发有限公司)
在联邦学习(FL)中,设备通过经由无线信道上传其本地模型更新来为全局训练做出贡献。由于有限的计算和通信资源,设备调度对FL的收敛速度至关重要。在本文中,我们提出了一种联合设备调度和资源分配策略,以在给定的总训练时间预算内最大化延迟受限的无线FL的模型精度。训练性能损失的倒数的下限,根据训练轮的数量和每轮调度的设备的数量,导出。在此基础上,将精度最大化问题分解为两个子问题进行求解。首先,给定被调度的设备,最优带宽分配建议将更多带宽分配给具有较差信道条件或较弱计算能力的设备。然后,引入贪婪设备调度算法,在每一步中选择消耗最少更新时间的设备,直到最优带宽分配的下限开始增加,这意味着调度更多的设备会降低模型的准确性。实验结果表明,该策略优于国家的最先进的调度策略下,广泛的数据分布和细胞半径的设置。
2020-07-14 cs.IT cs.LG cs.NI
Federated Residual Learning
Microsoft Research(微软研究院);University of Southern California(南加州大学)
我们研究了一种新形式的联邦学习,其中客户端训练个性化的本地模型,并与服务器端共享模型联合进行预测。使用这个新的联邦学习框架,可以最大限度地减少中央共享模型的复杂性,同时仍然获得联合训练提供的所有性能优势。我们的框架对数据异构性具有鲁棒性,解决了传统联邦学习方法在数据是非独立同分布时面临的收敛速度慢的问题。跨客户端。我们对理论进行了实证测试,发现在基线上有实质性的性能提升。
2020-03-28 cs.LG stat.ML
Joint Optimization in Edge-Cloud Continuum for Federated Unsupervised Person Re-identification
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
人员重新识别(ReID)旨在从非重叠的摄像机视图中重新识别人员。由于个人ReID数据包含敏感的个人信息,研究人员采用了联邦学习,一种新兴的分布式训练方法,以减轻隐私泄露风险。然而,现有的研究依赖于费力和耗时的数据标签。我们提出了FedUReID,这是一个联合的无监督人员ReID系统,可以在不使用任何标签的情况下学习人员ReID模型,同时保护隐私。FedUReID支持在具有未标记数据的边缘上进行原位模型训练。云服务器从边缘聚集模型,而不是集中原始数据,以保护数据隐私。此外,为了解决边缘数据量和分布不同的问题,我们通过云和边缘的联合优化对边缘进行个性化训练。具体来说,我们提出了个性化的epoch来重新分配整个训练过程中的计算,个性化的聚类来迭代地预测未标记数据的合适标签,以及个性化的更新来使服务器聚合模型适应每个边缘。在8个人ReID数据集上的大量实验表明,FedUReID不仅实现了更高的准确率,而且将计算成本降低了29%。我们的FedUReID系统与联合优化将揭示实施联邦学习更多的多媒体任务没有数据标签。
2021-08-14 cs.AI cs.CV cs.DC
Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor
Moscow Institute of Physics and Technology(莫斯科物理技术学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
为了减轻分布式和联邦学习中的高通信成本,各种矢量压缩方案,例如量化、稀疏化和抖动,已经变得非常流行。在设计压缩方法时,目的在于尽可能少地传送比特,这最小化每通信回合的成本,而同时试图对所传送的消息赋予尽可能少的失真(变化),这最小化压缩对通信回合的总数的不利影响。然而,直觉上,这两个目标从根本上是冲突的:我们允许的压缩越多,信息就变得越扭曲。我们形式化这种直觉,并证明了随机压缩算子的{ \em不确定性原理},从而在数学上量化了这种限制,{ \em有效地提供了渐近紧的下限上可能实现的通信压缩}。受这些发展的启发,我们呼吁寻找最佳的压缩算子。在尝试采取在这个方向上的第一步,我们考虑一个无偏的压缩方法的启发Kashin表示的向量,我们称之为{ \em Kashin压缩(KC)}。与所有先前提出的压缩机制相比,KC享有{ \em维度独立}方差界,即使在每个向量条目仅需要传送几个比特的情况下,我们也推导出明确的公式。
2021-01-26 cs.DC cs.IT cs.LG
Fed-Joint: Joint Modeling of Nonlinear Degradation Signals and Failure Events for Remaining Useful Life Prediction using Federated Learning
University of Michigan(密歇根大学);Northeastern University(东北大学);University of Virginia(弗吉尼亚大学)
针对跨站点工业数据难共享且退化信号形式未知的问题,提出Fed-Joint联邦框架,以多输出高斯过程和生存模型联合建模非线性退化与失效事件,提升RUL预测性能。
2025-03-17 cs.AI cs.LG stat.ML
A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning
Jiangnan University(江南大学);Tsinghua University(清华大学);Qualcomm(高通公司)
本文全面综述了联邦边缘学习(FEL)中计算、数据、通信和网络拓扑的联合资源分配策略,指出其能有效提升系统效率与隐私保护,为多资源优化提供理论支持与部署思路。
2024-10-10 cs.LG
Semantic Communication in Dynamic Channel Scenarios: Collaborative Optimization of Dual-Pipeline Joint Source-Channel Coding and Personalized Federated Learning
Beijing Institute of Technology(北京理工大学);Institute of Computer Application Technology Norinco Groups(中国兵器工业集团计算机应用技术研究所)
提出 PFL-DPJSCCA 个性化联邦学习框架,通过信道感知的双流水线联合信源信道编码及非凸零优化差距方法,增强多用户动态信道下语义通信的泛化与个性化性能。
2025-03-18 cs.LG eess.IV
Uncertainty-Aware Federated Learning for Cyber-Resilient Microgrid Energy Management
ICT Convergence Research Center(信息通信融合研究中心);Kumoh National Institute of Technology(Kumoh国立技术学院);IT-Convergence Engineering(信息通信融合工程)
本文提出一种结合联邦学习和网络韧性的微电网能源管理框架,通过级联检测与多信号融合提升攻击鲁棒性,实现能源调度优化与成本节约。
2025-11-22 cs.CR cs.LG
Joint Domain-Class Modeling for Federated Learning Under Feature Skew
University of Tehran(德黑兰大学)
针对联邦学习特征偏移问题,提出JDFL方法,通过推断伪域并扩展分类头为联合域-类输出,结合两种监督策略,在标准基准上提升全局测试准确率。
2026-09-22 cs.LG
Mixed Federated Learning: Joint Decentralized and Centralized Learning
Google Inc.(谷歌公司)
联邦学习(FL)支持从分散的隐私敏感数据中学习,对原始数据的计算仅限于在边缘客户端进行。本文介绍了混合FL,其中包括一个额外的损失计算在协调服务器(同时保持FL的私人数据限制)。有许多好处。例如,可以利用附加的数据中心数据来联合地从集中式(数据中心)和分散式(联合)训练数据学习,并且更好地匹配预期的推断数据分布。混合FL还能够卸载一些密集的计算(例如,嵌入正则化)到服务器,大大减少了通信和客户端计算负载。对于这些和其他混合FL用例,我们提出了三种算法:并行训练,单向梯度转移和双向梯度转移。我们国家的收敛范围,并给予直觉,适合特定的混合FL问题。最后,我们进行了广泛的实验上的三个任务,表明混合FL可以混合训练数据,以实现预言的准确性上的推理分布,并可以减少通信和计算开销超过90%。我们的实验证实了算法如何在不同的混合FL问题设置下执行的理论预测。
2022-06-24 cs.DC cs.LG
Federated Joint Learning for Domain and Class Generalization
FedDCG通过联邦联合学习同时解决领域和类别泛化问题,通过领域分组策略和解耦机制提升模型在未见领域和类别上的泛化能力。
2026-01-27 cs.CV cs.LG
VR-VFL: Joint Rate and Client Selection for Vehicular Federated Learning Under Imperfect CSI
Uppsala University(乌普萨拉大学)
VR-VFL通过动态客户端选择和自适应传输速率优化,提升车联网联邦学习在不完美信道条件下的收敛效率。
2026-02-03 cs.LG eess.SP
TPFL: A Trustworthy Personalized Federated Learning Framework via Subjective Logic
Xi’an Jiaotong University(西安交通大学)
本文提出TPFL框架,通过主观逻辑构建联邦模型,提供概率决策与不确定性评估,结合异质性先验缓解数据异质性,确保训练与推理的安全可靠,实验证明其在性能、鲁棒性和可信度上表现优异。
2024-10-16 cs.DC cs.LG
Uncertainty Minimization for Personalized Federated Semi-Supervised Learning
Nanjing University of Posts and Telecommunications(南京邮电大学);University of Science and Technology Beijing(北京科技大学)
联邦学习(FL)是一种具有隐私保护的分散学习技术,分布式数据的统计异质性是FL应用中实现鲁棒性能和稳定收敛的主要障碍。模型个性化方法已经被研究来克服这个问题。然而,现有的方法主要是在充分标记的数据的前提下,这是不现实的,在实践中,由于专业知识的要求。部分标记条件导致的主要问题是,具有缺陷标记数据的客户端可能会遭受不公平的性能增益,因为他们缺乏足够的局部分布的洞察力来定制全局模型。为了解决这个问题,1)我们提出了一种新的个性化半监督学习范式,它允许部分标记或未标记的客户端从数据相关的客户端寻求标记帮助(助手代理),从而增强他们对本地数据的感知;(2)基于这一范式,我们设计了一个基于不确定性的数据关系度量,以确保所选择的助手可以提供可信的伪标签,而不是误导本地训练; 3)为了减轻助手搜索带来的网络负载,我们进一步开发了一个助手选择协议,以实现有效的通信,并以可接受的性能牺牲。实验结果表明,我们提出的方法可以获得优越的性能和更稳定的收敛比其他相关工作的部分标记的数据,特别是在高度异构的设置。
2022-12-07 cs.LG
Federated Learning in the Sky: Joint Power Allocation and Scheduling with UAV Swarms
Virginia Tech(弗吉尼亚理工大学);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Ericsson Research(爱立信研究院);Princeton University(普林斯顿大学);University of Oulu(奥卢大学)
无人机群必须利用机器学习来执行从协调轨迹规划到协同目标识别的各种任务。然而,由于无人机群与地面基站(BS)之间缺乏连续连接,使用集中式ML将具有挑战性,特别是在处理大量数据时。提出了一种新的无人机群分布式联邦学习算法实现框架。每个跟随的UAV基于其收集的数据训练本地FL模型,然后将此训练的本地模型发送到领先的UAV,领先的UAV将聚合接收到的模型,生成全局FL模型,并通过群内网络将其发送到跟随者。为了确定无线因素,如衰落,传输延迟,以及由风和机械振动引起的无人机天线角度偏差,如何影响FL的性能,对FL进行了严格的收敛分析。然后,联合功率分配和调度设计,提出了优化FL的收敛速度,同时考虑到收敛过程中的能量消耗和延迟的要求所施加的群体的控制系统。仿真结果验证了FL收敛分析的有效性,并表明与基线设计相比,联合设计策略可以将收敛所需的通信轮次减少多达35%。
2020-06-10 cs.IT cs.LG cs.RO
Wireless Quantized Federated Learning: A Joint Computation and Communication Design
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
最近,联邦学习(FL)作为一种有前途的分散式机器学习方法引起了广泛的关注,它提供了隐私和低延迟。然而,通信瓶颈仍然构成一个问题,需要解决的FL在无线网络上的有效部署。在本文中,我们的目标是最大限度地减少FL的总收敛时间,通过量化的本地模型参数之前,上行链路传输。更具体地说,FL算法与随机量化的收敛性分析,揭示了量化误差对收敛速度的影响。在此之后,我们共同优化计算,通信资源和量化位数,以保证最小化的收敛时间在所有的全球轮,受到能量和量化误差的要求,这源于收敛分析。量化误差对收敛时间的影响进行了评估,并揭示了模型精度和及时执行之间的权衡。此外,所提出的方法被证明是导致更快的收敛与基线计划相比。最后,有用的见解的量化误差容限的选择提供。
2022-03-11 cs.LG eess.SP
Joint Client Scheduling and Resource Allocation under Channel Uncertainty in Federated Learning
University of Oulu(奥卢大学);Centre for Wireless Communications(无线通信中心)
联邦学习(FL)在无线网络上的性能取决于客户端-服务器连接的可靠性和客户端的本地计算能力。在这篇文章中,我们调查的客户端调度和资源块(RB)分配的问题,以提高使用FL的模型训练的性能,在预定义的训练时间不完美的信道状态信息(CSI)和有限的本地计算资源。首先,我们分析得出FL与客户端调度和集中式训练方法在给定的训练时间内的训练损失之间的差距。然后,我们制定的客户端调度和RB分配的训练损失最小化的差距作为一个随机优化问题,并解决它使用李雅普诺夫优化。利用基于高斯过程回归的信道预测方法来学习和跟踪无线信道,其中,客户端的CSI预测和计算能力被并入调度决策中。使用一组广泛的模拟,我们验证了所提出的方法的鲁棒性下完美和不完美的CSI在一系列不同的数据分布。结果表明,该方法减少了高达40.7%的培训精度损失的差距相比,国家的最先进的客户端调度和RB分配方法。
2021-06-12 cs.LG
Joint Optimization of Communications and Federated Learning Over the Air
Beijing Jiaotong University(北京交通大学);George Mason University(乔治梅森大学)
联邦学习(FL)是一种利用丰富的分布式数据同时保护数据隐私的有吸引力的范例。然而,不理想的通信链路和有限的传输资源可能会阻碍快速,准确的FL的实施。在本文中,我们研究了在现实的无线网络中的模拟聚合传输的基础上,通信和FL的联合优化。我们首先推导出封闭形式的表达式FL的预期收敛速度在空气中,理论上量化模拟聚合对FL的影响。基于分析结果,我们开发了一个联合优化模型准确FL的实施,它允许参数服务器选择一个子集的工人,并确定一个适当的功率缩放因子。由于FL在空中的实际设置遇到不可观测的参数,我们重新制定的工人选择和功率分配的联合优化使用控制近似。最后,我们有效地解决了由此产生的混合整数规划问题,通过一个简单而最佳的有限集搜索方法,通过减少搜索空间。仿真结果表明,为现实的无线模拟信道开发的解决方案优于基准方法,并实现FL在无噪声无线信道上实现的理想情况下的可比性能。
2021-10-05 cs.DC cs.LG
Joint Privacy Enhancement and Quantization in Federated Learning
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
联邦学习(FL)是一种新兴的范例,用于使用边缘设备上可用的可能私有数据来训练机器学习模型。FL的分布式操作带来了集中式机器学习中没有遇到的挑战,包括需要保护本地数据集的隐私,以及由于重复交换更新模型而产生的通信负载。这些挑战通常通过在更新的模型上引起一些失真的技术来单独解决,例如,局部差分隐私(LDP)机制和有损压缩。在这项工作中,我们提出了一种新的方法联合隐私增强和量化(JoPEQ),它联合实现有损压缩和隐私增强FL设置。特别地,JoPEQ利用基于随机网格的矢量量化,这是一种通用压缩技术,其副产品失真在统计上等同于加性噪声。利用这种失真,通过用专用的多变量隐私保护噪声增强模型更新来增强隐私。我们表明,JoPEQ同时根据所需的比特率量化数据,同时保持所需的隐私级别,而不会显着影响学习模型的效用。这是通过分析LDP的保证,失真和收敛范围的推导,和数值研究。最后,我们凭经验断言,JoPEQ拆除已知利用隐私泄露的常见攻击。
2022-08-23 cs.CR cs.LG
Distribution-Free Federated Learning with Conformal Predictions
Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital(马萨诸塞州总医院阿蒂努拉·A·马蒂诺斯生物医学成像中心);Department of Radiology, Harvard Medical School(哈佛医学院放射学系)
联邦学习吸引了人们对医疗保健中协作机器学习的极大兴趣,以利用独立的机构数据集,同时维护患者隐私。然而,校准不良和缺乏可解释性等其他挑战也可能阻碍将联邦模型广泛部署到临床实践中,导致用户在高风险临床决策中不信任或滥用ML工具。在本文中,我们建议通过将自适应共形框架纳入联邦学习来解决这些挑战,以确保提供覆盖保证的无分布预测集。重要的是,这些不确定性估计可以在不需要对模型进行任何额外修改的情况下获得。MedMNIST医学成像基准的实证结果表明,我们的联邦方法在6个不同的医学成像数据集上为2D和3D多类分类任务提供了更紧密的局部共形预测覆盖。此外,我们将类熵与预测集大小相关联,以评估任务的不确定性。
2022-01-15 cs.LG eess.IV
SureFED: Robust Federated Learning via Uncertainty-Aware Inward and Outward Inspection
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Northeastern University(东北大学);Khoury College of Computer Sciences(科里计算机学院)
提出 SureFED 拜占庭鲁棒联邦学习框架,通过本地干净参考模型与贝叶斯不确定性进行内外检查,可在多数客户端被攻陷及 non-IID 场景下抵御数据和模型投毒。
2024-03-01 cs.DC cs.LG cs.MA
Different Corruptions, Different Signals: Uncertainty and Loss in Federated Data Quality
University of Glasgow(格拉斯哥大学)
本文在联邦学习中比较了输入条件不确定性与预测-标签损失两种损坏检测信号,发现标签翻转宜用损失检测,图像噪声宜用期望熵不确定性,强调信号需与损坏类型匹配。
2026-09-28 cs.AI cs.CV cs.LG
Joint Graph Estimation and Signal Restoration for Robust Federated Learning
The University of Osaka(大阪大学)
针对联邦学习中参数噪声与缺失导致的性能下降,提出联合图学习和模型参数恢复的DC优化聚合方法,显著提升有偏噪声场景下的分类准确率。
2025-05-16 cs.LG eess.SP
How to Combine Variational Bayesian Networks in Federated Learning
Istanbul Technical University(伊斯坦布尔理工大学)
联邦学习使多个数据中心能够协同训练一个中央模型,而不会暴露任何机密数据。尽管确定性模型能够执行高预测精度,但它们缺乏校准和量化不确定性的能力,这对于安全关键型应用来说是有问题的。与确定性模型不同,概率模型(如贝叶斯神经网络)相对校准良好,能够量化不确定性以及具有竞争力的预测精度。这两种方法都出现在联邦学习框架中;然而,确定性模型的聚合方案不能直接应用于概率模型,因为权重对应于分布而不是点估计。在这项工作中,我们研究了各种聚集方案的变分贝叶斯神经网络的效果。通过对三个图像分类数据集的实证结果,我们观察到聚合分布的扩散程度是学习过程中的一个重要因素。因此,我们提出了一个调查的问题,如何结合变分贝叶斯网络在联邦学习,同时提供不同的聚合设置的基准。
2022-11-23 cs.AI cs.LG
Federated Learning with Uncertainty-Based Client Clustering for Fleet-Wide Fault Diagnosis
Iowa State University(爱荷华州立大学);EPFL(洛桑联邦理工学院);University of Connecticut(康涅狄格大学)
针对跨运营商故障诊断中的数据隐私与客户端异构问题,提出基于本地测试集评估预测准确率和不确定性的客户端聚类联邦学习方法。
2023-04-26 cs.DC cs.LG
RESFL: An Uncertainty-Aware Framework for Responsible Federated Learning by Balancing Privacy, Fairness and Utility
Virginia Tech(弗吉尼亚理工大学);U.S. Army Research Laboratory(美国陆军研究实验室)
RESFL框架通过结合对抗性隐私解耦和不确定性引导的公平性感知聚合,提升联邦学习中隐私与公平性的平衡,实验表明其在自动驾驶场景中提升了检测性能并降低了对抗攻击成功率。
2026-04-21 cs.CV cs.DC cs.ET
Joint Optimization for Federated Learning and Transmission over Unreliable Wireless Networks with Heterogeneous Data
Beijing University of Posts and Telecommunications(北京邮电大学);Jiaxing University(嘉兴学院);Northwestern Polytechnical University(西北工业大学);Southeast University(东南大学)
针对无线联邦学习中的数据异构和不可靠传输问题,提出FedRW框架,联合优化学习、路径选择和传输参数,实现更高精度和更快收敛。
2026-09-15 cs.DC cs.LG
Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning
Loughborough University(拉夫堡大学);University of York(约克大学);Queen Mary University of London(伦敦大学玛丽女王学院);University of Bristol(布里斯托大学);Nanyang Technological University(南洋理工大学);Institute of High Performance Computing(高性能计算研究所);A*STAR(新加坡科技研究局)
本文提出了一种名为Delphi的联邦学习模型投毒攻击方法,通过贝叶斯优化和最小二乘信赖域搜索投毒参数以最大化全局模型输出的不确定性,并利用KL散度量化不确定性,揭示了FL系统的脆弱性。
2025-01-15 cs.AI cs.CV cs.LG
Energy Efficient Federated Learning over Heterogeneous Mobile Devices via Joint Design of Weight Quantization and Wireless Transmission
University of Houston(休斯顿大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Science and Technology of China(中国科学技术大学);University of Florida(佛罗里达大学)
联邦学习(FL)是一种流行的跨移动设备的协作分布式机器学习范例。然而,资源受限移动设备上的实用FL面临多重挑战,例如,FL中的本地设备上训练和模型更新对于移动设备来说是耗电的和无线电资源密集的。为了解决这些挑战,在本文中,我们试图把FL到未来的无线网络的设计,并开发一种新的无线传输和权重量化的联合设计,在移动设备上的能量有效的FL。具体来说,我们开发灵活的权重量化方案,以促进异构移动设备上的本地训练。基于本地计算的能量消耗与模型更新的能量消耗相当的观察,我们将节能FL问题公式化为混合整数规划问题,其中针对异构移动设备联合确定量化和频谱资源分配策略,以最小化总体FL能量消耗(计算+传输),同时保证模型性能和训练延迟。由于该问题的优化变量是强耦合的,提出了一种有效的迭代算法,其中的带宽分配和权重量化水平的推导。大量的仿真进行了验证所提出的方案的有效性。
2022-05-22 cs.LG cs.NI
Federated Learning with Uncertainty and Personalization via Efficient Second-order Optimization
Department of Computer Science and Engineering, IIT Kanpur, India(计算机科学与工程系,印度IIT坎pur)
本文提出一种高效的联邦学习方法,利用二阶优化减少计算和通信成本,同时保留贝叶斯方法的不确定性与个性化优势。
2024-11-27 cs.CV cs.LG stat.ML
Federated Learning from Small Datasets
Institute for AI in medicine (IKIM)(医学人工智能研究所(IKIM));University Hospital Essen(埃森大学医院);Ruhr-University Bochum(波鸿鲁尔大学);Monash University(莫纳什大学);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对联邦学习中本地数据过小导致训练失败的问题,提出将模型聚合与本地模型排列交织的新方法,通过菊花链式数据暴露提升数据稀疏领域的训练效率,保留隐私与效率优势。
2023-10-12 cs.AI cs.DC cs.LG
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning
Western University(西安大略大学);Jinan University(暨南大学);Chongqing University(重庆大学);Khalifa University(哈利法大学);University of Manchester(曼彻斯特大学)
针对支持NOMA的分层联邦学习通信与能源开销瓶颈,提出基于模糊逻辑的客户端编排策略,联合优化边缘调度与资源分配,通过PDD和DDPG求解,实现性能提升与成本降低。
2023-11-03 cs.AI cs.LG
How To Backdoor Federated Learning
Cornell Tech, Cornell University(康奈尔大学康奈尔科技校区)
联邦学习使成千上万的参与者能够构建一个深度学习模型,而无需彼此共享他们的私人训练数据。例如,多个智能手机可以联合训练键盘的下一个单词预测器,而不会泄露单个用户键入的内容。我们证明了联邦学习的任何参与者都可以将隐藏的后门功能引入联合全局模型,例如,以确保图像分类器将攻击者选择的标签分配给具有某些特征的图像,或者单词预测器用攻击者选择的单词完成某些句子。我们设计并评估了一种新的基于模型替换的模型中毒方法。在单轮联邦学习中选择的攻击者可以使全局模型在后门任务上立即达到100%的准确率。我们在不同的假设下对标准的联邦学习任务进行了评估,结果表明它大大优于数据投毒。我们的通用约束和规模的技术也规避异常检测为基础的防御,将规避到攻击者的损失函数在训练过程中。
2019-08-06 cs.CR cs.LG
Privacy Preserving Federated Learning in Medical Imaging with Uncertainty Estimation
Moffitt Cancer Center(莫菲特癌症中心);University of South Florida(南佛罗里达大学);Rowan University(罗文大学)
本文针对医学影像领域数据隐私顾虑、噪声干扰及联邦学习中数据异质性带来的不确定性估计难题,全面综述相关研究进展,指出领域空白并提出未来研究方向。
2024-06-18 cs.AI cs.DC cs.LG
Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning
University of Glasgow(格拉斯哥大学);King’s College London(伦敦国王学院);Rice University(莱斯大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出LR-BPFL方法,通过全局确定性模型加个性化低秩贝叶斯修正和自适应秩选择机制,在个性化联邦学习中提升模型校准性与准确性的同时降低计算和内存开销。
2024-10-18 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Laboratories America(美国NEC实验室);Florida International University(佛罗里达国际大学);AWS AI Labs, Amazon(亚马逊AWS人工智能实验室)
个性化联邦学习(PFL)是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行,它已被观察到,现有的PFL方法导致次优的解决方案时,当地客户端之间的联合分布发散。为了解决这个问题,我们提出了联邦模块化网络(FedMN),一种新的PFL方法,自适应地从模块池中选择子模块,为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布,并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担,我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验,在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Energy-Efficient Federated Learning for Edge Real-Time Vision via Joint Data, Computation, and Communication Design
Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学);School of Cyber Science and Technology, Beihang University(网络安全科学与技术学院,北京航空航天大学)
针对边缘实时视觉的节能联邦学习,提出FedDPQ框架,联合优化数据增强、剪枝、量化和功率控制,实现高能效与快速收敛。
2025-08-03 cs.DC cs.LG
Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks
Korea University(高丽大学);Hallym University(翰林大学);University of Utah(犹他大学);University of Oulu(奥卢大学);Deakin University(迪肯大学)
本文旨在整合两种协同技术,联邦学习(FL)和宽度可调的可精简神经网络(SNN)架构。FL通过交换移动设备的本地训练模型来保护数据隐私。通过采用SNN作为局部模型,FL可以灵活地应对移动设备随时间变化的能量容量。然而,组合FL和SNN是不平凡的,特别是在具有时变信道条件的无线连接下。此外,现有的多宽度SNN训练算法是敏感的跨设备的数据分布,所以不适合FL。受此启发,我们提出了一个通信和节能SNN为基础的FL(命名为SlimFL),共同利用叠加编码(SC)的全局模型聚合和叠加训练(ST)更新局部模型。通过应用SC,SlimFL交换对于给定通信吞吐量尽可能多地解码的多个宽度配置的叠加。利用ST,SlimFL对齐不同宽度配置的前向传播,同时避免反向传播期间的宽度间干扰。我们正式证明了SlimFL的收敛性。结果表明,SlimFL不仅是通信效率,但也可以抵消非IID数据分布和恶劣的信道条件,这也证实了仿真。
2021-12-05 cs.DC cs.LG
Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks
Western University(韦仕敦大学)
针对NOMA无线网络中FL通信受限问题,提出基于AoU的客户端选择、资源分配闭式解及服务器端ANN预测方案,以降低每轮耗时并提升学习性能。
2023-06-04 cs.LG cs.NI
Distributionally Robust Federated Learning with Multi-Source Data
Peking University(北京大学);University of Groningen(格罗宁根大学)
针对联邦学习中客户端混合比例未知及客户端内分布模糊问题,提出构建全局模糊集并开发联邦算法,提供样本外性能保证并验证有效性。
2026-09-18 cs.LG math.OC
JSAM: Privacy Straggler-Resilient Joint Client Selection and Incentive Mechanism Design in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong(信息工程系,香港中文大学);School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society(科学与工程学院,深圳人工智能与机器人研究院);The Chinese University of Hong Kong(香港中文大学)
JSAM通过联合优化客户端选择与隐私补偿,提升差分隐私联邦学习的训练效果和效率,实现隐私保护与参与激励的平衡。
2026-02-25 cs.DC cs.GT cs.LG
FedHeN: Federated Learning in Heterogeneous Networks
Boston University(波士顿大学)
我们提出了一个新的训练配方联邦学习与异构网络,其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中,以在联合设置中联合训练不同的架构。我们的经验表明,我们的方法提高了不同架构的性能,并导致高通信节省相比,国家的最先进的方法。
2022-07-07 cs.DC cs.LG