Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.(百度公司)
联邦学习是一种新的分布式学习机制,它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练,而不会共享或泄漏原始数据。根据数据分发的特点,通常可以将其分为三大类:水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中,我们提出了一种解决方案,用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比,第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上,目的是在大容量训练数据的情况下,通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能,实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
FADL:Federated-Autonomous Deep Learning for Distributed Electronic Health Record
Harvard Medical School(哈佛医学院)
电子健康记录(EHR)数据由各个机构收集,通常存储在孤岛中的各个位置。由于安全、隐私、监管和运营问题,访问这些数据既困难又缓慢。我们使用来自58家不同医院的ICU数据表明,预测患者死亡率的机器学习模型可以有效地训练,而无需使用分布式机器学习策略将健康数据移出其孤岛。我们提出了一种新的方法,称为联合自主深度学习(FADL),该方法以分布式方式使用所有数据源训练模型的一部分,并使用来自特定数据源的数据训练其他部分。我们观察到FADL优于传统的联邦学习策略,并得出结论,在设计分布式机器学习方法时,全局和局部训练之间的平衡是需要考虑的重要因素,特别是在医疗保健领域。
2018-12-03 cs.CY cs.LG
A Federated Random Forest Solution for Secure Distributed Machine Learning
IEETA/DETI, LASI University of Aveiro(IEETA/DETI实验室,阿维罗大学)
本文提出基于PySyft的联邦随机森林框架,通过加权平均、增量学习和本地评估,在保护隐私的前提下实现接近集中式精度的分布式树模型训练。
2025-05-12 cs.LG
A Behaviour-Aware Federated Forecasting Framework for Distributed Stand-Alone Wind Turbines
IT University of Copenhagen(哥本哈根技术大学);Technical University of Denmark (DTU)(丹麦技术大学)
本文提出一种基于行为聚类的联邦学习框架,用于提升分布式独立风力涡轮机的短期功率预测精度,通过DRS和Auto-split实现行为感知的群体划分,有效提升预测性能并保护数据隐私。
2026-03-05 cs.LG
Federated Learning Framework via Distributed Mutual Learning
Lakehead University(湖首大学)
本文提出一种基于分布式互学习的联邦学习框架,通过共享损失预测而非模型权重来降低通信开销并保护隐私,在口罩检测任务上取得了优于权重共享方法的准确率和泛化性能。
2025-03-03 cs.AI cs.LG
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University(康奈尔大学);University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出一种基于联邦学习的分布式数据隐私保护框架,通过仅共享模型参数实现安全的跨域数据协作,实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
Fast Convergence through Distributed Augmentation for Class-Imbalanced Federated Learning
Amar Nath and Shashi Khosla School of Information Technology, Indian Institute of Technology Delhi(印度理工学院德里分校 Amar Nath and Shashi Khosla 信息技术学院);Department of Electrical Engineering, Indian Institute of Technology Delhi(印度理工学院德里分校电气工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对联邦学习类不平衡问题,提出DAFL分布式增强框架,通过理论建立增强与收敛关系并联合优化增强量和训练时间,提升少数类F1分数并显著减少训练时间。
2026-10-06 cs.LG
Federated Learning under Distributed Concept Drift
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Apple(苹果公司)
分布式概念漂移下的联邦学习是一个尚未被探索的领域。虽然概念漂移本身是一个很好的研究现象,它提出了特殊的挑战,外语,因为漂移出现交错的时间和空间(跨客户端)。据我们所知,这项工作是第一个明确研究数据异质性的两个维度。我们首先证明,以前的解决方案,漂移适应,使用一个单一的全球模型是不适合交错漂移,需要多个模型的解决方案。我们确定的漂移自适应问题作为一个随时间变化的聚类问题,我们提出了两个新的聚类算法的反应漂移的基础上本地漂移检测和层次聚类。实证评估表明,我们的解决方案实现了显着更高的准确性比现有的基线,并与理想化的算法与甲骨文知识的地面真理聚类的客户端的概念,在每个时间步。
2023-02-28 cs.LG
The Landscape of Modern Machine Learning: A Review of Machine, Distributed and Federated Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文综述现代机器学习与深度学习,概览先进算法、应用及框架,并涵盖并行分布式学习、深度学习和联邦学习,作为该领域入门参考。
2023-12-05 cs.AI cs.DC cs.LG
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur(印度理工学院坎普尔分校);EPFL(洛桑联邦理工学院)
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中,我们表明,数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明,这一目标可以通过利用正确的优化方法来实现,该方法复制了SGD的隐式正则化效果,从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch,因此在使用大型minibatch进行训练时,它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势,我们提出了一种新的GradAlign算法,该算法可以引入相同的隐式正则化,同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
Byzantine-Resilient Federated Learning via Distributed Optimization
Institut Polytechnique de Paris(巴黎综合理工学院);Aalborg University(奥尔堡大学)
本文针对联邦学习中的拜占庭攻击,提出利用PDMM分布式优化的容错共识机制替代传统聚合协议,并在多数据集与多种攻击下验证其更高效用、更快收敛与更强稳定性。
2025-03-13 cs.AI cs.LG
Federated Optimization: Distributed Machine Learning for On-Device Intelligence
University of Edinburgh(爱丁堡大学);Google(谷歌)
我们为机器学习中的分布式优化引入了一个新的且越来越相关的设置,其中定义优化的数据不均匀地分布在大量节点上。目标是训练出高素质的集中型。我们将此设置称为联合优化。在这种情况下,沟通效率是最重要的,最大限度地减少沟通回合数是主要目标。当我们将训练数据本地保存在用户的移动设备上,而不是将其记录到数据中心进行训练时,就会出现一个令人鼓舞的例子。在联邦优化中,设备被用作计算节点,对它们的本地数据执行计算,以便更新全局模型。我们假设网络中有大量的设备--与给定服务的用户数量一样多,每个设备只拥有总可用数据的一小部分。特别是,我们预计本地可用的数据点数量将远远小于设备数量。此外,由于不同的用户生成具有不同模式的数据,因此可以合理假设没有器械具有总体分布的代表性样本。我们表明,现有的算法是不适合这种设置,并提出了一个新的算法,稀疏凸问题,表现出令人鼓舞的实验结果。这项工作也为今后\federated优化方面的研究提供了一条途径。
2016-10-08 cs.LG
Energy-Aware Federated Learning with Distributed User Sampling and Multichannel ALOHA
University of Oulu(奥卢大学);Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
本文针对边缘设备能量受限问题,提出将能量收集设备集成到具有多信道ALOHA的联邦学习网络中,设计方法确保低能量中断概率和任务成功执行,在收敛时间和电池电量上优于基于范数的方案。
2023-09-12 cs.IT cs.LG eess.SP
Federated Learning Algorithms for Generalized Mixed-effects Model (GLMM) on Horizontally Partitioned Data from Distributed Sources
UTHealth(德克萨斯大学休斯顿健康科学中心);University of Pennsylvania(宾夕法尼亚大学);University of Manitoba(曼尼托巴大学)
目的:本文开发了两种算法来实现联邦广义线性混合效应模型(GLMM),并比较了所开发的模型的结果彼此,以及从标准R包(`lme 4 ')。研究方法:GLMM的对数似然函数用两种数值方法(拉普拉斯近似和高斯埃尔米特近似)来近似,支持GLMM的联邦分解,将计算量带到数据上。结果如下:我们开发的方法可以处理GLMM,以适应分层数据与多个非独立的观察水平,在联邦设置。实验结果表明,与模拟和真实世界的数据相当(拉普拉斯)和优越的(高斯-厄米特)性能。结论:我们开发并比较了具有不同近似值的联邦GLP-D,这可以支持研究人员分析生物医学数据,以适应混合效应并解决由于分层结构(即,机构、地区、国家等)。
2022-06-07 cs.LG stat.ML
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning Based on Constant-Overhead Linear Secret Resharing
J.P. Morgan AI Research \& J.P. Morgan AlgoCRYPT CoE, New York, New York, USA
针对分布式差分隐私联邦学习效用不足的问题,提出基于恒定开销线性秘密重分享的分布式矩阵机制DMM,通过新型密码学协议实现兼具高隐私与高效用的联邦学习,实验验证其效用提升显著且开销低。
2025-06-17 cs.CR cs.LG
Semantic-Constrained Federated Aggregation: Convergence Theory and Privacy-Utility Bounds for Knowledge-Enhanced Distributed Learning
Auburn University(亚伯拉罕大学)
本文提出语义约束联邦聚合框架,通过引入领域知识约束提升联邦学习的收敛速度和隐私-效用平衡,实验证明在制造预测维护中显著提高性能。
2025-12-12 cs.LG
Distributed Federated Learning by Alternating Periods of Training
本文提出了一种分布式联邦学习算法,通过客户端和服务器间的交替训练周期,提高系统的可扩展性和容错性。
2026-01-05 cs.LG cs.SY eess.SY
Federated Optimization:Distributed Optimization Beyond the Datacenter
University of Edinburgh(爱丁堡大学);Google, Inc.(谷歌公司)
我们为机器学习中的分布式优化引入了一种新的且日益相关的设置,其中定义优化的数据(不均匀地)分布在大量\nodes上,但目标仍然是训练高质量的集中式模型。我们将此设置称为联合优化。在这种情况下,沟通效率至关重要。当我们将训练数据本地保存在用户的移动设备上,而不是将其记录到数据中心进行训练时,就会出现联邦优化的一个激励示例。相反,移动设备被用作对其本地数据执行计算的节点,以便更新全局模型。我们假设我们的网络中有大量的设备,每个设备只有一小部分数据可用;特别是,我们期望本地可用的数据点的数量远远小于设备的数量。此外,由于不同的用户生成具有不同模式的数据,因此我们假设没有设备具有总体分布的代表性样本。我们表明,现有的算法是不适合这种设置,并提出了一个新的算法,表现出令人鼓舞的实验结果。这项工作也为联邦优化背景下所需的未来研究奠定了基础。
2015-11-11 cs.LG math.OC
Towards Energy Efficient Distributed Federated Learning for 6G Networks
University of Sindh, Jamshoro(信德大学);Korea Polytechnic University(韩国理工大学);University of Johannesburg(约翰内斯堡大学);University of Bologna(博洛尼亚大学)
通过便携式和移动设备(如空中基站)提供通信服务是5G/6 G网络中要实现的关键概念。传统上,物联网/边缘设备需要将数据直接传输到基站,以便使用机器学习技术训练模型。数据传输引入了可能导致安全问题和金钱损失的隐私问题。最近,联邦学习被提出来通过与基站的模型共享来部分地解决隐私问题。然而,联邦学习的集中式本质仅允许基站附近的设备共享训练模型。此外,长距离通信迫使设备增加传输功率,这引起了能量效率问题。在这项工作中,我们提出了分布式联邦学习(DBFL)框架,克服了连接和能源效率的问题,为远程设备。DBFL框架与移动边缘计算架构兼容,该架构使用集群协议以分布式方式连接设备。实验结果表明,与传统的联邦学习相比,该框架在降低能耗的同时,分类性能提高了7.4%.
2022-01-19 cs.DC cs.LG cs.NI
Classifier Clustering and Feature Alignment for Federated Learning under Distributed Concept Drift
Beijing Institute of Technology(北京理工大学)
针对数据异构与分布式概念漂移问题,本文提出 FedCCFA 框架,通过类别级分类器聚类、特征锚点生成及基于标签熵的自适应特征对齐提升联邦学习性能。
2024-10-24 cs.LG
Federated Concept-Based Models: Interpretable models with distributed supervision
Università della Svizzera italiana(瑞士联邦理工学院);University of Liechtenstein(利亨斯坦大学);Politecnico di Torino(都灵理工大学);IBM Research Zurich(IBM 苏黎世研究实验室)
本文提出联邦概念模型(F-CMs),在动态联邦学习环境中实现概念可解释性,通过聚合跨机构的概念信息并适应概念监督变化,提升模型准确性和可解释性。
2026-11-05 cs.LG
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而,这些数据集专注于检测可能存在的疾病标签的子集,从而使它们具有部分标签的分布式和非iid。最近的文献表明,由于与带有部分标签的非iid数据相关的域偏移,批量归一化层对联邦学习收敛的影响。为此,我们提出了FedFBN,这是一个联邦学习框架,它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层,从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集,使用当前FL策略评估FedFBN。我们的研究结果表明,FedFBN优于当前的聚合策略,用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech(康奈尔理工学院);Google(谷歌)
我们设计了一种可扩展的算法,可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私,同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标,我们重新分布式差分隐私的基础上,最近的结果在安全多方计算,我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明,这种方法成功地从数百万用户样本中生成了大都市规模的热图,最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中,目标是优化在分布式设备上定义的全局训练目标,其中每个设备处的数据碎片从可能不同的分布(也称为,异质或非i.i.d.数据样本)。在本文中,我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化,解决非凸优化问题的联邦学习。虽然缺乏研究的有效性,本地SGD在减少通信轮数在同质设置,其收敛性和通信复杂性在异构设置主要是通过经验证明,缺乏通过理论的理解。为了弥补这一差距,我们证明,通过适当地分析无偏梯度和抽样模式在联邦设置的效果,在温和的假设下,局部分布式方法的隐式方差减少功能推广到异构数据分片,并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下(强凸性的推广)。我们的理论结果补充了最近的实证研究,证明了本地GD/SGD的适用性,联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知,所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
The Cost of Training Machine Learning Models over Distributed Data Sources
Centre Tecnològic de Telecomunicacions de Catalunya(加泰罗尼亚电信技术中心);Nokia Bell-Labs(诺基亚贝尔实验室)
联邦学习是标准集中式学习范式最有吸引力的替代方案之一,它允许一组异构设备在不共享原始数据的情况下训练机器学习模型。然而,它需要一个中央服务器来协调学习过程,从而引入了潜在的可扩展性和安全问题。在文献中,已经提出了无服务器的联邦学习方法,如八卦联邦学习和支持区块链的联邦学习,以缓解这些问题。在这项工作中,我们提出了一个完整的概述,这三种技术提出了一个比较,根据一组完整的性能指标,包括模型的准确性,时间复杂度,通信开销,收敛时间和能源消耗。一个广泛的模拟活动允许绘制一个定量分析,同时考虑前馈和卷积神经网络模型。结果表明,gossip联邦学习和标准联邦解决方案能够达到相似的精度水平,其能耗受所采用的机器学习模型、软件库和所使用的硬件的影响。因此,支持区块链的联邦学习代表了一种可行的解决方案,可以实现更高安全级别的分散学习,但代价是额外的能源使用和数据共享。最后,我们确定了两个分散的联邦学习实现的开放问题,并提供了在这个新的研究领域的潜在扩展和可能的研究方向的见解。
2023-02-28 cs.LG
Certifiably-Robust Federated Adversarial Learning via Randomized Smoothing
University of Utah(犹他大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对联邦学习易受对抗攻击且缺乏可认证保证的问题,本文将随机化平滑引入联邦对抗训练,在分布式隐私设置下获得与集中式训练相当的 ℓ2 可认证鲁棒性,并使训练速度提升 2–3 倍。
2021-03-30 cs.LG
FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks
KITE, University Health Network(KITE,大学健康网络)
联邦学习(FL)和分裂学习(SL)是保护隐私的机器学习(ML)技术,能够在客户端之间分布的数据上训练ML模型,而无需直接存取原始数据。现有的FL和SL方法在水平或垂直分区的数据上工作,并且不能处理顺序分区的数据,其中多段顺序数据的段跨客户端分布。在本文中,我们提出了一种新的联邦分裂学习框架,FedSL,训练模型的分布式序列数据。在序列数据上进行训练的最常见ML模型是循环神经网络(RNN)。由于所提出的框架是隐私保护的,多段顺序数据的段不能在客户端之间或客户端和服务器之间共享。为了规避这一限制,我们提出了一种为RNN量身定制的新SL方法。RNN被分成子网络,每个子网络在一个包含多段训练序列的单个段的客户端上训练。在本地训练期间,不同客户端上的子网络彼此通信以捕获不同客户端上的多段顺序数据的连续段之间的潜在依赖性,但不共享原始数据或完整的模型参数。在使用本地顺序数据段训练本地子网络之后,所有客户端将其子网络发送到联邦服务器,在那里子网络被聚合以生成全局模型。在模拟和真实数据集上的实验结果表明,该方法成功地在分布式序列数据上训练模型,同时保护隐私,并且在以更少的通信轮次实现更高的准确性方面优于以前的FL和集中式学习方法。
2022-11-07 cs.DC cs.LG
Stochastic, Distributed and Federated Optimization for Machine Learning
University of Edinburgh(爱丁堡大学)
我们研究了在机器学习应用中经常出现的有限和问题的优化算法。首先,我们提出了新的变种随机梯度下降的方差减少属性,使强凸目标的线性收敛。其次,我们研究分布式设置,其中描述优化问题的数据不适合单个计算节点。在这种情况下,传统的方法是低效的,因为分布式优化中固有的通信成本成为瓶颈。我们提出了一个有效的沟通框架,迭代地形成局部子问题,可以用任意的局部优化算法来解决。最后,我们介绍了联邦优化/学习的概念,在这里我们试图解决机器学习问题,而不需要以任何集中的方式存储数据。在处理用户生成的数据时,主要动机来自行业。目前普遍的做法是公司收集大量的用户数据并将其存储在数据中心。我们提出的一种替代方案是不首先收集数据,而是偶尔使用用户设备的计算能力来解决相同的优化问题,同时减轻隐私问题。在这种情况下,最小化的通信回合是主要目标,我们证明,在这种情况下解决优化问题是概念上容易处理的。
2017-07-04 cs.LG
Accelerating Fair Federated Learning: Adaptive Federated Adam
Uppsala University(乌普萨拉大学)
联邦学习是一种分布式和隐私保护的方法,用于从不同方的分散数据协作地训练统计模型。然而,当参与者的数据集不是独立和同分布的(非IID)时,由朴素联邦算法训练的模型可能偏向于某些参与者,并且参与者之间的模型性能是不均匀的。这被称为联邦学习中的公平性问题。在本文中,我们制定公平控制的联邦学习作为一个动态的多目标优化问题,以确保所有参与者的公平性能。为了有效地解决这一问题,本文研究了Adam作为联邦学习服务器优化器的收敛性和偏差,提出了自适应联邦Adam(AdaFedAdam)算法,在减轻偏差的同时加速公平的联邦学习。我们验证了AdaFedAdam的有效性,Pareto最优性和鲁棒性的数值实验,并表明AdaFedAdam优于现有的算法,提供更好的收敛性和公平性的联邦计划。
2023-01-23 cs.DC cs.LG
Privacy-Preserving Federated Learning Framework for Distributed Chemical Process Optimization
School of Information, Computer, and Communication Technology(信息、计算机与通信技术学院);Sirindhorn International Institute of Technology, Thammasat University(素拉雅国际技术学院,泰国泰玛萨特大学)
本文提出一种保护隐私的联邦学习框架,用于分布式化学过程优化,通过在多个地理位置分离的工厂本地训练神经网络过程模型,并仅传输模型参数以实现跨工厂的知识共享,同时保持数据本地性和工业保密性。
2026-04-28 cs.AI cs.LG cs.SY
Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)
Maastricht University(马斯特里赫特大学)
联邦学习(FL)是一种设置,其中具有分布式数据的多方协作训练联合机器学习(ML)模型,同时将所有数据保持在各方的本地。联邦聚类是FL中的一个研究领域,它关注的是将全局相似的数据分组在一起,同时保持所有数据的本地性。我们描述了这个研究领域本身是如何引起人们的兴趣的,或者它如何帮助解决非独立同一分布(i.i.d.)等问题。在监督FL框架中的数据。这项工作的重点,但是,是一个扩展的联邦模糊$c$ -手段算法的FL设置(FFCM),对联邦聚类的贡献。我们提出了两种方法来计算全球聚类中心,并通过具有挑战性的数值实验来评估其行为。我们观察到,即使在具有挑战性的情况下,其中一种方法也能够识别出良好的全球集群,但也承认许多挑战仍然存在。
2022-01-18 cs.LG
Fine-grained Distributed Backdoor Attacks in Federated Learning
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);Faculty of Cyberspace Security, Guangzhou University of Software(广州软件学院网络空间安全学院);School of Engineering and Technology, Central Queensland University(中央昆士兰大学工程与技术学院)
针对联邦学习中的分布式后门攻击,提出细粒度框架FDBA,利用动态触发器和嵌入向量对比学习,以更少中毒样本提升攻击成功率并绕过防御。
2026-09-09 cs.LG
Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning
University of Tokyo(东京大学)
隐私敏感数据存储在自动驾驶汽车、智能设备或传感器节点中,这些设备可以四处移动,并相互进行机会性接触。在许多研究中,这些节点之间的联邦主要是在具有集中式机制的联邦学习的背景下讨论的。然而,由于多供应商问题,这些节点不希望为此目的依赖于由第三方运营的特定服务器。在本文中,我们提出了一个无线ad hoc联邦学习(WAFL)-一个完全分布式的合作机器学习组织的节点物理附近。WAFL可以从存储在本地分布式节点中的非IID数据集开发通用模型,通过机会性节点到节点接触来交换和聚合它们。在我们对各种机会网络进行的基于基准的评估中,WAFL的准确率为94.8-96.3%,高于自我训练的84.7%。我们的所有评估结果表明,WAFL可以训练和收敛的模型参数从高度分区的非IID数据集在机会网络没有任何集中的机制。
2022-10-07 cs.AI cs.LG cs.NI
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
A Fair and Efficient Hybrid Federated Learning Framework based on XGBoost for Distributed Power Prediction
Tsinghua-Berkeley Shenzhen Institute, Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院清华-伯克利深圳学院);Tsinghua University(清华大学)
在现代电力系统中,关于发电/消耗及其相关特征的实时数据存储在各个分布式方中,包括家用电表、Transformer站和外部组织。为了充分利用这些分布式数据的潜在模式进行准确的功率预测,需要联邦学习作为一种协作但保护隐私的训练方案。然而,当前的联邦学习框架倾向于解决数据的水平或垂直分离,并且倾向于忽略两者都存在的情况。此外,在主流的水平联邦学习框架中,仅采用人工神经网络来学习数据模式,与表格数据集上的基于树的模型相比,这被认为是不太准确和可解释的。为此,我们提出了一种基于XGBoost的混合联邦学习框架,用于从实时外部特征进行分布式功率预测。除了引入提升树以提高准确性和可解释性外,我们还结合了水平和垂直联邦学习,以解决特征分散在局部异构方和样本分散在各个局部区域的情况。此外,我们设计了一个动态的任务分配方案,使每一方都能公平地分享信息,并且可以充分利用每一方的计算能力来提高训练效率。一个后续的案例研究,以证明采用拟议的框架的必要性。该框架在公平性、效率和准确性方面的优势也得到了证实。
2022-01-08 cs.AI cs.LG cs.SY
Federated Multi-Task Learning
Stanford(斯坦福大学);USC(南加利福尼亚大学);CMU(卡内基梅隆大学)
联邦学习在设备的分布式网络上训练机器学习模型时提出了新的统计和系统挑战。在这项工作中,我们证明了多任务学习自然适合处理这种设置的统计挑战,并提出了一种新的系统感知优化方法,MOCHA,对实际系统问题具有鲁棒性。我们的方法和理论第一次考虑分布式多任务学习的高通信成本,掉队者,和容错的问题。由此产生的方法实现了显着的加速比替代品在联邦设置,我们通过模拟真实世界的联邦数据集。
2018-02-27 cs.LG stat.ML
CAFE: Carbon-Aware Federated Learning in Geographically Distributed Data Centers
University of Miami(迈阿密大学);University of California, Riverside(加州大学河滨分校)
针对地理分布式数据中心训练AI模型的高碳足迹问题,提出碳感知联邦学习框架CAFE,在固定碳预算内优化学习性能,并通过真实数据模拟验证其优越性。
2024-02-06 cs.DC cs.LG
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University(普渡大学);NC State University(北卡罗来纳州立大学)
机器学习(ML)任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术,通过利用收集数据的节点的处理能力,在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战,这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题,我们提倡一种称为雾学习的新学习范式,它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习:网络、异构性和邻近性。它认为是一个多层混合学习框架,包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构,通过设备到设备(D2 D)通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Differentially Private Federated Bayesian Optimization with Distributed Exploration
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
最近,贝叶斯优化(BO)被联邦汤普森采样(FTS)算法扩展到联邦学习(FL)设置,它有很好的应用,如联邦超参数调整。然而,FTS没有配备一个严格的隐私保证,这是一个重要的考虑因素,在FL。最近的作品已纳入差分隐私(DP)到训练的深度神经网络通过一个通用的框架添加DP迭代算法。遵循这个通用DP框架,我们在这里的工作将DP集成到FTS中,以保护用户级隐私。我们还利用这个通用DP框架处理不同参数向量的能力,以及BO的本地建模技术,通过分布式探索(DE)进一步提高我们算法的实用性。由此产生的差分隐私FTS与DE(DP-FTS-DE)算法被赋予的隐私和效用的理论保证,并服从有趣的理论见解的隐私效用权衡。我们还使用真实世界的实验表明,DP-FTS-DE实现高效用(竞争性能),具有很强的隐私保证(小的隐私损失),并诱导隐私和效用之间的权衡。
2021-10-27 cs.CR cs.LG
Federated t-SNE and UMAP for Distributed Data Visualization
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出 Fed-tSNE 和 Fed-UMAP 等联邦学习算法,通过隐式学习数据分布并估计全局距离矩阵实现隐私保护的分布式高维数据可视化,并扩展至联邦谱聚类,理论与实验均证明其精度损失极小。
2024-12-18 cs.AI cs.LG
Multi-Resource Allocation for On-Device Distributed Federated Learning Systems
University of Electronic Science and Technology of China(电子科技大学);Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出了一种分布式多资源分配方案,用于最小化设备上分布式联邦学习(FL)系统的延迟和能耗的加权和。系统中的每个移动终端在指定区域内参与模型训练过程,并分配其计算和通信资源分别用于导出和上传参数,以使系统的目标最小化,该目标受制于计算/通信预算和目标延迟要求。特别地,移动设备经由无线TCP/IP架构连接。利用优化问题的结构,将问题分解为两个凸子问题。利用拉格朗日对偶和和声搜索技术,我们通过所有子问题的封闭形式的解来表征全局最优解,从而为多资源权衡提供定性的见解。数值模拟被用来验证分析和评估所提出的算法的性能。
2022-11-01 cs.LG cs.SY eess.SY
DBA-DFL: Towards Distributed Backdoor Attacks with Network Detection in Decentralized Federated Learning
Carnegie Mellon University(卡内基梅隆大学);University of Tulsa(塔尔萨大学);Clemson University(克莱姆斯大学)
本文针对去中心化联邦学习提出DBA-DFL方法,通过网络距离检测、攻击者分簇和动态局部模式嵌入,实现不依赖攻击者位置分布的高成功率分布式后门攻击。
2025-07-04 cs.LG
Clustered Federated Learning: Model-Agnostic Distributed Multi-Task Optimization under Privacy Constraints
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习(FL)是目前最广泛采用的用于在隐私约束下协作训练(深度)机器学习模型的框架。尽管联邦学习很受欢迎,但据观察,如果本地客户端的数据分布出现分歧,它会产生次优结果。为了解决这个问题,我们提出了一种新的联邦多任务学习(FMTL)框架,即分布式联邦学习(CFL),它利用FL损失表面的几何特性,将客户端群体分组为具有联合可训练数据分布的集群。与现有的FMTL方法相比,CFL不需要对FL通信协议进行任何修改,适用于一般的非凸目标(特别是深度神经网络),并且具有对聚类质量的强数学保证。CFL足够灵活,可以处理随时间变化的客户端人群,并且可以以隐私保护的方式实现。由于只有在联邦学习收敛到一个固定点后才执行聚类,因此CFL可以被视为一种后处理方法,通过允许客户端到达更专业的模型,它始终可以实现比传统FL更高或相等的性能。我们在常用的联邦学习数据集上使用深度卷积和递归神经网络进行实验,验证了我们的理论分析。
2019-10-04 cs.DC cs.LG stat.ML
Federated Learning on Non-IID Data: A Survey
University of Surrey(萨里大学)
联邦学习是一种新兴的分布式机器学习框架,用于隐私保护。然而,在联邦学习中训练的模型通常比在标准集中式学习模式中训练的模型具有更差的性能,特别是当训练数据在本地设备上不是独立同分布(非IID)时。在本调查中,我们详细分析了非IID数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响。此外,还对联邦学习中非IID数据挑战的研究现状进行了综述,并对各种方法的优缺点进行了讨论。最后,在总结全文之前,我们提出了几个未来的研究方向。
2021-06-12 cs.DC cs.LG
FederatedFactory: Generative One-Shot Learning for Extremely Non-IID Distributed Scenarios
Honda Research Institute Europe(本田欧洲研究院);University of Milan-Bicocca(米兰-比科卡大学);Bielefeld University(比勒菲尔德大学);Cold Spring Harbor Laboratory(冷泉港实验室)
FederatedFactory通过生成式先验倒置联邦单位,实现无冲突的分布式学习,提升医疗影像基准测试性能,恢复中央上限表现,且支持模块化反向学习。
2026-03-17 cs.AI cs.LG
FedAR: Activity and Resource-Aware Federated Learning Model for Distributed Mobile Robots
Florida International University(佛罗里达国际大学)
智能手机、自动驾驶汽车和物联网(IoT)设备被认为是分布式网络的主要数据源。由于互联网可用性的革命性突破和物联网设备功能的不断改进,人们希望在本地存储数据并在边缘执行计算,而不是与集中式计算代理共享所有本地信息。最近提出的一种称为联邦学习(FL)的机器学习(ML)算法为保护数据隐私、执行分布式学习和减少大规模机器学习(ML)问题中的通信开销铺平了道路。本文提出了一种FL模型,通过监控客户端活动并利用可用的本地计算资源,特别是对于资源受限的物联网设备(例如,移动机器人),以加速学习过程。我们为每个FL客户分配一个信任分数,该分数会根据客户的活动进行更新。我们认为分布式移动机器人作为FL客户端的资源限制,无论是在内存,带宽,处理器,或电池寿命。我们认为这样的移动机器人FL客户端了解他们的资源受限的行为在现实世界中的设置。如果FL客户端在FL过程中注入了不正确的模型或反复给出缓慢的响应,我们认为FL客户端是不值得信赖的。在忽略无效和不可靠的客户端后,我们对选定的FL客户端进行本地培训。为了进一步减少掉队的问题,我们启用了异步FL机制,在FL服务器上执行聚合,而无需等待很长一段时间来接收特定客户端的响应。
2021-01-11 cs.LG
FedCore: Straggler-Free Federated Learning with Distributed Coresets
IBM Research(IBM研究院)
针对联邦学习中的慢速客户端掉队者问题,提出分布式核心集算法FedCore,将核心集优化转化为k中心点聚类在各客户端本地执行,在保证隐私与模型精度的前提下将训练时间缩短8倍,且适配现有联邦学习框架。
2024-01-31 cs.AI cs.DC cs.LG
A Personalized Federated Learning Algorithm: an Application in Anomaly Detection
联邦学习(FL)最近已经成为一种很有前途的方法,其采用分布式学习模型结构来克服由中央机器学习模型暂停的数据隐私和传输问题。在FL中,从不同设备或传感器收集的数据集用于训练本地模型(客户端),每个本地模型与集中式模型(服务器)共享其学习。然而,这种分布式学习方法带来了独特的学习挑战,因为本地客户端使用的数据可能是非IID(独立和相同分布)和统计上的差异,这会降低中心模型的学习准确性。在本文中,我们克服了这个问题,提出了一种新的个性化的条件FedAvg(PC-FedAvg),其目的是控制权通信和聚合与量身定制的学习算法增强个性化的结果模型在每个客户端。我们在两个数据集上的实验验证表明,我们的PC-FedAvg精确地构建了广义客户端模型,因此与其他最先进的方法相比,具有更高的准确性。
2021-11-04 cs.LG
Understanding A Class of Decentralized and Federated Optimization Algorithms: A Multi-Rate Feedback Control Perspective
University of Minnesota(明尼苏达大学)
分布式算法在诸如机器学习、信号处理和控制等许多应用中发挥着越来越重要的作用。大量的研究工作致力于开发和分析各种应用的新算法。在这项工作中,我们提供了一个新的视角来理解,分析和设计分布式优化算法。通过镜头的多速率反馈控制,我们表明,广泛的分布式算法,包括流行的分散/联邦计划,可以被视为离散化的某个连续时间反馈控制系统,可能有多个采样率,如分散梯度下降,梯度跟踪,联邦平均。这个关键的观察不仅使我们能够开发一个通用的框架来分析整个算法类的收敛性。更重要的是,它还带来了一种设计新的分布式算法的有趣方式。我们开发了我们的框架背后的理论,并提供了一些例子来强调如何在实践中使用该框架。
2022-11-02 cs.LG cs.SY eess.SY
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率,通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research(谷歌研究院)
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私,我们添加了设备上的噪声,并使用安全聚合,以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统,它适当地离散化数据,并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响,数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明,我们的解决方案基本上是能够匹配的准确性,中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
Optimal Gradient Compression for Distributed and Federated Learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在分布式和联邦学习中的计算节点之间传递信息(如梯度向量)通常是不可避免的负担,从而导致可伸缩性问题。事实上,沟通可能会很慢,而且成本很高。通信高效训练算法的最新进展已经通过使用压缩技术以稀疏化、量化或低秩近似的形式减少了这个瓶颈。由于压缩是一个有损的或不精确的过程,迭代复杂性通常会恶化;但总的通信复杂性可以显著改善,可能导致大量的计算时间节省。在本文中,我们调查的基本平衡之间的比特数需要编码压缩矢量和压缩误差。我们执行最坏情况和平均情况下的分析,提供严格的下限。在最坏情况下的分析,我们引入了一个有效的压缩算子,稀疏抖动,这是非常接近的下限。在平均情况分析中,我们设计了一个简单的压缩运算符Spherical Compression,它自然达到了下界。因此,我们的新的压缩方案显着优于国家的最先进的。我们进行数值实验来说明这种改进。
2020-10-07 cs.LG math.OC
EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning
VMware Research(威睿研究院);University College London(伦敦大学学院);Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
分布式均值估计(DME)是联邦学习中的核心构建块,其中客户端将局部梯度发送到参数服务器以平均和更新模型。由于通信约束,客户端经常使用有损压缩技术来压缩梯度,从而导致估计不准确。当客户端具有不同的网络条件时,DME更具挑战性,例如通信预算受限和数据包丢失。在这样的设置中,DME技术往往会导致估计误差的显著增加,从而导致学习性能下降。在这项工作中,我们提出了一个强大的DME技术命名为EDEN,自然处理异构通信预算和数据包丢失。我们得出有吸引力的理论保证EDEN和经验评估。我们的研究结果表明,EDEN一贯改善国家的最先进的DME技术。
2022-06-15 cs.AI cs.DS cs.LG
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
MIPT(莫斯科物理技术学院);ISP RAS(俄罗斯科学院信息学问题研究所);Innopolis University(因诺波利斯大学)
针对分布式与联邦学习的通信和隐私问题,提出结合 Hessian 相似性、同质梯度及客户端采样的加速随机额外梯度方法,并通过加噪分析收敛,实验验证理论。
2024-09-22 cs.LG math.OC