Towards a Distributed Federated Learning Aggregation Placement using Particle Swarm Intelligence
ÉTS Montréal / Université du Québec（蒙特利尔ÉTS/魁北克大学）；Islamic Azad University of Bojnord（伊斯兰Azad大学波尼尔分校）
针对分层半去中心化联邦学习中的分布式聚合放置问题，提出基于粒子群优化的Flag-Swap方法，仅依据处理延迟优化放置，仿真与真实实验表明其性能优于随机和均匀放置策略。
2025-04-22 cs.DC cs.LG cs.NE
FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks
KITE, University Health Network（KITE，大学健康网络）
联邦学习（FL）和分裂学习（SL）是保护隐私的机器学习（ML）技术，能够在客户端之间分布的数据上训练ML模型，而无需直接存取原始数据。现有的FL和SL方法在水平或垂直分区的数据上工作，并且不能处理顺序分区的数据，其中多段顺序数据的段跨客户端分布。在本文中，我们提出了一种新的联邦分裂学习框架，FedSL，训练模型的分布式序列数据。在序列数据上进行训练的最常见ML模型是循环神经网络（RNN）。由于所提出的框架是隐私保护的，多段顺序数据的段不能在客户端之间或客户端和服务器之间共享。为了规避这一限制，我们提出了一种为RNN量身定制的新SL方法。RNN被分成子网络，每个子网络在一个包含多段训练序列的单个段的客户端上训练。在本地训练期间，不同客户端上的子网络彼此通信以捕获不同客户端上的多段顺序数据的连续段之间的潜在依赖性，但不共享原始数据或完整的模型参数。在使用本地顺序数据段训练本地子网络之后，所有客户端将其子网络发送到联邦服务器，在那里子网络被聚合以生成全局模型。在模拟和真实数据集上的实验结果表明，该方法成功地在分布式序列数据上训练模型，同时保护隐私，并且在以更少的通信轮次实现更高的准确性方面优于以前的FL和集中式学习方法。
2022-11-07 cs.DC cs.LG
Accelerating Fair Federated Learning: Adaptive Federated Adam
Uppsala University（乌普萨拉大学）
联邦学习是一种分布式和隐私保护的方法，用于从不同方的分散数据协作地训练统计模型。然而，当参与者的数据集不是独立和同分布的（非IID）时，由朴素联邦算法训练的模型可能偏向于某些参与者，并且参与者之间的模型性能是不均匀的。这被称为联邦学习中的公平性问题。在本文中，我们制定公平控制的联邦学习作为一个动态的多目标优化问题，以确保所有参与者的公平性能。为了有效地解决这一问题，本文研究了Adam作为联邦学习服务器优化器的收敛性和偏差，提出了自适应联邦Adam（AdaFedAdam）算法，在减轻偏差的同时加速公平的联邦学习。我们验证了AdaFedAdam的有效性，Pareto最优性和鲁棒性的数值实验，并表明AdaFedAdam优于现有的算法，提供更好的收敛性和公平性的联邦计划。
2023-01-23 cs.DC cs.LG
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
Korea Advanced Institute of Science and Technology（韩国科学技术院）；King’s College London（伦敦国王学院）
用于分布式机器学习的协作训练方法通常假设无噪声和理想的通信信道。这项工作研究了无线通信链路的存在所带来的机遇和挑战。我们特别考虑无线实现的联邦学习（FL）和联邦蒸馏（FD），以及一种新的混合联邦蒸馏（HFD）计划。这两个数字实现的基础上单独的源信道编码和空中计算实现的基础上联合源信道编码提出和评估高斯多址信道。
2019-07-05 cs.IT cs.LG math.IT
CAFE: Carbon-Aware Federated Learning in Geographically Distributed Data Centers
University of Miami（迈阿密大学）；University of California, Riverside（加州大学河滨分校）
针对地理分布式数据中心训练AI模型的高碳足迹问题，提出碳感知联邦学习框架CAFE，在固定碳预算内优化学习性能，并通过真实数据模拟验证其优越性。
2024-02-06 cs.DC cs.LG
Federated Learning for Distributed CNC Tool Wear Prediction
Maastricht University（马斯特里赫特大学）
本文针对分布式CNC加工中数据分布与共享限制的问题，采用联邦学习框架训练刀具磨损预测模型，其性能接近集中式学习且显著优于本地模型，为分布式CNC制造提供了协作式预测方案。
2026-09-24 cs.AI cs.LG
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Federated Learning on Non-IID Data: A Survey
University of Surrey（萨里大学）
联邦学习是一种新兴的分布式机器学习框架，用于隐私保护。然而，在联邦学习中训练的模型通常比在标准集中式学习模式中训练的模型具有更差的性能，特别是当训练数据在本地设备上不是独立同分布（非IID）时。在本调查中，我们详细分析了非IID数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响。此外，还对联邦学习中非IID数据挑战的研究现状进行了综述，并对各种方法的优缺点进行了讨论。最后，在总结全文之前，我们提出了几个未来的研究方向。
2021-06-12 cs.DC cs.LG
Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning
University of Tokyo（东京大学）
隐私敏感数据存储在自动驾驶汽车、智能设备或传感器节点中，这些设备可以四处移动，并相互进行机会性接触。在许多研究中，这些节点之间的联邦主要是在具有集中式机制的联邦学习的背景下讨论的。然而，由于多供应商问题，这些节点不希望为此目的依赖于由第三方运营的特定服务器。在本文中，我们提出了一个无线ad hoc联邦学习（WAFL）-一个完全分布式的合作机器学习组织的节点物理附近。WAFL可以从存储在本地分布式节点中的非IID数据集开发通用模型，通过机会性节点到节点接触来交换和聚合它们。在我们对各种机会网络进行的基于基准的评估中，WAFL的准确率为94.8-96.3%，高于自我训练的84.7%。我们的所有评估结果表明，WAFL可以训练和收敛的模型参数从高度分区的非IID数据集在机会网络没有任何集中的机制。
2022-10-07 cs.AI cs.LG cs.NI
Distributed client selection with multi-objective in federated learning assisted Internet of Vehicles
Inner Mongolia University of Finance and Economics（内蒙古财经大学）
本文提出一种基于模糊逻辑的分布式客户端选择方案，通过综合评估样本数量、可用吞吐量、计算能力和本地数据集质量，在邻居中选出最优客户端，有效降低了车联网联邦学习中维持活跃状态的成本，并在准确率上接近集中式选择，显著减少通信开销。
2024-01-06 cs.DC cs.LG
Clustered Federated Learning: Model-Agnostic Distributed Multi-Task Optimization under Privacy Constraints
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
联邦学习（FL）是目前最广泛采用的用于在隐私约束下协作训练（深度）机器学习模型的框架。尽管联邦学习很受欢迎，但据观察，如果本地客户端的数据分布出现分歧，它会产生次优结果。为了解决这个问题，我们提出了一种新的联邦多任务学习（FMTL）框架，即分布式联邦学习（CFL），它利用FL损失表面的几何特性，将客户端群体分组为具有联合可训练数据分布的集群。与现有的FMTL方法相比，CFL不需要对FL通信协议进行任何修改，适用于一般的非凸目标（特别是深度神经网络），并且具有对聚类质量的强数学保证。CFL足够灵活，可以处理随时间变化的客户端人群，并且可以以隐私保护的方式实现。由于只有在联邦学习收敛到一个固定点后才执行聚类，因此CFL可以被视为一种后处理方法，通过允许客户端到达更专业的模型，它始终可以实现比传统FL更高或相等的性能。我们在常用的联邦学习数据集上使用深度卷积和递归神经网络进行实验，验证了我们的理论分析。
2019-10-04 cs.DC cs.LG stat.ML
PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model
The Hong Kong Polytechnic University（香港理工大学）
有效分布参数的快速全局聚集是联邦学习（FL）的关键，它需要足够的参数通信带宽和足够的用户数据用于局部训练。否则，FL可能会花费过多的训练时间用于收敛并产生不准确的模型。在本文中，我们提出了一个全新的FL框架，EFL，用联邦提示训练代替联邦模型训练，即，让联邦参与者训练提示而不是共享模型，通过以分布式方式利用基础模型（FM）的能力，同时实现有效的全局聚合和对不足数据的局部训练。AlternatFL提供现成的FM，即，CLIP是一种分布式客户机，它们可以根据很少的本地数据协作地训练共享的软提示。由于BiftFL只需要更新提示而不是整个模型，因此局部训练和全局聚合都可以显着加速。在大规模数据上训练的FM可以通过训练的软提示为分布式用户任务提供强大的适应能力。我们通过大量的实验，实证分析的martFL，并显示其优越性，系统的可行性，用户隐私和性能。
2022-08-24 cs.LG
FedCore: Straggler-Free Federated Learning with Distributed Coresets
IBM Research（IBM研究院）
针对联邦学习中的慢速客户端掉队者问题，提出分布式核心集算法FedCore，将核心集优化转化为k中心点聚类在各客户端本地执行，在保证隐私与模型精度的前提下将训练时间缩短8倍，且适配现有联邦学习框架。
2024-01-31 cs.AI cs.DC cs.LG
FADL:Federated-Autonomous Deep Learning for Distributed Electronic Health Record
Harvard Medical School（哈佛医学院）
电子健康记录（EHR）数据由各个机构收集，通常存储在孤岛中的各个位置。由于安全、隐私、监管和运营问题，访问这些数据既困难又缓慢。我们使用来自58家不同医院的ICU数据表明，预测患者死亡率的机器学习模型可以有效地训练，而无需使用分布式机器学习策略将健康数据移出其孤岛。我们提出了一种新的方法，称为联合自主深度学习（FADL），该方法以分布式方式使用所有数据源训练模型的一部分，并使用来自特定数据源的数据训练其他部分。我们观察到FADL优于传统的联邦学习策略，并得出结论，在设计分布式机器学习方法时，全局和局部训练之间的平衡是需要考虑的重要因素，特别是在医疗保健领域。
2018-12-03 cs.CY cs.LG
Federated Learning for Distributed Spectrum Sensing in NextG Communication Networks
Commonwealth Cyber Initiative, Virginia Tech（弗吉尼亚理工大学联邦网络倡议）；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
NextG网络旨在提供与现任用户共享频谱的灵活性，并支持各种频谱监控任务，例如异常检测，故障诊断，用户设备识别和认证。需要无线传感器网络来监测频谱，以在大的部署区域上进行感兴趣的信号传输。每个传感器根据其位置在特定信道条件下接收信号，并相应地训练深度神经网络（DNN）的个体模型以对信号进行分类。为了提高准确度，各个传感器可以彼此交换感测数据或传感器结果，或者与融合中心交换感测数据或传感器结果（诸如在协作频谱感测中）。在本文中，分布式联邦学习多跳无线网络被认为是集体训练DNN信号识别。在分布式联邦学习中，每个传感器将其训练的模型广播给其邻居，从其邻居收集DNN模型，并将其聚合以初始化自己的模型用于下一轮训练。在不交换任何频谱数据的情况下，这个过程会随着时间的推移而重复，从而在网络上构建一个公共DNN，同时保留与在不同位置收集的信号相关联的隐私。针对不同的网络拓扑结构（包括线、星、环、网格和随机网络）和丢包事件，评估了信号分类精度和收敛时间。然后，考虑减少通信开销和能量消耗的传感器随机参与模型更新。结果表明，通过联邦学习将协作频谱感知扩展到一般多跳无线网络是可行的，并表明其对无线网络影响的鲁棒性，从而在低通信开销和能量消耗的情况下保持高精度。
2022-04-06 cs.LG cs.NI
Holdout SGD: Byzantine Tolerant Federated Learning
The Blavatnik School of Computer Science（布拉瓦尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
针对随机梯度下降（SGD）优化问题，提出了一种新的分布式拜占庭容错联邦学习算法HoldOut SGD。HoldOut SGD以分布式方式使用众所周知的保持估计的机器学习技术，以便选择可能导致具有低损失值的模型的参数更新。这使得它在丢弃拜占庭工人输入方面比消除学习模型参数空间中的离群值的现有方法更有效。HoldOut SGD首先随机选择一组使用其私有数据的工作者，以便提出梯度更新。接下来，随机选择一个由工人组成的投票委员会，每个投票者使用其私人数据作为保留数据，以便通过投票方案选择最佳提案。我们提出了两种可能的机制，在分布式计算的HoldOut SGD工人的协调。第一种使用真实的中央服务器，对应于当前联邦学习的典型设置。第二种是完全分布式的，不需要中央服务器，为完全分散的联邦学习铺平了道路。完全分布式版本通过区块链领域的想法实现HoldOut SGD，特别是Algorand委员会的选择和共识过程。我们为HoldOut SGD流程提供了正式的保证，包括其收敛到最佳模型，以及其对拜占庭工人比例的弹性水平。实证评估表明，HoldOut SGD是拜占庭弹性的，并且只要参与的工人总数很大并且拜占庭工人的比例小于一半（对于完全分布式变体，<1/3），就可以有效地收敛到深度学习任务的有效模型。
2020-08-11 cs.DC cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Federated Learning Framework via Distributed Mutual Learning
Lakehead University（湖首大学）
本文提出一种基于分布式互学习的联邦学习框架，通过共享损失预测而非模型权重来降低通信开销并保护隐私，在口罩检测任务上取得了优于权重共享方法的准确率和泛化性能。
2025-03-03 cs.AI cs.LG
Collaborative Fairness in Federated Learning
National University of Singapore（新加坡国立大学）；Wuhan University（武汉大学）
在当前的深度学习范例中，局部训练或独立框架往往会导致过拟合，从而导致泛化能力差。这个问题可以通过分布式或联邦学习（FL）来解决，它利用参数服务器来聚合来自各个参与者的模型更新。然而，大多数现有的分布式或FL框架都忽略了参与的一个重要方面：协作公平性。特别是，所有参与者都可以获得相同或相似的模型，无论他们的贡献如何。为了解决这个问题，我们研究了FL中的协作公平性，并提出了一种新的协作公平联邦学习（CFFL）框架，该框架利用声誉来强制参与者收敛到不同的模型，从而在不影响预测性能的情况下实现公平性。在基准数据集上的大量实验表明，CFFL实现了高公平性，提供了与分布式框架相当的准确性，并优于独立框架。
2020-08-28 cs.DC cs.LG stat.ML
Federated Learning for Cross-Domain Data Privacy: A Distributed Approach to Secure Collaboration
Cornell University（康奈尔大学）；University of Minnesota（明尼苏达大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出一种基于联邦学习的分布式数据隐私保护框架，通过仅共享模型参数实现安全的跨域数据协作，实验证明其在医疗、金融等多域环境中兼具高模型性能与隐私保护能力。
2025-03-31 cs.CR cs.LG
EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning
VMware Research（威睿研究院）；University College London（伦敦大学学院）；Ben-Gurion University（本-古里安大学）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）
分布式均值估计（DME）是联邦学习中的核心构建块，其中客户端将局部梯度发送到参数服务器以平均和更新模型。由于通信约束，客户端经常使用有损压缩技术来压缩梯度，从而导致估计不准确。当客户端具有不同的网络条件时，DME更具挑战性，例如通信预算受限和数据包丢失。在这样的设置中，DME技术往往会导致估计误差的显著增加，从而导致学习性能下降。在这项工作中，我们提出了一个强大的DME技术命名为EDEN，自然处理异构通信预算和数据包丢失。我们得出有吸引力的理论保证EDEN和经验评估。我们的研究结果表明，EDEN一贯改善国家的最先进的DME技术。
2022-06-15 cs.AI cs.DS cs.LG
Federated Learning over a Wireless Network: Distributed User Selection through Random Access
针对无线网络联邦学习中集中式用户选择复杂度高的问题，提出基于CSMA随机接入、结合模型距离优先级与公平计数机制的分布式用户选择方法，可实现与集中式方案相近的快速收敛效果。
2023-07-07 cs.AI cs.LG cs.NI
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
Delft University of Technology（代尔夫特理工大学）
针对传统单服务器同步联邦学习的服务器空闲与瓶颈问题，提出首个完全异步多服务器联邦学习架构，客户端仅连最近服务器、服务器间异步更新，在多数据集上精度相当或更高，地理分布场景下收敛时间缩短61%。
2024-06-20 cs.DC cs.LG
A Federated Random Forest Solution for Secure Distributed Machine Learning
IEETA/DETI, LASI University of Aveiro（IEETA/DETI实验室，阿维罗大学）
本文提出基于PySyft的联邦随机森林框架，通过加权平均、增量学习和本地评估，在保护隐私的前提下实现接近集中式精度的分布式树模型训练。
2025-05-12 cs.LG
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
A Behaviour-Aware Federated Forecasting Framework for Distributed Stand-Alone Wind Turbines
IT University of Copenhagen（哥本哈根技术大学）；Technical University of Denmark (DTU)（丹麦技术大学）
本文提出一种基于行为聚类的联邦学习框架，用于提升分布式独立风力涡轮机的短期功率预测精度，通过DRS和Auto-split实现行为感知的群体划分，有效提升预测性能并保护数据隐私。
2026-03-05 cs.LG
Opportunities of Federated Learning in Connected, Cooperative and Automated Industrial Systems
Consiglio Nazionale delle Ricerche (CNR)（意大利国家研究委员会）；Politecnico di Milano（米兰理工大学）；University of Oulu（奥卢大学）
下一代自主和网络化工业系统（即，机器人、车辆、无人机）推动了超可靠、低延迟通信（URLLC）和计算的进步。这些网络化的多智能体系统需要快速、通信高效和分布式的机器学习（ML）来提供关键任务控制功能。分布式机器学习技术，包括联邦学习（FL），代表了一个新兴的多学科研究领域，交织在传感，通信和学习。FL使分布式无线系统中的连续模型训练成为可能：FL利用合作融合方法，而不是在集中式服务器上融合原始数据样本，其中通过URLLC连接的网络代理充当分布式学习者，定期交换其本地训练的模型参数。本文探讨了FL为下一代网络化工业系统带来的新机遇。开放的问题进行了讨论，重点是在连接自动驾驶汽车和协作机器人在智能制造中的合作。
2021-01-12 cs.DC cs.LG
Byzantine-Resilient Federated Learning via Distributed Optimization
Institut Polytechnique de Paris（巴黎综合理工学院）；Aalborg University（奥尔堡大学）
本文针对联邦学习中的拜占庭攻击，提出利用PDMM分布式优化的容错共识机制替代传统聚合协议，并在多数据集与多种攻击下验证其更高效用、更快收敛与更强稳定性。
2025-03-13 cs.AI cs.LG
Federated Learning Algorithms for Generalized Mixed-effects Model (GLMM) on Horizontally Partitioned Data from Distributed Sources
UTHealth（德克萨斯大学休斯顿健康科学中心）；University of Pennsylvania（宾夕法尼亚大学）；University of Manitoba（曼尼托巴大学）
目的：本文开发了两种算法来实现联邦广义线性混合效应模型（GLMM），并比较了所开发的模型的结果彼此，以及从标准R包（`lme 4 '）。研究方法：GLMM的对数似然函数用两种数值方法（拉普拉斯近似和高斯埃尔米特近似）来近似，支持GLMM的联邦分解，将计算量带到数据上。结果如下：我们开发的方法可以处理GLMM，以适应分层数据与多个非独立的观察水平，在联邦设置。实验结果表明，与模拟和真实世界的数据相当（拉普拉斯）和优越的（高斯-厄米特）性能。结论：我们开发并比较了具有不同近似值的联邦GLP-D，这可以支持研究人员分析生物医学数据，以适应混合效应并解决由于分层结构（即，机构、地区、国家等）。
2022-06-07 cs.LG stat.ML
Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
HPC-AI Technology Inc.（HPC-AI技术公司）；National University of Singapore（新加坡国立大学）
联邦学习是由谷歌提出的，通过在用户设备上本地训练模型来保护数据隐私。然而，随着深度学习模型的规模不断增长以获得更好的结果，在单个设备上容纳整个模型变得越来越困难。因此，然后使用模型并行来在若干设备之间划分模型权重。通过这种逻辑，目前使用的方法在设备之间均匀分配权重。然而，在现实中，由于不同用户设备的不同计算能力，可能会出现计算瓶颈。为了解决这个问题，需要负载均衡来基于设备的计算能力分配模型权重。在本文中，我们提出了天空计算，一个负载平衡的模型并行框架，自适应地分配权重的设备。当训练具有64个节点的160层BERT时，Sky Computing在训练时间上优于基线方法55%。源代码可以在https://github.com/hpcaitech/SkyComputing上找到。
2022-02-24 cs.AI cs.DC cs.LG
Distributed Federated Learning by Alternating Periods of Training
本文提出了一种分布式联邦学习算法，通过客户端和服务器间的交替训练周期，提高系统的可扩展性和容错性。
2026-01-05 cs.LG cs.SY eess.SY
Evaluation Framework For Large-scale Federated Learning
Zhejiang University（浙江大学）
联邦学习被提出作为机器学习设置，以使分布式边缘设备（如手机）能够协作学习共享的预测模型，同时将所有训练数据保持在设备上，这不仅可以充分利用分布在数百万个节点上的数据来训练良好的模型，而且还可以保护数据隐私。然而，上述情景中的学习提出了新的挑战。事实上，大量不可靠设备上的数据很可能是非IID（相同且独立分布）的，这可能会使联邦学习训练的模型的性能不稳定。在本文中，我们介绍了一个框架设计的大规模联邦学习，其中包括数据集的生成方法和模块化的评估框架。首先，我们构建了一套开源的非IID数据集，提供了三个方面，包括协变量偏移，先验概率偏移，概念偏移，这是在现实世界的假设为基础。此外，我们还设计了包括网络节点数、数据集大小、通信轮数和通信资源等在内的严格的评估指标。最后，我们提出了一个面向大规模联邦学习研究的开源基准。
2020-03-12 cs.DC cs.LG stat.ML
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而，这些数据集专注于检测可能存在的疾病标签的子集，从而使它们具有部分标签的分布式和非iid。最近的文献表明，由于与带有部分标签的非iid数据相关的域偏移，批量归一化层对联邦学习收敛的影响。为此，我们提出了FedFBN，这是一个联邦学习框架，它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层，从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集，使用当前FL策略评估FedFBN。我们的研究结果表明，FedFBN优于当前的聚合策略，用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
Targeted Attacks and Defenses for Distributed Federated Learning in Vehicular Networks
Nexcepta Inc.（Nexcepta公司）；RTX BBN Technologies（RTX BBN技术公司）
针对车载网络中分布式联邦学习（DFL）的脆弱性，设计定向数据投毒与后门攻击，分析DFL相较个体学习的韧性，并提出有效防御机制以增强安全性。
2025-10-16 cs.AI cs.DC cs.LG
Fast Convergence through Distributed Augmentation for Class-Imbalanced Federated Learning
Amar Nath and Shashi Khosla School of Information Technology, Indian Institute of Technology Delhi（印度理工学院德里分校 Amar Nath and Shashi Khosla 信息技术学院）；Department of Electrical Engineering, Indian Institute of Technology Delhi（印度理工学院德里分校电气工程系）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对联邦学习类不平衡问题，提出DAFL分布式增强框架，通过理论建立增强与收敛关系并联合优化增强量和训练时间，提升少数类F1分数并显著减少训练时间。
2026-10-06 cs.LG
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning Based on Constant-Overhead Linear Secret Resharing
J.P. Morgan AI Research \& J.P. Morgan AlgoCRYPT CoE, New York, New York, USA
针对分布式差分隐私联邦学习效用不足的问题，提出基于恒定开销线性秘密重分享的分布式矩阵机制DMM，通过新型密码学协议实现兼具高隐私与高效用的联邦学习，实验验证其效用提升显著且开销低。
2025-06-17 cs.CR cs.LG
Federated Quantum Machine Learning
Brookhaven National Laboratory（布鲁克海文国家实验室）
跨多台量子计算机的分布式训练可以显著提高训练时间，如果我们可以共享学习的模型，而不是数据，它可能会提高数据隐私，因为训练将发生在数据所在的位置。然而，据我们所知，还没有在联邦设置中进行量子机器学习（QML）的工作。在这项工作中，我们提出了混合量子经典机器学习模型的联邦训练，虽然我们的框架可以推广到纯量子机器学习模型。具体来说，我们考虑量子神经网络（QNN）与经典的预训练卷积模型相结合。我们的分布式联邦学习方案表现出几乎相同水平的训练模型精度，但分布式训练速度明显更快。它展示了一个有前途的未来研究方向的伸缩性和隐私方面。
2021-03-22 cs.AI cs.CR cs.DC
Federated Optimization:Distributed Optimization Beyond the Datacenter
University of Edinburgh（爱丁堡大学）；Google, Inc.（谷歌公司）
我们为机器学习中的分布式优化引入了一种新的且日益相关的设置，其中定义优化的数据（不均匀地）分布在大量\nodes上，但目标仍然是训练高质量的集中式模型。我们将此设置称为联合优化。在这种情况下，沟通效率至关重要。当我们将训练数据本地保存在用户的移动设备上，而不是将其记录到数据中心进行训练时，就会出现联邦优化的一个激励示例。相反，移动设备被用作对其本地数据执行计算的节点，以便更新全局模型。我们假设我们的网络中有大量的设备，每个设备只有一小部分数据可用;特别是，我们期望本地可用的数据点的数量远远小于设备的数量。此外，由于不同的用户生成具有不同模式的数据，因此我们假设没有设备具有总体分布的代表性样本。我们表明，现有的算法是不适合这种设置，并提出了一个新的算法，表现出令人鼓舞的实验结果。这项工作也为联邦优化背景下所需的未来研究奠定了基础。
2015-11-11 cs.LG math.OC
Federated Learning under Distributed Concept Drift
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Apple（苹果公司）
分布式概念漂移下的联邦学习是一个尚未被探索的领域。虽然概念漂移本身是一个很好的研究现象，它提出了特殊的挑战，外语，因为漂移出现交错的时间和空间（跨客户端）。据我们所知，这项工作是第一个明确研究数据异质性的两个维度。我们首先证明，以前的解决方案，漂移适应，使用一个单一的全球模型是不适合交错漂移，需要多个模型的解决方案。我们确定的漂移自适应问题作为一个随时间变化的聚类问题，我们提出了两个新的聚类算法的反应漂移的基础上本地漂移检测和层次聚类。实证评估表明，我们的解决方案实现了显着更高的准确性比现有的基线，并与理想化的算法与甲骨文知识的地面真理聚类的客户端的概念，在每个时间步。
2023-02-28 cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology（麻省理工学院）
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下，每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景，并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型（1 M-6 M参数），大模型（10 M-200 M参数）和超大模型（10亿-1000亿参数）的设置。我们发现，增加客户端的数量或增加模型的大小有利于分裂学习设置联邦，而增加数据样本的数量，同时保持客户端的数量或模型的大小低，使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Privacy-Preserving Federated Learning Framework for Distributed Chemical Process Optimization
School of Information, Computer, and Communication Technology（信息、计算机与通信技术学院）；Sirindhorn International Institute of Technology, Thammasat University（素拉雅国际技术学院，泰国泰玛萨特大学）
本文提出一种保护隐私的联邦学习框架，用于分布式化学过程优化，通过在多个地理位置分离的工厂本地训练神经网络过程模型，并仅传输模型参数以实现跨工厂的知识共享，同时保持数据本地性和工业保密性。
2026-04-28 cs.AI cs.LG cs.SY
Pre-Deployment Complexity Estimation for Federated Perception Systems
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Purdue University Northwest（普渡大学西北校区）；Purdue University（普渡大学）
本文提出一种无需分类器的预部署框架，用于估计联邦学习在分布式环境中的学习复杂度，通过联合建模数据固有属性和环境特征，实验表明该指标与联邦学习性能及通信成本密切相关。
2026-10-06 cs.AI cs.DC cs.LG
Encryption-Compatible Clustered Federated Learning via Distributed Expectation-Maximization over Metadata
UT3（图卢兹第三大学）；IRIT（信息论与电信研究所）；CNRS（法国国家科学研究中心）；INU Champollion（尚波利翁国立大学学院）；ISIS（信息系统与安全研究所）；UT2J（图卢兹第二让·饶勒斯大学）
提出FLAMECHE将基于元数据的CFL转化为分布式EM过程，实现加密兼容的聚类，优化了CFL三难问题的性能权衡，提升了客户端模型有效性。
2026-07-31 cs.CR cs.DC cs.LG
Differentially private cross-silo federated learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Waseda University（早稻田大学）；Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
严格的隐私在分布式机器学习中至关重要。联邦学习的主要思想是只传递学习所需的信息，最近已被引入作为分布式学习的一般方法，以增强学习和提高安全性。然而，联邦学习本身并不能保证数据主体的任何隐私。为了量化和控制在最坏情况下有多少隐私受到损害，我们可以使用差分隐私。在本文中，我们将加法同态安全求和协议与差分隐私在所谓的跨筒仓联邦学习设置。目标是学习像神经网络这样的复杂模型，同时保证个人数据主体的严格隐私。我们证明了我们提出的解决方案可以提供与非分布式设置相当的预测精度，并且速度足够快，可以在合理的时间内使用数百万个参数学习模型。为了使学习在严格的隐私保证，需要隐私放大的子采样，我们提出了一个通用的算法不经意的分布式子采样。然而，我们也认为，当恶意方存在，一个简单的方法，使用分布式泊松子采样提供了更好的隐私。最后，我们表明，通过利用随机预测，我们可以进一步扩大我们的方法，以更大的模型，而遭受只有适度的性能损失。
2020-07-10 cs.CR cs.DC cs.LG
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech（康奈尔理工学院）；Google（谷歌）
我们设计了一种可扩展的算法，可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私，同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标，我们重新分布式差分隐私的基础上，最近的结果在安全多方计算，我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明，这种方法成功地从数百万用户样本中生成了大都市规模的热图，最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
Federated Optimization: Distributed Machine Learning for On-Device Intelligence
University of Edinburgh（爱丁堡大学）；Google（谷歌）
我们为机器学习中的分布式优化引入了一个新的且越来越相关的设置，其中定义优化的数据不均匀地分布在大量节点上。目标是训练出高素质的集中型。我们将此设置称为联合优化。在这种情况下，沟通效率是最重要的，最大限度地减少沟通回合数是主要目标。当我们将训练数据本地保存在用户的移动设备上，而不是将其记录到数据中心进行训练时，就会出现一个令人鼓舞的例子。在联邦优化中，设备被用作计算节点，对它们的本地数据执行计算，以便更新全局模型。我们假设网络中有大量的设备--与给定服务的用户数量一样多，每个设备只拥有总可用数据的一小部分。特别是，我们预计本地可用的数据点数量将远远小于设备数量。此外，由于不同的用户生成具有不同模式的数据，因此可以合理假设没有器械具有总体分布的代表性样本。我们表明，现有的算法是不适合这种设置，并提出了一个新的算法，稀疏凸问题，表现出令人鼓舞的实验结果。这项工作也为今后\federated优化方面的研究提供了一条途径。
2016-10-08 cs.LG
A Fair and Efficient Hybrid Federated Learning Framework based on XGBoost for Distributed Power Prediction
Tsinghua-Berkeley Shenzhen Institute, Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院清华-伯克利深圳学院）；Tsinghua University（清华大学）
在现代电力系统中，关于发电/消耗及其相关特征的实时数据存储在各个分布式方中，包括家用电表、Transformer站和外部组织。为了充分利用这些分布式数据的潜在模式进行准确的功率预测，需要联邦学习作为一种协作但保护隐私的训练方案。然而，当前的联邦学习框架倾向于解决数据的水平或垂直分离，并且倾向于忽略两者都存在的情况。此外，在主流的水平联邦学习框架中，仅采用人工神经网络来学习数据模式，与表格数据集上的基于树的模型相比，这被认为是不太准确和可解释的。为此，我们提出了一种基于XGBoost的混合联邦学习框架，用于从实时外部特征进行分布式功率预测。除了引入提升树以提高准确性和可解释性外，我们还结合了水平和垂直联邦学习，以解决特征分散在局部异构方和样本分散在各个局部区域的情况。此外，我们设计了一个动态的任务分配方案，使每一方都能公平地分享信息，并且可以充分利用每一方的计算能力来提高训练效率。一个后续的案例研究，以证明采用拟议的框架的必要性。该框架在公平性、效率和准确性方面的优势也得到了证实。
2022-01-08 cs.AI cs.LG cs.SY
Scaling Federated Learning for Fine-tuning of Large Language Models
Peltarion（佩尔塔里昂）；RISE Research Institutes of Sweden（瑞典RISE研究院）
联邦学习（FL）是分布式计算和分布式数据的一种很有前途的方法，并提供了一定程度的隐私和法律框架的合规性。这使得FL对消费者和医疗保健应用都具有吸引力。虽然这一领域正在积极探索，但很少有研究在更大的语言模型的背景下研究外语，并且缺乏对跨任务，架构，客户端数量和其他相关因素的鲁棒性的全面评论。在本文中，我们将探讨在联邦学习环境中对基于transformer的语言模型进行微调。我们评估了三个流行的BERT变体的不同大小（BERT，ALBERT，和蒸馏BERT）的文本分类任务，如情感分析和作者识别。我们对最多32个客户端的数量进行了广泛的扫描，以评估分布式计算对联合平均设置中任务性能的影响。虽然我们的研究结果表明，评估模型的大尺寸通常不会对联邦训练造成阻碍，但我们发现不同的模型在不同程度上处理联邦平均。最值得注意的是，DistilBERT在大量客户端的情况下收敛速度明显较慢，在某些情况下，甚至会崩溃到偶然水平。调查这个问题为未来的研究提供了一个有趣的视角。
2021-02-01 cs.CL cs.DC cs.LG
Federated Learning in Chemical Engineering: A Tutorial on a Framework for Privacy-Preserving Collaboration Across Distributed Data Sources
SVKM's Dwarkadas J. Sanghvi College of Engineering（SVKM's 德瓦卡达斯·J.桑格维工程学院）；Davidson School of Chemical Engineering, Purdue University（普渡大学戴维森化学工程学院）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
本研究为化学工程界提供联邦学习（FL）的易懂入门教程，基于Flower等框架构建实践工具，探讨其在化工相关任务的应用，通过实验证明FL在保护隐私的同时维持或提升模型性能，并展望了未来挑战。
2025-02-12 cs.DC cs.LG cs.NE
Overpredictive Signal Analytics in Federated Learning: Algorithms and Analysis
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对联邦学习中的隐私与通信约束，本文提出基于凸优化的客户端过预测信号近似算法，量化通信、采样率与近似误差权衡，并在住宅能耗数据集验证性能。
2024-10-02 cs.LG eess.SP stat.ML
Semantic-Constrained Federated Aggregation: Convergence Theory and Privacy-Utility Bounds for Knowledge-Enhanced Distributed Learning
Auburn University（亚伯拉罕大学）
本文提出语义约束联邦聚合框架，通过引入领域知识约束提升联邦学习的收敛速度和隐私-效用平衡，实验证明在制造预测维护中显著提高性能。
2025-12-12 cs.LG
Quantum Federated Learning with Quantum Data
Virginia Tech（弗吉尼亚理工大学）
量子机器学习（QML）已经成为一个有前途的领域，它依靠量子计算的发展来探索大型复杂机器学习问题。最近，提出了一些纯量子机器学习模型，如量子卷积神经网络（QCNN），用于对量子数据进行分类。然而，所有现有的QML模型都依赖于集中式解决方案，无法很好地扩展到大规模和分布式量子网络。因此，考虑针对新兴量子网络架构量身定制的更实用的量子联邦学习（QFL）解决方案是恰当的。事实上，考虑到计算量子比特的脆弱性和传输它们的困难，为量子网络开发QFL框架至关重要。除了其实际意义之外，QFL还允许通过利用现有的无线通信基础设施进行分布式量子学习。本文提出了第一个完全量子联邦学习框架，可以在量子数据上操作，从而以分散的方式共享量子线路参数的学习。首先，鉴于文献中缺乏现有的量子联邦数据集，所提出的框架首先为分布式量子网络生成第一个量子联邦数据集，并采用分层数据格式。然后，共享QCNN模型的客户端被馈送量子数据以执行分类任务。随后，服务器聚集来自客户端的可学习量子线路参数并执行联合平均。大量的实验进行评估和验证所提出的QFL解决方案的有效性。这项工作是第一个将Google的TensorFlow Federated和TensorFlow Quantum结合在实际实现中的工作。
2021-05-30 cs.LG cs.NI quant-ph
Multi-Resource Allocation for On-Device Distributed Federated Learning Systems
University of Electronic Science and Technology of China（电子科技大学）；Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出了一种分布式多资源分配方案，用于最小化设备上分布式联邦学习（FL）系统的延迟和能耗的加权和。系统中的每个移动终端在指定区域内参与模型训练过程，并分配其计算和通信资源分别用于导出和上传参数，以使系统的目标最小化，该目标受制于计算/通信预算和目标延迟要求。特别地，移动设备经由无线TCP/IP架构连接。利用优化问题的结构，将问题分解为两个凸子问题。利用拉格朗日对偶和和声搜索技术，我们通过所有子问题的封闭形式的解来表征全局最优解，从而为多资源权衡提供定性的见解。数值模拟被用来验证分析和评估所提出的算法的性能。
2022-11-01 cs.LG cs.SY eess.SY
Classifier Clustering and Feature Alignment for Federated Learning under Distributed Concept Drift
Beijing Institute of Technology（北京理工大学）
针对数据异构与分布式概念漂移问题，本文提出 FedCCFA 框架，通过类别级分类器聚类、特征锚点生成及基于标签熵的自适应特征对齐提升联邦学习性能。
2024-10-24 cs.LG
