Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data
Aalto University(阿尔托大学);Côte d’Azur University(蔚蓝海岸大学);CNRS(法国国家科学研究中心)
针对非IID数据及客户端落后/掉线问题,提出结合离线数据共享与近似梯度编码的隐私灵活联邦学习方法,并在MNIST上验证其可权衡隐私与效用、提升收敛和准确率。
2024-04-04 cs.CR cs.DC cs.IT
Coding-Enforced Resilient and Secure Aggregation for Hierarchical Federated Learning
Department of Information Science and Engineering(信息科学与工程系)
本文提出H-SecCoGC方案,通过编码策略提升分层联邦学习在不可靠通信下的鲁棒性、隐私保护和学习效率。
2026-01-25 cs.AI cs.LG
Representation Learning with Contrastive Predictive Coding
DeepMind(DeepMind(深度思维));Google(谷歌(Google))
虽然监督学习在许多应用中取得了很大的进步,但无监督学习还没有得到如此广泛的采用,并且仍然是人工智能的重要和具有挑战性的努力。在这项工作中,我们提出了一个通用的无监督学习方法,从高维数据中提取有用的表示,我们称之为对比预测编码。我们模型的关键见解是通过使用强大的自回归模型预测潜在空间中的未来来学习这种表示。我们使用一个概率对比损失,诱导潜在空间捕捉信息,是最有用的预测未来的样本。它还使模型易于处理,通过使用负采样。虽然大多数以前的工作都集中在评估表示为特定的方式,我们证明,我们的方法是能够学习有用的表示实现强大的性能在四个不同的领域:语音,图像,文本和强化学习在3D环境中。
2019-01-22 cs.LG stat.ML
FedNC: A Secure and Efficient Federated Learning Method with Network Coding
Tsinghua University(清华大学);HKUST(香港科技大学);Huawei Technologies(华为技术有限公司)
本文从网络信息理论视角提出基于网络编码的联邦学习通信框架FedNC,通过在上传前对本地模型参数进行随机线性组合,提升了传统联邦学习在安全性、效率和鲁棒性方面的表现。
2024-01-09 cs.CR cs.IT cs.LG
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
Korea Advanced Institute of Science and Technology(韩国科学技术院);King’s College London(伦敦国王学院)
用于分布式机器学习的协作训练方法通常假设无噪声和理想的通信信道。这项工作研究了无线通信链路的存在所带来的机遇和挑战。我们特别考虑无线实现的联邦学习(FL)和联邦蒸馏(FD),以及一种新的混合联邦蒸馏(HFD)计划。这两个数字实现的基础上单独的源信道编码和空中计算实现的基础上联合源信道编码提出和评估高斯多址信道。
2019-07-05 cs.IT cs.LG math.IT
Mixed-Timescale Differential Coding for Downlink Model Broadcast in Wireless Federated Learning
Linköping University(林雪平大学)
针对无线联邦学习中因链路故障致设备错过差分更新无法重构全局模型的问题,提出混合时间尺度差分编码(MTDC)方案,通过调整参考模型在两级执行差分编码,配合收敛分析、年龄感知变体及调度策略,提升了学习性能。
2026-07-21 cs.DC cs.IT cs.LG
Compute-Update Federated Learning: A Lattice Coding Approach Over-the-Air
KTH Royal Institute of Technology(KTH皇家理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于格编码的联合源信道编码联邦学习框架,实现无信道状态信息的空中计算,通过服务器端解码整数组合进行聚合,显著提升学习精度并优于其他空中方法。
2024-11-05 cs.AI cs.IT cs.LG
Quantum Federated Learning with Entanglement Controlled Circuits and Superposition Coding
Korea University(高丽大学);Ajou University(亚洲大学);Deakin University(迪肯大学);University of Oulu(奥卢大学)
在见证噪声中间尺度量子(NISQ)时代及以后的同时,量子联邦学习(QFL)最近成为一个新兴的研究领域。在QFL中,每个量子计算机或设备都使用可训练的门来本地训练其量子神经网络(QNN),并且仅通过经典通道传递这些门参数,而无需昂贵的量子通信。为了在各种信道条件下实现QFL,在这篇文章中,我们开发了一种深度可控的纠缠可瘦量子神经网络(eSQNN)架构,并提出了一种纠缠可瘦QFL(eSQFL),它可以传递eS-QNN的叠加编码参数。与现有的深度固定的QNN相比,由于高纠缠熵和深度间干扰,训练深度可控的eSQNN架构更具挑战性,这通过分别引入纠缠控制通用(CU)门和惩罚深度间量子态差异的原位保真度蒸馏(IPFD)正则化器来减轻。此外,我们通过推导和最小化eSQFL的收敛界来优化叠加编码功率分配。在图像分类任务中,广泛的模拟证实了eSQFL在预测精度,保真度和熵方面的有效性,与Vanilla QFL相比,以及在不同的信道条件和各种数据分布下。
2022-12-04 cs.LG quant-ph
Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks
Korea University(高丽大学);Hallym University(翰林大学);University of Utah(犹他大学);University of Oulu(奥卢大学);Deakin University(迪肯大学)
本文旨在整合两种协同技术,联邦学习(FL)和宽度可调的可精简神经网络(SNN)架构。FL通过交换移动设备的本地训练模型来保护数据隐私。通过采用SNN作为局部模型,FL可以灵活地应对移动设备随时间变化的能量容量。然而,组合FL和SNN是不平凡的,特别是在具有时变信道条件的无线连接下。此外,现有的多宽度SNN训练算法是敏感的跨设备的数据分布,所以不适合FL。受此启发,我们提出了一个通信和节能SNN为基础的FL(命名为SlimFL),共同利用叠加编码(SC)的全局模型聚合和叠加训练(ST)更新局部模型。通过应用SC,SlimFL交换对于给定通信吞吐量尽可能多地解码的多个宽度配置的叠加。利用ST,SlimFL对齐不同宽度配置的前向传播,同时避免反向传播期间的宽度间干扰。我们正式证明了SlimFL的收敛性。结果表明,SlimFL不仅是通信效率,但也可以抵消非IID数据分布和恶劣的信道条件,这也证实了仿真。
2021-12-05 cs.DC cs.LG
Coding for Straggler Mitigation in Federated Learning
Simula UiB(卑尔根西穆拉研究中心);Chalmers University of Technology(查尔姆斯理工大学)
我们提出了一种新的编码的联邦学习(FL)计划的线性回归,减轻了离散设备的影响,同时保留传统FL的隐私水平。该计划结合了一次性填充,以保持隐私和梯度代码,以产生弹性对掉队者,包括两个阶段。在第一阶段,设备与其他设备的子集共享其本地数据的一次性填充版本。在第二阶段中,设备和中央服务器协作地并且迭代地训练全局线性模型,该全局线性模型使用对一次性填充的本地数据的梯度码。为了将一次性填充应用于真实数据,我们的方案利用了数据的定点运算表示。与Prakash \emph{et al.}最近提出的编码FL方案不同,该方案在实现类似训练时间的同时保持了与传统FL相同的隐私水平。与传统的FL相比,我们表明,该方案实现了训练加速因子$6.6$和$9.2$的MNIST和时尚MNIST数据集的准确性$95\%$和$85\%$,分别。
2022-02-15 cs.IT cs.LG math.IT
SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks
Korea University(高丽大学);Ajou University(亚洲大学);The University of Utah(犹他大学);University of Oulu(奥卢大学);Deakin University(迪肯大学)
联邦学习(FL)是高效通信和计算的关键推动者,利用设备的分布式计算能力。然而,由于本地设备的异构能量、无线信道条件以及非独立且相同分布(非IID)的数据分布,在实践中应用FL是具有挑战性的。为了解决这些问题,本文提出了一种新的学习框架,通过集成FL和宽度可调的可瘦身神经网络(SNN)。由于时变信道条件和数据分布,将FL与SNN集成是具有挑战性的。此外,现有的多宽度SNN训练算法是敏感的跨设备的数据分布,这使得SNN不适合FL。受此启发,我们提出了一个通信和节能SNN为基础的FL(命名为SlimFL),共同利用叠加编码(SC)的全局模型聚合和叠加训练(ST)更新局部模型。通过应用SC,SlimFL针对给定的通信吞吐量尽可能多地交换解码的多宽度配置的叠加。利用ST,SlimFL对齐不同宽度配置的前向传播,同时避免反向传播期间的宽度间干扰。我们正式证明了SlimFL的收敛性。结果表明,SlimFL不仅是通信效率,而且还处理非IID数据分布和恶劣的信道条件,这也证实了数据密集型仿真。
2022-12-22 cs.AI cs.LG cs.NA
Communication and Energy Efficient Slimmable Federated Learning via Superposition Coding and Successive Decoding
Korea University(高丽大学);Deakin University(迪肯大学);The University of Utah(犹他大学);University of Oulu(奥卢大学)
移动设备是不可或缺的大数据来源。联邦学习(FL)通过交换本地训练的模型而不是原始数据,在利用这些私有数据方面具有巨大的潜力。然而,移动设备通常是能量有限和无线连接的,并且FL不能灵活地应对其异构和时变的能量容量和通信吞吐量,从而限制了采用。出于这些问题,我们提出了一种新的能源和通信效率的FL框架,创造SlimFL。为了解决异构能量容量问题,SlimFL中的每个设备都运行一个宽度可调的可精简神经网络(SNN)。为了解决异构通信吞吐量问题,每个全宽(1.0 x)SNN模型及其半宽($0.5$ x)模型在发送之前被叠加编码,并且在接收之后根据信道质量被连续解码为0.5 x或$1.0$ x模型。仿真结果表明,SlimFL可以同时训练$0.5$ x和$1.0$ x两个模型,具有合理的精度和收敛速度,与其vanilla FL对应物相比,使用$2$ x更多的通信资源分别训练两个模型。令人惊讶的是,SlimFL实现了更高的准确性和更低的能量足迹比香草FL差的通道和非IID数据分布,其中香草FL收敛缓慢。
2021-12-05 cs.AI cs.LG
Federated Aggregation of Mallows Rankings: A Comparative Analysis of Borda and Lehmer Coding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文首次提出基于Borda评分和Lehmer编码的联邦排名聚合方法,在Mallows模型下严格分析样本复杂度与通信复杂度,并比较两种方法的性能。
2024-09-01 cs.DC cs.LG
Coded Computing for Low-Latency Federated Learning over Wireless Edge Networks
University of Southern California(南加州大学);Intel Corporation(英特尔公司);Broadcom Corporation(博通公司);Intel Labs(英特尔实验室);Qualcomm(高通公司)
联邦学习能够从位于客户端节点的数据训练全局模型,而无需数据共享和将客户端数据移动到集中式服务器。多访问边缘计算(MEC)网络中的联邦学习的性能由于客户端之间的计算能力和通信链路质量的异构性和随机波动而遭受缓慢收敛。我们提出了一种新的编码计算框架CodedFedL,它将结构化编码冗余注入到联邦学习中,以减少落伍者并加快训练过程。CodedFedL通过将训练任务转换为计算上有利的分布式线性回归的随机傅立叶特征,有效地利用分布式内核嵌入,实现非线性联邦学习的编码计算。此外,客户端通过对本地数据集进行编码来生成本地奇偶校验数据集,而服务器将它们组合以获得全局奇偶校验数据集。来自全局奇偶校验数据集的梯度补偿训练期间的离散梯度,从而加快收敛。为了最大限度地减少MEC服务器上的历元截止时间,我们提供了一种易于处理的方法,通过利用计算的统计特性以及通信延迟来找到客户端在训练期间处理的编码冗余量和本地数据点的数量。我们还描述了当客户端与服务器共享本地奇偶校验数据集时数据隐私的泄漏。通过将CodedFedL看作一个随机梯度下降算法,在简化假设下分析了CodedFedL的收敛速度和迭代复杂度.此外,我们使用实际的网络参数和基准数据集进行数值实验,其中CodedFedL与基准方案相比,将整体训练时间加快了$15\times$。
2021-05-09 cs.DC cs.LG stat.ML
Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning
Eindhoven University of Technology(埃因霍温理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对联邦学习中模型更新易泄露数据信息且现有隐私保护方法存在性能或效率权衡的问题,提出结合差分隐私与系统浸入工具的框架,可定制隐私级别且保持标准联邦学习的精度与收敛速度。
2024-11-25 cs.CR cs.LG
Rate-Constrained Quantization for Communication-Efficient Federated Learning
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
本文提出 RC-FED 框架,在保真度与编码速率约束下联合优化梯度量化,以最小化失真并降低联邦学习通信开销,同时证明其收敛性和优于基线的性能。
2024-09-10 cs.LG eess.SP
Federated Learning with Multi-resolution Model Broadcast
Ericsson AB(爱立信公司);Linköping University(林雪平大学)
本文提出在联邦学习的模型广播中使用多分辨率编码与调制,使高信噪比智能体获得更准确模型而低信噪比智能体仍能基本参与,并通过MNIST数据集实验验证了方案有效性。
2024-05-30 cs.LG cs.NI
On the Limits of Maximal Coding Rate Reduction for Out-of-Distribution Generalisation
University of Sheffield(谢菲尔德大学)
本文揭示最大编码率降低(MCR²)在分布外泛化中的两大局限:其目标可导致完全预测失败,且结合不变性原理仍无法消除,需新假设或原则确保跨环境稳定预测。
2026-09-21 cs.LG
Efficient Maximal Coding Rate Reduction by Variational Forms
Carnegie Mellon University(卡内基梅隆大学);International Digital Economy Academy(国际数字经济研究院);Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Berkeley(加州大学伯克利分校)
最大编码率降低(MCR $^2$)的原理最近被提出作为用于学习高维数据固有的有区别的低维结构的训练目标,以允许比标准方法(诸如交叉熵最小化)更鲁棒的训练。然而,尽管MCR $^2$训练已经显示出优点,但是由于需要评估和区分随着类的数量线性增长的大量对数行列式项,MCR $^2$遭受显著的计算成本。通过利用矩阵的谱函数的变分形式,我们将MCR $^2$目标重新表述为可以显着扩展而不影响训练精度的形式。在图像分类实验表明,我们提出的配方结果在一个显着的速度比优化原始MCR $^2$目标直接,往往会导致更高质量的学习表示。此外,我们的方法可能是独立的利益,在其他模型,需要计算的对数行列式的形式,如在系统辨识或规范化的流量模型。
2022-03-31 cs.CV cs.LG
Fast Server Learning Rate Tuning for Coded Federated Dropout
KTH Royal Institute of Technology(KTH皇家理工学院)
在跨设备联邦学习(FL)中,计算能力低的客户端通过更新而不是潜在的私有数据交换参数来训练公共\linebreak [4]机器模型。联合丢弃(FD)是通过选择要在每个训练轮中更新的模型参数的\emph{subset}来提高FL会话的通信效率的技术。然而,与标准FL相比,FD产生相当低的精度并且面临更长的收敛时间。在本文中,我们利用\textit{coding theory}来增强FD,允许在每个客户端使用不同的子模型。我们还表明,通过仔细调整服务器学习率超参数,我们可以实现更高的训练速度,同时也实现了与无辍学情况相同的最终精度。对于EMNIST数据集,我们的机制实现了99.6%的最终准确度的无辍学的情况下,而需要$2.43\times$更少的带宽,以达到这一水平的准确性。
2022-09-15 cs.LG
A Global Geometric Analysis of Maximal Coding Rate Reduction
Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor(电气工程与计算机科学系,密歇根大学);Antai College of Economics and Management, Shanghai Jiao Tong University, Shanghai(经济管理学院,上海交通大学);Department of Electrical Engineering and Computer Science, University of California, Berkeley(电气工程与计算机科学系,加州大学伯克利分校);Department of Computer Science and Engineering, Ohio State University, Columbus(计算机科学与工程系,俄亥俄州立大学);Institute of Data Science, University of Hong Kong, Hong Kong(数据科学研究所,香港大学)
本文针对最大编码率缩减(MCR²)目标缺乏全局优化景观理论支撑的问题,完整刻画其各类临界点性质,证明其具备利于一阶优化的良好景观,并通过实验验证理论结论。
2025-11-14 cs.LG
Coded Computing for Federated Learning at the Edge
University of Southern California(南加州大学);Intel Labs(英特尔实验室)
联邦学习(FL)是一种令人兴奋的新范式,它能够从客户端节点本地生成的数据中训练全局模型,而无需将客户端数据移动到集中式服务器。FL在多访问边缘计算(MEC)网络中的性能由于计算能力和跨客户端的通信链路质量的异构性和随机波动而遭受缓慢收敛。最近的一项工作,编码联邦学习(CFL),提出通过在MEC服务器上分配冗余计算来减少落伍者并加快线性回归任务的训练。利用计算和通信延迟的统计特性计算CFL中的编码冗余。我们开发CodedFedL,解决了将CFL扩展到具有多输出标签的分布式非线性回归和分类问题的艰巨任务。我们工作的关键创新是利用分布式内核嵌入,使用随机傅立叶特征将训练任务转换为分布式线性回归。我们提供了一个负载分配的分析解决方案,并通过使用实际网络参数的基准数据集的实验证明CodedFedL的显着性能增益。
2021-05-09 cs.DC cs.LG stat.ML
EasyFL: A Low-code Federated Learning Platform For Dummies
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
学术界和工业界已经开发了几个平台来支持流行的隐私保护分布式学习方法-联邦学习(FL)。然而,这些平台使用起来很复杂,需要对FL有深入的了解,这给初学者带来了很高的入门门槛,限制了研究人员的生产力,并影响了部署效率。在本文中,我们提出了第一个低代码FL平台,EasyFL,使用户具有不同层次的专业知识,实验和原型FL应用程序很少的编码。我们实现了这一目标,同时通过统一简单的API设计,模块化设计和粒度训练流抽象,确保了极大的灵活性和可扩展性。只需几行代码,EasyFL就可以为他们提供许多开箱即用的功能,以加速实验和部署。这些实用功能包括异构性模拟、全面跟踪、分布式训练优化和无缝部署。根据拟定FL生存周期中确定的挑战提出这些建议。与其他平台相比,EasyFL不仅只需要三行代码(至少少10倍)就可以构建一个普通的FL应用程序,而且训练开销也更低。此外,我们的评估表明,EasyFL将分布式训练速度提高了1.5倍。它还提高了部署效率。我们相信EasyFL将提高研究人员的生产力,并将FL民主化到更广泛的受众中。
2022-01-20 cs.AI cs.DC cs.LG
A Link between Coding Theory and Cross-Validation with Applications
University of Turku(图尔库大学);University of Miskolc(米什科尔茨大学)
本文建立编码理论与交叉验证的联系,证明零或非零LPOCV误差下可解分类问题最大数等于常重量码或轻量常重量码的码字数,并给出界及推广的随机化检验。
2024-02-09 cs.IT cs.LG math.CO
FedTopo: Topology-Informed Representation Alignment in Federated Learning under Non-I.I.D. Conditions
针对非独立同分布客户端数据下联邦学习模型性能下降问题,提出FedTopo框架,通过拓扑引导块筛选、拓扑嵌入及拓扑对齐损失实现跨客户端表示对齐,在多数据集非独立同分布场景中加快收敛并提升精度。
2025-11-16 cs.LG
LoLaFL: Low-Latency Federated Learning via Forward-only Propagation
Department of Electrical and Electronic Engineering, The University of Hong Kong(电子与电气工程系,香港大学)
针对6G网络中传统联邦学习反向传播导致的高延迟问题,提出基于最大编码率降低原则的仅前向传播框架LoLaFL,通过逐层传输与两种非线性聚合方案,在保持准确率的同时将延迟降低超87%和97%。
2025-11-04 cs.AI cs.LG cs.NI