Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University(德克萨斯农工大学)
针对联邦离线强化学习中简单结合标准方法性能差的问题,提出基于集成学习提炼客户端智慧的FEDORA算法,在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
Federated Offline Reinforcement Learning: Collaborative Single-Policy Coverage Suffices
Carnegie Mellon University(卡内基梅隆大学);California Institute of Technology(加州理工学院)
本文提出联邦离线强化学习算法FedLCB-Q,通过协作覆盖状态-动作空间实现线性加速,样本复杂度接近集中式,且通信高效。
2024-02-08 cs.LG cs.MA stat.ML
FAuNO: Semi-Asynchronous Federated Reinforcement Learning Framework for Task Offloading in Edge Systems
NOVA School of Science and Technology(诺瓦科学与技术学校);Instituto Superior Técnico(理工学院)
FAuNO通过半异步联邦强化学习框架,有效提升边缘系统任务卸载的效率和适应性。
2026-02-28 cs.AI cs.LG
APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs
University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出APPA框架,通过动态调整群体奖励权重,提升联邦强化学习中多群体公平对齐效果,实验显示其在保持整体对齐性的同时,显著提升最差群体对齐性能。
2026-04-05 cs.AI cs.LG
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research(谷歌研究院)
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加,很自然地会问,学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成,而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗,并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置,例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University(东南大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
雾无线电接入网络(F-RAN)是一项很有前途的技术,其中用户移动设备(MD)可以将计算任务卸载到附近的雾接入点(F-AP)。由于F-AP的资源有限,设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境,以任务执行延迟和MD能耗最小为目标,提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题,提出了一种基于联合深度强化学习(DRL)的算法,其中深度确定性策略梯度(DDPG)算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私,采用联邦学习对DDPG代理进行训练。仿真结果表明,与现有的其他策略相比,所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Chengdu Neusoft University(成都新soft大学)
本文提出了一种联邦元深度强化学习框架FedMAGS,用于解决车载边缘计算中异构任务卸载问题,通过图注意力网络捕捉DAG依赖关系,序列到序列策略生成结构化卸载决策,并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);School of Cyber Science and Technology, Sun Yat-sen University(中山大学网络科学与技术学院);Department of Computer Science and Technology, BNRist, Tsinghua University(清华大学计算机科学与技术系);Zhongguancun Laboratory(中关村实验室)
FOVA通过引入投票机制和优势加权回归,有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research(谷歌研究院)
我们研究了一系列的算法,我们称之为本地更新方法,概括了许多联邦和元学习算法。我们证明了,对于二次模型,局部更新方法是等价于一阶优化的替代损失,我们确切地描述。此外,基本的算法选择(如学习率)显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡,并强调其重要性,在通信有限的设置。使用这些见解,我们能够比较局部更新方法的基础上,他们的收敛/精度权衡,而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角,包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
New York University(纽约大学);University of Southern California(南加州大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
大规模机器学习系统通常涉及分布在用户集合中的数据。联邦学习算法通过将模型更新传递到中央服务器而不是整个数据集来利用这种结构。在本文中,我们研究了随机最优化算法的个性化联邦学习设置,涉及本地和全球模型的用户级(联合)差分隐私。虽然学习私有全局模型会导致隐私成本,但局部学习是完全私有的。我们提供的泛化保证表明,协调本地学习与私人集中式学习产生了普遍有用的和改进的准确性和隐私之间的权衡。我们用合成和真实世界数据集上的实验来说明我们的理论结果。
2022-07-15 cs.CR cs.LG math.OC
The Tradeoff Between Privacy and Accuracy in Anomaly Detection Using Federated XGBoost
City University of Hong Kong(香港城市大学);University of Miami(迈阿密大学);Sun Yat-sen University(中山大学);Dalian University of Technology(大连理工大学)
近年来,隐私问题引起了人们的广泛关注,特别是随着信息爆炸和众多数据采掘技术的出现,人们开始探索大量数据中的信息。在这种背景下,一种新的分布式学习范式联邦学习成为最近突出的分布式学习中的隐私问题,其中只有学习模型将被传输到服务器从分布式节点不泄露用户自己的数据,从而保护用户的隐私。本文提出了一种水平联邦XGBoost算法来解决联邦异常检测问题,其中异常检测的目的是从极端不平衡的数据集中识别异常,可以被认为是一个特殊的分类问题。我们提出的联邦XGBoost算法结合了数据聚合和稀疏联邦更新过程,以平衡隐私和学习性能之间的权衡。特别是,我们引入了虚拟数据样本聚合一组用户的数据在一个单一的分布式节点在一起。我们在本地节点中基于这些虚拟数据样本计算参数,并在中央服务器中聚合学习模型。在学习模型的升级过程中,我们更多地关注虚拟样本中之前错误分类的数据,从而生成稀疏的学习模型参数。通过仔细控制这些样本组的大小,我们可以在隐私和学习性能之间取得平衡。我们的实验结果表明,我们所提出的方案的有效性,通过与现有的国家的艺术。
2019-10-14 cs.CR cs.LG stat.ML
Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees
本文研究了个性化联邦学习中统计准确性与通信的权衡,定量刻画了个性化程度对样本与算法效率的影响,提供了选择个性化程度的理论见解,并证明了广泛研究的PFL公式的minimax最优性。
2025-06-01 cs.DC cs.LG math.ST
Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌);The University of Washington(华盛顿大学)
该研究针对联邦参数高效微调中个性化与鲁棒性的权衡空白,对联邦提示调优的基础算法开展多场景基准测试,发现小学习率多本地轮次等设置可提升鲁棒性,正则化等方法能改善受限场景下的权衡效果。
2023-10-06 cs.LG
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory
Google Research(谷歌研究院)
联邦学习(FL)中的一个重要瓶颈是从客户端设备向中央服务器发送模型更新的网络通信成本。我们提出了一个全面的实证研究模型更新的统计数据在FL,以及各种压缩技术的作用和好处。受这些观察结果的启发,我们提出了一种新的方法来降低平均通信成本,该方法在许多用例中接近最佳,并且在堆栈溢出下一个词预测方面优于Top-K,DRIVE,3LC和QSGD,这是一个现实且具有挑战性的FL基准。这是通过使用率失真理论检查问题,并提出失真作为模型精度的可靠代理来实现的。失真可以更有效地用于优化模型性能和跨客户端的通信成本之间的权衡。我们的经验表明,尽管非独立同分布。由于联邦学习的本质,率失真边界在数据集、优化器、客户端和训练轮之间是一致的。
2022-05-19 cs.DC cs.IT cs.LG
Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization
本文提出 Libra 泛化动力学分析框架,刻画联邦学习中模型稳定性与梯度范数的权衡,解释本地步数和服务器动量对超额风险的影响。
2025-10-19 cs.LG stat.ML
Trade-off in Estimating the Number of Byzantine Clients in Federated Learning
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园)
本文理论分析联邦学习中估计拜占庭客户端数量对聚合器及联邦学习性能的影响,揭示低估导致性能任意差,非低估时误差与鲁棒程度成正比,存在权衡。
2025-10-06 cs.LG math.OC
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
Università della Svizzera italiana(瑞士意大利大学);Carnegie Mellon University(卡内基梅隆大学)
ERIS通过联邦分片聚合机制解决联邦学习中的隐私、可扩展性和模型效用之间的平衡问题,减少通信瓶颈并提升对抗鲁棒性。
2026-10-12 cs.LG
Communication Trade-offs in Federated Learning of Spiking Neural Networks
Linköping University(林雪平大学);Hitachi Energy(日立能源);Uppsala University(乌普萨拉大学)
脉冲神经网络(SNN)是传统人工神经网络(ANN)的生物启发替代品。尽管初步结果令人鼓舞,但在分布式方案中训练SNN的权衡还没有得到很好的理解。在这里,我们考虑在联邦学习环境中的SNN,其中通过聚合来自客户端的多个本地模型来创建高质量的全局模型,而无需共享任何数据。我们研究了联邦学习,用于在客户端训练多个SNN,当两种机制降低上行链路通信成本时:i)随机掩蔽从客户端发送到服务器的模型更新; ii)客户端退出,其中一些客户端不将其更新发送到服务器。我们使用Spiking Heidelberg digits(SHD)数据集的子集评估了SNN的性能。结果表明,随机掩蔽和客户端丢弃概率之间的权衡是至关重要的,以获得令人满意的性能为固定数量的客户端。
2023-02-27 cs.LG cs.NE eess.SP
Efficient Adaptive Federated Optimization of Federated Learning for IoT
Beijing University of Posts and Telecommunications(北京邮电大学)
物联网(IoT)的激增和具有感测、计算和通信能力的设备的广泛使用已经激发了由人工智能授权的智能应用。经典的人工智能算法需要集中式数据汇集和处理,由于日益增长的数据隐私问题和分布式数据集,这在现实的智能物联网应用中具有挑战性。联邦学习(FL)已经成为一种分布式隐私保护学习框架,它使物联网设备能够通过共享模型参数来训练全局模型。然而,由于频繁的参数传输导致的低效率显著降低FL性能。现有的加速算法包括两种主要类型,包括考虑通信和计算之间的权衡的局部更新和考虑通信和精度之间的权衡的参数压缩。共同考虑这两个权衡和适应性平衡其对收敛的影响仍然没有得到解决。为解决这一问题,提出一种新的自适应联邦优化算法(EAFO),该算法通过联合考虑局部更新和参数压缩两个变量来最小化学习误差,使FL能够自适应地调整两个变量,并在计算、通信和精度之间取得平衡。实验结果表明,与现有算法相比,该算法能够在更短的时间内获得更高的精度。
2022-06-23 cs.AI cs.LG
pFedFair: Towards Optimal Group Fairness-Accuracy Trade-off in Heterogeneous Federated Learning
The Chinese University of Hong Kong(香港中文大学)
针对异构联邦学习中现有群体公平性约束方法导致准确率次优的问题,提出pFedFair个性化联邦学习框架,通过客户端本地施加公平约束并结合图像嵌入模型拓展至视觉场景,实现了公平性与准确率的最优权衡。
2025-03-19 cs.LG
Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Oklahoma(俄克拉荷马大学)
本文首次研究脉冲神经网络(SNNs)在纵向联邦学习(VFL)中的适用性,实现带/不带模型拆分的两类联邦架构,在CIFAR数据集上验证发现SNN准确率与传统ANN相当且能效更高。
2024-08-13 cs.AI cs.LG
Centralized vs Decentralized Federated Learning: A trade-off performance analysis
University of Luxembourg(卢森堡大学)
本文通过Fedstellar模拟器、MNIST数据集和MLP分类器,对比分析集中式、去中心化和半去中心化联邦学习架构的性能权衡,揭示不同应用场景下的优劣势。
2026-05-15 cs.AI cs.LG
Accuracy-Privacy Trade-off in the Mitigation of Membership Inference Attack in Federated Learning
Old Dominion University(奥多明尼昂大学);Deloitte & Touche LLP(德勤全球)
本文探索深度集成与联邦学习的关系,研究基于置信度的指标在FL中缓解成员推理攻击时的适用性,通过多客户端、数据集和融合策略实验,证实了FL中准确率与隐私权衡的明确存在。
2024-07-26 cs.AI cs.CR cs.LG
No Free Lunch Theorem for Security and Utility in Federated Learning
Hong Kong University of Science and Technology(香港科技大学);Webank(微众银行)
在联邦学习场景中,多方从各自的数据中联合学习模型,对于选择合适的算法存在两个相互冲突的目标。一方面,在\textit{semi-honest}合作伙伴在场的情况下,私人和敏感的训练数据必须尽可能地保持安全,而另一方面,为了学习效用,必须在不同方之间交换一定量的信息。这样的挑战需要隐私保护的联邦学习解决方案,它最大限度地提高了学习模型的效用,并保持了参与方的私人数据的可证明的隐私保证。本文阐述了一个一般框架,a)从统一的信息论角度阐述了隐私损失和效用损失之间的权衡,b)描绘了使用不同保护机制(包括随机化、稀疏性和同态加密)时隐私-效用权衡的定量界限。结果表明,在一般情况下,\textit{there is no free lunch for the privacy-utility trade-off}和一个交易的隐私保护与一定程度的降级效用。本文的定量分析对设计实用的联邦学习算法具有指导意义。
2022-09-05 cs.LG
Fast Federated Learning by Balancing Communication Trade-Offs
Queen’s University(女王大学);Pukyong National University(釜庆国立大学)
联邦学习(FL)最近在大规模隐私保护机器学习方面受到了广泛关注。然而,高通信开销,由于频繁的梯度传输减速FL。为了减轻通信开销,已经研究了两种主要技术:(i)局部更新的权重特征之间的权衡通信和计算和(ii)梯度压缩之间的权衡通信和精度的特征。据我们所知,研究和平衡这两个权衡联合和动态,同时考虑其对收敛的影响仍然没有得到解决,即使它承诺显着更快的FL。在本文中,我们首先制定我们的问题,以最大限度地减少学习误差关于两个变量:局部更新系数和梯度压缩的稀疏性预算,其表征通信和计算/精度之间的权衡,分别然后,我们推导出一个上限的学习误差在一个给定的挂钟时间考虑两个变量之间的相互依赖性。基于此理论分析,我们提出了一个增强的FL计划,即快速FL(FFL),联合和动态调整这两个变量,以尽量减少学习误差。我们证明,FFL一贯达到更高的精度比文献中现有的类似计划。
2021-05-23 cs.AI cs.DC cs.LG
Towards Communication-Learning Trade-off for Federated Learning at the Network Edge
Beijing University of Posts and Telecommunications(北京邮电大学)
在这封信中,我们研究了一个无线联邦学习(FL)系统,网络修剪应用于本地用户有限的资源。虽然修剪有利于减少FL延迟,但由于信息丢失,它也会降低学习性能。因此,提出了沟通和学习之间的权衡问题。为了解决这一挑战,我们量化的网络修剪和数据包错误的学习性能的影响,通过推导FL的收敛速度与非凸损失函数。然后,修剪控制和带宽分配的封闭形式的解决方案,提出了FL延迟和FL性能的加权和最小化。最后,数值实验结果表明:1)我们提出的方法在降低成本和保证精度方面优于基准算法; 2)较高的剪枝率会带来较少的通信开销,但也会降低FL的精度,这与我们的理论分析是一致的。
2022-05-27 cs.IT cs.LG eess.SP
Performance and Energy Trade-Off Analysis of Hierarchical Federated Learning for Plant Disease Classification
University of Zagreb(扎格雷布大学);University of Thessaly(塞萨洛尼基大学);University of Glasgow(格拉斯哥大学);Trinity College Dublin(都柏林信任学院);Italian National Research Council(意大利国家研究委员会)
本文分析了分层联邦学习在植物疾病分类中的性能与能耗权衡,提出了一种考虑能耗的优化框架,评估了不同模型聚合策略下的性能表现。
2026-04-28 cs.DC cs.LG
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
联邦学习面临着性能和网络通信的挑战,特别是在数据在客户端之间不是独立和相同分布(IID)的环境中。为了解决前一个挑战,我们引入了联邦集中式一致性属性,并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者,我们提出了联邦多小批量的方法,并说明它可以建立一个性能和通信效率之间的权衡,并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
A Unified Learn-to-Distort-Data Framework for Privacy-Utility Trade-off in Trustworthy Federated Learning
Huazhong University of Science and Technology(华中科技大学)
该研究提出统一的Learn-to-Distort-Data框架,通过将隐私保护机制的失真建模为可学习变量并与模型参数联合优化,实现联邦学习的隐私-效用均衡,可结合多领域技术设计相关算法。
2024-07-09 cs.AI cs.CR cs.LG
Privacy and Fairness in Federated Learning: on the Perspective of Trade-off
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文综述了联邦学习中隐私与公平的相互作用,分析了FL环境下的独特挑战与解决方案,并揭示了二者相互竞争的权衡关系,为公平与隐私联邦学习指明了新研究方向。
2023-06-25 cs.AI cs.CR cs.CY
STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning
The Ohio State University(俄亥俄州立大学);University of Minnesota(明尼苏达大学);Syracuse University(雪城大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
联邦学习(Federated Learning,FL)是指多个工作节点(Worker Node,WN)利用本地数据建立联合模型的范例。尽管广泛的研究,对于一般的非凸FL问题,它是不清楚的,如何选择WN的和服务器的更新方向,小批量的大小,和本地更新频率,使WN使用最少数量的样本和通信轮,以实现所需的解决方案。这项工作解决了上述问题,并考虑了一类随机算法,其中WN在通信之前执行一些本地更新。我们表明,当WN的和服务器的方向选择的基础上随机动量估计,该算法需要$\tilde{\mathcal{O}}(ε^{-3/2})$样本和$\tilde{\mathcal{O}}(ε^{-1})$通信轮计算$ε$ -固定的解决方案。据我们所知,这是第一个FL算法,实现了这样的{ \it接近最佳}的样本和通信复杂性同时。此外,我们发现,有一个权衡曲线之间的本地更新频率和本地minibatch大小,上面的样本和通信复杂性可以保持。最后,我们表明,对于经典的FedAvg(a.k.a.局部SGD,这是STEM的动量较少的特殊情况),存在类似的权衡曲线,尽管具有更差的样本和通信复杂性。我们对这种权衡的见解为选择FL算法的四个重要设计元素提供了指导方针,即更新频率,方向和minibatch大小,以实现最佳性能。
2021-06-19 cs.LG math.OC stat.ML
Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication
联邦学习(FL)由于其分散的结构允许私下训练大量的数据。随机梯度下降(SGD)由于其良好的经验性能而通常用于FL,但是仍然可以从FL迭代期间共享的权重更新推断敏感的用户信息。我们考虑高斯机制,以保持局部差分隐私(LDP)的用户数据在FL模型与SGD。用户隐私,全球效用和传输速率之间的权衡证明通过定义适当的指标FL与LDP。与已有的结果相比,LDP中使用的查询敏感度被定义为一个变量,并应用更严格的隐私计费方法。建议的效用界允许所有用户的异构参数。我们的界限特征有多少效用减少和传输速率增加,如果一个更强的隐私制度的目标。此外,给定一个目标隐私级别,我们的研究结果保证一个显着更大的效用和更小的传输速率相比,现有的隐私会计方法。
2021-02-09 cs.CR cs.DC cs.IT
Hierarchical Federated Learning with Privacy
Telefonica Research(西班牙电信研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
联邦学习(FL),其中数据保留在联合客户端,并且只有梯度更新与中央聚合器共享,被认为是私有的。最近的工作表明,具有梯度级别访问的攻击者可以成功地进行推理和重建攻击。在这种情况下,差异化私人(DP)学习被称为提供弹性。然而,在现状中使用的方法(\ie中央和本地DP)引入了不同的效用与隐私权衡。在这项工作中,我们采取的第一步,减轻这种权衡通过{ \em分层FL(HFL)}。我们证明,通过引入一个新的中间水平,其中校准DP噪声可以添加,更好的隐私与效用权衡,可以获得,我们称之为{ \em分层DP(HDP)}。我们用3个不同的数据集(通常用作FL的基准)进行的实验表明,HDP产生的模型与使用中央DP获得的模型一样准确,中央DP在中央聚合器处添加了噪声。这种方法还提供了与本地DP情况下的推理对手相当的好处,其中在联合客户端添加了噪声。
2022-06-10 cs.CR cs.LG
Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs
University of Kentucky(肯塔基大学)
本文提出动态稀疏联邦特征选择(DSFFS),首次将特征选择嵌入联邦学习训练过程,通过动态剪枝与再生长消除无用特征,在九个真实数据集上验证其能更好平衡精度与通信、计算成本。
2025-04-07 cs.LG
Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach
EMINES, Mohammed VI Polytechnic University(穆罕默德六世理工大学 EMINES 学院);LAAS-CNRS, Université de Toulouse, CNRS(法国国家科学研究中心图卢兹分析系统实验室,图卢兹大学)
本文提出一种随机网络框架,分析异步联邦学习中梯度滞后与收敛速度的权衡,并通过实验展示改进的收敛速度和能耗效率。
2026-03-27 cs.LG cs.PF math.OC
Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for Multi-Agent System
University of Southern California(南加州大学)
分散学习是一种有效的新兴范式,用于提高多个有界计算代理的计算能力。在大数据时代,在分布式和联邦学习(DL和FL)框架内执行推理,中央服务器需要处理大量数据,同时依赖各种代理执行多个分布式训练任务。考虑到分布式计算的拓扑结构,隐私已经成为一个首要的问题。此外,假设代理的信息处理能力有限,需要一个复杂的\textit{privacy-preserving decentralization}来确保有效的计算。为此,我们研究的\textit{privacy-aware server to multi-agent assignment}问题受到信息处理的限制与每个代理,同时保持隐私和确保学习信息的消息,通过分布式私人联邦学习(DPFL)的方法收到代理全球终端。为了找到一个分散的计划,两个代理系统,我们制定了一个优化问题,平衡隐私和准确性,考虑到与每个代理相关联的压缩约束的质量。我们提出了一个迭代收敛算法交替自洽方程。我们还对所提出的解决方案进行了数值评估,以显示隐私预测的权衡,并证明了新方法在确保DL和FL隐私方面的有效性。
2022-04-24 cs.CR cs.IT cs.LG
FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
提出 FedGCN 联邦图卷积网络算法,仅在预训练阶段与中央服务器通信,兼顾快速收敛、低通信开销与隐私保护,并在半监督节点分类中取得更优准确率。
2023-12-18 cs.DC cs.LG
Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出联邦学习框架 FedCEO,通过服务器端张量低秩近端优化让客户端协作平滑全局语义空间,在严格差分隐私保证下恢复模型语义并改进效用-隐私权衡界。
2025-05-05 cs.AI cs.CR cs.LG
Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition
University of Maryland College Park(马里兰大学帕克分校)
本研究引入部分信息分解理论解析联邦学习中全局与局部公平性的权衡机制,识别三类不公平来源,推导权衡边界并提出凸优化问题明确性能极限,通过实验验证理论结论。
2024-03-04 cs.CY cs.IT cs.LG
Convergence-Privacy-Fairness Trade-Off in Personalized Federated Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Macquarie University(麦考瑞大学);Peng Cheng Laboratory(鹏城实验室);University of Technology Sydney(悉尼大学);University of Manitoba(曼尼托巴大学)
本文提出DP-Ditto,在差分隐私保护下扩展Ditto,分析个性化联邦学习中的隐私、收敛与公平权衡,并证明其在公平性和准确性上显著优于现有方法。
2025-06-17 cs.DC cs.LG
Personalized Federated Learning with Contextualized Generalization
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院)
流行的个性化联邦学习(PFL)通常通过维护共享的全局模型来指导局部模型的训练过程,从而在个性化和泛化之间寻求平衡。然而,当局部数据集上存在多个潜在上下文时,单一的全局模型可能容易将偏离的上下文知识转移到某些局部模型。在本文中,我们提出了一个新的概念,称为上下文泛化(CG),为每个客户端提供细粒度的上下文知识,可以更好地适应本地数据分布,促进更快的模型收敛,在此基础上,我们适当地设计了一个框架的PFL,被称为CGPFL。我们进行了详细的理论分析,其中的收敛性保证和$\mathcal{O}(\sqrt{K})$加速大多数现有的方法被授予。为了定量地研究泛化-个性化的权衡,我们引入了“泛化误差”的措施,并证明了建议的CGPFL可以实现一个更好的权衡比现有的解决方案。此外,我们的理论分析进一步启发了一个启发式算法,找到一个接近最优的权衡在CGPFL。在多个真实世界数据集上的实验结果表明,我们的方法在测试精度上明显优于最先进的方法。
2022-05-01 cs.DC cs.LG
Wirelessly Powered Federated Edge Learning: Optimal Tradeoffs Between Convergence and Power Transfer
The University of Hong Kong(香港大学)
联邦边缘学习(FEEL)是一种广泛采用的框架,用于在边缘设备上分布式训练人工智能(AI)模型,以利用其数据,同时保护其数据隐私。在能量受限的设备上执行耗电的学习任务是FEEL实施面临的一个关键挑战。为了应对这一挑战,我们提出了使用无线功率传输(WPT)为设备供电的解决方案。为了获得部署所得到的无线供电FEEL(WP-FEEL)系统的指导方针,这项工作的目的是在两种情况下导出模型收敛和电源设置之间的权衡:1)如果部署了功率信标(专用充电站),则功率信标(专用充电站)的传输功率和密度,或者2)服务器(接入点)的传输功率。所提出的分析框架的发展涉及分布式随机梯度估计的WPT设置的准确性,在通信和WPT链路的随机性,和设备的计算能力。此外,设备处的本地计算(即,最小批量大小和处理器时钟频率)被优化以有效地使用所收集的能量用于梯度估计。由此产生的学习WPT的权衡揭示了简单的缩放定律的模型收敛速率相对于传输的能量以及设备的计算能量效率。结果提供了有用的指导WPT供应提供一个学习性能的评价。它们被使用真实数据集的实验结果所证实。
2021-02-24 cs.IT cs.LG cs.NI
Knowledge Distillation for Federated Learning: a Practical Guide
University of Bologna(博洛尼亚大学);Massachusetts Institute of Technology (MIT)(麻省理工学院);Mila, University of Montreal(蒙特利尔大学米拉研究所)
本文系统综述了联邦学习场景下基于知识蒸馏的算法,提出新的分类框架并详细分析各类方法的优缺点与权衡,为应对参数平均方案的局限提供实用指导。
2025-04-06 cs.LG
Learning Heterogeneous Performance-Fairness Trade-offs in Federated Learning
Department of Computer Science and Engineering and the Research Institute of Trustworthy Autonomous Systems at Southern University of Science and Technology(计算机科学与工程系和可信自主系统研究 institute at 南方科技大学)
为解决联邦学习中均匀偏好采样忽视客户端异构性及局部与全局 Pareto 前沿差距的问题,提出 HetPFL 框架,通过自适应偏好采样和偏好感知超网络融合有效学习局部与全局 Pareto 前沿,实现线性收敛并显著优于基线。
2025-04-30 cs.AI cs.LG
Multi-Message Shuffled Privacy in Federated Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究通信约束下的差分私有分布式优化。使用SGD进行优化的服务器聚合客户端局部梯度,以使用分布式均值估计(DME)进行模型更新。我们开发了一个通信效率的私人DME,使用最近开发的多消息混洗(MMS)的隐私框架。我们分析了我们提出的DME方案,以表明它实现了顺序最优的隐私-通信-性能权衡,解决了[1]中的一个公开问题,即洗牌模型是否可以改善安全聚合中获得的权衡。这也解决了MMS模型中私有向量和的最佳权衡问题。我们通过一种新的隐私机制来实现它,该机制在不同分辨率的局部梯度向量上非均匀地分配隐私。这些结果被直接应用到私人分布式学习算法使用此私人梯度聚集迭代的保证。我们还数值评估私人DME算法。
2023-02-22 cs.CR cs.LG
Empirical Analysis of Privacy-Fairness-Accuracy Trade-offs in Federated Learning: A Step Towards Responsible AI
本文首次对联邦学习中的隐私-公平性-效用权衡进行大规模实证研究,系统比较了DP、HE、SMC与公平性优化器在多数据集上的表现,揭示了隐私与公平机制的意外相互作用,并提出了设计鲁棒FL系统的实用指南。
2025-08-09 cs.CR cs.DC cs.ET
Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Department of ECE, The Hong Kong University of Science and Technology(香港科学与技术大学电子工程系);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文研究了无线环境下基于元学习的个性化联邦学习在泛化与收敛之间的权衡,通过空中计算分析了信道损伤对泛化和收敛的影响。
2025-12-01 cs.IT cs.LG eess.SP
Federated Learning in Genetics: Extended Analysis of Accuracy, Performance and Privacy Trade-offs
Dept. of Computer Science(计算机科学系);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡);Leipzig University(莱比锡大学)
本研究对比TensorFlow Federated和Flower框架在分布式转录组数据上的联邦学习性能,评估准确性、隐私噪声鲁棒性及计算开销,证实两者均可有效训练疾病预后和细胞分类模型。
2025-05-23 cs.CR cs.LG q-bio.GN
Dynamic Federated Learning
Ecole Polytechnique Federal de Lausanne(洛桑联邦理工学院)
联邦学习已经成为多智能体环境中集中协调策略的总称。虽然许多联邦学习架构以在线方式处理数据,因此本质上是自适应的,但大多数性能分析假设静态优化问题,并且在问题解决方案或数据特征存在漂移的情况下无法提供保证。我们考虑一个联邦学习模型,在每一次迭代中,一个随机子集的可用代理执行本地更新的基础上,他们的数据。在一个非平稳随机游走模型上的真极小的聚合优化问题,我们建立了该体系结构的性能是由三个因素,即,在每个代理的数据变异性,在所有代理的模型变异性,和一个跟踪项是成反比的算法的学习率。结果澄清收敛和跟踪性能之间的权衡。
2020-05-05 cs.LG stat.ML
Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google Research(谷歌研究院)
我们考虑一个分布式的经验风险最小化(ERM)优化问题的通信效率和隐私的要求,由联邦学习(FL)框架的动机。在FL的背景下,传统的企业风险管理问题面临的独特挑战包括:(i)需要为客户的数据提供隐私保证,(ii)压缩客户与服务器之间的通信,因为客户可能有低带宽的链接,(iii)在服务器与客户之间的每一轮通信中与动态的客户群体一起工作,因为每一轮都对一小部分客户进行抽样。为了解决这些挑战,我们开发(最佳)的通信效率计划的私人均值估计几个$\ell_p$空间,使有效的梯度聚合的ERM的优化解决方案的每次迭代。我们还提供了下限和上限的均值估计与隐私和通信的限制,任意$\ell_p$空间。为了获得整体通信、隐私和优化性能操作点,我们将其与该设置固有的隐私放大机会相结合。我们的解决方案利用了客户端采样和每个客户端的数据采样(通过随机梯度下降)提供的固有隐私放大,以及最近开发的使用匿名化的隐私框架,它有效地向服务器提供了相对于客户端随机洗牌的响应。把这些放在一起,我们证明,人们可以得到相同的隐私,优化性能的操作点,在最近的方法,使用全精度通信,但在一个低得多的通信成本,即,有效地获得了“免费”的通信效率。
2020-09-23 cs.IT cs.LG math.IT
OPUS-VFL: Incentivizing Optimal Privacy-Utility Tradeoffs in Vertical Federated Learning
Virginia Polytechnic Institute and State University, USA(弗吉尼亚理工大学)
OPUS-VFL通过引入隐私感知激励机制和轻量级LOO策略,解决垂直联邦学习中隐私效用权衡问题,提升模型性能和鲁棒性。
2026-03-18 cs.AI cs.LG
Mitigating Privacy-Utility Trade-off in Decentralized Federated Learning via $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学);Xiamen University(厦门大学)
本文提出两种基于$f$-差分隐私的核算方法(PN-$f$-DP和Sec-$f$-LDP),用于去中心化联邦学习,通过捕获隐私放大获得更紧的隐私界并提升效用。
2025-10-22 cs.CR cs.LG math.ST
Privacy, Robustness, and Fairness Trade-offs in Federated Intrusion Detection: Geometric Indistinguishability at the Aggregation Interface
Bangladesh University of Business and Technology (BUBT)(孟加拉国商业与技术大学(BUBT));Jagannath University(贾格纳特大学);University of New South Wales (UNSW)(新南威尔士大学(UNSW))
本文挑战了联邦入侵检测中隐私、鲁棒性等属性可独立组合的假设,发现隐私与鲁棒聚合的结合会降低稀有攻击检测性能,提出应将三者作为整体研究。
2026-09-04 cs.AI cs.CR cs.LG
Federated Learning of a Mixture of Global and Local Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出了一种新的优化配方训练联邦学习模型。标准公式具有经验风险最小化问题的形式,该问题被构造为找到从存储在所有参与设备中的私有数据训练的单个全局模型。相比之下,我们的公式寻求这种传统的全局模型和本地模型之间的明确权衡,每个设备都可以从自己的私有数据中学习,而无需任何通信。此外,我们开发了几个有效的变种SGD(有和没有部分参与,有和没有方差减少)解决新的配方和证明通信复杂性保证。值得注意的是,我们的方法与联邦平均/局部SGD相似但不完全相同,因此可以了解局部步骤在联邦学习中的作用。特别是,我们是第一个i)表明,本地步骤可以改善与异构数据的问题的沟通,和ii)指出,个性化产生降低通信复杂性。
2021-02-12 cs.DC cs.LG math.OC