Finite-Time Analysis of On-Policy Heterogeneous Federated Reinforcement Learning
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);NC State University(北卡罗来纳州立大学)
针对异构环境下联邦强化学习非渐近性能理论缺失的问题,提出带线性函数逼近的联邦同策略算法FedSARSA,证明其收敛到近优策略且智能体数量增加时可实现线性加速。
2024-04-14 cs.LG cs.SY eess.SY
Federated Reinforcement Learning: Techniques, Applications, and Open Challenges
本文综述联邦强化学习(FRL),介绍其基于联邦学习提升强化学习性能并保护隐私的方法,按智能体分布分为横向与纵向两类,总结其在边缘计算、通信、控制优化和攻击检测等领域的应用,并探讨关键开放研究方向。
2021-10-24 cs.AI cs.LG
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology(佐治亚理工学院)
受强化学习和联邦学习的广泛应用的启发,我们研究了代理网络上的局部随机逼近,其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时,在每个代理的数据是从马尔可夫过程中产生的,因此它们是依赖的。特别是,我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明,这些比率是在一个独立的数据下的对数因子。然后,我们说明了这些结果的应用程序不同的有趣的问题,多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Dynamic Fair Federated Learning Based on Reinforcement Learning
Beijing University of Posts and Telecommunications(北京邮电大学)
针对联邦学习数据异构导致的设备间不公平问题,本文提出强化学习驱动的 DQFFL 算法,利用 α-公平性动态分配客户端权重,并在性能、公平性与收敛速度上超越现有方法。
2023-11-02 cs.CY cs.IT cs.LG
Federated Deep Reinforcement Learning
Sun Yat-Sen University(中山大学);WeBank(微众银行)
在深度强化学习中,当状态的特征空间较小且训练数据有限时,构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功,但由于许多隐私感知应用中数据和/或模型的隐私性,通常不允许将数据或模型从代理直接迁移到另一代理。在本文中,我们提出了一种新的深度强化学习框架,联邦建立模型的高质量的代理考虑他们的隐私,即联邦深度强化学习(FedRL)。为了保护数据和模型的隐私,我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中,我们评估我们的FedRL框架在两个不同的领域,网格世界和Text 2Action域,通过比较各种基线。
2020-02-09 cs.AI cs.LG
FAuNO: Semi-Asynchronous Federated Reinforcement Learning Framework for Task Offloading in Edge Systems
NOVA School of Science and Technology(诺瓦科学与技术学校);Instituto Superior Técnico(理工学院)
FAuNO通过半异步联邦强化学习框架,有效提升边缘系统任务卸载的效率和适应性。
2026-02-28 cs.AI cs.LG
Federated Reinforcement Learning with Environment Heterogeneity
Peking University(北京大学);Xiaohongshu Inc.(小红书公司)
我们研究了一个联邦强化学习(FedRL)问题,其中$n$代理协作学习单个策略,而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束,这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数,我们提出了两个联邦RL算法,\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明,这些算法收敛到次优的解决方案,而这种次优性取决于如何异构这些$n$环境。此外,我们提出了一个启发式,实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练,而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University(德克萨斯农工大学)
针对联邦离线强化学习中简单结合标准方法性能差的问题,提出基于集成学习提炼客户端智慧的FEDORA算法,在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架,证明N个智能体协作求解联合不动点问题可获得N倍线性加速,并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong University of Science and Technology(香港科技大学)
针对机器人如何融合迁移经验以快速适应新环境的问题,提出用于云机器人系统导航的终身联邦强化学习(LFRL)架构,包含知识融合算法与迁移学习方法,实验证明其显著提升了导航学习效率并有效融合先验知识。
2019-05-13 cs.AI cs.DC cs.LG
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University(宾夕法尼亚州立大学)
针对联邦强化学习的线性函数近似场景,提出Fed-LSVI算法,通过压缩统计量实现对数通信成本,达到最优遗憾界,解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院)
在联邦学习(FL)中,模型聚合被广泛用于数据隐私。近年来,为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而,当各种缺陷使得FL过程不可靠时,大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者(DearFSAC)算法,动态分配局部模型的权重,提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法,获得接近最优的性能和稳定的收敛。此外,自动编码器被训练以输出低维嵌入向量,其进一步用于评估模型质量。在实验中,DearFSAC优于现有的三种方法在四个数据集上的独立同分布(IID)和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM(EURECOM研究所);Technical University of Munich(慕尼黑工业大学)
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题,提出模型辅助联邦QMIX算法,交替构建含信道特性与设备位置的环境模型并开展联邦训练,可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University(延世大学);Deakin University(迪肯大学);Samsung Electronics Co., Ltd.(三星电子株式会社);University of Oulu(奥卢大学)
传统的分布式深度强化学习(RL)通常依赖于交换每个代理的经验重放记忆(RM)。由于RM包含所有的状态观测和动作策略历史,它可能会导致巨大的通信开销,同时侵犯每个代理的隐私。或者,本文提出了一个通信高效和隐私保护的分布式强化学习框架,称为联邦强化蒸馏(FRD)。在FRD中,每个代理交换其代理经验重放存储器(ProxRM),其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解,我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外,我们提出了一个改进版本的FRD,创造mixup增强FRD(MixFRD),其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性,与基准计划,香草FRD,联邦强化学习(FRL)和策略蒸馏(PD)相比。
2020-05-15 cs.AI cs.LG
FRESCO: Federated Reinforcement Energy System for Cooperative Optimization
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Masdar City(马斯达尔城)
本文提出FRESCO框架,利用联邦学习训练的强化学习智能体分层控制架构简化能源市场实施,通过上层智能体约束下层贪婪智能体实现协作优化,满足个体目标。
2024-03-27 cs.LG
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu(奥卢大学);University of the Basque Country UPV/EHU(巴斯克大学);Virginia Tech(弗吉尼亚理工大学)
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而,在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知,车辆需要解决以下基本问题:需要共享哪些感知数据?分辨率是多少?用什么车?为了回答这个问题,在本文中,提出了一种新的框架,允许基于强化学习(RL)的车辆关联,资源块(RB)分配,并通过利用基于四叉树的点云压缩机制的合作感知消息(CPM)的内容选择。此外,为了加快跨车辆的训练过程,引入了联邦RL方法。仿真结果表明,RL代理的能力,有效地学习车辆的关联,RB分配,和消息内容的选择,同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明,联邦强化学习改进了训练过程,与非联邦方法相比,可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing(人工智能学院,中国石油大学(北京));Hainan Institute of China University of Petroleum (Beijing)(中国石油大学(北京)海南学院)
针对联邦强化学习中的隐私与性能权衡问题,提出FedRAG框架,通过共享并聚合基于近似行为度量的状态投影函数,在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology(机械工程系,罗切斯特理工学院);Dept. of Psychology and School of Information, Rochester Institute of Technology(心理学系和信息学院,罗切斯特理工学院);Department of Engineering Science, University West(工程科学系,西大学);Golisano College of Computing and Information Sciences, Rochester Institute of Technology(计算与信息科学学院,罗切斯特理工学院)
本文提出FedDistRL和TR-FedDistRL,通过分布批评正则化提升安全性和稳定性,在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院)
研究微电网能量协调中联邦强化学习的约束感知聚合,提出含本地性能和约束违反的聚合规则,基于惩罚的规则效果最佳,实验表明轻量级聚合策略能在保留通信协议时提高联邦强化学习的经验安全性。
2026-07-15 cs.AI cs.LG
FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning
VinUniversity(Vin大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
本地数据在不同边缘设备(客户端)之间的不均匀分布导致联邦学习中模型训练缓慢和准确性降低。朴素的联邦学习(FL)策略和大多数替代解决方案试图通过在客户端之间加权聚合深度学习模型来实现更大的公平性。这项工作介绍了一种新的非IID类型,在现实世界中遇到的数据集,即集群偏斜,其中客户端组具有类似分布的本地数据,导致全局模型收敛到过拟合的解决方案。为了处理非IID数据,特别是聚类偏斜数据,我们提出了FedDRL,这是一种新的FL模型,采用深度强化学习来自适应地确定每个客户端的影响因子(将用作聚合过程中的权重)。在一组联邦数据集上进行的大量实验证实,所提出的FedDRL相对于FedAvg和FedProx方法有了有利的改进,例如,CIFAR-100数据集的平均值分别为4.05%和2.17%。
2022-08-04 cs.CV cs.LG
A Fair Federated Learning Framework With Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
联邦学习(FL)是一种范例,其中许多客户端在中央服务器的协调下协作地训练模型,同时保持训练数据本地存储。然而,异构数据分布在不同的客户端仍然是一个挑战,主流FL算法,这可能会导致收敛速度慢,整体性能下降和性能的不公平的客户端之间。为了解决这些问题,在这项研究中,我们提出了一个强化学习框架,称为PG-FFL,它自动学习的政策分配聚合权重的客户端。此外,我们提出利用基尼系数作为公平性的衡量FL。更重要的是,我们应用基尼系数和验证准确率的客户端在每一轮的通信构建一个奖励函数的强化学习。我们的PG-FFL也兼容许多现有的FL算法。我们在不同的数据集上进行了广泛的实验,以验证我们的框架的有效性。实验结果表明,我们的框架可以优于基线方法的整体性能,公平性和收敛速度。
2022-05-26 cs.LG
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering;Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架,使多机器人在不共享原始数据的情况下协作学习运动规划策略,并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University(延世大学);University of Oulu(奥卢大学)
在分布式强化学习中,通常交换每个代理的经验记忆,从而集体训练它们的局部模型。然而,经验存储器包含所有先前的状态观察和它们对应的主机代理的策略,这可能会侵犯代理的隐私。为了避免这个问题,在这项工作中,我们提出了一个隐私保护的分布式强化学习(RL)框架,称为联邦强化蒸馏(FRD)。其关键思想是交换一个代理体验记忆,包括预先安排的一组状态和时间平均策略,从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构,我们数值评估FRD的有效性,并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University(东南大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
雾无线电接入网络(F-RAN)是一项很有前途的技术,其中用户移动设备(MD)可以将计算任务卸载到附近的雾接入点(F-AP)。由于F-AP的资源有限,设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境,以任务执行延迟和MD能耗最小为目标,提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题,提出了一种基于联合深度强化学习(DRL)的算法,其中深度确定性策略梯度(DDPG)算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私,采用联邦学习对DDPG代理进行训练。仿真结果表明,与现有的其他策略相比,所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University(哈佛大学);University of Toronto(多伦多大学);Microsoft(微软)
联邦学习(FL)是一种训练技术,其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性,在本文中,我们专注于提高训练效率,这往往是在现实世界中采用FL的一个障碍。具体而言,我们设计了一个有效的FL框架,共同优化模型的准确性,处理延迟和通信效率,所有这些都是主要的设计考虑因素,真正实现FL。最近成功的多智能体强化学习(MARL)在解决复杂的控制问题的启发,我们提出了\textit{FedMarl},基于MARL的FL框架,执行高效的运行时客户端选择。实验结果表明,FedMarl可以显著提高模型的准确性,同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London(帝国理工学院);Beijing Jiaotong University(北京交通大学)
本文提出联邦强化学习框架PASM,结合强化学习与联邦学习,通过不精确ADMM和自适应步长解决V2X网络资源分配问题,兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Chengdu Neusoft University(成都新soft大学)
本文提出了一种联邦元深度强化学习框架FedMAGS,用于解决车载边缘计算中异构任务卸载问题,通过图注意力网络捕捉DAG依赖关系,序列到序列策略生成结构化卸载决策,并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
Smart Information Exchange for Unsupervised Federated Learning via Reinforcement Learning
Purdue University(普渡大学);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
本文提出利用强化学习在无监督联邦学习中创建最优数据传输图,以解决本地非独立同分布数据集问题,并在考虑环境约束下提升收敛速度和对落后节点的鲁棒性。
2024-02-15 cs.LG
Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
Department of Civil Engineering and Engineering Mechanics, Columbia University(哥伦比亚大学土木工程与工程力学系);Department of Civil and Environmental Engineering, University of Michigan(密歇根大学土木与环境工程系);Center for Smart Cities, Data Science Institute, Columbia University(哥伦比亚大学智能城市中心、数据科学研究所);Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系)
本文提出分层联邦强化学习方法,用于解决大规模异质交通信号控制中的协调与可扩展性问题,通过动态分组提升性能。
2026-02-07 cs.LG
Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning
主动边缘关联能够以增加的切换(HO)频率和能量消耗为代价来改善无线连接,同时依赖于决策所需的大量私有信息共享。为了在不泄露隐私的情况下改善连通性-代价权衡,研究了在环境不确定性和个体学习不可行的情况下,保护隐私的联合边关联和功率分配(JEAPA)问题.在通过分散的部分可观察马尔可夫决策过程(Dec-POMDP)对问题进行建模后,通过仅共享加密的训练数据以用于联邦地学习所寻求的策略,通过联邦多智能体强化学习(FMARL)来解决该问题。我们的模拟结果表明,所提出的解决方案取得了令人信服的权衡,同时保持了更高的隐私水平比国家的最先进的解决方案。
2023-01-26 cs.AI cs.CR cs.LG
Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习(FL)的文献越来越多,最近启发了联邦强化学习(FRL),以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管FRL有很好的应用前景,但现有的FRL工作未能提供I)其收敛性的理论分析,II)考虑随机系统故障和对抗攻击。为此,我们提出了第一个FRL框架的收敛性是有保证的,并容忍不到一半的参与代理随机系统故障或对抗性攻击者。我们证明了所提出的框架的样本效率是保证提高与代理的数量,并能够考虑到这种潜在的故障或攻击。所有的理论结果都在各种RL基准任务上得到了经验验证。
2022-11-03 cs.AI cs.LG
Local Environment Poisoning Attacks on Federated Reinforcement Learning
本文提出了一种针对联邦强化学习(FRL)的局部环境投毒攻击通用框架,将其建模为优化问题,并通过大量实验证明该框架能有效降低FRL系统性能,揭示了其脆弱性。
2024-01-04 cs.CR cs.LG
Compressed Federated Reinforcement Learning with a Generative Model
Stockholm University(斯德哥尔摩大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对联邦强化学习聚合步骤通信成本高的问题,提出CompFedRL方法,结合周期性聚合与压缩机制,在生成模型设置下通过有限时间分析证明其强收敛性并降低通信开销。
2024-10-14 cs.DC cs.LG cs.MA
Federated Reinforcement Learning with Constraint Heterogeneity
Peking University(北京大学)
本文针对约束信号访问受限的多智能体联邦强化学习问题,提出基于原始-对偶策略优化的 FedNPG 和 FedPPO 方法,并证明 FedNPG 具有全局收敛性,FedPPO 可高效处理复杂任务。
2024-05-06 cs.LG stat.ML
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center(分布式计算研究中心)
本文提出RGIA方法,通过正则化梯度反向攻击,有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning
Zhejiang University(浙江大学);Zhejiang Lab(浙江实验室)
在联邦学习(FL)范式下,研究了独立强化学习(IRL)在多智能体决策过程中的应用。我们发现,FL可以明显提高IRL的培训效率和稳定性方面的政策性能。然而,由于策略参数是在本地训练的,并通过FL中的中央服务器迭代地聚合,因此频繁的信息交换会产生大量的通信开销。为了在提高模型的收敛性能和减少所需的通信和计算开销之间取得良好的平衡,本文提出了一个系统效用函数,并在周期平均法的基础上开发了一个基于共识的优化方案,该方案将共识算法引入FL中,用于交换模型的局部梯度。本文还提供了新的收敛性保证的发展方法,并通过理论分析和数值仿真结果表明,其优越的有效性和效率,提高系统的效用值。
2022-01-30 cs.AI cs.LG cs.MA
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);School of Cyber Science and Technology, Sun Yat-sen University(中山大学网络科学与技术学院);Department of Computer Science and Technology, BNRist, Tsinghua University(清华大学计算机科学与技术系);Zhongguancun Laboratory(中关村实验室)
FOVA通过引入投票机制和优势加权回归,有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control
Nanjing University of Science and Technology(南京理工大学);CSIRO(澳大利亚联邦科学与工业研究组织);Shanghai Jiao Tong University(上海交通大学);Southeast University(东南大学)
动态和异构数据流量的爆炸式增长为5G及以后的移动网络带来了巨大挑战。为了提高网络容量和可靠性,提出了一种基于学习的动态时频分复用(D-TFDD)方案,该方案自适应地分配基站的上下行时频资源,以满足非对称和异构业务需求,同时减轻小区间干扰。我们制定的问题作为一个分散的部分可观察马尔可夫决策过程(Dec-POMDP),最大限度地提高长期预期的总和率下用户的丢包率的限制。为了以分散的方式联合优化全局资源,提出了一种联合的强化学习(RL)算法--联合Wolpertinger深度确定性策略梯度(FWDDPG)算法.在分散式联邦学习框架下,各基站通过强化学习算法确定其局部时频配置,并通过与邻居交换局部强化学习模型实现全局训练。具体而言,针对每个基站的大规模离散动作空间,采用基于DDPG的算法在连续空间中生成动作,然后利用Wolpertinger策略减少从连续动作空间到离散动作空间的映射误差.仿真结果表明,我们提出的算法优于基准算法的系统和速率。
2022-11-04 cs.LG cs.NI
Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity
Department of Electrical Engineering \& Computer Science Florida Atlantic University Boca Raton, FL, USA
针对联邦强化学习在异构环境中状态转移动力学差异导致输入分布不一致和参数更新不平衡的问题,提出个性化观测归一化方法,通过各智能体本地维护运行均值和方差对原始状态输入进行归一化,加速训练并提升性能。
2026-04-10 cs.AI cs.LG
Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach
Shanghai Jiao Tong University(上海交通大学);Shandong University(山东大学);Zhejiang Lab(之江实验室)
跨筒仓联邦学习(FL)是一种典型的FL,它使组织(例如,金融或医疗实体)来在隔离数据上训练全局模型。合理的激励是鼓励组织贡献数据的关键。然而,关于激励跨筒仓FL的现有工作缺乏对环境动态的考虑(例如,训练的全局模型的精度和训练过程中不确定客户端拥有的数据)。此外,他们中的大多数人认为组织共享私人信息,这是不现实的。为了克服这些限制,我们提出了一种新的自适应机制,跨筒仓FL,激励组织贡献数据,以最大限度地提高他们的长期回报在一个真正的动态培训环境。该机制基于多智能体强化学习,在不需要组织私有信息的情况下,从潜在博弈的历史中学习接近最优的数据贡献策略。实验结果表明,该机制实现了自适应激励,有效地提高了组织的长期收益。
2023-02-15 cs.AI cs.DC cs.LG
FedHPD: Heterogeneous Federated Reinforcement Learning via Policy Distillation
National University of Defense Technology(国防科技大学);CFAR, A*STAR(新加坡科研局CFAR);National University of Singapore(新加坡国立大学)
本文针对黑盒设定下异构智能体的联邦强化学习问题,提出FedHPD框架,利用动作概率分布作为知识共享媒介实现异构策略蒸馏,理论证明了其收敛性并在多种基准任务上取得显著提升。
2025-02-02 cs.AI cs.LG cs.MA
FRL-FI: Transient Fault Analysis for Federated Reinforcement Learning-Based Navigation Systems
Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
群体智能正越来越多地部署在无人机和无人驾驶汽车等自主系统中。联邦强化学习(FRL),一个关键的群体智能范例,其中代理与自己的环境交互,并合作学习共识策略,同时保护隐私,最近显示出潜在的优势,并获得普及。然而,随着技术节点的不断扩展,硬件系统中的瞬时故障越来越多,并可能对FRL系统构成威胁。同时,传统的基于冗余的保护方法在资源受限的边缘应用上部署具有挑战性。在本文中,我们实验评估故障模型,故障位置,学习算法,层类型,通信间隔,和数据类型在训练和推理阶段的FRL导航系统在不同尺度的容错性。我们进一步提出了两种具有成本效益的故障检测和恢复技术,可以在FRL系统中实现高达3.3倍的弹性提高,开销<2.7%。
2022-03-14 cs.AR cs.LG
Vehicles Control: Collision Avoidance using Federated Deep Reinforcement Learning
University Moulay Ismail(穆莱·伊斯梅尔大学);Al Akhawayn University in Ifrane(伊夫兰阿卡韦恩大学);ENSIAS, Mohammed V University in Rabat(拉巴特穆罕默德五世大学国家计算机科学与系统分析学院)
本文研究基于联邦深度强化学习的车辆避撞控制,通过对比DDPG与FDDPG,证明FDDPG在减少延误、提升平均速度和防碰撞方面更优,同时保护数据隐私。
2023-08-04 cs.AI cs.LG
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna(印度理工学院巴特那分校);Rajiv Gandhi Institute of Petroleum Technology(拉吉夫·甘地石油技术学院)
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题,提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架,在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks
University of California at Irvine(加州大学尔湾分校);Northeastern University(东北大学)
下一代(NextG)网络预计将支持要求苛刻的触觉互联网应用,如增强现实和联网自动驾驶汽车。虽然最近的创新带来了更大的链路容量的承诺,他们对环境的敏感性和不稳定的性能无视传统的基于模型的控制原理。零接触数据驱动方法可以提高网络适应当前操作条件的能力。诸如强化学习(RL)算法之类的工具可以仅基于观察的历史来构建最优控制策略。具体而言,使用深度神经网络(DNN)作为预测器的深度RL(DRL)已被证明即使在复杂环境和高维输入下也能实现良好的性能。然而,DRL模型的训练需要大量的数据,这可能会限制其对底层环境不断变化的统计数据的适应性。此外,无线网络本质上是分布式系统,其中集中式DRL方法将需要过多的数据交换,而完全分布式方法可能导致较慢的收敛速率和性能下降。在本文中,为了解决这些挑战,我们提出了一种联邦学习(FL)方法来DRL,我们称之为联邦DRL(F-DRL),其中基站(BS)通过仅共享模型的权重而不是训练数据来协作训练嵌入式DNN。我们评估了两个不同版本的F-DRL,价值和政策的基础上,并显示其优越的性能相比,分布式和集中式DRL。
2021-12-07 cs.LG
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题,本文提出反转演员-评论家更新顺序的FedRAC算法,理论证明其收敛界不受异质性影响,并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
Federated Reinforcement Learning in Heterogeneous Environments
Department of Electronic Engineering, Hanyang University(电子工程系,翰阳大学)
本文针对异构环境提出FRL-EH框架及FedRQ算法,通过新型全局目标函数实现鲁棒策略学习,并扩展至连续状态空间,实验证明其性能优于现有联邦强化学习方法。
2025-07-19 cs.LG
Election of Collaborators via Reinforcement Learning for Federated Brain Tumor Segmentation
Turku University of Applied Sciences(图尔库应用科学大学)
本文提出RL-HSimAgg算法,将多臂老虎机强化学习用于联邦学习中协作者选择,并在脑肿瘤分割任务中验证UCB策略优于Epsilon-greedy,提升模型鲁棒性与分割性能。
2024-12-28 cs.CV cs.LG
Differentiated Federated Reinforcement Learning Based Traffic Offloading on Space-Air-Ground Integrated Networks
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Graduate School of Information Sciences (GSIS), Tohoku University(东北大学信息科学研究生院)
针对空天地一体化网络的动态异构特性,提出差异化联邦强化学习(DFRL)及DFSAC算法,通过多智能体生成差异化流量卸载策略,以联合奖励优化延迟,仿真验证其在吞吐量、丢包率和延迟上优于传统方法。
2024-07-18 cs.LG cs.NI
Heterogeneous Federated Reinforcement Learning Using Wasserstein Barycenters
Knight Foundation School of Computing and Information Sciences(骑士基金会计算与信息科学学院);Florida International University(佛罗里达国际大学)
本文提出FedWB算法,利用Wasserstein重心进行模型融合,并扩展至异构联邦强化学习,通过CartPole实验验证了全局DQN在多环境中的有效性。
2025-06-18 cs.LG
Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
针对联邦多任务强化学习的去中心化全局最优策略学习问题,提出表格型联邦自然策略梯度方法及带函数近似的联邦自然Actor-Critic方法,证明了近似维度无关的收敛性与有限样本复杂度。
2024-08-16 cs.AI cs.LG
FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
针对异构联邦强化学习中的分布不匹配问题,提出FedGuide框架,利用扩散先验作为行为模型,通过OT-MoE聚合保留异构模式,并采用DICE价值基线引导策略改进,实验证明其在回报和鲁棒性上优于现有方法。
2026-10-08 cs.LG cs.RO
Federated Reinforcement Learning for Collective Navigation of Robotic Swarms
The University of Manchester(曼彻斯特大学);Czech Technical University in Prague(布拉格捷克理工大学);Durham University(杜伦大学)
深度强化学习(DRL)的最新进展通过允许自动控制器设计而为机器人技术做出了贡献。群机器人系统需要比单个机器人系统更复杂的控制器来引导期望的集体行为,自动控制器的设计是群机器人系统设计的关键方法。虽然基于DRL的控制器设计方法显示了其有效性,但在机器人-服务器通信不稳定或有限的现实环境中,对中央训练服务器的依赖是一个关键问题。我们提出了一种新的联邦学习(FL)为基础的DRL训练策略(FLDDPG)用于群体机器人应用。通过在有限通信带宽的情况下与基线策略的比较,结果表明,FLDDPG方法导致更高的鲁棒性和推广能力到不同的环境和真实的机器人,而基线策略受到通信带宽的限制。这一结果表明,所提出的方法可以使在通信带宽有限的环境中操作的群机器人系统受益,例如,在高辐射、水下或地下环境中。
2022-09-11 cs.LG cs.RO