Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
针对联邦离线强化学习中简单结合标准方法性能差的问题，提出基于集成学习提炼客户端智慧的FEDORA算法，在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)（（2025年7月））
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究，比较其结构异同，涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Institute for Advanced Study, UESTC（电子科技大学深圳高等研究院）
在联邦学习（FL）中，模型聚合被广泛用于数据隐私。近年来，为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而，当各种缺陷使得FL过程不可靠时，大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者（DearFSAC）算法，动态分配局部模型的权重，提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法，获得接近最优的性能和稳定的收敛。此外，自动编码器被训练以输出低维嵌入向量，其进一步用于评估模型质量。在实验中，DearFSAC优于现有的三种方法在四个数据集上的独立同分布（IID）和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架，将内在动机探索与随机网络蒸馏引入个性化联邦强化学习，在保护客户端隐私的同时，提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
研究微电网能量协调中联邦强化学习的约束感知聚合，提出含本地性能和约束违反的聚合规则，基于惩罚的规则效果最佳，实验表明轻量级聚合策略能在保留通信协议时提高联邦强化学习的经验安全性。
2026-07-15 cs.AI cs.LG
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University（哈佛大学）；University of Toronto（多伦多大学）；Microsoft（微软）
联邦学习（FL）是一种训练技术，其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性，在本文中，我们专注于提高训练效率，这往往是在现实世界中采用FL的一个障碍。具体而言，我们设计了一个有效的FL框架，共同优化模型的准确性，处理延迟和通信效率，所有这些都是主要的设计考虑因素，真正实现FL。最近成功的多智能体强化学习（MARL）在解决复杂的控制问题的启发，我们提出了\textit{FedMarl}，基于MARL的FL框架，执行高效的运行时客户端选择。实验结果表明，FedMarl可以显著提高模型的准确性，同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
针对联邦强化学习的线性函数近似场景，提出Fed-LSVI算法，通过压缩统计量实现对数通信成本，达到最优遗憾界，解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习（FL）的文献越来越多，最近启发了联邦强化学习（FRL），以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管FRL有很好的应用前景，但现有的FRL工作未能提供I）其收敛性的理论分析，II）考虑随机系统故障和对抗攻击。为此，我们提出了第一个FRL框架的收敛性是有保证的，并容忍不到一半的参与代理随机系统故障或对抗性攻击者。我们证明了所提出的框架的样本效率是保证提高与代理的数量，并能够考虑到这种潜在的故障或攻击。所有的理论结果都在各种RL基准任务上得到了经验验证。
2022-11-03 cs.AI cs.LG
Personalized Federated Hypernetworks for Privacy Preservation in Multi-Task Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
多智能体强化学习目前专注于所有数据和训练都可以集中到一台机器上的实现。但是，如果本地代理被划分为多个任务，并且需要在每个任务之间保持数据私有，该怎么办？我们开发了个性化联邦超网络（PFH）的强化学习（RL）的第一个应用程序。然后，我们提出了一种新的应用PFH的Few-Shot转移，并证明了显着的初始增加学习。PFH从来没有被证明超过监督学习基准，所以我们将PFH应用到一个重要的领域：RL能源需求响应的价格设定。我们考虑一个一般的情况下，代理人被分割在多个微电网，其中能源消耗数据必须保持在每个微电网的私人。总之，我们的工作探索了个性化联邦学习和RL领域如何结合在一起，使学习在多个任务中有效，同时保持数据安全。
2022-10-19 cs.AI cs.LG cs.SY
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络科学与技术学院）；Department of Computer Science and Technology, BNRist, Tsinghua University（清华大学计算机科学与技术系）；Zhongguancun Laboratory（中关村实验室）
FOVA通过引入投票机制和优势加权回归，有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Oulu（奥卢大学）
雾无线电接入网络（F-RAN）是一项很有前途的技术，其中用户移动设备（MD）可以将计算任务卸载到附近的雾接入点（F-AP）。由于F-AP的资源有限，设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境，以任务执行延迟和MD能耗最小为目标，提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题，提出了一种基于联合深度强化学习（DRL）的算法，其中深度确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私，采用联邦学习对DDPG代理进行训练。仿真结果表明，与现有的其他策略相比，所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity
Department of Electrical Engineering \& Computer Science Florida Atlantic University Boca Raton, FL, USA
针对联邦强化学习在异构环境中状态转移动力学差异导致输入分布不一致和参数更新不平衡的问题，提出个性化观测归一化方法，通过各智能体本地维护运行均值和方差对原始状态输入进行归一化，加速训练并提升性能。
2026-04-10 cs.AI cs.LG
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文提出联邦强化学习框架PASM，结合强化学习与联邦学习，通过不精确ADMM和自适应步长解决V2X网络资源分配问题，兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Vehicles Control: Collision Avoidance using Federated Deep Reinforcement Learning
University Moulay Ismail（穆莱·伊斯梅尔大学）；Al Akhawayn University in Ifrane（伊夫兰阿卡韦恩大学）；ENSIAS, Mohammed V University in Rabat（拉巴特穆罕默德五世大学国家计算机科学与系统分析学院）
本文研究基于联邦深度强化学习的车辆避撞控制，通过对比DDPG与FDDPG，证明FDDPG在减少延误、提升平均速度和防碰撞方面更优，同时保护数据隐私。
2023-08-04 cs.AI cs.LG
Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning
主动边缘关联能够以增加的切换（HO）频率和能量消耗为代价来改善无线连接，同时依赖于决策所需的大量私有信息共享。为了在不泄露隐私的情况下改善连通性-代价权衡，研究了在环境不确定性和个体学习不可行的情况下，保护隐私的联合边关联和功率分配（JEAPA）问题.在通过分散的部分可观察马尔可夫决策过程（Dec-POMDP）对问题进行建模后，通过仅共享加密的训练数据以用于联邦地学习所寻求的策略，通过联邦多智能体强化学习（FMARL）来解决该问题。我们的模拟结果表明，所提出的解决方案取得了令人信服的权衡，同时保持了更高的隐私水平比国家的最先进的解决方案。
2023-01-26 cs.AI cs.CR cs.LG
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University（延世大学）；University of Oulu（奥卢大学）
在分布式强化学习中，通常交换每个代理的经验记忆，从而集体训练它们的局部模型。然而，经验存储器包含所有先前的状态观察和它们对应的主机代理的策略，这可能会侵犯代理的隐私。为了避免这个问题，在这项工作中，我们提出了一个隐私保护的分布式强化学习（RL）框架，称为联邦强化蒸馏（FRD）。其关键思想是交换一个代理体验记忆，包括预先安排的一组状态和时间平均策略，从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构，我们数值评估FRD的有效性，并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
Compressed Federated Reinforcement Learning with a Generative Model
Stockholm University（斯德哥尔摩大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对联邦强化学习聚合步骤通信成本高的问题，提出CompFedRL方法，结合周期性聚合与压缩机制，在生成模型设置下通过有限时间分析证明其强收敛性并降低通信开销。
2024-10-14 cs.DC cs.LG cs.MA
Dynamic Fair Federated Learning Based on Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对联邦学习数据异构导致的设备间不公平问题，本文提出强化学习驱动的 DQFFL 算法，利用 α-公平性动态分配客户端权重，并在性能、公平性与收敛速度上超越现有方法。
2023-11-02 cs.CY cs.IT cs.LG
Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
针对联邦多任务强化学习的去中心化全局最优策略学习问题，提出表格型联邦自然策略梯度方法及带函数近似的联邦自然Actor-Critic方法，证明了近似维度无关的收敛性与有限样本复杂度。
2024-08-16 cs.AI cs.LG
OptiGradTrust: Byzantine-Robust Federated Learning with Multi-Feature Gradient Analysis and Reinforcement Learning-Based Trust Weighting
School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，德黑兰大学，德黑兰，伊朗）
OptiGradTrust通过多特征梯度分析和强化学习信任加权，提升联邦学习在拜占庭攻击和数据异质性下的鲁棒性和准确性。
2025-07-31 cs.AI cs.LG
Federated Reinforcement Learning with Environment Heterogeneity
Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）
我们研究了一个联邦强化学习（FedRL）问题，其中$n$代理协作学习单个策略，而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束，这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数，我们提出了两个联邦RL算法，\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明，这些算法收敛到次优的解决方案，而这种次优性取决于如何异构这些$n$环境。此外，我们提出了一个启发式，实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练，而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
Personalized Federated Deep Reinforcement Learning-based Trajectory Optimization for Multi-UAV Assisted Edge Computing
Nanjing University of Science and Technology（南京理工大学）；Zhejiang Lab（之江实验室）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC联合学院）；Louisiana State University（路易斯安那州立大学）
针对多无人机辅助边缘计算中的轨迹优化，提出个性化联邦深度强化学习（PF-DRL），为每个智能体定制模型以解决数据稀缺和异质性，实现更快收敛和更优服务质量。
2023-09-05 cs.LG cs.MA
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架，证明N个智能体协作求解联合不动点问题可获得N倍线性加速，并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
FORLER: Federated Offline Reinforcement Learning with Q-Ensemble and Actor Rectification
Central South University, School of Computer Science, Changsha, China（中南大学计算机学院）；Sun Yat-sen University, School of Cyber Science and Technology, Shenzhen, China（中山大学网络安全学院）
FORLER通过Q-集成和演员校正，解决离线联邦RL中的策略污染问题，提升鲁棒性和性能。
2026-02-02 cs.AI cs.LG
Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Zhejiang Lab（之江实验室）
跨筒仓联邦学习（FL）是一种典型的FL，它使组织（例如，金融或医疗实体）来在隔离数据上训练全局模型。合理的激励是鼓励组织贡献数据的关键。然而，关于激励跨筒仓FL的现有工作缺乏对环境动态的考虑（例如，训练的全局模型的精度和训练过程中不确定客户端拥有的数据）。此外，他们中的大多数人认为组织共享私人信息，这是不现实的。为了克服这些限制，我们提出了一种新的自适应机制，跨筒仓FL，激励组织贡献数据，以最大限度地提高他们的长期回报在一个真正的动态培训环境。该机制基于多智能体强化学习，在不需要组织私有信息的情况下，从潜在博弈的历史中学习接近最优的数据贡献策略。实验结果表明，该机制实现了自适应激励，有效地提高了组织的长期收益。
2023-02-15 cs.AI cs.DC cs.LG
AVDDPG: Federated reinforcement learning applied to autonomous platoon control
自2016年以来，联邦学习（FL）一直是人工智能（AI）研究界讨论的一个不断发展的话题。FL的应用导致了联邦强化学习（FRL）的发展和研究。很少有作品存在的主题FRL应用于自主车辆（AV）排。此外，大多数FRL作品选择单一的聚合方法（通常是权重或梯度聚合）。我们探索FRL的有效性，以提高AV排的设计和实施FRL框架之上的自定义AV排环境。在两种情况下研究了FRL在无人机编队中的应用：（1）编队间FRL（Inter-FRL），其中FRL应用于不同编队的无人机;（2）编队内FRL（Intra-FRL），其中FRL应用于单个编队内的无人机。使用梯度和权重聚合将Inter-FRL和Intra-FRL应用于自定义AV队列环境，以观察FRL相对于未经FRL训练的AV队列环境对AV队列的性能影响。它的结论是，内FRL使用权重聚合（内FRLWA）提供了最佳的性能控制AV排。此外，我们发现，在FRL的AV队列的重量聚合提供了相对于梯度聚合的性能增加。最后，进行了性能分析内FRLWA与队列环境中没有FRL的长度为3，4和5辆车的队列。可以得出结论，内FRLWA在很大程度上优于没有FRL训练的队列环境。
2022-07-05 cs.AI cs.LG
Momentum-Based Federated Reinforcement Learning with Interaction and Communication Efficiency
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Laboratory（中关村实验室）
本文提出联邦强化学习算法 MFPO，利用动量、重要性采样和服务器端调整降低交互与通信成本，实现交互复杂度线性加速，并在高维基准上验证性能优势。
2024-05-29 cs.AI cs.LG
Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning
Georgia Tech（佐治亚理工学院）；Google（谷歌）
我们提出了一个框架，结合分层和多代理深度强化学习方法，使用半分散模型解决众多代理之间的协调问题。该框架通过引入一个元控制器来扩展多代理学习设置，该元控制器引导代理对之间的通信，使代理能够专注于在任何步骤中仅与另一个代理进行通信。这种任务的层次分解允许有效的探索，以学习识别全局最优解决方案的策略，即使合作代理的数量增加。我们展示了有前途的初步实验结果的模拟分布式调度问题。
2017-12-22 cs.AI
Securing IoT Communication using Physical Sensor Data -- Graph Layer Security with Federated Multi-Agent Deep Reinforcement Learning
Cranfield University（克兰菲尔德大学）
物联网（IoT）设备通常用于通过数字无线信道传输物理传感器数据。传统的基于物理层安全（PLS）的密码学方法依赖于精确的信道估计和用于密钥生成的信息交换，这将密钥质量与数字信道估计质量紧密联系在一起。最近，我们提出了一个新的概念，称为图形层安全（GLS），其中数字密钥来自物理传感器读数。合法用户之间的传感器读数通过公共后台基础设施环境（例如，公共配水网络或电网）。GLS面临的挑战是如何实现分布式密钥生成。提出了一种联邦多智能体深度强化学习辅助的分布式密钥生成方案（FD 2K），充分利用物理动力学的共同特征在合法用户之间建立秘密密钥。我们首次提出了GLS与联邦学习的初步实验结果，在密钥一致率（KAR）和密钥随机性方面实现了相当大的安全性能。
2023-02-24 cs.AI
FedDRL: A Trustworthy Federated Learning Model Fusion Method Based on Staged Reinforcement Learning
China University of Petroleum (East China)（中国石油大学（华东））；Digital Research Institute, ENN Group（新奥集团数字研究院）；Nanyang Technological University（南洋理工大学）
针对联邦学习中固定权重融合及恶意模型导致全局模型性能下降的问题，提出基于两阶段强化学习的FedDRL方法，先过滤恶意模型再自适应调整权重，实验证明其在保持精度的同时可靠性更高。
2024-03-19 cs.AI cs.LG
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM（EURECOM研究所）；Technical University of Munich（慕尼黑工业大学）
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题，提出模型辅助联邦QMIX算法，交替构建含信道特性与设备位置的环境模型并开展联邦训练，可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Federated Multi-Agent Deep Reinforcement Learning for Dynamic and Flexible 3D Operation of 5G Multi-MAP Networks
CEA-Leti（原子能和替代能源委员会信息技术实验室）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
针对5G网络中无人机MAP的动态3D管理问题，提出两层分层架构与联邦双注意力DRL方法，联合优化MAP数量、位置及无线回传连接。
2023-06-30 cs.LG cs.MA cs.NI
Federated Reinforcement Learning for Runtime Optimization of AI Applications in Smart Eyewears
Politecnico di Milano（米兰理工大学）；EssilorLuxottica（依视路陆逊梯卡）；Smart Eyewear Lab（智能眼镜实验室）
针对智能眼镜AI应用的计算、续航及数据隐私等挑战，提出联邦强化学习（FRL）框架，通过同步与异步聚合策略实现多智能体协同训练，显著降低性能变异性，为实时AI处理提供稳定可靠的解决方案。
2025-08-24 cs.AI
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题，提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架，在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
FRESCO: Federated Reinforcement Energy System for Cooperative Optimization
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Masdar City（马斯达尔城）
本文提出FRESCO框架，利用联邦学习训练的强化学习智能体分层控制架构简化能源市场实施，通过上层智能体约束下层贪婪智能体实现协作优化，满足个体目标。
2024-03-27 cs.LG
Federated Transfer Reinforcement Learning for Autonomous Driving
Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
强化学习（RL）被广泛应用于自动驾驶任务中，并且训练RL模型通常涉及多个步骤的过程：在模拟器上预训练RL模型，将预训练的模型上传到现实生活中的机器人，以及微调机器人车辆上的重量参数。这个顺序的过程非常耗时，更重要的是，来自微调模型的知识停留在本地，不能被重用或协同利用。为了解决这个问题，我们提出了一个在线联邦RL传输过程，用于实时知识提取，其中所有参与者代理都使用其他人学到的知识进行相应的操作，即使他们在非常不同的环境中行事。为了验证所提出的方法的有效性，我们构建了一个现实生活中的碰撞避免系统与微软Airsim模拟器和NVIDIA JetsonTX2汽车代理，合作从头开始学习，以避免在室内环境中与障碍物的碰撞。我们证明，与建议的框架，模拟器汽车代理可以实时传输知识的RC车，与障碍物的平均距离增加了27%，碰撞次数减少了42%。
2019-10-14 cs.AI cs.LG cs.RO
PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning
School of Computing, Wichita State University（维斯科大学计算学院）；Department of Computer Science, University of Memphis（孟菲斯大学计算机科学系）
本文提出基于多智能体联邦强化学习的优先级感知智能变道建议系统PALCAS，用于自动驾驶车辆，通过引入新的优先级感知安全变道奖励函数，提升变道决策的合理性和交通效率。
2026-04-29 cs.AI cs.RO
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Can Optimal Transport Improve Federated Inverse Reinforcement Learning?
Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于最优传输的联邦逆强化学习方法，通过Wasserstein均值融合提升跨异构环境的奖励估计一致性。
2026-01-01 cs.LG cs.SY eess.SY
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing（人工智能学院，中国石油大学（北京））；Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院）
针对联邦强化学习中的隐私与性能权衡问题，提出FedRAG框架，通过共享并聚合基于近似行为度量的状态投影函数，在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
Federated Reinforcement Learning for Real-Time Electric Vehicle Charging and Discharging Control
ShanghaiTech University（上海科技大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Tsinghua University（清华大学）
随着移动储能技术的发展，电动汽车已成为智能电网的重要组成部分。当电动汽车参与需求响应计划时，通过充分利用实时定价信号，可以显著降低充电成本。然而，在动态环境中存在许多随机因素，这给设计最优充/放电控制策略带来了重大挑战。本文针对动态环境下不同的电动汽车用户，提出了一种最优的电动汽车充放电控制策略，以使电动汽车用户的利益最大化。我们首先将此问题表示为一个马尔可夫决策过程（MDP）。然后，我们考虑电动汽车用户在不同的环境中，不同的行为作为代理。此外，提出了一种基于水平联邦强化学习（HFRL）的方法，以适应不同的用户行为和动态环境。该方法可以学习最优的充电/放电控制策略，而无需共享用户的简档。仿真结果表明，所提出的实时电动汽车充放电控制策略可以在各种随机因素中表现良好。
2022-10-04 cs.LG cs.MA cs.SY
FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning
VinUniversity（Vin大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本地数据在不同边缘设备（客户端）之间的不均匀分布导致联邦学习中模型训练缓慢和准确性降低。朴素的联邦学习（FL）策略和大多数替代解决方案试图通过在客户端之间加权聚合深度学习模型来实现更大的公平性。这项工作介绍了一种新的非IID类型，在现实世界中遇到的数据集，即集群偏斜，其中客户端组具有类似分布的本地数据，导致全局模型收敛到过拟合的解决方案。为了处理非IID数据，特别是聚类偏斜数据，我们提出了FedDRL，这是一种新的FL模型，采用深度强化学习来自适应地确定每个客户端的影响因子（将用作聚合过程中的权重）。在一组联邦数据集上进行的大量实验证实，所提出的FedDRL相对于FedAvg和FedProx方法有了有利的改进，例如，CIFAR-100数据集的平均值分别为4.05%和2.17%。
2022-08-04 cs.CV cs.LG
A Fair Federated Learning Framework With Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
联邦学习（FL）是一种范例，其中许多客户端在中央服务器的协调下协作地训练模型，同时保持训练数据本地存储。然而，异构数据分布在不同的客户端仍然是一个挑战，主流FL算法，这可能会导致收敛速度慢，整体性能下降和性能的不公平的客户端之间。为了解决这些问题，在这项研究中，我们提出了一个强化学习框架，称为PG-FFL，它自动学习的政策分配聚合权重的客户端。此外，我们提出利用基尼系数作为公平性的衡量FL。更重要的是，我们应用基尼系数和验证准确率的客户端在每一轮的通信构建一个奖励函数的强化学习。我们的PG-FFL也兼容许多现有的FL算法。我们在不同的数据集上进行了广泛的实验，以验证我们的框架的有效性。实验结果表明，我们的框架可以优于基线方法的整体性能，公平性和收敛速度。
2022-05-26 cs.LG
Adaptive Social Metaverse Streaming based on Federated Multi-Agent Deep Reinforcement Learning
针对社交元宇宙中隐私保护与高质量低延迟流媒体传输的冲突，提出基于联邦多智能体近端策略优化的ASMS系统，动态调整比特率，在保护隐私的同时将用户体验提升至少14%。
2025-06-19 cs.AI cs.LG cs.MM
Federated Offline Reinforcement Learning: Collaborative Single-Policy Coverage Suffices
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）
本文提出联邦离线强化学习算法FedLCB-Q，通过协作覆盖状态-动作空间实现线性加速，样本复杂度接近集中式，且通信高效。
2024-02-08 cs.LG cs.MA stat.ML
Federated Reinforcement Learning at the Edge
University of Oxford（牛津大学）
现代网络物理架构使用从不同物理位置的系统收集的数据来学习适当的行为并适应不确定的环境。然而，一个重要的挑战出现，因为在网络系统的边缘通信交换是昂贵的，由于有限的资源。本文考虑了一种设置，多个代理需要有效地进行通信，以共同解决强化学习问题的时间序列数据收集在一个分布式的方式。这被设定为通过通信网络学习近似价值函数。提出了一种实现通信效率的算法，支持理论保证，实际实现和数值评估。这种方法的基础是只有在收集到足够的信息数据时才进行交流。
2021-12-11 cs.LG cs.SY eess.SY
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Chengdu Neusoft University（成都新soft大学）
本文提出了一种联邦元深度强化学习框架FedMAGS，用于解决车载边缘计算中异构任务卸载问题，通过图注意力网络捕捉DAG依赖关系，序列到序列策略生成结构化卸载决策，并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
Wind Power Forecasting Considering Data Privacy Protection: A Federated Deep Reinforcement Learning Approach
Northeast Electric Power University（东北电力大学）；State Grid Jilin Electric Power Co., Ltd. Jilin Power Supply Company（国网吉林省电力有限公司吉林供电公司）；Huazhong University of Science and Technology（华中科技大学）；Naval University of Engineering（海军工程大学）；Cranfield University（克兰菲尔德大学）
在可再生能源比重不断提高的现代电力系统中，由于风电功率的波动性，风电功率预测对电网调度计划的安排至关重要。然而，传统的集中式预测方法引起了人们对数据隐私保护和数据孤岛问题的关注。为了处理数据的隐私性和开放性，我们提出了一种预测方案，结合联邦学习和深度强化学习（DRL）的超短期风力发电预测，称为联邦深度强化学习（FedDRL）。本文首先采用深度确定性策略梯度（DDPG）算法作为基本预测模型，提高预测精度。其次，将DDPG预测模型集成到联邦学习框架中。所设计的FedDRL可以通过共享模型参数而不是共享私有数据以分散的方式获得准确的预测模型，从而避免敏感的隐私问题。仿真结果表明，所提出的FedDRL的预测精度优于传统的预测方法。更重要的是，FedDRL在保证预测性能的同时，与传统的集中式预测方式相比，能够有效保护数据隐私，缓解通信压力。此外，不同的联邦学习参数进行了仿真，以确认该方案的鲁棒性。
2022-11-02 cs.LG cs.SY eess.SY
Smart Information Exchange for Unsupervised Federated Learning via Reinforcement Learning
Purdue University（普渡大学）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出利用强化学习在无监督联邦学习中创建最优数据传输图，以解决本地非独立同分布数据集问题，并在考虑环境约束下提升收敛速度和对落后节点的鲁棒性。
2024-02-15 cs.LG
Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
Department of Civil Engineering and Engineering Mechanics, Columbia University（哥伦比亚大学土木工程与工程力学系）；Department of Civil and Environmental Engineering, University of Michigan（密歇根大学土木与环境工程系）；Center for Smart Cities, Data Science Institute, Columbia University（哥伦比亚大学智能城市中心、数据科学研究所）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出分层联邦强化学习方法，用于解决大规模异质交通信号控制中的协调与可扩展性问题，通过动态分组提升性能。
2026-02-07 cs.LG
