Dialogue Diplomats: An End-to-End Multi-Agent Reinforcement Learning System for Automated Conflict Resolution and Consensus Building
School of Computing and Engineering（计算与工程学院）；College of Engineering（工程学院）；University of Wollongong（沃灵顿大学）
Dialogue Diplomats通过端到端多智能体强化学习框架，结合分层共识网络、渐进谈判协议和上下文感知奖励机制，实现复杂环境中的自动化冲突解决与共识构建。
2025-11-20 cs.AI cs.MA
Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
针对联邦离线强化学习中简单结合标准方法性能差的问题，提出基于集成学习提炼客户端智慧的FEDORA算法，在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)（（2025年7月））
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究，比较其结构异同，涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文针对联邦多智能体强化学习中的通信开销与环境异质性问题，提出基于衰减和基于共识的两种SGD优化方案，并给出收敛保证与仿真验证。
2023-05-29 cs.AI cs.LG cs.MA
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Institute for Advanced Study, UESTC（电子科技大学深圳高等研究院）
在联邦学习（FL）中，模型聚合被广泛用于数据隐私。近年来，为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而，当各种缺陷使得FL过程不可靠时，大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者（DearFSAC）算法，动态分配局部模型的权重，提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法，获得接近最优的性能和稳定的收敛。此外，自动编码器被训练以输出低维嵌入向量，其进一步用于评估模型质量。在实验中，DearFSAC优于现有的三种方法在四个数据集上的独立同分布（IID）和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架，将内在动机探索与随机网络蒸馏引入个性化联邦强化学习，在保护客户端隐私的同时，提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
本文提出SCRL框架，通过选择性正伪标签和熵门控负伪标签减少标签噪声影响，提升测试时强化学习的鲁棒性和泛化能力。
2026-04-19 cs.AI cs.LG
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
研究微电网能量协调中联邦强化学习的约束感知聚合，提出含本地性能和约束违反的聚合规则，基于惩罚的规则效果最佳，实验表明轻量级聚合策略能在保留通信协议时提高联邦强化学习的经验安全性。
2026-07-15 cs.AI cs.LG
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University（哈佛大学）；University of Toronto（多伦多大学）；Microsoft（微软）
联邦学习（FL）是一种训练技术，其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性，在本文中，我们专注于提高训练效率，这往往是在现实世界中采用FL的一个障碍。具体而言，我们设计了一个有效的FL框架，共同优化模型的准确性，处理延迟和通信效率，所有这些都是主要的设计考虑因素，真正实现FL。最近成功的多智能体强化学习（MARL）在解决复杂的控制问题的启发，我们提出了\textit{FedMarl}，基于MARL的FL框架，执行高效的运行时客户端选择。实验结果表明，FedMarl可以显著提高模型的准确性，同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
针对联邦强化学习的线性函数近似场景，提出Fed-LSVI算法，通过压缩统计量实现对数通信成本，达到最优遗憾界，解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习（FL）的文献越来越多，最近启发了联邦强化学习（FRL），以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管FRL有很好的应用前景，但现有的FRL工作未能提供I）其收敛性的理论分析，II）考虑随机系统故障和对抗攻击。为此，我们提出了第一个FRL框架的收敛性是有保证的，并容忍不到一半的参与代理随机系统故障或对抗性攻击者。我们证明了所提出的框架的样本效率是保证提高与代理的数量，并能够考虑到这种潜在的故障或攻击。所有的理论结果都在各种RL基准任务上得到了经验验证。
2022-11-03 cs.AI cs.LG
Personalized Federated Hypernetworks for Privacy Preservation in Multi-Task Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
多智能体强化学习目前专注于所有数据和训练都可以集中到一台机器上的实现。但是，如果本地代理被划分为多个任务，并且需要在每个任务之间保持数据私有，该怎么办？我们开发了个性化联邦超网络（PFH）的强化学习（RL）的第一个应用程序。然后，我们提出了一种新的应用PFH的Few-Shot转移，并证明了显着的初始增加学习。PFH从来没有被证明超过监督学习基准，所以我们将PFH应用到一个重要的领域：RL能源需求响应的价格设定。我们考虑一个一般的情况下，代理人被分割在多个微电网，其中能源消耗数据必须保持在每个微电网的私人。总之，我们的工作探索了个性化联邦学习和RL领域如何结合在一起，使学习在多个任务中有效，同时保持数据安全。
2022-10-19 cs.AI cs.LG cs.SY
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络科学与技术学院）；Department of Computer Science and Technology, BNRist, Tsinghua University（清华大学计算机科学与技术系）；Zhongguancun Laboratory（中关村实验室）
FOVA通过引入投票机制和优势加权回归，有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity
Department of Electrical Engineering \& Computer Science Florida Atlantic University Boca Raton, FL, USA
针对联邦强化学习在异构环境中状态转移动力学差异导致输入分布不一致和参数更新不平衡的问题，提出个性化观测归一化方法，通过各智能体本地维护运行均值和方差对原始状态输入进行归一化，加速训练并提升性能。
2026-04-10 cs.AI cs.LG
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Oulu（奥卢大学）
雾无线电接入网络（F-RAN）是一项很有前途的技术，其中用户移动设备（MD）可以将计算任务卸载到附近的雾接入点（F-AP）。由于F-AP的资源有限，设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境，以任务执行延迟和MD能耗最小为目标，提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题，提出了一种基于联合深度强化学习（DRL）的算法，其中深度确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私，采用联邦学习对DDPG代理进行训练。仿真结果表明，与现有的其他策略相比，所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文提出联邦强化学习框架PASM，结合强化学习与联邦学习，通过不精确ADMM和自适应步长解决V2X网络资源分配问题，兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
Vehicles Control: Collision Avoidance using Federated Deep Reinforcement Learning
University Moulay Ismail（穆莱·伊斯梅尔大学）；Al Akhawayn University in Ifrane（伊夫兰阿卡韦恩大学）；ENSIAS, Mohammed V University in Rabat（拉巴特穆罕默德五世大学国家计算机科学与系统分析学院）
本文研究基于联邦深度强化学习的车辆避撞控制，通过对比DDPG与FDDPG，证明FDDPG在减少延误、提升平均速度和防碰撞方面更优，同时保护数据隐私。
2023-08-04 cs.AI cs.LG
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning
主动边缘关联能够以增加的切换（HO）频率和能量消耗为代价来改善无线连接，同时依赖于决策所需的大量私有信息共享。为了在不泄露隐私的情况下改善连通性-代价权衡，研究了在环境不确定性和个体学习不可行的情况下，保护隐私的联合边关联和功率分配（JEAPA）问题.在通过分散的部分可观察马尔可夫决策过程（Dec-POMDP）对问题进行建模后，通过仅共享加密的训练数据以用于联邦地学习所寻求的策略，通过联邦多智能体强化学习（FMARL）来解决该问题。我们的模拟结果表明，所提出的解决方案取得了令人信服的权衡，同时保持了更高的隐私水平比国家的最先进的解决方案。
2023-01-26 cs.AI cs.CR cs.LG
Scalable Constrained Multi-Agent Reinforcement Learning via State Augmentation and Consensus for Separable Dynamics
Department of Engineering University Pompeu Fabra（工程系庞培法布拉大学）
提出一种结合状态增强策略学习与对偶变量分布式共识的分布式约束多智能体强化学习方法，解决可分离动力学系统中全局资源约束的协调问题，实现线性可扩展性并保证约束满足。
2026-05-28 cs.AI cs.LG
Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
针对联邦多任务强化学习的去中心化全局最优策略学习问题，提出表格型联邦自然策略梯度方法及带函数近似的联邦自然Actor-Critic方法，证明了近似维度无关的收敛性与有限样本复杂度。
2024-08-16 cs.AI cs.LG
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University（延世大学）；University of Oulu（奥卢大学）
在分布式强化学习中，通常交换每个代理的经验记忆，从而集体训练它们的局部模型。然而，经验存储器包含所有先前的状态观察和它们对应的主机代理的策略，这可能会侵犯代理的隐私。为了避免这个问题，在这项工作中，我们提出了一个隐私保护的分布式强化学习（RL）框架，称为联邦强化蒸馏（FRD）。其关键思想是交换一个代理体验记忆，包括预先安排的一组状态和时间平均策略，从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构，我们数值评估FRD的有效性，并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
Compressed Federated Reinforcement Learning with a Generative Model
Stockholm University（斯德哥尔摩大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对联邦强化学习聚合步骤通信成本高的问题，提出CompFedRL方法，结合周期性聚合与压缩机制，在生成模型设置下通过有限时间分析证明其强收敛性并降低通信开销。
2024-10-14 cs.DC cs.LG cs.MA
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制（VVC）是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖，并增强对通信或控制器故障的弹性，我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程，采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明，我们提出的算法匹配的单智能体强化学习基准的性能。此外，该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
OptiGradTrust: Byzantine-Robust Federated Learning with Multi-Feature Gradient Analysis and Reinforcement Learning-Based Trust Weighting
School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，德黑兰大学，德黑兰，伊朗）
OptiGradTrust通过多特征梯度分析和强化学习信任加权，提升联邦学习在拜占庭攻击和数据异质性下的鲁棒性和准确性。
2025-07-31 cs.AI cs.LG
Personalized Federated Deep Reinforcement Learning-based Trajectory Optimization for Multi-UAV Assisted Edge Computing
Nanjing University of Science and Technology（南京理工大学）；Zhejiang Lab（之江实验室）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC联合学院）；Louisiana State University（路易斯安那州立大学）
针对多无人机辅助边缘计算中的轨迹优化，提出个性化联邦深度强化学习（PF-DRL），为每个智能体定制模型以解决数据稀缺和异质性，实现更快收敛和更优服务质量。
2023-09-05 cs.LG cs.MA
FORLER: Federated Offline Reinforcement Learning with Q-Ensemble and Actor Rectification
Central South University, School of Computer Science, Changsha, China（中南大学计算机学院）；Sun Yat-sen University, School of Cyber Science and Technology, Shenzhen, China（中山大学网络安全学院）
FORLER通过Q-集成和演员校正，解决离线联邦RL中的策略污染问题，提升鲁棒性和性能。
2026-02-02 cs.AI cs.LG
Dynamic Fair Federated Learning Based on Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对联邦学习数据异构导致的设备间不公平问题，本文提出强化学习驱动的 DQFFL 算法，利用 α-公平性动态分配客户端权重，并在性能、公平性与收敛速度上超越现有方法。
2023-11-02 cs.CY cs.IT cs.LG
Federated Reinforcement Learning with Environment Heterogeneity
Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）
我们研究了一个联邦强化学习（FedRL）问题，其中$n$代理协作学习单个策略，而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束，这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数，我们提出了两个联邦RL算法，\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明，这些算法收敛到次优的解决方案，而这种次优性取决于如何异构这些$n$环境。此外，我们提出了一个启发式，实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练，而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架，证明N个智能体协作求解联合不动点问题可获得N倍线性加速，并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
AVDDPG: Federated reinforcement learning applied to autonomous platoon control
自2016年以来，联邦学习（FL）一直是人工智能（AI）研究界讨论的一个不断发展的话题。FL的应用导致了联邦强化学习（FRL）的发展和研究。很少有作品存在的主题FRL应用于自主车辆（AV）排。此外，大多数FRL作品选择单一的聚合方法（通常是权重或梯度聚合）。我们探索FRL的有效性，以提高AV排的设计和实施FRL框架之上的自定义AV排环境。在两种情况下研究了FRL在无人机编队中的应用：（1）编队间FRL（Inter-FRL），其中FRL应用于不同编队的无人机;（2）编队内FRL（Intra-FRL），其中FRL应用于单个编队内的无人机。使用梯度和权重聚合将Inter-FRL和Intra-FRL应用于自定义AV队列环境，以观察FRL相对于未经FRL训练的AV队列环境对AV队列的性能影响。它的结论是，内FRL使用权重聚合（内FRLWA）提供了最佳的性能控制AV排。此外，我们发现，在FRL的AV队列的重量聚合提供了相对于梯度聚合的性能增加。最后，进行了性能分析内FRLWA与队列环境中没有FRL的长度为3，4和5辆车的队列。可以得出结论，内FRLWA在很大程度上优于没有FRL训练的队列环境。
2022-07-05 cs.AI cs.LG
Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Zhejiang Lab（之江实验室）
跨筒仓联邦学习（FL）是一种典型的FL，它使组织（例如，金融或医疗实体）来在隔离数据上训练全局模型。合理的激励是鼓励组织贡献数据的关键。然而，关于激励跨筒仓FL的现有工作缺乏对环境动态的考虑（例如，训练的全局模型的精度和训练过程中不确定客户端拥有的数据）。此外，他们中的大多数人认为组织共享私人信息，这是不现实的。为了克服这些限制，我们提出了一种新的自适应机制，跨筒仓FL，激励组织贡献数据，以最大限度地提高他们的长期回报在一个真正的动态培训环境。该机制基于多智能体强化学习，在不需要组织私有信息的情况下，从潜在博弈的历史中学习接近最优的数据贡献策略。实验结果表明，该机制实现了自适应激励，有效地提高了组织的长期收益。
2023-02-15 cs.AI cs.DC cs.LG
Momentum-Based Federated Reinforcement Learning with Interaction and Communication Efficiency
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Laboratory（中关村实验室）
本文提出联邦强化学习算法 MFPO，利用动量、重要性采样和服务器端调整降低交互与通信成本，实现交互复杂度线性加速，并在高维基准上验证性能优势。
2024-05-29 cs.AI cs.LG
FedDRL: A Trustworthy Federated Learning Model Fusion Method Based on Staged Reinforcement Learning
China University of Petroleum (East China)（中国石油大学（华东））；Digital Research Institute, ENN Group（新奥集团数字研究院）；Nanyang Technological University（南洋理工大学）
针对联邦学习中固定权重融合及恶意模型导致全局模型性能下降的问题，提出基于两阶段强化学习的FedDRL方法，先过滤恶意模型再自适应调整权重，实验证明其在保持精度的同时可靠性更高。
2024-03-19 cs.AI cs.LG
Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning
Georgia Tech（佐治亚理工学院）；Google（谷歌）
我们提出了一个框架，结合分层和多代理深度强化学习方法，使用半分散模型解决众多代理之间的协调问题。该框架通过引入一个元控制器来扩展多代理学习设置，该元控制器引导代理对之间的通信，使代理能够专注于在任何步骤中仅与另一个代理进行通信。这种任务的层次分解允许有效的探索，以学习识别全局最优解决方案的策略，即使合作代理的数量增加。我们展示了有前途的初步实验结果的模拟分布式调度问题。
2017-12-22 cs.AI
Securing IoT Communication using Physical Sensor Data -- Graph Layer Security with Federated Multi-Agent Deep Reinforcement Learning
Cranfield University（克兰菲尔德大学）
物联网（IoT）设备通常用于通过数字无线信道传输物理传感器数据。传统的基于物理层安全（PLS）的密码学方法依赖于精确的信道估计和用于密钥生成的信息交换，这将密钥质量与数字信道估计质量紧密联系在一起。最近，我们提出了一个新的概念，称为图形层安全（GLS），其中数字密钥来自物理传感器读数。合法用户之间的传感器读数通过公共后台基础设施环境（例如，公共配水网络或电网）。GLS面临的挑战是如何实现分布式密钥生成。提出了一种联邦多智能体深度强化学习辅助的分布式密钥生成方案（FD 2K），充分利用物理动力学的共同特征在合法用户之间建立秘密密钥。我们首次提出了GLS与联邦学习的初步实验结果，在密钥一致率（KAR）和密钥随机性方面实现了相当大的安全性能。
2023-02-24 cs.AI
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM（EURECOM研究所）；Technical University of Munich（慕尼黑工业大学）
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题，提出模型辅助联邦QMIX算法，交替构建含信道特性与设备位置的环境模型并开展联邦训练，可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Federated Multi-Agent Deep Reinforcement Learning for Dynamic and Flexible 3D Operation of 5G Multi-MAP Networks
CEA-Leti（原子能和替代能源委员会信息技术实验室）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
针对5G网络中无人机MAP的动态3D管理问题，提出两层分层架构与联邦双注意力DRL方法，联合优化MAP数量、位置及无线回传连接。
2023-06-30 cs.LG cs.MA cs.NI
Federated Transfer Reinforcement Learning for Autonomous Driving
Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
强化学习（RL）被广泛应用于自动驾驶任务中，并且训练RL模型通常涉及多个步骤的过程：在模拟器上预训练RL模型，将预训练的模型上传到现实生活中的机器人，以及微调机器人车辆上的重量参数。这个顺序的过程非常耗时，更重要的是，来自微调模型的知识停留在本地，不能被重用或协同利用。为了解决这个问题，我们提出了一个在线联邦RL传输过程，用于实时知识提取，其中所有参与者代理都使用其他人学到的知识进行相应的操作，即使他们在非常不同的环境中行事。为了验证所提出的方法的有效性，我们构建了一个现实生活中的碰撞避免系统与微软Airsim模拟器和NVIDIA JetsonTX2汽车代理，合作从头开始学习，以避免在室内环境中与障碍物的碰撞。我们证明，与建议的框架，模拟器汽车代理可以实时传输知识的RC车，与障碍物的平均距离增加了27%，碰撞次数减少了42%。
2019-10-14 cs.AI cs.LG cs.RO
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题，提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架，在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
Federated Reinforcement Learning for Runtime Optimization of AI Applications in Smart Eyewears
Politecnico di Milano（米兰理工大学）；EssilorLuxottica（依视路陆逊梯卡）；Smart Eyewear Lab（智能眼镜实验室）
针对智能眼镜AI应用的计算、续航及数据隐私等挑战，提出联邦强化学习（FRL）框架，通过同步与异步聚合策略实现多智能体协同训练，显著降低性能变异性，为实时AI处理提供稳定可靠的解决方案。
2025-08-24 cs.AI
FRESCO: Federated Reinforcement Energy System for Cooperative Optimization
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Masdar City（马斯达尔城）
本文提出FRESCO框架，利用联邦学习训练的强化学习智能体分层控制架构简化能源市场实施，通过上层智能体约束下层贪婪智能体实现协作优化，满足个体目标。
2024-03-27 cs.LG
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning
School of Computing, Wichita State University（维斯科大学计算学院）；Department of Computer Science, University of Memphis（孟菲斯大学计算机科学系）
本文提出基于多智能体联邦强化学习的优先级感知智能变道建议系统PALCAS，用于自动驾驶车辆，通过引入新的优先级感知安全变道奖励函数，提升变道决策的合理性和交通效率。
2026-04-29 cs.AI cs.RO
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing（人工智能学院，中国石油大学（北京））；Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院）
针对联邦强化学习中的隐私与性能权衡问题，提出FedRAG框架，通过共享并聚合基于近似行为度量的状态投影函数，在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
Federated Reinforcement Learning for Real-Time Electric Vehicle Charging and Discharging Control
ShanghaiTech University（上海科技大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Tsinghua University（清华大学）
随着移动储能技术的发展，电动汽车已成为智能电网的重要组成部分。当电动汽车参与需求响应计划时，通过充分利用实时定价信号，可以显著降低充电成本。然而，在动态环境中存在许多随机因素，这给设计最优充/放电控制策略带来了重大挑战。本文针对动态环境下不同的电动汽车用户，提出了一种最优的电动汽车充放电控制策略，以使电动汽车用户的利益最大化。我们首先将此问题表示为一个马尔可夫决策过程（MDP）。然后，我们考虑电动汽车用户在不同的环境中，不同的行为作为代理。此外，提出了一种基于水平联邦强化学习（HFRL）的方法，以适应不同的用户行为和动态环境。该方法可以学习最优的充电/放电控制策略，而无需共享用户的简档。仿真结果表明，所提出的实时电动汽车充放电控制策略可以在各种随机因素中表现良好。
2022-10-04 cs.LG cs.MA cs.SY
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
Can Optimal Transport Improve Federated Inverse Reinforcement Learning?
Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于最优传输的联邦逆强化学习方法，通过Wasserstein均值融合提升跨异构环境的奖励估计一致性。
2026-01-01 cs.LG cs.SY eess.SY
A Fair Federated Learning Framework With Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
联邦学习（FL）是一种范例，其中许多客户端在中央服务器的协调下协作地训练模型，同时保持训练数据本地存储。然而，异构数据分布在不同的客户端仍然是一个挑战，主流FL算法，这可能会导致收敛速度慢，整体性能下降和性能的不公平的客户端之间。为了解决这些问题，在这项研究中，我们提出了一个强化学习框架，称为PG-FFL，它自动学习的政策分配聚合权重的客户端。此外，我们提出利用基尼系数作为公平性的衡量FL。更重要的是，我们应用基尼系数和验证准确率的客户端在每一轮的通信构建一个奖励函数的强化学习。我们的PG-FFL也兼容许多现有的FL算法。我们在不同的数据集上进行了广泛的实验，以验证我们的框架的有效性。实验结果表明，我们的框架可以优于基线方法的整体性能，公平性和收敛速度。
2022-05-26 cs.LG
