Modeling Behavioral Preferences of Cyber Adversaries Using Inverse Reinforcement Learning
THINC Lab, School of Computing, University of Georgia（THINC实验室，计算学院，佐治亚大学）
本文提出用逆强化学习从审计日志取证数据中学习网络攻击者的行为偏好，首次证明低层级取证数据可自动揭示对手固有偏好，并可作为独特行为签名改进威胁归因。
2025-05-02 cs.AI cs.CR cs.LG
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Institute for Advanced Study, UESTC（电子科技大学深圳高等研究院）
在联邦学习（FL）中，模型聚合被广泛用于数据隐私。近年来，为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而，当各种缺陷使得FL过程不可靠时，大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者（DearFSAC）算法，动态分配局部模型的权重，提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法，获得接近最优的性能和稳定的收敛。此外，自动编码器被训练以输出低维嵌入向量，其进一步用于评估模型质量。在实验中，DearFSAC优于现有的三种方法在四个数据集上的独立同分布（IID）和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架，将内在动机探索与随机网络蒸馏引入个性化联邦强化学习，在保护客户端隐私的同时，提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
研究微电网能量协调中联邦强化学习的约束感知聚合，提出含本地性能和约束违反的聚合规则，基于惩罚的规则效果最佳，实验表明轻量级聚合策略能在保留通信协议时提高联邦强化学习的经验安全性。
2026-07-15 cs.AI cs.LG
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University（哈佛大学）；University of Toronto（多伦多大学）；Microsoft（微软）
联邦学习（FL）是一种训练技术，其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性，在本文中，我们专注于提高训练效率，这往往是在现实世界中采用FL的一个障碍。具体而言，我们设计了一个有效的FL框架，共同优化模型的准确性，处理延迟和通信效率，所有这些都是主要的设计考虑因素，真正实现FL。最近成功的多智能体强化学习（MARL）在解决复杂的控制问题的启发，我们提出了\textit{FedMarl}，基于MARL的FL框架，执行高效的运行时客户端选择。实验结果表明，FedMarl可以显著提高模型的准确性，同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习（FL）的文献越来越多，最近启发了联邦强化学习（FRL），以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管FRL有很好的应用前景，但现有的FRL工作未能提供I）其收敛性的理论分析，II）考虑随机系统故障和对抗攻击。为此，我们提出了第一个FRL框架的收敛性是有保证的，并容忍不到一半的参与代理随机系统故障或对抗性攻击者。我们证明了所提出的框架的样本效率是保证提高与代理的数量，并能够考虑到这种潜在的故障或攻击。所有的理论结果都在各种RL基准任务上得到了经验验证。
2022-11-03 cs.AI cs.LG
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络科学与技术学院）；Department of Computer Science and Technology, BNRist, Tsinghua University（清华大学计算机科学与技术系）；Zhongguancun Laboratory（中关村实验室）
FOVA通过引入投票机制和优势加权回归，有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity
Department of Electrical Engineering \& Computer Science Florida Atlantic University Boca Raton, FL, USA
针对联邦强化学习在异构环境中状态转移动力学差异导致输入分布不一致和参数更新不平衡的问题，提出个性化观测归一化方法，通过各智能体本地维护运行均值和方差对原始状态输入进行归一化，加速训练并提升性能。
2026-04-10 cs.AI cs.LG
Vehicles Control: Collision Avoidance using Federated Deep Reinforcement Learning
University Moulay Ismail（穆莱·伊斯梅尔大学）；Al Akhawayn University in Ifrane（伊夫兰阿卡韦恩大学）；ENSIAS, Mohammed V University in Rabat（拉巴特穆罕默德五世大学国家计算机科学与系统分析学院）
本文研究基于联邦深度强化学习的车辆避撞控制，通过对比DDPG与FDDPG，证明FDDPG在减少延误、提升平均速度和防碰撞方面更优，同时保护数据隐私。
2023-08-04 cs.AI cs.LG
Robust Multi-Agent Reinforcement Learning by Mutual Information Regularization
针对多智能体强化学习中现有鲁棒方法计算量大、鲁棒性不足的问题，提出无需对手的互信息正则化方法MIR3，通过最大化鲁棒性下界提升鲁棒性，在星际争霸II、机器人群控制及真实部署中均优于基线。
2024-05-21 cs.AI cs.LG
Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
针对联邦多任务强化学习的去中心化全局最优策略学习问题，提出表格型联邦自然策略梯度方法及带函数近似的联邦自然Actor-Critic方法，证明了近似维度无关的收敛性与有限样本复杂度。
2024-08-16 cs.AI cs.LG
OptiGradTrust: Byzantine-Robust Federated Learning with Multi-Feature Gradient Analysis and Reinforcement Learning-Based Trust Weighting
School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，德黑兰大学，德黑兰，伊朗）
OptiGradTrust通过多特征梯度分析和强化学习信任加权，提升联邦学习在拜占庭攻击和数据异质性下的鲁棒性和准确性。
2025-07-31 cs.AI cs.LG
FORLER: Federated Offline Reinforcement Learning with Q-Ensemble and Actor Rectification
Central South University, School of Computer Science, Changsha, China（中南大学计算机学院）；Sun Yat-sen University, School of Cyber Science and Technology, Shenzhen, China（中山大学网络安全学院）
FORLER通过Q-集成和演员校正，解决离线联邦RL中的策略污染问题，提升鲁棒性和性能。
2026-02-02 cs.AI cs.LG
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
针对联邦强化学习的线性函数近似场景，提出Fed-LSVI算法，通过压缩统计量实现对数通信成本，达到最优遗憾界，解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
AVDDPG: Federated reinforcement learning applied to autonomous platoon control
自2016年以来，联邦学习（FL）一直是人工智能（AI）研究界讨论的一个不断发展的话题。FL的应用导致了联邦强化学习（FRL）的发展和研究。很少有作品存在的主题FRL应用于自主车辆（AV）排。此外，大多数FRL作品选择单一的聚合方法（通常是权重或梯度聚合）。我们探索FRL的有效性，以提高AV排的设计和实施FRL框架之上的自定义AV排环境。在两种情况下研究了FRL在无人机编队中的应用：（1）编队间FRL（Inter-FRL），其中FRL应用于不同编队的无人机;（2）编队内FRL（Intra-FRL），其中FRL应用于单个编队内的无人机。使用梯度和权重聚合将Inter-FRL和Intra-FRL应用于自定义AV队列环境，以观察FRL相对于未经FRL训练的AV队列环境对AV队列的性能影响。它的结论是，内FRL使用权重聚合（内FRLWA）提供了最佳的性能控制AV排。此外，我们发现，在FRL的AV队列的重量聚合提供了相对于梯度聚合的性能增加。最后，进行了性能分析内FRLWA与队列环境中没有FRL的长度为3，4和5辆车的队列。可以得出结论，内FRLWA在很大程度上优于没有FRL训练的队列环境。
2022-07-05 cs.AI cs.LG
Momentum-Based Federated Reinforcement Learning with Interaction and Communication Efficiency
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Laboratory（中关村实验室）
本文提出联邦强化学习算法 MFPO，利用动量、重要性采样和服务器端调整降低交互与通信成本，实现交互复杂度线性加速，并在高维基准上验证性能优势。
2024-05-29 cs.AI cs.LG
FedDRL: A Trustworthy Federated Learning Model Fusion Method Based on Staged Reinforcement Learning
China University of Petroleum (East China)（中国石油大学（华东））；Digital Research Institute, ENN Group（新奥集团数字研究院）；Nanyang Technological University（南洋理工大学）
针对联邦学习中固定权重融合及恶意模型导致全局模型性能下降的问题，提出基于两阶段强化学习的FedDRL方法，先过滤恶意模型再自适应调整权重，实验证明其在保持精度的同时可靠性更高。
2024-03-19 cs.AI cs.LG
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Oulu（奥卢大学）
雾无线电接入网络（F-RAN）是一项很有前途的技术，其中用户移动设备（MD）可以将计算任务卸载到附近的雾接入点（F-AP）。由于F-AP的资源有限，设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境，以任务执行延迟和MD能耗最小为目标，提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题，提出了一种基于联合深度强化学习（DRL）的算法，其中深度确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私，采用联邦学习对DDPG代理进行训练。仿真结果表明，与现有的其他策略相比，所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文提出联邦强化学习框架PASM，结合强化学习与联邦学习，通过不精确ADMM和自适应步长解决V2X网络资源分配问题，兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
Robust Reinforcement Learning on State Observations with Learned Optimal Adversary
UCLA（加州大学洛杉矶分校）；MIT（麻省理工学院）
我们研究了具有对抗扰动状态观测的强化学习（RL）的鲁棒性，这与许多对抗攻击对深度强化学习（DRL）的设置一致，并且对于在不可预测的感知噪声下推出真实世界的RL代理也很重要。在一个固定的代理策略下，我们证明了可以找到一个最佳的对手来扰动状态观测，这是保证获得最坏情况下的代理奖励。对于DRL设置，这导致了一种新的经验对抗攻击RL代理通过一个学习的对手，比以前的强得多。为了提高代理的鲁棒性，我们提出了一个框架的交替训练与学习对手（ATLA），使用策略梯度的最佳对抗攻击框架，在线训练对手与代理一起。此外，受状态对抗马尔可夫决策过程（SA-MDP）分析的启发，我们表明过去的状态和动作（历史）可以用于学习鲁棒代理，并且我们根据经验发现基于LSTM的策略在对抗下可以更加鲁棒。对一些连续控制环境的实证评估表明，ATLA在强大对手的情况下实现了最先进的性能。我们的代码可在https://github.com/huanzhang12/ATLA_robust_RL上获得。
2021-01-21 cs.AI cs.LG stat.ML
Personalized Federated Hypernetworks for Privacy Preservation in Multi-Task Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
多智能体强化学习目前专注于所有数据和训练都可以集中到一台机器上的实现。但是，如果本地代理被划分为多个任务，并且需要在每个任务之间保持数据私有，该怎么办？我们开发了个性化联邦超网络（PFH）的强化学习（RL）的第一个应用程序。然后，我们提出了一种新的应用PFH的Few-Shot转移，并证明了显着的初始增加学习。PFH从来没有被证明超过监督学习基准，所以我们将PFH应用到一个重要的领域：RL能源需求响应的价格设定。我们考虑一个一般的情况下，代理人被分割在多个微电网，其中能源消耗数据必须保持在每个微电网的私人。总之，我们的工作探索了个性化联邦学习和RL领域如何结合在一起，使学习在多个任务中有效，同时保持数据安全。
2022-10-19 cs.AI cs.LG cs.SY
Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning
主动边缘关联能够以增加的切换（HO）频率和能量消耗为代价来改善无线连接，同时依赖于决策所需的大量私有信息共享。为了在不泄露隐私的情况下改善连通性-代价权衡，研究了在环境不确定性和个体学习不可行的情况下，保护隐私的联合边关联和功率分配（JEAPA）问题.在通过分散的部分可观察马尔可夫决策过程（Dec-POMDP）对问题进行建模后，通过仅共享加密的训练数据以用于联邦地学习所寻求的策略，通过联邦多智能体强化学习（FMARL）来解决该问题。我们的模拟结果表明，所提出的解决方案取得了令人信服的权衡，同时保持了更高的隐私水平比国家的最先进的解决方案。
2023-01-26 cs.AI cs.CR cs.LG
On Assessing The Safety of Reinforcement Learning algorithms Using Formal Methods
Polytechnique Montréal（蒙特利尔理工学院）
强化学习在自动驾驶汽车、健康和航空等安全关键系统领域的应用越来越多，这就需要确保其安全性。现有的安全机制，如对抗性训练，对抗性检测和鲁棒学习并不总是适应所有的干扰，其中代理部署。这些干扰包括移动的对手，他们的行为可能是智能体无法预测的，事实上对智能体的学习有害。确保关键系统的安全性还需要对在扰动环境中演化的代理的行为给予正式保证的方法。因此，有必要提出适应代理所面临的学习挑战的新解决方案。在本文中，首先，我们生成对抗代理，代理的政策，提出移动的对手表现出缺陷。其次，我们使用奖励塑造和一个改进的Q-学习算法作为防御机制，以改善代理的策略，面对对抗性扰动。最后，概率模型检验是用来评估这两种机制的有效性。我们已经进行了实验，在一个离散的网格世界与一个单一的代理面临非学习和学习的对手。我们的研究结果表明，代理和对手之间的碰撞数量减少。概率模型检验提供了关于代理在对抗环境中的安全性的概率下限和上限。
2021-11-10 cs.LG
Reinforcement Learning under Threats
ICMAT-CSIC（西班牙国家研究委员会数学科学研究所）
在几种强化学习（RL）场景中，主要是在安全设置中，可能会有对手试图干扰奖励生成过程。在本文中，我们介绍了威胁马尔可夫决策过程（TMDP），它提供了一个框架，以支持决策者对RL中的潜在对手。此外，我们提出了一个层次的$k$思维方案，从而产生一个新的学习框架来处理TMDP。在介绍了我们的框架和推导的理论结果，相关的经验证据，通过广泛的实验，显示会计对手，而代理学习的好处。
2019-07-30 cs.AI cs.CR cs.LG
Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning
Zhejiang University（浙江大学）；Zhejiang Lab（浙江实验室）
在联邦学习（FL）范式下，研究了独立强化学习（IRL）在多智能体决策过程中的应用。我们发现，FL可以明显提高IRL的培训效率和稳定性方面的政策性能。然而，由于策略参数是在本地训练的，并通过FL中的中央服务器迭代地聚合，因此频繁的信息交换会产生大量的通信开销。为了在提高模型的收敛性能和减少所需的通信和计算开销之间取得良好的平衡，本文提出了一个系统效用函数，并在周期平均法的基础上开发了一个基于共识的优化方案，该方案将共识算法引入FL中，用于交换模型的局部梯度。本文还提供了新的收敛性保证的发展方法，并通过理论分析和数值仿真结果表明，其优越的有效性和效率，提高系统的效用值。
2022-01-30 cs.AI cs.LG cs.MA
Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Zhejiang Lab（之江实验室）
跨筒仓联邦学习（FL）是一种典型的FL，它使组织（例如，金融或医疗实体）来在隔离数据上训练全局模型。合理的激励是鼓励组织贡献数据的关键。然而，关于激励跨筒仓FL的现有工作缺乏对环境动态的考虑（例如，训练的全局模型的精度和训练过程中不确定客户端拥有的数据）。此外，他们中的大多数人认为组织共享私人信息，这是不现实的。为了克服这些限制，我们提出了一种新的自适应机制，跨筒仓FL，激励组织贡献数据，以最大限度地提高他们的长期回报在一个真正的动态培训环境。该机制基于多智能体强化学习，在不需要组织私有信息的情况下，从潜在博弈的历史中学习接近最优的数据贡献策略。实验结果表明，该机制实现了自适应激励，有效地提高了组织的长期收益。
2023-02-15 cs.AI cs.DC cs.LG
FedHPD: Heterogeneous Federated Reinforcement Learning via Policy Distillation
National University of Defense Technology（国防科技大学）；CFAR, A*STAR（新加坡科研局CFAR）；National University of Singapore（新加坡国立大学）
本文针对黑盒设定下异构智能体的联邦强化学习问题，提出FedHPD框架，利用动作概率分布作为知识共享媒介实现异构策略蒸馏，理论证明了其收敛性并在多种基准任务上取得显著提升。
2025-02-02 cs.AI cs.LG cs.MA
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架，证明N个智能体协作求解联合不动点问题可获得N倍线性加速，并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning
Georgia Tech（佐治亚理工学院）；Google（谷歌）
我们提出了一个框架，结合分层和多代理深度强化学习方法，使用半分散模型解决众多代理之间的协调问题。该框架通过引入一个元控制器来扩展多代理学习设置，该元控制器引导代理对之间的通信，使代理能够专注于在任何步骤中仅与另一个代理进行通信。这种任务的层次分解允许有效的探索，以学习识别全局最优解决方案的策略，即使合作代理的数量增加。我们展示了有前途的初步实验结果的模拟分布式调度问题。
2017-12-22 cs.AI
Securing IoT Communication using Physical Sensor Data -- Graph Layer Security with Federated Multi-Agent Deep Reinforcement Learning
Cranfield University（克兰菲尔德大学）
物联网（IoT）设备通常用于通过数字无线信道传输物理传感器数据。传统的基于物理层安全（PLS）的密码学方法依赖于精确的信道估计和用于密钥生成的信息交换，这将密钥质量与数字信道估计质量紧密联系在一起。最近，我们提出了一个新的概念，称为图形层安全（GLS），其中数字密钥来自物理传感器读数。合法用户之间的传感器读数通过公共后台基础设施环境（例如，公共配水网络或电网）。GLS面临的挑战是如何实现分布式密钥生成。提出了一种联邦多智能体深度强化学习辅助的分布式密钥生成方案（FD 2K），充分利用物理动力学的共同特征在合法用户之间建立秘密密钥。我们首次提出了GLS与联邦学习的初步实验结果，在密钥一致率（KAR）和密钥随机性方面实现了相当大的安全性能。
2023-02-24 cs.AI
Federated Transfer Reinforcement Learning for Autonomous Driving
Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
强化学习（RL）被广泛应用于自动驾驶任务中，并且训练RL模型通常涉及多个步骤的过程：在模拟器上预训练RL模型，将预训练的模型上传到现实生活中的机器人，以及微调机器人车辆上的重量参数。这个顺序的过程非常耗时，更重要的是，来自微调模型的知识停留在本地，不能被重用或协同利用。为了解决这个问题，我们提出了一个在线联邦RL传输过程，用于实时知识提取，其中所有参与者代理都使用其他人学到的知识进行相应的操作，即使他们在非常不同的环境中行事。为了验证所提出的方法的有效性，我们构建了一个现实生活中的碰撞避免系统与微软Airsim模拟器和NVIDIA JetsonTX2汽车代理，合作从头开始学习，以避免在室内环境中与障碍物的碰撞。我们证明，与建议的框架，模拟器汽车代理可以实时传输知识的RC车，与障碍物的平均距离增加了27%，碰撞次数减少了42%。
2019-10-14 cs.AI cs.LG cs.RO
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)（（2025年7月））
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究，比较其结构异同，涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM（EURECOM研究所）；Technical University of Munich（慕尼黑工业大学）
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题，提出模型辅助联邦QMIX算法，交替构建含信道特性与设备位置的环境模型并开展联邦训练，可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Federated Reinforcement Learning with Environment Heterogeneity
Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）
我们研究了一个联邦强化学习（FedRL）问题，其中$n$代理协作学习单个策略，而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束，这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数，我们提出了两个联邦RL算法，\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明，这些算法收敛到次优的解决方案，而这种次优性取决于如何异构这些$n$环境。此外，我们提出了一个启发式，实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练，而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
Federated Reinforcement Learning for Runtime Optimization of AI Applications in Smart Eyewears
Politecnico di Milano（米兰理工大学）；EssilorLuxottica（依视路陆逊梯卡）；Smart Eyewear Lab（智能眼镜实验室）
针对智能眼镜AI应用的计算、续航及数据隐私等挑战，提出联邦强化学习（FRL）框架，通过同步与异步聚合策略实现多智能体协同训练，显著降低性能变异性，为实时AI处理提供稳定可靠的解决方案。
2025-08-24 cs.AI
Deep Reinforcement Learning for Backup Strategies against Adversaries
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）
网络安全中的许多防御措施仍然由策略、标准程序目录和最佳实践主导。考虑到数据备份策略的情况下，我们的目标是数学建模的潜在威胁模型和决策问题。通过用随机过程的语言制定备份策略，我们可以将寻找最佳防御的挑战转化为强化学习问题。这使我们能够训练自主智能体，学习最佳支持规划的防御过程。特别是，我们解决了在以下对抗性设置中找到最佳备份方案的问题：给定$k$备份设备，目标是防御攻击者，攻击者可以在一次感染数据，但选择在稍后的时间销毁或加密数据，也可能破坏其间进行的多个备份。在这种情况下，通常的循环调度方案（总是替换最旧的备份）对于可避免的暴露不再是最佳的。因此，为了找到一个防御策略，我们将问题建模为一个混合离散-连续动作空间马尔可夫决策过程，然后使用深度确定性策略梯度来解决它。我们表明，该算法可以找到存储设备更新方案匹配或超过现有的计划，就各种曝光指标。
2021-02-12 cs.CR cs.LG math.OC
FRESCO: Federated Reinforcement Energy System for Cooperative Optimization
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Masdar City（马斯达尔城）
本文提出FRESCO框架，利用联邦学习训练的强化学习智能体分层控制架构简化能源市场实施，通过上层智能体约束下层贪婪智能体实现协作优化，满足个体目标。
2024-03-27 cs.LG
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing（人工智能学院，中国石油大学（北京））；Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院）
针对联邦强化学习中的隐私与性能权衡问题，提出FedRAG框架，通过共享并聚合基于近似行为度量的状态投影函数，在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
Dynamic Fair Federated Learning Based on Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对联邦学习数据异构导致的设备间不公平问题，本文提出强化学习驱动的 DQFFL 算法，利用 α-公平性动态分配客户端权重，并在性能、公平性与收敛速度上超越现有方法。
2023-11-02 cs.CY cs.IT cs.LG
A Fair Federated Learning Framework With Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
联邦学习（FL）是一种范例，其中许多客户端在中央服务器的协调下协作地训练模型，同时保持训练数据本地存储。然而，异构数据分布在不同的客户端仍然是一个挑战，主流FL算法，这可能会导致收敛速度慢，整体性能下降和性能的不公平的客户端之间。为了解决这些问题，在这项研究中，我们提出了一个强化学习框架，称为PG-FFL，它自动学习的政策分配聚合权重的客户端。此外，我们提出利用基尼系数作为公平性的衡量FL。更重要的是，我们应用基尼系数和验证准确率的客户端在每一轮的通信构建一个奖励函数的强化学习。我们的PG-FFL也兼容许多现有的FL算法。我们在不同的数据集上进行了广泛的实验，以验证我们的框架的有效性。实验结果表明，我们的框架可以优于基线方法的整体性能，公平性和收敛速度。
2022-05-26 cs.LG
The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文针对联邦多智能体强化学习中的通信开销与环境异质性问题，提出基于衰减和基于共识的两种SGD优化方案，并给出收敛保证与仿真验证。
2023-05-29 cs.AI cs.LG cs.MA
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题，提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架，在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
Training Environment for High Performance Reinforcement Learning
Experimental RPA Test Pilot（实验RPA试飞员）
本文提出开源强化学习训练环境Tunnel，将F16三维非线性飞行动力学集成到OpenAI Gymnasium，使研究人员和任务规划者能在数天内快速定制观测、动作与训练方法，以应对自主空战中快速变化的对手和传感器能力。
2025-05-04 cs.AI
Smart Information Exchange for Unsupervised Federated Learning via Reinforcement Learning
Purdue University（普渡大学）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出利用强化学习在无监督联邦学习中创建最优数据传输图，以解决本地非独立同分布数据集问题，并在考虑环境约束下提升收敛速度和对落后节点的鲁棒性。
2024-02-15 cs.LG
Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
Department of Civil Engineering and Engineering Mechanics, Columbia University（哥伦比亚大学土木工程与工程力学系）；Department of Civil and Environmental Engineering, University of Michigan（密歇根大学土木与环境工程系）；Center for Smart Cities, Data Science Institute, Columbia University（哥伦比亚大学智能城市中心、数据科学研究所）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出分层联邦强化学习方法，用于解决大规模异质交通信号控制中的协调与可扩展性问题，通过动态分组提升性能。
2026-02-07 cs.LG
FedAA: A Reinforcement Learning Perspective on Adaptive Aggregation for Fair and Robust Federated Learning
Huazhong University of Science and Technology（华中科技大学）；Chongqing University（重庆大学）
针对联邦学习面临的统计异质性、易受攻击及聚合脆弱性问题，提出FedAA方法，通过深度确定性策略梯度控制聚合权重、参数距离选客户端及验证集奖励机制，提升鲁棒性并保障公平性。
2024-12-12 cs.AI cs.DC cs.LG
PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning
School of Computing, Wichita State University（维斯科大学计算学院）；Department of Computer Science, University of Memphis（孟菲斯大学计算机科学系）
本文提出基于多智能体联邦强化学习的优先级感知智能变道建议系统PALCAS，用于自动驾驶车辆，通过引入新的优先级感知安全变道奖励函数，提升变道决策的合理性和交通效率。
2026-04-29 cs.AI cs.RO
Adaptive Social Metaverse Streaming based on Federated Multi-Agent Deep Reinforcement Learning
针对社交元宇宙中隐私保护与高质量低延迟流媒体传输的冲突，提出基于联邦多智能体近端策略优化的ASMS系统，动态调整比特率，在保护隐私的同时将用户体验提升至少14%。
2025-06-19 cs.AI cs.LG cs.MM
FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning
VinUniversity（Vin大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本地数据在不同边缘设备（客户端）之间的不均匀分布导致联邦学习中模型训练缓慢和准确性降低。朴素的联邦学习（FL）策略和大多数替代解决方案试图通过在客户端之间加权聚合深度学习模型来实现更大的公平性。这项工作介绍了一种新的非IID类型，在现实世界中遇到的数据集，即集群偏斜，其中客户端组具有类似分布的本地数据，导致全局模型收敛到过拟合的解决方案。为了处理非IID数据，特别是聚类偏斜数据，我们提出了FedDRL，这是一种新的FL模型，采用深度强化学习来自适应地确定每个客户端的影响因子（将用作聚合过程中的权重）。在一组联邦数据集上进行的大量实验证实，所提出的FedDRL相对于FedAvg和FedProx方法有了有利的改进，例如，CIFAR-100数据集的平均值分别为4.05%和2.17%。
2022-08-04 cs.CV cs.LG
