Arena Learning: Build Data Flywheel for LLMs Post-training via Simulated Chatbot Arena
Tsinghua University（清华大学）；Microsoft Corporation（微软公司）；SIAT-UCAS（中国科学院深圳先进技术研究院-中国科学院大学）
针对大语言模型人工对战评估成本高、耗时长的问题，提出Arena Learning离线策略，通过WizardArena模拟对战评估与数据飞轮迭代优化模型，实现全自动化后训练提升性能，为WizardLM-2成功奠定基础。
2024-07-15 cs.AI cs.CL cs.LG
CHARM: Calibrating Reward Models With Chatbot Arena Scores
Alibaba Group（阿里巴巴集团）；Queen’s University Belfast（贝尔法斯特女王大学）；University of Zurich（苏黎世大学）；Singapore University of Technology（新加坡科技设计大学）
本文提出CHARM方法，通过利用Chatbot Arena的Elo分数校准奖励模型，减少模型偏好偏差，提升奖励模型的准确性和公平性。
2026-03-17 cs.AI cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文综述分布式深度强化学习方法与关键组件，并开发发布一个多玩家多智能体分布式深度强化学习工具箱，在Wargame环境中验证其可用性，同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Arena: A General Evaluation Platform and Building Toolkit for Multi-Agent Intelligence
University of Oxford（牛津大学）；Lighthouse（灯塔公司）；Beihang University（北京航空航天大学）；Hebei University of Technology（河北工业大学）；Imperial College London（帝国理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
学习代理不仅能够参加测试，而且还能够创新，这正在成为人工智能的热门话题。实现这一愿景的最有前途的途径之一是多智能体学习，其中智能体充当彼此的环境，改进每个智能体意味着为其他智能体提出新的问题。然而，现有的评估平台要么与多智能体设置不兼容，要么仅限于特定的游戏。也就是说，目前还没有一个通用的多智能体智能研究的评价平台。为此，我们介绍了竞技场，一个通用的多智能体智能评估平台，35个游戏的不同逻辑和表示。此外，多智能体智能仍处于许多问题尚未探索的阶段。因此，我们提供了一个建设工具包，研究人员可以很容易地发明和建立新的多智能体问题，从提供的游戏集的基础上GUI可配置的社会树和五个基本的多智能体奖励计划。最后，我们提供了五个最先进的深度多智能体强化学习基线的Python实现。随着基线实现，我们发布了一组100个最好的代理/团队，我们可以训练不同的训练方案，为每个游戏，作为评估代理与人口的表现的基础。因此，研究界可以在一个稳定和统一的标准下进行比较。所有的实现和附带的教程都已经在https://sites.google.com/view/arena-unity/上为社区开源。
2019-11-28 cs.AI cs.MA
Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short
University of Cambridge（剑桥大学）；Mistral AI
提出推理竞技场框架，通过轨迹锦标赛将无梯度信号的非多样奖励组转化为相对奖励信号，结合Bradley-Terry模型高效整合强化学习，在数学和编码基准上平均提升7.6%，加速训练27%-41%。
2026-06-08 cs.AI cs.CL cs.LG
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution
iMak AI Lab（iMak人工智能实验室）
提出延迟每步奖励归因方法，结合资格门控、异步rollout生成和课程对手采样，实现多智能体环境中稳定高效的强化学习训练，并在NeurIPS 2025的MindGames Arena基准测试中取得领先。
2026-04-13 cs.AI cs.CL cs.MA
A Comprehensive Review of Multi-Agent Reinforcement Learning in Video Games
DigiPen Institute of Technology（迪吉彭理工学院）；Suzhou City University（苏州城市学院）；Soochow University（苏州大学）
本文综述了多智能体强化学习（MARL）在多品类电子游戏中的应用进展，分析了核心挑战与典型落地案例，提出了游戏复杂度评估新方法并指明未来研究方向。
2025-09-03 cs.LG
Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo，一个强化学习（RL）工作台，它提供了一套完整的工具来设计，运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI，对分布式执行的支持，包括通过图形处理单元（GPU）进行部署，以及同时探索RL元空间的可能性，这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tencent Timi Studio（腾讯天美工作室）
研究多人在线对战竞技场（MOBA）1v 1游戏中复杂动作控制的强化学习问题。这个问题涉及比传统的1v 1游戏（如围棋和Atari系列）复杂得多的状态和动作空间，这使得搜索任何具有人类水平性能的策略变得非常困难。在本文中，我们提出了一个深度强化学习框架，从系统和算法的角度来解决这个问题。我们的系统是低耦合和高可扩展性，这使得在大规模的有效探索。我们的算法包括几个新的策略，包括控制依赖解耦，动作掩码，目标注意力，和双剪辑PPO，我们提出的演员-评论家网络可以有效地在我们的系统中训练。在MOBA游戏《王者荣耀》上测试，我们的人工智能智能体腾讯Solo可以在全1v 1游戏中击败顶尖的人类职业选手。
2020-12-15 cs.AI cs.LG
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge（剑桥大学）
本文提出CALF框架，通过在仿真中训练考虑通信延迟等网络条件的策略，减少实际部署中的性能差距，验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Reinforcement Learning Agents for Ubisoft's Roller Champions
Riot Games（拳头游戏）；Ubisoft（育碧）
近年来，强化学习（RL）在研究和流行文化中越来越受欢迎。然而，人们仍然对RL在现代视频游戏开发中的实用性持怀疑态度。在本文中，我们通过示例证明了RL可以成为现代非平凡视频游戏中人工智能（AI）设计的重要工具。我们为Ubisoft的Roller Champions介绍我们的RL系统，这是一款在椭圆形滑冰场上进行的3v 3竞技多人体育游戏。我们的系统旨在跟上敏捷，快节奏的开发，需要1- 4天的训练一个新的模型后，游戏的变化。AI适用于各种游戏模式，包括2 v2模式，机器人训练模式，以及经典游戏模式，在经典游戏模式中，AI可以替换断开连接的玩家。我们观察到，人工智能开发复杂的协调策略，并可以帮助平衡游戏作为一个额外的奖励。请在https://vimeo.com/466780171（密码：rollerRWRL 2020）上查看随附的视频以获取示例。
2020-12-10 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Fidelity-Induced Interpretable Policy Extraction for Reinforcement Learning
Xiangtan University（湘潭大学）；Nanjing University（南京大学）
针对深度强化学习智能体决策不透明及现有可解释策略提取方法解释与行为不一致的问题，提出保真度诱导策略提取方法FIPE，通过将保真度测量集成到强化学习反馈中提升一致性与交互性能。
2023-09-12 cs.AI cs.LG
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Inclined Quadrotor Landing using Deep Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）；Czech Technical University in Prague（布拉格捷克理工大学）
在倾斜表面上着陆四旋翼是一个具有挑战性的机动。任何倾斜着陆轨迹的最终状态都不是平衡状态，这就排除了大多数常规控制方法的使用。我们提出了一种深度强化学习方法来设计一个倾斜表面的自主着陆控制器。使用具有稀疏奖励的近端策略优化（PPO）算法和定制的课程学习方法，可以在标准笔记本电脑上在不到90分钟的时间内在模拟中训练倾斜着陆策略。然后，该策略直接在真正的Crazyflie 2.1四旋翼上运行，并在飞行竞技场中成功执行真正的倾斜着陆。单个策略评估需要大约2.5ms，这使得它适合于未来在四旋翼上的嵌入式实现。
2022-07-28 cs.LG cs.RO
Feedback-Based Tree Search for Reinforcement Learning
University of Pittsburgh（匹兹堡大学）；Tencent AI Lab（腾讯AI实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
受最近成功的蒙特卡罗树搜索（MCTS）在一些人工智能（AI）应用领域的启发，我们提出了一个基于基于模型的强化学习（RL）技术，迭代地应用MCTS的小批量，有限时域版本的原始无限时域马尔可夫决策过程。有限时域问题的终端条件，或由MCTS生成的决策树的叶节点评估器，指定使用估计的价值函数和估计的策略函数的组合。由MCTS程序产生的建议，然后提供作为反馈，以完善，通过分类和回归，叶节点评估器的下一次迭代。我们提供了第一个样本的复杂性边界的树搜索为基础的RL算法。此外，我们表明，该技术的深度神经网络实现可以为流行的多玩家在线战斗竞技场（MOBA）游戏王者荣耀创建一个有竞争力的人工智能智能体。
2018-05-15 cs.AI cs.LG math.OC
(DEMO) Deep Reinforcement Learning Based Resource Allocation in Distributed IoT Systems
Graduate School of Informatics and Engineering, The University of Electro-Communications（信息与工程研究生学校，电子通信大学）
本文针对分布式物联网系统中真实数据训练DRL模型的不足，提出一种利用ACK反馈在实际环境中训练DRL模型进行信道选择的新框架，并通过帧成功率评估验证其可行性与有效性。
2025-09-21 cs.AI cs.LG
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
本文考虑了一个分布式强化学习问题，其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系，提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明，该算法可以解决强连通图的问题，通过允许每个代理，只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
TinyQMIX: Distributed Access Control for mMTC via Multi-agent Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；The Chinese University of Hong Kong（香港中文大学）
分布式接入控制是大规模机器类型通信（mMTC）的关键组成部分。在这种通信场景中，集中式资源分配是不可扩展的，因为资源配置必须频繁地从基站发送到大量设备。我们研究分布式强化学习的资源选择，而不依赖于集中控制。mMTC的另一个重要特征是业务的零星和动态变化。现有的分布式访问控制研究假设流量负载是静态的或者能够逐渐适应动态的流量。我们通过训练TinyQMIX，这是一个轻量级的多智能体深度强化学习模型，在部署前学习各种流量模式下的分布式无线资源选择策略，以最大限度地减少适应期。因此，经过训练的代理能够快速适应动态流量并提供低访问延迟。数值结果支持我们的主张。
2022-11-21 cs.LG cs.MA cs.NI
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Kernel-Based Distributed Q-Learning: A Scalable Reinforcement Learning Approach for Dynamic Treatment Regimes
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Center for Intelligent Decision-Making and Machine Learning（智能决策与机器学习中心）
针对利用大规模电子健康记录构建动态治疗方案的问题，提出一种可扩展的基于核的分布式Q学习算法，在显著降低深度强化学习计算复杂度的同时保持相当的累积奖励泛化性能。
2025-02-17 cs.AI cs.LG
Multi-Objective Optimization Using Adaptive Distributed Reinforcement Learning
Huawei Technology Munich Research Center（华为技术慕尼黑研究中心）；Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
该研究提出一种多目标多智能体强化学习算法，在动态分布式ITS环境中实现自适应小样本学习，并在边缘云计算场景下优于现有基准，且推理仅需6毫秒。
2024-03-13 cs.AI cs.LG cs.MA
Autobidding Arena: unified evaluation of the classical and RL-based autobidding algorithms
MSU IAI（莫斯科国立大学人工智能研究所）
针对自动出价算法公平可复现评估的需求，提出标准化透明评估协议，采用行业最新开源环境对比多类经典与RL自动出价算法，多指标评估其优劣与适用场景，助力企业按需选型。
2025-10-22 cs.GT cs.LG
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore（新加坡国立大学）
审核目的：传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门，该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习（MARL）为多机器人系统（MRS）设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果：分散MRS面临的基本挑战，如非平稳性和部分可观测性。建立在“集中培训，分散执行”的范式，最近的MARL方法包括独立学习，集中批评，价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能（如多机器人运动/路径规划）进行演示。摘要：本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序，并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA
Continuous Control Reinforcement Learning: Distributed Distributional DrQ Algorithms
HKU（香港大学）
针对连续控制任务，提出以分布式分布式DDPG为主干的分布式分布式DrQ算法，结合数据增强与分布价值函数，旨在通过分布价值函数的表达能力和分布式演员策略提升高难度连续控制任务性能。
2024-04-16 cs.AI cs.LG cs.RO
RLlib: Abstractions for Distributed Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）算法涉及高度不规则计算模式的深度嵌套，其中每一个通常表现出分布式计算的机会。我们主张通过自上而下的分层控制算法，以可组合的方式分发RL组件，从而将并行性和资源需求封装在短期运行的计算任务中。我们通过RLlib证明了这一原则的好处：一个为RL提供可扩展软件原语的库。这些原语使广泛的算法能够以高性能、可伸缩性和大量的代码重用来实现。RLlib可在https://rllib.io/上获得。
2018-06-29 cs.AI cs.DC cs.LG
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；DEVCOM U.S. Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的分布式协作多智能体强化学习（MARL）框架通常假设无向协调图和通信图，同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本，并表现出较差的可扩展性，由于全球共识的要求。在这项工作中，我们研究了MARL与有向协调图，并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得，而不使用任何共识算法。采用基于参数摄动的零阶优化（ZOO）方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较，我们表明，我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Minnesota（明尼苏达大学）
本文研究了强化学习中的分布式策略优化问题，该问题涉及一个中央控制器和一组学习器。特别是，在几个应用程序中遇到的两个典型的设置被认为是：多智能体强化学习（RL）和并行RL，学习者和控制器之间的频繁的信息交换是必需的。然而，对于许多实际的分布式系统，这些频繁的通信交换所造成的开销是相当可观的，并成为整体性能的瓶颈。为了解决这一问题，提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信，在不降低学习性能的前提下减少了通信开销。它是建立解析：i）新的算法具有相同的收敛速度的平原香草策略梯度;而ii）如果分布式学习器是异构的，在他们的奖励功能，需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比，替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
Distributed Deep Reinforcement Learning for Functional Split Control in Energy Harvesting Virtualized Small Cells
CTTC/CERCA（加泰罗尼亚电信技术中心）；Imperial College London（伦敦帝国理工学院）
为了满足对增强网络容量的日益增长的需求，移动网络运营商（MNO）正在部署密集的小型小区基础设施。这反过来又增加了移动网络的功耗，从而影响环境。因此，我们已经看到了最近的趋势，即利用收集的环境能源为移动网络供电，以实现环境和成本效益。在本文中，我们考虑了一个由能量收集器供电并配备可充电电池的虚拟化小小区（vsc）网络，该网络可以根据其能量可用性将基带（BB）功能机会性地卸载到并网边缘服务器。我们制定了相应的网格能量和流量丢弃率最小化问题，并提出了分布式深度强化学习（DDRL）解决方案。vSC之间的协调通过交换电池状态信息来实现。根据电网能耗和流量丢弃率对网络性能进行的评估证实，通过知识交换实现vSC之间的协调可以实现接近最佳的性能。数值结果也证实了所提出的DDRL解决方案提供了更高的网络性能，更好地适应不断变化的环境，以及更高的成本节约相对于表格多智能体强化学习（MRL）解决方案用作基准。
2020-08-07 cs.AI cs.LG cs.MA
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Fully Distributed Fog Load Balancing with Multi-Agent Reinforcement Learning
NRL（海军研究实验室）；University of Montreal（蒙特利尔大学）
本文提出基于多智能体强化学习的全分布式雾计算负载均衡方法，利用迁移学习自适应，优化等待时间与资源利用，并分析现实观测频率对性能的影响。
2025-03-26 cs.AI cs.DC cs.LG
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
MSRL: Distributed Reinforcement Learning with Dataflow Fragments
Imperial College London（帝国理工学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Huawei R&D United Kingdom（华为英国研发中心）；Hong Kong University of Science and Technology（香港科技大学）
强化学习（RL）训练许多代理，这是资源密集型的，并且必须扩展到大型GPU集群。不同的RL训练算法为分布式和并行计算提供了不同的机会。然而，当前的分布式RL系统将RL算法的定义与其分布式执行联系在一起：它们硬编码特定的分发策略，并且仅在GPU工作者上加速计算的特定部分（例如策略网络更新）。从根本上说，当前的系统缺乏将RL算法与其执行解耦的抽象。我们描述了MindSpore强化学习（MSRL），一个分布式RL训练系统，支持分布策略，管理RL训练计算如何并行化和分布在集群资源上，而不需要改变算法实现。MSRL引入了一个新的片段化图的抽象，它将Python函数从RL算法的训练循环映射到并行计算片段。片段通过将它们转换为低级递归表示（例如，由深度学习引擎、CUDA实现或多线程CPU进程支持的计算图）而在不同的设备上执行。我们证明了MSRL包含了现有系统的分布策略，同时将RL训练扩展到64个GPU。
2022-10-28 cs.AI cs.DC cs.LG
Distributed Multi-Agent Reinforcement Learning with One-hop Neighbors and Compute Straggler Mitigation
The Boeing Company（波音公司）；San Diego State University（圣地亚哥州立大学）；University of California San Diego（加州大学圣迭戈分校）
本文提出DARL1N方法，通过将智能体信息交换限制在单跳邻居来降低多智能体强化学习的维度复杂度，并引入编码分布式学习架构缓解计算落后节点影响，在保持策略质量的同时显著提升训练效率和可扩展性。
2024-12-30 cs.LG cs.MA
Combating Uncertainties in Wind and Distributed PV Energy Sources Using Integrated Reinforcement Learning and Time-Series Forecasting
University of Kansas（堪萨斯大学）
风能和太阳能等可再生能源正越来越多地被纳入智能电网系统。然而，与传统能源相比，可再生能源发电的不可预测性对电力供应商和公用事业公司都构成了重大挑战。此外，分布式能源（如光伏系统）的大规模集成为微电网的能源管理带来了新的挑战。为了解决这些问题，我们提出了一个新的框架，有两个目标：（i）通过利用长短期记忆（LSTM）解决方案的时间序列预测来对抗智能电网中可再生能源的不确定性，以及（ii）使用深度确定性策略梯度（DDPG）算法建立分布式和动态决策框架。拟议框架同时考虑到这两个目标，以充分整合它们，同时考虑批发和零售市场，从而在存在不确定和分布式可再生能源的情况下实现有效的能源管理。通过大量的数值模拟，我们证明了所提出的解决方案显着提高了利润的负荷服务实体（LSE）提供一个更准确的风力发电预测。此外，我们的研究结果表明，家庭与光伏和电池安装可以增加他们的利润，通过使用智能电池充电/放电的DDPG代理确定的行动。
2023-02-27 cs.AI cs.LG cs.MA
A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；School of Data Science（数据科学学院）
深度强化学习（Deep Reinforcement Learning，DRL）在训练过程中有时需要大量的数据来收敛，在某些情况下，智能体的每个动作都可能产生后悔。这种障碍自然会促使不同的数据集或环境所有者进行合作，以共享他们的知识，并更有效地训练他们的代理。然而，如果我们直接合并来自不同所有者的原始数据，就会引发隐私问题。为了解决这个问题，我们提出了一种新的深度神经网络（DNN）架构，具有全局NN和局部NN，以及分布式训练框架。我们允许全局权重由所有协作代理更新，而局部权重仅由它们所属的代理更新。通过这种方式，我们希望全局权重可以共享这些合作者之间的共同知识，而局部神经网络可以保持专门的属性，并确保代理与其特定的环境兼容。实验表明，该框架能够有效地帮助处于相同或相似环境中的智能体在训练过程中进行协作，并获得更高的收敛速度和更好的性能。
2021-09-30 cs.AI cs.LG
Distributed Deep Reinforcement Learning: An Overview
Sharif University of Technology（谢里夫理工大学）
深度强化学习（Deep Reinforcement Learning，DRL）是一个非常活跃的研究领域。然而，一些技术和科学问题需要解决，其中我们可以提到数据效率低下，探索-开发权衡和多任务学习。因此，引入了DRL的分布式修改;代理可以同时在许多机器上运行。在这篇文章中，我们提供了一个调查的分布式方法在DRL的作用。我们概述了该领域的状态，通过研究的关键研究工作，我们如何可以使用分布式方法在DRL有显着的影响。我们选择从分布式学习的角度来概述这些论文，而不是强化学习算法的创新方面。此外，我们评估这些方法在不同的任务，并比较他们的表现与对方和单个演员和学习者代理。
2020-11-22 cs.DC cs.LG
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA（英伟达）
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验，从而减少不稳定性，但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题，我们介绍了HyperTrick，一种新的元优化算法，并展示了它在深度强化学习的情况下调整超参数的有效应用，同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据，这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比，HyperTrick的特点是实现更简单，它允许学习类似的策略，同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
Coding for Distributed Multi-Agent Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；San Diego State University（圣地亚哥州立大学）
针对多智能体强化学习（MARL）问题，研究了同步分布式学习中的离散效应。在分布式学习系统中，由于存在各种系统干扰，如计算节点的减速或故障以及通信瓶颈，经常会出现掉队现象。为了解决这个问题，我们提出了一个编码的分布式学习框架，它可以在存在掉队者的情况下加快MARL算法的训练，同时保持与集中式方法相同的准确性。作为一个例子，编码的分布式版本的多代理深度确定性策略梯度（MADDPG）算法的开发和评估。不同的编码方案，包括最大距离可分离（MDS）码，随机稀疏码，基于复制的码，和规则的低密度奇偶检验（LDPC）码也进行了研究。多机器人问题的仿真结果表明，该框架具有良好的性能。
2021-01-07 cs.LG
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Hokoff: Real Game Dataset from Honor of Kings and its Offline Reinforcement Learning Benchmarks
Tsinghua University（清华大学）；Tencent Timi Studio（腾讯天美工作室）；Tencent AI Lab（腾讯AI实验室）
本文提出 Hokoff 数据集及框架，基于《王者荣耀》构建离线 RL 和离线 MARL 基准，并针对分层动作空间提出新基线算法，揭示现有离线 RL 方法在任务复杂性、泛化和多任务学习上的不足。
2024-11-22 cs.AI cs.LG
A Distributed Reinforcement Learning Solution With Knowledge Transfer Capability for A Bike Rebalancing Problem
New York University（纽约大学）
重新平衡是许多运输服务的关键服务瓶颈，例如Citi Bike。Citi Bike依靠调度员和现场代理之间的手动协调来重新平衡自行车。由于这一问题以及该领域缺乏智能自主解决方案，该项目探索了一种新的RL架构，称为具有迁移学习（TL）能力的分布式RL（DiRL）。DiRL解决方案能够适应不断变化的交通动态，以最低成本控制自行车库存。DiRL在自行车自动再平衡方面实现了350%的改进，TL在管理整个自行车网络方面提供了62.4%的性能提升。最后，对拼车服务Chariot的调度办公室进行了实地考察，为克服在现实世界中部署RL解决方案的挑战提供了见解。
2018-10-09 cs.AI cs.HC cs.LG
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
A Multi-Agent Deep Reinforcement Learning Approach for a Distributed Energy Marketplace in Smart Grids
University of Kansas（堪萨斯大学）
本文提出了一种基于强化学习（RL）的能源市场的生产消费者占主导地位的微电网。所提出的市场模型促进了实时和需求依赖的动态定价环境，降低了电网成本，提高了生产消费者的经济效益。此外，这种市场模式使电网运营商能够利用生产消费者的存储容量作为电网支持应用的可调度资产。基于Deep QNetwork（DQN）框架的仿真结果表明，产消者和电网运营商的24小时累计利润都有显着提高，电网备用功率利用率也大幅降低。
2020-09-23 cs.LG cs.MA cs.SY
Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation
University of Colorado Boulder（科罗拉多大学博尔德分校）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Flanders Make（佛兰德斯制造）
我们考虑使用强化学习（RL）来解决多机器人协作对象操作任务。我们提出了两种分布式多代理RL方法：分布式近似RL（DA-RL），其中每个代理应用Q-学习与个人的奖励函数;和博弈论RL（GT-RL），其中代理更新他们的Q值的基础上的纳什均衡的双矩阵Q值游戏。我们验证了所提出的方法在设置的合作对象操作与两个模拟机器人手臂。虽然本文中我们关注的是两个智能体的小系统，但DA-RL和GT-RL都适用于一般的多智能体系统，并且有望很好地扩展到大型系统。
2020-03-21 cs.GT cs.LG cs.MA
Distributed Area Coverage with High Altitude Balloons Using Multi-Agent Reinforcement Learning
NREIP Intern（NREIP实习生）；U.S. Naval Research Laboratory（美国海军研究实验室）；U.S. Government（美国政府）
针对小型高空气球编队本地化区域覆盖任务中现有确定性方法表现不佳的问题，本研究扩展RLHAB仿真环境，将QMIX多智能体强化学习算法适配于该任务，实现了与理论最优确定性方法相近的性能，为复杂多HAB自主任务提供基础。
2025-10-04 cs.LG cs.MA cs.RO
Emergence, Not Bandwidth: Physical Coupling and the Limits of Learned Multi-Agent Communication
Purdue University（普渡大学）
本研究证明在速率受限多智能体系统中，通信价值由物理耦合决定而非带宽，并揭示强化学习在部分耦合下无法发现最优协议，导致性能显著低于工程化方案。
2026-09-30 cs.LG cs.MA cs.RO
Containerized Distributed Value-Based Multi-Agent Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Automation, Tsinghua University（清华大学自动化系）
多智能体强化学习任务对训练样本量提出了很高的要求。与单智能体强化学习不同，基于价值的分布式多智能体强化学习面临着数据传输、进程间通信管理和探索性要求高等独特挑战。我们提出了一个容器化的学习框架来解决这些问题。我们将几个环境实例，一个本地学习器和缓冲区以及一个精心设计的多队列管理器打包到一个容器中，以避免阻塞。每个容器的本地策略被鼓励尽可能多样化，并且只有具有最高优先级的轨迹被发送给全局学习器。通过这种方式，我们实现了一个可扩展的，时间效率高，多样化的分布式MARL学习框架，具有高系统吞吐量。据自己所知，我们的方法是第一个解决具有挑战性的谷歌研究足球完整的游戏$5\_v\_5$。在星际争霸II微管理基准测试中，与最先进的非分布式MARL算法相比，我们的方法得到了$4$ - $18\times$更好的结果。
2021-12-03 cs.LG
Distributed Multi-Agent Deep Reinforcement Learning Framework for Whole-building HVAC Control
Amazon Web Services（亚马逊云科技）
据估计，商业建筑中约40%-50%的总电力消耗可归因于供暖、通风和空调（HVAC）系统。由于建筑物内各种HVAC控制和热动力学之间的未知和复杂关系，在考虑居住者的热舒适性的同时最小化能量成本是非常具有挑战性的。为此，我们提出了一个基于Energy Plus仿真环境的多智能体分布式深度强化学习（DRL）框架，用于优化商业建筑中的HVAC。该框架学习建筑物中复杂的热动力学，并利用建筑物中冷却和加热系统的差异效应来降低能源成本，同时保持居住者的热舒适度。通过自适应惩罚，RL算法可以优先考虑节能或保持热舒适性。使用DRL，我们实现了超过75%的能源消耗节省。分布式DRL框架可以扩展到异构类型的多个GPU和CPU。
2021-10-26 cs.AI cs.LG cs.SY
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有向对等网络上分布式强化学习（DisRL）的策略评估问题，提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点，每个节点可以通过使用来自其邻居的（可能延迟的）信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题，我们设计了一种新的随机平均梯度（SAG）为基础的分布式算法，并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$，其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后，数值实验验证了我们的方法的速度与节点数成线性关系，并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法（DQN）。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境，使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN，并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
