Centralized Permutation Equivariant Policy for Cooperative Multi-Agent Reinforcement Learning
本文提出集中式置换等变(CPE)学习框架,通过轻量可扩展的全局-局部置换等变(GLPE)网络实现完全集中式策略,可无缝集成价值分解与演员-评论家方法,在 MPE、SMAC 和 RWARE 等协作基准上显著提升标准 CTDE 算法性能。
2025-08-13 cs.AI cs.LG cs.MA
Survey of Recent Multi-Agent Reinforcement Learning Algorithms Utilizing Centralized Training
US DEVCOM Army Research Laboratory(美国DEVCOM陆军研究实验室);Oak Ridge Associated Universities(橡树岭联合大学)
该综述聚焦采用集中学习分散执行范式的多智能体强化学习,梳理集中式训练的变体与相关算法,探究信息共享机制的不同实现对协作任务中群体协调行为的影响。
2021-07-29 cs.AI cs.LG cs.MA
MAIDCRL: Semi-centralized Multi-Agent Influence Dense-CNN Reinforcement Learning
Missouri State University(密苏里州立大学)
本文提出半集中式多智能体密集CNN强化学习MAIDCRL,通过在MAIDRL中引入卷积层,显著提升了在复杂异构SMAC场景下的学习性能、收敛速度及胜率。
2024-02-12 cs.AI cs.LG
CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Huawei Cloud(华为云)
由于许多多智能体强化学习(MARL)任务的部分可观测性和通信约束,集中训练分散执行(CTDE)已成为最广泛使用的MARL范式之一。在CTDE中,集中式信息专用于学习混合网络的团队奖励分配,而个人Q值的学习通常基于局部观察。全局观测的效用不足将降低具有挑战性的环境中的性能。为此,本工作提出了一种新的集中式教师与分散式学生(CTDS)的框架,其中包括一个教师模型和一个学生模型。具体而言,教师模型通过学习以全局观测为条件的个体Q值来分配团队奖励,而学生模型利用部分观测来近似教师模型估计的Q值。通过这种方式,CTDS平衡了训练期间全局观察的充分利用和分散执行在线推理的可行性。我们的CTDS框架是通用的,可以应用于现有的CTDE方法,以提高其性能。我们进行了一组具有挑战性的星际争霸II微观管理任务的实验,以测试我们的方法的有效性,结果表明,CTDS优于现有的基于值的MARL方法。
2022-03-16 cs.LG cs.MA
A Semi Centralized Training Decentralized Execution Architecture for Multi Agent Deep Reinforcement Learning in Traffic Signal Control
Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
本文提出SEMI-CTDE架构,通过区域划分实现多交叉口交通信号控制,结合集中训练与分布式执行,提升性能与适应性。
2026-03-29 cs.AI cs.LG cs.MA
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore(新加坡国立大学计算机学院);TikTok Pte. Ltd., Singapore(新加坡TikTok公司);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架,通过奖励塑形实现知识共享与迁移,在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory(GRASP实验室);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时,输入和控制空间的维数也会增加,这些方法的扩展性不好。为了解决这个问题,我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设,对于多代理设置,在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近,可以近似为一个单一的政策。有了这个简单的假设,我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
SMIX($λ$): Enhancing Centralized Value Functions for Cooperative Multi-Agent Reinforcement Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在多智能体强化学习(MARL)中,学习一个稳定的、可推广的集中价值函数(CVF)是一个关键但具有挑战性的任务,因为它必须处理联合行动空间随智能体数量呈指数增长的问题。本文提出了一种名为SMIX($λ$)的方法,在灵活的学习者搜索空间内使用有效的非策略集中式训练方法来解决这个问题。由于这种非策略训练的重要性采样在计算上是昂贵的并且在数值上是不稳定的,因此我们建议使用$λ$ -返回作为代理来计算TD误差。在新的损失函数目标下,我们采用了一种改进的QMIX网络结构作为训练模型的基础。通过进一步连接它与${Q(λ)}$的方法从统一的期望校正的观点,我们表明,建议SMIX($λ$)是等价的${Q(λ)}$,因此共享其收敛性能,而不会受到上述灾难的维数问题固有的MARL。星际争霸多智能体挑战赛(SMAC)基准测试的实验表明,我们的方法不仅优于几个国家的最先进的MARL方法的大幅度,但也可以作为一个通用的工具,以提高其他CTDE型算法的整体性能,通过提高他们的CVF。
2020-08-09 cs.LG cs.MA
Multi-Stage Transmission Line Flow Control Using Centralized and Decentralized Reinforcement Learning Agents
GEIRI North America(全球能源互联网研究院北美分院);Jinhua Electric Power Company(金华电力公司);SGCC Zhejiang Electric Power Company(国网浙江省电力公司)
规划满足安全和经济约束的大容量电力系统的未来操作场景通常需要在执行大规模仿真时进行密集的劳动力努力。为了自动化这一过程,减轻工程师的负担,本文提出了一种新的多阶段控制方法,训练集中式和分散式强化学习代理,可以自动调整电网控制器调节输电线路流量在正常条件下和在突发事件。将电网潮流控制问题转化为马尔可夫决策过程(MDP)。在第一阶段,集中式软行动者-评论家(SAC)代理被训练来控制发电机有功功率输出在一个广泛的区域,以控制输电线路流量对指定的安全限制。如果线路过载问题仍未解决,则使用阶段二通过本地变电站处的负载切换来训练分散的SAC代理。以浙江省电力公司电网运行规划为例,验证了该方法的有效性。
2021-02-16 cs.LG cs.SY eess.SY
Regularize! Don't Mix: Multi-Agent Reinforcement Learning without Explicit Centralized Structures
University of Technology Sydney(悉尼科技大学);Faculty of Engineering and Information Technology(工程与信息技术学院)
我们建议使用正则化的多智能体强化学习,而不是学习显式的合作结构称为{ \em多智能体正则化Q学习}(MARQ)。许多MARL方法利用集中式结构,以便利用全局状态信息或在代理以分散方式行事时消除通信约束。而不是学习冗余的结构,在代理执行过程中被删除,我们建议,而不是利用共享的经验的代理,规范的个人政策,以促进结构化的探索。我们研究了几种不同的方法,如何MARQ可以显式或隐式地规范我们的政策,在多代理设置。MARQ旨在通过应用正则化约束来解决MARL上下文中的这些限制,这些约束可以纠正非政策分发代理经验中的偏差,并促进多样化的探索。我们的算法在几个基准多智能体环境中进行了评估,我们表明MARQ始终优于几个基线和最先进的算法;学习步骤更少,收敛到更高的回报。
2021-09-19 cs.LG cs.MA stat.ML
An Initial Introduction to Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文是协同多智能体强化学习的导论,梳理了CTE、CTDE、DTE三类方法的核心概念、典型算法与相关研究,还探讨了认知误区、方法关联及开放问题。
2026-09-24 cs.LG cs.MA
Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization
Georgia Institute of Technology(佐治亚理工学院)
大都市地区的交通拥堵是一个世界性的问题,可以通过动态响应实时条件的交通灯来改善。最近的研究应用深度强化学习(RL)来优化单个交通信号灯,与传统控制相比有显着改善。然而,大规模道路网络全局交通状况优化问题本质上是一个多智能体协作控制问题,由于环境的非平稳性和在指数联合作用空间上的不可行性,单智能体强化学习不适用于该问题。受这些挑战的激励,我们提出了QCOMBO,一个简单而有效的多智能体强化学习(MARL)算法,它结合了独立学习和集中学习的优点。我们通过从单独优化的效用函数中选择动作来确保可扩展性,这些效用函数通过个体效用和全局动作-价值函数之间的新颖一致性正则化损失来最大化全局性能。不同的道路拓扑结构和交通流条件下的SUMO交通模拟器的实验表明,与最近的国家的最先进的MARL算法的QCOMBO竞争的性能。我们进一步表明,在小型子网络上训练的策略可以有效地推广到不同交通流条件下的大型网络,为MARL用于智能交通控制的适用性提供了经验证据。
2019-09-23 cs.LG cs.MA stat.ML
Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
提出一种融合模型预测控制与距离加权平均场的多智能体强化学习方法,实现随机环境中无人机集中式训练、分散式避障路径规划,并通过仿真与真实机器人验证其效率和泛化性。
2026-10-19 cs.LG cs.RO
Learning to Reflect: Hierarchical Multi-Agent Reinforcement Learning for CSI-Free mmWave Beam-Focusing
Texas A&M University(德克萨斯农工大学)
本文提出一种无CSI的分层多智能体强化学习框架,用于毫米波波束聚焦,通过用户定位数据替代CSI估计,实现高效且鲁棒的反射表面控制。
2026-03-07 cs.LG
Deep Implicit Coordination Graphs for Multi-agent Reinforcement Learning
Stanford University(斯坦福大学);Microsoft(微软);MIT Lincoln Labs(麻省理工学院林肯实验室)
多智能体强化学习(MARL)需要协调来有效地解决某些任务。由于联合行动空间的大小,完全集中式控制在这些领域通常是不可行的。基于协调图的形式化允许基于交互结构的联合动作的推理。但是,它们在设计中通常需要领域专业知识。本文介绍了这种情况下的深层隐式协调图(DICG)架构。DICG包括用于推断动态协调图结构的模块,该动态协调图结构然后被基于图神经网络的模块用来学习隐式地推理联合动作或值。DICG允许通过标准的行动者-批评者方法学习完全集中和分散之间的权衡,以显着提高具有大量代理的域的协调。我们将DICG应用于集中培训集中执行和集中培训分散执行制度。我们证明,DICG解决了相对过度泛化的病理捕食-猎物的任务,以及优于各种MARL基线上具有挑战性的星际争霸II多智能体挑战赛(SMAC)和交通路口的环境。
2021-02-03 cs.AI cs.LG cs.MA
A Deeper Understanding of State-Based Critics in Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
分散执行的集中式训练,其中训练以集中式离线方式完成,已成为多智能体强化学习中流行的解决方案范例。许多这样的方法采用基于状态的批评者的行动者-批评者的形式,因为集中式训练允许访问真实的系统状态,这在训练期间可能是有用的,尽管在执行时不可用。基于国家的批评已成为一种常见的经验选择,尽管这种选择的理论依据或分析有限。在本文中,我们表明,基于状态的批评可以引入偏见的策略梯度估计,潜在地破坏了算法的渐近保证。我们还表明,即使基于状态的批评不引入任何偏见,他们仍然可以导致一个更大的梯度方差,与共同的直觉。最后,我们展示了理论在实践中的影响,通过比较不同形式的集中批评在广泛的共同基准,并详细说明各种环境属性是如何与不同类型的批评的有效性。
2022-05-25 cs.AI cs.LG cs.MA
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Deep Reinforcement Learning for Online Optimal Execution Strategies
Imperial College London(伦敦帝国学院)
本文提出基于DDPG的演员-评论家算法,用于在具有一般衰减核瞬时价格冲击的动态市场中学习非马尔可夫最优执行策略,并通过数值实验验证其逼近效果与对时变市场条件的适应性。
2024-10-17 cs.LG stat.ML
Optimal Execution Using Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究探讨加密货币的最优订单执行问题,首次通过对齐多交易所数据提取跨交易所信号,并验证了该信号能为基于强化学习的智能体决策提供额外信息,从而促进最优执行过程。
2023-06-19 cs.LG q-fin.TR
Decentralized Multi-Agent Actor-Critic with Generative Inference
University of Delaware(特拉华大学);U.S. Army Research Laboratory(美国陆军研究实验室)
最近的多智能体行动者-批评者方法利用分散执行的集中训练来解决协同适应智能体的非平稳性。这种训练范例将学习限制在集中式阶段,使得在分散式阶段期间仅可以使用预先学习的策略,当智能体通信延迟、嘈杂或中断时,分散式阶段表现不佳。在这项工作中,我们提出了一个新的系统,可以优雅地处理部分可观察的信息,由于分散执行过程中的通信中断。我们的方法增加了多代理的演员-评论家方法的集中训练阶段与生成建模,使代理可以推断其他代理的观察时,提供本地可用的上下文。我们的方法进行评估,需要代理结合本地和远程观察其他代理人的三个任务。我们通过在分散执行过程中引入部分可观测性来评估我们的方法,并表明对推断观察的分散训练与现有的演员-评论家方法一样好或更好。
2019-10-07 cs.LG cs.MA
Optimal Execution with Reinforcement Learning
本研究通过强化学习开发最优执行策略,利用限价订单簿特征在高频下最大化控制,并使用ABIDES模拟器克服历史数据局限,结果显示强化学习智能体优于标准策略,为实际交易提供基础。
2025-11-01 cs.LG q-fin.TR
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology(史蒂文斯理工学院);Xiaohongshu Inc(小红书公司)
我们研究了具有集中训练和分散执行的多智能体强化学习(MARL)。在训练期间,新的代理可以加入,并且现有代理可以意外地离开训练。在这种情况下,标准的深度MARL模型必须从头开始重新训练,这非常耗时。为了解决这个问题,我们提出了一个特殊的网络架构与少样本学习算法,允许代理的数量在集中训练过程中变化。特别是,当一个新的代理加入集中训练,我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练,其余的代理的训练过程不受影响。我们的实验表明,使用所提出的网络架构和算法,当新代理加入时,模型自适应可以比基线快100倍以上。我们的工作适用于任何环境,包括合作,竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
NashDreamer: Model-Based Reinforcement Learning for Zero-Sum Imperfect-Information Games
Artificial Intelligence Center(人工智能中心);Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电气工程学院)
本文针对基于模型的强化学习在零和非完全信息博弈中应用不足的问题,提出NashDreamer框架,引入MARSSM模型,经四基准游戏验证可提升样本效率,并分析了Dreamer系列算法的后验崩溃问题。
2026-11-03 cs.LG
An Offline Multi-Agent Reinforcement Learning Framework for Radio Resource Management
Centre for Wireless Communications (CWC)(无线通信中心);University of Oulu(奥卢大学)
本文提出离线多智能体强化学习框架用于无线资源管理,优化多接入点调度以提升用户总速率与尾部速率,相比基线实现超15%性能提升,并验证CTDE范式在效率与性能间的平衡。
2025-01-22 cs.LG cs.MA
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University(高丽大学);Ajou University(亚洲大学)
本文针对自主移动接入场景,提出基于CTDE的多智能体深度强化学习方法,用单一神经网络集中训练多无人机协作,以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Intelligent Electric Vehicle Charging Recommendation Based on Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Baidu Research(百度研究院);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
电动汽车(EV)由于其环境和能源的可持续性,已成为现代交通系统的首选。然而,在许多大城市,电动汽车司机往往无法找到合适的地点充电,因为有限的充电基础设施和时空不平衡的充电需求。事实上,最近出现的深度强化学习提供了从各个方面长期改善充电体验的巨大潜力。在本文中,我们提出了一个框架,命名为多智能体时空强化学习(主),智能推荐公共充电站,共同考虑各种长期的时空因素。具体而言,通过将每个充电站视为一个单独的代理,我们将此问题制定为多目标多智能体强化学习任务。我们首先开发了一个多代理的演员评论家框架与集中式细心的评论家协调地理分布的代理之间的推荐。此外,为了量化未来潜在的收费竞争的影响,我们引入了一个延迟访问策略,利用未来的收费竞争的知识在训练过程中。然后,为了有效地优化多个学习目标,将集中式注意力评价器扩展到多评价器,并提出了一种动态梯度重加权策略来自适应地引导优化方向。最后,在两个真实数据集上的大量实验表明,与九种基线方法相比,Master实现了最佳的综合性能。
2021-02-15 cs.LG
Reinforcement Learning Scheduler for Vehicle-to-Vehicle Communications Outside Coverage
Huawei Technologies German Research Center(华为技术德国研究中心)
车辆到车辆(V2 V)通信中的无线电资源可以由驻留在网络中的集中式调度器(例如,在蜂窝系统的情况下为基站)或分布式调度器,其中资源由车辆自主选择。前一种方法在网络覆盖不中断的情况下产生相当高的资源利用率。然而,在间歇性或覆盖范围外的情况下,由于没有来自集中式调度器的输入,车辆需要恢复到分布式调度。受强化学习(RL)的最新进展的启发,我们研究了集中式学习调度器是否可以被教导为有效地将资源预分配给车辆以进行覆盖范围外的V2 V通信。具体来说,我们使用的演员-评论家RL算法训练集中式调度器提供非干扰资源的车辆之前,他们进入的覆盖范围。我们的初步结果表明,基于RL的调度器可以实现性能一样好,甚至更好的最先进的分布式调度器,往往优于它。此外,学习过程中完成一个合理的时间(从几百到几千epochs),从而使基于RL的调度器V2 V通信间歇性网络覆盖的一个有前途的解决方案。
2019-04-29 cs.IT cs.LG cs.NI
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的学习技术,称为消息丢弃,以提高性能的多智能体深度强化学习在两个应用场景:1)经典的多智能体强化学习与代理之间的直接消息通信和2)集中式训练与分散执行。在第一个应用场景中的多代理系统,其中代理之间的直接消息通信是允许的,消息丢弃技术放弃了从其他代理接收到的消息,在一个块的方式与一定的概率在训练阶段,并补偿这种影响,通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度,并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行,我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度(MADDPG),它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术,数值结果表明,建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Distributed Uplink Beamforming in Cell-Free Networks Using Deep Reinforcement Learning
University of Manitoba(曼尼托巴大学);University of Tübingen(图宾根大学)
新的无线技术的出现以及大规模连接的需求导致了若干技术问题,诸如过度干扰、对信号处理的高计算需求以及冗长的处理延迟。在这项工作中,我们提出了几种用于上行链路无小区网络的波束成形技术,这些技术具有集中式,半分布式和全分布式处理,所有这些都基于深度强化学习(DRL)。首先,我们提出了一种完全集中式波束形成方法,该方法使用具有连续空间的深度确定性策略梯度算法(DDPG)。然后,我们通过在接入点(AP)实现分布式体验来增强这种方法。事实上,我们开发了一个波束成形方案,使用分布式分布式确定性策略梯度算法(D4 PG)与代表分布式代理的AP。最后,为了降低计算复杂度,我们提出了一个完全分布式的波束形成方案,划分AP之间的波束形成计算。结果表明,具有分布式经验的D4 PG方案在不考虑网络规模的情况下获得了最佳性能。此外,所提出的分布式波束形成技术的性能优于DDPG算法与集中式学习,仅用于小规模的网络。随着AP和/或用户数量的增加,DDPG模型的性能优势变得更加明显。此外,在操作阶段,所有DRL模型表现出显着更短的处理时间比传统的梯度下降(GD)的解决方案。
2021-10-21 cs.LG eess.SP
A Modular Framework for Reinforcement Learning Optimal Execution
Zurich University of Applied Sciences(苏黎世应用科学大学)
在这篇文章中,我们开发了一个模块化框架,用于将强化学习应用于最优交易执行问题。该框架的设计考虑了灵活性,以简化不同模拟设置的实施。而不是专注于代理和优化方法,我们专注于环境,并分解必要的要求,以模拟强化学习框架下的最佳交易执行,如数据预处理,观察的构建,动作处理,子订单执行,模拟基准,奖励计算等。探讨它们各自的实现所面临的困难以及它们之间的相互作用,并讨论每个组件在模拟中引起的不同现象,突出模拟与真实市场行为之间的差异。我们通过一个设置展示了我们的模块化实现,该设置遵循时间加权平均价格(TWAP)订单提交时间表,允许代理专门下限价订单,通过迭代限价订单簿(LOB)的快照来模拟它们的执行,并计算奖励作为TWAP基准算法遵循相同时间表实现的价格的改进。我们还开发了评估程序,其中包括在训练范围的间隔内对给定代理进行迭代再训练和评估,模仿代理在不断重新训练时的行为,因为新的市场数据变得可用,并模仿算法提供商在当前监管框架下必须执行的监控实践。
2022-08-11 cs.CE cs.LG
Amplifying the Imitation Effect for Reinforcement Learning of UCAV's Mission Execution
University of Yonsei(延世大学)
本文提出了一种新的强化学习(RL)算法,通过放大模仿效应(AIE)来增强探索。该算法由自模仿学习和随机网络蒸馏算法组成。我们认为,这两个算法相辅相成,这两个算法相结合,可以放大模仿效果的探索。此外,通过向RL代理频繁访问的状态添加固有惩罚奖励,并在使用探索奖励时使用重放记忆来学习特征状态,所提出的方法导致深度探索并偏离当前的收敛策略。通过在二维网格环境中的实验,验证了算法的探索性能。最后,将该算法应用于无人作战飞机(UCAV)任务执行的仿真环境中,实验结果表明,该算法能够有效地找到UCAV规避敌方导弹的最短飞行路径。
2019-01-17 cs.AI cs.LG
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University(南京大学)
多智能体强化学习(MARL)算法通过利用集中式训练和分散式执行(CTDE)范式,近年来取得了可喜的进展。然而,现有的MARL算法仍然受到样本效率低下的问题。在本文中,我们提出了一个简单而有效的方法,称为基于状态的情景记忆(SEM),以提高样本效率在MARL。SEM采用情景记忆(EM)对MARL中CTDE的集中训练过程进行监督。据我们所知,SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM(SAEM),后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛(SMAC)上的实验结果表明,在MARL中引入情景记忆可以提高样本效率,与SAEM相比,SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Interactive Distillation for Cooperative Multi-Agent Reinforcement Learning
Minwoo Cho;Batuhan Altundas;Matthew Gombolay
HINT通过交互式蒸馏框架提升多智能体协作强化学习的性能,采用分层强化学习和伪非策略方法,在复杂任务中实现显著的成功率提升。
2026-01-08 cs.LG cs.MA
Multi-agent deep reinforcement learning with centralized training and decentralized execution for transportation infrastructure management
organization= Department of Civil;Environmental Engineering , addressline= The Pennsylvania State University , city= University Park , postcode= 16802 , state= PA , country= USA;organization= Faculty of Architecture \& the Built Environment , addressline= Delft University of Technology , postcode= 2628 BL , state= Delft , country= The Netherlands
本文提出DDMAC-CTDE框架,用于交通基础设施管理中的多智能体深度强化学习,通过集中训练与分布式执行解决高维状态和动作空间问题,并在基准环境中验证其有效性。
2026-02-25 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning Under Constrained Communications
US Army CCDC Ground Vehicle Systems Center(美国陆军地面车辆系统中心)
本文提出了一种无需集中信息的分布式多智能体强化学习框架DG-MAPPO,通过多跳通信实现全局状态推断,有效提升了协作任务的鲁棒性和可扩展性。
2026-01-22 cs.AI cs.LG
Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics
Department of Industrial Engineering(工业工程系);Rosenheim Technical University of Applied Sciences(罗森海姆应用技术大学)
提出一个策略无关的执行与测量层,通过构建决策有效快照、定义标准化执行合约并记录结果分歧,将执行不确定性转化为可观测的结构化数据,从而弥合仿真与现实的差距。
2026-05-27 cs.AI cs.LG
Reinforcement Learning in Queue-Reactive Models: Application to Optimal Execution
ORFE, Princeton University(ORFE,普林斯顿大学);CMAP, École Polytechnique(CMAP,巴黎高等学院);Scuola Normale Superiore(高等师范大学);Intesa Sanpaolo(意昂萨帕洛)
针对元订单最优执行问题,本文结合队列反应模型的限价订单簿模拟,训练双重深度Q网络智能体,其策略可适应订单簿状态,在多种配置下表现优于标准方法。
2025-11-19 cs.LG q-fin.TR
Agent-Agnostic Centralized Training for Decentralized Multi-Agent Cooperative Driving
University of Freiburg(弗莱堡大学);Ruhr University Bochum(波鸿鲁尔大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出一种智能体无关的集中训练方法,利用带掩码注意力神经网络的非对称演员-评论家模型和单智能体强化学习,学习去中心化协同驾驶策略,以改善瓶颈路段交通流并缓解保守驾驶导致的减速。
2024-09-03 cs.LG cs.RO
Learn Continuously, Act Discretely: Hybrid Action-Space Reinforcement Learning For Optimal Execution
Huawei EI Innovation Lab(华为EI创新实验室);E Fund Innovation Lab(易方达创新实验室)
在算法交易中,最优执行是一个节约成本的序贯决策问题。研究发现,强化学习(RL)可以帮助确定订单拆分大小。然而,一个问题仍然没有解决:如何在适当的限价下限价订单?关键的挑战在于行动空间的“连续-离散二元性”。一方面,使用价格变化百分比的连续行动空间更适合推广。另一方面,由于最小价格变动单位的存在,交易者最终需要离散地选择限价,这需要针对具有不同特征的每只股票进行专业化(例如,流动性和价格范围)。因此,我们需要连续控制的泛化和离散控制的专业化。为此,我们提出了一种混合RL方法,结合两者的优点。我们首先使用一个连续的控制代理范围的动作子集,然后部署一个细粒度的代理选择一个特定的限制价格。大量的实验表明,我们的方法具有更高的样本效率和更好的训练稳定性比现有的强化学习算法和显着优于以前的学习为基础的方法的订单执行。
2022-07-22 cs.LG q-fin.TR
POSET-RL: Phase ordering for Optimizing Size and Execution Time using Reinforcement Learning
IIT Hyderabad(印度理工学院海得拉巴分校)
几个应用程序的不断增加的内存需求导致了嵌入式设备可能无法满足的需求增加。在这种情况下,限制内存的使用至关重要。重要的是,这种代码大小的改进不应该对运行时产生负面影响。在优化代码大小的同时改善执行时间是一项重要的任务。现代编译器中标准优化序列的顺序是固定的,并且由编译器领域专家基于他们的专业知识来创建。然而,这种排序是次优的,并且不能很好地推广到所有情况。我们提出了一个基于强化学习的解决方案的阶段排序问题,其中排序提高了执行时间和代码大小。我们提出了两种不同的方法来建模的序列:一个手动排序,和其他基于一个图称为奥兹依赖图(ODG)。我们的方法使用最少的数据作为训练集,并与LLVM集成。我们在SPEC-CPU 2006、SPEC-CPU 2017和MiBench的基准测试中展示了x86和AArch 64架构的结果。我们观察到,在SPEC 2017基准测试中,基于ODG的拟议模型在大小和执行时间方面均优于当前的Oz序列,平均分别为6.19%和11.99%。
2022-07-27 cs.LG cs.PL
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney(悉尼大学)
我们提出了一个多智能体演员批评的方法,旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是,代理之间的信用分配可能不需要一个明确的制定,只要(1)来自一个集中的评论家的策略梯度携带足够的信息,分散的代理,以最大限度地提高其联合行动的价值,通过最佳的合作和(2)在整个训练过程中执行一个持续的探索水平。在CTDE范式下,通过将集中式评价器构造成一个超网络,使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中,实现了前者;为了实现后者,我们推导出一种称为自适应熵正则化的简单技术,其中熵梯度的大小根据当前政策随机性,以鼓励一致的勘探水平。我们的算法,被称为LICA,评估的几个基准,包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务,我们表明,LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
Safe Multi-Agent Reinforcement Learning via Shielding
University of Virginia(弗吉尼亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学);Clausthal University of Technology(克劳斯塔尔工业大学)
多智能体强化学习(MARL)已经越来越多地用于广泛的安全关键应用中,这些应用需要有保证的安全性(例如,在学习过程中没有访问过不安全的状态)。不幸的是,当前的MARL方法没有安全保证。因此,我们提出了两种屏蔽方法的安全MARL。在集中屏蔽中,我们合成一个单一的屏蔽来监视所有代理的联合行动,并在必要时纠正任何不安全的行动。在因子屏蔽中,我们基于对所有Agent观测到的联合状态空间的因子分解来合成多个屏蔽,屏蔽集同时监控Agent,每个屏蔽只负责每一步中的一个子集.实验结果表明,这两种方法都能保证Agent在学习过程中的安全性,而不影响学习策略的质量;此外,因子化屏蔽在代理的数量上比集中式屏蔽更可缩放。
2021-02-02 cs.FL cs.LG
An Analysis of Multi-Agent Reinforcement Learning for Decentralized Inventory Control Systems
Imperial College London(帝国理工学院);The University of Manchester(曼彻斯特大学)
针对现实供应链信息无法集中的库存管理难题,提出多智能体强化学习的去中心化方案,对比三种PPO变体,发现带集中critic的方案性能接近集中式方案且优于分布式模型方法,适配信息约束。
2023-07-21 cs.LG cs.MA cs.SY
PTDE: Personalized Training with Distilled Execution for Multi-Agent Reinforcement Learning
Renmin University of China(中国人民大学);SenseTime(商汤科技);Huawei(华为);JD Explore Academy(京东探索研究院)
本文提出多智能体强化学习新范式PTDE,通过为每个智能体定制并蒸馏全局信息至局部信息,在去中心化执行时保持性能,显著提升SMAC、GRF和LTR等基准表现。
2024-04-20 cs.AI cs.LG cs.MA
HarnessMDP: Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning
University of Toronto(多伦多大学);Emory University(埃默里大学)
研究提出将大语言模型智能体的执行框架视为可学习控制层,通过有限 horizon 的框架马尔可夫决策过程,利用离线强化学习训练轻量级控制器,在多领域实验中改进验证行为、提高任务质量,证明框架控制可学习且离线支持有局限。
2026-10-16 cs.AI cs.LG
TinyQMIX: Distributed Access Control for mMTC via Multi-agent Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所);The Chinese University of Hong Kong(香港中文大学)
分布式接入控制是大规模机器类型通信(mMTC)的关键组成部分。在这种通信场景中,集中式资源分配是不可扩展的,因为资源配置必须频繁地从基站发送到大量设备。我们研究分布式强化学习的资源选择,而不依赖于集中控制。mMTC的另一个重要特征是业务的零星和动态变化。现有的分布式访问控制研究假设流量负载是静态的或者能够逐渐适应动态的流量。我们通过训练TinyQMIX,这是一个轻量级的多智能体深度强化学习模型,在部署前学习各种流量模式下的分布式无线资源选择策略,以最大限度地减少适应期。因此,经过训练的代理能够快速适应动态流量并提供低访问延迟。数值结果支持我们的主张。
2022-11-21 cs.LG cs.MA cs.NI
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto(多伦多大学);RBC Capital Markets(加拿大皇家银行资本市场)
强化学习(RL)的进步跨越了各种各样的应用,推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准,但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习(TradeR)的交易执行,旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头,TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划,结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中,TradeR展示了对价格突然变化和灾难性损失的鲁棒性,同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
Evaluating Generalization and Transfer Capacity of Multi-Agent Reinforcement Learning Across Variable Number of Agents
Istanbul Technical University(伊斯坦布尔技术大学)
多智能体强化学习(MARL)问题通常需要智能体之间的合作来解决任务。集中和分散是MARL合作的两种方式。虽然完全分散的方法由于部分可观测性和非平稳性而容易收敛到次优解,但涉及集中化的方法存在可扩展性限制和懒惰代理问题。集中式训练分散式执行范式带来了这两种方法的最佳效果;然而,集中式训练仍然具有可扩展性的上限,不仅对于获得的协调性能,而且对于模型大小和训练时间。在这项工作中,我们采用了集中训练与分散执行范式,并研究了不同数量的代理的训练模型的泛化和转移能力。这种能力是通过在特定的MARL问题中训练可变数量的代理,然后对每个训练配置使用可变数量的代理进行贪婪评估来评估的。因此,我们分析了评估性能的每个组合的代理计数的培训与评估。我们对捕食者、猎物和交通路口环境进行了实验评估,并证明了用较少的代理进行训练可以获得类似或更高的评估性能。我们的结论是,执行训练的代理的最佳数量可能与代理的目标数量不同,并认为在大量的代理之间的转移可以是一个更有效的解决方案,以扩大比直接增加在训练过程中的代理数量。
2021-11-28 cs.AI cs.LG cs.MA
Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution
Nanyang Technological University(南洋理工大学);WeBank Co. Ltd.(微众银行股份有限公司)
通过强化学习进行投资组合管理是金融科技研究的前沿,该研究探索如何通过试错法在长期内将资金最佳地重新分配到不同的金融资产中。现有的方法是不切实际的,因为它们通常假设每次重新分配可以立即完成,从而忽略了作为交易成本的一部分的价格滑点。为了解决这些问题,我们提出了一个分层加强证券交易系统的投资组合管理(HRPM)。具体而言,我们将交易过程分解为交易执行的投资组合管理层次,并对相应的策略进行训练。高级策略以较低的频率给出投资组合权重,以最大化长期利润,并调用低级策略在较短的时间窗口内以较高的频率出售或购买相应的股票,以最小化交易成本。我们通过预训练方案和迭代训练方案对两个级别的策略进行训练,以提高数据效率。在美国市场和中国市场的大量实验结果表明,HRPM实现了许多国家的最先进的方法显着改善。
2021-02-07 cs.AI cs.LG
Insect-inspired modular architectures as inductive biases for reinforcement learning
Department of Mechanical Engineering, Virginia Tech(弗吉尼亚理工大学机械工程系)
本文提出了一种模块化强化学习架构,通过分布式电路实现感知编码、方向表示、稀疏联想记忆等功能,以应对动态竞争的行为目标。
2026-04-23 cs.LG physics.comp-ph
Consensus-based Decentralized Multi-agent Reinforcement Learning for Random Access Network Optimization
The Ohio State University(俄亥俄州立大学);University of Wisconsin-Whitewater(威斯康星大学-惠特ewater分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对随机接入网络优化中集中式训练开销大的问题,提出一种基于共识的去中心化多智能体强化学习架构,通过仅交换局部奖励降低通信开销,并证明了全局收敛性,显著提升了网络性能。
2025-08-09 cs.AI cs.LG cs.NI