Adaptive AI-based Decentralized Resource Management in the Cloud-Edge Continuum
Department of Computer Science, University of Pisa(计算机科学系,比萨大学)
本文提出了一种结合图神经网络和协同多智能体强化学习的混合框架,用于在云边连续体中实现高效、自适应和可扩展的资源管理。
2026-02-06 cs.AI cs.DC
MARL with General Utilities via Decentralized Shadow Reward Actor-Critic
Princeton University(普林斯顿大学);US Army Research Laboratory(美国陆军研究实验室);DeepMind(深度思维)
我们提出了一种新的多智能体强化学习(MARL)合作机制,该机制基于团队长期状态-动作占用度量的任何非线性函数,即,一个\emph{general utility}。这包含了累积收益,但也允许人们将风险敏感性,勘探和先验纳入其中。我们推导出{ \bf D}去中心化的{ \bf S}hadow奖励{ \bf A}ctor-{ \bf C} critic(DSAC),其中代理在策略评估(critic)、与邻居的加权平均(信息混合)和其策略参数的局部梯度更新(actor)之间交替。DSAC通过要求代理(i)估计其本地占用度量以(ii)估计本地效用相对于其占用度量的导数,即,“影子奖励”。DSAC以高概率收敛到$ε$ -$\mathcal{O}(1/ε^{2.5})$(定理\ref{theorem:final})或更快的$\mathcal{O}(1/ε^{2})$(推论\ref{corollary:communication})步骤中的平稳性,这取决于通信量。我们进一步建立了不存在虚假的平稳点,这个问题,也就是说,DSAC发现的全局最优策略(推论\ref{corollary:global})。实验证明了合作MARL中超越累积收益的目标的优点。
2021-06-24 cs.AI cs.LG math.OC
Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards
Independent University Bangladesh(独立大学Bangladesh);Penta Global Ltd(Penta全球有限公司);University of Dhaka, Bangladesh(达卡大学,Bangladesh)
CoHet通过图神经网络驱动的内在动机提升去中心化MARL中异质智能体协作性能
2026-03-12 cs.AI cs.MA cs.RO
Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL?
Zhejiang University(浙江大学);Zhejiang Provincial Engineering Research Center for Real-Time SmartTech in Urban Security Governance, School of Computer and Computing Science, Hangzhou City University(浙江省实时智慧城市治理实时智能技术工程研究中心,计算机与计算科学学院,杭州市大学);State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江区)区块链与数据安全研究院)
针对CTDE难以充分利用全局协作信息的问题,本文提出CADP框架,通过训练期显式建议交换与平滑模型剪枝保证分散执行,并在StarCraft II和GRF基准上取得更优性能。
2025-05-13 cs.AI cs.LG cs.MA
Consensus-based Decentralized Multi-agent Reinforcement Learning for Random Access Network Optimization
The Ohio State University(俄亥俄州立大学);University of Wisconsin-Whitewater(威斯康星大学-惠特ewater分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对随机接入网络优化中集中式训练开销大的问题,提出一种基于共识的去中心化多智能体强化学习架构,通过仅交换局部奖励降低通信开销,并证明了全局收敛性,显著提升了网络性能。
2025-08-09 cs.AI cs.LG cs.NI
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
本文提出灵活全去中心化演员-评论家MARL框架F2A2,通过原始-对偶混合梯度下降、参数共享及基于心智理论的建模方法,实现大规模协作场景下稳定可扩展的个体策略学习,并在实验中取得有竞争力的性能。
2023-07-07 cs.AI cs.LG cs.MA
Learning to Lead Themselves: Agentic AI in MAS using MARL
Manipal University Jaipur(斋浦尔马尼帕尔大学)
针对多智能体系统去中心化协作决策需求,本文将问题建模为协作式多智能体强化学习问题,基于PyTorch实现轻量级IPPO方法,在PettingZoo环境验证了同构无人机无显式通信自组织覆盖目标的可行性,可应用于无人机配送与仓储自动化场景。
2025-09-24 cs.AI cs.MA
Improving LLM Collaboration via Multi-Agent Preference Learning
本文提出多智能体偏好学习框架MAPL,通过去中心化与中心化协作视角及偏好优化,提升LLM协作质量与效率,实验验证其接近固定奖励MARL性能。
2026-09-29 cs.AI cs.MA
Learned Coordination Conventions in Cooperative MARL: Measuring the Translation Gap Between Theory-Informed Roles and Learned Routing
Independent Researcher(独立研究员)
通过角色路由矩阵、形成敏感性和梯度/遮挡归因的诊断方法,衡量理论指导角色期望与学习协调结构之间的翻译差距,发现标签条件注意力产生更集中和角色特定的路由,且部分对齐设计者指定的先验。
2026-06-28 cs.AI
Learning Decentralized LLM Collaboration with Multi-Agent Actor Critic
Northeastern University, Boston, MA(波士顿马萨诸塞大学)
针对分散式LLM协作优化,提出两种多智能体Actor-Critic方法(CoLLM-CC和CoLLM-DC),实验表明在长时域或稀疏奖励任务中集中式Critic方法优于蒙特卡洛方法和分散式Critic方法。
2026-05-26 cs.AI cs.DC cs.MA
Centralized vs. Decentralized Multi-Agent Reinforcement Learning for Enhanced Control of Electric Vehicle Charging Networks
University of Kansas(堪萨斯大学)
本文提出基于多智能体强化学习(CTDE-DDPG)的分布式电动汽车充电控制策略,采用集中训练分散执行,在隐私保护下提升充电效率,降低总变差约36%和充电成本约9.1%。
2024-04-18 cs.AI
Breaking the Curse of Multiagency: Provably Efficient Decentralized Multi-Agent RL with Function Approximation
Princeton University(普林斯顿大学);Salesforce Research(赛富时研究院)
多智能体强化学习(MARL)中的一个独特挑战是多智能体的诅咒,其中游戏的描述长度以及许多现有学习算法的复杂性随着智能体的数量呈指数级增长。虽然最近的工作成功地解决了这一挑战下的表格马尔可夫博弈模型,其机制严重依赖于有限的状态和小的数量,并没有扩展到实际的情况下,巨大的状态空间,函数近似必须使用近似价值函数或政策。本文提出了第一行的MARL算法,可证明解决诅咒的多机构下的功能近似。设计了一种新的分散学习算法--策略重放的V-学习算法,给出了在分散线性函数近似下学习马尔可夫博弈的近似粗相关均衡(CCE)的第一多项式样本复杂度结果.我们的算法总是输出马尔可夫CCE,并实现了$\widetilde{\mathcal{O}}(ε^{-2})$的最佳率为找到$ε$ -最优的解决方案。此外,当限制到表格的情况下,我们的结果改善了目前最好的分散结果$\widetilde{\mathcal{O}}(ε^{-3})$寻找马尔可夫CCE。我们进一步提出了一种替代算法-分散乐观策略镜像下降,它发现使用多项式数量的样本的策略类限制的CCE。作为学习较弱版本的CCE的交换,该算法适用于通用函数近似下的更广泛的问题,例如线性二次博弈和具有低“边际"Eluder维数的MARL问题。
2023-03-02 cs.AI cs.GT cs.LG
Fully Decentralized Multi-Agent Reinforcement Learning with Networked Agents
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学);Northwestern University(西北大学);Tencent AI Lab(腾讯人工智能实验室)
我们考虑\emph{fully decentralized}多智能体强化学习(MARL)的问题,其中代理位于时变通信网络的节点。具体来说,我们假设代理的奖励函数可能对应于不同的任务,并且仅为相应的代理所知。此外,每个代理根据本地观察到的信息和通过网络从其邻居接收到的消息做出单独的决策。在这种情况下,代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。为此,我们提出了两个分散的行动者-评论家算法与功能近似,这是适用于大规模的MARL问题的状态和代理的数量都是巨大的。在分散结构下,行动者步骤由每个代理单独执行,无需推断其他代理的策略。对于评论步骤,我们提出了通过网络通信的共识更新。我们的算法是完全增量的,可以在线实现。当价值函数在线性函数类内逼近时,给出了算法的收敛性分析。大量的仿真结果与线性和非线性函数逼近,以验证所提出的算法。我们的工作似乎是第一次研究完全分散的MARL算法的网络代理与功能近似,可证明的收敛保证。
2018-02-27 cs.AI cs.LG cs.MA
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习(MARL)算法经常遭受指数样本复杂度对智能体数量的依赖,这种现象被称为\emph{the curse of multiagents}。在本文中,我们解决这一挑战,调查样本效率的无模型算法在\emph{decentralized} MARL,并旨在改善现有的算法沿这条线。对于学习(粗)一般和马尔可夫博弈中的相关均衡,我们提出了\emph{stage-based} V-学习算法,大大简化了最近的作品的算法设计和分析,并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题,提出了一种独立的策略梯度算法,该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的,因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信,也不需要集中协调,从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
2022-01-29 cs.AI cs.LG cs.MA
Multi-Agent Trust Region Policy Optimization
University of Rhode Island(罗德岛大学)
本文将TRPO扩展至多智能体强化学习,通过将策略更新转化为分布式共识优化问题,提出完全去中心化且保护隐私的MATRPO算法,并在合作博弈中验证了其稳健性能。
2023-08-05 cs.AI cs.MA
LLM-Powered Decentralized Generative Agents with Adaptive Hierarchical Knowledge Graph for Cooperative Planning
Carnegie Mellon University(卡内基梅隆大学);Singapore University of Technology and Design(新加坡科技设计大学);Roblox(罗布乐思公司);Northeastern University(东北大学)
针对动态开放世界中多智能体长期协作的挑战,提出DAMCS系统,通过LLM驱动的生成智能体、自适应层次知识图谱记忆与结构化通信协议,在Crafter环境中实现高效协作,多智能体场景步骤显著减少。
2025-02-08 cs.AI cs.MA
Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment
InstaDeep
本文通过多KPI基准测试,评估了MARL在城市能源管理中的性能,揭示了DTDE在平均和最坏情况下的优越性,并探讨了时间依赖学习对电池操作的积极影响。
2026-03-09 cs.AI cs.LG cs.MA
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Shanghai Jiao Tong University(上海交通大学)
我们考虑在(深度)合作多智能体强化学习(MARL)中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数,明确编码公平的两个重要方面:效率和公平的问题。作为一种解决方法,我们提出了一种新的神经网络架构,它是由两个子网络专门设计考虑到公平性的两个方面。在实验中,我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的,因为它可以容纳任何(次)可微福利函数。因此,它与文献中提出的各种公平概念(例如,字典式极大极小、广义基尼社会福利函数、比例公平)。我们的解决方案方法是通用的,可以在各种MARL设置中实现:集中式培训和分散式执行,或完全分散式。最后,我们在各个领域的实验验证我们的方法,并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning Based on Representational Communication for Large-Scale Traffic Signal Control
Northeastern University(东北大学);Khoury College of Computer Sciences(胡里计算机学院)
针对大规模交通信号控制中全量通信易增噪降效的问题,提出一种可学习选择性收发可变长度消息的分布式MARL框架,在合成与真实路网上均实现更低拥堵,验证了通信策略的有效性。
2023-10-03 cs.AI cs.MA
KD-MARL: Resource-Aware Knowledge Distillation in Multi-Agent Reinforcement Learning
School of Computer Science and Information Technology, Adelaide University, Australia(阿德莱德大学计算机科学与信息技术学院,澳大利亚);School of Electrical Engineering, Computing and Mathematical Sciences, Curtin University, Australia(科廷大学电气工程、计算与数学科学学院,澳大利亚);Systems Research Institute, Polish Academy of Sciences, Poland(波兰科学院系统研究所,波兰)
本文提出KD-MARL框架,通过资源感知的知识蒸馏方法,在多智能体强化学习中实现高效协调行为转移,减少计算成本并保持高性能。
2026-04-08 cs.AI
Smart Traffic Signals: Comparing MARL and Fixed-Time Strategies
Keele University(基尔大学)
本研究通过比较MARL与固定时间策略,展示了MARL在优化交通信号协调方面的有效性,显著降低了等待时间和提高了通行效率。
2025-11-27 cs.AI cs.MA
Topology Enhanced MARL for Multi-Agent Cooperative Decision-Making of CAVs
School of Automotive Studies, Tongji University(同济大学汽车学院)
本文针对连续环境多智能体协同决策的维度灾难问题,提出TPE-MARL算法,通过游戏拓扑张量与双内在奖励机制优化,在CAV协同决策任务中实现接近最优性能与零样本泛化能力。
2026-08-04 cs.AI
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University(南京大学)
多智能体强化学习(MARL)算法通过利用集中式训练和分散式执行(CTDE)范式,近年来取得了可喜的进展。然而,现有的MARL算法仍然受到样本效率低下的问题。在本文中,我们提出了一个简单而有效的方法,称为基于状态的情景记忆(SEM),以提高样本效率在MARL。SEM采用情景记忆(EM)对MARL中CTDE的集中训练过程进行监督。据我们所知,SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM(SAEM),后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛(SMAC)上的实验结果表明,在MARL中引入情景记忆可以提高样本效率,与SAEM相比,SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Bypassing the CSI Bottleneck: MARL-Driven Spatial Control for Reflector Arrays
Computer Engineering Texas A\&M University College Station, Texas, USA;School of Performance, Visualization;Fine Arts Texas A\&M University College Station, Texas, USA;Industrial Distribution Texas A\&M University College Station, Texas, USA
本文提出基于MARL的反射阵列空间控制方法,通过映射高维机械约束到虚拟焦点空间,实现无CSI操作,提升空间选择性和时间稳定性。
2026-04-06 cs.AI eess.SP
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST(韩国科学技术院)
在本文中,我们考虑合作多智能体强化学习(MARL)稀疏奖励。为了解决这个问题,我们提出了一种新的方法命名为MASER:MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下,MASER通过考虑个体Q值和总Q值,从经验重放缓冲区自动为多个代理生成适当的子目标。然后,MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励,以便代理在最大化联合动作值的同时达到子目标。数值结果表明,MASER显着优于星际争霸II微管理基准相比,其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Goal-Oriented Multi-Agent Reinforcement Learning for Decentralized Agent Teams
针对无集中控制、通信受限的跨域自动驾驶载具协同难题,提出目标感知选择性通信的去中心化MARL框架,可提升任务成功率、缩短达标时间且具备良好可扩展性。
2025-11-15 cs.AI cs.LG cs.MA
On Centralized Critics in Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文正式分析了多智能体强化学习中集中式评论家方法,证明评论家集中化并非严格有益且基于状态的评论家会引入意外偏差和方差,并通过基准实验揭示了部分可观测性下的表示学习困难等实际问题。
2024-08-26 cs.AI
Revisiting Some Common Practices in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校);Shanghai Qi Zhi Institute(上海期智研究院)
协作多智能体强化学习(MARL)的许多进展都基于两个共同的设计原则:值分解和参数共享。一个典型的MARL算法的这种方式分解成一个集中的Q-函数的局部Q-网络的参数共享代理。这样的算法范式实现了集中式训练和分散式执行(CTDE),并在实践中实现了有效的学习。尽管有这些优点,我们还是重新审视了这两个原则,并表明在某些情况下,例如,具有高度多模态的奖励景观、价值分解和参数共享的环境可能是有问题的,并导致不期望的结果。相比之下,策略梯度(PG)方法与个人政策可证明收敛到最优解,在这些情况下,这部分地支持了一些最近的经验观察,PG可以有效地在许多MARL测试床。受我们的理论分析的启发,我们提出了实施多代理PG算法的实用建议,无论是高回报还是不同的紧急行为,并在各种领域,从简化的矩阵和网格世界游戏到复杂的基准,如星际争霸多代理挑战赛和谷歌研究足球经验验证我们的研究结果。我们希望我们的见解可以使社区受益,从而开发更通用,更强大的MARL算法。请访问我们的项目网站https://sites.google.com/view/revisiting-marl。
2022-08-07 cs.AI
QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
我们探索基于价值的解决方案,多智能体强化学习(MARL)任务的集中训练与分散执行(CTDE)制度最近流行。然而,VDN和QMIX是使用将联合动作-价值函数分解为单独的函数以用于分散执行的思想的代表性示例。VDN和QMIX只解决了一小部分可因子分解的MARL任务,这是由于它们在因子分解中的结构约束,如可加性和单调性。本文提出了一种新的MARL分解方法QTRAN,它摆脱了这种结构约束,并采用了一种新的方法将原联合作用价值函数转化为一个易于分解的具有相同最优作用的函数。QTRAN保证比VDN或QMIX更一般的因式分解,因此比以前的方法覆盖更广泛的MARL任务。我们的实验任务的多域高斯挤压和修改的捕食者-猎物证明了QTRAN的优越性能,特别是在游戏中的利润更大的利润更积极地惩罚非合作行为。
2019-05-14 cs.AI cs.LG cs.MA
From Explicit Communication to Tacit Cooperation:A Novel Paradigm for Cooperative MARL
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对多智能体强化学习中CTDE范式协作受限、通信方案实用性不足的问题,提出从显式通信逐步过渡到默契协作的新范式,实现无通信下性能接近或超越QMIX及通信类方法的效果。
2023-04-28 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
Explaining Decentralized Multi-Agent Reinforcement Learning Policies
针对现有方法未解决去中心化多智能体强化学习(MARL)策略解释问题,提出策略摘要生成与查询式解释方法,在多领域多算法上验证了泛化性与效率,提升了用户问答性能及主观评分。
2025-11-13 cs.AI
Agent-Based Decentralized Energy Management of EV Charging Station with Solar Photovoltaics via Multi-Agent Reinforcement Learning
Department of Data Science and AI Faculty of IT(数据科学与人工智能系信息科技学院);Monash University(墨尔本大学);Monash Energy Institute(墨尔本能源研究所)
针对电动汽车充电站能源管理对不确定性鲁棒性不足的问题,提出基于多智能体强化学习的方法,将每个充电器视为智能体,结合LSTM和密集奖励机制,在真实数据集上验证了其能有效降低成本并提升充电满意度。
2025-05-24 cs.AI cs.SY eess.SY
Dynamic one-time delivery of critical data by small and sparse UAV swarms: a model problem for MARL scaling studies
Swedish Defence Research Agency (FOI)(瑞典国防研究机构(FOI));Chalmers University of Technology(查尔姆斯理工大学);the University of Gothenburg, Department of Mathematical Sciences(哥德堡大学数学科学系)
本文研究了多智能体强化学习在无人机去中心化控制中的应用,用于传递关键数据包。引入了一类确定性游戏用于MARL扩展研究,提出了一种稳健的基线策略,并通过实验展示了两种现成的MARL算法在小规模时表现良好,但扩展性受限。
2026-05-08 cs.AI cs.GT cs.MA
V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL
Princeton University(普林斯顿大学);MIT(麻省理工学院)
多智能体强化学习(MARL)的一个主要挑战是多智能体的诅咒,其中联合动作空间的大小与智能体的数量呈指数级增长。这仍然是一个瓶颈,设计有效的MARL算法,即使在一个基本的情况下,许多国家和行动。本文解决了这一挑战的情景马尔可夫博弈模型。我们设计了一类新的完全分散的算法-V-学习,它可证明学习纳什均衡(在两个玩家零和设置),相关均衡和粗相关均衡(在多人一般和设置)在一些样本,只有规模与$\max_{i\in[m]} A_i$,其中$A_i$是行动的数量为$i^{\rm th}$球员。这与关节动作空间的大小($\prod_{i=1}^m A_i$)形成鲜明对比。V-学习(其基本形式)是一类新的单智能体RL算法,它将任何具有适当后悔保证的对抗性强盗算法转换为RL算法。与经典的Q-学习算法类似,它对价值函数执行增量更新。与Q学习不同,它只保持V值的估计而不是Q值。这一关键区别允许V-learning通过简单地让所有代理独立运行V-learning来实现MARL设置中声称的保证。
2021-10-27 cs.AI cs.GT cs.LG
QFree: A Universal Value Function Factorization for Multi-Agent Reinforcement Learning
Northwestern Polytechnical University(西北工业大学)
本文提出QFree通用值函数分解方法,通过优势函数建立IGM原则的数学等价条件并设计更具表达能力的混合网络,在非单调矩阵博弈和SMAC基准中取得领先性能。
2023-11-01 cs.AI
Signal Instructed Coordination in Cooperative Multi-agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);Huya AI(虎牙人工智能)
在许多现实世界的问题中,一组智能体需要合作以最大化共同的回报。虽然现有的工作制定这个问题到一个集中学习与分散执行框架,这避免了非平稳问题的训练,他们的分散执行范式限制了代理的协调能力。受相关均衡概念的启发,我们提出引入协调信号来解决这一限制,并从理论上证明了在温和的条件下,具有协调信号的分散代理可以协调其由集中控制器操纵的个人策略。引入协调信号的思想是将协调策略封装到信号中,并利用信号来指导分散执行中的协作。为了鼓励代理学习利用协调信号,我们提出了信号指导协调(SIC),一种新的协调模块,可以集成到大多数现有的MARL框架。SIC将从预定义分布中采样的公共信号投射到所有代理,并引入信息理论正则化以促进观察到的信号与代理策略之间的一致性。我们的实验表明,SIC一致提高性能公认的MARL模型在矩阵游戏和捕食者-猎物游戏与高维战略空间。
2019-11-20 cs.AI cs.MA
Evaluating Generalization and Transfer Capacity of Multi-Agent Reinforcement Learning Across Variable Number of Agents
Istanbul Technical University(伊斯坦布尔技术大学)
多智能体强化学习(MARL)问题通常需要智能体之间的合作来解决任务。集中和分散是MARL合作的两种方式。虽然完全分散的方法由于部分可观测性和非平稳性而容易收敛到次优解,但涉及集中化的方法存在可扩展性限制和懒惰代理问题。集中式训练分散式执行范式带来了这两种方法的最佳效果;然而,集中式训练仍然具有可扩展性的上限,不仅对于获得的协调性能,而且对于模型大小和训练时间。在这项工作中,我们采用了集中训练与分散执行范式,并研究了不同数量的代理的训练模型的泛化和转移能力。这种能力是通过在特定的MARL问题中训练可变数量的代理,然后对每个训练配置使用可变数量的代理进行贪婪评估来评估的。因此,我们分析了评估性能的每个组合的代理计数的培训与评估。我们对捕食者、猎物和交通路口环境进行了实验评估,并证明了用较少的代理进行训练可以获得类似或更高的评估性能。我们的结论是,执行训练的代理的最佳数量可能与代理的目标数量不同,并认为在大量的代理之间的转移可以是一个更有效的解决方案,以扩大比直接增加在训练过程中的代理数量。
2021-11-28 cs.AI cs.LG cs.MA
Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models
Tsinghua University(清华大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
针对多智能体强化学习世界模型的可扩展性与非平稳性难题,提出结合去中心化局部动力学学习与Perceiver Transformer集中表示聚合的Transformer世界模型,在SMAC基准上样本效率和性能均优于现有方法。
2025-09-02 cs.AI cs.LG cs.MA
Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts
Shanghai Jiao Tong University(上海交通大学)
研究了多智能体强化学习(MARL)中基于模型的方法。在MARL模型中定义了动态样本复杂度和对手样本复杂度,并对收益差异上界进行了理论分析。为了在整个学习过程中降低样本复杂度,降低上界,我们提出了一种新的分散的基于模型的MARL方法,称为自适应对手明智的推出策略优化(AORPO)。在AORPO中,每个代理建立其多代理环境模型,包括一个动力学模型和多个对手模型,并训练其政策与自适应顺应性明智的推出。在合理的假设下,我们进一步证明了AORPO的理论收敛性。竞争和合作任务的实验表明,AORPO可以实现改进的样本效率与比较的MARL方法的渐近性能。
2022-03-16 cs.AI cs.LG cs.MA
Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming
Georgia Institute of Technology(佐治亚理工学院)
信息共享是建立团队认知的关键,有助于协调和合作。高绩效的人类团队还受益于通过迭代沟通和合理化的层次结构进行战略性行动,这意味着人类代理可以在决策中推理队友的行为。然而,在多智能体强化学习(MARL)的大多数先前的工作不支持迭代合理化,只鼓励智能体通信,导致一个次优的平衡合作策略。在这项工作中,我们表明,重新制定代理的政策是有条件的政策,其相邻的队友固有的最大化互信息(MI)下限时,优化下策略梯度(PG)。有限理性和认知层次理论下的决策思想的基础上,我们表明,我们修改后的PG方法不仅最大限度地提高本地代理人的奖励,但也隐含的原因MI代理之间,而不需要任何明确的ad-hoc正则化条款。我们的方法InfoPG在学习紧急协作行为方面优于基线,并在分散式合作MARL任务中设置了最先进的技术。我们的实验验证了实用的InfoPG实现更高的样本效率和显着更大的累积奖励在几个复杂的合作多智能体域。
2022-06-24 cs.AI cs.LG cs.MA
HyPOLE: Hyperproperty-Guided Multi-Agent Reinforcement Learning under Partial Observation
提出HyPOLE框架,利用超属性逻辑HyperLTL在部分观测下引导多智能体强化学习,结合CTDE合成去中心化策略,在多个基准上优于基线方法。
2026-07-01 cs.AI cs.LO cs.MA
Communication-Efficient Actor-Critic Methods for Homogeneous Markov Games
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
协作式多智能体强化学习(MARL)最近的成功依赖于集中式训练和策略共享。集中式训练消除了非平稳性MARL的问题,但引起了巨大的通信成本,政策共享是经验上的关键,在某些任务的有效学习,但缺乏理论依据。在本文中,我们正式刻画了合作马尔可夫博弈的一个子类,其中代理表现出一定形式的同质性,使得策略共享可证明不会产生次优性。这使我们能够开发出第一个基于共识的去中心化参与者-批评者方法,其中共识更新适用于参与者和批评者,同时确保收敛。我们还开发了基于分散式演员-评论家方法的实用算法,以降低训练过程中的通信成本,同时仍然产生与集中式训练相当的策略。
2022-03-31 cs.AI cs.GT cs.LG
On Solving Cooperative MARL Problems with a Few Good Experiences
Singapore Management University(新加坡管理大学)
协作多智能体强化学习(MARL)在搜索和救援、无人机监视、包裹递送和消防问题等许多领域中对于协作分散式决策学习至关重要。在这些领域,一个关键的挑战是学习一些好的经验,即,仅在少数情况下获得正增强(例如,在灭火或追踪犯罪或递送包裹时),并且在大多数其他情况下,存在零强化或负强化。由于三个原因,学习决策与一些好的经验是非常具有挑战性的合作MARL问题。首先,与单个代理的情况相比,探索更难,因为多个代理必须协调才能获得良好的体验。第二,环境不是静止的,因为所有的智能体都在同时学习(从而改变策略)。第三,每增加一个代理,问题的规模就会显著增加。相关的现有工作是广泛的,并集中在处理一些很好的经验,在单代理RL问题或可扩展的方法来处理非平稳的MARL问题。不幸的是,这些方法(或其扩展)都不能有效地解决稀疏的好经验的问题。因此,我们提供了一种新的虚构的自我模仿的方法,能够同时处理非平稳性和稀疏的良好经验,在一个可扩展的方式。最后,我们提供了一个彻底的比较(实验或描述)对相关的合作MARL算法,以证明我们的方法的实用性。
2020-01-22 cs.AI cs.LG cs.MA
Strangeness-driven Exploration in Multi-Agent Reinforcement Learning
Korea University of Technology and Education(韩国技术教育大学)
在需要复杂协调的协作多智能体强化学习(MARL)算法中,有效的探索策略是关键问题之一。在这项研究中,我们引入了一种新的探索方法,这种方法可以很容易地融入任何基于集中式训练和分散式执行(CTDE)的MARL算法。陌生度指的是一个主体对所访问的观察的不熟悉程度。为了给观察陌生感一个全局的视角,它还增加了对所访问的整个国家的不熟悉程度。探索奖金是从陌生性和所提出的探索方法是没有太大的影响,通常观察到在MARL任务中的随机过渡。为了防止高探索奖金使MARL训练对外部奖励不敏感,我们还提出了一个单独的动作-价值函数训练的外部奖励和探索奖金,在此基础上设计的行为策略,以产生过渡。这使得基于CTDE的MARL算法在使用探索方法时更加稳定。通过教学实例和星际争霸多智能体挑战赛的比较评估,我们表明,所提出的探索方法实现了显着的性能改善CTDE为基础的MARL算法。
2022-12-27 cs.AI cs.LG cs.MA
Context-Aware Bayesian Network Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
University of South Carolina(南卡罗来纳大学)
本文提出用贝叶斯网络建模合作 MARL 中智能体动作依赖,给出策略梯度与 Nash 均衡收敛理论,并借助可微 DAG 学习上下文感知策略且逐步转向去中心化执行。
2023-06-02 cs.AI cs.GT cs.LG
Foundation Model-Aided Multi-Agent Reinforcement Learning for Wireless Random Access Network Optimization
The Ohio State University(俄亥俄州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Pathfinder Applied Research, LLC(Pathfinder应用研究有限责任公司)
本文提出利用基础模型辅助多智能体强化学习,在共识式分布式架构中设计FM辅助的演员-评论家算法,以降低训练开销并提升无线随机接入网络优化的效率。
2026-10-07 cs.AI cs.LG
AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline Multi-Agent RL via Alternating Stationary Distribution Correction Estimation
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校)
针对离线多智能体强化学习中联合动作空间指数增长易选分布外动作的问题,提出基于平稳分布优化的交替单智能体集中训练算法AlberDICE,理论证明收敛至纳什策略,实验性能显著优于基线。
2023-11-03 cs.AI cs.LG
Multi-Agent Reinforcement Learning for V2X Resource Allocation: Disentangling MARL Challenges Through Benchmarking
College of Engineering, University of Guelph(圭尔夫大学工程学院);College of Electrical Engineering and Computer Sciences, Ningbo University(宁波大学电气与电子工程学院)
研究将车联网资源分配建模为多智能体干扰博弈层次结构,构建基准学习任务与数据集,评估多种多智能体强化学习算法,揭示不同范式优缺点,为评估算法提供基础。
2026-07-07 cs.AI cs.LG cs.MA
Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning
Delft University of Technology(代尔夫特理工大学);NYU Tandon School of Engineering(纽约大学坦顿工程学院)
本文提出首个基于多智能体强化学习的分散式方法,使微型飞行器团队无需全局状态和通信即可实现缆索悬挂负载的6自由度操作,新动作空间设计保障了从仿真到现实的可靠迁移,实验证明其跟踪性能与集中式方法相当且具备高鲁棒性。
2025-11-05 cs.AI cs.MA cs.RO
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Game Theory and Multi-Agent Reinforcement Learning : From Nash Equilibria to Evolutionary Dynamics
AIFI(AIFI机构);AllRead(AllRead机构)
本文系统分析MARL面临的非平稳性、部分可观测性、可扩展性与去中心化学习四大挑战,阐述将纳什均衡、演化博弈论、相关均衡及对抗动力学融入MARL算法的方法,以提升多智能体系统在复杂动态环境中的鲁棒性和有效性。
2024-12-29 cs.AI cs.GT cs.MA
AssemblyGrid v1: A Benchmark for Multi-Robot Production with Temporary Coalitions, Local Information, and Geometric Constraints
Hochschule für Technik und Wirtschaft Dresden – University of Applied Sciences(德累斯顿应用科学大学)
AssemblyGrid v1是一个多机器人生产基准,结合流程进展、局部信息、临时联盟和几何约束,通过三类工作负载和MARL实验验证了分散策略的有效性。
2026-09-16 cs.AI cs.RO
Flatland Competition 2020: MAPF and MARL for Efficient Train Coordination on a Grid World
AIcrowd;ETH Zurich(苏黎世联邦理工学院);FHNW(瑞士西北应用科学与艺术大学);University of Southern California(南加州大学);Monash University(莫纳什大学);HSE University(高等经济大学);JetBrains Research;Netcetera
Flatland竞赛旨在寻找解决车辆重新调度问题(VRSP)的新方法。VRSP涉及交通网络中的行程安排以及发生中断时(例如车辆故障)的车辆重新调度。几十年来,在各种环境下求解VRSP一直是运筹学(OR)的一个活跃领域,但现代铁路网络日益复杂,使得交通的动态实时调度几乎不可能。最近,多智能体强化学习(MARL)已经成功地解决了许多智能体需要协调的具有挑战性的任务,例如多人视频游戏。然而,在现实生活中,如铁路网络中,数百个代理的协调仍然具有挑战性,用于竞争的Flatland环境以简化的方式对这些现实世界的属性进行建模。提交者必须在尽可能短的时间内将尽可能多的列车(代理人)带到目标车站。虽然最好的提交是在OR类别中,但参与者发现了许多有前途的MARL方法。使用集中式和分散式学习方法,顶级提交使用环境的图形表示来构建基于树的观察。此外,还实施了不同的协调机制,如代理人之间的沟通和优先顺序。本文介绍了竞争的设置,四个优秀的竞争解决方案,并相互比较。
2021-03-30 cs.AI cs.LG