A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Cost Adaptation for Robust Decentralized Swarm Behaviour
McGill University（麦吉尔大学）
分散式滚动时域控制（D-RHC）提供了一种在没有集中式指挥中心的情况下在多代理设置中进行协调的机制。然而，组合一组不同的目标、成本和约束以形成D-RHC的有效优化目标可能是困难的。为了缓解这个问题，我们使用了一个元学习过程-成本自适应-它生成D-RHC的优化目标，以基于一组人类生成的先验（成本和约束函数）和辅助启发式算法来解决。我们使用这种自适应D-RHC方法控制网状网络的群体代理。该公式允许对各种任务进行编码，并且可以通过自适应机制来解释网络延迟、异构能力和越来越大的群集。我们利用Unity3D游戏引擎来构建一个模拟器，该模拟器能够在群中引入人工网络故障和延迟。使用模拟器，我们验证我们的方法的一个例子协调勘探任务。我们证明，成本适应允许更有效和更安全的任务完成在不同的环境条件下，越来越大的群体规模。我们将我们的模拟器和代码发布给社区，以供将来使用。
2018-09-30 cs.AI
Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL?
Zhejiang University（浙江大学）；Zhejiang Provincial Engineering Research Center for Real-Time SmartTech in Urban Security Governance, School of Computer and Computing Science, Hangzhou City University（浙江省实时智慧城市治理实时智能技术工程研究中心，计算机与计算科学学院，杭州市大学）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江区）区块链与数据安全研究院）
针对CTDE难以充分利用全局协作信息的问题，本文提出CADP框架，通过训练期显式建议交换与平滑模型剪枝保证分散执行，并在StarCraft II和GRF基准上取得更优性能。
2025-05-13 cs.AI cs.LG cs.MA
Emergence of Collective Open-Ended Exploration from Decentralized Meta-Reinforcement Learning
Inria（法国国家信息与自动化研究所）；Flowers Team（Flowers团队）
本文提出程序化生成的开放式任务树环境，让多个智能体去中心化元学习独立循环策略，证明其可自发形成可泛化并扩展到更深任务的集体探索能力。
2024-05-07 cs.AI cs.MA
Decentralized Multi-Agent Active Search and Tracking when Targets Outnumber Agents
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
针对目标多于智能体且通信异步的去中心化主动搜索跟踪问题，提出 DecSTER，结合 PHD 滤波器的序贯蒙特卡洛推断与 Thompson 采样，并在 OSPA 指标上优于信息贪婪基线。
2024-01-09 cs.AI cs.LG cs.MA
Evolutionary Stability Does Not Guarantee Learning Accessibility: A Multi-Agent Reinforcement Learning Perspective on Cooperation Emergence
Liupanshui Normal University（六盘水师范学院）
本研究通过三智能体治理博弈证明，进化稳定性不保证多智能体强化学习中的合作可达性，并提出了比较群体稳定性与有限样本学习可达性的框架。
2026-09-24 cs.AI
Offline-to-Online Multi-Agent Reinforcement Learning with Offline Value Function Memory and Sequential Exploration
IIIS, Tsinghua University（清华大学人工智能研究院）
OVMSE通过离线价值函数记忆和序列探索策略，在多智能体强化学习中提升样本效率和性能。
2026-03-04 cs.AI
Decentralized Multi-Robot Exploration with Probabilistic Peer Intent and Multi-hop Plan Propagation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究提出概率性同伴意图（PPI）与多跳计划传播，改进去中心化多机器人探索中的协调，实验验证了其在模拟和真实环境中的有效性。
2026-09-22 cs.MA cs.RO
Robust Multi-Agent Bandits with Heavy-Tailed Rewards and Information Asymmetry
该研究针对重尾奖励和信息不对称的多智能体多臂老虎机问题，为三种信息不对称场景开发鲁棒分散式算法，通过实验验证了理论结果并阐明相关权衡。
2026-08-12 cs.AI cs.LG
MARL with General Utilities via Decentralized Shadow Reward Actor-Critic
Princeton University（普林斯顿大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind（深度思维）
我们提出了一种新的多智能体强化学习（MARL）合作机制，该机制基于团队长期状态-动作占用度量的任何非线性函数，即，一个\emph{general utility}。这包含了累积收益，但也允许人们将风险敏感性，勘探和先验纳入其中。我们推导出{ \bf D}去中心化的{ \bf S}hadow奖励{ \bf A}ctor-{ \bf C} critic（DSAC），其中代理在策略评估（critic）、与邻居的加权平均（信息混合）和其策略参数的局部梯度更新（actor）之间交替。DSAC通过要求代理（i）估计其本地占用度量以（ii）估计本地效用相对于其占用度量的导数，即，“影子奖励”。DSAC以高概率收敛到$ε$ -$\mathcal{O}(1/ε^{2.5})$（定理\ref{theorem:final}）或更快的$\mathcal{O}(1/ε^{2})$（推论\ref{corollary:communication}）步骤中的平稳性，这取决于通信量。我们进一步建立了不存在虚假的平稳点，这个问题，也就是说，DSAC发现的全局最优策略（推论\ref{corollary:global}）。实验证明了合作MARL中超越累积收益的目标的优点。
2021-06-24 cs.AI cs.LG math.OC
Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学肯珀研究所）
本文提出去中心化扩散策略学习方法，通过扩散概率模型提升多智能体强化学习中的探索能力，解决了高维动作空间下的策略表达限制问题。
2026-05-08 cs.MA stat.ML
DREAM: Decentralized Reinforcement Learning for Exploration and Efficient Energy Management in Multi-Robot Systems
Purdue University（普渡大学）
提出 DREAM 去中心化强化学习框架，结合作业范围估计、能耗模型与图神经网络优化多机器人探索和目标分配，在仿真中较基线提升约 25%。
2023-09-29 cs.AI cs.MA cs.RO
Quantum-Inspired Multi Agent Reinforcement Learning for Exploration Exploitation Optimization in UAV-Assisted 6G Network Deployment
Intelligent Knowledge City（智能知识城）
本文提出量子启发的多智能体强化学习框架，用于优化UAV辅助6G网络部署中的探索利用权衡，通过整合量子优化技术提升样本效率和收敛速度。
2025-11-25 cs.AI math.OC
Towards Multi-robot Exploration: A Decentralized Strategy for UAV Forest Exploration
ETH Zürich（苏黎世联邦理工学院）
有效的勘探战略在诸如搜索和救援任务和灾害调查等任务中至关重要。无人机（UAV）在这些应用中变得特别受欢迎，有望以高速覆盖大面积。此外，随着机载无人机感知的日益成熟，研究重点已经转向单机器人和多机器人任务的高级推理。然而，自主导航和探索以前未知的大空间仍然是一个开放的挑战，特别是当环境混乱，并表现出大而频繁的闭塞，由于高障碍密度，如森林的情况。此外，在这样的场景中，远距离无线通信的问题可能成为一个限制因素，特别是在无人机群的自动导航时。本着这种精神，这项工作提出了一种探索策略，使无人机，无论是单独的还是小规模的，都能以分散的方式快速探索复杂的场景。通过为每个无人机提供决策能力以在不同的执行模式之间切换，所提出的策略在对完全未知的区域进行谨慎探索和对未知空间的较小区域进行更积极的探索之间取得了很大的平衡。这导致对密度可变的森林区域进行全覆盖，始终比最先进的速度更快。这项工作展示了使用单个无人机以及最多三个无人机的集群的成功部署，阐述了多根探索的基本原则杂乱的场景，在单架无人机情况下，速度可提高65%，在多架无人机情况下，在相同的任务时间内，探索区域可增加40%。
2023-01-20 cs.MA cs.RO
LLM-Guided Decentralized Exploration with Self-Organizing Robot Teams
本研究提出一种基于大语言模型的自组织机器人团队探索方法，通过自主动态形成团队和自主确定探索目标，提升多团队探索的效率与鲁棒性。
2026-03-05 cs.MA cs.RO
Decentralized Scalable Exploration via Emergent Adaptive Lévy Walks on Minimal-Sensing Platforms
National University of Singapore（新加坡国立大学）
针对纳米无人机自主探索难题，提出轻量级传感器驱动的莱维飞行控制器，结合离散步长采样与传感器反应策略，各机器人独立采样指数并选航向，实现可扩展多无人机探索，仿真显示覆盖率提升且碰撞减少。
2026-09-10 cs.MA cs.RO
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Dynamics of Boltzmann Q-Learning in Two-Player Two-Action Games
USC Information Sciences Institute（南加州大学信息科学研究所）
我们考虑在两个玩家的两个动作的游戏与玻尔兹曼探索机制的Q-学习的动力学。对于任何非零的探索率的动力学是耗散的，这保证了代理策略收敛到休息点，通常不同于游戏的纳什均衡（NE）。我们提供了一个全面的表征不同的游戏的休息点结构，并检查这种结构的灵敏度，由于探索的噪音。我们的研究结果表明，对于一类具有多个NE的游戏，学习动力学的渐近行为在临界探索率下会发生剧烈的变化。此外，我们证明，对于某些游戏与一个单一的NE，它是可能的有额外的休息点（不对应于任何NE），持续为一个有限范围的探索率和消失时，双方球员的探索率趋于零。
2012-03-01 cs.GT cs.LG cs.MA
Informative Path Planning with Local Penalization for Decentralized and Asynchronous Swarm Robotic Search
University at Buffalo（布法罗大学）
分散式群机器人解决方案，以寻找目标，发射一个空间变化的信号承诺任务并行性，时间效率和容错。然而，群体算法在提供可扩展性和效率的同时，保持对所展示行为的数学见解是具有挑战性的。一种新的分散式搜索方法（称为贝叶斯群），建立在批量贝叶斯优化（BO）的原则，在这里提出，以解决这些挑战。与群算法不同，贝叶斯群算法简化了知识生成和任务规划过程，从而保留了对紧急行为的洞察。主要贡献在于：1）对轨迹上的知识提取进行建模，与BO中不同; 2）时间自适应地平衡探索/利用，并使用有效的局部惩罚方法来考虑不同机器人的计划样本之间的潜在交互;以及3）呈现算法的异步实现。该算法进行了测试的案例研究与双峰和高度多峰信号分布。与穷举搜索基线相比，效率提高了76倍。利用/探索平衡，异步规划，和本地惩罚，以及群大小的可扩展性的好处，也被证明。
2019-07-09 cs.AI cs.MA cs.RO
Decentralized Informative Path Planning with Exploration-Exploitation Balance for Swarm Robotic Search
University at Buffalo（布法罗大学）
群机器人搜索涉及在未知环境中搜索目标（例如，用于搜索和救援或危险定位），使用大量协作的简单移动机器人。在这样的应用中，分散的群系统被吹捧为他们的任务/覆盖范围的可扩展性，时间效率，和容错。为了指导这种群体系统的行为，有两大类方法可用，即自然启发的群体算法和多机器人搜索方法。然而，同时提供计算高效的可扩展性和对所展示的行为的基本见解（而不是黑盒行为模型），在这两类方法中的任一种下仍然具有挑战性。在本文中，我们开发了一个重要的扩展批量贝叶斯搜索方法的应用程序，体现群体系统，在物理二维空间搜索。主要贡献在于：1）设计一个采集功能，不仅平衡整个群体的探索和利用，而且还允许对轨迹上的知识提取进行建模; 2）开发其分布式实现，以允许群机器人进行异步任务推理和路径规划。由此产生的集体信息路径规划方法进行测试的目标搜索的情况下，研究不同的复杂性，目标产生的空间变化（可测量）的信号。显着优越的性能，在任务完成效率方面，观察到相比，穷举搜索和随机游走基线，以及良好的性能可扩展性，随着群体规模的增加。
2019-05-31 cs.MA cs.RO
Decentralized Multi-Floor Exploration by a Swarm of Miniature Robots Teaming with Wall-Climbing Units
Singapore University of Technology and Design（新加坡科技设计大学）
在本文中，我们考虑的问题，集体探索未知的动态环境与分散异构多机器人系统组成的两个变种的微型机器人的多个单元。第一种变体-轮式地面单元-是一群地面测绘机器人的核心，表现出可扩展性，鲁棒性和灵活性。在没有任何支持基础设施的情况下，这些属性在非结构化和动态环境中进行了系统的测试和定量评估。重复实验组的结果显示所有三个特征的一致性能，以及在系统运行时将单元注入系统的可能性。第二种变体的几个单元基于wheg的爬壁单元通过扩展平台间协调行为所需的分布式通信信道来支持地图机器人群同时探索多个楼层。虽然所获得的占用网格地图可能很大，但它们是完全分布的。没有一个机器人单元拥有的整体地图，这是不需要我们的合作路径规划策略。
2019-08-16 cs.MA cs.RO
Bayesian Decentralized Decision-making for Multi-Robot Systems: Sample-efficient Estimation of Event Rates
University of Konstanz（康斯坦茨大学）
本文提出了一种基于贝叶斯的去中心化框架，使多机器人系统在样本效率下有效估计危险事件率，提升安全性和收敛速度。
2025-11-27 cs.MA cs.RO
Resilient Decentralized Ergodic Coverage for Scalable Multi-Robot Systems in Unknown Time-Varying Environments
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种去中心化多智能体覆盖框架，用于在未知且时间变化的环境中实现自适应覆盖。通过马尔可夫链转移模型和高斯过程，智能体根据动态重要性地图调整轨迹，提高环境适应性和探索效率。
2026-07-15 cs.MA cs.SY eess.SY
Efficient Multi-Robot Exploration with Energy Constraint based on Optimal Transport Theory
New Mexico Institute of Mining and Technology（新墨西哥矿业与技术学院）
考虑多机器人系统的能量约束，提出了一种基于最优运输（OT）的高效多机器人探索问题。这个问题的效率意味着一组机器人（代理）如何覆盖给定的域，反映由密度分布表示的感兴趣区域的优先级，而不是简单地遵循预设的统一模式。为了实现一个有效的多机器人探索，最优运输理论，量化两个密度分布之间的距离作为一种工具，这也作为一种手段的性能测量。多机器人系统的能量约束，然后纳入基于OT的多机器人探索计划。所提出的方案是解耦的机器人动力学，拓宽了异构机器人平台的多机器人探索计划的适用性。不仅集中，而且分散的算法，以应付更现实的情况下，如代理之间的通信范围限制。为了衡量勘探效率，性能的上限开发的集中和分散的情况下，基于最优运输理论，这是计算上易于处理的，以及有效的。所提出的多机器人探索方案也适用于时变分布，其中期望给定参考分布的时空演化。为了验证所提出的方法，提供了多个仿真结果。
2020-09-02 cs.MA cs.RO cs.SY
Decentralized multi-agent reinforcement learning algorithm using a cluster-synchronized laser network
The University of Tokyo（东京大学）
本研究提出基于光子的决策算法，结合光耦合激光器的混沌振荡、集群同步与去中心化耦合调整，解决多智能体强化学习中的竞争性多臂老虎机问题，无需智能体显式共享信息即可高效平衡探索与利用并实现协作决策，为去中心化强化学习提供了物理实现新路径。
2024-07-12 cs.LG cs.MA nlin.CD
Hilbert-Augmented Reinforcement Learning for Scalable Multi-Robot Coverage and Exploration
本文提出一种基于Hilbert空间的强化学习方法，用于提高多机器人覆盖与探索的效率和可扩展性。
2026-02-23 cs.AI cs.MA cs.RO
Probabilistic Consensus on Feature Distribution for Multi-robot Systems with Markovian Exploration Dynamics
Arizona State University（亚利桑那州立大学）
在本文中，我们提出了一种基于共识的分散式多机器人方法来重建离散分布的功能，建模为占用网格地图，表示包含在一个有界的平面二维环境中的信息，如用于导航或语义标签与目标检测的视觉线索。机器人根据离散时间离散状态（DTDS）马尔可夫链建模的随机行走来探索环境，并使用分布式的DADFF融合协议，从它们自己的测量值和相邻机器人传达的估计值中估计特征分布。我们证明，在这种分散的融合协议，每个机器人的特征分布收敛到地面真理分布在几乎肯定的意义。我们在数值模拟中验证了这一结果，结果表明，对于每个机器人，估计和地面真实特征分布之间的Hellinger距离随着时间的推移收敛到零。我们还验证了我们的策略，通过软件在环（SITL）模拟的四旋翼搜索一组分布在一个离散化的圆上的视觉功能的有界正方形网格。
2022-04-27 cs.MA cs.RO cs.SY
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Human-in-the-loop Learning Through Decentralized Communication Mechanisms
针对信息共享平台中人类代理搭便车问题，本文提出从集中式转向去中心化通信机制，通过限制信息共享强制局部探索，并设计渐近最优算法确定间歇共享时机，实验验证其有效性。
2025-09-11 cs.MA cs.SI
DVM-SLAM: Decentralized Visual Monocular Simultaneous Localization and Mapping for Multi-Agent Systems
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
本文提出首个开源去中心化单目协作SLAM系统DVM-SLAM，利用低成本单目视觉实现多智能体实时建图与定位，并在实体机器人上验证了其导航可行性和与集中式系统相当的精度。
2025-08-26 cs.CV cs.MA cs.RO
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Minzu University（西南民族大学）；Chengdu University of Technology（成都理工大学）；Nanyang Technological University（南洋理工大学）
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题，提出乐观ε-贪心探索方法，通过乐观更新网络以概率ε采样最优动作，有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Argonaut: Interactive Visual Exploration for Distributed Optimization
University of Leeds（利兹大学）；LUT University（拉彭兰塔理工大学）
Argonaut是一款轻量级容器化优化仪表盘，可交互式可视化探索去中心化多智能体离散选择优化的全搜索过程，在三类真实数据集上验证了其高效性。
2026-07-31 cs.DC cs.MA
RADMPC: A Fast Decentralized Approach for Chance-Constrained Multi-Vehicle Path-Planning
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于去中心化路径规划方法RADMPC的快速机会约束多车辆路径规划方法，通过评估车辆交互来确定需要耦合规划的车辆集，并利用IRA在较小的车辆集上快速规划安全路径，从而显著提高计算效率。
2018-11-25 cs.AI cs.MA cs.RO
DM$^3$-Nav: Decentralized Multi-Agent Multimodal Multi-Object Semantic Navigation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northeastern University（东北大学）
DM$^3$-Nav是一种去中心化的多智能体语义导航系统，支持多模态开放词汇目标指定和多目标任务，通过局部通信实现自主协调，验证了在真实办公环境中的有效性。
2026-09-29 cs.MA cs.RO
Tracking Multiple Fast Targets With Swarms: Interplay Between Social Interaction and Agent Memory
Singapore University of Technology and Design（新加坡科技设计大学）；Thales Solutions Asia（泰雷兹亚洲解决方案公司）；University of Ottawa（渥太华大学）
搜索和跟踪多个目标是一项具有挑战性的任务。然而，在这方面的大多数作品不考虑躲避目标，移动速度比代理组成的多机器人系统。这是因为假设这些目标的移动模式，加上它们的速度太快，几乎不可能完成这项任务。在这项工作中，我们表明，情况并非如此，我们提出了一个分散的搜索和跟踪策略，在该策略中，由群进行的探索和开发的水平是可调的。通过调整群的探索和开发动态，我们证明了存在一个最佳的平衡之间的水平进行探索和开发。这种最佳化使其跟踪性能最大化，并根据目标的数量和目标的运动轮廓而变化。我们还表明，使用基于代理的内存是至关重要的，使一个逃避目标的跟踪。所得到的仿真结果进行了验证，通过实验测试与分散群的六个机器人跟踪一个虚拟的快速移动目标。
2021-08-16 cs.MA cs.RO
Self-Evolving Multi-Agent Systems via Decentralized Memory
University of Cambridge（剑桥大学）；University of Chicago（芝加哥大学）
本文提出DecentMem，一种去中心化的记忆框架，通过每个智能体维护两个记忆池来提升多智能体系统的性能，理论证明其能保证解空间的全局可达性并达到O(log T)的累积遗憾，实验显示在多个框架和基准测试中，DecentMem在准确率和资源利用方面均有显著提升。
2026-05-21 cs.MA
Graph Exploration for Effective Multi-agent Q-Learning
提出一种基于图通信的多智能体探索方法，通过相邻智能体协作估计状态-动作空间不确定性，无需计数机制即可应用于连续状态环境，且通信量最小，仅交换单个参数向量。
2023-04-19 cs.LG cs.MA
Learning to Coordinate Under Threshold Rewards: A Cooperative Multi-Agent Bandit Framework
针对阈值激活奖励和诱饵臂的合作多智能体老虎机问题，提出分散式算法T-Coop-UCB，联合学习阈值与奖励分布，无需集中控制，在累积奖励、遗憾和协调上优于基线，接近Oracle性能。
2025-06-18 cs.MA
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；École Polytechnique de Montréal（蒙特利尔综合理工学院）；University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）；Université de Montréal（蒙特利尔大学）
本文提出 COE，将合作式 MARL 建模为顺序树搜索，并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励，在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney（悉尼大学）
我们提出了一个多智能体演员批评的方法，旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是，代理之间的信用分配可能不需要一个明确的制定，只要（1）来自一个集中的评论家的策略梯度携带足够的信息，分散的代理，以最大限度地提高其联合行动的价值，通过最佳的合作和（2）在整个训练过程中执行一个持续的探索水平。在CTDE范式下，通过将集中式评价器构造成一个超网络，使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中，实现了前者;为了实现后者，我们推导出一种称为自适应熵正则化的简单技术，其中熵梯度的大小根据当前政策随机性，以鼓励一致的勘探水平。我们的算法，被称为LICA，评估的几个基准，包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务，我们表明，LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
