MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在现实世界中,许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题,许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解,其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为,例如VDN(值分解网络)和QMIX。然而,这些基线往往忽略了情况的随机性。我们提出了MMD-MIX,一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外,为了提高数据采样效率,我们受到了REM(随机混合)的启发,REM是一种鲁棒的RL算法,将随机性显式引入MMD-MIX。实验表明,MMD-MIX优于星际争霸多智能体挑战赛(SMAC)环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
Social Mechanism Design: Making Maximally Acceptable Decisions
Tulane University(杜兰大学)
本文提出社会机制设计模型,兼顾智能体偏好与对聚合过程的高阶关注,开发最大化决策可接受性的机制,并在二元选择与规则选择场景中刻画性能。
2023-10-10 cs.AI cs.GT cs.MA
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对合作多智能体强化学习中IGM原则限制问题,提出双自感知价值分解框架,结合自我策略与 alter ego 价值函数并引入反自我探索机制,实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University(北京大学)
本文系统综述了完全去中心化协作多智能体强化学习方法,涵盖共享奖励与个体奖励之和两种优化目标,并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
RMoA: Optimizing Mixture-of-Agents through Diversity Maximization and Residual Compensation
East China Normal University(华东师范大学);Meituan Inc.(美团公司);Donghua University(东华大学);Tsinghua University(清华大学)
受ResNet启发提出RMoA框架,通过基于嵌入的多样性选择、残差提取与聚合智能体及自适应终止机制,在多项基准任务上取得SOTA性能并显著降低计算开销。
2025-05-30 cs.AI
AlphaZeroES: Direct score maximization outperforms planning loss minimization
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(策略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出AlphaZeroES,在保持MCTS和神经网络架构不变的情况下,用进化策略直接最大化单智能体环境的回合得分,实验表明其性能优于AlphaZero的规划损失最小化方法。
2024-06-12 cs.AI
Latent Variable Modeling in Multi-Agent Reinforcement Learning via Expectation-Maximization for UAV-Based Wildlife Protection
Iran University of Science and Technology(伊朗科技大学)
本文提出基于期望最大化的潜变量建模方法,结合多智能体强化学习用于无人机协同野生动物保护,在10架无人机模拟中相比PPO和DDPG提升了检测准确率、适应性和收敛性。
2025-10-10 cs.AI cs.LG
DMS*: Minimizing Makespan for Multi-Agent Combinatorial Path Finding
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(德克萨斯农工大学)
本文针对多智能体组合路径寻找提出最小化最大到达时间的MCPF-max,并基于MS*设计推迟目标排序的DMS*算法,以提升计算效率,且在多达20个智能体、80个目标及差速驱动机器人上验证。
2024-06-03 cs.AI cs.RO
A Maximum Mutual Information Framework for Multi-Agent Reinforcement Learning
在本文中,我们提出了一个最大互信息(MMI)框架的多智能体强化学习(MARL),使多个代理学习协调的行为,通过正规化的累积回报与动作之间的互信息。通过引入一个潜在的变量,以诱导非零的互信息之间的行动和应用变分的界限,我们得到一个听话的下限所考虑的MMI正则化的目标函数。应用策略迭代来最大化导出的下界,我们提出了一个实用的算法命名为变分最大互信息多智能体行动者-评论家(VM 3-AC),它遵循集中学习与分散执行(CTDE)。我们评估VM 3-AC几个游戏需要协调,数值结果表明,VM 3-AC优于MADDPG和其他MARL算法在多智能体任务需要协调。
2020-06-04 cs.MA
MAX-consensus in open multi-agent systems with gossip interactions
我们研究了开放的多智能体系统中的分布式最大计算问题,在该系统中,智能体可以在算法执行期间离开和到达。主要的挑战来自于持有最大值的代理离开系统的可能性,这会改变要计算的值。因此,算法必须具有允许忘记过时信息的机制。重点是在系统中的相互作用是随机选择的代理人之间的成对闲话。我们考虑的情况下,离开代理可以发送最后一条消息,和他们不能的情况。对于这两种情况下,我们提供的算法能够最终计算的最大值代理持有。
2017-09-18 cs.MA math.OC
Gaussian Max-Value Entropy Search for Multi-Agent Bayesian Optimization
Harvard University(哈佛大学)
我们研究了多代理贝叶斯优化(BO)问题,其中多个代理通过迭代查询最大化黑盒函数。我们专注于熵搜索(ES),一个样本高效BO算法,选择查询,以最大限度地提高互信息的最大黑盒函数。ES的主要挑战之一是计算互信息需要计算成本高的近似技术。对于多智能体BO问题,ES的计算成本是指数的代理数量。为了解决这个问题,我们提出了高斯最大值熵搜索,多代理BO算法具有良好的样本和计算效率。我们的思想的关键是使用正态分布来近似函数的最大值,并相应地计算其互信息。由此产生的近似允许查询被铸造作为一个封闭形式的优化问题的解决方案,反过来,可以通过修改后的梯度上升算法来解决,并扩展到大量的代理。我们通过标准测试函数的数值实验和真实机器人源搜索问题的实验,证明了高斯最大值熵搜索的有效性。数值实验结果表明,该算法的性能优于多智能体BO基线,可以稳定地寻找源与实际机器人的噪声观测数量有限。
2023-03-10 cs.LG cs.MA
MAxPrototyper: A Multi-Agent Generation System for Interactive User Interface Prototyping
本文提出以人为本的多智能体系统 MAxPrototyper,通过主题设计智能体协调专门子智能体,并结合语言与图像模型及在线多轮交互,生成一致、可定制的交互式 UI 原型。
2024-05-12 cs.HC cs.MA
Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning
在协作式多智能体强化学习中,集中训练和分散执行(CTDE)取得了显着的成功。个体全局最大值分解是CTDE的重要组成部分,它度量了局部策略和联合策略之间的一致性。大多数基于IGM的研究集中在如何建立这种一致的关系,但很少注意到检查IGM的潜在缺陷。在这项工作中,我们揭示了IGM条件是一个有损分解,有损分解的误差将积累在基于超网络的方法。为了解决上述问题,我们建议采用一种模仿学习策略,将有损分解与Bellman迭代分离,从而避免误差累积。该策略在零视角的星际争霸多智能体挑战基准问题上得到了理论证明和实验验证。结果还证实,所提出的方法优于最先进的基于IGM的方法。
2022-09-20 cs.MA
BTPG-max: Achieving Local Maximal Bidirectional Pairs for Bidirectional Temporal Plan Graphs
针对MAPF中延迟导致的碰撞问题,提出BTPG-max算法,通过最大化双向对构建局部最优的双向时序规划图,显著增加双向边并提升对延迟的鲁棒性。
2025-08-06 cs.MA cs.RO
Maximum Entropy Heterogeneous-Agent Reinforcement Learning
Institute for AI, Peking University(北京大学人工智能研究院);National Key Laboratory of General AI, BIGAI(北京智源人工智能研究院通用人工智能全国重点实验室);University of Technology Sydney(悉尼科技大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出最大熵异质智能体强化学习框架,推导出HASAC算法并证明其单调改进与收敛到QRE,同时推广MEHAML统一模板,在多个基准上验证了其优越的样本效率与鲁棒性。
2025-03-12 cs.LG cs.MA
Min-Max Tours for Task Allocation to Heterogeneous Agents
School of Electrical and Computer Engineering at Purdue University(普渡大学电气与计算机工程学院)
研究如何为异构移动智能体分配任务,以最小化任何智能体完成任务并返回仓库的最大成本,提出了一种三阶段算法,提供5倍近似比。
2018-03-26 cs.MA cs.RO cs.SY
Resilient Multi-Agent Target Localization and Tracking via BAG-Aware Mutual Information Maximization under False Data Injection Attacks
The University of Texas at Arlington(阿灵顿得克萨斯大学)
针对多智能体目标定位跟踪易受虚假数据注入攻击的问题,提出结合信息导航、BAG攻击检测与可达集恢复的弹性框架,仿真验证其攻击下稳健跟踪性能。
2026-10-06 cs.MA
Distributed Online Planning for Min-Max Problems in Networked Markov Games
Stanford University(斯坦福大学);KAIST(韩国科学技术院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
针对网络化马尔可夫博弈中的多智能体极小极大问题,提出一种模块化分布式在线规划算法,通过两阶段(局部回报凹近似与分布式优化)协同逼近极小极大目标解,并在编队控制仿真中验证有效性。
2024-05-29 cs.MA cs.RO
The Cost of Informing Decision-Makers in Multi-Agent Maximum Coverage Problems with Random Resource Values
本研究揭示在多智能体最大覆盖问题中,告知智能体随机资源价值可能使均衡性能减半,并给出告知价值的上下界,强调信息共享需谨慎。
2023-06-21 cs.GT cs.MA cs.SY
Multi-agent reinforcement learning strategy to maximize the lifetime of Wireless Rechargeable
HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY(河内科学技术大学);School of Information and Communications Technology(信息与通信技术学院)
本文提出基于Dec-POSMDP和AMAPPO的多移动充电器协作充电框架,结合多点充电模型,在保证覆盖与连通的同时最大化WRSN网络寿命。
2024-11-21 cs.CV cs.GT cs.LG
Maximizing utility in multi-agent environments by anticipating the behavior of other learners
Tel Aviv University(特拉维夫大学);Archimedes AI(阿基米德人工智能公司)
研究重复两人博弈中优化器如何预测并引导在线学习器行为;给出对抗 Replicator Dynamics 与 MWU 的高效用算法,并证明一般和博弈下最优响应情形不存在 FPTAS(除非 P=NP)。
2024-07-05 cs.GT cs.LG cs.MA