arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2401.03504cs.AI
收藏

ClusterComm:使用内部表示聚类的去中心化MARL中的离散通信

ClusterComm: Discrete Communication in Decentralized MARL using Internal Representation Clustering

Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所)

Robert Müller, Hasan Turalic, Thomy Phan, Michael Kölle, Jonas Nüßlein, Claudia Linnhoff-Popien

AI总结:

针对多智能体强化学习在可扩展性和鲁棒性上的不足,提出完全去中心化框架ClusterComm,通过对策略网络隐藏层激活值聚类生成离散消息,在无需中央控制下实现高效协作。

摘要:

在多智能体强化学习(MARL)领域,现有方法在符合人类学习、鲁棒性和可扩展性方面存在不足。为解决此问题,我们提出了ClusterComm,这是一个完全去中心化的MARL框架,智能体在其中无需中央控制单元即可进行离散通信。ClusterComm对智能体策略网络最后一层隐藏层的激活值应用Mini-Batch-K-Means聚类,将其转化为离散消息。该方法优于无通信情况,并与无界连续通信竞争表现良好,从而为增强MARL中的协作任务求解提供了一种简单而有效的策略。

英文摘要:

In the realm of Multi-Agent Reinforcement Learning (MARL), prevailing approaches exhibit shortcomings in aligning with human learning, robustness, and scalability. Addressing this, we introduce ClusterComm, a fully decentralized MARL framework where agents communicate discretely without a central control unit. ClusterComm utilizes Mini-Batch-K-Means clustering on the last hidden layer's activations of an agent's policy network, translating them into discrete messages. This approach outperforms no communication and competes favorably with unbounded, continuous communication and hence poses a simple yet effective strategy for enhancing collaborative task-solving in MARL.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑