Meta-CPR: Generalize to Unseen Large Number of Agents with Communication Pattern Recognition Module
National Tsing Hua University(台湾清华大学);Google AI Research(谷歌人工智能研究院);Appier Inc.(沛星互动科技股份有限公司)
在强化学习中,设计一种有效的智能体间通信机制一直是一项具有挑战性的任务,特别是对于现实世界的应用。代理的数量可能会增长,或者环境有时需要与真实场景中不断变化的代理数量进行交互。为此,多代理框架需要处理代理的各种场景,在规模和动态方面,对于现实世界的应用是实用的。我们制定了多代理环境与不同数量的代理作为一个多任务的问题,并提出了一个Meta强化学习(元RL)框架来解决这个问题。所提出的框架采用了元学习通信模式识别(CPR)模块,以识别通信行为和提取信息,促进培训过程。实验结果表明,所提出的框架(a)推广到一个看不见的大量的代理商和(b)允许代理商的数量在情节之间变化。消融研究也提供了理由提出的心肺复苏术的设计,并表明这种设计是有效的。
2022-01-31 cs.AI cs.LG cs.MA
Communication Methods in Multi-Agent Reinforcement Learning
Telecooperation Institute, Johannes Kepler University Linz, Austria(telecooperation研究所,约瑟夫·胡斯大学林茨,奥地利)
本文综述了多智能体强化学习中不同通信方法的优缺点,指出无通用最优框架,需根据具体问题选择,并强调低计算开销和现实通信条件下的鲁棒性改进的重要性。
2026-01-19 cs.AI cs.LG cs.MA
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University(清华大学)
针对多智能体强化学习通信的可扩展性问题,提出基于Transformer的邮件机制框架,通过局部通信加消息链转发实现跨观测范围协作,在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
Depthwise Convolution for Multi-Agent Communication with Enhanced Mean-Field Approximation
Nanjing University(南京大学);Tencent(腾讯);University of New South Wales(新南威尔士大学)
由于部分可观察性和代理之间缺乏准确的实时交互,多代理设置仍然是强化学习(RL)领域的一个根本挑战。在本文中,我们提出了一种新的方法,基于本地通信学习,以解决多代理RL(MARL)的挑战,在大量的代理共存。首先,我们设计了一个新的通信协议,利用dependencyconvolution的能力,有效地提取本地关系和学习本地相邻代理之间的通信。为了促进多智能体协调,我们明确地学习联合行动的效果,采取相邻代理的政策作为输入。其次,我们引入平均场近似到我们的方法,以减少代理相互作用的规模。为了更有效地协调相邻代理的行为,我们通过监督策略校正网络(PRN)来校正实时代理交互,并通过可学习的补偿项来校正近似偏差,从而增强了平均场近似。所提出的方法,使有效的协调,以及优于几个基线方法的自适应交通信号控制(ATSC)的任务和星际争霸II多智能体的挑战(SMAC)。
2023-01-01 cs.AI cs.LG cs.MA
Learning to Infer Belief Embedded Communication
Northwestern University(西北大学);Zebra Technologies(斑马技术公司)
在具有通信的多智能体协作问题中,智能体编码其意图和解释其他智能体的策略的能力对于规划其未来的行动是至关重要的。本文介绍了一种新的算法,称为意图嵌入式通信(IEC)模仿代理的语言学习能力。IEC包含一个感知模块,用于解码其他代理的意图,以响应他们过去的行动。它还包括一个语言生成模块,用于在与两个或多个代理通信期间学习隐式语法。这样的语法,通过结构,应该是紧凑的有效沟通。这两个模块经历联合进化-类似于婴儿的牙牙学语,使其能够通过尝试和错误来学习一种语言。我们利用了三个多智能体环境,即捕食者/猎物,交通枢纽和基于水平的觅食,并说明这种共同进化使我们能够比最先进的算法,如MADDPG更快地学习(50%)。消融研究进一步表明,禁用推理信念模块,通信模块和隐藏状态分别降低了38%,60%和30%的模型性能。因此,我们建议对其他代理的行为进行建模可以加速另一个代理学习语法并开发一种有效沟通的语言。我们评估我们的方法在一组合作的情况下,并显示其优越的性能,其他多智能体基线。我们还表明,它是必不可少的代理人的原因,其他的状态,并学习这种能力,通过持续的沟通。
2022-03-15 cs.AI cs.LG cs.MA
Learning Attentional Communication for Multi-Agent Cooperation
Peking University(北京大学)
通信可能是多智能体合作的一种有效方式。然而,现有方法采用的所有代理之间或预定义通信架构中的信息共享可能是有问题的。当存在大量代理时,代理无法区分有助于合作决策的有价值信息与全球共享信息。因此,沟通几乎没有帮助,甚至可能损害多智能体合作的学习。另一方面,预定义的通信架构限制了代理之间的通信,从而抑制了潜在的合作。为了解决这些困难,在本文中,我们提出了一个注意力沟通模型,学习何时需要沟通,以及如何整合共享信息进行合作决策。我们的模型导致大规模的多智能体合作的高效和有效的沟通。从经验上讲,我们展示了我们的模型在各种合作场景中的优势,在这些场景中,代理能够制定比现有方法更协调和复杂的策略。
2018-11-22 cs.AI cs.MA
Collaborative Auto-Curricula Multi-Agent Reinforcement Learning with Graph Neural Network Communication Layer for Open-ended Wildfire-Management Resource Distribution
现实世界中的大多数领域都可以用多智能体(MA)系统来描述。意图共享代理可以通过协作解决更复杂的任务,可能在更短的时间内。真正的合作行动是有益的利己主义和集体的原因。然而,教导个体代理人为了更好的集体表现而牺牲利己主义利益似乎具有挑战性。我们建立在最近提出的多智能体强化学习(MARL)机制与图神经网络(GNN)通信层。很少选择的沟通行动是边际有益的。在这里,我们提出了一个MARL系统中,代理可以帮助合作者更好地执行,同时冒着个人性能低。我们在野火管理资源分配的背景下进行研究。沟通环境特征和部分可观察的火灾发生帮助代理集体先发制人地分配资源。此外,我们引入了一个程序化的培训环境,适应自动课程和开放性,以更好的概括性。我们的MA通信建议优于贪婪启发式基线和单代理(SA)设置。我们进一步展示了自动课程和开放性如何提高我们的MA提案的可推广性。
2022-04-24 cs.AI cs.LG cs.MA
Multi-Agent Multi-Armed Bandits with Limited Communication
Purdue University(普渡大学)
我们考虑的问题,$N$代理合作互动的一个随机$K$手臂土匪问题的实例$K \gg N$。代理的目标是同时最小化所有代理的总$T$时间步长,通信轮数,以及在每个通信轮的位数的累积遗憾。我们提出了有限的通信协作-置信上限(LCC-UCB),一个基于加倍历元的算法,每个代理只在历元结束后进行通信,并共享它所知道的最佳手臂的索引。在我们的算法LCC-UCB中,每个代理享有一个$\tilde{O}\left(\sqrt{({K/N}+ N)T}\right)$的遗憾,每个代理进行$O(\log T)$步的通信,并在每个通信步中广播$O(\log K)$比特。我们将这一工作推广到具有最大度$K_G$和直径$D$的稀疏图,并提出了具有$\tilde{O}\left(D\sqrt{(K/N+ K_G)DT}\right)$遗憾界的LCC-UCB-GRAPH.最后,我们的经验表明,LCC-UCB和LCC-UCB-GRAPH算法表现良好,优于通过中心节点通信的策略
2021-02-10 cs.AI cs.LG cs.MA
AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对多智能体强化学习中全连接通信成本高且难以获取范围外信息的问题,提出AC2C通信协议,通过通信控制器自适应实现两跳长距离信息交换,在降低通信开销的同时显著提升了性能。
2023-05-23 cs.AI cs.MA
Scalability of Message Encoding Techniques for Continuous Communication Learned with Multi-Agent Reinforcement Learning
IDLab;Faculty of Applied Engineering(应用工程学院);University of Antwerp(安特卫普大学);imec
本文研究多智能体强化学习中消息编码的可扩展性,发现均值消息编码器始终优于注意力消息编码器,并揭示智能体通过结合指数与对数函数的通信策略避免信息丢失。
2023-08-09 cs.AI cs.LG cs.MA
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications(电气通信大学);Ritsumeikan University(立命馆大学)
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型,通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换,并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
GoAgent: Group-of-Agents Communication Topology Generation for LLM-based Multi-Agent Systems
School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学信息学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)
本文提出GoAgent,通过LLM生成任务相关的群体结构,显式构建多智能体系统通信拓扑,提升协作效率并减少通信开销。
2026-03-20 cs.AI cs.LG cs.MA
Learning Efficient Multi-agent Communication: An Information Bottleneck Approach
Nanyang Technological University(南洋理工大学)
我们考虑了多智能体强化学习的有限带宽通信问题,其中智能体在通信协议和调度器的帮助下进行合作。协议和调度器共同决定哪个代理正在传递什么消息以及传递给谁。在有限的带宽约束下,需要通信协议来生成信息消息。同时,不应建立不必要的通信连接,因为这会白白占用有限的资源。在本文中,我们开发了一个信息多智能体通信(IMAC)的方法来学习有效的通信协议以及调度。首先,从通信理论的角度,我们证明了有限的带宽约束要求低熵的消息在整个传输。然后,受信息瓶颈原理的启发,我们学习了一个有价值的和紧凑的通信协议和基于权重的调度器。为了证明我们的方法的效率,我们进行了广泛的实验,在各种合作和竞争的多智能体任务与不同数量的代理和不同的带宽。我们表明,IMAC收敛速度更快,并导致代理之间的有效通信在有限的带宽相比,许多基线方法。
2020-06-23 cs.AI cs.MA
TarMAC: Targeted Multi-Agent Communication
Georgia Tech(佐治亚理工学院);McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院)
我们提出了一个有针对性的通信架构多智能体强化学习,其中代理学习什么消息发送和谁来解决他们,同时执行部分可观察的环境中的合作任务。这种定向行为完全是从下游特定任务奖励中学习的,没有任何沟通监督。我们还通过多轮通信方法来增强这一点,其中代理在环境中采取行动之前通过多轮通信进行协调。我们评估我们的方法上的一组不同的合作多智能体任务,不同的困难,不同数量的代理,在各种环境中,从2D网格布局的形状和模拟交通路口到3D室内环境,并展示了有针对性的和多轮通信的好处。此外,我们表明,有针对性的沟通策略学习代理是可解释的和直观的。最后,我们表明,我们的架构可以很容易地扩展到混合和竞争的环境中,导致最近的国家的最先进的方法,以提高性能和样本的复杂性。
2020-02-22 cs.AI cs.LG cs.MA
A Decentralized Communication Framework based on Dual-Level Recurrence for Multi-Agent Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);National Sun Yat-Sen University(中山大学)
我们提出了一个模型,使分散的多个代理共享他们的感知环境中的一个公平和适应性的方式。在我们的模型中,当前消息和历史观察都被考虑在内,它们在同一个循环模型中以不同的形式处理。我们提出了一个双层递归通信框架的多智能体系统,其中第一个递归发生在通信序列中,用于传输代理之间的通信数据,而第二个递归是基于时间序列,并结合每个代理的历史观察。所开发的通信流将通信消息与记忆分离,但允许代理通过双层递归来共享其历史观察。这种设计使Agent能够适应不断变化的通信对象,同时保证了通信结果的公平性。我们提供了一个充分的讨论,我们的方法在部分可观察和完全可观察的环境。几个实验的结果表明,我们的方法优于现有的分散式通信框架和相应的集中式训练方法。
2022-02-22 cs.AI cs.MA
A perspective on multi-agent communication for information fusion
Iowa State University(爱荷华州立大学);Honeywell Aerospace(霍尼韦尔航空航天公司)
多智能体系统中的协同决策通常需要一个预定义的代理之间的通信协议。通常,代理级的观察是本地处理的,信息是使用预定义的协议交换的,使团队能够比每个代理单独运行更有效地执行。在这项工作中,我们考虑的情况下,代理,互补的传感方式必须合作,以实现一个共同的目标/任务,通过学习一个有效的通信协议。我们框架内的演员批评计划,其中代理学习最佳的政策在一个集中的方式,而采取行动,在一个分布式的方式。我们提供了一个解释的代理之间的紧急通信。我们观察到,交换的信息不仅仅是原始传感器数据的编码,而且是取决于整体任务的一组特定的指令动作。仿真结果表明,在各种任务的学习通信的可解释性。
2019-11-09 cs.AI cs.CL cs.LG
FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems
National University of Singapore(新加坡国立大学)
部分可观测多智能体系统中的分散合作需要智能体之间的有效通信。为了支持这一努力,这项工作的重点是一类问题,全球通信是可用的,但可能是不可靠的,从而排除了不同的通信学习方法。我们介绍了FCMNet,一种基于强化学习的方法,允许代理同时学习a)有效的多跳通信协议和b)一个共同的,分散的政策,使团队级的决策。具体来说,我们提出的方法利用多个方向递归神经网络的隐藏状态作为代理之间的通信消息。使用一个简单的多跳拓扑结构,我们赋予每个代理的能力,接收信息顺序编码的每一个其他代理在每个时间步,从而提高全球合作。我们展示了FCMNet在一组具有挑战性的星际争霸II微观管理任务与共享奖励,以及一个合作的多智能体寻路任务与个人奖励。在那里,我们的比较结果表明,FCMNet在所有星际争霸II微观管理任务中优于最先进的基于通信的强化学习方法,在某些任务中优于价值分解方法。我们进一步研究了FCMNet在现实通信干扰下的鲁棒性,例如随机消息丢失或二进制化消息(即,不可区分的通信信道),以展示FMCNet在各种现实条件下对机器人任务的潜在适用性。
2022-01-31 cs.AI cs.LG cs.MA
Counterfactual Multi-Agent Reinforcement Learning with Graph Convolution Communication
University of Virginia(弗吉尼亚大学)
我们考虑一个完全合作的多智能体系统,其中代理合作,以最大限度地提高系统的效用在一个部分可观察的环境。我们提出,多智能体系统必须有能力(1)沟通和理解代理之间的相互作用和(2)正确分配奖励的基础上,个人代理的贡献。相比之下,大多数工作在这种情况下只考虑上述能力之一。在这项研究中,我们开发了一个架构,允许代理之间的通信和定制系统的奖励,为每个单独的代理。我们的架构表示智能体通信通过图卷积和应用现有的信用分配结构,反事实多代理策略梯度(COMA),以协助代理学习反向传播通信。图结构的灵活性,使我们的方法适用于各种多代理系统,例如,动态系统,包括不同数量的代理和静态系统与固定数量的代理。我们评估我们的方法在一系列的任务,证明了优势的婚姻通信与信用分配。在实验中,我们提出的方法产生更好的性能比最先进的方法,包括COMA。此外,我们表明,通信策略为我们提供了系统的合作政策的见解和可解释性。
2020-12-29 cs.AI cs.MA
Learning to Ground Multi-Agent Communication with Autoencoders
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Facebook AI
沟通需要有一个共同的语言,一种通用语言,代理之间。这种语言可以通过协商一致的过程出现,但它可能需要许多代人的尝试和错误。或者,通用语可以由环境给出,在环境中,代理人将他们的语言置于所观察到的世界的表征中。我们展示了一种简单的方法来地面语言学习表示,这有利于分散的多智能体通信和协调。我们发现,一个标准的表示学习算法-自动编码-是足够的接地共同语言。当代理人广播这些表示,他们学会理解和响应对方的话语,并在各种多智能体通信环境中实现令人惊讶的强大的任务性能。
2021-10-28 cs.AI cs.CL cs.LG
Emergent Communication through Negotiation
University of Cambridge(剑桥大学);DeepMind(深度思维)
多智能体强化学习提供了一种研究如何在需要解决特定问题的智能体社区中出现通信的方法。在本文中,我们研究了在谈判环境中,代理交互的半合作模型的通信的出现。我们介绍两种通信协议--一种是基于游戏的语义,另一种是不基于\textit{a priori}的,是一种廉价的谈话形式。我们发现,自利代理人可以使用预先接地的沟通渠道进行公平谈判,但无法有效地使用非接地渠道。然而,亲社会的代理人确实学会了使用廉价的谈话来找到最佳的谈判策略,这表明合作是语言出现的必要条件。我们还研究了通信行为的设置,其中一个代理人与代理人在一个社区中具有不同程度的亲社会性,并显示代理的可识别性可以帮助谈判。
2018-04-11 cs.AI cs.CL cs.LG
Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
Aleph Alpha
我们采用协作式多智能体强化学习(MARL)设置来实现基于无人机的自主重新造林。代理可以作为动态变化的网络的一部分进行通信。我们在一个高影响力的问题背后探索协作和沟通。森林是控制二氧化碳上升的主要资源。不幸的是,全球森林体积正在以前所未有的速度减少。许多地区太大,很难穿越种植新的树木。为了有效地覆盖尽可能多的区域,在这里,我们提出了一个基于图神经网络(GNN)的通信机制,使合作。代理可以共享需要重新造林的区域的位置信息,这增加了查看的区域和种植的树木数量。我们比较我们提出的通信机制与多代理基线没有能力进行通信。结果表明,沟通如何实现协作,提高集体绩效,种植精度和个人代理的冒险倾向。
2022-11-14 cs.AI cs.LG cs.MA
Agent-GSPO: Communication-Efficient Multi-Agent Systems via Group Sequence Policy Optimization
Sun Yat-sen University(中山大学)
Agent-GSPO利用组序列策略优化和通信感知奖励,在七个推理基准上以更少令牌实现最先进性能,通过策略性沉默提升多智能体系统通信效率。
2025-10-26 cs.AI cs.MA
Gaussian Process Based Message Filtering for Robust Multi-Agent Cooperation in the Presence of Adversarial Communication
University of Cambridge(剑桥大学)
在本文中,我们考虑的问题,提供多智能体系统的对抗性通信的鲁棒性。具体来说,我们提出了一个解决方案,对强大的合作,这使得多智能体系统保持高性能的存在下,匿名的非合作代理,沟通错误,误导或操纵信息。为了实现这一目标,我们提出了一种基于图神经网络(GNNs)的通信体系结构,它服从于一种新的基于高斯过程(GP)的概率模型,该模型表征了不同代理之间的同时通信的互信息,由于它们的物理接近和相对位置。该模型允许代理在本地计算近似的后验概率或置信度,即任何给定的通信伙伴都是真实的。这些置信度可以用作消息过滤方案中的权重,从而抑制可疑通信对接收代理的决策的影响。为了评估我们的方法的有效性,我们引入了一个分类的非合作代理,区分他们的信息量。我们在两个不同的实验中证明,我们的方法在这种分类中表现良好,优于其他方法。对于所有的,但最好的通知对手,我们的过滤方法是能够减少非合作代理造成的影响,减少到可以忽略不计的点,并在没有对手的性能成本可以忽略不计。
2020-12-01 cs.AI cs.LG cs.MA
Learning Communication Between Heterogeneous Agents in Multi-Agent Reinforcement Learning for Autonomous Cyber Defence
Department of Electrical and Computer Engineering, Royal Military College of Canada(加拿大皇家军事学院电子与计算机工程系);Defence Research and Development Canada(加拿大国防研究与发展加拿大);Department of Computer Engineering and Software Engineering, Polytechnique Montréal(蒙特利尔理工学院计算机工程与软件工程系)
本文研究了在模拟网络环境中异构智能体通信能力的多智能体系统,利用CommFormer算法训练评估智能体,结果显示异构能力的智能体在收敛速度和标准误差方面优于其他算法。
2026-03-17 cs.AI cs.CR cs.LG
Modeling Sensorimotor Coordination as Multi-Agent Reinforcement Learning with Differentiable Communication
Stanford University(斯坦福大学)
多智能体强化学习已经显示出对各种合作任务的承诺,作为可区分的智能体通信的最新发展的结果。然而,大多数架构都局限于同类代理的池,限制了它们的适用性。在这里,我们提出了一个模块化的框架,学习复杂的任务,传统的单体代理被框定为一个合作的异构代理的集合。我们应用这种方法来模拟感觉运动协调在新皮层作为一个多智能体强化学习问题。我们的研究结果证明了所提出的架构的概念验证,并为学习复杂任务和理解大脑和未来智能系统中的功能定位开辟了新的途径。
2019-09-12 cs.AI cs.MA
Multi-Agent Reinforcement Learning Based on Representational Communication for Large-Scale Traffic Signal Control
Northeastern University(东北大学);Khoury College of Computer Sciences(胡里计算机学院)
针对大规模交通信号控制中全量通信易增噪降效的问题,提出一种可学习选择性收发可变长度消息的分布式MARL框架,在合成与真实路网上均实现更低拥堵,验证了通信策略的有效性。
2023-10-03 cs.AI cs.MA
Assisting Drivers During Overtaking Using Car-2-Car Communication and Multi-Agent Systems
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);Technical University of Moldova(摩尔多瓦技术大学)
提出了一种用于辅助驾驶员超车的警告系统。该系统依赖于Car-2-Car通信技术和多智能体系统。提出了一种基于ACL通信行为的安全超车协议。安全超车数学模型采用卡尔曼滤波器使定位误差最小。
2016-07-27 cs.AI cs.MA
Learning Selective Communication for Multi-Agent Path Finding
The University of Hong Kong(香港大学);Simon Fraser University(西蒙弗雷泽大学);University of Waterloo(滑铁卢大学)
通过深度强化学习(RL)或模仿学习(IL)进行学习通信最近已被证明是解决多智能体路径查找(MAPF)的有效方法。然而,现有的基于通信的MAPF求解器专注于广播通信,其中代理将其消息广播到所有其他或预定义的代理。它不仅不切实际,而且会导致冗余信息,甚至可能损害多智能体合作。一个简洁的通信方案应该了解哪些信息是相关的,并影响每个代理的决策过程。为了解决这个问题,我们考虑了一个请求-答复的情况下,并提出了决策因果通信(DCC),一个简单而有效的模型,使代理选择邻居进行通信在训练和执行。具体地说,只有当一个邻居的存在导致中央代理的决策调整时,这个邻居才被确定为相关的和有影响力的。这种判断仅基于Agent的局部观察来学习,因此适合于分散执行来处理大规模问题。在障碍物丰富的环境中的实证评估表明,我们的方法具有低通信开销的高成功率。
2021-12-23 cs.AI cs.MA cs.RO
Verifiable Semantics for Agent-to-Agent Communication
Microsoft AI(微软人工智能);Wabash College(瓦巴什学院)
本文提出基于刺激-意义模型的认证协议,通过验证共享事件和术语的语义一致性,减少智能体间分歧。核心 guarded 推理降低分歧72-96%,语言模型验证中减少51%。
2026-03-19 cs.AI cs.MA
Inference-Based Deterministic Messaging For Multi-Agent Communication
University of Alberta(阿尔伯塔大学)
沟通对于人类和动物之间的协调至关重要。因此,随着智能代理的引入,代理与代理以及代理与人之间的通信变得必要。在本文中,我们首先研究了基于矩阵的信号博弈中的学习,以实证的方式证明分散的方法可以收敛到一个次优的策略。然后,我们提出了一个修改的消息传递策略,其中发送者确定性地选择最好的消息,帮助接收者推断发送者的观察。使用这种修改,我们看到,经验,代理收敛到最优策略,在几乎所有的运行。然后,我们将这种方法应用到一个部分可观察的网格世界环境中,需要两个代理之间的合作,并表明,适当的近似方法,建议的发送者修改可以增强现有的分散训练方法,更复杂的域以及。
2021-03-03 cs.AI cs.MA
Learning Multiagent Communication with Backpropagation
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
AI中的许多任务需要多个代理的协作。通常,代理之间的通信协议是手动指定的,并且在训练期间不会更改。在本文中,我们探索了一个简单的神经模型,称为CommNet,它使用连续通信来完成完全合作的任务。该模型由多个代理组成,它们之间的通信是与它们的策略一起学习的。我们将此模型应用于一组不同的任务,展示了代理人学习相互沟通的能力,从而提高了非沟通代理人和基线的性能。在某些情况下,可以解释代理人设计的语言,揭示解决手头任务的简单但有效的策略。
2016-10-31 cs.AI cs.LG
DCMAC: Demand-aware Customized Multi-Agent Communication via Upper Bound Training
针对协作多智能体强化学习中全通信开销大、队友建模预测不确定导致训练困难的问题,提出DCMAC协议,通过上界训练、需求解析与交叉注意力生成定制消息,在无约束和通信受限场景下均显著优于基线。
2024-12-10 cs.AI cs.MA
Multi-Agent Reinforcement Learning with Communication-Constrained Priors
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);School of Network Security and Information Technology, YiLi Normal University(伊犁师范学院网络安全与信息技术学院);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出了一种通信受限的多智能体强化学习框架,通过统一表征通信条件并量化通信影响,提升复杂动态环境中的学习效率。
2026-03-10 cs.AI cs.MA
CGIBNet: Bandwidth-constrained Communication with Graph Information Bottleneck in Multi-Agent Reinforcement Learning
Zhejiang University(浙江大学);Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Huawei Technologies(华为技术有限公司)
通信是协作多智能体强化学习(MARL)的核心组成部分之一。在许多实际应用中,通信带宽总是受到一定的限制。为了提高通信效率,在这篇文章中,我们提出了同时优化谁通信和通信MARL中的每个代理。通过有向完全图启动Agent之间的通信,提出了一种新的通信模型--通信图信息瓶颈网络(CGIBNet),利用图信息瓶颈原理同时压缩图结构和节点信息.图结构压缩的目的是削减冗余的边缘,以确定与谁进行通信。节点信息压缩旨在通过学习紧凑的节点表示来解决通信内容的问题。此外,CGIBNet是带宽受限通信的第一个通用模块,可应用于各种训练框架(即,基于策略和基于价值的MARL框架)和通信模式(即,单轮和多轮通信)。在交通控制和星际争霸II环境中进行了大量的实验。结果表明,我们的方法可以实现更好的性能在带宽受限的设置相比,国家的最先进的算法。
2022-12-30 cs.AI cs.MA
PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning
Peking University(北京大学)
难以扩展给多智能体协调带来了很大的问题。多智能体强化学习(MARL)算法在小规模多智能体系统中的应用很难扩展到大规模多智能体系统中,因为后者的动态性更强,交互次数随着智能体数量的增加而呈指数级增加。一些群体智能算法模拟信息素的释放和利用机制来控制大规模的Agent协调。受这些算法的启发,为了解决大规模多智能体协调问题,提出了一种基于\textbf{p}和\textbf{o} m \textbf{o} ne的间接通信框架\textbf{PooL},用于大规模多智能体强化\textbf{l}学习. PooL的代理释放的信息素被定义为大多数强化学习算法的输出,它反映了代理对当前环境的看法。信息素更新机制可以有效地组织所有代理的信息,并将代理之间的复杂交互简化为低维表示。智能体感知到的信息素可以看作是附近智能体观点的总结,更能反映环境的真实情况。以Q-Learning为基础模型实现PooL,并在各种大规模协作环境中对PooL进行了评估。实验结果表明,通过PooL,Agent可以捕获有效的信息,并以较低的通信代价获得比其他方法更高的回报。
2022-02-20 cs.AI cs.MA
Decentralized Adaptive Formation via Consensus-Oriented Multi-Agent Communication
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
针对通信受限下多智能体自适应编队控制难题,提出Cons-DecAF框架与ConsMAC通信方法,结合策略蒸馏和位移式编队,在仿真中实现速度与稳定性的优异表现。
2023-07-23 cs.AI cs.MA
G2CP: A Graph-Grounded Communication Protocol for Verifiable and Efficient Multi-Agent Reasoning
University of Lorraine, LORIA(洛林大学,LORIA)
G2CP通过图操作实现多智能体高效、可验证的推理通信,提升任务准确率并消除幻觉传播。
2026-02-13 cs.AI cs.CL cs.MA
Multi-Agent Pathfinding Under Team-Connected Communication Constraint via Adaptive Path Expansion and Dynamic Leading
George Mason University(乔治·马歇尔大学)
本文提出了一种新的多智能体路径规划框架,解决在团队连接通信约束下路径规划的问题。通过自适应路径扩展和动态领导技术,有效处理通信约束下的路径规划,实验证明在不同环境中能高效处理大量智能体。
2026-02-03 cs.AI cs.MA cs.RO
Large Language Model Enhanced Multi-Agent Systems for 6G Communications
针对原生大语言模型应用于6G通信存在的知识缺失、推理与优化能力不足等问题,提出包含数据检索、协同规划、评估反思模块的多智能体系统,并通过语义通信案例验证其有效性。
2023-12-13 cs.AI
Game theory models for communication between agents: a review
COMSATS Institute of IT(COMSATS 信息技术学院)
在现实世界中,代理或实体处于持续的交互状态。这些相互作用导致了各种类型的复杂性动力学.在研究复杂的代理交互中的一个关键困难是难以在奖励的基础上对智能体通信建模。博弈论提供了一个分析和建模这些互动的视角。以前,虽然有大量的文献是关于博弈论的,但大多数文献来自特定的领域,并且不符合基于代理的角度的概念。在本文中,我们提出了一个全面的多学科国家的最先进的审查和分类的博弈论模型之间的复杂互动代理。
2017-08-04 cs.AI cs.GT cs.MA
Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning
Intel Labs(英特尔实验室)
智能体通信可以显着提高性能的多智能体任务,需要协调,以实现一个共同的目标。先前的工作已经表明,可以使用多智能体强化学习和消息传递网络架构来学习智能体间通信协议。然而,这些模型使用不受约束的广播通信模型,其中代理在每一步都与所有其他代理进行通信,即使任务不需要它。在现实世界的应用中,通信可能受到带宽,功率和网络容量等系统约束的限制,可能需要减少发送的消息数量。在这项工作中,我们探索了一种简单的方法,最大限度地减少通信,同时最大限度地提高多任务学习的性能:同时优化特定于任务的目标和通信惩罚。我们表明,目标可以使用增强和Gumbel-Softmax重新参数化进行优化。我们引入了两种技术来稳定训练:50%训练和消息转发。仅在50%的事件上进行通信惩罚的训练可以防止我们的模型关闭他们的传出消息。其次,重复先前接收的消息有助于模型保留信息,并进一步提高性能。通过这些技术,我们可以减少75%的通信,而不会损失性能。
2021-12-08 cs.AI
Accelerating Distributed Online Meta-Learning via Multi-Agent Collaboration under Limited Communication
Arizona State University(亚利桑那州立大学)
在线元学习正在成为物联网生态系统中实现边缘智能的一种使能技术。然而,为了学习一个好的元模型,以实现任务内的快速适应,单个智能体必须单独学习许多任务,这就是所谓的“冷启动”问题。观察到在多智能体网络中,不同智能体之间的学习任务通常具有一些模型相似性,我们提出了以下基本问题:“是否有可能通过有限的通信来加速智能体之间的在线元学习,如果是的话,可以实现多大的好处?为了回答这个问题,我们提出了一个多智能体在线元学习框架,并将其转换为一个等价的两级嵌套在线凸优化(OCO)问题。通过表征代理任务平均遗憾的上界,我们表明,多代理在线元学习的性能在很大程度上取决于有多少代理可以受益于分布式网络级的OCO元模型更新通过有限的通信,但这是不是很好地理解。为了解决这一挑战,我们设计了一个分布式的在线梯度下降算法与梯度跟踪,每个代理跟踪全局梯度使用只有一个通信步骤与它的邻居每次迭代,它的结果是在一个平均遗憾$O(\sqrt{T/N})$每个代理,表明$\sqrt{1/N}$的一个因素的加速比最佳的单代理遗憾$O(\sqrt{T})$后,$T$迭代,其中$N$是代理的数量。在此基础上,我们接下来开发了一个多智能体在线元学习算法,并表明它可以通过有限的通信以更快的$O(1/\sqrt{NT})$速度实现最佳任务平均遗憾,相比单智能体在线元学习。大量的实验证实了理论结果。
2020-12-19 cs.DC cs.LG cs.MA
The Internet of Agentic AI: Communication, Coordination, and Collective Intelligence at Scale
Department of Electrical and Computer Engineering(电气与计算机工程系);NYU Center for Cybersecurity(纽约大学网络安全中心);NYU Tandon School of Engineering(纽约大学坦顿工程学院);New York University(纽约大学)
本文提出智能体互联网(IoAI)愿景,构建异构智能体在云、边缘、设备等环境中发现、协商、通信与协作的开放生态系统,并探讨其架构、机制及关键研究挑战。
2026-06-12 cs.AI cs.CY cs.MA
What Should Agents Say? Action-state Communication for Efficient Multi-Agent Systems
Singapore University of Technology and Design(新加坡科技设计大学)
针对多智能体系统中自由形式通信导致令牌膨胀和性能下降的问题,提出PACT协议,将通信视为公共状态更新问题,压缩为紧凑的动作-状态记录,在多种拓扑下实现性能与成本权衡的优化。
2026-06-03 cs.AI
Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference
Ritsumeikan University(立命馆大学)
本文描述了一个多智能体多模态分类的计算模型,实现了紧急通信。我们澄清了计算模型是否可以再现以下功能的符号出现系统,包括两个代理与不同的感官形式玩一个命名游戏。(1)用于形成共享词汇系统的功能,该系统包括感知类别和相应的符号,由代理通过个体学习和代理之间的符号通信形成。(2)通过与另一个智能体的符号通信来提高智能体的分类准确性,即使每个智能体的某些感觉模态缺失。(3)一个智能体根据从另一个智能体采样的符号以与交叉模态推理相同的方式推断未观察到的感觉信息的功能。我们提出了一个人与人之间的多模态狄利克雷混合(Inter-MDM),它是通过划分一个综合概率生成模型,这是通过整合两个狄利克雷混合(DM)。马尔可夫链蒙特卡罗算法实现紧急通信。实验结果表明,Inter-MDM使代理人形成多模态类别和适当地共享代理人之间的迹象。它表明,紧急通信提高分类的准确性,即使当一些感官形式缺失。Inter-MDM使代理能够基于共享标记预测未观察到的信息。
2021-09-15 cs.AI cs.CL
Learning to Ground Decentralized Multi-Agent Communication with Contrastive Learning
Zebra Technologies(斑马技术公司)
为了成功地进行通信,代理之间需要一种共同的语言来理解彼此传达的信息。诱导共同语言的出现一直是多智能体学习系统面临的一个困难挑战。在这项工作中,我们引入了另一种观点,代理之间发送的通信消息,考虑他们作为不同的不完整的环境状态的意见。基于这一观点,我们提出了一个简单的方法来诱导一个共同的语言的出现,通过最大化的互信息之间的消息的一个给定的轨迹在一个自我监督的方式。通过在通信环境中评估我们的方法,我们经验性地展示了我们的方法如何导致更好的学习性能和速度,并学习比现有方法更一致的通用语言,而无需引入额外的学习参数。
2022-03-07 cs.AI
Safe Heterogeneous Multi-Agent RL with Communication Regularization for Coordinated Target Acquisition
Department of Computer Science, Electrical and Space Engineering, Luleå University of Technology, Luleå, Sweden.(计算机科学与空间工程系,卢勒奥技术大学,卢勒奥,瑞典)
本文提出了一种安全的异构多智能体强化学习框架,通过通信正则化和安全过滤器实现协同目标获取任务中的安全与稳定执行。
2026-01-13 cs.AI cs.RO
Emergent Linguistic Phenomena in Multi-Agent Communication Games
NYU(纽约大学);Robotics at Google(谷歌机器人部门);Facebook AI Research(脸书人工智能研究院)
在这项工作中,我们提出了一个计算框架,在该框架中,配备了通信能力的代理同时玩一系列参考游戏,其中代理使用深度强化学习进行训练。我们证明,该框架反映了在自然语言中观察到的语言现象:i)社区之间的接触的结果是一个功能的组间和组内的连接; ii)语言接触要么收敛到多数协议,或在平衡的情况下,导致新的克里奥尔语的复杂性较低;语言连续体出现,相邻的语言比相距较远的语言更容易相互理解。我们的结论是,语言进化的复杂特性不需要依赖于复杂的进化语言能力,但可以出现从简单的社会交流之间的感知使能代理玩通信游戏。
2020-02-28 cs.AI cs.CL cs.SI
Research on Multi-Agent Communication and Collaborative Decision-Making Based on Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学)
本文在CTDE框架下基于MAPPO引入权重调度与注意力通信模块,提出MCGOPPO算法,通过在SMAC和MPE上的实验验证其能缓解多智能体环境非平稳性并提升协同决策能力。
2023-05-23 cs.AI cs.LG cs.MA
EdgeAgentX: A Novel Framework for Agentic AI at the Edge in Military Communication Networks
Cornell University(康奈尔大学)
本文提出EdgeAgentX框架,融合联邦学习、多智能体强化学习与对抗防御,用于军事通信网络,显著提升自主决策、降低延迟、提高吞吐量并增强抗干扰能力。
2025-05-24 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University(斯坦福大学);MIT Lincoln Lab(麻省理工学院林肯实验室)
在多智能体强化学习(MARL)中,通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信,其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议,可以提高设计人员和其他智能体的可解释性,本文提出了一种生成类似人类语言的离散消息的方法,并通过基于自我注意的广播和收听机制实现通信。我们表明,离散消息通信的性能可比连续消息通信,但与一个小得多的词汇大小。此外,我们提出了一种方法,允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
A Survey of Multi-Agent Deep Reinforcement Learning with Graph Neural Network-Based Communication
Université Lyon 1, INSA Lyon, CNRS, LIRIS, UMR 5205(里昂1大学,里昂国立应用科学学院,国家科学研究中心,LIRIS,UMR 5205)
本文综述了基于图神经网络的多智能体强化学习通信方法,提出通用通信过程以明确方法核心思想。
2026-04-28 cs.AI cs.LG cs.MA
The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning
University of Cambridge(剑桥大学)
许多现实世界的问题需要多个自主智能体的协调。最近的工作表明,图神经网络(GNN)有希望学习明确的通信策略,使复杂的多智能体协调。这些作品使用合作多代理系统的模型,代理努力实现一个共同的全球目标。当考虑具有自利局部目标的代理时,标准的设计选择是将它们建模为独立的学习系统(尽管共享相同的环境)。然而,这样的设计选择,排除了存在一个单一的,可区分的通信信道,并因此禁止学习的智能体通信策略。在这项工作中,我们解决这个差距,提出了一个学习模型,可容纳个人的非共享奖励和一个可区分的沟通渠道,是所有代理之间的共同点。我们专注于代理人有自我利益的目标的情况下,并开发一个学习算法,消除对抗性通信的出现。我们进行多代理覆盖和路径规划问题的实验,并采用事后可解释性技术来可视化代理相互通信的消息。我们展示了一个自私的代理是如何能够学习高度操纵性的通信策略,使其显着优于一个合作团队的代理。
2020-11-04 cs.AI cs.LG cs.MA
Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents
Simon Fraser University(西蒙菲莎大学);IIT Kanpur(坎pur印度理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
近年来,具体化的人工智能智能体之间的通信受到越来越多的关注。尽管它的使用,它仍然是不清楚的,是否学习沟通是可解释的,并在感知为基础。为了研究通信的紧急形式的接地,我们首先介绍了协作多对象导航任务CoMON。在此任务中,Oracle代理以地图的形式提供详细的环境信息。它与导航代理进行通信,导航代理视觉感知环境,并负责找到一系列目标。为了成功完成任务,有效的沟通至关重要。因此,CoMON作为一个基础,研究不同的通信机制之间的异构代理,即具有不同的能力和角色的代理。我们研究了两种常见的沟通机制,并通过自我中心和空间的镜头分析他们的沟通模式。我们发现,紧急通信可以接地代理的意见和三维环境的空间结构。视频摘要:https://youtu.be/kLv2rxO9t0g
2021-10-12 cs.AI cs.CV cs.LG