Learning to cooperate: Emergent communication in multi-agent navigation
University of Waterloo(滑铁卢大学);DeepMind
人工智能体中的紧急通信已经被研究来理解语言进化,以及开发学习与人类通信的人工系统。我们表明,在各种网格环境中执行合作导航任务的代理学习一个可解释的通信协议,使他们能够有效地,并在许多情况下,最佳地解决任务。对智能体策略的分析表明,紧急信号在空间上聚集状态空间,信号指的是特定的位置和空间方向,如“左”,“上”,或“左上方的房间”。使用人口的代理,我们表明,紧急协议的基本组成结构,从而表现出自然语言的核心属性。
2020-06-30 cs.CL cs.LG cs.MA
Emergent Discrete Communication in Semantic Spaces
Massachusetts Institute of Technology(麻省理工学院);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
在强化学习环境中训练的神经代理可以学习通过离散的令牌在它们之间进行通信,作为一个团队完成代理无法单独完成的任务。然而,使用独热向量作为离散通信令牌的当前标准阻止代理获得通信的更期望的方面,例如zero-shot理解。受来自自然语言处理的词嵌入技术的启发,我们提出了神经代理架构,使它们能够通过来自学习的连续空间的离散令牌进行通信。我们在一个决策理论框架中表明,我们的技术在广泛的场景中优化了通信,而独热令牌仅在限制性假设下是最佳的。在自我游戏实验中,我们验证了我们经过训练的代理学习以语义有意义的方式聚类令牌,允许它们在其他技术失败的嘈杂环境中进行通信。最后,我们证明了使用我们的方法的代理可以有效地响应新的人类通信和人类可以理解未标记的紧急智能体通信,优于使用一热通信。
2021-11-04 cs.CL cs.LG cs.MA
The Frost Hollow Experiments: Pavlovian Signalling as a Path to Coordination and Communication Between Agents
DeepMind(深度思维);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
在处理任何单个代理都难以孤立克服的决策问题时,代理之间的学习通信是一个强大的工具。然而,机器代理或人机伙伴关系之间的持续协调和通信学习仍然是一个具有挑战性的开放问题。作为解决持续沟通学习问题的垫脚石,在本文中,我们贡献了一个多方面的研究,我们称之为巴甫洛夫信号-一个过程,通过这个过程,一个代理人所做的学习,时间上的扩展预测告知决策由另一个代理人不同的感知访问他们的共享环境。我们试图建立不同的时间过程和代表性的选择如何影响学习代理之间的巴甫洛夫信号。为此,我们引入了一个部分可观察的决策域,我们称之为霜谷。在这个领域中,预测学习代理和强化学习代理耦合成两部分决策系统,该系统寻求获得稀疏奖励,同时避免时间条件风险。我们评估两个领域的变化:1)机器预测和控制学习的线性行走,和2)预测学习机与人类参与者在虚拟现实环境中进行交互。我们的研究结果展示了巴甫洛夫信号的学习速度,不同的时间表示对代理-代理协调的影响,以及时间别名如何不同地影响代理-代理和人类-代理的相互作用。作为一个主要的贡献,我们建立了巴甫洛夫信号之间的自然桥梁固定的信号范例和完全自适应通信学习。因此,我们的研究结果指出了一条可操作的,建构主义的路径,以实现强化学习代理之间的持续沟通学习,并在一系列现实世界的设置中产生潜在的影响。
2022-03-17 cs.AI cs.CL cs.LG
SpeechAgents: Human-Communication Simulation with Multi-Modal Multi-Agent Systems
Fudan University(复旦大学)
本文提出SpeechAgents,一个基于多模态LLM的多智能体系统,用于模拟人类交流,通过多模态信号作为消息媒介并引入多智能体微调增强能力,在自建基准上展现出优异的对话模拟效果与扩展性。
2024-01-08 cs.CL
Learning to Interrupt in Language-based Multi-agent Communication
CMU(卡内基梅隆大学);Meta FAIR
本文提出一种可中断的通信框架,通过学习预测合适的中断点,减少通信成本,提升多智能体任务性能。
2026-08-17 cs.CL
Towards Human-Agent Communication via the Information Bottleneck Principle
应急通信研究往往侧重于优化特定于任务的效用作为通信的驱动力。然而,人类语言似乎在压力下进化,通过优化信息量和复杂性之间的信息瓶颈权衡,有效地将意义压缩到通信信号中。在这项工作中,我们研究如何权衡这三个因素-效用,信息量和复杂性-塑造紧急通信,包括与人类通信相比。为此,我们提出了矢量量化变分信息瓶颈(VQ-VIB),一种用于训练神经代理将输入压缩成嵌入连续空间中的离散信号的方法。我们通过VQ-VIB训练代理,并将其性能与先前提出的接地环境和Lewis参考游戏中的神经架构进行比较。在所有的神经架构和设置中,考虑到沟通信息量有利于沟通收敛速度,而惩罚沟通复杂性会导致类似人类的词汇量,同时保持高实用性。此外,我们发现,VQ-VIB优于其他离散通信方法。这项工作表明,被认为是人类语言进化的基本原则可能会通知人工代理的紧急通信。
2022-06-30 cs.AI cs.CL
HyLaT: Efficient Multi-Agent Communication via Hybrid Latent-Text Protocol
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所);Shanghai Innovation Institute(上海创新研究院)
针对多智能体通信中的三元困境,提出混合潜在-文本协议HyLaT,通过潜在通道传输认知信号提升效率,自然语言表达关键信号保证可解释性,并设计两阶段训练框架,显著降低通信开销同时保持任务性能。
2026-10-27 cs.CL
Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference
Ritsumeikan University(立命馆大学)
本文描述了一个多智能体多模态分类的计算模型,实现了紧急通信。我们澄清了计算模型是否可以再现以下功能的符号出现系统,包括两个代理与不同的感官形式玩一个命名游戏。(1)用于形成共享词汇系统的功能,该系统包括感知类别和相应的符号,由代理通过个体学习和代理之间的符号通信形成。(2)通过与另一个智能体的符号通信来提高智能体的分类准确性,即使每个智能体的某些感觉模态缺失。(3)一个智能体根据从另一个智能体采样的符号以与交叉模态推理相同的方式推断未观察到的感觉信息的功能。我们提出了一个人与人之间的多模态狄利克雷混合(Inter-MDM),它是通过划分一个综合概率生成模型,这是通过整合两个狄利克雷混合(DM)。马尔可夫链蒙特卡罗算法实现紧急通信。实验结果表明,Inter-MDM使代理人形成多模态类别和适当地共享代理人之间的迹象。它表明,紧急通信提高分类的准确性,即使当一些感官形式缺失。Inter-MDM使代理能够基于共享标记预测未观察到的信息。
2021-09-15 cs.AI cs.CL
Miss Tools and Mr Fruit: Emergent communication in agents learning about object affordances
Facebook A.I. Research(Facebook人工智能研究院);ICREA
最近的研究研究了深层网络代理社区中的通信出现,并分配了一项联合任务,希望能够深入了解人类语言的进化。我们在这里提出了一个新的任务,捕捉人类环境的关键方面,如自然对象的启示,和人类对话,如参与者之间的完全对称。通过对紧急协议进行彻底的语用和语义分析,我们表明,代理人通过真正的双边,参考通信解决共享的任务。然而,代理人发展出多种独特的语言,这使我们得出结论,完全对称并不是共同语言出现的充分条件。
2019-05-28 cs.CL cs.MA
Over-communicate no more: Situated RL agents learn concise communication protocols
DeepMind(深度思维)
虽然众所周知,通信促进了多智能体环境中的合作,但目前还不清楚如何设计能够学习有效和高效地相互通信的人工智能体。许多关于沟通涌现的研究使用了强化学习(RL),并在一步参照任务中探索了非情境沟通-这些任务不是时间互动的,缺乏自然沟通中通常存在的时间压力。在这些环境中,代理可能成功地学会了沟通,但他们没有学会简洁地交换信息-他们倾向于过度沟通和低效的编码。在这里,我们探讨了多步任务中的通信,代理商必须放弃环境行动进行通信。因此,我们在沟通上强加了机会成本,并模仿了现实世界中的时间压力。我们比较沟通的出现,在这种压力下,学习沟通的成本清晰度的努力,实施作为一个消息的惩罚(固定和逐步增加)。我们发现,虽然所有测试的压力可以disincentively过度沟通,位于沟通最有效,不像努力的成本,不会产生负面影响。在时间上扩展的环境中实现通信的机会成本是朝向实施的一步,并且可能是激励高效的、类似人类的通信的先决条件。
2022-11-02 cs.CL cs.HC cs.MA
G2CP: A Graph-Grounded Communication Protocol for Verifiable and Efficient Multi-Agent Reasoning
University of Lorraine, LORIA(洛林大学,LORIA)
G2CP通过图操作实现多智能体高效、可验证的推理通信,提升任务准确率并消除幻觉传播。
2026-02-13 cs.AI cs.CL cs.MA
Adapting LLM Agents with Universal Feedback in Communication
Georgia Institute of Technology(佐治亚理工学院);Microsoft Azure AI(微软Azure人工智能);Microsoft Research(微软研究院)
针对LLM智能体训练需融合多类反馈的需求,提出LTC方法,通过通用反馈缓冲区、迭代流程及适配不同环境的通信模式实现智能体策略更新,在四类数据集上较有监督指令微调基线提升3.6%-12%。
2024-04-14 cs.AI cs.CL
Emergent Linguistic Phenomena in Multi-Agent Communication Games
NYU(纽约大学);Robotics at Google(谷歌机器人部门);Facebook AI Research(脸书人工智能研究院)
在这项工作中,我们提出了一个计算框架,在该框架中,配备了通信能力的代理同时玩一系列参考游戏,其中代理使用深度强化学习进行训练。我们证明,该框架反映了在自然语言中观察到的语言现象:i)社区之间的接触的结果是一个功能的组间和组内的连接; ii)语言接触要么收敛到多数协议,或在平衡的情况下,导致新的克里奥尔语的复杂性较低;语言连续体出现,相邻的语言比相距较远的语言更容易相互理解。我们的结论是,语言进化的复杂特性不需要依赖于复杂的进化语言能力,但可以出现从简单的社会交流之间的感知使能代理玩通信游戏。
2020-02-28 cs.AI cs.CL cs.SI