Emergent Communication for Co-constructed Emotion Between Embodied Agents via Collective Predictive Coding
The University of Osaka(大阪大学);Kyoto University(京都大学)
本文通过集体预测编码框架,利用Metropolis-Hastings命名游戏模型,研究具身智能体间共构情感的涌现通信过程,发现通信显著提升情感类别的对齐性和一致性,并验证了内脏异质性对共享情感意义的构成作用。
2026-05-10 cs.MA
Semantics and Spatiality of Emergent Communication
Technion – Israel Institute of Technology(以色列理工学院);UC Berkeley(加州大学伯克利分校)
本研究提出语义一致性作为有意义通信的先决条件,证明判别任务可产生语义不一致协议而重构任务不能,并发现重构目标鼓励空间意义性,揭示了基于距离的通信目标的内在优势。
2024-11-15 cs.AI cs.MA
Learning to cooperate: Emergent communication in multi-agent navigation
University of Waterloo(滑铁卢大学);DeepMind
人工智能体中的紧急通信已经被研究来理解语言进化,以及开发学习与人类通信的人工系统。我们表明,在各种网格环境中执行合作导航任务的代理学习一个可解释的通信协议,使他们能够有效地,并在许多情况下,最佳地解决任务。对智能体策略的分析表明,紧急信号在空间上聚集状态空间,信号指的是特定的位置和空间方向,如“左”,“上”,或“左上方的房间”。使用人口的代理,我们表明,紧急协议的基本组成结构,从而表现出自然语言的核心属性。
2020-06-30 cs.CL cs.LG cs.MA
On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
人类之间的明确沟通是协调和学习的关键。社会学习,它使用来自专家的线索,可以大大受益于使用明确的沟通,以调整异构的政策,降低样本的复杂性,并解决部分可观察的任务。紧急通信是一种显式通信,研究创建一种人工语言来直接从数据中编码高任务实用性消息。然而,在大多数情况下,紧急通信发送的消息压缩不足,信息很少或为空,这也可能无法理解第三方侦听器。提出了一种基于信息瓶颈的无监督方法,以捕获参考复杂度和任务特定效用,从而充分探索多智能体强化学习(MARL)中的稀疏社会通信场景。我们表明,我们的模型能够i)开发一个自然语言启发的信息词典,该信息词典独立地由一组新兴概念组成,这些概念以最小的位跨越观察和意图,ii)开发通信,以使异构代理的行动策略与不同的特征模型保持一致,iii)从观察专家的行动策略中学习通信策略,我们称之为“社会阴影”。
2023-02-28 cs.AI cs.LG cs.MA
Biases for Emergent Communication in Multi-agent Reinforcement Learning
DeepMind(深度思维)
我们研究的问题,紧急沟通,语言出现,因为扬声器和听众必须沟通信息,以解决任务。在时间上扩展的强化学习领域中,已经证明在没有集中训练代理的情况下难以学习这种通信,部分原因是难以联合探索问题。我们为积极的信号和积极的倾听引入了归纳偏见,这缓解了这个问题。在一个简单的一步环境中,我们展示了这些偏见如何缓解学习问题。我们还将我们的方法应用到一个更广泛的环境中,表明具有这些归纳偏见的代理可以实现更好的性能,并分析由此产生的通信协议。
2019-12-11 cs.CL cs.LG cs.MA
Incorporating Pragmatic Reasoning Communication into Emergent Language
Tsinghua University(清华大学);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
突现主义和语用学是两个研究领域,它们研究的是在不同的时间尺度和智力水平上的语言交际动态。从多智能体强化学习的角度来看,它们对应于具有强化训练的随机游戏和具有对手意识的阶段游戏。鉴于它们的结合已在语言学中得到探索,我们提出了将短期基于相互推理的语用学与长期语言涌现主义相结合的计算模型。我们探索这智能体通信参考游戏,以及在星际争霸II,评估不同类型的相互推理语用模型的相对优点,经验和理论。我们的研究结果揭示了它们对于获得更自然,准确,健壮,细粒度和简洁的话语的重要性。
2020-12-15 cs.AI cs.CL cs.MA
Implicit Repair with Reinforcement Learning in Emergent Communication
INESC-ID;Instituto Superior Técnico(高等技术学院);PUC-Rio(里约热内卢天主教大学)
本研究通过强化学习在刘易斯博弈中引入噪声,探讨隐式修复机制,发现智能体通过冗余消息应对噪声,并提出了唯一能兼顾有无噪声且保持高泛化性能的稳健通信协议。
2025-02-24 cs.LG cs.MA
Emergent Communication under Competition
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Schwartz Reisman Institute(施瓦茨·赖斯曼研究所);University of Toronto(多伦多大学);Deepmind(深度思维)
现代机器学习中的文献对于使用标准RL学习竞争代理之间的通信只有负面结果。我们引入了一个修改后的发送者-接收者的游戏,研究频谱的部分竞争的情况下,并显示通信确实可以出现在一个有竞争力的设置。我们实证证明了未来研究的三个关键要点。首先,我们表明,通信是成比例的合作,它可以发生部分竞争的情况下,使用标准的学习算法。其次,我们强调沟通和操纵之间的区别,并将以前的沟通指标扩展到竞争案例。第三,我们研究了谈判游戏,其中以前的工作未能学习独立代理之间的通信(曹等人,2018年)。我们表明,在这种情况下,双方代理人必须受益于沟通,它的出现,并且,稍微修改的游戏,我们展示了成功的竞争代理人之间的沟通。我们希望这项工作能推翻误解,并激发更多的研究竞争性新兴通信。
2021-01-25 cs.AI cs.LG cs.MA
Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents
Simon Fraser University(西蒙菲莎大学);IIT Kanpur(坎pur印度理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
近年来,具体化的人工智能智能体之间的通信受到越来越多的关注。尽管它的使用,它仍然是不清楚的,是否学习沟通是可解释的,并在感知为基础。为了研究通信的紧急形式的接地,我们首先介绍了协作多对象导航任务CoMON。在此任务中,Oracle代理以地图的形式提供详细的环境信息。它与导航代理进行通信,导航代理视觉感知环境,并负责找到一系列目标。为了成功完成任务,有效的沟通至关重要。因此,CoMON作为一个基础,研究不同的通信机制之间的异构代理,即具有不同的能力和角色的代理。我们研究了两种常见的沟通机制,并通过自我中心和空间的镜头分析他们的沟通模式。我们发现,紧急通信可以接地代理的意见和三维环境的空间结构。视频摘要:https://youtu.be/kLv2rxO9t0g
2021-10-12 cs.AI cs.CV cs.LG
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University(斯坦福大学);MIT Lincoln Lab(麻省理工学院林肯实验室)
在多智能体强化学习(MARL)中,通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信,其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议,可以提高设计人员和其他智能体的可解释性,本文提出了一种生成类似人类语言的离散消息的方法,并通过基于自我注意的广播和收听机制实现通信。我们表明,离散消息通信的性能可比连续消息通信,但与一个小得多的词汇大小。此外,我们提出了一种方法,允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Emergent Communication Protocol Learning for Task Offloading in Industrial Internet of Things
Centre for Wireless Communications, University of Oulu(奥卢大学无线通信中心);Nokia Bell Labs(诺基亚贝尔实验室)
提出基于MARL与涌现通信协议学习的工业物联网任务卸载方法,使基站与移动设备协作完成截止期内计算,并提升信道接入与任务计算性能。
2024-01-23 cs.AI cs.IT cs.MA
Inductive Bias for Emergent Communication in a Continuous Setting
University of Stavanger(斯塔万格大学);University of Bergen(卑尔根大学)
本文面向多智能体强化学习中的涌现通信,提出用于连续消息的归纳偏置,并验证其单独或结合强化学习时能改善 Negotiation 与 Sequence Guess 中的通信协议。
2023-06-06 cs.AI cs.LG cs.MA
Networked Multi-Agent Reinforcement Learning with Emergent Communication
Indian Institute of Science(印度科学学院)
多智能体强化学习(MARL)方法为在其他学习代理存在的情况下操作的代理找到最优策略。实现这一目标的关键是代理人如何协调。协调的一种方法是学会相互沟通。智能体能在学习执行共同任务的同时开发一种语言吗?在本文中,我们制定和研究的MARL问题,合作代理商通过一个固定的底层网络相互连接。这些代理可以通过交换离散的符号沿着这个网络的边缘进行通信。然而,这些符号的语义并不是预先定义的,在训练过程中,代理需要开发一种语言来帮助他们实现目标。我们提出了一种方法来训练这些代理使用紧急通信。我们证明了所提出的框架的适用性,通过将其应用到管理交通控制器的问题,在那里我们实现了最先进的性能相比,一些强大的基线。更重要的是,我们进行了详细的分析,紧急通信显示,例如,开发的语言是接地,并证明其与底层网络拓扑结构的关系。据我们所知,这是唯一的工作,进行了深入的分析,紧急通信在网络MARL设置,同时适用于广泛的一类问题。
2020-04-09 cs.AI cs.MA
Quasi-Equivalence Discovery for Zero-Shot Emergent Communication
Facebook AI Research(脸书人工智能研究院);MILA(蒙特利尔学习算法研究所)
有效的沟通是一个重要的技能,使信息交换在多智能体设置和紧急通信现在是一个充满活力的研究领域,与常见的设置涉及离散的廉价通话通道。由于根据定义,这些设置涉及信息的任意编码,因此通常它们不允许学习的协议推广到训练伙伴之外。相比之下,在这项工作中,我们提出了一个新的问题设置和准等价发现(QED)算法,允许zero-shot协调(ZSC),即,发现可以推广到独立训练的代理的协议。现实世界的问题设置通常包含昂贵的沟通渠道,例如,机器人必须在物理上移动他们的四肢,并且意图的分布不均匀。我们发现,这两个因素导致唯一的最佳ZSC政策在参考游戏,代理使用的能量成本的消息来传达意图。最近引入的学习最佳ZSC政策,但需要事先访问的对称性的问题。相反,QED可以迭代地发现这种设置中的对称性,并收敛到最优的ZSC策略。
2021-06-22 cs.AI cs.MA
Learning Translations: Emergent Communication Pretraining for Cooperative Language Acquisition
King’s College London(伦敦国王学院)
本文提出合作语言习得问题CLAP,允许新加入智能体利用目标群体交互数据,并比较模仿学习与涌现通信预训练加翻译学习两种方法,以解决零样本协调中缺乏先验数据导致的通信困难。
2024-02-26 cs.CL cs.LG cs.MA
Learning to Draw: Emergent Communication through Sketching
The University of Southampton(南安普顿大学)
有证据表明,视觉交流先于书面语言,并为书面语言提供了基础,这可以追溯到史前时期,例如洞穴和岩画描绘了我们遥远祖先的痕迹。新兴的通信研究试图探索如何代理可以学会沟通,以协作解决任务。现有的研究主要集中在语言上,通过学习的通信信道在代理之间传输离散令牌序列。在这项工作中,我们探索了一个可视化的通信渠道,允许绘制简单的笔画代理之间。我们的代理由深度神经网络参数化,绘图过程是可区分的,允许端到端的训练。在一个参照的通信游戏的框架中,我们证明,代理不仅可以成功地学会沟通,通过绘图,但适当的归纳偏见,可以这样做的方式,人类可以解释。我们希望鼓励未来的研究考虑视觉通信作为一个更灵活和直接解释的替代培训合作代理。
2021-11-09 cs.AI cs.CV cs.LG
Ease-of-Teaching and Language Structure from Emergent Communication
University of Alberta(阿尔伯塔大学)
人工智能体已经被证明可以在需要完成合作任务时学习沟通。某种程度的语言结构(例如,组合性)已经在所学习的通信协议中被发现。这种观察到的结构通常是训练期间特定环境压力的结果。通过定期引入新的代理人,以取代旧的,顺序和人口,我们探索这样一个新的压力-教学的便利性-并显示其对所产生的语言结构的影响。
2019-10-28 cs.AI cs.CL cs.LG
Speaking Your Language: Spatial Relationships in Interpretable Emergent Communication
University of Southampton(索姆塞特大学);The Alan Turing Institute(艾伦·图灵研究所);University of Brescia(布雷西亚大学)
本文研究了智能体如何通过空间关系交流,展示了其能发展出表达观察部分关系的语言,实现90%以上的准确率,并证明该语言可被人类解读。
2024-10-28 cs.AI cs.CL cs.MA
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley(慕尼黑量子谷)
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现,实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
Emergent Communication in Multi-Agent Reinforcement Learning for Future Wireless Networks
New York University(纽约大学);NYU Tandon School of Engineering(纽约大学坦登工程学院);Technology Innovation Institute(技术创新研究院)
本文探讨了带有涌现通信的多智能体强化学习(EC-MARL)在未来6G无线网络中的应用,阐述其如何通过构建涌现通信协议实现协作,解决高维连续控制等复杂任务,并提供了算法设计准则、应用案例及研究机遇。
2023-09-12 cs.LG cs.MA eess.SP
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications(电气通信大学);Ritsumeikan University(立命馆大学)
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型,通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换,并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
Decentralized Collective World Model for Emergent Communication and Coordination
The University of Osaka(大阪大学);Kyoto University(京都大学);Ritsumeikan University(立命馆大学);The University of Tokyo(东京大学)
本文提出一种去中心化的多智能体世界模型,通过时间扩展的集体预测编码实现通信与协调的同步发展,通过对比学习促进信息对齐,展示了在双智能体轨迹绘制任务中优于非通信模型的协调能力。
2025-10-07 cs.AI cs.MA
Emergent Discrete Communication in Semantic Spaces
Massachusetts Institute of Technology(麻省理工学院);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
在强化学习环境中训练的神经代理可以学习通过离散的令牌在它们之间进行通信,作为一个团队完成代理无法单独完成的任务。然而,使用独热向量作为离散通信令牌的当前标准阻止代理获得通信的更期望的方面,例如zero-shot理解。受来自自然语言处理的词嵌入技术的启发,我们提出了神经代理架构,使它们能够通过来自学习的连续空间的离散令牌进行通信。我们在一个决策理论框架中表明,我们的技术在广泛的场景中优化了通信,而独热令牌仅在限制性假设下是最佳的。在自我游戏实验中,我们验证了我们经过训练的代理学习以语义有意义的方式聚类令牌,允许它们在其他技术失败的嘈杂环境中进行通信。最后,我们证明了使用我们的方法的代理可以有效地响应新的人类通信和人类可以理解未标记的紧急智能体通信,优于使用一热通信。
2021-11-04 cs.CL cs.LG cs.MA
Emergent Communication in a Multi-Modal, Multi-Step Referential Game
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
受参考游戏中的紧急通信的启发,我们提出了一种新的多模式,多步骤的参考游戏,其中发送者和接收者可以访问对象的不同模态,并且他们的信息交换是双向的,任意持续时间。多模态多步骤设置允许代理开发更接近自然语言的内部通信,因为它们共享单个消息集,并且会话的长度可以根据任务的难度而变化。我们使用由哺乳动物的图像和文本描述组成的数据集来经验性地检查这些属性,其中代理的任务是识别正确的对象。我们的实验表明,一个强大的和有效的通信协议出现,逐步信息交换通知更好的预测和更高的通信带宽提高泛化。
2018-04-16 cs.CL cs.CV cs.IT
Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems
University of Southampton(索姆塞特大学)
研究通过异质多模态交流游戏探讨智能体在感知异质性下的交流机制,发现单模态系统更高效,多模态系统需更多信息交换,位扰动实验揭示了意义的分布编码特性。
2026-01-29 cs.AI cs.CV cs.LG
Vehicle Communication Strategies for Simulated Highway Driving
NYU(纽约大学);FAIR(FAIR(Facebook人工智能研究院))
在机器学习中,对紧急通信的兴趣最近激增。这种兴趣的焦点主要是研究学习协议的属性,或者利用紧急通信来更好地解决已经有可行解决方案的问题。在这里,我们考虑自动驾驶汽车相互协调,并专注于通信如何影响代理的集体行为。我们的主要结果是,沟通有助于(大多数)不利条件。
2018-08-14 cs.AI cs.MA
Interpretable Learned Emergent Communication for Human-Agent Teams
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);University of Pittsburgh(匹兹堡大学)
学习可解释的通信对于多智能体和人类智能体团队(HAT)至关重要。在部分可观察环境的多智能体强化学习中,智能体可以通过学习的通信向其他智能体传递信息,从而允许团队完成其任务。受人类语言的启发,最近的作品研究离散(仅使用有限的令牌集)和稀疏(仅在某些时间步长进行通信)通信。然而,在人类代理团队实验中,这种通信的实用性尚未得到研究。在这项工作中,我们分析了稀疏离散的方法产生紧急通信,使高代理和人类代理团队的性能的有效性。我们开发了仅代理的团队,这些团队通过我们的执行者计划进行稀疏通信,该计划充分限制了任何预算的通信。我们的结果显示,在基准测试环境和任务中,性能没有损失或损失极小。在基准测试环境中测试的人类代理团队中,代理已使用执行者建模,我们发现基于原型的方法产生有意义的离散令牌,使人类合作伙伴能够更快,更好地学习智能体通信比一个热基线。额外的HAT实验表明,适当的稀疏水平降低了人类与代理团队沟通时的认知负荷,并导致卓越的团队表现。
2023-01-05 cs.LG cs.MA cs.RO
It's About Time: Temporal References in Emergent Communication
University of Southampton(索姆塞特大学);The Alan Turing Institute(艾伦·图灵研究所);University of Brescia(布雷西亚大学)
研究涌现通信中时间指代缺失问题,发现仅改变损失函数不足,需修改架构(分批方法)才能使时间指代涌现,95%以上代理成功,为提升通信效率奠定基础。
2026-06-16 cs.AI cs.CL cs.LG
Emergent Communication through Negotiation
University of Cambridge(剑桥大学);DeepMind(深度思维)
多智能体强化学习提供了一种研究如何在需要解决特定问题的智能体社区中出现通信的方法。在本文中,我们研究了在谈判环境中,代理交互的半合作模型的通信的出现。我们介绍两种通信协议--一种是基于游戏的语义,另一种是不基于\textit{a priori}的,是一种廉价的谈话形式。我们发现,自利代理人可以使用预先接地的沟通渠道进行公平谈判,但无法有效地使用非接地渠道。然而,亲社会的代理人确实学会了使用廉价的谈话来找到最佳的谈判策略,这表明合作是语言出现的必要条件。我们还研究了通信行为的设置,其中一个代理人与代理人在一个社区中具有不同程度的亲社会性,并显示代理的可识别性可以帮助谈判。
2018-04-11 cs.AI cs.CL cs.LG
Winning an Election: On Emergent Strategic Communication in Multi-Agent Networks
Indian Institute of Science(印度科学学院)
人类使用语言来集体执行抽象策略,除了使用它作为识别物理实体的参考工具。最近,在人工代理中复制语言出现的过程已经进行了多次尝试。虽然现有的方法研究紧急语言作为参考工具,在本文中,我们研究它们在发现和实施策略中的作用。我们制定的问题使用投票游戏,其中两个候选人代理在选举中竞争的目标是说服人口成员(其他代理),通过底层网络相互连接,投票给他们。为了实现这一目标,代理商只允许以离散符号序列的形式交换信息,以传播他们的宣传。我们使用神经网络与Gumbel-Softmax松弛的采样分类随机变量参数化的政策遵循的所有代理。使用我们提出的框架,我们提供了以下问题的具体答案:(一)代理人学会沟通,在一个有意义的方式和紧急通信发挥作用,决定赢家?(ii)在各种奖励结构下,系统是否如预期的那样发展?(iii)网络中的社区结构对新出现的语言有何影响?据我们所知,我们是第一个探索通信的出现,发现和实施战略的设置,代理人通过网络进行通信。
2020-05-01 cs.AI cs.CL cs.MA
Structural Inductive Biases in Emergent Communication
University of Cambridge(剑桥大学);MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学);Polytechnique Montréal(蒙特利尔综合理工学院);ServiceNow(ServiceNow公司)
为了交流,人类将复杂的想法及其属性表示成一个单词或句子。我们通过开发图形参考游戏来研究人工智能体中表示学习的影响。我们的经验表明,代理参数化的图神经网络开发一个更组成的语言相比,袋的话和序列模型,这使他们能够系统地推广到新的组合熟悉的功能。
2021-07-27 cs.AI cs.CL cs.LG
Generalization Bounds of Emergent Communications for Agentic AI Networking
Yong Xiao 1 2 3 , Jingxuan Chai 4 , Guangming Shi 4 2 , Ping Zhang 5 1 School of Elect. Inform. \& Commun., Huazhong Univ. of Science \& Technology, China 2 Peng Cheng Laboratory, Shenzhen, China 3 Pazhou Laboratory (Huangpu), Guangzhou, China 4 School of Artificial Intelligence, Xidian University, Xi'an, China 5 State Key Lab. of Networking \& Switching Tech., Beijing Univ. of Posts \& Telecom., Beijing, China;1 School of Elect. Inform. \& Commun., Huazhong Univ. of Science \& Technology, China;2 Peng Cheng Laboratory, Shenzhen, China;3 Pazhou Laboratory (Huangpu), Guangzhou, China;4 School of Artificial Intelligence, Xidian University, Xi'an, China;5 State Key Lab. of Networking \& Switching Tech., Beijing Univ. of Posts \& Telecom., Beijing, China
本文提出基于信息瓶颈理论的新兴通信框架,通过统一决策函数优化与通信信号学习,提升异构代理在非见环境状态下的泛化性能。
2026-05-09 cs.AI cs.IT cs.MA
Anti-efficient encoding in emergent communication
Facebook AI Research(Facebook人工智能研究院);ENS - EHESS - PSL Research University - CNRS - INRIA(巴黎高等师范学院-社会科学高等研究院-巴黎文理研究大学-法国国家科学研究中心-法国国家信息与自动化研究所);ICREA(加泰罗尼亚研究与高等教育学院)
尽管人们对使用神经网络进行紧急语言模拟重新产生了兴趣,但人们对诱导代码的基本属性以及它们与人类语言的比较知之甚少。后者的一个基本特征,称为齐普夫缩写定律(ZLA),是更频繁的单词有效地与更短的字符串相关联。我们研究是否出现相同的模式时,两个神经网络,一个"扬声器"和"听众",被训练玩信号游戏。令人惊讶的是,我们发现网络开发了一个\emph{anti-efficient}编码方案,其中最频繁的输入与最长的消息相关联,并且消息通常偏向于最大长度阈值。这种反效率的代码似乎更容易为听众区分,而且,与人类交流不同,说话者不会对简洁施加对比最小努力的压力。实际上,当成本函数包括对较长消息的惩罚时,所得到的消息分发开始遵守ZLA。我们的分析强调了在高度受控的环境中研究紧急交流的基本特征的重要性,以确保后者不会与人类语言相去甚远。此外,我们提出了一个具体的例子,不同的功能压力如何导致成功的通信代码,缺乏人类语言的基本属性,从而突出了这种压力在后者中发挥的作用。
2019-10-15 cs.AI cs.CL cs.LG
Emergent Communication: Generalization and Overfitting in Lewis Games
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure PSL(巴黎高等师范学院PSL);DeepMind(深度思维);Google Research(谷歌研究院);EHESS(社会科学高等学院);ENS-PSL(巴黎高等师范学院PSL);CNRS(法国国家科学研究中心);Meta AI Research(Meta人工智能研究院)
刘易斯信号游戏是一类模拟语言出现的简单交流游戏。在这些游戏中,两个代理必须同意一个通信协议,以解决合作任务。以前的工作表明,经过强化学习训练的智能体往往会开发出从语言学角度来看显示出不受欢迎的特性(缺乏泛化,缺乏组合性等)的语言。在本文中,我们的目的是提供更好地理解这种现象,通过分析研究刘易斯游戏的学习问题。作为一个核心的贡献,我们证明了在刘易斯游戏的标准目标可以分解为两个组成部分:一个共同适应损失和信息损失。这种分解使我们能够表面过拟合的两个潜在来源,我们可能会破坏结构化通信协议的出现。特别是,当我们控制过拟合的共同适应损失时,我们在紧急语言中恢复了所需的属性:它们更具组合性,并且更好地泛化。
2022-10-15 cs.CL cs.IT cs.MA
Multi-Agent Curricula and Emergent Implicit Signaling
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
紧急通信已经朝着从头开始学习通信的方向迈进,但主要集中在类似人类语言的协议上。在自然界中,多智能体合作产生了广泛的通信,不同的结构和复杂性。在这项工作中,我们认识到存在于自然界中的通信的全部频谱,并建议研究低层次的通信。具体来说,我们研究紧急隐式信号的背景下,分散的多智能体学习困难,稀疏的奖励环境。然而,在这种环境中学习协调是具有挑战性的。我们提出了一个基于速度驱动的策略,结合:(一)基于速度的环境塑造,量身定制的多智能体团队的技能水平;和(二)行为课程,帮助代理学习成功的单智能体行为的先驱学习多智能体行为。追踪-规避实验表明,我们的方法可以学习有效的协调,显著优于复杂的分析和学习策略。我们的方法完成的追求,逃避任务,即使追求者以逃避者的速度的一半移动,而最高性能的基线失败的逃避者的速度的80%。此外,我们通过基于位置的社会影响来研究隐性信号在协调中的使用。我们发现,用我们的策略训练的追踪者交换的信息(以比特为单位)是基线方法的两倍多,这表明我们的方法已经学会了,并且在很大程度上依赖于隐式信号的交换。
2022-02-06 cs.AI cs.LG cs.MA
Towards More Human-like AI Communication: A Review of Emergent Communication Research
Dept. of Computer, Control and Management Engineering(计算机、控制与管理工程系);Sapienza University of Rome(罗马第一大学)
本文综述了涌现通信研究,指出训练大型语言模型存在学习错位问题,提出通过开发能超越简单任务并有效交流的人工智能体来实现更类人的AI通信,并归纳文献特性、子类别及开放挑战。
2023-08-01 cs.AI cs.CL cs.HC
Trust-Based Social Learning for Communication (TSLEC) Protocol Evolution in Multi-Agent Reinforcement Learning
AI-WEINBERG, AI Experts, Tel Aviv, Israel(AI-WEINBERG,AI专家,特拉维夫,以色列)
TSLEC通过基于信任的社会学习方法,在多智能体强化学习中加速新兴通信,减少收敛次数并提高协议的稳健性。
2025-11-24 cs.AI cs.MA
Towards Graph Representation Learning in Emergent Communication
University of Cambridge(剑桥大学);MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学)
神经科学的最新发现表明,人类大脑以几何结构(例如,通过概念空间)表示信息。为了交流,我们将实体及其属性的复杂表示扁平化为单个单词或句子。在本文中,我们使用图卷积网络,以支持多智能体系统中的语言和合作的演变。基于图像的参考游戏的动机,我们提出了一个图形参考游戏不同程度的复杂性,我们提供了强大的基线模型,表现出理想的属性的语言出现和合作。我们表明,出现的通信协议是强大的,代理发现在游戏中的变化的真正因素,他们学会了概括训练过程中遇到的样本之外。
2020-02-04 cs.AI cs.CL cs.LG
On the interaction between supervision and self-play in emergent communication
Facebook AI(Facebook人工智能);MILA(蒙特利尔学习算法研究所);Facebook AI Research(Facebook人工智能研究院)
一种很有前途的教人工智能体使用自然语言的方法涉及使用人在回路训练。然而,最近的研究表明,当前的机器学习方法数据效率太低,无法从头开始以这种方式进行训练。在本文中,我们研究了两类学习信号之间的关系,其最终目标是提高样本效率:通过监督学习模仿人类语言数据,并通过自我游戏(如在紧急通信中所做的)在模拟的多智能体环境中最大化奖励,并为使用这两种信号的算法引入了监督自我游戏(S2P)。我们发现,首先通过对人类数据的监督学习进行训练,然后进行自我发挥,效果优于相反的情况,这表明从头开始出现语言是没有好处的。然后,我们实证调查各种S2P的时间表,开始在两个环境中的监督学习:刘易斯信号游戏与符号输入,和基于图像的参考游戏与自然语言的描述。最后,我们引入了基于人口的方法S2P,这进一步提高了单代理方法的性能。
2020-06-22 cs.AI cs.CL cs.LG
AI Mother Tongue: Self-Emergent Communication in MARL via Endogenous Symbol Systems
PARRAWA AI
本研究提出基于VQ-VAE的AIM框架,证明内生符号系统能使多智能体无需外部归纳偏置即可自发涌现有效通信,并展现出更强的通用性与效率,为融合符号主义与连接主义提供了新途径。
2025-07-07 cs.AI cs.GT cs.LG
Interpretable agent communication from scratch (with a generic visual processor emerging on the side)
Facebook AI Research(Facebook AI研究院);Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究所)
随着深度网络开始被部署为自主智能体,它们如何相互通信的问题变得非常重要。在这里,我们从头开始训练两个深度网络,通过无监督的紧急通信来执行现实的参考识别。我们表明,在很大程度上可解释的紧急协议允许网络成功地沟通,甚至对象类型,他们没有看到在训练时。此外,作为我们的训练制度的副产品诱导的视觉表示,显示出相当的质量,当重新使用的通用视觉功能,最近的自监督学习模型。我们的研究结果提供了具体的证据,证明了(可解释的)新兴深网通信在比以前考虑的更现实的场景中的可行性,并在该领域与自我监督视觉学习之间建立了有趣的联系。
2021-10-15 cs.AI cs.CL cs.LG
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
Mastering emergent language: learning to guide in simulated navigation
University of Amsterdam(阿姆斯特丹大学);Facebook A.I. Research(脸书人工智能研究院);Universitat Pompeu Fabra(庞培法布拉大学)
为了有效地与人类合作,虚拟代理需要能够理解和执行语言指令。实现这一点的典型设置是使用脚本教师,使用语言指令指导虚拟代理。然而,这种设置在可扩展性方面有明显的限制,更重要的是,它不是交互式的。在这里,我们介绍了一个自主智能体,使用离散通信交互式地引导其他代理导航和模拟环境中的行为。开发的通信协议是可训练的,紧急的,不需要额外的监督。紧急语言加速了新代理的学习,它可以概括越来越困难的任务,并且与大多数其他紧急语言相反,它是高度可解释的。我们展示了发出的消息如何与特定的动作和观察相关,以及随着训练的进行,新代理如何变得不那么依赖于这种指导。通过利用我们分析中确定的相关性,我们成功地用他们自己的语言解决了代理问题。
2019-08-14 cs.AI cs.CL cs.MA
Emergent Language as an Approach to Conscious AI
University of Osaka(大阪大学)
提出一种生成式方法,通过多智能体强化学习中的涌现语言,在最小先验下研究意识相关结构,并证明智能体可发展出自我指涉通信(如回声-不匹配检测电路)。
2026-06-04 cs.AI cs.CL cs.MA
Communication-Efficient Personalized Distributed Learning with Data and Node Heterogeneity
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Center for Wireless Communications, University of Oulu(奥卢大学无线通信中心);State Key Laboratory of Industrial Control Technology(工业控制技术国家重点实验室);Zhejiang Provincial Key Laboratory of Multimodal Communication Networks and Intelligent Information Processing(浙江省多模态通信网络与智能信息处理重点实验室);Fujian Key Laboratory of Communication Network and Information Processing, Xiamen University of Technology(福建省通信网络与信息处理重点实验室)
针对去中心化学习中的数据与节点异构问题,提出分布式强彩票假设及基于个性化二值掩码的通信高效算法,实现结构化稀疏与个性化微调,并理论验证与数值仿真其有效性。
2025-04-24 cs.DC cs.LG cs.MA
Heterogeneity-Aware Belief Synchronization for Semantic Communication in AI-Native 6G Networks
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST)(国家科学技术大学 电气工程与计算机科学学院);Kyung Hee University(庆熙大学);Munster Technological University(芒斯特理工大学)
针对AI原生6G网络中异构AI模型导致的信念对齐难题,提出基于MEC服务器潜在翻译模型的异质性感知信念同步框架,可降低同步成本、保护隐私并维持低信念对齐误差。
2026-08-14 cs.AI cs.MA eess.SP
A Practical Guide to Studying Emergent Communication through Grounded Language Games
Vrije Universiteit Brussel(布鲁塞尔自由大学)
如何在一群需要解决特定任务的智能体中形成一个高效的通信系统,这一问题越来越受到人工智能、语言学和统计物理等领域研究者的关注。研究这一问题的一种常用方法是进行多智能体实验,在实验中,一群智能体参与一系列脚本化的、面向任务的交际交互,称为“语言游戏”。虽然每个单独的语言游戏通常由群体中的两个代理人玩,但是大量的系列游戏允许群体在共享的通信系统上会聚。建立一个实验,其中一个丰富的系统,用于交流有关现实世界的出现是一个主要的事业,因为它需要各种各样的软件组件,用于运行多智能体实验,用于与传感器和执行器交互,用于概念化和解释语义结构,以及用于在这些语义结构和语言表达之间映射。该文致力于研究两个问题.一方面,它引入了一个扩展了巴别塔软件系统的高级机器人接口,首次提出了一个工具包,提供了灵活的模块,用于处理运行高级接地语言游戏实验所涉及的每个子任务。另一方面,它提供了一个实用的指南,使用工具包来实施这些实验,以一个扎根的颜色命名游戏实验作为一个教学实例。
2020-04-20 cs.AI cs.CL cs.LG