Partner Selection for the Emergence of Cooperation in Multi-Agent Systems Using Reinforcement Learning
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
社会困境已经被广泛研究,以解释人类如何能够在社会中合作。相当大的努力已经投入到设计人工代理的社会困境,包括明确的代理动机,选择有利于协调或合作的反应。这种一般方法的流行点对实现一个代理的内部设计和外部环境的动态,促进合作行为的理解的重要性。在本文中,我们研究如何合作伙伴的选择,可以促进合作行为之间的代理谁是训练有素的最大化一个纯粹自私的目标函数。我们的实验表明,受过这种动态训练的代理人学习一种策略,在促进与其他代理人合作的同时,对叛逃者进行报复,从而形成一个亲社会的社会。
2019-11-28 cs.AI cs.MA
Global network cooperation catalysed by a small prosocial migrant clique
为了理解竞争个体的模拟社交网络中合作的出现,已经进行了大量的研究。这种研究通常将人口作为一个单一的连接网络。在这里,我们采用了一个更现实的前提,即人口由多个网络组成,其成员从一个迁移到另一个。具体来说,我们隔离的情况下,少数成员从合作网络迁移到一个由叛逃者填充的网络的关键元素。利用公共产品博弈模型组明智的合作,我们发现,在某些情况下,这些移民的一个微不足道的数目的协调一致的行动将催化整个人口广泛的行为变化。这样的结果支持了一个更广泛的论点:某种形式的破坏的普遍存在有助于社交网络中合作的出现,因此,更简单的模型可能会编码一种排除合作出现的决定论。
2016-05-09 cs.MA cs.SI physics.soc-ph
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University(华东师范大学);SRIAS(上海人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));AIRS(深圳市人工智能与机器人研究院)
在解决一个复杂的任务时,人类会自发地组成团队,分别完成整个任务的不同部分。同时,队友之间的合作也会提高效率。然而,对于目前的合作MARL方法,合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率,提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略,该策略是通过独立的多智能体强化学习建立的。在团队形成后,引入了基于共识约束的层次意图的层次共识模块。同时,利用层次一致性模块和自监督内在奖励增强决策模块,提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起,促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明,{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
The coupling effect between the environment and strategies drives the emergence of group cooperation
本文提出基于强化学习的多智能体模型,从自下而上视角研究有限种群中环境与策略的耦合动力学,揭示即使在有利于背叛的环境中,环境正反馈也能促成群体合作涌现与维持。
2023-08-05 cs.MA physics.bio-ph physics.soc-ph
From Cooperation to Hierarchy: A Study of Dynamics of Hierarchy Emergence in a Multi-Agent System
School of Computer Science, University of Birmingham(伯明翰大学计算机学院)
本研究通过多智能体模型探讨了层级组织在动态系统中的涌现与持续,发现突变幅度对层级稳定性的影响大于初始异质性,揭示了简单交互规则如何促进结构不平等的形成。
2026-02-24 cs.MA
Multi-Agent Cooperation and the Emergence of (Natural) Language
Google DeepMind(谷歌DeepMind);Facebook AI Research(Facebook人工智能研究院);University of Trento(特伦托大学)
当前训练自然语言系统的主流方法是将它们暴露于大量文本。如果我们有兴趣开发交互式机器,如会话代理,这种被动学习是有问题的。我们提出了一个语言学习的框架,依赖于多智能体通信。我们在参照游戏的背景下研究这种学习。在这些游戏中,发送者和接收者看到一对图像。发送者被告知其中一个是目标,并被允许从一个固定的,任意的词汇表向接收者发送消息。接收者必须依靠这个信息来识别目标。因此,智能体出于交流的需要而交互地开发自己的语言。我们表明,两个网络具有简单的配置能够学习协调的参考游戏。我们进一步探讨了如何改变游戏环境,使游戏中诱导的“词义”更好地反映图像的直观语义属性。此外,我们提出了一个简单的策略接地代理的代码到自然语言。这两者都是开发能够与人类进行有效沟通的机器的必要步骤。
2017-03-05 cs.CL cs.CV cs.GT
Emergence of Reputation-Based Cooperation in LLM Agents
RIKEN(理化学研究所);Tohoku University(东北大学)
研究发现LLM智能体的合作鲁棒性由对手禀赋敏感性(图像评分机制)和叛逃者排除严格程度决定,其无法发展更鲁棒的Leading-Eight规范,凸显文化进化的LLM合作的漏洞并提出自下而上规范构建的需求。
2026-08-06 cs.MA cs.NE
Cooperation in public goods game on square lattices with agents changing interaction groups
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用物理研究所)
研究探讨了在无外部机制情况下,正方形晶格上代理群体中合作的形成机制,通过交互网络多样性促进合作,并发现代理切换交互邻域会抑制合作形成。
2026-05-11 cs.MA nlin.AO physics.soc-ph
Enabling Imitation-Based Cooperation in Dynamic Social Networks
几十年来,自利代理之间合作的出现一直是多代理系统社区的一个关键问题。随着以网络为媒介的互动的重要性的增加,研究人员已经转移了注意力的影响,社交网络及其动态在促进或阻碍合作,得出各种上下文相关的结论。例如,一些理论和实验研究表明,在网络进化的时间尺度比率中存在阈值效应,之后将出现合作,而其他研究则对此提出异议,建议存在金发女孩区。在本文中,我们提供了一个进化博弈论框架,从自下而上的角度来理解共同进化过程--特别是合作者核心和缺陷者外围的出现--澄清了合作伙伴选择和模仿策略对促进合作行为的影响,而无需假设潜在的沟通或声誉机制。在这样做的过程中,我们提供了一个统一的框架来研究模仿为基础的合作,在动态社交网络,并表明,文献中的争议实际上可以共存,只要结果源于不同的同样有效的假设。
2022-02-08 cs.GT cs.MA math.DS
The Dynamics of Policy Gradient in Social Dilemmas with Partner Selection
Warwick University(华威大学)
本文研究了在有伴侣选择的多智能体环境中政策梯度动力学,揭示了伴侣选择如何改变对手分布及奖励景观,并证明在简单规则下促进合作的必要条件是种群方差。
2026-06-18 cs.MA
Emergent collective intelligence from massive-agent cooperation and competition
Tsinghua University, Shenzhen International Graduate School(清华大学深圳国际研究生院);University of California, San Diego(加州大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
受地球上不同种群之间通过合作和竞争进化的生物体的启发,我们通过代理强化学习来研究人工集体智能的出现。为此,我们提出了一个新的智能体强化学习环境,勒克斯,在两个团队中的动态和大规模的代理争夺有限的资源和击退黑暗。在Lux中,我们通过课程学习阶段的标准强化学习算法构建代理,并通过像素到像素的策略网络利用集中控制。当智能体通过自我游戏共同进化时,我们观察到智能的几个阶段,从获得原子技能到发展群体策略。由于这些学习的群体策略产生于没有明确协调机制的个人决策,我们认为人工集体智能产生于个体-主体的合作和竞争。我们进一步分析了各种学习策略的出现,通过指标和消融研究,旨在提供见解的强化学习实现在智能体环境。
2023-01-05 cs.AI cs.MA
RLupus: Cooperation through emergent communication in The Werewolf social deduction game
本文的重点是通信的出现,以支持合作的环境建模为社会演绎游戏(SDG),这是游戏中的球员自由沟通,推断对方的隐藏意图。我们首先通过给出SDG的一般形式化和基于强化学习的可能的解决方案框架来陈述问题。接下来,我们将关注一个特定的SDG,即狼人,并研究各种形式的沟通是否以及如何影响游戏的结果。实验结果表明,引入通信信号大大增加了一类玩家的获胜机会。我们还研究了信号的长度和范围对整体性能的影响,表现出非线性关系。
2021-11-08 cs.MA
Evolution of Cooperation in LLM-Agent Societies: A Preliminary Study Using Different Punishment Strategies
University of Moratuwa(莫拉图瓦大学);University of Otago(奥塔哥大学);Massey University(梅西大学)
本研究使用LLM智能体模拟Diner's Dilemma,验证Boyd和Richerson模型中的合作演化,发现惩罚机制促进规范出现,且模拟能复现并扩展传统数学模型的预测。
2025-10-23 cs.MA
Cooperation Under Network-Constrained Communication
Technion(以色列理工学院)
本文在网络约束通信的分布式博弈中,基于Monderer-Tennenholtz框架推导出依赖网络直径与位置数量的合作均衡充分条件,并分析不同延迟及无标度网络情形,揭示通信延迟与网络设计如何共同决定分布式合作的出现。
2025-11-07 cs.GT cs.MA cs.SI
Signal Use and Emergent Cooperation
本文使用NEC-DAC系统研究自主智能体如何通过学习通信信号形成共享文化,并分析了不同社会结构对合作文化与群体绩效的影响,揭示了信号在文化涌现及跨代传递中的作用。
2025-06-16 cs.AI cs.LG cs.MA
The Optional Prisoner's Dilemma in a Spatial Environment: Coevolving Game Strategy and Link Weights
在本文中,可选的囚徒困境游戏在空间环境中,与共同进化规则的战略和网络之间的联系,代理人,进行了研究。使用蒙特卡洛模拟方法,进行了一些实验,以确定有利的配置环境中出现的合作,在不利的情况下。结果表明,弃权者在保护合作者免受叛逃者剥削方面起着关键作用。循环竞争和充分主导的合作的情况下也观察到。这项工作为深入了解现实世界系统中合作行为的出现提供了见解。
2016-09-19 cs.MA cs.NE math.DS
Deconstructing Cooperation and Ostracism via Multi-Agent Reinforcement Learning
Tohoku University(东北大学);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
本研究通过多智能体强化学习仿真迭代囚徒困境博弈,厘清合作与网络重连的因果关系,发现排斥行为从合作学习中产生并反向强化合作,为网络重连下合作涌现的机制提供了新见解。
2023-10-06 cs.AI cs.MA cs.SI
Influence of Team Interactions on Multi-Robot Cooperation: A Relational Network Perspective
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对现有算法忽视团队结构的问题,提出基于关系网络的多机器人协作算法,通过设定智能体间关系赋予优先级以指导协作策略,实验证明其能有效影响算法收敛的解决方案类型。
2023-10-19 cs.MA cs.RO
MAPPO-LCR: Multi-Agent Proximal Policy Optimization with Local Cooperation Reward in Spatial Public Goods Games
Guizhou University(贵州大学)
MAPPO-LCR通过引入局部合作奖励,解决了空间公共物品游戏中个体收益耦合问题,提升了多智能体近端策略优化的群体协作能力。
2025-12-22 cs.GT cs.MA
Emergent cooperation through mutual information maximization
Universidad Distrital Francisco José de Caldas(弗朗西斯科·何塞·德·卡尔达斯地区大学)
随着人工智能系统在我们的社会中变得无处不在,它的设计者很快就必须开始考虑它的社会维度,因为这些系统中的许多系统必须在它们之间进行交互才能有效地工作。考虑到这一点,我们提出了一个分散的深度强化学习算法的设计合作多智能体系统。该算法是基于这样的假设,即高度相关的行动是合作系统的一个特点,因此,我们提出了插入一个辅助目标的最大化的互信息之间的代理的行动在学习问题。我们的系统被应用到一个社会困境,一个问题,其最佳解决方案需要代理合作,以最大限度地提高宏观性能函数,尽管每个代理的不同的个人目标。通过比较所提出的系统的性能,没有辅助目标的系统,我们得出结论,最大化的互信息之间的代理促进了社会困境中的合作的出现。
2020-06-21 cs.AI cs.MA cs.SY
Emergent Resource Exchange and Tolerated Theft Behavior using Multi-Agent Reinforcement Learning
本文通过多智能体强化学习在觅食环境中引入篝火机制,展示了智能体自发形成资源交换合作,并涌现出容忍盗窃行为,揭示了合作演化的新途径。
2023-07-04 cs.MA cs.NE
Selfish Algorithm and Emergence of Collective Intelligence
我们提出了一个模型,证明自发出现的集体智能行为从自私的个人代理。代理的行为建模使用我们提出的自私算法($SA$)与三种学习机制:强化学习($SAL$),信任($SAT$)和连接($SAC$)。这些机制中的每一个都提供了一种截然不同的方式,一个代理可以通过与其他代理玩囚徒困境游戏($PDG$)来增加个人收益。的$SA$提供了一个推广的自组织时间临界性($SOTC$)模型,并表明,自我利益的个人可以同时产生最大的社会效益,从他们的决定。$SA$中的机制通过内部动力学进行自调谐,并且不具有预先建立的网络结构。我们的研究结果表明,相互合作的出现,动态网络的出现,以及社会系统在扰动后的适应性和弹性。讨论了$SA$的含义和应用。
2020-01-03 cs.MA nlin.AO
Shall We Team Up: Exploring Spontaneous Cooperation of Competing LLM Agents
Osaka University(大阪大学);Kyoto University(京都大学);University of Michigan(密歇根大学);NII(信息学研究所);Fordham University(福特汉姆大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University at Buffalo(布法罗大学);Nagoya University(名古屋大学)
本文研究竞争环境下 LLM 智能体能否自发合作,通过三种竞争场景模拟合作的逐步涌现,发现其与人类行为数据高度一致,并提出可用于评估审慎推理能力的新方法。
2024-10-27 cs.AI cs.CL cs.CY
Emergent Cooperation under Uncertain Incentive Alignment
University of Groningen(格罗宁根大学);ILLC & IvI, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所及信息学研究所);Vrije Universiteit Brussels(布鲁塞尔自由大学);Utrecht University(乌得勒支大学)
本文研究稀疏交互与激励一致性不确定条件下强化学习智能体的合作涌现,发现声誉机制与内在奖励能显著改善合作及混合动机场景中的表现。
2024-01-23 cs.AI cs.GT cs.MA
Effects of non-uniform number of actions by Hawkes process on spatial cooperation
针对行动频率非均匀性对合作进化的影响研究不足的问题,该研究引入两类链式反应规则构建多智能体进化博弈模型,发现轻微非均匀性即可促进合作,且自身行动触发的场景更利于合作进化。
2024-06-21 cs.MA
Autocurricula and the Emergence of Innovation from Social Interaction: A Manifesto for Multi-Agent Intelligence Research
DeepMind
进化已经产生了相互作用的适应性单位的多尺度马赛克。当扰动将系统的一部分从稳定平衡推向新的状态时,创新就出现了,在新的状态下,以前适应良好的解决方案不再有效。在这里,我们探讨的假设,多智能体系统有时显示的内在动力学所产生的竞争和合作,提供了一个自然涌现的课程,我们称之为自动课程。一个社会任务的解决往往会引发新的社会任务,不断产生新的挑战,从而促进创新。在某些条件下,这些挑战可能会随着时间的推移变得越来越复杂,要求代理人积累更多的创新。
2019-03-11 cs.AI cs.GT cs.MA