Emergence of Internal State-Modulated Swarming in Multi-Agent Patch Foraging System
Radboud University(拉德堡德大学)
本文研究了多智能体在非合作觅食任务中,通过部分可观测环境自发形成聚集行为的机制,验证了内部状态对觅食策略的影响。
2026-04-08 cs.MA cs.NE nlin.AO
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning
University of Cambridge(剑桥大学)
许多现实世界的问题需要多个自主智能体的协调。最近的工作表明,图神经网络(GNN)有希望学习明确的通信策略,使复杂的多智能体协调。这些作品使用合作多代理系统的模型,代理努力实现一个共同的全球目标。当考虑具有自利局部目标的代理时,标准的设计选择是将它们建模为独立的学习系统(尽管共享相同的环境)。然而,这样的设计选择,排除了存在一个单一的,可区分的通信信道,并因此禁止学习的智能体通信策略。在这项工作中,我们解决这个差距,提出了一个学习模型,可容纳个人的非共享奖励和一个可区分的沟通渠道,是所有代理之间的共同点。我们专注于代理人有自我利益的目标的情况下,并开发一个学习算法,消除对抗性通信的出现。我们进行多代理覆盖和路径规划问题的实验,并采用事后可解释性技术来可视化代理相互通信的消息。我们展示了一个自私的代理是如何能够学习高度操纵性的通信策略,使其显着优于一个合作团队的代理。
2020-11-04 cs.AI cs.LG cs.MA
Emergence of Reputation-Based Cooperation in LLM Agents
RIKEN(理化学研究所);Tohoku University(东北大学)
研究发现LLM智能体的合作鲁棒性由对手禀赋敏感性(图像评分机制)和叛逃者排除严格程度决定,其无法发展更鲁棒的Leading-Eight规范,凸显文化进化的LLM合作的漏洞并提出自下而上规范构建的需求。
2026-08-06 cs.MA cs.NE
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Learning to Advise and Learning from Advice in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Louisiana State University(路易斯安那州立大学)
学习协调是多智能体强化学习(MARL)中一个令人生畏的问题。以往的研究从多个方面进行了探讨,包括Agent之间的认知、信用分配、通信、专家论证等,但对Agent的决策结构和协调层次关注较少。在本文中,我们探讨了时空结构的代理人的决策,并考虑层次的协调从多层次涌现动力学的角度来看,在此基础上,一个新的方法,学习建议和从建议学习(LALA),提出了改进MARL。具体来说,通过区分协调的层次结构,我们建议在中观层面上加强决策协调与顾问和利用政策顾问,建议代理的学习在微观层面上。顾问学习在空间和时间域中聚合决策信息,并通过采用具有面向任务的目标函数的时空对偶图卷积神经网络来生成协调决策。每个代理都通过策略生成对抗学习方法从建议中学习,其中策略生成器区分代理和顾问的策略,并根据其判断提升两者。实验结果表明,LALA在学习效率和协调能力方面优于基线方法。从多级涌现动力学和互信息的角度研究了MARL算法的协调机制,为分析和改进MARL算法提供了新的视角和方法。
2022-05-23 cs.LG cs.MA
Learning Emergence of Interaction Patterns across Independent RL Agents in Multi-Agent Environments
Virginia Tech(弗吉尼亚理工大学);Siemens Technology(西门子技术公司)
本文提出Bottom Up Network(BUN),将多智能体集合视为统一实体并通过专门权重初始化和基于梯度的稀疏动态连接实现独立学习与按需协调,在合作导航和交通控制等任务中以更低计算成本超越基线方法。
2024-10-03 cs.LG cs.MA
The Emergence of Individuality
Peking University(北京大学)
个体性是人类社会的本质特征,个体性导致了劳动分工,从而提高了效率和生产率。同样,它也应该是多主体合作的关键。受个体是独立于其他个体的启发,我们提出了一种简单而有效的方法,用于多智能体强化学习(MARL)中的个体出现(EOI)。EOI学习一个概率分类器,该分类器根据代理的观察结果预测代理的概率分布,并为每个代理提供被分类器正确预测的内在奖励。内在奖励鼓励代理访问自己熟悉的观察,并通过这些观察学习分类器,使内在奖励信号更强,代理更可识别。为了进一步增强内在奖励和促进个性的出现,提出了两个正则化器来增加分类器的可分辨性。我们在流行的MARL算法之上实现EOI。经验上,我们表明,EOI显着优于现有的方法在各种多智能体合作的情况下。
2021-10-18 cs.AI cs.LG cs.MA
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology(佐治亚理工学院);Electronic Arts(美国艺电);EA Digital Platform, Data & AI(艺电数字平台数据与人工智能部门)
在专业团队运动中,人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能,从而实现高水平的协调。作为一个步骤,创造智能代理具有这种能力的充分合作的多智能体设置,我们提出了一个两级分层多智能体强化学习(MARL)算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能,而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励,这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性,而不需要为每个技能手工制作奖励。对于可扩展的分散执行,每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略,并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明,有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
A minimal model for the emergence of cooperation in randomly growing networks
合作在自然界中被广泛观察到,并被认为是许多进化过程的重要组成部分,但它产生和持续的机制仍然不清楚。在几种理论中,网络互惠-一种非同质社会互动的模型-被提出作为解释合作出现的一种促成机制。现有的进化模型往往侧重于高度异质性(无标度)的网络,因此通常假设优先连接机制,因此前提条件是个人具有全局网络知识。在进化博弈论的背景下,使用弱囚徒困境作为一个比喻的合作,我们提出了一个最小的模型,它描述了网络的增长按时间顺序随机添加新的节点,结合定期磨损的人口不太适合的成员。具体来说,我们的模型不需要代理人有机会获得全球信息,并不承担无标度网络结构或优先附件机制。此外,我们的模型支持合作的出现,从最初的非合作人口。通过减少对一些假设的依赖,该模型提供了广泛的适用性,因此可能支持在早期进化转型中出现合作的解释,其中很少有假设可以作出。
2016-05-09 cs.GT cs.MA cs.SI
Spontaneous Emergence of Agent Individuality through Social Interactions in LLM-Based Communities
Graduate School of Arts and Sciences(文理学院);The University of Tokyo(东京大学)
本研究利用LLM智能体群体模拟,发现智能体通过自然语言合作交流,能自发涌现出社会规范、合作、个性及个体性差异,并产生幻觉和标签以维持沟通,为集体AI分析提供新方法。
2024-11-05 cs.AI cs.MA
Learning in Multi-Objective Public Goods Games with Non-Linear Utilities
University of Groningen(格罗宁根大学);University of Amsterdam(阿姆斯特丹大学);University of Galway(戈尔韦大学);Utrecht University(乌得勒支大学);Vrije Universiteit Brussels(布鲁塞尔自由大学)
本文提出多目标公共物品博弈框架,引入参数化非线性效用函数建模智能体风险偏好,并揭示个体偏好与环境不确定性如何共同决定合作或竞争模式的出现。
2024-08-01 cs.AI cs.GT cs.MA
TerraLingua: Emergence and Analysis of Open-endedness in LLM Ecologies
Cognizant AI Lab(Cognizant AI实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究LLM生态中开放性动态,通过TerraLingua平台分析协作规范、分工劳动及文化积累机制,揭示人工智能社会结构的形成过程。
2026-03-06 cs.AI cs.MA physics.soc-ph
Emergent Cooperation under Uncertain Incentive Alignment
University of Groningen(格罗宁根大学);ILLC & IvI, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所及信息学研究所);Vrije Universiteit Brussels(布鲁塞尔自由大学);Utrecht University(乌得勒支大学)
本文研究稀疏交互与激励一致性不确定条件下强化学习智能体的合作涌现,发现声誉机制与内在奖励能显著改善合作及混合动机场景中的表现。
2024-01-23 cs.AI cs.GT cs.MA
Emergence of Pragmatics from Referential Game between Theory of Mind Agents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
语用学研究语境如何影响语言意义。在人类交流中,语言从来不会脱离上下文来解释,句子通常可以传达比字面意思更多的信息。然而,这种机制在大多数多智能体系统中是缺失的,限制了通信效率和人与智能体交互的能力。在本文中,我们提出了一个算法,使用该算法,代理可以自发地学习的能力,“读线之间”,没有任何明确的手工设计的规则。我们整合了心理理论(ToM)在合作的多智能体教学的情况下,并提出了一个自适应的强化学习(RL)算法开发的通信协议。心理理论是一个深刻的认知科学概念,认为人们经常推理他人的心理状态,包括信念,目标和意图,以获得竞争,合作或联盟中的表现优势。有了这种能力,智能体认为语言不仅是信息,而且是反映他人隐藏状态的理性行为。我们的实验证明了语用协议的优势,非语用协议。我们还表明,教学复杂性的语用协议经验接近递归教学维度(RTD)。
2021-09-30 cs.AI cs.CL cs.LG
Inclusive Fitness as a Key Step Towards More Advanced Social Behaviors in Multi-Agent Reinforcement Learning Settings
Vrije Universiteit Brussel(布鲁塞尔自由大学)
受自然选择启发,提出基于基因型和包容性适应度的多智能体强化学习框架,通过遗传相似性产生合作谱系,验证了汉密尔顿法则,并促进策略军备竞赛和更高级社会行为的涌现。
2025-10-14 cs.AI cs.MA cs.SI
Emergence of Collective Open-Ended Exploration from Decentralized Meta-Reinforcement Learning
Inria(法国国家信息与自动化研究所);Flowers Team(Flowers团队)
本文提出程序化生成的开放式任务树环境,让多个智能体去中心化元学习独立循环策略,证明其可自发形成可泛化并扩展到更深任务的集体探索能力。
2024-05-07 cs.AI cs.MA
Emergent cooperation through mutual information maximization
Universidad Distrital Francisco José de Caldas(弗朗西斯科·何塞·德·卡尔达斯地区大学)
随着人工智能系统在我们的社会中变得无处不在,它的设计者很快就必须开始考虑它的社会维度,因为这些系统中的许多系统必须在它们之间进行交互才能有效地工作。考虑到这一点,我们提出了一个分散的深度强化学习算法的设计合作多智能体系统。该算法是基于这样的假设,即高度相关的行动是合作系统的一个特点,因此,我们提出了插入一个辅助目标的最大化的互信息之间的代理的行动在学习问题。我们的系统被应用到一个社会困境,一个问题,其最佳解决方案需要代理合作,以最大限度地提高宏观性能函数,尽管每个代理的不同的个人目标。通过比较所提出的系统的性能,没有辅助目标的系统,我们得出结论,最大化的互信息之间的代理促进了社会困境中的合作的出现。
2020-06-21 cs.AI cs.MA cs.SY
From Grunts to Lexicons: Emergent Language from Cooperative Foraging
Institute for Infocomm Research (I 2 {}^{\text{2}} R), A ∗ STAR, Singapore(新加坡信息与通信研究院);College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机科学与数据科学学院);Department of Computer Science, The University of Manchester, United Kingdom(曼彻斯特大学计算机科学系);Centre for Frontier AI Research (CFAR), A ∗ STAR, Singapore(前沿人工智能研究中心);Sakana AI, Japan(日本Sakana AI)
本研究通过多智能体觅食游戏和深度强化学习,从零开始演化出具有自然语言标志性特征的通信协议,并量化分析各因素对涌现语言的影响,为语言演化研究提供平台。
2025-09-26 cs.AI cs.LG cs.MA
Nucleolus Credit Assignment for Effective Coalitions in Multi-agent Reinforcement Learning
University of South Australia(南澳大学)
本文提出基于核子的信用分配方法,使智能体自主形成多个小联盟完成复合任务,在理论和实验上均展现出更快的收敛速度与更优性能。
2025-03-01 cs.AI cs.MA
Enabling Imitation-Based Cooperation in Dynamic Social Networks
几十年来,自利代理之间合作的出现一直是多代理系统社区的一个关键问题。随着以网络为媒介的互动的重要性的增加,研究人员已经转移了注意力的影响,社交网络及其动态在促进或阻碍合作,得出各种上下文相关的结论。例如,一些理论和实验研究表明,在网络进化的时间尺度比率中存在阈值效应,之后将出现合作,而其他研究则对此提出异议,建议存在金发女孩区。在本文中,我们提供了一个进化博弈论框架,从自下而上的角度来理解共同进化过程--特别是合作者核心和缺陷者外围的出现--澄清了合作伙伴选择和模仿策略对促进合作行为的影响,而无需假设潜在的沟通或声誉机制。在这样做的过程中,我们提供了一个统一的框架来研究模仿为基础的合作,在动态社交网络,并表明,文献中的争议实际上可以共存,只要结果源于不同的同样有效的假设。
2022-02-08 cs.GT cs.MA math.DS
Discovering Causality for Efficient Cooperation in Multi-Agent Environments
Institute for Digital Technologies(数字技术研究所);Loughborough University London(拉夫堡大学伦敦校区)
本文研究多智能体强化学习中的懒惰智能体问题,利用因果关系估计改进信用分配,并采用摊销因果发现自动检测因果,以惩罚懒惰智能体,提升团队及个体性能。
2023-06-20 cs.AI cs.LG cs.MA