A systematic review of norm emergence in multi-agent systems
本文遵循PRISMA方法对多智能体系统中的规范涌现做系统性综述,梳理影响规范涌现的多层面因素,指出未来需整合情感与伦理动态的研究方向,为相关系统发展提供基础。
2024-12-13 cs.MA
Emergence of Collective Open-Ended Exploration from Decentralized Meta-Reinforcement Learning
Inria(法国国家信息与自动化研究所);Flowers Team(Flowers团队)
本文提出程序化生成的开放式任务树环境,让多个智能体去中心化元学习独立循环策略,证明其可自发形成可泛化并扩展到更深任务的集体探索能力。
2024-05-07 cs.AI cs.MA
Investigating the Impact of Direct Punishment on the Emergence of Cooperation in Multi-Agent Reinforcement Learning Systems
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
本文研究直接惩罚与第三方惩罚、伙伴选择及声誉等机制结合时,对MARL种群中合作涌现及学习动态的影响,并探讨其对合作型AI设计的意义。
2024-06-17 cs.AI cs.LG cs.MA
Emergence of Chemotactic Strategies with Multi-Agent Reinforcement Learning
Institute for Computational Physics(计算物理研究所);University of Stuttgart(斯图加特大学)
本文用多智能体强化学习仿真不同形状、尺寸和速度下的趋化行为,揭示物理可行边界、参数收敛规律及三类主导策略,为生物趋化机制提供解释。
2024-04-02 cs.LG cs.MA physics.bio-ph
A Multi-agent Reinforcement Learning Study of Evolution of Communication and Teaching under Libertarian and Utilitarian Governing Systems
本研究通过扩展多智能体强化学习环境AI-Economist,模拟三种不同治理体系,探究其对智能体沟通与教学演化的影响,发现集体主义环境更利于语言对齐涌现,且语言对齐演化与社会平等呈正相关。
2024-03-04 cs.MA
Status-quo policy gradient in Multi-Agent Reinforcement Learning
在多主体问题中,个体理性(包括最大化个体预期收益)并不总是导致高效用的个体或群体结果。例如,在多智能体社会困境中,经过训练以最大化个人奖励的强化学习(RL)智能体会收敛到一个低效用的相互伤害的均衡。相比之下,人类在这种社会困境中进化出有用的策略。受人类心理学的启发,将这种行为归因于现状偏差,我们提出了一个现状损失(SQLoss)和相应的策略梯度算法,将这种偏差纳入RL代理。我们证明了SQLoss训练的代理在几个社会困境矩阵游戏(囚徒困境,雄鹿狩猎矩阵变体,鸡游戏)中学习高效用策略。我们展示了SQLoss如何优于现有的最先进的方法,使用预先训练的合作和背叛预言机在视觉输入非矩阵游戏(硬币游戏和猎鹿视觉输入变体)中获得高效用策略。最后,我们表明,SQLoss扩展到一个4代理设置,通过展示流行的Braess悖论的合作行为的出现。
2021-11-23 cs.MA
Language Grounded Multi-agent Reinforcement Learning with Human-interpretable Communication
本文提出将MARL智能体通信空间与人类自然语言嵌入空间对齐的语言接地方法,在保持任务性能的同时加速通信涌现,并实现即兴团队协作中的零样本泛化。
2024-11-25 cs.MA
Emergence of Fair Leaders via Mediators in Multi-Agent Reinforcement Learning
Ruhr University Bochum, Germany(波恩鲁尔大学)
针对Stackelberg博弈中领导者选择偏差导致的不公平问题,提出整合中介者进行最小控制的多智能体强化学习框架,使自利智能体采取公平行动,提升整体收益公平性。
2025-08-04 cs.AI cs.LG cs.MA
Emergent Resource Exchange and Tolerated Theft Behavior using Multi-Agent Reinforcement Learning
本文通过多智能体强化学习在觅食环境中引入篝火机制,展示了智能体自发形成资源交换合作,并涌现出容忍盗窃行为,揭示了合作演化的新途径。
2023-07-04 cs.MA cs.NE
From Centralized to Self-Supervised: Pursuing Realistic Multi-Agent Reinforcement Learning
该研究对比集中式与自监督多智能体强化学习方法,发现动机混杂环境下奖励共享的集中式方法表现更优,纯动机场景下差距缩小,指出需改进自监督方法以推动MARL适配现实场景。
2023-12-14 cs.MA
Attention-Guided Contrastive Role Representations for Multi-Agent Reinforcement Learning
提出ACORM框架,通过互信息最大化的对比角色表示学习与注意力引导的值分解,增强MARL智能体的异质性、知识迁移和协调能力,并在《星际争霸II》与Google Research Football上取得最先进性能。
2024-03-02 cs.MA
Investigating Tax Evasion Emergence Using Dual Large Language Model and Deep Reinforcement Learning Powered Agent-based Simulation
提出融合大语言模型与深度强化学习的基于智能体模拟框架,在不预设逃税的条件下研究非正规经济涌现,并揭示人格、叙事、执法和公共物品效率的作用。
2025-08-30 cs.CY cs.IR cs.MA
The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning
University of Cambridge(剑桥大学)
许多现实世界的问题需要多个自主智能体的协调。最近的工作表明,图神经网络(GNN)有希望学习明确的通信策略,使复杂的多智能体协调。这些作品使用合作多代理系统的模型,代理努力实现一个共同的全球目标。当考虑具有自利局部目标的代理时,标准的设计选择是将它们建模为独立的学习系统(尽管共享相同的环境)。然而,这样的设计选择,排除了存在一个单一的,可区分的通信信道,并因此禁止学习的智能体通信策略。在这项工作中,我们解决这个差距,提出了一个学习模型,可容纳个人的非共享奖励和一个可区分的沟通渠道,是所有代理之间的共同点。我们专注于代理人有自我利益的目标的情况下,并开发一个学习算法,消除对抗性通信的出现。我们进行多代理覆盖和路径规划问题的实验,并采用事后可解释性技术来可视化代理相互通信的消息。我们展示了一个自私的代理是如何能够学习高度操纵性的通信策略,使其显着优于一个合作团队的代理。
2020-11-04 cs.AI cs.LG cs.MA
Model-free conventions in multi-agent reinforcement learning with heterogeneous preferences
关于惯例的博弈论观点通常基于常识的概念和个人行为的超理性模型。然而,几十年来行为经济学的研究已经对这两个基础的有效性提出了质疑。与此同时,计算神经科学为决策提供了一个现代化的“双过程”解释,其中无模型(MF)强化学习与基于模型(MB)强化学习进行了权衡。前者捕捉习惯性和程序性学习,而后者捕捉通过明确的计划和推理做出的选择。有些公约(如国际条约)可能得到与博弈论和甲基溴账户相一致的认知的支持。然而,惯例的形成也可能通过MF机制发生,如习惯学习;尽管这种可能性尚未得到充分研究。在这里,我们证明了复杂的,大规模的公约可以出现MF学习机制。这表明,一些惯例可能是由习惯性认知而不是外显推理支持的。我们将MF多智能体强化学习应用到一个时空扩展的不完全信息博弈中。在这个博弈中,状态空间的大部分只有通过集体行动才能到达。然而,口味的异质性使得这种协调行动变得困难:多重均衡对所有参与者都是可取的,但子群更喜欢一个特定的均衡。这就产生了一个协调问题,可以通过制定一项公约来解决。我们调查启动和搭便车的子问题,以及群体规模的影响,强度的内在偏好,和显着的协调公约的出现动态。我们的模拟结果表明,代理建立和转换之间的公约,甚至反对自己的首选结果时,这样做是必要的有效协调。
2020-12-14 cs.MA
Understanding the World to Solve Social Dilemmas Using Multi-Agent Reinforcement Learning
Universidad de los Andes(洛斯安第斯大学)
本文研究了多智能体强化学习环境中学习世界模型的自利理性智能体,发现配备世界模型的智能体群体在可能出现社会困境的场景中表现更优,且世界模型能促进复杂协调行为的涌现,使智能体能够理解环境和社会动力学。
2023-05-19 cs.LG cs.MA
Emergent collective intelligence from massive-agent cooperation and competition
Tsinghua University, Shenzhen International Graduate School(清华大学深圳国际研究生院);University of California, San Diego(加州大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
受地球上不同种群之间通过合作和竞争进化的生物体的启发,我们通过代理强化学习来研究人工集体智能的出现。为此,我们提出了一个新的智能体强化学习环境,勒克斯,在两个团队中的动态和大规模的代理争夺有限的资源和击退黑暗。在Lux中,我们通过课程学习阶段的标准强化学习算法构建代理,并通过像素到像素的策略网络利用集中控制。当智能体通过自我游戏共同进化时,我们观察到智能的几个阶段,从获得原子技能到发展群体策略。由于这些学习的群体策略产生于没有明确协调机制的个人决策,我们认为人工集体智能产生于个体-主体的合作和竞争。我们进一步分析了各种学习策略的出现,通过指标和消融研究,旨在提供见解的强化学习实现在智能体环境。
2023-01-05 cs.AI cs.MA
Learning to Advise and Learning from Advice in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Louisiana State University(路易斯安那州立大学)
学习协调是多智能体强化学习(MARL)中一个令人生畏的问题。以往的研究从多个方面进行了探讨,包括Agent之间的认知、信用分配、通信、专家论证等,但对Agent的决策结构和协调层次关注较少。在本文中,我们探讨了时空结构的代理人的决策,并考虑层次的协调从多层次涌现动力学的角度来看,在此基础上,一个新的方法,学习建议和从建议学习(LALA),提出了改进MARL。具体来说,通过区分协调的层次结构,我们建议在中观层面上加强决策协调与顾问和利用政策顾问,建议代理的学习在微观层面上。顾问学习在空间和时间域中聚合决策信息,并通过采用具有面向任务的目标函数的时空对偶图卷积神经网络来生成协调决策。每个代理都通过策略生成对抗学习方法从建议中学习,其中策略生成器区分代理和顾问的策略,并根据其判断提升两者。实验结果表明,LALA在学习效率和协调能力方面优于基线方法。从多级涌现动力学和互信息的角度研究了MARL算法的协调机制,为分析和改进MARL算法提供了新的视角和方法。
2022-05-23 cs.LG cs.MA
Socially Intelligent Genetic Agents for the Emergence of Explicit Norms
North Carolina State University(北卡罗来纳州立大学);University of Bristol(布里斯托尔大学)
规范有助于规范一个社会。规范可以是明确的(以结构化形式表示)或隐含的。我们通过发展代理人来解决明确规范的出现,这些代理人在决定制裁和确定替代规范时为违反规范提供解释。这些代理使用遗传算法来产生规范,并使用强化学习来学习这些规范的值。我们发现,应用解释导致规范,提供更好的凝聚力和目标满意度的代理。我们的研究结果在不同慷慨态度的社会中是稳定的。
2022-08-07 cs.AI cs.LG cs.MA
Mimicry and the Emergence of Cooperative Communication
本文研究通过模仿外部有用信号促进多智能体协作沟通的出现,形式化分析其优化效应,并在空间资源收集模拟中验证进化优化与强化学习均受益。
2024-05-26 cs.MA cs.NE
A Cooperative Reinforcement Learning Environment for Detecting and Penalizing Betrayal
University of Athens(雅典大学)
在本文中,我们提出了一个强化学习环境,利用代理的合作和通信,旨在检测,学习和最终惩罚背叛模式,出现在自利代理的行为。我们提供了游戏规则的描述,以及出现的背叛和权衡的有趣案例。初步的实验研究说明了a)背叛出现,b)欺骗性代理优于诚实基线和b)基于行为特征分类的背叛检测,其超过概率检测基线。最后,我们提出了惩罚背叛的方法,列出未来工作的方向,并建议有趣的扩展环境,以捕捉和探索日益复杂的社会互动模式。
2022-10-23 cs.GT cs.LG cs.MA
Skill Discovery of Coordination in Multi-agent Reinforcement Learning
Tsinghua University(清华大学)
无监督的技能发现驱动智能体在没有特定任务奖励信号的情况下探索未知环境,并且智能体获得各种技能,这些技能在智能体适应新任务时可能是有用的。在本文中,我们提出了“多智能体技能发现”(MASD),发现多个代理的协调模式的技能的方法。所提出的方法旨在最大化的互信息之间的潜在代码Z表示的技能和所有代理的状态的组合。同时,通过对抗训练,抑制了Z对任何单个Agent状态的授权。也就是说,它设置了一个信息瓶颈,以避免权力退化。首先,我们展示了在一般粒子多智能体环境中协调水平上的各种技能的出现。其次,我们揭示了“瓶颈”防止技能崩溃到一个单一的代理,并提高了学习技能的多样性。最后,我们证明了预训练的策略在监督RL任务上具有更好的性能。
2020-06-07 cs.LG cs.MA
Emergence of Roles in Robotic Teams with Model Sharing and Limited Communication
EEE Department(电子工程系);Trinity College Dublin(都柏林信任学院)
通过集中学习和模型共享,该方法在机器人团队中促进角色分化,减少计算能耗并应用于现实场景。
2025-05-01 cs.LG cs.MA cs.RO
Nucleolus Credit Assignment for Effective Coalitions in Multi-agent Reinforcement Learning
University of South Australia(南澳大学)
本文提出基于核子的信用分配方法,使智能体自主形成多个小联盟完成复合任务,在理论和实验上均展现出更快的收敛速度与更优性能。
2025-03-01 cs.AI cs.MA
The Emergence of Individuality
Peking University(北京大学)
个体性是人类社会的本质特征,个体性导致了劳动分工,从而提高了效率和生产率。同样,它也应该是多主体合作的关键。受个体是独立于其他个体的启发,我们提出了一种简单而有效的方法,用于多智能体强化学习(MARL)中的个体出现(EOI)。EOI学习一个概率分类器,该分类器根据代理的观察结果预测代理的概率分布,并为每个代理提供被分类器正确预测的内在奖励。内在奖励鼓励代理访问自己熟悉的观察,并通过这些观察学习分类器,使内在奖励信号更强,代理更可识别。为了进一步增强内在奖励和促进个性的出现,提出了两个正则化器来增加分类器的可分辨性。我们在流行的MARL算法之上实现EOI。经验上,我们表明,EOI显着优于现有的方法在各种多智能体合作的情况下。
2021-10-18 cs.AI cs.LG cs.MA
Birds of a Feather Flock Together: A Close Look at Cooperation Emergence via Multi-Agent RL
Institution for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学)
合作如何产生是一个长期存在的跨学科问题。社会困境的博弈论研究表明,利他激励是合作的出现,但他们的分析仅限于无状态的游戏是至关重要的。对于更现实的场景,多智能体强化学习已被用于研究顺序社会困境(SSD)。最近的工作表明,学习激励其他代理可以促进SSD的合作。然而,我们发现,在这些激励机制,团队合作水平并不收敛,并定期振荡之间的合作和背叛学习。我们发现,二阶的社会困境所造成的激励机制是这种脆弱的合作的主要原因。我们正式分析了二阶社会困境的动态,发现人类的一个典型倾向,称为同质性,提供了一个有前途的解决方案。我们提出了一个新的学习框架,以鼓励同性恋的激励,并表明它实现了稳定的合作,在SSD的公共产品和悲剧的公地。
2021-06-05 cs.CY cs.LG cs.MA
Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input
DeepMind(深度思维)
算法进化或学习(组合)通信协议的能力传统上在语言进化文献中通过使用紧急通信任务进行研究。在这里,我们通过使用当代深度学习方法和在参考通信游戏上训练学习神经网络代理来扩大这项研究。我们扩展了以前的工作,其中代理在符号环境中进行训练,通过开发能够从原始像素数据中学习的代理,一个更具挑战性和现实的输入表示。我们发现,在输入数据中发现的结构的程度会影响出现的协议的性质,从而证实了这一假设,即结构化的组成语言是最有可能出现时,代理感知世界的结构。
2018-04-11 cs.AI cs.CL cs.LG
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Trust-Based Social Learning for Communication (TSLEC) Protocol Evolution in Multi-Agent Reinforcement Learning
AI-WEINBERG, AI Experts, Tel Aviv, Israel(AI-WEINBERG,AI专家,特拉维夫,以色列)
TSLEC通过基于信任的社会学习方法,在多智能体强化学习中加速新兴通信,减少收敛次数并提高协议的稳健性。
2025-11-24 cs.AI cs.MA
Reinforcement Communication Learning in Different Social Network Structures
Indiana University(印第安纳大学);University of California, Irvine(加利福尼亚大学欧文分校)
社会网络结构是人类语言进化的关键决定因素之一。以前的研究表明,社会互动网络塑造了人类群体中的分散学习,导致了不同类型的交流惯例的出现。我们研究了社会网络组织对分散的多智能体强化学习社区中出现的通信系统属性的影响。我们发现,社交网络的全球连通性驱动了共享和对称通信系统上的人口聚集,阻止了代理人形成许多本地“方言”。此外,代理人的程度是负相关的一致性,其使用的交际惯例。这些结果表明了社会网络结构的基本属性对强化交流学习的重要性,并对人类在词汇约定上的收敛性研究结果提出了新的解释。
2020-07-19 cs.AI cs.CL cs.LG
Language Evolution with Deep Learning
INRIA(法国国家信息与自动化研究所);Google DeepMind(谷歌DeepMind);Cohere(科here公司);Meta AI Research(元宇宙人工智能研究院);EHESS,ENS-PSL,CNRS,INRIA(法国高等社会科学研究院、巴黎文理研究大学高等师范学院、法国国家科学研究中心、法国国家信息与自动化研究所)
本章介绍深度学习与强化学习作为计算建模工具,用于模拟语言涌现,并总结其关键发现、局限及未来方向,面向语言学家与认知科学家。
2024-03-18 cs.CL cs.MA
Emergence of Hierarchies in Multi-Agent Self-Organizing Systems Pursuing a Joint Objective
Beijing Institute of Technology(北京理工大学);University College Dublin(都柏林大学)
本文利用多智能体强化学习训练协作推箱任务,通过计算智能体动作梯度量化依赖关系,发现多智能体自组织系统在追求联合目标时会动态涌现依赖层级,该层级受任务环境、网络初始化及智能体天赋与努力的影响。
2025-08-13 cs.LG cs.MA
Learning Emergence of Interaction Patterns across Independent RL Agents in Multi-Agent Environments
Virginia Tech(弗吉尼亚理工大学);Siemens Technology(西门子技术公司)
本文提出Bottom Up Network(BUN),将多智能体集合视为统一实体并通过专门权重初始化和基于梯度的稀疏动态连接实现独立学习与按需协调,在合作导航和交通控制等任务中以更低计算成本超越基线方法。
2024-10-03 cs.LG cs.MA
Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation
The Hong Kong Polytechnic University(香港理工大学)
许多现实世界的应用可以被表述为多智能体协作问题,例如网络数据包路由和自动驾驶汽车的协调。深度强化学习(deep reinforcement learning,DRL)的出现为多智能体协作提供了一种很有前途的方法。然而,传统的DRL解决方案遭受在策略搜索过程中具有连续动作空间的多个代理的高维数。此外,智能体策略的动态性使得训练过程具有非平稳性。为了解决这些问题,我们提出了一个分层的强化学习方法,高层次的决策和低层次的个人控制,有效的政策搜索。特别是,多个智能体的合作,可以学习高层次的离散行动空间有效。同时,低层次的个体控制可以简化为单智能体的强化学习。除了层次强化学习,我们提出了一个对手建模网络,在学习过程中建模其他代理的政策。与端到端DRL方法相比,我们的方法通过将整个任务以分层的方式分解为子任务来降低学习复杂度。为了评估我们的方法的效率,我们进行了一个真实的案例研究,在合作换道的情况下。仿真和实际实验都表明了该方法在碰撞率和收敛速度方面的优越性。
2022-06-25 cs.AI cs.MA cs.RO
Inclusive Fitness as a Key Step Towards More Advanced Social Behaviors in Multi-Agent Reinforcement Learning Settings
Vrije Universiteit Brussel(布鲁塞尔自由大学)
受自然选择启发,提出基于基因型和包容性适应度的多智能体强化学习框架,通过遗传相似性产生合作谱系,验证了汉密尔顿法则,并促进策略军备竞赛和更高级社会行为的涌现。
2025-10-14 cs.AI cs.MA cs.SI
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University(华东师范大学);SRIAS(上海人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));AIRS(深圳市人工智能与机器人研究院)
在解决一个复杂的任务时,人类会自发地组成团队,分别完成整个任务的不同部分。同时,队友之间的合作也会提高效率。然而,对于目前的合作MARL方法,合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率,提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略,该策略是通过独立的多智能体强化学习建立的。在团队形成后,引入了基于共识约束的层次意图的层次共识模块。同时,利用层次一致性模块和自监督内在奖励增强决策模块,提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起,促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明,{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
On the Emergence of Cooperation in the Repeated Prisoner's Dilemma
使用对$ε$ -贪婪的q-学习者与一个时期的记忆之间的模拟,本文表明,潜在的功能的随机复制动力学(福斯特和杨,1990年)允许它预测出现的错误证明合作策略的重复囚徒困境的基本参数。q学习者之间的合作率与严峻触发策略下复制子动力学的极性吸引子所施加的动能之间的比率有关。将有利于合作的参数空间与由背叛主导的参数空间分开的边界可以通过将动能比设置为等于临界值来找到,该临界值是折扣因子$f(δ) = δ/(1-δ)$乘以校正项以说明算法的探索概率的影响的函数。边界的梯度随着博弈参数和超平面之间的距离而增加,该超平面表征了在严峻触发下合作的激励相容约束。基于神经科学的文献,这表明强化学习有助于理解人类在危险环境中的行为,本文进一步探讨了q学习者的前沿在多大程度上也解释了人类之间合作的出现。使用实验室实验的元数据分析人类在无限重复的囚徒困境中的选择,将人类之间的合作率与在类似条件下q学习者之间观察到的合作率进行比较。在人类身上观察到的合作率和在q学习者身上观察到的合作率之间的相关系数始终高于$0.8$。来自q学习者之间的模拟的前沿也被发现预测人类之间的合作的出现。
2023-02-22 cs.GT cs.MA econ.TH
The coupling effect between the environment and strategies drives the emergence of group cooperation
本文提出基于强化学习的多智能体模型,从自下而上视角研究有限种群中环境与策略的耦合动力学,揭示即使在有利于背叛的环境中,环境正反馈也能促成群体合作涌现与维持。
2023-08-05 cs.MA physics.bio-ph physics.soc-ph
The impact of behavioral diversity in multi-agent reinforcement learning
University of Cambridge(剑桥大学)
本研究采用多样性测量和控制范式,探讨了行为异质性在多智能体强化学习中的影响,证明控制行为多样性能带来优于同质化训练的非平凡收益,是集体人工智能学习的基本组件。
2025-01-29 cs.AI cs.LG cs.MA
Emergence of Pragmatics from Referential Game between Theory of Mind Agents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
语用学研究语境如何影响语言意义。在人类交流中,语言从来不会脱离上下文来解释,句子通常可以传达比字面意思更多的信息。然而,这种机制在大多数多智能体系统中是缺失的,限制了通信效率和人与智能体交互的能力。在本文中,我们提出了一个算法,使用该算法,代理可以自发地学习的能力,“读线之间”,没有任何明确的手工设计的规则。我们整合了心理理论(ToM)在合作的多智能体教学的情况下,并提出了一个自适应的强化学习(RL)算法开发的通信协议。心理理论是一个深刻的认知科学概念,认为人们经常推理他人的心理状态,包括信念,目标和意图,以获得竞争,合作或联盟中的表现优势。有了这种能力,智能体认为语言不仅是信息,而且是反映他人隐藏状态的理性行为。我们的实验证明了语用协议的优势,非语用协议。我们还表明,教学复杂性的语用协议经验接近递归教学维度(RTD)。
2021-09-30 cs.AI cs.CL cs.LG
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology(佐治亚理工学院);Electronic Arts(美国艺电);EA Digital Platform, Data & AI(艺电数字平台数据与人工智能部门)
在专业团队运动中,人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能,从而实现高水平的协调。作为一个步骤,创造智能代理具有这种能力的充分合作的多智能体设置,我们提出了一个两级分层多智能体强化学习(MARL)算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能,而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励,这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性,而不需要为每个技能手工制作奖励。对于可扩展的分散执行,每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略,并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明,有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
Emergence, Not Bandwidth: Physical Coupling and the Limits of Learned Multi-Agent Communication
Purdue University(普渡大学)
本研究证明在速率受限多智能体系统中,通信价值由物理耦合决定而非带宽,并揭示强化学习在部分耦合下无法发现最优协议,导致性能显著低于工程化方案。
2026-09-30 cs.LG cs.MA cs.RO
Emergence of Language with Multi-agent Games: Learning to Communicate with Sequences of Symbols
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
学习通过交互进行沟通,而不是依赖于明确的监督,通常被认为是开发通用AI的先决条件。我们研究了一个设置,两个代理人参与玩一个参考游戏,从头开始,开发一个通信协议,在这个游戏中取得成功所必需的。与以前的工作不同,我们要求他们交换的消息,无论是在训练和测试时间,是在一种语言的形式(即离散符号序列)。我们比较了一个强化学习方法和一个使用可微松弛(直通Gumbel-softmax估计器)的方法,并观察到后者收敛速度要快得多,并且会产生更有效的协议。有趣的是,我们还观察到,我们通过优化通信成功诱导的协议表现出一定程度的组合性和可变性(即相同的信息可以以不同的方式表达),这两种特性都是自然语言的特征。由于最终目标是确保通信是在自然语言中完成的,我们还进行了实验,在实验中我们将有关自然语言的先验信息注入到我们的模型中,并研究所产生的协议的属性。
2017-11-04 cs.CL cs.CV cs.LG
Behavior is Not Enough: A Mechanism-Based Evaluation of Social Norm Emergence in LLM Societies
本研究提出基于期望测量的评估框架,揭示LLM社会中合作涌现可由不同机制驱动,为多智能体系统设计提供原则性依据。
2026-09-23 cs.CL cs.CY cs.GT
AI agents in Algorithmic Electricity Markets: On the Emergence of Tacit Collusion
Technical University of Denmark(丹麦技术大学)
本文研究发现,在寡头垄断的算法电力市场中,基于多智能体强化学习的自主投标智能体可在未被指示合谋的情况下,通过独立学习涌现出支持默契合谋的超竞争结果。
2026-08-28 cs.AI cs.GT cs.MA
Centralizing State-Values in Dueling Networks for Multi-Robot Reinforcement Learning Mapless Navigation
University of Verona(维罗纳大学)
我们研究了流行的集中式训练和分散式执行(CTDE)范式下的多机器人无地图导航问题。当每个机器人考虑其路径而不与其他机器人显式共享观察结果时,这个问题具有挑战性,并且可能导致深度强化学习(DRL)中的非平稳问题。典型的CTDE算法将联合作用-价值函数分解为个体作用-价值函数,有利于协作,实现分散执行。这种因式分解涉及约束(例如,单调性),其限制个体中新行为的出现,因为每个代理从联合动作值开始训练。相比之下,我们提出了一种新的体系结构CTDE,使用一个集中的状态值网络计算的联合状态值,这是用来注入全局状态信息的代理基于值的更新。因此,每个模型都会考虑环境的整体状态,计算权重的梯度更新。我们的想法遵循决斗网络的见解,因为联合状态值的单独估计具有提高样本效率的优点,同时为每个机器人提供全局状态是否有价值的信息。在机器人导航任务与2 4,和8个机器人的实验,证实了我们的方法优于现有的CTDE方法(例如,VDN、QMIX)。
2021-12-16 cs.AI cs.LG cs.MA
Adaptive Agents in Spatial Double-Auction Markets: Modeling the Emergence of Industrial Symbiosis
IRIT, UMR 5505 CNRS, Université Toulouse Capitole(IRIT,CNRS 5505,图卢兹大学)
本文提出一个基于代理的空间双拍卖模型,研究自适应企业行为如何在空间约束下促成工业共生的形成。
2026-02-16 cs.AI cs.GT cs.MA
Heterogeneous Multi-Agent Reinforcement Learning for Zero-Shot Scalable Collaboration
Tsinghua University(清华大学)
本文提出SHPPO框架,通过隐变量网络和异构层为参数共享PPO引入个体间与时间异构性,在SMAC和GRF中实现零样本可扩展协作并提升性能。
2024-10-02 cs.AI cs.LG cs.MA