Deconstructing Cooperation and Ostracism via Multi-Agent Reinforcement Learning
Tohoku University（东北大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过多智能体强化学习仿真迭代囚徒困境博弈，厘清合作与网络重连的因果关系，发现排斥行为从合作学习中产生并反向强化合作，为网络重连下合作涌现的机制提供了新见解。
2023-10-06 cs.AI cs.MA cs.SI
Multi-Agent, Human-Agent and Beyond: A Survey on Cooperation in Social Dilemmas
Northwestern Polytechnical University（西北工业大学）；Tsinghua University（清华大学）；University of Auckland（奥克兰大学）；Kyushu University（九州大学）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本综述探讨了AI在社会困境合作中的三个关键领域：多智能体合作的动机与策略、人机合作算法与人类偏见，以及利用AI增强人类间合作，并展望了未来研究方向。
2024-07-30 cs.AI cs.GT cs.HC
Bottom-Up Reputation Promotes Cooperation with Multi-Agent Reinforcement Learning
本文提出自下而上的声誉学习方法LR2，通过声誉奖励塑形和策略聚类，在不依赖预定义规范的情况下促进多智能体在空间社会困境中的合作。
2025-02-04 cs.MA
A Formal Analysis of Required Cooperation in Multi-agent Planning
Arizona State University（亚利桑那州立大学）
多智能体规划是近年来的研究热点。虽然以前的研究一直是出于这样一种理解，即通过合作，多智能体系统可以实现单智能体系统无法实现的任务，但没有正式的描述需要合作才能实现目标的情况，从而阻碍了多智能体系统的应用。在本文中，我们提供了这样一个正式的讨论，从规划方面。我们首先表明，确定是否需要合作（RC）是棘手的是一般的。然后，通过划分的问题，需要合作（简称为RC问题）分为两类-异构和同质代理的问题，我们的目标是确定所有的条件，可以导致RC在这两个类。我们建立，当这些确定的条件都不成立时，问题是单代理可解的。此外，有一些假设，我们提供了一个上限的最小数量的代理商所需的RC问题与同质代理。这项研究不仅提供了新的见解多智能体规划，但也有许多应用。例如，在人机合作中，当机器人无法完成任务时，可能是由于RC。在这种情况下，人类队友应该被告知，因此，与其他可用的机器人协调解决方案。
2014-04-22 cs.AI cs.MA
Cooperation in Human and Machine Agents: Promise Theory Considerations
ChiTek-i AS
本文探讨人类与机器代理合作中的承诺理论，分析其在组织设计和功能实现中的统一视角，涵盖人类、硬件、软件及AI的合作与互动。
2026-04-12 cs.AI cs.MA
Learning Nudges for Conditional Cooperation: A Multi-Agent Reinforcement Learning Model
本文提出多智能体强化学习模型，让深度强化学习智能体通过助推激励3名条件合作者合作；实验表明两种奖励设计均显著提升贡献总额与合作比例。
2024-09-14 cs.MA
Cooperation Breakdown in LLM Agents Under Communication Delays
The University of Tokyo（东京大学）
研究探讨了通信延迟对LLM多智能体系统中合作的影响，发现延迟增加会引发代理剥削行为，但过度延迟反而促进合作，揭示了低层因素对合作的重要性。
2026-02-12 cs.AI cs.GT cs.MA
Should the government reward cooperation? Insights from an agent-based model of wealth redistribution
在我们的多代理人模型中，代理人从重复的互动中产生财富，其中假设了囚徒困境的回报矩阵。他们的收益由政府以$α$的税率征税。由此产生的预算用于支付行政费用和支付奖金给合作代理人，这些代理人只能以概率$p$正确识别。智能体在每个时间步根据不同的信息决定是合作还是背叛。在当地情况下，他们比较了两种战略的潜在收益。在全球情景中，他们比较了合作和缺陷亚群的收益。我们推导出了使合作和背叛一样有吸引力所需的关键奖金的解析表达式。我们表明，对于当地的情况下，政府只能建立一个中等水平的合作，因为关键奖金增加的合作水平。而在全局情景中，一旦冷启动问题得到解决，就可以实现完全合作，因为关键奖金随着合作水平的降低而降低。这可以降低税率，同时保持高度合作。
2021-01-14 cs.MA econ.GN nlin.AO
Evidence and quantification of cooperation of driving agents in mixed traffic flow
University of California, Davis（加利福尼亚大学戴维斯分校）；Washington State University（华盛顿州立大学）
本文提出统一框架，从微观与宏观数据中识别并量化混合交通中驾驶主体的集体合作性，基于NGSIM数据首次实证其存在与发生条件。
2025-02-25 cs.LG cs.MA physics.soc-ph
Intermittent Strategic Cooperation of Two Selfish Agents on Graphs
Bar-Ilan University（巴伊兰大学）
研究两个自私智能体在时间与空间约束下的战略合作问题，通过IC2PP模型刻画纯纳什均衡结构，证明均衡存在性并提出多项式时间枚举算法。
2026-06-17 cs.GT cs.MA cs.RO
Cooperation and Competition: Flocking with Evolutionary Multi-Agent Reinforcement Learning
在多智能体系统中，群集是一个非常具有挑战性的问题;传统的群集方法还需要对环境的完整了解和精确的控制模型。在本文中，我们提出了进化多智能体强化学习（EMARL）的群集任务，一个混合算法，结合合作和竞争，很少的先验知识。在合作方面，根据boids模型设计了集群任务的奖励。为了竞争，将适应度高的Agent设计为高级Agent，适应度低的Agent设计为低级Agent，让低级Agent随机继承高级Agent的参数。为了加强竞争，我们还设计了一个进化选择机制，显示在集群任务的信用分配有效。在一系列具有挑战性和自我对比的基准测试中的实验结果表明，EMARL显著优于完全竞争或合作方法。
2022-09-13 cs.AI cs.MA cs.RO
Normative Modules: A Generative Agent Architecture for Learning Norms that Supports Multi-Agent Cooperation
本文提出规范性模块架构，使生成式智能体通过同伴互动学习识别权威制度并协调制裁行为，从而在多智能体环境中实现更稳定的合作和更高的平均福利。
2024-05-29 cs.MA
Improved cooperation by balancing exploration and exploitation in intertemporal social dilemma tasks
ZheJiang University of Technology（浙江工业大学）
当个体的行为具有理性特征时，这可能导致群体的非理性集体行动。从动物到人类的各种生物体经常进化出合作的社会属性来应对这一挑战。因此，个体之间的合作对于让社会有机体适应自然环境的变化具有重要意义。基于多智能体强化学习，我们提出了一种新的学习策略，通过将学习率，可以平衡探索和开发，以实现协调。我们证明，代理人使用简单的策略，提高了相对集体的回报，在一个决策任务称为跨期的社会困境，其中个人和群体之间的冲突是特别尖锐的。我们还探讨了学习率的多样性对强化学习代理的人口的影响，并表明在异质群体中训练的代理制定特别协调的政策相对于在同质群体中训练的代理。
2021-10-19 cs.AI cs.CY cs.MA
Cooperation with Complement is Better
在一个环境中，异质代理相互作用，以实现一组给定的目标，合作是至关重要的，特别是当代理不能实现自己的目标，通过排他性地使用自己的努力。即使当我们考虑友好的环境和仁慈的代理，合作涉及到几个问题：与谁合作，互惠，如何解决信用分配和复杂的分工收益等，我们提出了一个模型，异构代理合作，形成群体和形成更大的群体是促进。代理人的利益与团队的业绩和规模成正比。有一个时间压力，形成一个小组。我们调查如何喜欢相似或互补剂组形成影响代理的成功。在群体形成过程中，偏好互补的策略效果更好，但由于互补伙伴的效应已经饱和，因此没有必要将策略推向极端。
2008-06-24 cs.MA physics.soc-ph
Partner Selection for the Emergence of Cooperation in Multi-Agent Systems Using Reinforcement Learning
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
社会困境已经被广泛研究，以解释人类如何能够在社会中合作。相当大的努力已经投入到设计人工代理的社会困境，包括明确的代理动机，选择有利于协调或合作的反应。这种一般方法的流行点对实现一个代理的内部设计和外部环境的动态，促进合作行为的理解的重要性。在本文中，我们研究如何合作伙伴的选择，可以促进合作行为之间的代理谁是训练有素的最大化一个纯粹自私的目标函数。我们的实验表明，受过这种动态训练的代理人学习一种策略，在促进与其他代理人合作的同时，对叛逃者进行报复，从而形成一个亲社会的社会。
2019-11-28 cs.AI cs.MA
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University（南京大学）；Dalian University of Technology（大连理工大学）
针对多智能体强化学习现有算法的不足，基于MADDPG引入合作奖励参数，在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励，改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
GRPO-GCC: Enhancing Cooperation in Spatial Public Goods Games via Group Relative Policy Optimization with Global Cooperation Constraint
本文提出GRPO-GCC框架，首次将组相对策略优化引入空间公共品博弈，通过全局合作约束动态调整激励，防止系统崩溃，实现加速合作、稳定适应和长期可持续性，为多智能体强化学习提供新范式。
2025-10-07 cs.GT cs.MA
Comments on "Consensus and Cooperation in Networked Multi-Agent Systems"
本文纠正了R. Olfati-Saber，J.A.传真和RM。Murray，发表于IEEE会议录第95卷（2007，No.1，P.215 -233）。它还提到适用于所审议的这类问题的几个更有力的结果，并述及优先权问题，而上述文件对优先权问题的解释并不准确。
2010-09-30 cs.MA cs.NI math.OC
Evolution of Cooperation in LLM-Agent Societies: A Preliminary Study Using Different Punishment Strategies
University of Moratuwa（莫拉图瓦大学）；University of Otago（奥塔哥大学）；Massey University（梅西大学）
本研究使用LLM智能体模拟Diner's Dilemma，验证Boyd和Richerson模型中的合作演化，发现惩罚机制促进规范出现，且模拟能复现并扩展传统数学模型的预测。
2025-10-23 cs.MA
Certifying cooperation: a novel approach to cooperative multi-agent task generation
Université Libre de Bruxelles（布鲁塞尔自由大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；UC Berkeley（加州大学伯克利分校）
本文提出一种通过时间合作图与命题公式认证合作要求的多智能体任务生成方法，实验表明训练多样性提升部分完成率但联合成功率仍低。
2026-09-11 cs.AI cs.LG cs.MA
Modeling Decision-Making with Will for Cooperation in Social Dilemmas
School of Intelligence Science and Technology, Peking University（北京大学智能学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；Law School, Peking University（北京大学法学院）
本文提出'意志'机制，通过持续追求目标而忽略局部成本收益波动，以解决社会困境中合作失败问题，发现意志强度异质性促进合作，自主暂停理性重新评估的智能体表现更优。
2026-07-07 cs.CY cs.GT cs.MA
Influence of Team Interactions on Multi-Robot Cooperation: A Relational Network Perspective
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
针对现有算法忽视团队结构的问题，提出基于关系网络的多机器人协作算法，通过设定智能体间关系赋予优先级以指导协作策略，实验证明其能有效影响算法收敛的解决方案类型。
2023-10-19 cs.MA cs.RO
Learning Individually Inferred Communication for Multi-Agent Cooperation
Peking University（北京大学）
沟通是人类合作的基础。这对多代理人合作也至关重要。然而，现有的工作集中在广播通信，这不仅是不切实际的，而且会导致信息冗余，甚至可能损害学习过程。为了解决这些困难，我们提出了个人推断通信（I2C），一个简单而有效的模型，使代理学习代理-智能体通信的先验。先验知识是通过因果推理学习的，并由前馈神经网络实现，该网络将代理的本地观察映射到有关与谁通信的信念。通过多智能体强化学习中的联合动作-价值函数来推断一个智能体对另一个智能体的影响，并将其量化，以标识智能体-智能体通信的必要性。此外，代理策略被正则化，以更好地利用通信消息。经验上，我们表明，I2C不仅可以减少通信开销，但也提高了性能，在各种多代理合作的情况下，与现有的方法相比。该代码可在https://github.com/PKU-AI-Edge/I2C上获得。
2021-04-29 cs.LG cs.MA stat.ML
Exploration enhances cooperation in the multi-agent communication system
Teesside University（蒂斯赛德大学）；Kyushu University（九州大学）；Northwestern Polytechnical University（西北工业大学）
本文提出一个两阶段进化博弈模型，通过引入探索机制，发现适度探索能增强多智能体系统中的合作，实现最优性能。
2026-03-02 cs.GT cs.MA
How Exploration Breaks Cooperation in Shared-Policy Multi-Agent Reinforcement Learning
National Taiwan University（国立台湾大学）；Lehigh University（利哈伊大学）
本研究揭示了共享策略多智能体强化学习中探索如何导致合作崩溃，指出参数耦合与部分可观测性引起的表示失败是根本原因。
2026-01-09 cs.MA physics.soc-ph
The Partially Observable Asynchronous Multi-Agent Cooperation Challenge
多智能体强化学习（MARL）因其在各个领域的应用而受到越来越多的关注。为了满足现实世界的要求，研究者们对它的部分可观测和合作设置给予了很大的关注。为了测试不同算法的性能，设计了标准化的环境，如星际争霸多智能体挑战赛，这是最成功的MARL基准之一。据我们所知，当前的大多数环境都是同步的，其中代理以相同的速度执行操作。然而，异构Agent通常有自己的动作空间，不能保证不同Agent的动作具有相同的执行周期，这就导致了多Agent的异步协作。从战争游戏，从现实世界的环境中抽象的两个军队之间的对抗游戏的启发，我们提出了第一部分可观察的异步多智能体合作的挑战（POAC）的MARL社区。具体来说，POAC支持两个异构代理团队相互战斗，其中代理根据自己的观察选择行动，并与盟友异步合作。此外，POAC是一个轻量级、灵活、易用的环境，可以由用户配置以满足不同的实验需求，如自我游戏模型、人类-AI模型等。与我们的基准测试一起，我们提供了六个不同难度的游戏场景，内置基于规则的AI作为对手。最后，由于大多数MARL算法是为同步代理设计的，我们修改了几个代表，以满足异步设置，相对较差的实验结果验证了POAC的挑战。源代码在\url{http://turingai.ia.ac.cn/data\_center/show}中发布。
2021-12-07 cs.MA
COOP$^2$: Defining, Observing, and Repairing Cooperation in LLM Multi-Agent Systems
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Arizona（亚利桑那大学）
提出COOP$^2$框架，通过将高层合作动态与任务进度关联，定义可验证的合作任务，并开发COOP$^2$-Repair方法预测约束失败并引导修复，提升LLM多智能体系统的任务成功率和约束满足度。
2026-05-27 cs.AI cs.MA
Local Wealth Redistribution Promotes Cooperation in Multiagent Systems
Massachusetts Institute of Technology（麻省理工学院）；INESC-ID（里斯本大学高等理工学院附属信息系统与计算机工程研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
在多智能体系统中，设计能够利用智能体之间协作的机制一直是一个长期的目标。当代理人自私，缺乏共同目标并面临社会困境时，这项任务尤其具有挑战性，即，个人利益与社会福利冲突的情况。过去的研究探索了解释生物和社会系统中合作的机制，为设计合作的人工社会提供了重要线索。特别是，一些作品表明，合作是能够出现时，特定的网络结构的代理人的相互作用。尽管如此，叛逃具有很大诱惑力的社会困境仍然对合作的有效可持续性构成挑战。在这里，我们提出了一个新的再分配机制，可以应用于结构化人口的代理。重要的是，我们表明，当在本地实施时（即，代理人与他们最近的邻居分享他们财富盈余的一小部分），再分配在促进合作方面表现出色，在以前，只有背叛盛行的政权下。
2018-02-05 cs.AI cs.GT cs.MA
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley（慕尼黑量子谷）
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现，实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
Tool-RoCo: An Agent-as-Tool Self-organization Large Language Model Benchmark in Multi-robot Cooperation
Waseda University（早稻田大学）；Pengcheng Laboratory（鹏城实验室）；China University of Petroleum（中国石油大学）；SONY (China) Co., Ltd（索尼（中国）有限公司）
Tool-RoCo提出了一种评估大型语言模型在多机器人协作中自主性和协作能力的基准，通过四种不同自主性范式和三个任务测试工具使用效果。
2025-11-29 cs.AI cs.MA
Cooperation in public goods game on square lattices with agents changing interaction groups
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用物理研究所）
研究探讨了在无外部机制情况下，正方形晶格上代理群体中合作的形成机制，通过交互网络多样性促进合作，并发现代理切换交互邻域会抑制合作形成。
2026-05-11 cs.MA nlin.AO physics.soc-ph
Enhancing Cooperation through Selective Interaction and Long-term Experiences in Multi-Agent Reinforcement Learning
University of Manchester（曼彻斯特大学）
本研究针对多智能体强化学习中合作演化机制不明的问题，提出基于双Q网络的空间囚徒困境计算框架，让智能体凭长期经验选策略和邻居，发现其能识别非合作者并偏好与合作者交互，促进策略聚类与合作提升。
2024-08-18 cs.AI cs.GT cs.MA
Argus: Smartphone-enabled Human Cooperation via Multi-Agent Reinforcement Learning for Disaster Situational Awareness
Rutgers University（罗格斯大学）；Department of Homeland Security Science & Technology Directorate（国土安全部科学技术局）
Argus利用多智能体强化学习（MARL）框架，使用事故区域周围的智能体创建灾难现场的3D地图，以促进救援行动。这些智能体既可以是灾难现场的人类旁观者，也可以是可以帮助人类的无人机或机器人。代理参与使用智能手机（或无人机情况下的机载摄像头）捕获场景的图像，由MARL算法指导。这些图像被用来构建灾难现场的实时的3D地图。通过模拟和真实的实验，评估的框架在跟踪环境的随机动态性方面的有效性。
2019-04-29 cs.AI cs.CY cs.LG
Dynamic Incentivized Cooperation under Changing Rewards
University of Bayreuth（拜罗伊特大学）；University of California, Irvine（加州大学尔湾分校）；Orebro University（厄勒布鲁大学）
本文提出DRIVE方法，通过动态奖励激励实现去中心化合作，在变化的奖励环境中维持合作。
2026-01-10 cs.MA
Cognitive Insights and Stable Coalition Matching for Fostering Multi-Agent Cooperation
Duke Kunshan University（昆山杜克大学）；Hong Kong University of Science and Technology（香港科技大学）；School of Engineering, Westlake University（西湖大学工学院）
针对高ToM智能体未必更合作的问题，提出显式考虑信念一致性与专业能力的稳定联盟匹配机制，以提升多智能体合作和系统性能。
2025-05-14 cs.AI cs.MA
Heterogeneous Value Decomposition Policy Fusion for Multi-Agent Cooperation
本文提出异构策略融合（HPF）方法，通过自适应选择多种价值分解策略并引入策略间约束，提升多智能体协作性能，实验证明其优于多个基线且易于实现。
2025-02-05 cs.MA
Theory of Mind Using Active Inference: A Framework for Multi-Agent Cooperation
VERSES
该研究提出一种在主动推理中实现心智理论的多智能体协作框架，通过递归推理探索联合策略空间，仅基于可观测行为推断他人信念，在避碰和觅食任务中表现优于无ToM智能体，为可泛化多智能体系统提供新思路。
2025-09-04 cs.AI cs.MA
Beyond Task Performance: A Metric-Based Analysis of Sequential Cooperation in Heterogeneous Multi-Agent Destructive Foraging
Department of Electronic Engineering, University of Sevilla（电子工程系，塞维利亚大学）
本文提出一套通用合作度量标准，用于分析异构多智能体在破坏性觅食中的序列合作，涵盖效率、协调、依赖、公平性及敏感性，通过现实场景验证其有效性。
2026-02-11 cs.LG cs.MA
Multi-Agent Cooperation via Unsupervised Learning of Joint Intentions
本文提出一种基于可学习联合意图的分层MARL方法，通过无监督学习在潜在空间自主习得联合意图，以克服非单调回报问题，并在星际争霸微操作和MAgent领域取得显著性能提升。
2023-07-05 cs.MA
Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation
The Hong Kong Polytechnic University（香港理工大学）
许多现实世界的应用可以被表述为多智能体协作问题，例如网络数据包路由和自动驾驶汽车的协调。深度强化学习（deep reinforcement learning，DRL）的出现为多智能体协作提供了一种很有前途的方法。然而，传统的DRL解决方案遭受在策略搜索过程中具有连续动作空间的多个代理的高维数。此外，智能体策略的动态性使得训练过程具有非平稳性。为了解决这些问题，我们提出了一个分层的强化学习方法，高层次的决策和低层次的个人控制，有效的政策搜索。特别是，多个智能体的合作，可以学习高层次的离散行动空间有效。同时，低层次的个体控制可以简化为单智能体的强化学习。除了层次强化学习，我们提出了一个对手建模网络，在学习过程中建模其他代理的政策。与端到端DRL方法相比，我们的方法通过将整个任务以分层的方式分解为子任务来降低学习复杂度。为了评估我们的方法的效率，我们进行了一个真实的案例研究，在合作换道的情况下。仿真和实际实验都表明了该方法在碰撞率和收敛速度方面的优越性。
2022-06-25 cs.AI cs.MA cs.RO
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
A Review of Cooperation in Multi-agent Learning
King’s College London（伦敦国王学院）；Google DeepMind（谷歌DeepMind）
本文综述多智能体学习中的合作问题，梳理核心概念、任务设置、强化学习与序贯决策算法、合作挑战、近期进展及评价指标，并指出未来研究方向。
2023-12-08 cs.AI cs.GT cs.LG
Cooperation and Reputation Dynamics with Reinforcement Learning
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）；Monash University（莫纳什大学）；University of Bologna（博洛尼亚大学）
在自然和人工系统中，建立合作激励机制是一项挑战。一个潜在的答案是声誉，即代理商交易的直接成本的合作，为未来的利益，有一个良好的声誉。博弈理论模型表明，特定的社会规范可以使合作稳定，但代理人如何能够独立学习，建立有效的声誉机制，对自己的了解较少。我们使用一个简单的强化学习模型来说明声誉机制会产生两个协调问题：代理需要学习如何协调现有声誉的意义，并集体同意一个社会规范，根据他们的行为将声誉分配给其他人。这些协调问题表现出多重均衡，其中一些有效地建立合作。当我们训练代理与标准的Q-学习算法的环境中存在的声誉机制，收敛到不希望的均衡是普遍的。我们提出了两种机制来缓解这一点：（i）用固定的代理人来播种系统的一部分，这些代理人引导其他人走向良好的均衡;以及（ii）基于内省思想的内在奖励，即，增加代理人的奖励的数额成比例的表现，他们自己的战略对自己。这些简单机制的组合在稳定合作方面是成功的，即使在完全分散的问题版本中，代理人同时学习使用和分配声誉。我们展示了我们的研究结果与进化博弈论文献的关系，并讨论了对人工，人类和混合系统的影响，其中声誉可以作为建立信任和合作的一种方式。
2021-02-15 cs.AI cs.MA
Effects of non-uniform number of actions by Hawkes process on spatial cooperation
针对行动频率非均匀性对合作进化的影响研究不足的问题，该研究引入两类链式反应规则构建多智能体进化博弈模型，发现轻微非均匀性即可促进合作，且自身行动触发的场景更利于合作进化。
2024-06-21 cs.MA
MAPPO-LCR: Multi-Agent Proximal Policy Optimization with Local Cooperation Reward in Spatial Public Goods Games
Guizhou University（贵州大学）
MAPPO-LCR通过引入局部合作奖励，解决了空间公共物品游戏中个体收益耦合问题，提升了多智能体近端策略优化的群体协作能力。
2025-12-22 cs.GT cs.MA
Escaping the State of Nature: A Hobbesian Approach to Cooperation in Multi-agent Reinforcement Learning
Harvard College（哈佛学院）
合作是一种在许多不同学科中得到广泛研究的现象。在计算机科学领域，多智能体系统的模块化和鲁棒性提供了比单个机器显著的实际优势。与此同时，使用标准强化学习算法的智能体在不稳定的环境中往往无法实现长期的合作策略，因为存在短期的激励。另一方面，政治哲学研究的是人类合作的进化，这些人面临着类似的激励，以个人主义的方式行事，但仍然成功地形成了社会。托马斯·霍布斯在《利维坦》中提供了一个经典的分析，分析了从前社会的自然状态（在这种状态下，持续的背叛导致了持续的战争状态）到通过绝对主权机构实现的稳定的政治共同体的过渡。本文认为，霍布斯的自然和道德哲学是惊人的适用于人工智能代理，旨在表明他的政治解决方案是实验成功的生产之间的合作修改Q-学习代理。合作游戏是在一个名为《文明游戏》的小说《序贯社会困境》中实现的，它通过引入霍布斯的对手学习意识和多数投票机制来模拟自然状态，从而建立一个主权国家。
2019-06-05 cs.AI cs.GT cs.MA
How Can Robots Trust Each Other For Better Cooperation? A Relative Needs Entropy Based Robot-Robot Trust Assessment Model
University of Georgia（佐治亚大学）
多智能体和多机器人系统中的协作可以帮助智能体构建各种队形、形状和图案，以适应不同的情况，呈现相应的功能和目的。代理之间的关系，如他们的空间接近和功能相似性可以发挥至关重要的作用，代理之间的合作。代理之间的信任水平是评估其关系可靠性和稳定性的重要因素，就像人一样。本文提出了一种新的模型称为相对需求熵（RNE）来评估机器人代理之间的信任。RNE测量个体代理或代理组之间的需求分布距离。为了验证其效用，我们实现和证明我们的信任模型，通过实验模拟一个异构的多机器人分组任务，在一个持久的城市搜索和救援任务组成的任务，在两个级别的难度。结果表明，RNE基于信任的机器人分组可以实现更好的性能和适应性不同的任务执行相比，最先进的基于能量或基于距离的分组模型。
2021-08-31 cs.AI cs.MA cs.RO
AI for Global Climate Cooperation: Modeling Global Climate Negotiations, Agreements, and Long-Term Cooperation in RICE-N
Salesforce（赛富时）
全面的全球合作对于限制全球气温上升同时继续经济发展至关重要，例如，减少严重的不平等或实现长期经济增长。与n个战略代理人在减缓气候变化方面实现长期合作提出了一个复杂的博弈论问题。例如，代理人可以谈判并达成气候协议，但没有中央机构来强制遵守这些协议。因此，至关重要的是设计谈判和协议框架，以促进合作，使所有代理人都能实现各自的政策目标，并激励长期遵守。这是一个跨学科的挑战，需要机器学习、经济学、气候科学、法律、政策、伦理学和其他领域的研究人员进行合作。特别是，我们认为，机器学习是一个重要的工具，以解决这个领域的复杂性。为了促进这一研究，在这里，我们介绍RICE-N，一个多区域的综合评估模型，模拟全球气候和经济，并可以用来设计和评估不同的谈判和协议框架的战略成果。我们还描述了如何使用多智能体强化学习训练理性的代理使用RICE-N。该框架支持全球气候合作AI，这是一个关于气候谈判和协议设计的工作组合作和竞争。在这里，我们邀请科学界使用RICE-N、机器学习、经济直觉和其他领域知识来设计和评估他们的解决方案。更多信息可查阅www.ai4climatecoop.org。
2022-08-15 cs.LG cs.MA
Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming
本文提出'建设性相互依赖'作为评估人机协同合作的新指标，发现训练智能体虽能获得高任务奖励，但无法诱导协作行为，揭示任务奖励与合作无必然联系。
2026-01-17 cs.AI cs.MA
Emergence of Reputation-Based Cooperation in LLM Agents
RIKEN（理化学研究所）；Tohoku University（东北大学）
研究发现LLM智能体的合作鲁棒性由对手禀赋敏感性（图像评分机制）和叛逃者排除严格程度决定，其无法发展更鲁棒的Leading-Eight规范，凸显文化进化的LLM合作的漏洞并提出自下而上规范构建的需求。
2026-08-06 cs.MA cs.NE
CaPo: Cooperative Plan Optimization for Efficient Embodied Multi-Agent Cooperation
University of Amsterdam（阿姆斯特丹大学）；Singapore Management University（新加坡管理大学）；The Netherlands Cancer Institute（荷兰癌症研究所）；Archimedes/Athena RC（阿基米德/雅典娜研究中心）
针对LLM具身智能体协作缺乏长期规划导致效率低下的问题，提出两阶段框架CaPo，通过元计划生成与进度自适应执行提升协作效率，在ThreeDworld任务上显著超越现有方法。
2025-03-01 cs.AI cs.CV cs.MA
Learning Fair Cooperation in Mixed-Motive Games with Indirect Reciprocity
本文研究异质群体中基于间接互惠的合作与公平问题，结合演化博弈论与强化学习，发现多数群体叛逃会带动少数群体叛逃，且只有较窄的交互规范集合能使独立强化学习智能体收敛到公平合作。
2024-08-08 cs.GT cs.MA
Safe and Interpretable Multimodal Path Planning for Multi-Agent Cooperation
Johns Hopkins University（约翰霍普金斯大学）
CaPE通过多模态路径规划实现安全且可解释的多智能体协作，利用视觉-语言模型和模型基于规划器确保路径调整的安全性和可解释性。
2026-02-22 cs.AI cs.HC cs.MA
The Role of Social Learning and Collective Norm Formation in Fostering Cooperation in LLM Multi-Agent Systems
Center for Humans and Machines（人类与机器中心）；Max-Planck Institute for Human Development（人类发展马克斯·普朗克研究所）
本文提出了一种无显式奖励信号的CPR模拟框架，通过社会学习和规范惩罚机制研究LLM多智能体系统中合作与规范的内生形成。
2026-01-27 cs.AI cs.MA
