Deconstructing Cooperation and Ostracism via Multi-Agent Reinforcement Learning
Tohoku University（东北大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过多智能体强化学习仿真迭代囚徒困境博弈，厘清合作与网络重连的因果关系，发现排斥行为从合作学习中产生并反向强化合作，为网络重连下合作涌现的机制提供了新见解。
2023-10-06 cs.AI cs.MA cs.SI
Cooperation and Competition: Flocking with Evolutionary Multi-Agent Reinforcement Learning
在多智能体系统中，群集是一个非常具有挑战性的问题;传统的群集方法还需要对环境的完整了解和精确的控制模型。在本文中，我们提出了进化多智能体强化学习（EMARL）的群集任务，一个混合算法，结合合作和竞争，很少的先验知识。在合作方面，根据boids模型设计了集群任务的奖励。为了竞争，将适应度高的Agent设计为高级Agent，适应度低的Agent设计为低级Agent，让低级Agent随机继承高级Agent的参数。为了加强竞争，我们还设计了一个进化选择机制，显示在集群任务的信用分配有效。在一系列具有挑战性和自我对比的基准测试中的实验结果表明，EMARL显著优于完全竞争或合作方法。
2022-09-13 cs.AI cs.MA cs.RO
Reputation as a Solution to Cooperation Collapse in LLM-based MASs
School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学和电子学（iOPEN）学院）；Kyushu University（九州大学）；South China University of Technology（华南理工大学）；Yunnan University of Finance and Economics（云南财经大学）；Northwestern Polytechnical University（西北工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
RepuNet通过动态双层声誉框架解决基于大语言模型的多智能体系统中的合作崩溃问题，促进并维持合作。
2026-01-29 cs.AI cs.MA
Quantum Multi-Agent Reinforcement Learning for Autonomous Mobility Cooperation
Korea University（高丽大学）；Ajou University（亚洲大学）
针对多智能体强化学习参数利用率低和收敛难的问题，提出基于actor-critic的量子QMARL算法并引入PVM技术，将动作维度降至对数尺度，实现了高效参数利用、快速收敛和卓越的可扩展性。
2023-08-03 cs.AI cs.MA
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
The Price of Paranoia: Robust Risk-Sensitive Cooperation in Non-Stationary Multi-Agent Reinforcement Learning
Technical University of Munich (TU Munich)（慕尼黑技术大学）；Brown University（布朗大学）；Indian Institute of Technology Tirupati (IIT Tirupati)（Tirupati印度理工学院）
研究非平稳多智能体强化学习中合作均衡的鲁棒性，发现风险中性学习下合作均衡易崩溃，提出通过调整策略梯度更新方差来增强稳定性，引入 paranoia 的价格概念量化合作恢复能力。
2026-04-17 cs.AI cs.GT
Bottom-Up Reputation Promotes Cooperation with Multi-Agent Reinforcement Learning
本文提出自下而上的声誉学习方法LR2，通过声誉奖励塑形和策略聚类，在不依赖预定义规范的情况下促进多智能体在空间社会困境中的合作。
2025-02-04 cs.MA
The Role of Network Topology and Opponent Information in Shaping Cooperation in Multi-Agent Reinforcement Learning Systems
University College London（伦敦大学学院）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）；University of Bologna（博洛尼亚大学）
该研究探究多智能体强化学习中，图拓扑、对手行动历史与身份信息对迭代囚徒困境博弈合作行为的影响，发现节点邻居数、平均路径长度及伙伴选择等因素对合作的作用。
2026-09-01 cs.AI
Nodal cooperation equilibrium analysis in multihop wireless ad hoc networks with a reputation system
出于对合作安全的关注，这项工作探讨了选定的原则，国家的最先进的声誉系统的多跳adhoc网络和理性节点的最优策略的影响。提出了一个分析框架，并用于确定有效的合作执法计划。它指出，一个最佳的，而不是高信誉可以预期寻求理性的节点。
2020-01-16 cs.MA cs.NI
Argus: Smartphone-enabled Human Cooperation via Multi-Agent Reinforcement Learning for Disaster Situational Awareness
Rutgers University（罗格斯大学）；Department of Homeland Security Science & Technology Directorate（国土安全部科学技术局）
Argus利用多智能体强化学习（MARL）框架，使用事故区域周围的智能体创建灾难现场的3D地图，以促进救援行动。这些智能体既可以是灾难现场的人类旁观者，也可以是可以帮助人类的无人机或机器人。代理参与使用智能手机（或无人机情况下的机载摄像头）捕获场景的图像，由MARL算法指导。这些图像被用来构建灾难现场的实时的3D地图。通过模拟和真实的实验，评估的框架在跟踪环境的随机动态性方面的有效性。
2019-04-29 cs.AI cs.CY cs.LG
Concept Learning for Cooperative Multi-Agent Reinforcement Learning
School of Mangement Engineering（管理工程学院）；School of Information Mangement（信息管理学院）
针对多智能体强化学习黑箱导致的协作机制不透明问题，提出基于概念瓶颈的可解释价值分解方法CMQ，在星际争霸II和LBF任务上性能超越SOTA，还支持概念干预检测协作偏差与伪影。
2025-07-27 cs.AI
CTC: The Composite Task Challenge for Cooperative Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）
针对合作多智能体强化学习中缺乏评估分工与合作基准任务的问题，提出复合任务挑战（CTC），基于特定原则构建任务，评估多种方法发现现有方法有局限，引入引导性方案虽证明可解但性能欠佳，凸显 CTC 对推进该领域研究的价值。
2026-07-20 cs.AI cs.LG cs.MA
Improved cooperation by balancing exploration and exploitation in intertemporal social dilemma tasks
ZheJiang University of Technology（浙江工业大学）
当个体的行为具有理性特征时，这可能导致群体的非理性集体行动。从动物到人类的各种生物体经常进化出合作的社会属性来应对这一挑战。因此，个体之间的合作对于让社会有机体适应自然环境的变化具有重要意义。基于多智能体强化学习，我们提出了一种新的学习策略，通过将学习率，可以平衡探索和开发，以实现协调。我们证明，代理人使用简单的策略，提高了相对集体的回报，在一个决策任务称为跨期的社会困境，其中个人和群体之间的冲突是特别尖锐的。我们还探讨了学习率的多样性对强化学习代理的人口的影响，并表明在异质群体中训练的代理制定特别协调的政策相对于在同质群体中训练的代理。
2021-10-19 cs.AI cs.CY cs.MA
Mixture of personality improved Spiking actor network for efficient multi-agent cooperation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
受人格理论启发，提出混合人格改进的脉冲演员网络（MoP-SAN），利用行列式点过程模拟人格形成，在Overcooked任务中实现高效多智能体协作与良好泛化。
2023-05-10 cs.AI cs.MA cs.NE
Evolutionary stability of cooperation in indirect reciprocity under noisy and private assessment
本文首次从理论上证明间接互惠合作在私有评估下可演化稳定，发现简单常设（SS）规范稳定而严厉评判（SJ）不稳定，揭示适度简单性是维持合作的关键。
2023-02-07 cs.GT cs.MA math.OC
Learning Fair Cooperation in Mixed-Motive Games with Indirect Reciprocity
本文研究异质群体中基于间接互惠的合作与公平问题，结合演化博弈论与强化学习，发现多数群体叛逃会带动少数群体叛逃，且只有较窄的交互规范集合能使独立强化学习智能体收敛到公平合作。
2024-08-08 cs.GT cs.MA
Self-Clustering Hierarchical Multi-Agent Reinforcement Learning with Extensible Cooperation Graph
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CETC Information Science Academy（中国电子科技集团公司信息科学研究院）
本文提出分层合作图学习（HCGL）模型，通过动态可扩展合作图引导智能体行为，整合基本与合作动作，在稀疏奖励基准中表现优异且支持大规模零样本迁移。
2024-03-26 cs.AI
Hierarchical Consensus-Based Multi-Agent Reinforcement Learning for Multi-Robot Cooperation Tasks
Beihang University（北京航空航天大学）；State Grid Corporation of China（国家电网有限公司）
提出HC-MARL框架，通过对比学习构建多层级全局共识，并结合自适应注意力机制优化多机器人协作，显著超越基线。
2024-08-23 cs.AI cs.MA cs.RO
Computational Foundations for Strategic Coopetition: Formalizing Trust and Reputation Dynamics
本文提出一种双层信任模型，结合博弈论与动态信任演变，通过实验验证其在合作者竞争中的有效性。
2026-01-07 cs.AI cs.CY cs.MA
Evolutionary Stability Does Not Guarantee Learning Accessibility: A Multi-Agent Reinforcement Learning Perspective on Cooperation Emergence
Liupanshui Normal University（六盘水师范学院）
本研究通过三智能体治理博弈证明，进化稳定性不保证多智能体强化学习中的合作可达性，并提出了比较群体稳定性与有限样本学习可达性的框架。
2026-09-24 cs.AI
Distributed General-Purpose Agent Networks: Architecture, Key Mechanisms, and Prototypes
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）
提出分布式通用智能体网络架构，通过协议适配层连接上层任务语义与底层网络操作，解决语义公告传播、可信身份与多主题声誉、语义梯度机制设计三大核心问题，实现开放可信的智能体协作。
2026-06-17 cs.AI cs.NI
Emergent Cooperation under Uncertain Incentive Alignment
University of Groningen（格罗宁根大学）；ILLC & IvI, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所及信息学研究所）；Vrije Universiteit Brussels（布鲁塞尔自由大学）；Utrecht University（乌得勒支大学）
本文研究稀疏交互与激励一致性不确定条件下强化学习智能体的合作涌现，发现声誉机制与内在奖励能显著改善合作及混合动机场景中的表现。
2024-01-23 cs.AI cs.GT cs.MA
Evolutionary stability of cooperation by the leading eight norms in indirect reciprocity under noisy and private assessment
该研究提出新方法分析私有评估下的声誉结构，通过“善良度”和“自我声誉”两变量探讨“领先八项”社会规范的演化稳定性，揭示了实现高水平合作的关键枢纽。
2023-10-19 cs.GT cs.MA physics.soc-ph
Words are not Wind -- How Public Joint Commitment and Reputation Solve the Prisoner's Dilemma
本研究针对囚徒困境中联合承诺无法消除背叛诱惑的问题，提出结合公开联合承诺与类间接互惠声誉系统的机制，实现稳定合作，拓展了联合承诺的效用边界并解释其公开性成因。
2025-02-19 cs.GT cs.MA cs.NE
Emergence of Reputation-Based Cooperation in LLM Agents
RIKEN（理化学研究所）；Tohoku University（东北大学）
研究发现LLM智能体的合作鲁棒性由对手禀赋敏感性（图像评分机制）和叛逃者排除严格程度决定，其无法发展更鲁棒的Leading-Eight规范，凸显文化进化的LLM合作的漏洞并提出自下而上规范构建的需求。
2026-08-06 cs.MA cs.NE
Investigating the Impact of Direct Punishment on the Emergence of Cooperation in Multi-Agent Reinforcement Learning Systems
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文研究直接惩罚与第三方惩罚、伙伴选择及声誉等机制结合时，对MARL种群中合作涌现及学习动态的影响，并探讨其对合作型AI设计的意义。
2024-06-17 cs.AI cs.LG cs.MA
Maintaining cooperation in complex social dilemmas using deep reinforcement learning
Facebook AI Research（脸书人工智能研究院）
社会困境是指个体面临以牺牲总福利为代价来增加其收益的诱惑。构建在这些情况下实现良好结果的人工智能代理很重要，因为许多现实世界的交互都包括自私利益和他人福利之间的紧张关系。我们展示了如何修改现代强化学习方法来构建代理，这些代理的行为方式简单易懂，友好（从合作开始），可挑衅（尽量避免被利用）和宽容（尽量回到相互合作）。我们从理论和实验上表明，这样的代理可以保持合作，在马尔可夫社会困境。我们的构建不需要超越自我游戏修改的训练方法，因此，如果一个环境是这样的，那么在零和情况下可以构建好的策略（例如。Atari），那么我们就可以构造出在这种环境下解决社会困境的智能体。
2018-03-02 cs.AI cs.GT cs.MA
Strategic Analysis of Trust Models for User-Centric Networks
我们提出了一个战略分析的信任模型，最近提出了促进以用户为中心的网络中的合作行为。合作机制基于声誉和虚拟货币计划的组合，其中服务提供商通过调整他们的声誉来奖励付费客户并惩罚不付费客户，从而调整他们为服务支付的价格。我们使用PRISM-games对该系统进行建模和分析，PRISM-games是一种使用带奖励的概率交替时间时态逻辑（rPATL）对随机多人游戏进行自动验证和策略合成的工具。我们为服务使用者和提供者构建最佳策略，暴露合作机制的潜在风险，并用于设计抵消这些风险的改进措施。
2013-03-04 cs.GT cs.MA
Escaping the State of Nature: A Hobbesian Approach to Cooperation in Multi-agent Reinforcement Learning
Harvard College（哈佛学院）
合作是一种在许多不同学科中得到广泛研究的现象。在计算机科学领域，多智能体系统的模块化和鲁棒性提供了比单个机器显著的实际优势。与此同时，使用标准强化学习算法的智能体在不稳定的环境中往往无法实现长期的合作策略，因为存在短期的激励。另一方面，政治哲学研究的是人类合作的进化，这些人面临着类似的激励，以个人主义的方式行事，但仍然成功地形成了社会。托马斯·霍布斯在《利维坦》中提供了一个经典的分析，分析了从前社会的自然状态（在这种状态下，持续的背叛导致了持续的战争状态）到通过绝对主权机构实现的稳定的政治共同体的过渡。本文认为，霍布斯的自然和道德哲学是惊人的适用于人工智能代理，旨在表明他的政治解决方案是实验成功的生产之间的合作修改Q-学习代理。合作游戏是在一个名为《文明游戏》的小说《序贯社会困境》中实现的，它通过引入霍布斯的对手学习意识和多数投票机制来模拟自然状态，从而建立一个主权国家。
2019-06-05 cs.AI cs.GT cs.MA
Evaluating Reputation Systems for Agent Mediated e-Commerce
Agent中介的电子商业是通过软件代理在Internet上进行买卖。代理中介的电子商业系统的成功取决于潜在的信誉管理系统，该系统用于提高电子市场环境中的服务质量。信誉系统鼓励卖方代理人的诚实行为，并阻止不诚实的卖方代理人在实际交易者从不见面的电子市场中的恶意行为。本文评估了各种信誉系统分配信誉评级的软件代理代表买卖双方在电子市场。这些模型进行了分析的基础上的一些功能，即信誉计算和防御机制，对不同的攻击。为了解决传统的声誉系统是相对静态的性质的问题，本文确定了一个动态的声誉框架，确保明智地使用信息共享的代理人之间的合作，并将代理人的声誉与交易的价值，使市场接近一个均衡状态和不诚实的代理人被淘汰出市场的特点。
2013-03-29 cs.MA
A Dynamic Framework of Reputation Systems for an Agent Mediated e-market
University of Delhi（德里大学）
代理中介电子市场系统的成功在于潜在的信誉管理系统，以提高服务质量在信息不对称的电子市场。信誉提供了一种可操作的度量，用于在相互未知的在线实体之间建立可信度。信誉系统鼓励电子市场参与者的诚实行为，阻止其恶意行为。动态信誉模型将提供有关不断变化的电子市场环境的几乎即时的知识，并将利用互联网的能力，为信誉计算的持续互动。本文提出了一个动态信誉框架，使用强化学习和模糊集理论，确保明智地使用信息共享的代理间的合作。该框架对电子市场中交易价值、代理人经验等参数的变化敏感，旨在提高信誉系统对各种攻击的内在防御机制，使电子市场达到均衡状态，并将不诚实的代理人淘汰出市场。
2011-10-18 cs.AI cs.IT cs.MA
A Formal Framework for Modeling Trust and Reputation in Collective Adaptive Systems
分布式协作系统的信任和声誉模型已经在多个领域得到了研究和应用，以促进合作，同时防止自私和恶意行为。尽管如此，这种模型在正式指定和分析上述系统功能的过程中受到的关注较少。本文的目的是定义一个过程代数框架的建模系统，使用（i）信任和声誉来管理节点之间的交互，和（ii）通信模型的特点是高层次的自适应性和灵活性。因此，我们提出了一个形式主义的验证，通过模型检验技术，这些系统的鲁棒性方面进行的典型攻击对Web的信任。
2016-07-08 cs.LO cs.MA
Modeling human reputation-seeking behavior in a spatio-temporally complex public good provision game
本文以 Clean Up 博弈和人类实验为基础，提出基于声誉合作的多智能体强化学习模型，复现了可识别与匿名条件下的群体表现差异及轮流合作机制。
2025-06-06 cs.MA
A Dynamic Model for Sharing Reputation of Sellers among Buyers for Enhancing Trust in Agent Mediated e-market
信誉系统旨在降低由于不可信的参与者而造成的损失风险。这种损失由于不诚实的顾问为了自身利益而试图污染电子市场环境而加剧。声誉系统的一个主要任务是促进和鼓励那些反复回应公平建议的顾问，并应用意见过滤或诚实检查机制来发现和抵制不诚实的顾问。本文提出了一种动态的方法来计算聚合共享信誉组件过滤掉不公平的建议，然后生成聚合共享信誉值。所提出的方法本质上是动态的，因为它对顾问的行为、当前交易的价值敏感，并鼓励作为顾问的买家之间的合作。它通过增加诚实顾问意见的权重，并使诚实顾问的声誉与交易价值单调成比例，来激励诚实顾问，而不是重复分享诚实的意见。
2012-01-18 cs.HC cs.MA cs.SI
A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Electronics Technology Group Corporation Information Science Academy of China（中国电子科技集团公司信息科学研究院）
多智能体强化学习（MARL）可以解决复杂的协作任务。然而，现有的MARL方法的效率在很大程度上依赖于定义良好的奖励函数。具有稀疏奖励反馈的多智能体任务特别具有挑战性，不仅因为信用分配问题，而且由于获得正奖励反馈的概率很低。在本文中，我们设计了一个图网络称为合作图（CG）。合作图是两个简单二部图的组合，即代理聚类子图（ACG）和集群指定子图（CDG）。然后，基于这种新的图结构，提出了一种协作图多智能体强化学习（CG-MARL）算法，该算法能够有效地处理多智能体任务中的稀疏奖励问题。在CG-MARL中，Agent由合作图直接控制。并训练策略神经网络来操纵该合作图，引导Agent以隐式方式实现合作。CG-MARL的这种层次化特征为定制的集群动作提供了空间，这是一个用于引入基本协作知识的可扩展接口。在实验中，CG-MARL在稀疏奖励多智能体基准测试中表现出最先进的性能，包括反入侵拦截任务和多货物交付任务。
2022-08-05 cs.AI cs.LG cs.MA
Enabling Imitation-Based Cooperation in Dynamic Social Networks
几十年来，自利代理之间合作的出现一直是多代理系统社区的一个关键问题。随着以网络为媒介的互动的重要性的增加，研究人员已经转移了注意力的影响，社交网络及其动态在促进或阻碍合作，得出各种上下文相关的结论。例如，一些理论和实验研究表明，在网络进化的时间尺度比率中存在阈值效应，之后将出现合作，而其他研究则对此提出异议，建议存在金发女孩区。在本文中，我们提供了一个进化博弈论框架，从自下而上的角度来理解共同进化过程--特别是合作者核心和缺陷者外围的出现--澄清了合作伙伴选择和模仿策略对促进合作行为的影响，而无需假设潜在的沟通或声誉机制。在这样做的过程中，我们提供了一个统一的框架来研究模仿为基础的合作，在动态社交网络，并表明，文献中的争议实际上可以共存，只要结果源于不同的同样有效的假设。
2022-02-08 cs.GT cs.MA math.DS
Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation
The Hong Kong Polytechnic University（香港理工大学）
许多现实世界的应用可以被表述为多智能体协作问题，例如网络数据包路由和自动驾驶汽车的协调。深度强化学习（deep reinforcement learning，DRL）的出现为多智能体协作提供了一种很有前途的方法。然而，传统的DRL解决方案遭受在策略搜索过程中具有连续动作空间的多个代理的高维数。此外，智能体策略的动态性使得训练过程具有非平稳性。为了解决这些问题，我们提出了一个分层的强化学习方法，高层次的决策和低层次的个人控制，有效的政策搜索。特别是，多个智能体的合作，可以学习高层次的离散行动空间有效。同时，低层次的个体控制可以简化为单智能体的强化学习。除了层次强化学习，我们提出了一个对手建模网络，在学习过程中建模其他代理的政策。与端到端DRL方法相比，我们的方法通过将整个任务以分层的方式分解为子任务来降低学习复杂度。为了评估我们的方法的效率，我们进行了一个真实的案例研究，在合作换道的情况下。仿真和实际实验都表明了该方法在碰撞率和收敛速度方面的优越性。
2022-06-25 cs.AI cs.MA cs.RO
Emergent collective intelligence from massive-agent cooperation and competition
Tsinghua University, Shenzhen International Graduate School（清华大学深圳国际研究生院）；University of California, San Diego（加州大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
受地球上不同种群之间通过合作和竞争进化的生物体的启发，我们通过代理强化学习来研究人工集体智能的出现。为此，我们提出了一个新的智能体强化学习环境，勒克斯，在两个团队中的动态和大规模的代理争夺有限的资源和击退黑暗。在Lux中，我们通过课程学习阶段的标准强化学习算法构建代理，并通过像素到像素的策略网络利用集中控制。当智能体通过自我游戏共同进化时，我们观察到智能的几个阶段，从获得原子技能到发展群体策略。由于这些学习的群体策略产生于没有明确协调机制的个人决策，我们认为人工集体智能产生于个体-主体的合作和竞争。我们进一步分析了各种学习策略的出现，通过指标和消融研究，旨在提供见解的强化学习实现在智能体环境。
2023-01-05 cs.AI cs.MA
GRPO-GCC: Enhancing Cooperation in Spatial Public Goods Games via Group Relative Policy Optimization with Global Cooperation Constraint
本文提出GRPO-GCC框架，首次将组相对策略优化引入空间公共品博弈，通过全局合作约束动态调整激励，防止系统崩溃，实现加速合作、稳定适应和长期可持续性，为多智能体强化学习提供新范式。
2025-10-07 cs.GT cs.MA
Learning Nudges for Conditional Cooperation: A Multi-Agent Reinforcement Learning Model
本文提出多智能体强化学习模型，让深度强化学习智能体通过助推激励3名条件合作者合作；实验表明两种奖励设计均显著提升贡献总额与合作比例。
2024-09-14 cs.MA
Coevolution of cognition and cooperation in structured populations under reinforcement learning
本文研究规则网络上囚徒困境中强化学习驱动的行为演化，发现重复互动概率阈值可促使双过程合作者涌现，且节点度数越小越不利其演化成功，同时深思频率更高。
2024-03-27 cs.GT cs.MA econ.GN
Satellites swarm cooperation for pursuit-attachment tasks with transformer-based reinforcement learning
提出融合Transformer和专家网络的强化学习框架，通过通信共享与序列建模解决非合作卫星追捕-附着任务中的多星协作与可扩展性问题，仿真验证了其鲁棒性与高成功率。
2024-06-03 cs.MA
A Cellular Automata Approach to Donation Game
本文利用一维二元元胞自动机研究捐赠博弈中的合作动态，通过定义符合博弈机制的规则、引入噪声模型和策略变异矩阵，发现智能体移动性和空间局部性显著影响合作，强调了区分随机与近邻交互系统的重要性。
2025-07-15 cs.GT cs.MA physics.soc-ph
How Exploration Breaks Cooperation in Shared-Policy Multi-Agent Reinforcement Learning
National Taiwan University（国立台湾大学）；Lehigh University（利哈伊大学）
本研究揭示了共享策略多智能体强化学习中探索如何导致合作崩溃，指出参数耦合与部分可观测性引起的表示失败是根本原因。
2026-01-09 cs.MA physics.soc-ph
CoopEval: Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas
Carnegie Mellon University；Foundations of Cooperative AI Lab (FOCAL)；Jinesis Lab, University of Toronto \& Vector Institute；ETH Z\" u rich；Max Planck Institute for Intelligent Systems, T\" u bingen, Germany
研究探讨了社会困境中合作维持机制与LLM代理的交互效果，发现重复游戏和声誉系统最有效，但合作效果随对手变化而下降，且在进化压力下更有效。
2026-07-07 cs.AI cs.CL cs.CY
Realistic gossip in Trust Game on networks: the GODS model
University of Warsaw（华沙大学）；University of Groningen（格罗宁根大学）
GODS 模型通过结合现实 gossip 过程与信任游戏变体，展示了 gossip 如何通过提升合作效率来解决声誉系统中的合作问题。
2025-11-25 cs.CY cs.MA cs.SI
After Cooperation Is Learned: Gradient Routing and Optimizer-Dependent Maintenance in Multi-Agent Reinforcement Learning
本研究通过右删失事件时间框架和梯度路由控制实验，发现直接价值梯度访问在特定缩放条件下增加合作维持风险，而非评论家本身的普遍问题。
2026-10-02 cs.MA
Cooperation in public goods game on square lattices with agents changing interaction groups
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用物理研究所）
研究探讨了在无外部机制情况下，正方形晶格上代理群体中合作的形成机制，通过交互网络多样性促进合作，并发现代理切换交互邻域会抑制合作形成。
2026-05-11 cs.MA nlin.AO physics.soc-ph
Curriculum Learning for Cooperation in Multi-Agent Reinforcement Learning
Mila（米拉研究所）；Laval University（拉瓦尔大学）；AI Redefined；University of Alberta（阿尔伯塔大学）
针对多智能体强化学习中协作训练的队友选择及课程设计问题，本文通过Overcooked游戏实验发现低技能预训练队友利于团队奖励但不利于智能体学习，且技能递减的队友课程表现更优。
2023-12-19 cs.AI cs.LG cs.MA
Validating Generative Agent-Based Models of Social Norm Enforcement: From Replication to Novel Predictions
本研究提出两阶段验证方法，基于社会困境范式验证基于生成式智能体的社会规范执行模型，明确关键认知组件，并生成关于第三方惩罚、公共物品合作的可检验新结论。
2025-07-29 cs.MA
Credit-cognisant reinforcement learning for multi-agent cooperation
Stellenbsoch University（斯泰伦博斯大学）
传统的多智能体强化学习（MARL）算法，如独立Q学习，在部分可观察的场景中，以及需要智能体开发精细的动作序列时，会遇到困难。这通常是因为只有在其他行为体采取了他们的行动之后，才能对一个好的行动给予奖励，而这些行动并没有相应地被记入贷方。递归神经网络已被证明是解决这些类型问题的可行解决方案策略，与其他方法相比，性能显着提高。在本文中，我们探索了一种不同的方法，并专注于用于更新每个代理的动作价值函数的经验。我们引入了信用认知奖励（CCR）的概念，它允许代理感知其行为对环境以及对合作代理的影响。我们表明，通过操纵这些经验并构建其中包含的奖励，以包括同一动作序列中所有智能体获得的奖励，我们能够显着提高独立深度Q学习和深度递归Q学习的性能。我们评估和测试了将CCR应用于流行纸牌游戏Hanabi简化版本的深度强化学习技术时的性能。
2022-11-18 cs.LG cs.MA
Graph Convolutional Reinforcement Learning
Peking University（北京大学）；Rice University（莱斯大学）
学习合作在多智能体环境中至关重要。关键是要理解代理之间的相互作用。然而，多智能体环境是高度动态的，其中智能体保持移动，并且它们的邻居快速变化。这使得很难学习代理之间相互作用的抽象表示。为了解决这些困难，我们提出了图卷积强化学习，其中图卷积适应多智能体环境的底层图的动态，关系内核通过它们的关系表示来捕获智能体之间的相互作用。利用卷积层从逐渐增加的感受野中产生的潜在特征来学习合作，并通过时间关系正则化来进一步改善合作以实现一致性。经验上，我们表明，我们的方法大大优于现有的方法在各种合作的情况下。
2020-02-11 cs.AI cs.LG cs.MA
Learning enables adaptation in cooperation for multi-player stochastic games
自然种群中个体间的相互作用往往发生在动态变化的环境中。理解环境变化在种群动力学中的作用一直是理论生态学和种群生物学的中心课题。然而，关键的问题是，在具有挑战性的社会困境中，个人（例如，“公地悲剧”），调整他们的行为以适应环境的波动尚未得到令人满意的解决。利用演化博弈论和随机博弈，我们开发了一个博弈理论框架，结合强化学习的自适应机制，研究合作行为是否可以在不断变化的群体交互环境中进化。当参与者的行动选择仅受过去增援的轻微影响时，我们构造了一个分析条件来确定合作是否会比背叛更受青睐。直觉上，这个条件揭示了为什么以及如何环境可以调解合作困境。在我们的模型架构下，我们还将这种学习机制与两种非学习决策规则进行了比较，我们发现，学习显著提高了弱社会困境中的合作倾向，而与此形成鲜明对比的是，阻碍了强社会困境中的合作。我们的研究结果表明，在复杂的社会生态困境，学习使个人适应不同的环境。
2020-07-29 cs.GT cs.MA physics.bio-ph
Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法，在执行前排练住宅能源协调，实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
