Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation
The Hong Kong Polytechnic University（香港理工大学）
许多现实世界的应用可以被表述为多智能体协作问题，例如网络数据包路由和自动驾驶汽车的协调。深度强化学习（deep reinforcement learning，DRL）的出现为多智能体协作提供了一种很有前途的方法。然而，传统的DRL解决方案遭受在策略搜索过程中具有连续动作空间的多个代理的高维数。此外，智能体策略的动态性使得训练过程具有非平稳性。为了解决这些问题，我们提出了一个分层的强化学习方法，高层次的决策和低层次的个人控制，有效的政策搜索。特别是，多个智能体的合作，可以学习高层次的离散行动空间有效。同时，低层次的个体控制可以简化为单智能体的强化学习。除了层次强化学习，我们提出了一个对手建模网络，在学习过程中建模其他代理的政策。与端到端DRL方法相比，我们的方法通过将整个任务以分层的方式分解为子任务来降低学习复杂度。为了评估我们的方法的效率，我们进行了一个真实的案例研究，在合作换道的情况下。仿真和实际实验都表明了该方法在碰撞率和收敛速度方面的优越性。
2022-06-25 cs.AI cs.MA cs.RO
Reputation as a Solution to Cooperation Collapse in LLM-based MASs
School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学和电子学（iOPEN）学院）；Kyushu University（九州大学）；South China University of Technology（华南理工大学）；Yunnan University of Finance and Economics（云南财经大学）；Northwestern Polytechnical University（西北工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
RepuNet通过动态双层声誉框架解决基于大语言模型的多智能体系统中的合作崩溃问题，促进并维持合作。
2026-01-29 cs.AI cs.MA
Escaping the State of Nature: A Hobbesian Approach to Cooperation in Multi-agent Reinforcement Learning
Harvard College（哈佛学院）
合作是一种在许多不同学科中得到广泛研究的现象。在计算机科学领域，多智能体系统的模块化和鲁棒性提供了比单个机器显著的实际优势。与此同时，使用标准强化学习算法的智能体在不稳定的环境中往往无法实现长期的合作策略，因为存在短期的激励。另一方面，政治哲学研究的是人类合作的进化，这些人面临着类似的激励，以个人主义的方式行事，但仍然成功地形成了社会。托马斯·霍布斯在《利维坦》中提供了一个经典的分析，分析了从前社会的自然状态（在这种状态下，持续的背叛导致了持续的战争状态）到通过绝对主权机构实现的稳定的政治共同体的过渡。本文认为，霍布斯的自然和道德哲学是惊人的适用于人工智能代理，旨在表明他的政治解决方案是实验成功的生产之间的合作修改Q-学习代理。合作游戏是在一个名为《文明游戏》的小说《序贯社会困境》中实现的，它通过引入霍布斯的对手学习意识和多数投票机制来模拟自然状态，从而建立一个主权国家。
2019-06-05 cs.AI cs.GT cs.MA
Bottom-Up Reputation Promotes Cooperation with Multi-Agent Reinforcement Learning
本文提出自下而上的声誉学习方法LR2，通过声誉奖励塑形和策略聚类，在不依赖预定义规范的情况下促进多智能体在空间社会困境中的合作。
2025-02-04 cs.MA
Cooperation-Aware Reinforcement Learning for Merging in Dense Traffic
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
对于自动驾驶汽车来说，在密集的交通中做出决策可能是一项挑战。仅依赖于预定义的道路优先级并将其他驾驶员视为移动物体的自动系统将导致车辆冻结并导致机动失败。人类驾驶员利用其他驾驶员的合作来避免这种僵局情况，并说服其他人改变他们的行为。决策算法必须考虑与其他驾驶员的互动，并预测广泛的驾驶员行为。在这项工作中，我们提出了一个强化学习的方法来学习如何与不同的合作水平的驱动程序进行交互。我们通过保持对其他驾驶员合作水平的信念来增强传统强化学习算法的性能。我们表明，我们的代理成功地学习如何导航密集的合并方案，比在线规划方法少死锁。
2019-06-26 cs.AI cs.LG cs.RO
Nodal cooperation equilibrium analysis in multihop wireless ad hoc networks with a reputation system
出于对合作安全的关注，这项工作探讨了选定的原则，国家的最先进的声誉系统的多跳adhoc网络和理性节点的最优策略的影响。提出了一个分析框架，并用于确定有效的合作执法计划。它指出，一个最佳的，而不是高信誉可以预期寻求理性的节点。
2020-01-16 cs.MA cs.NI
RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，强化学习在多智能体领域面临着一些挑战，例如信用分配问题。价值函数分解是一种很有前途的方法来处理信用分配问题下的集中训练与分散执行（CTDE）范式。然而，现有的价值函数分解方法不能处理ad-hoc合作，即，适应新的配置的队友在测试时。具体而言，这些方法没有明确地利用代理之间的关系，不能适应不同大小的输入。为了解决这些限制，我们提出了一种新的方法，称为感知信用分配（RACA），它实现了zero-shot泛化在ad-hoc合作的情况下。RACA利用一个基于图的关系编码器来编码代理之间的拓扑结构。此外，RACA利用了一个基于注意力的观察抽象机制，可以推广到任意数量的队友与固定数量的参数。实验表明，我们的方法优于基线方法的StarCraftII微管理基准和特设合作方案。
2022-06-02 cs.AI cs.LG
A multi-agent reinforcement learning model of reputation and cooperation in human groups
DeepMind（深度思维）；UCL（伦敦大学学院）
集体行动要求个人有效地协调合作的程度、地点和时间。实验室实验已经广泛地探索了这个过程的第一部分，证明了各种社会认知机制会影响个人选择在团队努力中投入多少。然而，实验研究一直无法阐明社会认知机制如何影响集体行动的地点和时间。我们建立并测试了人类行为的计算模型清理，社会困境的任务流行的多智能体强化学习研究。我们表明，人类团体有效地合作，清理时，他们可以识别组成员和跟踪声誉随着时间的推移，但未能组织在匿名的条件下。信誉的多智能体强化学习模型在可识别性和匿名性条件下的合作表现出相同的差异。此外，该模型准确地预测了空间和时间模式的群体行为：在这个公共产品的困境，声誉的内在动机催化发展的非领土，话轮转换策略，以协调集体行动。
2023-02-22 cs.AI cs.GT cs.MA
Inter-Level Cooperation in Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
分层的时间解耦的政策提出了一个很有前途的方法，使结构化的探索在复杂的长期规划问题。为了充分实现这一方法，需要一种端到端的培训模式。然而，培训这些多层次的政策取得了有限的成功，由于在一个层次结构内的目标分配和目标实现之间的互动所产生的挑战。在这篇文章中，我们认为政策的优化过程是一个多主体的过程。这使我们能够利用多智能体RL中的通信与合作之间的联系，并证明子策略之间增加合作对整体策略的训练性能的好处。我们引入了一个简单而有效的技术，通过修改目标函数和随后的梯度更高级别的政策诱导层间合作。各种各样的模拟机器人和交通控制任务的实验结果表明，诱导合作的结果更强的执行政策和增加样本效率的一组困难的长时间范围的任务。我们还发现，使用我们的方法训练的目标条件策略显示出更好的迁移到新任务，突出了我们的方法在学习任务不可知的低级别行为方面的好处。视频和代码可在https://sites.google.com/berkeley.edu/cooperative-hrl上获得。
2021-11-17 cs.AI cs.LG stat.ML
Curriculum Learning for Cooperation in Multi-Agent Reinforcement Learning
Mila（米拉研究所）；Laval University（拉瓦尔大学）；AI Redefined；University of Alberta（阿尔伯塔大学）
针对多智能体强化学习中协作训练的队友选择及课程设计问题，本文通过Overcooked游戏实验发现低技能预训练队友利于团队奖励但不利于智能体学习，且技能递减的队友课程表现更优。
2023-12-19 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Digital Twin-Oriented Complex Networked Systems
本研究提出时间型DT-CNS模型，利用强化学习驱动节点在疫情爆发时进行时间型有向交互决策，发现完全合作能提升奖励并降低感染，而“搭便车者”会削弱网络韧性。
2024-11-09 cs.AI
Tackling Asymmetric and Circular Sequential Social Dilemmas with Reinforcement Learning and Graph-based Tit-for-Tat
Orange Labs（奥兰治实验室）；IRISA（法国国家信息与自动化研究所雷恩分院/法国信息与自动化研究所（注：IRISA 是法国国家科学研究中心 CNRS、法国国家信息与自动化研究所 INRIA 等联合组建的研究机构，常见中文名保留缩写 IRISA，或译为“雷恩信息系统与随机系统研究所”，此处取通用常用译法为 IRISA 研究所））
在许多社会和工业互动中，参与者通常更喜欢以牺牲全球福利为代价来追求纯粹的自身利益。这类非合作博弈被称为社会困境，它提供了多个参与者都应该合作以实现最佳结果的情况，但贪婪和恐惧会导致最坏的利己主义问题。最近，深度强化学习（RL）的出现引起了人们对社会困境的兴趣，并引入了顺序社会困境（SSD）。混合强化学习策略和以牙还牙策略的合作代理已经成功地解决了一些非最优纳什均衡问题。然而，这种模式要求行为者之间进行对称和直接的合作，而当相互合作变得不对称时，就不具备这些条件，而且只有在至少有第三个行为者的情况下才有可能进行循环合作。为了解决这个问题，本文扩展了SSD与循环顺序社会困境（CSSD），一种新的马尔可夫游戏，更好地概括了代理之间的合作的多样性。其次，为了解决这种循环和不对称的合作，我们提出了一个基于RL策略和基于图的TFT的候选解决方案。我们在一个简单的多玩家网格世界上进行了一些实验，它提供了适应性强的合作结构。我们的工作证实，我们的基于图的方法是有益的，以解决循环的情况下，通过鼓励自我利益的代理人达成相互合作。
2022-06-26 cs.AI cs.GT
Autonomous Self-Explanation of Behavior for Interactive Reinforcement Learning Agents
Keio University（庆应义塾大学）；Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）
在合作中，员工必须了解同事的行为。然而，一个代理的政策，这是嵌入在一个统计机器学习模型，是很难理解的，需要大量的时间和知识来理解。因此，人们很难预测机器学习机器人的行为，这使得人机合作具有挑战性。在本文中，我们提出了基于指令的行为解释（IBE），一种方法来解释一个自治代理的未来行为。在IBE中，Agent可以通过重用人类专家给出的指令来自主获取解释自己行为的表达式，以加速Agent策略的学习。IBE还使发展代理，其政策可能会改变合作期间，以解释自己的行为与足够的时间粒度。
2018-10-20 cs.AI
Guided Cooperation in Hierarchical Reinforcement Learning via Model-based Rollout
Tongji University（同济大学）；Brunel University（布鲁内尔大学）
针对目标条件 HRL 忽视层级协作的问题，本文提出 GCMR，利用基于模型的推演、梯度约束和高层价值引导增强层间协作，并在实验中显著超越现有方法。
2024-04-06 cs.AI cs.LG
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu（塔尔图大学）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中，我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境，并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划，我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略，以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明，深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
Graph Convolutional Reinforcement Learning
Peking University（北京大学）；Rice University（莱斯大学）
学习合作在多智能体环境中至关重要。关键是要理解代理之间的相互作用。然而，多智能体环境是高度动态的，其中智能体保持移动，并且它们的邻居快速变化。这使得很难学习代理之间相互作用的抽象表示。为了解决这些困难，我们提出了图卷积强化学习，其中图卷积适应多智能体环境的底层图的动态，关系内核通过它们的关系表示来捕获智能体之间的相互作用。利用卷积层从逐渐增加的感受野中产生的潜在特征来学习合作，并通过时间关系正则化来进一步改善合作以实现一致性。经验上，我们表明，我们的方法大大优于现有的方法在各种合作的情况下。
2020-02-11 cs.AI cs.LG cs.MA
Human-Agent Cooperation in Bridge Bidding
DeepMind（深度思维）
我们引入了一个人类兼容的学习方法的合作游戏，利用第三方手工编码的人类兼容的机器人生成初始训练数据，并进行初步评估。我们的学习方法包括模仿学习、搜索和策略迭代。我们训练有素的代理在三种设置中实现了最先进的桥牌出价：代理与自身副本合作;代理与预先存在的机器人合作;代理与人类玩家合作。
2020-11-28 cs.AI
Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Evolutionary stability of cooperation in indirect reciprocity under noisy and private assessment
本文首次从理论上证明间接互惠合作在私有评估下可演化稳定，发现简单常设（SS）规范稳定而严厉评判（SJ）不稳定，揭示适度简单性是维持合作的关键。
2023-02-07 cs.GT cs.MA math.OC
A Note on Loss Functions and Error Compounding in Model-based Reinforcement Learning
该研究针对基于模型的强化学习中误差累积的实证与理论矛盾及流行损失函数局限展开讨论，构建MuZero损失的反例证明其在随机环境失效，且确定性环境数据覆盖充分时存在指数级样本复杂度问题。
2024-04-15 cs.AI cs.LG stat.ML
Learning Fair Cooperation in Mixed-Motive Games with Indirect Reciprocity
本文研究异质群体中基于间接互惠的合作与公平问题，结合演化博弈论与强化学习，发现多数群体叛逃会带动少数群体叛逃，且只有较窄的交互规范集合能使独立强化学习智能体收敛到公平合作。
2024-08-08 cs.GT cs.MA
Emergence of Reputation-Based Cooperation in LLM Agents
RIKEN（理化学研究所）；Tohoku University（东北大学）
研究发现LLM智能体的合作鲁棒性由对手禀赋敏感性（图像评分机制）和叛逃者排除严格程度决定，其无法发展更鲁棒的Leading-Eight规范，凸显文化进化的LLM合作的漏洞并提出自下而上规范构建的需求。
2026-08-06 cs.MA cs.NE
Evolutionary stability of cooperation by the leading eight norms in indirect reciprocity under noisy and private assessment
该研究提出新方法分析私有评估下的声誉结构，通过“善良度”和“自我声誉”两变量探讨“领先八项”社会规范的演化稳定性，揭示了实现高水平合作的关键枢纽。
2023-10-19 cs.GT cs.MA physics.soc-ph
Words are not Wind -- How Public Joint Commitment and Reputation Solve the Prisoner's Dilemma
本研究针对囚徒困境中联合承诺无法消除背叛诱惑的问题，提出结合公开联合承诺与类间接互惠声誉系统的机制，实现稳定合作，拓展了联合承诺的效用边界并解释其公开性成因。
2025-02-19 cs.GT cs.MA cs.NE
Evaluating Reputation Systems for Agent Mediated e-Commerce
Agent中介的电子商业是通过软件代理在Internet上进行买卖。代理中介的电子商业系统的成功取决于潜在的信誉管理系统，该系统用于提高电子市场环境中的服务质量。信誉系统鼓励卖方代理人的诚实行为，并阻止不诚实的卖方代理人在实际交易者从不见面的电子市场中的恶意行为。本文评估了各种信誉系统分配信誉评级的软件代理代表买卖双方在电子市场。这些模型进行了分析的基础上的一些功能，即信誉计算和防御机制，对不同的攻击。为了解决传统的声誉系统是相对静态的性质的问题，本文确定了一个动态的声誉框架，确保明智地使用信息共享的代理人之间的合作，并将代理人的声誉与交易的价值，使市场接近一个均衡状态和不诚实的代理人被淘汰出市场的特点。
2013-03-29 cs.MA
Modeling human reputation-seeking behavior in a spatio-temporally complex public good provision game
本文以 Clean Up 博弈和人类实验为基础，提出基于声誉合作的多智能体强化学习模型，复现了可识别与匿名条件下的群体表现差异及轮流合作机制。
2025-06-06 cs.MA
Partner Selection for the Emergence of Cooperation in Multi-Agent Systems Using Reinforcement Learning
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
社会困境已经被广泛研究，以解释人类如何能够在社会中合作。相当大的努力已经投入到设计人工代理的社会困境，包括明确的代理动机，选择有利于协调或合作的反应。这种一般方法的流行点对实现一个代理的内部设计和外部环境的动态，促进合作行为的理解的重要性。在本文中，我们研究如何合作伙伴的选择，可以促进合作行为之间的代理谁是训练有素的最大化一个纯粹自私的目标函数。我们的实验表明，受过这种动态训练的代理人学习一种策略，在促进与其他代理人合作的同时，对叛逃者进行报复，从而形成一个亲社会的社会。
2019-11-28 cs.AI cs.MA
A Dynamic Model for Sharing Reputation of Sellers among Buyers for Enhancing Trust in Agent Mediated e-market
信誉系统旨在降低由于不可信的参与者而造成的损失风险。这种损失由于不诚实的顾问为了自身利益而试图污染电子市场环境而加剧。声誉系统的一个主要任务是促进和鼓励那些反复回应公平建议的顾问，并应用意见过滤或诚实检查机制来发现和抵制不诚实的顾问。本文提出了一种动态的方法来计算聚合共享信誉组件过滤掉不公平的建议，然后生成聚合共享信誉值。所提出的方法本质上是动态的，因为它对顾问的行为、当前交易的价值敏感，并鼓励作为顾问的买家之间的合作。它通过增加诚实顾问意见的权重，并使诚实顾问的声誉与交易价值单调成比例，来激励诚实顾问，而不是重复分享诚实的意见。
2012-01-18 cs.HC cs.MA cs.SI
Strategic Analysis of Trust Models for User-Centric Networks
我们提出了一个战略分析的信任模型，最近提出了促进以用户为中心的网络中的合作行为。合作机制基于声誉和虚拟货币计划的组合，其中服务提供商通过调整他们的声誉来奖励付费客户并惩罚不付费客户，从而调整他们为服务支付的价格。我们使用PRISM-games对该系统进行建模和分析，PRISM-games是一种使用带奖励的概率交替时间时态逻辑（rPATL）对随机多人游戏进行自动验证和策略合成的工具。我们为服务使用者和提供者构建最佳策略，暴露合作机制的潜在风险，并用于设计抵消这些风险的改进措施。
2013-03-04 cs.GT cs.MA
Deconstructing Cooperation and Ostracism via Multi-Agent Reinforcement Learning
Tohoku University（东北大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过多智能体强化学习仿真迭代囚徒困境博弈，厘清合作与网络重连的因果关系，发现排斥行为从合作学习中产生并反向强化合作，为网络重连下合作涌现的机制提供了新见解。
2023-10-06 cs.AI cs.MA cs.SI
Cooperation and Competition: Flocking with Evolutionary Multi-Agent Reinforcement Learning
在多智能体系统中，群集是一个非常具有挑战性的问题;传统的群集方法还需要对环境的完整了解和精确的控制模型。在本文中，我们提出了进化多智能体强化学习（EMARL）的群集任务，一个混合算法，结合合作和竞争，很少的先验知识。在合作方面，根据boids模型设计了集群任务的奖励。为了竞争，将适应度高的Agent设计为高级Agent，适应度低的Agent设计为低级Agent，让低级Agent随机继承高级Agent的参数。为了加强竞争，我们还设计了一个进化选择机制，显示在集群任务的信用分配有效。在一系列具有挑战性和自我对比的基准测试中的实验结果表明，EMARL显著优于完全竞争或合作方法。
2022-09-13 cs.AI cs.MA cs.RO
Quantum Multi-Agent Reinforcement Learning for Autonomous Mobility Cooperation
Korea University（高丽大学）；Ajou University（亚洲大学）
针对多智能体强化学习参数利用率低和收敛难的问题，提出基于actor-critic的量子QMARL算法并引入PVM技术，将动作维度降至对数尺度，实现了高效参数利用、快速收敛和卓越的可扩展性。
2023-08-03 cs.AI cs.MA
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley（慕尼黑量子谷）
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现，实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
Enhancing Cooperation through Selective Interaction and Long-term Experiences in Multi-Agent Reinforcement Learning
University of Manchester（曼彻斯特大学）
本研究针对多智能体强化学习中合作演化机制不明的问题，提出基于双Q网络的空间囚徒困境计算框架，让智能体凭长期经验选策略和邻居，发现其能识别非合作者并偏好与合作者交互，促进策略聚类与合作提升。
2024-08-18 cs.AI cs.GT cs.MA
Towards Cooperation in Sequential Prisoner's Dilemmas: a Deep Multiagent Reinforcement Learning Approach
Tianjin University（天津大学）；Washington State University（华盛顿州立大学）
几十年来，反复囚徒困境一直指导着社会困境的研究。然而，它只区分两种原子行为：合作和背叛。在现实世界的囚徒困境中，这些选择是暂时延长的，不同的策略可能对应于行动的顺序，反映了合作的等级。我们引入一个顺序囚徒困境（SPD）游戏，以更好地捕捉上述特点。在这项工作中，我们提出了一种深度多智能体强化学习方法，研究了SPD游戏中相互合作的演变。我们的方法包括两个阶段。第一阶段是离线的：它合成具有不同合作度的策略，然后训练合作度检测网络。第二阶段是在线的：一个代理自适应地选择其政策的基础上检测到的程度的对手合作。我们的方法的有效性证明在两个代表性的SPD 2D游戏：苹果梨游戏和水果采集游戏。实验结果表明，该策略可以避免被剥削对手利用，实现与合作对手的合作。
2018-03-01 cs.AI cs.GT cs.LG
Modelling Cooperation in a Dynamic Healthcare System
我们的研究关注的是研究动态系统中的行为变化，即医疗保健，以及它们对决策过程的影响。进化博弈论被应用于调查最可能的策略（ES）通过个人在有限的人口中的基础上，他们之间的相互作用，着眼于建模行为使用以下指标：投资成本，管理成本，治疗成本，声誉利益的提供者（S），并获得健康的好处为患者。
2019-09-06 cs.GT cs.MA econ.TH
Learning Nudges for Conditional Cooperation: A Multi-Agent Reinforcement Learning Model
本文提出多智能体强化学习模型，让深度强化学习智能体通过助推激励3名条件合作者合作；实验表明两种奖励设计均显著提升贡献总额与合作比例。
2024-09-14 cs.MA
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
Satellites swarm cooperation for pursuit-attachment tasks with transformer-based reinforcement learning
提出融合Transformer和专家网络的强化学习框架，通过通信共享与序列建模解决非合作卫星追捕-附着任务中的多星协作与可扩展性问题，仿真验证了其鲁棒性与高成功率。
2024-06-03 cs.MA
Enabling Imitation-Based Cooperation in Dynamic Social Networks
几十年来，自利代理之间合作的出现一直是多代理系统社区的一个关键问题。随着以网络为媒介的互动的重要性的增加，研究人员已经转移了注意力的影响，社交网络及其动态在促进或阻碍合作，得出各种上下文相关的结论。例如，一些理论和实验研究表明，在网络进化的时间尺度比率中存在阈值效应，之后将出现合作，而其他研究则对此提出异议，建议存在金发女孩区。在本文中，我们提供了一个进化博弈论框架，从自下而上的角度来理解共同进化过程--特别是合作者核心和缺陷者外围的出现--澄清了合作伙伴选择和模仿策略对促进合作行为的影响，而无需假设潜在的沟通或声誉机制。在这样做的过程中，我们提供了一个统一的框架来研究模仿为基础的合作，在动态社交网络，并表明，文献中的争议实际上可以共存，只要结果源于不同的同样有效的假设。
2022-02-08 cs.GT cs.MA math.DS
Argus: Smartphone-enabled Human Cooperation via Multi-Agent Reinforcement Learning for Disaster Situational Awareness
Rutgers University（罗格斯大学）；Department of Homeland Security Science & Technology Directorate（国土安全部科学技术局）
Argus利用多智能体强化学习（MARL）框架，使用事故区域周围的智能体创建灾难现场的3D地图，以促进救援行动。这些智能体既可以是灾难现场的人类旁观者，也可以是可以帮助人类的无人机或机器人。代理参与使用智能手机（或无人机情况下的机载摄像头）捕获场景的图像，由MARL算法指导。这些图像被用来构建灾难现场的实时的3D地图。通过模拟和真实的实验，评估的框架在跟踪环境的随机动态性方面的有效性。
2019-04-29 cs.AI cs.CY cs.LG
After Cooperation Is Learned: Gradient Routing and Optimizer-Dependent Maintenance in Multi-Agent Reinforcement Learning
本研究通过右删失事件时间框架和梯度路由控制实验，发现直接价值梯度访问在特定缩放条件下增加合作维持风险，而非评论家本身的普遍问题。
2026-10-02 cs.MA
How Exploration Breaks Cooperation in Shared-Policy Multi-Agent Reinforcement Learning
National Taiwan University（国立台湾大学）；Lehigh University（利哈伊大学）
本研究揭示了共享策略多智能体强化学习中探索如何导致合作崩溃，指出参数耦合与部分可观测性引起的表示失败是根本原因。
2026-01-09 cs.MA physics.soc-ph
CTC: The Composite Task Challenge for Cooperative Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）
针对合作多智能体强化学习中缺乏评估分工与合作基准任务的问题，提出复合任务挑战（CTC），基于特定原则构建任务，评估多种方法发现现有方法有局限，引入引导性方案虽证明可解但性能欠佳，凸显 CTC 对推进该领域研究的价值。
2026-07-20 cs.AI cs.LG cs.MA
Improved cooperation by balancing exploration and exploitation in intertemporal social dilemma tasks
ZheJiang University of Technology（浙江工业大学）
当个体的行为具有理性特征时，这可能导致群体的非理性集体行动。从动物到人类的各种生物体经常进化出合作的社会属性来应对这一挑战。因此，个体之间的合作对于让社会有机体适应自然环境的变化具有重要意义。基于多智能体强化学习，我们提出了一种新的学习策略，通过将学习率，可以平衡探索和开发，以实现协调。我们证明，代理人使用简单的策略，提高了相对集体的回报，在一个决策任务称为跨期的社会困境，其中个人和群体之间的冲突是特别尖锐的。我们还探讨了学习率的多样性对强化学习代理的人口的影响，并表明在异质群体中训练的代理制定特别协调的政策相对于在同质群体中训练的代理。
2021-10-19 cs.AI cs.CY cs.MA
Cooperation in public goods game on square lattices with agents changing interaction groups
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用物理研究所）
研究探讨了在无外部机制情况下，正方形晶格上代理群体中合作的形成机制，通过交互网络多样性促进合作，并发现代理切换交互邻域会抑制合作形成。
2026-05-11 cs.MA nlin.AO physics.soc-ph
Realistic gossip in Trust Game on networks: the GODS model
University of Warsaw（华沙大学）；University of Groningen（格罗宁根大学）
GODS 模型通过结合现实 gossip 过程与信任游戏变体，展示了 gossip 如何通过提升合作效率来解决声誉系统中的合作问题。
2025-11-25 cs.CY cs.MA cs.SI
Mixture of personality improved Spiking actor network for efficient multi-agent cooperation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
受人格理论启发，提出混合人格改进的脉冲演员网络（MoP-SAN），利用行列式点过程模拟人格形成，在Overcooked任务中实现高效多智能体协作与良好泛化。
2023-05-10 cs.AI cs.MA cs.NE
Coevolution of cognition and cooperation in structured populations under reinforcement learning
本文研究规则网络上囚徒困境中强化学习驱动的行为演化，发现重复互动概率阈值可促使双过程合作者涌现，且节点度数越小越不利其演化成功，同时深思频率更高。
2024-03-27 cs.GT cs.MA econ.GN
Hierarchical Consensus-Based Multi-Agent Reinforcement Learning for Multi-Robot Cooperation Tasks
Beihang University（北京航空航天大学）；State Grid Corporation of China（国家电网有限公司）
提出HC-MARL框架，通过对比学习构建多层级全局共识，并结合自适应注意力机制优化多机器人协作，显著超越基线。
2024-08-23 cs.AI cs.MA cs.RO
Validating Generative Agent-Based Models of Social Norm Enforcement: From Replication to Novel Predictions
本研究提出两阶段验证方法，基于社会困境范式验证基于生成式智能体的社会规范执行模型，明确关键认知组件，并生成关于第三方惩罚、公共物品合作的可检验新结论。
2025-07-29 cs.MA
Computational Foundations for Strategic Coopetition: Formalizing Trust and Reputation Dynamics
本文提出一种双层信任模型，结合博弈论与动态信任演变，通过实验验证其在合作者竞争中的有效性。
2026-01-07 cs.AI cs.CY cs.MA
CoopEval: Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas
Carnegie Mellon University；Foundations of Cooperative AI Lab (FOCAL)；Jinesis Lab, University of Toronto \& Vector Institute；ETH Z\" u rich；Max Planck Institute for Intelligent Systems, T\" u bingen, Germany
研究探讨了社会困境中合作维持机制与LLM代理的交互效果，发现重复游戏和声誉系统最有效，但合作效果随对手变化而下降，且在进化压力下更有效。
2026-07-07 cs.AI cs.CL cs.CY
Credit-cognisant reinforcement learning for multi-agent cooperation
Stellenbsoch University（斯泰伦博斯大学）
传统的多智能体强化学习（MARL）算法，如独立Q学习，在部分可观察的场景中，以及需要智能体开发精细的动作序列时，会遇到困难。这通常是因为只有在其他行为体采取了他们的行动之后，才能对一个好的行动给予奖励，而这些行动并没有相应地被记入贷方。递归神经网络已被证明是解决这些类型问题的可行解决方案策略，与其他方法相比，性能显着提高。在本文中，我们探索了一种不同的方法，并专注于用于更新每个代理的动作价值函数的经验。我们引入了信用认知奖励（CCR）的概念，它允许代理感知其行为对环境以及对合作代理的影响。我们表明，通过操纵这些经验并构建其中包含的奖励，以包括同一动作序列中所有智能体获得的奖励，我们能够显着提高独立深度Q学习和深度递归Q学习的性能。我们评估和测试了将CCR应用于流行纸牌游戏Hanabi简化版本的深度强化学习技术时的性能。
2022-11-18 cs.LG cs.MA
