An Optimal Rewiring Strategy for Reinforcement Social Learning in Cooperative Multiagent Systems
Tianjin University（天津大学）；Centrum Wiskunde & Informatica（数学与信息中心）
协作多智能体系统中的多智能体协调问题在固定智能体重复交互和静态社会学习框架下得到了广泛的研究。然而，两个方面的动态在现实世界中的多智能体的情况下，目前缺少在现有的作品。首先，网络拓扑可以是动态的，其中代理可以在交互过程中通过重新布线来改变它们的连接。第二，每对代理之间的博弈矩阵可能不是静态的，通常不被认为是先验的。网络的动态性和博弈的不确定性增加了Agent之间的协调难度。在本文中，我们考虑一个多智能体动态社会学习环境中，每个代理可以选择重新布线潜在的合作伙伴，并在每一轮随机选择的邻居进行交互。我们提出了一个最佳的重新布线策略，代理选择最有益的同行进行交互的目的是最大限度地提高重复交互的累积收益。通过与基准策略的比较，我们实证证明了我们方法的有效性和鲁棒性。三个有代表性的学习策略的表现，在我们的社会学习框架与我们的最佳重新布线进行了调查。
2018-05-13 cs.AI cs.LG cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida（佛罗里达大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
隐私感知的多智能体系统必须保护代理的敏感数据，同时确保代理完成他们的共同目标。为了实现这一目标，我们提出了一个框架，私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹，然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平，这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策，是强大的隐私减少的总相关值。数值实验表明，在这些政策下，团队的表现下降了3%，当比较私人与非私人的通信实现。相比之下，当使用忽略总体相关性而只优化团队绩效的基线策略时，团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
Learning to Teach in Cooperative Multiagent Reinforcement Learning
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）
个人的创新通过交流传授给他人，这一事实显然使人类的集体知识受益匪浅。与人类社会群体类似，分布式学习系统中的智能体可能会从交流中受益，以分享知识和传授技能。教学，以提高代理学习的问题已经调查了以前的作品，但这些方法的假设，防止教学的应用程序一般多智能体问题，或需要领域的专业知识，他们可以适用于问题。这种学习教学的问题具有内在的复杂性，与衡量教学的长期影响有关，这是标准的多智能体协调挑战的复合。在现有的作品相比，本文提出了第一个通用的框架和算法的智能代理学习教在多智能体环境。我们的算法，学习协调和教学强化（LeCTR），解决了点对点教学合作多智能体强化学习。在我们的方法中，每个代理都学习何时以及提供什么建议，然后使用收到的建议来改善本地学习。重要的是，这些角色不是固定的;这些代理人学会在适当的时候承担学生和/或教师的角色，请求和提供建议，以提高团队的表现和学习。与最先进的教学方法的实证比较表明，我们的教学代理不仅学习速度更快，而且还学会了在现有方法失败的任务中进行协调。
2018-08-31 cs.AI cs.MA
A Survey of Event-triggered Control for Nonlinear Multiagent Systems with Guaranteed Steady-State Performance
随着多智能体系统分布式控制新思想的逐步提出，事件触发控制协议受到了广泛的关注，尤其是在非线性多智能体系统的控制器设计方面。与其他广泛使用的控制条件相比，非线性系统的事件触发控制在诸如使用和控制每个代理的智能控制输入的现实生活场景中具有显著的提高资源利用率的能力。值得一提的是，一组互连的代理具有网络通信拓扑，以跨联网链路传输反馈信息状态。一组Agent之间的信息传递保证了每个Agent之间的协作，达成一致的协议。非线性多智能体系统的分布式控制的合作协议也确保了每个代理之间的适当的信息流，而不考虑通信延迟，环境的变化，并通过事件触发的控制协议的通信拓扑结构的切换。因此，本文将研究基于稳态性能的非线性多智能体系统的事件触发控制。一个非线性闭环系统的稳态性能证明了稳定，输出调节，和输出同步问题的非线性系统使用适当的控制协议，以实现共识的多智能体系统也将讨论。基于非线性系统的稳态条件，实现智能体之间的一致性协议。
2022-01-01 cs.MA
Learning when to Communicate at Scale in Multiagent Cooperative and Competitive Tasks
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在多智能体任务中，学习何时进行通信并有效地进行通信是必不可少的。最近的工作表明，连续通信允许多智能体场景中的反向传播进行有效的训练，但仅限于完全合作的任务。本文提出了个体化控制的连续通信模型（IC3Net），该模型比简单的连续通信模型具有更好的训练效率，并且可以与合作环境一起应用于半合作和竞争环境。IC3Net通过门控机制控制持续通信，并为每个代理使用个性化奖励，以获得更好的性能和可扩展性，同时解决信用分配问题。使用各种任务，包括星际争霸BroodWars探索和战斗场景，我们表明，随着规模的增加，我们的网络比基线产生更好的性能和收敛速度。我们的研究结果表明，IC3Net代理学习何时根据场景和盈利能力进行通信。
2018-12-23 cs.AI cs.LG cs.MA
A Q-values Sharing Framework for Multiagent Reinforcement Learning under Budget Constraint
在师生框架中，一个更有经验的代理（教师）通过建议在某些状态下采取的行动来帮助加速另一个代理（学生）的学习。在合作多智能体强化学习（MARL）中，智能体之间需要相互合作，由于所有智能体的策略在收敛之前都在不断变化，学生即使按照老师的建议行动，也可能无法很好地与其他智能体合作。当代理彼此通信的次数有限时（即，存在预算约束），以行动作为建议的建议策略可能不够好。我们提出了一个partaker-sharer建议框架（PSAF）的合作MARL代理学习与预算约束。在PSAF中，每个Q学习器可以决定何时请求Q值并共享其Q值。我们在三个典型的多智能体学习问题进行实验。评估结果表明，我们的方法PSAF优于现有的建议方法在无限和有限的预算，我们给出了一个分析的影响，建议行动和共享Q值对代理的学习。
2020-11-29 cs.MA
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay（巴黎萨克雷大学）；Ubisoft（育碧）；University of Granada（格拉纳达大学）
虽然可解释人工智能（XAI）正在不断扩展更多的应用领域，但很少有人应用于使深度强化学习（RL）更容易理解。随着RL变得无处不在，并用于关键和一般公共应用，开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略，在多智能体RL使用Shapley值，博弈论的概念，在XAI，成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设，本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销，Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明，Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响，（例如，非歧视性决策，道德和负责任的人工智能衍生决策或公平约束下的政策制定）。它们还揭示了Shapley值如何仅给出关于模型的一般解释，而不能解释单个运行、事件，也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Safe Multiagent Coordination via Entropic Exploration
针对安全多智能体学习中探索受限及缺乏团队约束研究的问题，提出熵探索（E2C）方法，通过观测熵最大化激励探索，实验显示其在任务性能上优于基线且能减少50%不安全行为。
2025-08-26 cs.AI cs.MA cs.RO
Cooperative Resilience in Artificial Intelligence Multiagent Systems
Universidad de los Andes（安第斯大学）；Center of Excellence in Analytics and Artificial Intelligence Bancolombia（哥伦比亚银行分析与人工智能卓越中心）；Universidad de Ibagué（伊瓦格大学）
本文提出“合作韧性”的明确定义与定量测量方法，在基于RL和LLM增强的自主智能体环境中验证，揭示了韧性指标在分析系统应对破坏性事件各阶段的关键作用，为提升AI在动态环境中的可靠性提供基础。
2024-09-24 cs.AI cs.MA
Coordinating Multiagent Industrial Symbiosis
University of Southampton（南安普顿大学）；University of Twente（特文特大学）
我们提出了一个正式的多智能体框架协调一类协作的工业实践称为工业共生网络（ISNs）的合作游戏。ISN的博弈论公式使我们能够系统地推理我们所谓的ISN实现问题。具体而言，ISN的特点可能导致标准的公平和稳定的利益分配方法不适用。受现实的ISN的情况下，并遵循规范的多智能体系统的文献，我们认为法规和规范的社会经济政策的协调工具，结合ISN游戏解决的情况。在这个多智能体系统中，采用边际贡献网（MC网）作为基于规则的合作游戏表示促进法规和ISN游戏的组合，而不会损失表现力。我们开发的算法方法，用于生成法规，确保ISNs的可实施性，并作为一种政策支持，提出的政策要求，保证所有所需的ISNs的可实施性，在平衡预算的方式。
2020-06-02 cs.AI cs.GT cs.MA
Cooperative Search and Track of Rogue Drones using Multiagent Reinforcement Learning
University of Cyprus（塞浦路斯大学）；KIOS Research and Innovation Center of Excellence (KIOS CoE)（KIOS卓越研究与创新中心）
本研究提出一种多智能体强化学习方法，用于协调追踪者无人机在敏感设施上空搜索、检测并追踪多个恶意无人机，以最大化检测追踪数量，并通过模拟实验验证了性能与可扩展性。
2025-01-07 cs.AI cs.MA cs.RO
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International（SRI国际）
本文提出 ToMCAT 框架，将心智理论元学习与多智能体扩散模型结合，并通过动态重规划机制生成团队感知计划，在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在合作的多智能体系统中，一组智能体执行联合策略以达到共同的目标。这种系统的成功部署取决于可靠的智能体通信的可用性。然而，在实践中存在许多潜在的通信中断源，例如无线电干扰、硬件故障和对抗攻击。在这项工作中，我们开发的合作多智能体系统，是强大的潜在损失的通信联合政策。更具体地说，我们开发的合作马尔可夫博弈达到避免目标的联合政策。首先，我们提出了一个算法，在通信丢失期间的联合政策的分散执行。接下来，我们使用的总相关性的状态动作过程中引起的联合政策作为衡量代理之间的内在依赖关系。然后，我们使用这个措施，降低了一个联合政策的性能时，失去了沟通。最后，我们提出了一个算法，最大限度地提高代理这个下限，以合成最小的依赖联合政策，是强大的通信损失。数值实验表明，所提出的最小依赖性的政策，需要最小的代理之间的协调，而招致很少或没有损失的性能;合成的政策的总相关值是五分之一的基线政策，不考虑潜在的通信损失的总相关值。因此，无论通信是否可用，最小依赖性策略的性能始终保持较高。相比之下，当通信丢失时，基线策略的性能下降了20%。
2022-01-17 cs.AI cs.MA
Learning in Cooperative Multiagent Systems Using Cognitive and Machine Models
University of Dayton（代顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对协作式多智能体系统在随机奖励下学习与协调困难的问题，提出三种融合 IBLT 认知机制与 MADRL 技术的 MAIBL 模型，并在 CMOTP 中验证其学习更快、协调更好。
2023-08-18 cs.AI cs.MA
Learning Policy Representations in Multiagent Systems
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；OpenAI
智能体行为建模是理解多智能体系统中复杂现象出现的核心。在代理建模之前的工作在很大程度上是特定于任务的，并由手工工程领域特定的先验知识驱动。我们提出了一个通用的学习框架，用于在任何多智能体系统中仅使用少量交互数据来建模智能体行为。我们的框架铸造代理建模作为一个表示学习的问题。因此，我们构造了一个新的目标的启发模仿学习和代理识别和代理策略的表示的无监督学习设计的算法。我们实证证明了所提出的框架在（i）具有挑战性的高维竞争环境中的效用，用于连续控制和（ii）用于通信的合作环境，监督预测任务，无监督聚类和使用深度强化学习的策略优化。
2018-07-31 cs.AI cs.LG cs.MA
An Embodied Multiagent Framework Based on Token Communications for Cooperative ISAC
Tsinghua University（清华大学）；State Key Laboratory of Space Network and Communications, Tsinghua University（空间网络与通信国家重点实验室（清华大学））；Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心（清华大学））
针对低空经济对无人机协作ISAC的需求，本文提出SI-TokCom框架，通过令牌通信实现具身无人机智能体的高效协作，在保证通信与感知速率的同时降低推进能量，性能优于局部基准。
2026-10-09 cs.MA eess.SP
Cooperative Guidance for Aerial Defense in Multiagent Systems
Control for Intelligent Systems (GALACxIS) Lab, Department of Aerospace Engineering；Engineering Mechanics, University of Cincinnati, OH 45221, USA. (e-mails: , ). S. R. Kumar is with the Intelligent Systems \& Control (ISaC) Lab, Department of Aerospace Engineering, Indian Institute of Technology Bombay, Mumbai 400076, India. (e-mail: ).
本文针对争议空域三类无人机的防空对抗场景，提出基于时间约束框架与真实比例导引的轻量协同制导策略，无需知晓敌方策略即可保证固定时间内拦截，经仿真验证有效且可扩展，适用于实时自主防御。
2025-10-02 cs.MA cs.RO cs.SY
Extremal Behaviour in Multiagent Contract Negotiation
我们研究属性的资源分配模型中，几个代理交换资源，以优化他们的个人控股。讨论的计划涉及到众所周知的谈判协议提出了在早期的工作，我们考虑了一些替代概念的合理性，包括定量的措施，如合作和个人的合理性和更多的定性形式，如庇古-道尔顿转移。虽然它是已知的，施加特定的合理性和结构性限制可能会导致一些重新分配的资源集变得不可实现，在本文中，我们解决的问题，可能需要实施特定的重新分配时，它是可能的限制理性交易的数量。我们构造的例子表明，这个数字可能是指数（在资源的数量m），即使所有的代理效用函数是单调的。我们进一步表明，k代理人可以实现在一个单一的交易重新分配需要指数许多理性的交易，如果最多k-1代理人可以参与，这同样的重新分配是无法实现的任何序列的理性交易中，最多k-2代理人参与。
2011-09-09 cs.MA
Cooperative Bearing-Only Target Pursuit via Multiagent Reinforcement Learning: Design and Experiment
Shanghai AI Laboratory（上海人工智能实验室）；Department of Artificial Intelligence at Westlake University（西湖大学人工智能学院）
本文研究未知目标的多机器人纯方位追踪问题，提出纯方位信息滤波器解决状态估计挑战，并设计多智能体强化学习框架结合谱归一化技术，实现异构车辆在复杂环境下的目标追踪及向真实AGV的零样本迁移。
2025-06-27 cs.MA cs.RO cs.SY
Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
本文提出一种基于逆因子化Q学习的多智能体模仿学习算法，通过混合网络聚合去中心化Q函数实现集中式学习，并在SMACv2等环境中验证了其有效性。
2023-10-10 cs.LG cs.MA
A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Electronics Technology Group Corporation Information Science Academy of China（中国电子科技集团公司信息科学研究院）
多智能体强化学习（MARL）可以解决复杂的协作任务。然而，现有的MARL方法的效率在很大程度上依赖于定义良好的奖励函数。具有稀疏奖励反馈的多智能体任务特别具有挑战性，不仅因为信用分配问题，而且由于获得正奖励反馈的概率很低。在本文中，我们设计了一个图网络称为合作图（CG）。合作图是两个简单二部图的组合，即代理聚类子图（ACG）和集群指定子图（CDG）。然后，基于这种新的图结构，提出了一种协作图多智能体强化学习（CG-MARL）算法，该算法能够有效地处理多智能体任务中的稀疏奖励问题。在CG-MARL中，Agent由合作图直接控制。并训练策略神经网络来操纵该合作图，引导Agent以隐式方式实现合作。CG-MARL的这种层次化特征为定制的集群动作提供了空间，这是一个用于引入基本协作知识的可扩展接口。在实验中，CG-MARL在稀疏奖励多智能体基准测试中表现出最先进的性能，包括反入侵拦截任务和多货物交付任务。
2022-08-05 cs.AI cs.LG cs.MA
Learning Conventions in Multiagent Stochastic Domains using Likelihood Estimates
完全合作的多智能体系统--在这些系统中，智能体共享一个联合效用模型--在人工智能中具有特殊的意义。一个关键的问题是，要确保各个代理人的行动是协调一致的，特别是在设置代理人是自主决策者。我们研究的方法来学习协调策略在随机域中，代理的行动是不直接观察到的其他。博弈论中最近的许多工作都采用了贝叶斯学习的观点来解决更一般的均衡选择问题，但倾向于假设行为可以被观察到。我们讨论的特殊问题时，出现的行动是不可观察的，包括对收敛速度的影响，和行动失败的概率和不对称性的影响。我们还使用似然估计作为一种手段，在我们的环境中推广虚构的游戏学习模型。最后，我们建议使用最大似然作为一种手段，从考虑中删除策略，收敛到一个传统的均衡，在这一点上学习和审议可以停止的目的。
2013-02-13 cs.GT cs.MA
A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）
多智能体强化学习的一个基本挑战是在与其他同时学习的智能体共享的环境中学习有益的行为。特别是，每个代理感知的环境，有效地非静止的，由于其他代理的政策的变化。此外，每个智能体本身都在不断学习，导致遇到的经验分布具有自然的非平稳性。在本文中，我们提出了一种新的元多智能体策略梯度定理，直接占多智能体学习设置所固有的非平稳的政策动态。这是通过对我们的梯度更新进行建模来实现的，以考虑代理自己的非平稳政策动态和环境中其他代理的非平稳政策动态。我们表明，我们的理论接地的方法提供了一个通用的解决方案，多智能体学习问题，这固有地包括所有的关键方面，以前的国家的最先进的方法在这个问题上。我们测试我们的方法在一套不同的多智能体基准，并展示了更有效的能力，以适应新的代理，因为他们学习比基准方法在整个频谱的混合激励，竞争和合作领域。
2021-06-11 cs.AI cs.LG cs.MA
Local Wealth Redistribution Promotes Cooperation in Multiagent Systems
Massachusetts Institute of Technology（麻省理工学院）；INESC-ID（里斯本大学高等理工学院附属信息系统与计算机工程研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
在多智能体系统中，设计能够利用智能体之间协作的机制一直是一个长期的目标。当代理人自私，缺乏共同目标并面临社会困境时，这项任务尤其具有挑战性，即，个人利益与社会福利冲突的情况。过去的研究探索了解释生物和社会系统中合作的机制，为设计合作的人工社会提供了重要线索。特别是，一些作品表明，合作是能够出现时，特定的网络结构的代理人的相互作用。尽管如此，叛逃具有很大诱惑力的社会困境仍然对合作的有效可持续性构成挑战。在这里，我们提出了一个新的再分配机制，可以应用于结构化人口的代理。重要的是，我们表明，当在本地实施时（即，代理人与他们最近的邻居分享他们财富盈余的一小部分），再分配在促进合作方面表现出色，在以前，只有背叛盛行的政权下。
2018-02-05 cs.AI cs.GT cs.MA
Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning
在协作式多智能体强化学习中，集中训练和分散执行（CTDE）取得了显着的成功。个体全局最大值分解是CTDE的重要组成部分，它度量了局部策略和联合策略之间的一致性。大多数基于IGM的研究集中在如何建立这种一致的关系，但很少注意到检查IGM的潜在缺陷。在这项工作中，我们揭示了IGM条件是一个有损分解，有损分解的误差将积累在基于超网络的方法。为了解决上述问题，我们建议采用一种模仿学习策略，将有损分解与Bellman迭代分离，从而避免误差累积。该策略在零视角的星际争霸多智能体挑战基准问题上得到了理论证明和实验验证。结果还证实，所提出的方法优于最先进的基于IGM的方法。
2022-09-20 cs.MA
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文研究了多智能体强化学习在交通信号控制中的收敛性问题，通过随机逼近方法分析学习动态，并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Multi-Agent Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
模仿学习算法可用于从专家演示中学习策略，而无需访问奖励信号。然而，大多数现有的方法是不适用于多智能体设置由于存在多个（纳什）均衡和非平稳环境。我们提出了一个新的框架，多智能体模仿学习一般马尔可夫游戏，在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Hiding in Plain Sight: Differential Privacy Noise Exploitation for Evasion-resilient Localized Poisoning Attacks in Multiagent Reinforcement Learning
University of Nevada, Reno（内华达大学里诺分校）
本文针对协作式多智能体强化学习中的差分隐私机制，提出利用 DP 噪声绕过异常检测的局部投毒攻击 PeLPA，并通过多环境实验验证其对收敛、步数和计算开销的显著破坏。
2023-07-13 cs.CR cs.LG cs.MA
Learning Hierarchical Teaching Policies for Cooperative Agents
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
当代理有效地与他们的同伴交换知识时，集体学习可以大大增强。特别是，最近研究学习教导其他队友的代理的工作表明，行动建议加速了团队范围的学习。然而，先前的工作已经通过使用简单的函数近似简化了建议策略的学习，并且仅考虑了具有原始（低级）动作的建议，从而限制了学习和教学到复杂域的可扩展性。本文介绍了一种新的学习教的框架，称为分层多智能体教学（HMAT），提高了可扩展性，复杂的环境中使用的学生政策的深层表示，并通过建议更有表现力的扩展动作序列在多个层次的时间抽象。我们的实证评估表明，HMAT提高了团队范围内的学习进展，在大型，复杂的领域，以前的方法失败。HMAT还学习教学策略，可以有效地将知识传递给具有不同任务知识的不同队友，即使队友具有异构的行动空间。
2020-05-18 cs.AI cs.LG cs.MA
Enabling Imitation-Based Cooperation in Dynamic Social Networks
几十年来，自利代理之间合作的出现一直是多代理系统社区的一个关键问题。随着以网络为媒介的互动的重要性的增加，研究人员已经转移了注意力的影响，社交网络及其动态在促进或阻碍合作，得出各种上下文相关的结论。例如，一些理论和实验研究表明，在网络进化的时间尺度比率中存在阈值效应，之后将出现合作，而其他研究则对此提出异议，建议存在金发女孩区。在本文中，我们提供了一个进化博弈论框架，从自下而上的角度来理解共同进化过程--特别是合作者核心和缺陷者外围的出现--澄清了合作伙伴选择和模仿策略对促进合作行为的影响，而无需假设潜在的沟通或声誉机制。在这样做的过程中，我们提供了一个统一的框架来研究模仿为基础的合作，在动态社交网络，并表明，文献中的争议实际上可以共存，只要结果源于不同的同样有效的假设。
2022-02-08 cs.GT cs.MA math.DS
Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；Beijing Normal University（北京师范大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）
协作多智能体强化学习（MARL）在网格世界和现实世界中的任务求解方面取得了快速的进展，在网格世界和现实世界中，智能体被赋予不同的属性和目标，从而导致整个多智能体任务的不同行为。在这项研究中，我们量化的代理的行为差异，并建立其与政策绩效通过{ \bf角色多样性}，一个度量指标来衡量MARL任务的特点。我们从三个角度定义角色多样性：基于动作的，基于责任的，基于贡献的，以充分衡量一个多智能体任务。通过理论分析，我们发现MARL中的错误界可以分解为三个部分，这三个部分与角色多样性有很强的关系。分解后的因素可以在参数共享、通信机制和信用分配三个流行方向上对策略优化产生显著影响。主要的实验平台是基于{ \bf Multiagent Particle Environment（MPE）}和{ \bf The StarCraft Multi-Agent Challenge（SMAC）}。大量的实验表明，角色多样性可以作为多智能体协作任务特征的一个鲁棒度量，并有助于诊断策略是否适合当前的多智能体系统，以获得更好的策略性能。
2022-06-01 cs.AI cs.LG cs.MA
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
MisoDICE: Multi-Agent Imitation from Unlabeled Mixed-Quality Demonstrations
Singapore Management University（新加坡国立管理大学）；University of Oregon（俄勒冈大学）
MisoDICE提出两阶段方法，结合大语言模型标注轨迹与新型多智能体DICE算法，从混合质量示范中学习稳健策略，在标准基准上表现优越。
2025-05-24 cs.AI cs.LG cs.MA
ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency
The University of Sydney（悉尼大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Group LTD（商汤科技集团）；Institute for AI, Peking University（北京大学人工智能研究院）
多智能体强化学习（MARL）存在非平稳性问题，即当多个智能体同时更新策略时，每一次迭代的目标都在不断变化。本文从第一性原理出发，提出了双向动作依赖Q学习（ACE）方法来解决非平稳性问题。ACE发展的核心是顺序决策过程，其中一次只允许一个代理采取行动。在这个过程中，每个代理最大化其价值函数给定的行动所采取的前代理在推理阶段。在学习阶段，每个代理最小化TD错误，这取决于后续代理如何对他们选择的动作做出反应。考虑到双向依赖的设计，ACE有效地将多Agent MDP转化为单Agent MDP。我们通过识别适当的网络表示来制定动作依赖关系，从而在一个向前传递中隐式地计算顺序决策过程，从而实现ACE框架。为了验证ACE，我们将其与两个MARL基准的强基线进行比较。在Google Research Football和StarCraft Multi-Agent Challenge上的实验结果表明，ACE算法的性能明显优于现有算法。特别是在SMAC任务上，ACE在几乎所有的硬地图和超硬地图上都达到了100%的成功率。我们进一步研究广泛的研究问题，ACE，包括扩展，推广，和实用性。提供代码以方便进一步研究。
2022-12-02 cs.LG cs.MA
On Solving Cooperative MARL Problems with a Few Good Experiences
Singapore Management University（新加坡管理大学）
协作多智能体强化学习（MARL）在搜索和救援、无人机监视、包裹递送和消防问题等许多领域中对于协作分散式决策学习至关重要。在这些领域，一个关键的挑战是学习一些好的经验，即，仅在少数情况下获得正增强（例如，在灭火或追踪犯罪或递送包裹时），并且在大多数其他情况下，存在零强化或负强化。由于三个原因，学习决策与一些好的经验是非常具有挑战性的合作MARL问题。首先，与单个代理的情况相比，探索更难，因为多个代理必须协调才能获得良好的体验。第二，环境不是静止的，因为所有的智能体都在同时学习（从而改变策略）。第三，每增加一个代理，问题的规模就会显著增加。相关的现有工作是广泛的，并集中在处理一些很好的经验，在单代理RL问题或可扩展的方法来处理非平稳的MARL问题。不幸的是，这些方法（或其扩展）都不能有效地解决稀疏的好经验的问题。因此，我们提供了一种新的虚构的自我模仿的方法，能够同时处理非平稳性和稀疏的良好经验，在一个可扩展的方式。最后，我们提供了一个彻底的比较（实验或描述）对相关的合作MARL算法，以证明我们的方法的实用性。
2020-01-22 cs.AI cs.LG cs.MA
Learning Translations: Emergent Communication Pretraining for Cooperative Language Acquisition
King’s College London（伦敦国王学院）
本文提出合作语言习得问题CLAP，允许新加入智能体利用目标群体交互数据，并比较模仿学习与涌现通信预训练加翻译学习两种方法，以解决零样本协调中缺乏先验数据导致的通信困难。
2024-02-26 cs.CL cs.LG cs.MA
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
Behavior is Not Enough: A Mechanism-Based Evaluation of Social Norm Emergence in LLM Societies
本研究提出基于期望测量的评估框架，揭示LLM社会中合作涌现可由不同机制驱动，为多智能体系统设计提供原则性依据。
2026-09-23 cs.CL cs.CY cs.GT
