A Theory of Mind Approach as Test-Time Mitigation Against Emergent Adversarial Communication
多智能体系统(MAS)是对共享环境中多智能体交互的研究。合作通信是在部分可观测环境中共享信息的基本结构。合作多智能体强化学习(CoMARL)是一种学习框架,在该框架中,我们学习具有合作机制或表现出合作行为的智能体策略。解释,有工作学习沟通消息从CoMARL代理,然而,非合作代理,当能够访问一个合作团队的通信信道,已被证明学习对抗通信消息,破坏合作团队的性能,特别是当目标依赖于有限的资源。为了解决这个问题,我们提出了一种技术,利用本地配方的理论的心(ToM),以区分表现出的合作行为从非合作行为之前,接受来自任何代理的消息。我们证明了所提出的技术的有效性和可行性,在集中培训,分散执行(CTDE)CoMARL基准的实证评估。此外,虽然我们提出了我们明确的心理理论防御测试时,我们强调,心理理论是一个结构设计的认知防御,而不是防御的目标。
2023-02-14 cs.MA
A Survey of Progress on Cooperative Multi-agent Reinforcement Learning in Open Environment
本文系统综述了协作式多智能体强化学习从封闭环境到开放环境的研究进展,梳理了典型方法、测试环境及多个研究方向,并展望了未来挑战与发展方向。
2023-12-02 cs.MA
Coordinating Fully-Cooperative Agents Using Hierarchical Learning Anticipation
针对LOLA和LA在完全合作博弈中恶化智能体协调的问题,提出分层学习预期(HLA)方法,通过将智能体分配至多个层级以分层方式预期其他智能体学习,显著提升了共同利益智能体间的协调效果。
2023-04-02 cs.MA
Multi-Agent Cooperative Learning for Robust Vision-Language Alignment under OOD Concepts
本文提出多智能体协作学习框架,通过结构化信息传递缓解模态不平衡,提升视觉语言模型在异常概念下的对齐性能,实验表明在少样本和零样本设置中精度提升1-5%。
2026-01-11 cs.MA
A Game-Theoretic Utility Network for Cooperative Multi-Agent Decisions in Adversarial Environments
多智能体系统(MAS)在危险场景中的潜在关系可以表示为博弈论模型。我们衡量的MAS实现任务的成功概率和系统成本平衡的角度来看,性能。本文提出了一种新的基于网络的模型称为博弈论效用树(GUT),它将高层策略分解为可执行的低层行动的合作MAS决策。这是结合了一个新的回报措施的基础上,代理需要实时战略游戏。我们提出了一个探索游戏域来评估GUT对最先进的QMIX决策方法。大量数值模拟的结论性结果表明,GUT可以组织MAS合作之间的更复杂的关系,帮助群体以更低的成本和更高的胜率完成具有挑战性的任务。
2021-07-31 cs.MA
An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文介绍了协作多智能体强化学习中集中式训练去中心化执行(CTDE)的基本概念、设定与常用方法,阐述其相较于其他范式的优势及适用场景。
2024-09-04 cs.LG cs.MA
Intrinsic Action Tendency Consistency for Cooperative Multi-Agent Reinforcement Learning
针对CTDE范式下智能体动作倾向分歧影响训练效率的问题,提出Intrinsic Action Tendency Consistency方法,通过动作模型预测邻居动作倾向并计算合作内在奖励,结合RA-CTDE框架提升多智能体协作性能。
2024-08-29 cs.MA
Cooperative Label-Free Moving Target Fencing for Second-Order Multi-Agent Systems with Rigid Formation
本文针对二阶多智能体系统提出一种无标签协同围栏控制器,通过内模动态调节器与相邻排斥力实现刚性编队、避碰及对变速移动目标的围捕,并给出闭环系统渐近稳定性的充分条件与仿真验证。
2023-11-02 cs.MA
Decentralized Cooperative Communication-less Multi-Agent Task Assignment with Monte-Carlo Tree Search
协作任务分配是多智能体系统中的一个重要课题,有着广泛的应用。这些系统通常被设计成在智能体之间进行大量的通信,以最小化整个系统在追求总目标时的误差。在这项工作中,我们提出了一种新的方法,分散合作通信少的多智能体任务分配(DCCMATA)采用蒙特卡罗树搜索(MCTS)。在这里,每个智能体都可以自己为自己分配最优任务。我们设计的系统自动最大化的成功率,有效地实现集体目标。换句话说,代理最佳地计算每个后续步骤,只有通过知道其他代理的当前位置,没有额外的通信开销。与以前提出的方法,依赖于类似的问题的任务分配过程相比,我们描述了一种方法,在该方法中,代理朝着集体目标。这可能会导致一些代理不一定向最近的目标移动的情况。然而,在这些情况下的总效率(完工时间)和有效性(成功率)显著提高。为了评估我们的方法,我们已经测试了广泛的参数(代理,大小,目标)的算法。我们的实现完全解决了(成功率= %100)一个20*20网格20个目标20代理在7.9秒的运行时间为每个代理。此外,该算法的运行复杂度为O(N^2I^2 + IN^4),其中I和N分别是MCTS迭代索引和网格大小。
2020-02-23 cs.MA
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University(南京大学);Dalian University of Technology(大连理工大学)
针对多智能体强化学习现有算法的不足,基于MADDPG引入合作奖励参数,在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励,改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
Agentic Discovery: Closing the Loop with Cooperative Agents
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
本文提出用协作智能体增强人类,实现自主科学发现,以突破人类决策瓶颈,需AI和基础设施协同进步。
2025-10-15 cs.AI cs.MA
An Initial Introduction to Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文是协同多智能体强化学习的导论,梳理了CTE、CTDE、DTE三类方法的核心概念、典型算法与相关研究,还探讨了认知误区、方法关联及开放问题。
2026-09-24 cs.LG cs.MA
Cooperative Multi-Agent Planning: A Survey
Czech Technical University in Prague(布拉格捷克理工大学)
合作多智能体规划(MAP)是一个相对较新的研究领域,它结合了人工智能规划和多智能体系统社区开发的技术、算法和技术。虽然规划通常被视为一个单一的代理任务,MAP概括了这一概念,考虑多个智能代理合作开发一个行动过程,满足组的目标。本文回顾了最相关的MAP方法,重点关注参加2015年分布式和多智能体规划竞赛的求解器,并根据其关键特征和相对性能对其进行分类。
2017-11-24 cs.AI cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
通过在多智能体环境中使用多个智能体之间的通信,可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习,在混合合作竞争环境中的沟通学习也很重要,并带来了自己的复杂性,如对方团队偷听的沟通。在本文中,我们应用微分代理间学习(DIAL),合作设置,一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明,在我们选择的环境中,经过给定的训练期后,通信代理能够实现与完全可观察代理相似的性能。总的来说,我们发现,跨团队共享通信的结果在降低性能的沟通团队相比,实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间,代理可以由相同的信号(例如全局状态)指导。然而,在分散执行期间,代理人缺乏共享信号。受视点不变性和对比学习的启发,本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察,但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中,我们将推断出的共识作为对代理网络的明确输入,从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外,我们在一些完全合作的任务上进行了测试,并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology(麻省理工学院)
强化学习在合作多智能体设置最近取得了显着进展,在广告,动态治疗制度,分布式控制和联邦学习的合作估计的应用。在本文中,我们讨论的问题,合作多代理RL函数逼近,其中一组代理相互通信,共同解决一个情节MDP。我们证明,通过仔细的消息传递和合作的价值迭代,它是可以实现接近最优的无遗憾学习,即使是一个固定的恒定的通信预算。接下来,我们证明,即使在异构的合作设置,它是可能的,以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法,以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Engineering Cooperative JADE Agents with the AMCIS Methodology: The Transportation Management Case Study
本文详细讨论了基于Agent的交通电子市场开发过程中出现的重要分析和设计问题。这个讨论是基于来自AMCIS方法和JADE框架的概念。AMCIS方法是专门针对合作信息代理为基础的系统的分析和设计,同时它支持两个层次的个人代理结构和代理社会的多代理系统(MAS)的开发过程。根据AMCIS,MAS被视为由许多生活在有组织社会中的自主合作代理组成,每个代理都扮演一个或多个特定角色,而他们的计划和交互协议是明确定义的。另一方面,JADE是一个符合FIPA规范的代理开发环境,它提供了几个方便快捷的实现工具。我们的目的是揭示AMCIS提出的代理规范和代理交互的基本概念与JADE提供的代理实现之间可能存在的映射,从而为代理开发人员提供一种路线图。
2013-12-07 cs.MA cs.SE
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
训练多智能体强化学习(MARL)算法比训练单智能体强化学习算法更具挑战性,因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法,提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中,一般有两类代理人:合作代理人和竞争代理人。在该算法中,每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数,将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后,每个代理使用有偏的动作信息更新其自己的价值函数,从而产生有偏的价值函数和相应的有偏策略。随后,每个代理人的偏见政策不可避免地受到建议的行动,合作和竞争与其他代理人,从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明,我们的算法优于现有的算法在各种混合的合作竞争环境。此外,随着训练的进行,引入的偏差逐渐减小,并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy(韩国陆军士官学校);KAIST(韩国科学技术院)
多代理设置是复杂和不可预测的,因为多个代理的行为相互影响。为了解决这种环境的不确定性,分布式强化学习算法,通过分布式输出结合不确定性已被集成与多智能体强化学习(MARL)方法,实现国家的最先进的性能。然而,分布式MARL算法仍然依赖于传统的$ε$ -贪婪,没有考虑合作策略。在本文中,我们提出了一个基于风险的探索,导致合作乐观的行为,通过改变分布的采样区域。最初,我们从状态-动作值的上分位数中提取期望值进行探索,这是乐观的动作,并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下,我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能,在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Decentralized Inference via Capability Type Structures in Cooperative Multi-Agent Systems
针对异构能力智能体的临时协作问题,提出基于能力类型结构的信念维护与规划算法,并在噪声观测及协作跳棋等环境中验证其可避免反协作行为。
2023-04-27 cs.GT cs.MA
Kernel Methods for Cooperative Multi-Agent Contextual Bandits
Massachusetts Institute of Technology(麻省理工学院)
协作多智能体决策是指一组智能体在网络上进行时延通信的同时协作解决学习问题。在本文中,我们考虑核化的上下文强盗问题,由代理获得的奖励是在相关的再生核希尔伯特空间(RKHS)中的上下文图像的任意线性函数,并且一组代理必须合作以集体解决其唯一的决策问题。对于这个问题,我们提出了\textsc{Coop-KernelUCB},一个算法,提供了接近最优的边界上的每代理后悔,是计算和通信效率。对于特殊情况下的合作问题,我们还提供了变体的\textsc{Coop-KernelUCB},提供最佳的每代理遗憾。此外,我们的算法推广了现有的几个结果在多智能体的强盗设置。最后,在一系列的合成和现实世界的多智能体网络基准,我们证明了我们的算法显着优于现有的基准。
2020-08-14 cs.LG cs.MA stat.ML
Cooperative Multi-Agent Path Finding: Beyond Path Planning and Collision Avoidance
Technion(以色列理工学院)
我们介绍了合作多智能体路径寻找(Co-MAPF)问题,经典的MAPF问题的扩展,其中合作行为被纳入。在这种设置中,一组自主智能体在共享环境中操作,并且必须完成协作任务,同时避免与组中的其他智能体发生冲突。这个扩展自然地模拟了许多现实世界的应用程序,其中需要多组代理进行协作以完成给定的任务。为此,我们对Co-MAPF问题进行了形式化,并引入了基于冲突的协作搜索(Co-CBS),这是一种基于CBS的算法,用于为广泛的Co-MAPF问题最佳地解决该问题。Co-CBS使用集成到CBS中的协作规划模块,使得协作规划与路径规划解耦。最后,我们提出了实证结果几个MAPF基准证明我们的算法的属性。
2021-05-23 cs.AI cs.MA cs.RO
Zeroth-Order Feedback Optimization for Cooperative Multi-Agent Systems
研究了一类多智能体协作最优化问题,其中每个智能体与一个局部行动向量和一个局部代价相关联,目标是协同寻找使局部代价平均值最小的联合行动方案.这样的问题出现在许多应用中,如分布式路由控制,风力发电场的操作,等等。在许多这些问题中,梯度信息可能不容易获得,和代理可能只观察他们的行动所产生的本地成本作为反馈,以确定他们的新的行动。在本文中,我们提出了一个零阶反馈优化方案,我们考虑的问题,并提供明确的复杂性界限的凸和非凸设置无噪声和噪声的本地成本观测。我们还简要讨论了知识的影响,局部函数依赖的代理之间。分布式路由控制的数值例子证明了算法的性能。
2021-02-23 cs.MA math.OC
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST(韩国科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是,我们专注于获得分散的政策,代理,以最大限度地提高性能的合作任务的所有代理,这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络:(1)分散式贪婪策略网络,用于在训练和执行期间生成贪婪动作;(2)生成式合作策略网络(GCPN),用于在训练期间生成动作样本,以使其他代理改进其目标。我们表明,GCPN生成的样本,使其他代理更有效地探索政策空间,并有利地达成更好的政策,在实现合作任务。
2018-10-22 cs.AI cs.MA
Cooperative Motion Planning for Non-Holonomic Agents with Value Iteration Networks
Daimler R&D(戴姆勒研发中心);FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
协作运动规划仍然是机器人面临的一个具有挑战性的课题。最近,价值迭代网络(VIN)被提出来建模运动规划任务作为神经网络。在这项工作中,我们扩展VIN解决非完整约束下的合作规划任务。为此,我们将多个VIN互连,以尊重彼此的输出。通过迭代梯度下降生成合作策略。仿真验证表明,所得到的网络可以解决非完整运动规划问题,需要合作。
2017-09-15 cs.MA cs.RO
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题,提出协作式多智能体深度RL方法同时建模并求解TAPF,在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
Cooperative Game Theory within Multi-Agent Systems for Systems Scheduling
关于多智能体系统中的组织和协调的研究继续从各种架构和方法中汲取。本文提出的工作相结合的技术,从博弈论和多智能体系统产生自组织的,多态的,轻量级的,嵌入式代理系统调度在一个大规模的实时系统环境。结果表明,这种方法是如何使用实验产生最佳的实时调度,通过成千上万的代理的紧急行为。这些结果是使用SWARM模拟系统调度内的高能物理实验组成的2500个数字信号处理器。
2005-04-29 cs.AI cs.MA
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida(中佛罗里达大学)
星际争霸II多智能体挑战赛(SMAC)是协作多智能体强化学习(MARL)的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题,并假设每个单元都由一个学习代理单独控制,该学习代理独立行动,只拥有本地信息;集中式训练假设与分散式执行(CTDE)一起发生。为了在SMAC中取得良好的性能,MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix,基于变压器的联合动作值混合网络,我们证明是有效的和可扩展的相比,其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数,以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能,并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University(北京大学)
本文系统综述了完全去中心化协作多智能体强化学习方法,涵盖共享奖励与个体奖励之和两种优化目标,并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);École Polytechnique de Montréal(蒙特利尔综合理工学院);University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学);Université de Montréal(蒙特利尔大学)
本文提出 COE,将合作式 MARL 建模为顺序树搜索,并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励,在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
Cooperative Tuning of Multi-Agent Optimal Control Systems
研究了多智能体最优控制系统的协同整定问题,其中智能体网络(即多个耦合的最优控制系统)以协调的方式调整其动态、目标函数或控制器中的参数,以使其损失函数之和最小。与经典的控制器参数整定技术不同,我们允许可调参数出现在系统动力学和每个代理的目标函数。一个框架的开发,让所有的代理商达成共识的可调参数,最大限度地减少团队的损失。该算法的核心思想是将多智能体系统的基于共识的分布式优化与梯度生成器相结合,梯度生成器捕获最优性能作为反馈回路中参数的函数,并为每个智能体调整参数。理论和仿真结果的同步多智能体交会问题,以验证所提出的方法的多智能体最优控制的合作调整。
2022-09-24 cs.MA cs.SY eess.SY
Finding Core Members of Cooperative Games using Agent-Based Modeling
基于主体的建模(ABM)是一个强大的范式,以获得洞察社会现象。反弹道导弹很少应用的一个领域是联盟形成。传统上,联盟形成是用合作博弈理论建模的。在本文中,开发了一种启发式算法,可以嵌入到ABM,让代理人找到联盟。由此产生的联盟结构是可比的合作博弈论解决方案的方法,特别是,核心。一个启发式的方法是必需的,由于计算复杂性找到一个合作博弈论的解决方案,限制其应用到只有大约一个分数的代理。ABM范式提供了一个平台,在这个平台上,简单的规则和代理之间的交互可以产生宏观层面的效果,而无需大量的计算需求。因此,它可以是一个有效的手段,近似合作博弈的解决方案,大量的代理。我们的启发式算法结合了基于代理的建模和合作博弈论,以帮助找到代理分区的游戏的核心解决方案的成员。我们的启发式算法的准确性可以通过将其结果与实际的核心解决方案进行比较来确定。这种比较是通过开发一个实验来实现的,这个实验使用了一个叫做手套游戏的合作游戏的具体例子。手套博弈是一种交换经济博弈。寻找传统的合作博弈论的解决方案是计算密集型的大量球员,因为每个可能的分区必须比较每个可能的联盟,以确定核心集,因此我们的实验只考虑游戏多达9个球员。结果表明,我们的启发式方法实现了超过90%的时间在我们的实验中考虑的游戏的核心解决方案。
2020-08-30 cs.AI cs.MA econ.TH
You Only Align Once: Propagating Cooperative Behaviors in Multi-Agent Systems through Seed Agents
Arcarae;University of California, Santa Cruz(加州大学圣克鲁兹分校);Northwestern University(西北大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出对齐传播现象,通过种子智能体在自然语言交互中传播合作行为,在红黑游戏中将合作率从24.8%提升至62.2%,并零样本迁移至Sugarscape场景。
2026-10-05 cs.CL cs.MA
Learning Reward Machines in Cooperative Multi-Agent Tasks
Imperial College London(伦敦帝国学院)
本文提出一种结合合作任务分解与奖励机器(RMs)学习的多智能体强化学习方法,通过去中心化学习子任务RMs引导智能体行为,降低问题复杂度,提升部分可观测环境下学习有效性与策略可解释性。
2023-05-24 cs.AI cs.MA cs.SC
Cooperative Multi-Agent Bandits with Heavy Tails
Media Lab and Institute for Data, Systems and Society, Massachusetts Institute of Technology(麻省理工学院媒体实验室与数据、系统与社会研究所)
我们研究了合作多智能体环境中的重尾随机强盗问题,其中一组智能体与一个共同的强盗问题进行交互,同时在具有延迟的网络上进行通信。在这种情况下,现有的随机强盗算法利用置信区间所产生的平均为基础的通信协议称为~ \textit{running consensus},这并不适合自己的鲁棒估计重尾设置。我们提出了\textsc{MP-UCB},一个分散的多智能体算法的合作随机土匪,采用了强大的估计与消息传递协议。我们证明了\textsc{MP-UCB}的几个问题设置的最佳遗憾界,也证明了它的优越性,现有的方法。此外,我们建立了合作的强盗问题的第一个下界,除了提供有效的鲁棒的强盗位置估计算法。
2020-08-14 cs.LG cs.MA stat.ML
Graphon Mean-Field Control for Cooperative Multi-Agent Reinforcement Learning
本文提出图论均值场控制框架,用于近似具有非均匀相互作用的协作多智能体强化学习,证明其近似顺序为$\mathcal{O}(\frac{1}{\sqrt{N}})$,并展示其在可扩展性上的优势。
2026-03-02 cs.MA math.OC
Reward Design in Cooperative Multi-agent Reinforcement Learning for Packet Routing
Peking University(北京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
在协作多智能体强化学习(MARL)中,如何设计合适的奖励信号来加速学习和稳定收敛是一个关键问题。全局奖励信号向所有代理分配相同的全局奖励,而不区分它们的贡献,而局部奖励信号仅基于个体行为向每个代理提供不同的局部奖励。这两种奖励分配方法都有一些缺点:前者可能会鼓励懒惰的代理,而后者可能会产生自私的代理。本文研究了基于分组路由环境的协作MARL中的报酬设计问题。首先,我们证明了上述两个奖励信号容易产生次优策略。然后,受一些观察和考虑的启发,我们设计了一些混合奖励信号,这些信号是现成的,可以学习更好的策略。最后,我们把混合的奖励信号转化为自适应的奖励信号,在我们的实验中取得了最好的效果。本文还讨论了其他奖励信号。由于奖励设计是RL中的一个非常基本的问题,特别是在MARL中,我们希望MARL研究人员能够重新考虑他们系统中使用的奖励。
2020-03-05 cs.AI cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich(慕尼黑大学);MaibornWolff(迈博尔夫公司)
多智能体系统(MAS)中的决策是一个巨大的挑战,由于巨大的状态和联合行动空间以及不确定性,使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性,但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题,在复杂环境中会导致不稳定和不协调的行为。在本文中,我们提出了强紧急政策近似(STEP),一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此,我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合,只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间,并表明,STEP是能够学习更强的政策比标准的多智能体强化学习算法,结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中,以进一步提高性能。
2019-01-25 cs.AI cs.MA
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc(亚马逊公司Alexa人工智能部门);University of Southern California(南加州大学)
我们提出了一个多模态(视觉和语言)合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集,其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架,最先进的多智能体强化学习技术的多模态实现,以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明,多模态引入了独特的挑战,合作多智能体学习和有显着的空间,在这种情况下,推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Cooperative Pathfinding based on memory-efficient Multi-agent RRT*
在合作寻路问题中,需要规划将多个智能体从其起始位置带到其目的地的无冲突路径。多智能体RRT*(MA-RRT*)算法可以有效地解决这个问题,该算法仍然是耦合方法领域的最新技术。然而,该算法的实现在内存有限的系统中受到阻碍,因为树中的节点数量随着路径的优化而无限增长。本文提出了一种改进的MA-RRT*,称为多代理RRT* 固定节点(MA-RRT*FN),它通过删除路径上不太可能到达目标的弱节点来限制树中存储的节点数量。结果表明,MA-RRT*FN在可扩展性和解决方案质量方面与MA-RRT* 接近,而所需的内存要低得多且固定。
2020-03-04 cs.AI cs.MA
QTypeMix: Enhancing Multi-Agent Cooperative Strategies through Heterogeneous and Homogeneous Value Decomposition
Institute of Acoustics(声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对多智能体协作中异构策略学习难的问题,提出QTypeMix方法,通过同构-异构两阶段值分解、TE损失及注意力+超网络结构,在SMAC/SMACv2的14张地图上取得最优性能。
2024-08-12 cs.AI cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Learning cooperative behaviours in adversarial multi-agent systems
Paris-Saclay University(巴黎萨克雷大学);University of Lincoln(林肯大学);University of York(约克大学)
这项工作扩展了现有的虚拟多智能体平台RoboSumo,以创建TripleSumo -一个用于研究多智能体在连续动作空间中的合作行为的平台,在对抗环境中进行物理接触。在本文中,我们调查的情况下,两个代理,即“错误”和“蚂蚁”,必须组队,并推动另一个代理“蜘蛛”的舞台。为了实现这一目标,新添加的代理“Bug”在“Ant”和“Spider”之间进行的比赛中进行训练。“Bug”必须发展对其他代理的行动的意识,推断双方的策略,并最终学习合作的行动策略。强化学习算法深度确定性策略梯度(DDPG)是通过结合密集和稀疏奖励的混合奖励结构来实现的。通过平均获胜概率和平均获胜所需的步骤数对合作行为进行定量评价。
2023-02-10 cs.AI cs.MA cs.RO
Linear Differential Games for Cooperative Behavior Planning of Autonomous Vehicles Using Mixed-Integer Programming
多智能体协同规划是自动驾驶汽车策略规划和运动规划的一种有效方法。通过考虑每个智能体的意图,自我智能体可以将未来与人类驾驶车辆的交互纳入其规划中。这个问题通常被表述为多智能体博弈,并使用在离散化动作或状态空间上操作的迭代算法来解决。即使收敛到一个纳什均衡,结果往往只是次优的。在本文中,我们定义了一个线性微分对策的一组相互作用的代理人,并解决它的最优性使用混合整数规划。一个析取制定的方向,使我们能够制定线性约束,以防止代理到代理碰撞,同时保持车辆模型的非完整运动特性。软约束解释了预测误差。然后,我们定义了一个联合成本函数,其中的合作因素可以适应利他,合作和利己主义行为。我们研究的合作因素的影响,以解决方案,代理之间的互动是必要的,以成功地解决它们。然后,在一个赛车的情况下,我们在一个闭环后退地平线重新规划的方式显示的配方的适用性的方法进行评估。通过解释合作假设和实际行为中的不准确性,我们确实可以成功地规划与其他代理密切交互的最优控制策略。
2021-09-30 cs.MA cs.RO
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Stabilization of Cooperative Information Agents in Unpredictable Environment: A Logic Programming Approach
一个信息主体被看作是一个演绎数据库,它由3部分组成:一个观察数据库,包含主体从周围环境中观察或感知到的事实;一个输入数据库,包含主体从其他主体获得的信息;以及一个内涵数据库,它是一组规则,用于从观察和输入数据库中存储的信息中计算导出信息。信息代理系统的稳定性表示代理最终获得关于其周围环境的正确信息的能力,尽管不可预测的环境变化和许多代理无法感知这种变化,导致它们具有暂时的不正确信息。我们认为,一个系统的合作信息代理的稳定可以理解为收敛的行为,整个系统的行为向一个“超级代理”,谁拥有传感和计算能力的所有代理相结合。我们表明,不幸的是,稳定是不能保证在一般情况下,即使代理人是完全合作,并没有隐藏任何信息。我们给出了稳定的充分条件,并讨论了我们的结果的后果。
2005-03-24 cs.LO cs.MA cs.PL
A Comprehensive Survey on Multi-Agent Cooperative Decision-Making: Scenarios, Approaches, Challenges and Perspectives
The University of Hong Kong (HKU)(香港大学);Imperial College London(伦敦帝国学院);National Heart and Lung Institute, Imperial College London(伦敦帝国学院国家心肺研究所);Cardiovascular Research Centre, Royal Brompton Hospital(皇家布朗普顿医院心血管研究中心)
该综述梳理多智能体协同决策的场景、方法等,重点分析深度多智能体强化学习与大语言模型驱动的多智能体方法,同时指出领域挑战与未来研究方向。
2026-09-01 cs.AI cs.MA
Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning
SEAS, Harvard University(哈佛大学工程与应用科学学院);Kempner Institute, Harvard University(哈佛大学肯珀研究所)
本文提出去中心化扩散策略学习方法,通过扩散概率模型提升多智能体强化学习中的探索能力,解决了高维动作空间下的策略表达限制问题。
2026-05-08 cs.MA stat.ML
How to solve a classification problem using a cooperative tiling Multi-Agent System?
Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立理工学院);UT3(图卢兹第三大学);UT1(图卢兹第一大学);Citec Ingénieurs Conseil(赛泰克工程咨询公司)
自适应多智能体系统(AMAS)将动态问题转化为智能体之间的局部协作问题。我们提出了smappy,一个基于集成的AMAS实现的移动性预测,其代理提供了机器学习模型,除了他们的合作规则。通过详细的方法,我们提出了一个框架,将分类问题转化为输入变量空间的合作平铺。我们表明,它是可能的使用线性分类器在线非线性分类的三个基准玩具问题,选择他们的不同水平的线性可分性,如果他们被集成在一个合作的多智能体结构。所获得的结果表明,在非线性背景下的分类精度和决策边界,由于合作的方法的线性分类器的性能显着改善。
2022-09-15 cs.AI cs.LG cs.MA
CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Honda Research Institute(本田研究院);Toyota Research Institute(丰田研究院)
各种合作的多智能体控制问题,需要代理,以实现个人的目标,同时有助于集体的成功。这种多目标的多代理设置带来了困难,最近的算法,主要是目标设置与一个单一的全球奖励,由于两个新的挑战:有效的探索学习个人目标的实现和合作,为他人的成功,和信用分配的行动和目标之间的相互作用不同的代理。为了解决这两个挑战,我们将问题重组成一个新的两阶段的课程,在学习多智能体合作之前,学习单智能体的目标实现,我们推导出一个新的多目标多智能体的策略梯度与信贷功能本地化信用分配。我们使用一个功能增强计划,以桥梁价值和政策功能的课程。完整的架构,称为CM3,学习速度显着快于现有算法的三个具有挑战性的多目标多智能体问题的直接适应:在困难的编队合作导航,谈判多车辆车道变化的SUMO交通模拟器,和战略合作在一个bankers环境。
2020-01-24 cs.LG cs.MA stat.ML
Multi-agent RRT*: Sampling-based Cooperative Pathfinding (Extended Abstract)
Czech Technical University in Prague(捷克布拉格技术大学);Delft University of Technology(代尔夫特理工大学)
合作寻路是为多个移动代理寻找一组不冲突的轨迹的问题。它的应用包括移动机器人团队的规划,如自主飞机,汽车或水下航行器。用于协作寻路的最先进的算法通常依赖于一些启发式前向搜索寻路技术,其中A* 通常是选择的算法。在这里,我们提出了MA-RRT*,一种新的算法,多代理路径规划,建立在最近提出的渐近最优采样为基础的算法,寻找单代理最短路径称为RRT*。我们实验评估的算法的性能,并表明,基于采样的方法提供了更好的可扩展性比经典的前向搜索方法在相对较大,但稀疏的环境,这是典型的在现实世界中的应用,如多飞机防撞。
2013-02-12 cs.AI cs.MA cs.RO