Learning Complex Multi-Agent Policies in Presence of an Adversary
近年来,在将深度强化学习应用于多智能体环境方面取得了一些出色的工作。通常在这种多代理场景中,可能存在对手。我们通过实现基于图的多智能体深度强化学习算法来解决这种设置的要求。在这项工作中,我们考虑的情况下,多个代理人的欺骗需要学习合作和沟通,以欺骗对手。我们采用了两个阶段的学习过程,让合作代理学习这种欺骗行为。我们的实验表明,我们的方法使我们能够采用课程学习,以增加合作的代理在环境中的数量,并使一个团队的代理学习复杂的行为,成功地欺骗对手。关键词:多智能体系统,图神经网络,强化学习
2020-10-08 cs.MA
Single-Agent Scaling Fails Multi-Agent Intelligence: Towards Foundation Models with Native Multi-Agent Intelligence
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文指出单智能体扩展无法实现多智能体智能,提出构建具有原生多智能体智能的基础模型的关键方向。
2025-12-16 cs.AI cs.MA
Multi-level agent-based modeling with the Influence Reaction principle
本文基于影响反应原理,采用一种形式化模型IRM 4 MLS(an Influence Reaction Model for Multi-Level Simulation),研究了多级Agent模型的描述与实现。提出的例子说明了形式的自上而下的控制(多级)多智能体为基础的模拟。
2012-04-03 cs.MA
Measuring collaborative emergent behavior in multi-agent reinforcement learning
多智能体强化学习(RL)对人类-智能体合作的未来具有重要意义。我们发现,多智能体RL的性能提高并不能保证协作行为被认为是解决多智能体任务的重要因素。为了解决这个问题,我们提出了一种新的方法,用于定量评估多智能体RL在连续空间任务中的协作。这样的度量对于测量计算代理之间的协作是有用的,并且可以用作涉及人类的未来RL范例中的协作的训练信号。
2018-07-23 cs.MA
Using Multi-Agent MicroServices (MAMS) for Agent Based Modelling
本文通过开发开车上下班交通模拟原型的案例研究,演示了多智能体微服务(MAMS)架构风格在基于智能体建模中的应用。
2023-07-27 cs.MA
Learning Communication Skills in Multi-task Multi-agent Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
本文提出多任务通信技能(MCS)方法,通过Transformer编码器和预测网络学习共享通信协议,使多智能体能同时执行多个任务,并在多任务基准实验中优于无通信多任务基线及单任务基线。
2025-11-06 cs.MA
Multi-Agent Modeling Using Intelligent Agents in the Game of Lerpa
博弈论在其应用中有许多局限性。通过利用多智能体建模,有可能解决一些使用传统博弈论无法解决的问题。本文将强化学习应用到神经网络中,以创建智能代理
2007-06-02 cs.GT cs.MA
Multi-Agent Model Predictive Control: A Survey
在这份报告中,我们定义的特征控制设计元素,并显示如何传统的单代理MPC实现这些。我们调查最近的文献多智能体MPC和讨论如何处理分解,问题分配和合作。
2009-08-07 cs.MA
AutoGenesisAgent: Self-Generating Multi-Agent Systems for Complex Tasks
本文提出AutoGenesisAgent,一个能自主设计并部署针对特定任务的多智能体系统,通过专门智能体协同管理全生命周期,减少初期人工监督。
2024-04-25 cs.MA
Multi-Task Multi-Agent Shared Layers are Universal Cognition of Multi-Agent Coordination
本文提出一种多任务多智能体共享层方法,通过共享后端决策层提取通用决策知识,在SMAC和GRF环境中验证了其高效迁移性,显著降低训练成本并提升性能。
2023-12-25 cs.MA
Subjective Knowledge and Reasoning about Agents in Multi-Agent Systems
IIT Madras(马德拉斯印度理工学院)
虽然在多智能体系统中的大量工作集中在人工智能体的知识和信念的推理,一个显式的表示和推理的存在/不存在的代理,特别是在场景中,代理可能不知道其他代理加入或离线的多智能体系统,导致部分知识/不对称知识的代理大多被MAS社区忽视。这样的场景奠定了基础的情况下,一个代理可以影响其他代理的精神状态(错误)通知他们的存在/不存在的合作者或对手。在本文中,我们研究如何Kripke结构为基础的认知模型可以扩展到表示上述概念的基础上代理的主观知识,我们讨论了随之而来的挑战。
2020-01-22 cs.AI cs.MA
The Requirement Gatherers' Approach to the 2019 Multi-Agent Programming Contest Scenario
2019年多智能体编程竞赛(MAPC)场景为参与竞赛的智能体带来了许多挑战。我们讨论了需求收集者(TRG)处理我们面临的各种挑战的方法-包括我们如何设计我们的系统,我们如何调试我们的代理,以及我们对每个代理采用的策略。最后,我们对我们的代理人的表现,以及我们应该做什么不同的评论。
2020-06-04 cs.MA
Run-time Norms Synthesis in Multi-Objective Multi-Agent Systems
规范代表了社会群体或系统中大多数代理人所鼓励的行为方面。规范系统使复杂的多智能体系统中的异构智能体的协调综合规范自主。在实际应用中,智能体有多个目标,这些目标可能相互矛盾或与综合规范相矛盾。因此,代理人需要一个机制来了解他们的目标上的建议规范的影响,并决定是否采用it.To解决这些挑战,基于效用的规范合成(UNS)模型,提出了允许代理人协调他们的行为,同时实现其冲突的目标。UNS提出了一种基于实用程序的案例推理技术,使用基于案例的推理运行时间规范合成在一个集中的方法,和一个效用函数来自系统的目标和它的操作代理,以决定是否采用规范。使用两条相交道路的场景对该模型进行评估,结果显示其在采用综合规范的同时优化多个目标的有效性。
2021-05-01 cs.MA
Directionality Reinforcement Learning to Operate Multi-Agent System without Communication
本文建立了方向性强化学习(DRL)技术,提出了完全分散的多智能体强化学习方法,该方法基于各智能体的学习实现协作:无通信、无观测。具体地说,DRL增加了“智能体必须学会在可达目标中到达最远目标”的指导,以学习智能体合作操作智能体。此外,为了研究DRL的有效性,本文在迷宫问题中比较了Q-学习代理与DRL和以前的学习代理。实验结果表明:(1)DRL在时间消耗方面优于前一种方法;(2)DRL的方向使Agent学习为其他Agent让步的行为;(3)DRL建议以较少的代价实现多Agent学习。
2021-10-12 cs.MA
Formalizing Multi-Agent Systems Using Action Descriptions in Single Agent Perspective
基于逻辑的多智能体系统表示已经得到了广泛的研究。在这项工作中,我们专注于行动语言BC形式化MAS域的全局视图。从方法论上讲,我们从单个代理的角度出发,通过动作描述来表示每个代理的行为。然后,它经历了两个阶段,指导建模者在组成的全球视图,首先指定多代理方面的域通过潜在的冲突,后来解决这些冲突,根据预期的行为的整体系统。考虑到表示单代理的描述是相对简单的比直接表示多代理的描述,这里开发的形式化是有价值的知识表示的角度来看。
2016-11-19 cs.LO cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center(FEI大学中心)
受图神经网络在智能体通信方面的最新进展的启发,提出了一种多智能体通信能力的有向标记异构智能体图表示方法,其中节点标签表示智能体类,边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构,专门在完全合作的异构多智能体任务的通信,通过学习个人的转换,每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享,我们表现出相当或优越的性能,在环境中,有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
NegotiationGym: Self-Optimizing Agents in a Multi-Agent Social Simulation Environment
Quantexa
本研究设计实现多智能体社会仿真工具NegotiationGym,提供配置驱动的易用API,支持谈判合作类场景定制,智能体可通过多轮交互观察结果、调整策略实现自优化。
2025-10-05 cs.AI cs.MA
Learning Multi-agent Action Coordination via Electing First-move Agent
在复杂的多智能体系统中,学习协调智能体之间的动作是必不可少的。以前的工作主要是受约束的假设,所有的代理同时采取行动,和异步代理之间的协调很少考虑。本文提出了一种用于协调行为规划的双层多智能体决策层次结构。我们提出了一种新的选举机制,在该机制中,我们采用了图卷积网络来模拟代理之间的相互作用,并选出一个第一步代理异步指导。我们还提出了一个动态加权的混合网络,以有效地减少在训练过程中的价值函数的误判。这项工作是第一个明确的异步多智能体动作协调模型,这种明确性,使选择最佳的第一步代理。在协同导航和Google Football上的实验结果表明,该算法在协同环境下具有较好的性能。我们的代码可在\url{https://github.com/Amanda-1997/EFA-DWM}上获得。
2022-02-24 cs.GT cs.MA
AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent
Carnegie Mellon University(卡内基梅隆大学);William & Mary(威廉与玛丽学院);Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊);University of British Columbia(不列颠哥伦比亚大学)
提出AgentArk框架,通过三种分层蒸馏策略将多智能体系统的交互动态蒸馏到单个模型权重中,使单个智能体具备多智能体的推理和自校正能力,同时保持计算效率。
2026-05-23 cs.AI cs.MA
MAMS-A*: Multi-Agent Multi-Scale A*
提出了一种多尺度前向搜索算法,用于分布式代理解决单查询最短路径规划问题。每个代理首先构建其自身的公共环境的搜索空间的表示作为多分辨率图,其与其他代理通信其本地搜索的结果,并且其使用从其他代理接收的信息来精炼其自身的图并更新本地不一致条件。因此,所有代理获得一个共同的子图,其中包括一个可证明的最佳路径,在所有代理之间可用的信息最丰富的图,如果存在,而不必传达整个图。我们证明了所提出的算法的完整性和最优性,并提出了支持所提出的方法的优点的数值结果。
2019-10-08 cs.DS cs.MA
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University(南京大学);Dalian University of Technology(大连理工大学)
针对多智能体强化学习现有算法的不足,基于MADDPG引入合作奖励参数,在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励,改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
TransAM: Transformer-Based Agent Modeling for Multi-Agent Systems via Local Trajectory Encoding
本文提出TransAM,一种基于Transformer的智能体建模方法,仅利用受控智能体的局部轨迹编码来捕获其他智能体策略,在合作、竞争和混合环境中验证了其生成强策略表示并提升情节回报的效果。
2025-08-04 cs.AI cs.MA
AI Buzzwords Explained: Multi-Agent Path Finding (MAPF)
University of Southern California(南加州大学)
热点话题“多智能体路径寻找”的解释。
2017-10-17 cs.AI cs.MA cs.RO
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University(斯坦福大学);Microsoft(微软)
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习(MARL)中被放大,其中这些奖励的信用分配不仅需要跨时间发生,而且还需要跨智能体发生。我们提出了代理时间注意力(ATA),辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子,演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境,特别是MultiRoom和DoorKey,多代理稀疏延迟奖励设置。我们证明,ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Hierarchical Decentralized Multi-Agent Coordination with Privacy-Preserving Knowledge Sharing: Extending AgentNet for Scalable Autonomous Systems
AgentNet++通过分层去中心化框架和隐私保护技术,提升多智能体系统的可扩展性和隐私保障,实现更高的任务完成率和更低的通信开销。
2026-10-06 cs.AI cs.MA
Multi-Agent Security Tax: Trading Off Security and Collaboration Capabilities in Multi-Agent Systems
PRISM Eval;Apart Research;University of Oxford(牛津大学)
本文通过仿真研究多智能体系统中攻击者利用单个被攻陷智能体传播恶意指令的风险,评估记忆接种与安全指令等防御策略,揭示安全防护与协作效率之间的权衡。
2025-06-04 cs.AI cs.MA
Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic
Mila, Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
多智能体对抗性逆强化学习(MA-AIRL)是一种最新的方法,它将单智能体AIRL应用于多智能体问题,我们寻求为我们的智能体恢复策略和奖励功能,以促进专家般的行为。虽然MA-AIRL在合作和竞争任务上有很好的效果,但它的样本效率很低,而且只在少量代理中进行了经验验证-它扩展到许多代理的能力仍然是一个悬而未决的问题。我们提出了一个多智能体逆RL算法,是更采样效率和可扩展性比以前的作品。具体来说,我们采用多智能体演员-注意-评论家(MAAC)-一个关闭政策的多智能体RL(MARL)方法-的RL内循环的逆RL过程。通过这样做,与最先进的基线相比,我们能够在小型和大型任务中提高样本效率。此外,在通过我们的方法恢复的奖励上训练的RL代理比在从基线获得的奖励上训练的RL代理更好地匹配专家。最后,我们的方法需要更少的代理环境的相互作用,特别是随着代理的数量增加。
2020-02-24 cs.LG cs.MA
The Athenian Academy: A Seven-Layer Architecture Model for Multi-Agent Systems
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Tianjin Academy of Fine Arts(天津美术学院);Central Academy of Fine Arts(中央美术学院);WaytoAGI
针对AI艺术创作中多智能体系统的协作效率等挑战,提出七层架构框架,划分多智能体协作等七层,经实验验证在相关方面具优势,为该领域提供结构化方法并推动创新。
2025-04-18 cs.AI cs.MA
Learning Emergence of Interaction Patterns across Independent RL Agents in Multi-Agent Environments
Virginia Tech(弗吉尼亚理工大学);Siemens Technology(西门子技术公司)
本文提出Bottom Up Network(BUN),将多智能体集合视为统一实体并通过专门权重初始化和基于梯度的稀疏动态连接实现独立学习与按需协调,在合作导航和交通控制等任务中以更低计算成本超越基线方法。
2024-10-03 cs.LG cs.MA
When Do Introspection Axioms Matter for Multi-Agent Epistemic Reasoning?
哲学中的认知逻辑的早期文献集中于对单个主体的知识或信念的推理,特别是关于“内省公理”(如第4和第5公理)的争论。相比之下,后来的计算机科学和博弈论中的认知逻辑文献主要关注多智能体认知推理,单智能体4和5公理在很大程度上被认为是理所当然的。在相关的多智能体场景中,推理智能体A相信什么、智能体B相信什么、智能体A相信什么通常很重要;但仅仅推理智能体A相信什么、智能体A相信什么很少重要。这就提出了一个问题,即单智能体内省公理对多智能体认知推理的影响程度。在本文中,我们形式化和回答这个问题。为了形式化这个问题,我们首先定义了一组多智能体公式,我们称之为智能体交替公式,包括Box_a Box_b Box_a p这样的公式,但不包括Box_a Box_a p这样的公式。然后添加4和5公理(或添加B公理)不允许导出任何新的代理交替公式-在这个意义上,内省公理无关紧要。相比之下,我们表明,这样的保守性结果失败的知识和多代理KT,虽然他们持有相对于一个较小的一类代理nonrepeating公式。
2019-07-22 cs.LO cs.MA
Object Classification by means of Multi-Feature Concept Learning in a Multi Expert-Agent System
IASBS
在许多应用中,对概念类中的某些对象进行分类是一项必不可少的甚至是令人惊叹的任务。本文提出了一种基于多Agent系统的解决方案。多类专家Agent的核心是在某一对象的分类问题中咨询一个中心Agent进行决策。该内核与中心代理相协调,试图通过类似于特征集的数据头来管理查询代理以解决任何决策问题。在多Agent学习方法中,与分类决策相关的概念之间存在合作关系,并可能影响彼此对某一查询对象的结果。这导致了通过咨询趋势的在线功能学习。性能被讨论是更好的,在比较其他一些先前的趋势,而系统的消息传递过载减少到更少的代理和专家有助于系统的性能和可操作性赢得比较。
2009-03-01 cs.LG cs.MA
Extending the OWASP Multi-Agentic System Threat Modeling Guide: Insights from Multi-Agent Security Research
本文扩展了OWASP多智能体系统威胁建模指南,通过引入推理崩溃、不安全委派升级等新威胁类别及评估策略,填补了LLM驱动的多智能体架构在安全建模上的空白,提升了复杂自适应系统的安全性与弹性。
2025-08-13 cs.CR cs.MA cs.SE
Agent-GSPO: Communication-Efficient Multi-Agent Systems via Group Sequence Policy Optimization
Sun Yat-sen University(中山大学)
Agent-GSPO利用组序列策略优化和通信感知奖励,在七个推理基准上以更少令牌实现最先进性能,通过策略性沉默提升多智能体系统通信效率。
2025-10-26 cs.AI cs.MA
Stability of Evolving Multi-Agent Systems
多代理系统是一个分布式系统,其中代理或节点执行无法以分析形式写下来的复杂功能。多智能体系统是高度连接的,它们所包含的信息大部分存储在连接中。当代理更新其状态时,它们会考虑其他代理的状态,并且它们可以通过连接访问这些状态。还有外部的、用户生成的输入到多代理系统中。由于连接中存储了大量的信息,Agent通常是无记忆的,这种无记忆的特性,加上外部输入的随机性,使我们能够使用马尔可夫链来建模多Agent系统。在本文中,我们看看多智能体系统的发展,即代理的数量根据个体代理的适应度而变化。我们扩展了马尔可夫链模型,并定义了稳定性。这是控制多智能体系统的方法的开始。然后,我们在此基础上构建了一个基于熵的不稳定度定义(极限概率的熵),我们使用它来执行稳定性分析。然后,我们通过仿真研究了进化Agent种群的稳定性,并表明结果与Chli和De Wilde提出的非进化多Agent系统中稳定性的原始定义是一致的。本文为数字商业生态系统的构建奠定了理论基础,并在其他地方报道了应用。
2011-11-30 cs.MA cs.NE
AgentsNet: Coordination and Collaborative Reasoning in Multi-Agent LLMs
ETH Zurich(苏黎世联邦理工学院);RWTH Aachen University(亚琛工业大学);Google Research(谷歌研究院)
提出多智能体推理基准AgentsNet,评估多智能体LLM在给定网络拓扑下的协作策略、自组织与通信能力,发现前沿模型在小规模网络表现优异但随规模扩大而下降,并支持多达100个智能体。
2025-07-11 cs.LG cs.MA
Pareto and Boltzmann-Gibbs behaviors in a deterministic multi-agent system
一个确定性系统的相互作用的代理被认为是一个模型的经济动力学。系统的动力学行为由具有近邻相互作用的耦合映象格子描述。每个代理人的演变是两个因素之间的竞争的结果:代理人自己的增长趋势和环境的影响,缓和这种增长。根据控制这些因素的参数的值,系统可以显示帕累托或玻尔兹曼-吉布斯统计行为在其渐近动力学制度。这些行为出现的区域是在系统的参数空间上计算的。其他统计属性,如平均财富,标准差,和基尼系数的财富分配的公平程度的特点也计算在系统的参数空间。
2008-01-07 cond-mat.stat-mech cs.MA nlin.AO
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题,提出协作式多智能体深度RL方法同时建模并求解TAPF,在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
Control Charts for Multi-agent Systems
Johns Hopkins University(约翰霍普金斯大学);Calcifer Computing(Calcifer公司)
本文提出基于适应性控制图的多智能体系统监控方法,通过仿真展示其在学习环境中的必要性,并揭示对抗性智能体对系统安全性的根本矛盾。
2026-11-09 cs.AI cs.LG cs.MA
CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Honda Research Institute(本田研究院);Toyota Research Institute(丰田研究院)
各种合作的多智能体控制问题,需要代理,以实现个人的目标,同时有助于集体的成功。这种多目标的多代理设置带来了困难,最近的算法,主要是目标设置与一个单一的全球奖励,由于两个新的挑战:有效的探索学习个人目标的实现和合作,为他人的成功,和信用分配的行动和目标之间的相互作用不同的代理。为了解决这两个挑战,我们将问题重组成一个新的两阶段的课程,在学习多智能体合作之前,学习单智能体的目标实现,我们推导出一个新的多目标多智能体的策略梯度与信贷功能本地化信用分配。我们使用一个功能增强计划,以桥梁价值和政策功能的课程。完整的架构,称为CM3,学习速度显着快于现有算法的三个具有挑战性的多目标多智能体问题的直接适应:在困难的编队合作导航,谈判多车辆车道变化的SUMO交通模拟器,和战略合作在一个bankers环境。
2020-01-24 cs.LG cs.MA stat.ML
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc(亚马逊公司Alexa人工智能部门);University of Southern California(南加州大学)
我们提出了一个多模态(视觉和语言)合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集,其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架,最先进的多智能体强化学习技术的多模态实现,以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明,多模态引入了独特的挑战,合作多智能体学习和有显着的空间,在这种情况下,推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab(日立工业人工智能实验室)
传统上,多智能体深度强化学习算法的性能是在游戏环境中展示和验证的,在游戏环境中,我们通常有固定数量的智能体。在许多工业应用中,可用试剂的数量可以在任何给定的一天改变,并且即使当试剂的数量提前已知时,试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中,我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
PeerGuard: Defending Multi-Agent Systems Against Backdoor Attacks Through Mutual Reasoning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本研究调查多智能体系统的后门漏洞,提出基于智能体互推理的防御机制,通过评估响应检测被投毒智能体,在LLM系统中实现高准确率与低误报。
2025-05-27 cs.AI cs.LG cs.MA
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University(斯坦福大学);Honda Research Institute US(本田美国研究院)
多智能体强化学习(MARL)为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而,在需要复杂交互的场景中,现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型,以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图(R2G),在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
A Formal Framework for Reasoning about Agents' Independence in Self-organizing Multi-agent Systems
Zhejiang University(浙江大学);Utrecht University(乌得勒支大学)
自组织是指在没有外部控制或影响的情况下,由初始无序系统的部分之间的合作行为形成稳定模式的过程。它已经被引入到多智能体系统中,作为一种内部控制过程或机制来自发地解决困难的问题。然而,由于自组织多智能体系统具有自主智能体和它们之间的局部交互,因此很难从我们设计的局部智能体的行为来预测系统的行为。本文提出了一种基于逻辑的自组织多智能体系统框架,在该框架中,智能体通过遵循各自指定的局部规则进行交互。代理联盟之间的依赖关系,他们对系统的全局行为的贡献是从结构和语义的角度来推理。我们表明,验证这样的自组织多智能体系统的计算复杂性是在指数时间。然后,我们将我们的框架与图论相结合,将系统分解为位于不同层的不同联盟,这使我们能够更有效地验证代理的全部贡献。由此产生的信息代理的全部贡献,使我们能够理解在自组织多代理系统的本地代理行为和系统级行为之间的复杂联系。最后,我们展示了如何使用我们的框架来建模约束满足问题。
2021-05-26 cs.AI cs.LO cs.MA
Multi-Agent eXperimenter (MAX)
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会)
本研究提出新型多智能体模拟器MAX,用于模拟多类型智能体参与的区块链实验,其高度模块化的架构支持便捷添加新模型。
2024-04-12 cs.AI cs.DC cs.MA
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA
Fairness in Agentic AI: A Unified Framework for Ethical and Equitable Multi-Agent System
Carnegie Mellon University(卡内基梅隆大学);BIT Sindri(辛德里理工学院)
本文综述了去中心化多智能体AI中的公平性问题,提出一个将公平性视为动态涌现属性的统一框架,通过整合公平性约束、偏见缓解策略和激励机制来对齐智能体行为,经实证证明能促进更公平的决策,为构建负责任的多智能体系统奠定基础。
2025-03-02 cs.AI cs.CY cs.MA
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma(计算机科学学院俄克拉荷马大学)
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题,提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架,提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Multi-agent Searching System for Medical Information
本文提出了一个多Agent安全系统模型,用于Internet上的医学信息检索。描述了使用移动代理进行Internet搜索的优点。如今,多智能体系统发现他们的应用到决策分配。对于建模建议的多智能体医疗系统使用JADE。最后,当使用移动代理时,生成的结果可以反映与大数据工作时的性能。所提出的系统也具有相对较高的精度96%。
2022-03-23 cs.CY cs.IR cs.MA
How Can Creativity Occur in Multi-Agent Systems?
Pacific Northwest National Laboratory(太平洋西北国家实验室)
复杂的系统表明,遵循简单规则的结构或主体可以产生令人惊讶和美丽的现象。随着深度强化学习(RL)最近的成功,一条自然的前进道路将是使用多个深度RL代理的能力来产生更大收益和更复杂的紧急行为。一般来说,这已被证明是一种不可靠的策略,由于多智能体RL训练中固有的困难而没有大量的计算。在本文中,我们提出了一些标准的创造性多智能体RL。我们希望这个提议能给应用多智能体强化学习的艺术家一个起点,并为哲学讨论指导下的进一步研究提供催化剂。
2021-11-29 cs.AI cs.LG cs.MA
High Performance Simulation for Scalable Multi-Agent Reinforcement Learning
Improbable(英普若博( Improbable ))
多智能体强化学习实验和开源训练环境通常规模有限,支持数十个或有时多达数百个交互代理。在本文中,我们演示了时尚,高性能代理模型(ABM)框架的使用。Vogue作为一个多智能体训练环境,支持数千到数万个交互智能体,同时通过在GPU上运行环境和强化学习(RL)智能体来保持高训练吞吐量。高性能的多智能体环境,在这种规模有可能使学习的强大和灵活的政策,用于ABM和模拟复杂的系统。我们展示了两个新开发的,大规模的多智能体训练环境的训练性能。此外,我们表明,这些环境可以训练共享RL政策的时间尺度分钟和小时。
2022-07-08 cs.LG cs.MA cs.PF
Learning Transferable Cooperative Behavior in Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
虽然多智能体交互可以自然地建模为图,但环境传统上被认为是黑盒。我们建议创建一个共享的代理实体图,其中代理和环境实体形成顶点,顶点之间存在边,可以相互通信。智能体通过沿着图的边交换消息来学习合作。我们提出的多智能体强化学习框架对系统中存在的代理或实体的数量以及排列不变性是不变的,这两者对于任何多智能体系统表示都是理想的属性。我们提出了国家的最先进的结果覆盖,形成和线控制任务的多智能体团队在一个完全分散的框架,并进一步表明,学习的政策迅速转移到不同的团队规模的情况下,随着强大的zero-shot泛化性能。这是朝着开发多智能体团队迈出的重要一步,这些团队可以在现实世界中实际部署,而无需假设完全的先验知识或无限距离的即时通信。
2019-06-04 cs.LG cs.MA stat.ML
Parallel Knowledge Transfer in Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Sun Yat-sen University(中山大学)
多智能体强化学习是一个标准的框架,用于建模应用于现实世界的场景中的多智能体交互。受人类群体经验共享的启发,学习知识在智能体之间的并行重用可以潜在地促进团队学习性能,特别是在多任务环境中。当所有智能体与环境交互并同时学习时,每个独立的智能体如何有选择地从其他智能体的行为知识中学习是我们需要解决的问题。本文提出了一种新的MARL知识转移框架PAT(Parallel Attentional Transfer)。在PAT中我们设计了两种行动模式,学生模式和自主学习模式。在我们的方法中,每个代理都训练了一个分散的学生演员-评论家,以确定其在每个时间步的表演模式。当Agent对环境不熟悉时,学生模式中的共享注意力机制有效地从其他Agent那里选择学习知识来决定Agent的行动。PAT优于国家的最先进的经验评估结果对以前的建议方法。我们的方法不仅显着提高团队的学习率和整体性能,但也是灵活的和可移植的,适用于各种多智能体系统。
2020-03-29 cs.AI cs.LG cs.MA
Low-Loss Subspace Compression for Clean Gains against Multi-Agent Backdoor Attacks
University of Oxford(牛津大学)
最近对多智能体后门攻击的研究证明了逆火效应,这是一种对后门攻击的自然防御,其中后门输入是随机分类的。这产生了低精度w.r.t.的副作用。干净的标签,这促使本文的工作建设的多代理后门防御,最大限度地提高准确性w.r.t.清洁标签,尽量减少有毒标签。基于代理动力学和低损失子空间构造,我们贡献了三种防御措施,提高了多代理后门的鲁棒性。
2022-09-20 cs.CR cs.LG cs.MA