HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发,提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性,我们引入了双重协调机制的层间和代理之间的策略,通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练,并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果,并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Fictitious play for cooperative action selection in robot teams
提出了一种基于虚拟博弈的机器人团队控制力分配问题的博弈分布式决策方法。所提出的学习过程允许机器人通过协调它们的动作来完成它们的目标,以便有效地完成它们的任务。特别是,团队中的每个机器人预测其他机器人的计划行动,同时做出决策,以最大限度地提高自己的预期奖励,这取决于联合成功完成任务的奖励。动作选择被解释为一个$n$ -玩家合作博弈。提出的方法可以被看作是\emph{Belief Desire Intention}(BDI)框架的一部分,也可以解决机器人的合作,合法,安全,周到和谨慎的决策问题,如果他们的个人和群体的奖励是适当的定义。在理论分析的基础上,通过四种仿真场景对算法的性能进行了测试.第一个是两个物料搬运机器人之间的协调游戏,第二个是一个仓库巡逻任务的机器人团队,第三个提出了一个协调机制,两个机器人之间进行一个沉重的物体在走廊上,第四个是一个例子的协调传感器网络。
2016-11-17 cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学)
本文提出一种考虑协作的评估视角,通过STAT测试平台评估六种价值导向的MARL方法,揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Learning Generalizable Risk-Sensitive Policies to Coordinate in Decentralized Multi-Agent General-Sum Games
虽然已经提出了各种多智能体强化学习方法在合作环境中,很少有工作研究如何自我利益的学习代理实现相互协调分散的一般和游戏和推广预先训练的政策,非合作的对手在执行过程中。在本文中,我们提出了广义风险敏感政策(GRSP)。GRSP学习代理收益的分布,并估计一个动态的风险寻求奖金,发现风险协调策略。此外,为了避免过度拟合训练对手,GRSP学习一个辅助的对手建模任务,以推断对手的类型,并在执行过程中动态地改变相应的策略。经验表明,通过GRSP训练的智能体在训练过程中可以稳定地实现相互协调,避免在执行过程中被不合作的对手利用。据我们所知,这是第一个学习协调策略的方法,无论是在迭代囚徒困境(IPD)和迭代雄鹿狩猎(ISH)没有塑造对手或奖励,并首先考虑在执行过程中的泛化。此外,我们表明,GRSP可以扩展到高维设置。
2023-01-04 cs.MA
Generalized Coordination of Partially Cooperative Urban Traffic
Institute of Measurement, Control and Microtechnology, Ulm University(测量、控制与微技术研究所,乌尔姆大学)
本文提出一种适用于城市交通多场景的协同机动规划框架,通过优化方法与启发式策略处理混合交通,在40%协同率下即显著提升交通效率且不牺牲安全性。
2025-05-27 cs.MA cs.RO
Cooperative constrained motion coordination of networked heterogeneous vehicles
Eindhoven University of Technology(埃因霍温理工大学);Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所);Lund University(隆德大学);The Australian National University(澳大利亚国立大学)
我们考虑的多个异构移动车辆的合作运动协调问题受到各种约束。这些约束包括非完整运动约束、恒速约束、完整协调约束和等式/不等式几何约束。我们开发了一个通用框架,涉及微分代数方程和生存力理论,以确定协调的可行性协调运动控制下异构车辆动力学和不同类型的协调任务的约束。如果推导出的微分代数方程和/或不等式存在协调运动解,则提出一种构造性算法来推导出等效的动力系统,该系统为每个单独的车辆生成一组可行的协调运动。在协调两辆车的案例研究中,我们推导出两个车辆组的运动生成的解析解,包括汽车类的车辆,unicipal车辆,或具有恒定速度的车辆,作为更复杂的车辆组的基准协调任务。运动生成算法是由仿真数据支持的,用于各种各样的协调情况,涉及异构车辆。然后,我们扩展了车辆控制框架,以处理时变协调任务和领导者-追随者结构的合作协调问题。我们展示了几个仿真实验的多车辆协调在各种约束条件下,以验证所提出的计划的理论和有效性。
2022-01-17 cs.MA cs.RO cs.SY
Signal Instructed Coordination in Cooperative Multi-agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);Huya AI(虎牙人工智能)
在许多现实世界的问题中,一组智能体需要合作以最大化共同的回报。虽然现有的工作制定这个问题到一个集中学习与分散执行框架,这避免了非平稳问题的训练,他们的分散执行范式限制了代理的协调能力。受相关均衡概念的启发,我们提出引入协调信号来解决这一限制,并从理论上证明了在温和的条件下,具有协调信号的分散代理可以协调其由集中控制器操纵的个人策略。引入协调信号的思想是将协调策略封装到信号中,并利用信号来指导分散执行中的协作。为了鼓励代理学习利用协调信号,我们提出了信号指导协调(SIC),一种新的协调模块,可以集成到大多数现有的MARL框架。SIC将从预定义分布中采样的公共信号投射到所有代理,并引入信息理论正则化以促进观察到的信号与代理策略之间的一致性。我们的实验表明,SIC一致提高性能公认的MARL模型在矩阵游戏和捕食者-猎物游戏与高维战略空间。
2019-11-20 cs.AI cs.MA
Coordinating Fully-Cooperative Agents Using Hierarchical Learning Anticipation
针对LOLA和LA在完全合作博弈中恶化智能体协调的问题,提出分层学习预期(HLA)方法,通过将智能体分配至多个层级以分层方式预期其他智能体学习,显著提升了共同利益智能体间的协调效果。
2023-04-02 cs.MA
HYGMA: Hypergraph Coordination Networks with Dynamic Grouping for Multi-Agent Reinforcement Learning
本文提出HYGMA框架,将动态谱聚类与超图神经网络结合,实现多智能体自适应群体形成与高效信息处理,在合作任务中显著提升样本效率和最终性能。
2025-05-23 cs.MA
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University(北卡罗来纳州立大学);Oklahoma State University(俄克拉荷马州立大学);DEVCOM U.S. Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
现有的分布式协作多智能体强化学习(MARL)框架通常假设无向协调图和通信图,同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本,并表现出较差的可扩展性,由于全球共识的要求。在这项工作中,我们研究了MARL与有向协调图,并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得,而不使用任何共识算法。采用基于参数摄动的零阶优化(ZOO)方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较,我们表明,我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
Cooperative Epistemic Multi-Agent Planning for Implicit Coordination
Albert-Ludwigs-Universität Freiburg(弗莱堡阿尔伯特-路德维希大学);Technical University of Denmark(丹麦技术大学)
认知规划可以用于具有分布式知识和能力的多智能体情况下的决策。最近,动态认知逻辑(DEL)已被证明提供了一个非常自然和表达框架的认知规划。我们扩展了基于DEL的认知规划框架,包括视角的转变,使我们能够定义新的概念,顺序和条件规划与隐式协调。有了这些,就有可能以分散的方式解决具有联合目标的规划任务,而无需代理在规划时协商并承诺联合策略。首先,我们定义了中央规划的概念,并勾勒出建立在这些概念上的规划系统的实施。之后,我们提供了一些案例研究,以评估规划经验,并表明这一概念是有用的多智能体系统在实践中。
2017-03-07 cs.AI cs.LO cs.MA
A Survey of Progress on Cooperative Multi-agent Reinforcement Learning in Open Environment
本文系统综述了协作式多智能体强化学习从封闭环境到开放环境的研究进展,梳理了典型方法、测试环境及多个研究方向,并展望了未来挑战与发展方向。
2023-12-02 cs.MA
Learning to Coordinate Under Threshold Rewards: A Cooperative Multi-Agent Bandit Framework
针对阈值激活奖励和诱饵臂的合作多智能体老虎机问题,提出分散式算法T-Coop-UCB,联合学习阈值与奖励分布,无需集中控制,在累积奖励、遗憾和协调上优于基线,接近Oracle性能。
2025-06-18 cs.MA
Learning to Advise and Learning from Advice in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Louisiana State University(路易斯安那州立大学)
学习协调是多智能体强化学习(MARL)中一个令人生畏的问题。以往的研究从多个方面进行了探讨,包括Agent之间的认知、信用分配、通信、专家论证等,但对Agent的决策结构和协调层次关注较少。在本文中,我们探讨了时空结构的代理人的决策,并考虑层次的协调从多层次涌现动力学的角度来看,在此基础上,一个新的方法,学习建议和从建议学习(LALA),提出了改进MARL。具体来说,通过区分协调的层次结构,我们建议在中观层面上加强决策协调与顾问和利用政策顾问,建议代理的学习在微观层面上。顾问学习在空间和时间域中聚合决策信息,并通过采用具有面向任务的目标函数的时空对偶图卷积神经网络来生成协调决策。每个代理都通过策略生成对抗学习方法从建议中学习,其中策略生成器区分代理和顾问的策略,并根据其判断提升两者。实验结果表明,LALA在学习效率和协调能力方面优于基线方法。从多级涌现动力学和互信息的角度研究了MARL算法的协调机制,为分析和改进MARL算法提供了新的视角和方法。
2022-05-23 cs.LG cs.MA
Evolving Dyadic Strategies for a Cooperative Physical Task
许多合作的体力任务需要个人扮演专门的角色(例如,领导者-追随者)。人类是熟练的合作者,天生就能协调这些角色和角色之间的转换。然而,角色是如何被委派和重新分配的,人们还没有很好地理解。使用遗传算法,我们进化模拟代理,探索一个空间的可行的角色切换政策。应用这些切换策略在一个合作的手动任务,代理处理视觉和触觉提示,以决定何时切换角色。然后,我们分析进化的虚拟人口的属性通常与合作:负载分担和时间协调。我们发现,表现最好的二人组表现出较高的时间协调(反同步)。反过来,反同步与合作代理的参数之间的对称性相关。这些模拟提供了假设,人类合作者如何可能调解角色的二元任务。
2020-04-22 cs.MA cs.NE
Human-agent coordination in a group formation game
在合作游戏中,人类和自主代理之间的协调与合作提出了人类决策和行为变化的有趣问题。在这里,我们报告了我们的研究结果,从一个小组形成游戏在一个小世界网络的不同混合的人类和代理球员,旨在实现相同颜色的连接集群交换位置与相邻的球员使用非重叠的信息。在实验中,人类玩家通过奖励来激励他们优先考虑自己的集群,而智能体的决策模型来自我们以前的人类玩家之间的纯合作博弈实验。实验进行分组的球员在三个不同的设置,以调查的整体效果,有合作的自主代理团队内。我们观察到,人类主体的行为的变化调整,以发挥自主代理人的风险规避较少,同时保持整体性能有效的分裂行为自私和合作的两个行动中进行的回合的游戏。此外,从两个混合的人类代理设置的结果表明,组的组成影响集群的演变。我们的研究结果表明,在纯粹或较少的合作环境中,为人类提供更多的控制可以帮助最大限度地提高混合动力系统的整体性能。
2021-05-20 cs.GT cs.MA physics.soc-ph
Analysing Factorizations of Action-Value Networks for Cooperative Multi-Agent Reinforcement Learning
本研究实证分析了合作多智能体强化学习中各种网络架构在一次性博弈上的学习能力,量化了不同方法表示价值函数的效果,并识别了阻碍性能的关键原因。
2023-11-09 cs.MA
Multi-Robot Cooperative Navigation in Crowds: A Game-Theoretic Learning-Based Model Predictive Control Approach
University of Delaware(特拉华大学);Cornell University(康奈尔大学);Honda Research Institute USA, Inc.(美国本田研究院有限公司)
本文提出一种结合局部模型预测控制与社交长短期记忆的框架,通过将多机器人导航和人际交互建模为博弈并采用迭代最佳响应求解,实现拥挤环境下多机器人协同导航。
2023-10-10 cs.MA cs.RO
Learning Multi-agent Action Coordination via Electing First-move Agent
在复杂的多智能体系统中,学习协调智能体之间的动作是必不可少的。以前的工作主要是受约束的假设,所有的代理同时采取行动,和异步代理之间的协调很少考虑。本文提出了一种用于协调行为规划的双层多智能体决策层次结构。我们提出了一种新的选举机制,在该机制中,我们采用了图卷积网络来模拟代理之间的相互作用,并选出一个第一步代理异步指导。我们还提出了一个动态加权的混合网络,以有效地减少在训练过程中的价值函数的误判。这项工作是第一个明确的异步多智能体动作协调模型,这种明确性,使选择最佳的第一步代理。在协同导航和Google Football上的实验结果表明,该算法在协同环境下具有较好的性能。我们的代码可在\url{https://github.com/Amanda-1997/EFA-DWM}上获得。
2022-02-24 cs.GT cs.MA
Entropy Enhanced Multi-Agent Coordination Based on Hierarchical Graph Learning for Continuous Action Space
在大规模多智能体协调的大多数现有研究中,控制方法的目的是学习离散的政策,有限的选择代理。它们很少考虑直接从连续动作空间中选择动作来提供更精确的控制,这使得它们不适合更复杂的任务。为了解决大规模多智能体系统的控制问题,连续的动作空间,我们提出了一种新的MARL协调控制方法,得到稳定的连续政策。通过最大熵学习优化策略,智能体在执行过程中提高了探索能力,并在训练后获得了优异的性能。我们还采用分层图注意力网络(HGAT)和门控递归单元(GRU),以提高我们的方法的可扩展性和可移植性。实验表明,我们的方法一致优于所有基线在大规模的多智能体合作侦察任务。
2022-08-23 cs.MA
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University(卡内基梅隆大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏(由一起训练的代理组成的团队)和交叉游戏(独立训练但使用相同算法的代理团队)的限制性范式下评估合作AI性能。最近的工作表明,针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准,被称为算法间的交叉游戏,其中代理与实验池内的所有其他代理的组队性能进行评估,没有假设代理之间的算法相似性。我们发现,现有的最先进的合作AI算法,如游戏和信念学习,在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调(ZSC)-推广自我发挥为基础的算法,算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器(SAD),并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
Cooperative AI via Decentralized Commitment Devices
Flashbots;Robust Incentives Group(鲁棒激励小组);Ethereum Foundation(以太坊基金会);Pantera Capital;Imperial College London(伦敦帝国理工学院)
本文探讨去中心化承诺机制在合作型AI中的应用,指出其能协调智能体对抗经济激励强大的对手,并呼吁加强相关研究与实证测试框架建设。
2023-11-14 cs.AI cs.CR cs.GT
Cross-environment Cooperation Enables Zero-shot Multi-agent Coordination
本文提出跨环境合作(CEC)范式,通过在环境分布上训练智能体,实现与多种新伙伴的零样本协调,并优于基线,为通用合作智能体设计提供新途径。
2025-04-20 cs.AI cs.LG cs.MA
Coordination Failure in Cooperative Offline MARL
InstaDeep(英斯塔迪普公司);University of Cape Town(开普敦大学);The INRS, Montreal(蒙特利尔国家科学研究院)
本文研究合作型离线多智能体强化学习中的协调失败问题,揭示BRUD方法的失败模式,并提出基于联合动作相似性的优先级数据采样方法以缓解该问题,验证了其有效性。
2024-07-01 cs.AI cs.LG cs.MA
Learning in Cooperative Multiagent Systems Using Cognitive and Machine Models
University of Dayton(代顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对协作式多智能体系统在随机奖励下学习与协调困难的问题,提出三种融合 IBLT 认知机制与 MADRL 技术的 MAIBL 模型,并在 CMOTP 中验证其学习更快、协调更好。
2023-08-18 cs.AI cs.MA
Multi-Agent Cooperative Learning for Robust Vision-Language Alignment under OOD Concepts
本文提出多智能体协作学习框架,通过结构化信息传递缓解模态不平衡,提升视觉语言模型在异常概念下的对齐性能,实验表明在少样本和零样本设置中精度提升1-5%。
2026-01-11 cs.MA
Deep Continuum Deformation Coordination and Optimization with Safety Guarantees
本文提出一种基于深度神经网络多层变形优化的多智能体安全协调方法,通过约束权重上下界避免碰撞,并在大规模四旋翼椭圆轨迹跟踪仿真中验证了有效性。
2023-04-17 cs.MA math.OC
Bandwidth-constrained Variational Message Encoding for Cooperative Multi-agent Reinforcement Learning
University of Technology Sydney(悉尼科技大学)
本文提出带宽约束的变分信息编码(BVME),通过学习高斯后验分布并利用KL散度正则化,解决多智能体强化学习中信息传输的带宽限制问题,在多个基准测试中表现出色。
2026-04-10 cs.LG cs.MA
On the Fundamental Limitations of Decentralized Learnable Reward Shaping in Cooperative Multi-Agent Reinforcement Learning
本文提出 DMARL-RSA 评估去中心化可学习奖励塑造在合作多智能体强化学习中的效果,实验表明其表现与独立学习相似且远逊于集中式方法,揭示了去中心化协调的根本局限及集中式协调的必要性。
2025-10-27 cs.LG cs.MA
Safe Multiagent Coordination via Entropic Exploration
针对安全多智能体学习中探索受限及缺乏团队约束研究的问题,提出熵探索(E2C)方法,通过观测熵最大化激励探索,实验显示其在任务性能上优于基线且能减少50%不安全行为。
2025-08-26 cs.AI cs.MA cs.RO
Heterogeneous-Agent Mirror Learning: A Continuum of Solutions to Cooperative MARL
University of Oxford(牛津大学);University College London(伦敦大学学院);Kyoto University(京都大学);Peking University(北京大学)
智能机器之间协作的必要性使得协作多智能体强化学习(MARL)在人工智能(AI)研究领域得到了广泛的应用。然而,许多研究工作都集中在开发实用的MARL算法,其有效性只进行了实证研究,从而缺乏理论保证。最近的研究表明,MARL方法往往实现的性能是不稳定的奖励单调性或次优收敛。为了解决这些问题,在本文中,我们介绍了一种新的框架命名为异构代理镜像学习(HAML),提供了一个通用的模板MARL算法设计。我们证明了来自HAML模板的算法满足所需的性能的单调改善的联合奖励和收敛到纳什均衡。我们通过证明目前最先进的合作MARL算法,HATRPO和HAPPO,实际上是HAML实例,验证了HAML的实用性。接下来,作为我们的理论的自然结果,我们提出了两个著名的RL算法,HAA2C(A2C)和HADDPG(DDPG)的HAML扩展,并证明了它们对StarCraftII和多Agent MuJoCo任务的强基线的有效性。
2022-08-02 cs.AI cs.MA
A Dataset Schema for Cooperative Learning from Demonstration in Multi-robots Systems
多智能体系统(MAS)已被用于解决复杂的问题,需要智能体一起工作,以达到预期的目标。这些Agent应该有效地同步它们的个体行为,以便它们能够以协调的方式作为一个团队来实现整个系统的共同目标。MAS中的一个主要问题是Agent的协调,因为观察MAS执行的公共领域专家不赞成Agent的决策。即使MAS的设计使用了最好的方法和工具,为代理人的协调,专家和MAS之间的这种差异的决策是肯定的。因此,本文提出了一种新的数据集模式,以支持学习的协调行为在MAS从示范。所提出的解决方案的结果进行了验证,在多机器人系统(MRS)组织收集新的合作计划的建议,从示范领域的专家。
2019-12-03 cs.AI cs.MA cs.RO
Modeling Sensorimotor Coordination as Multi-Agent Reinforcement Learning with Differentiable Communication
Stanford University(斯坦福大学)
多智能体强化学习已经显示出对各种合作任务的承诺,作为可区分的智能体通信的最新发展的结果。然而,大多数架构都局限于同类代理的池,限制了它们的适用性。在这里,我们提出了一个模块化的框架,学习复杂的任务,传统的单体代理被框定为一个合作的异构代理的集合。我们应用这种方法来模拟感觉运动协调在新皮层作为一个多智能体强化学习问题。我们的研究结果证明了所提出的架构的概念验证,并为学习复杂任务和理解大脑和未来智能系统中的功能定位开辟了新的途径。
2019-09-12 cs.AI cs.MA
OverForge: Reasoning Through Strategies and Tactics Helps Cooperative Lifelong Adaptation
Delft University of Technology(代尔夫特理工大学)
OverForge提出一种免训练的分层架构,将策略推理与战术推理分离,通过元认知模块耦合,在OvercookedV2中实现更高的协作效率、角色保留和适应陌生伙伴,支持终身适应。
2026-10-01 cs.AI cs.CL cs.MA
An Optimal Rewiring Strategy for Reinforcement Social Learning in Cooperative Multiagent Systems
Tianjin University(天津大学);Centrum Wiskunde & Informatica(数学与信息中心)
协作多智能体系统中的多智能体协调问题在固定智能体重复交互和静态社会学习框架下得到了广泛的研究。然而,两个方面的动态在现实世界中的多智能体的情况下,目前缺少在现有的作品。首先,网络拓扑可以是动态的,其中代理可以在交互过程中通过重新布线来改变它们的连接。第二,每对代理之间的博弈矩阵可能不是静态的,通常不被认为是先验的。网络的动态性和博弈的不确定性增加了Agent之间的协调难度。在本文中,我们考虑一个多智能体动态社会学习环境中,每个代理可以选择重新布线潜在的合作伙伴,并在每一轮随机选择的邻居进行交互。我们提出了一个最佳的重新布线策略,代理选择最有益的同行进行交互的目的是最大限度地提高重复交互的累积收益。通过与基准策略的比较,我们实证证明了我们方法的有效性和鲁棒性。三个有代表性的学习策略的表现,在我们的社会学习框架与我们的最佳重新布线进行了调查。
2018-05-13 cs.AI cs.LG cs.MA
Probing Dec-POMDP Reasoning in Cooperative MARL
University of Edinburgh(爱丁堡大学)
通过统计和信息论探针分析基线策略,发现多数基准测试无需真正的Dec-POMDP推理,反应策略性能与记忆策略相当,协调常依赖脆弱的同步耦合。
2026-06-16 cs.LG cs.MA
Cooperative Game Theory within Multi-Agent Systems for Systems Scheduling
关于多智能体系统中的组织和协调的研究继续从各种架构和方法中汲取。本文提出的工作相结合的技术,从博弈论和多智能体系统产生自组织的,多态的,轻量级的,嵌入式代理系统调度在一个大规模的实时系统环境。结果表明,这种方法是如何使用实验产生最佳的实时调度,通过成千上万的代理的紧急行为。这些结果是使用SWARM模拟系统调度内的高能物理实验组成的2500个数字信号处理器。
2005-04-29 cs.AI cs.MA
Physics-Informed Multi-Agent Coordination for Hospital Patient Flow Optimization
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
提出物理信息多智能体协调框架,将BCMP排队网络嵌入分散式强化学习,优化医院患者流,显著降低延迟并满足临床安全。
2026-11-10 cs.AI cs.MA
Open Ad Hoc Teamwork with Cooperative Game Theory
University of Manchester(曼彻斯特大学);University of Freiburg(弗莱堡大学);Aalto University(阿尔托大学)
本文通过合作博弈理论为开放自组织团队协作(OAHT)的联合Q值表示建立新理论,并基于图策略学习框架提出CIAO算法,以可证明的实现技巧提升学习效果。
2024-07-07 cs.LG cs.MA
Track selection in Multifunction Radars for Multi-target tracking: an Anti-Coordination game
本文利用博弈论的概念研究了多功能雷达网中多目标跟踪的航迹选择问题。这个问题被表述为一个非合作博弈,特别是一个反协调博弈,其中每个玩家的目标是与其他玩家不同。玩家的效用建模使用适当的跟踪精度标准,并在不同的假设下,这些效用的结构,相应的纳什均衡的特点。为了找到一个平衡点,提出了一种基于最佳响应动态的分布式算法。最后,通过计算机模拟验证了该算法在多目标跟踪中的有效性。
2016-02-05 cs.IT cs.MA math.IT
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University(华东师范大学);Microsoft Research(微软研究院);Microsoft 365(微软365);Microsoft Research Asia(微软亚洲研究院)
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源,假设不是所有用户都能同时充分利用这些资源。然而,如何设计一个超额预订政策,提高利用率,同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守,忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题,本文将云计算的超额订阅问题描述为一个机会约束优化问题,并提出了一种有效的机会约束多智能体强化学习(C2MARL)方法来解决这个问题。具体来说,C2MARL通过考虑约束的上限来减少约束的数量,并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明,我们的C2 MARL优于现有的方法,提高利用率($20\%\sim 86\%$)在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
Exit-and-Join Dynamics and Equilibrium in Continuum Cooperative Games
Department of Electrical and Computer Engineering(电气与计算机工程系);New York University Tandon School of Engineering(纽约大学塔恩工程学院);Brooklyn, NY, USA(布鲁克林,纽约,美国)
针对非原子合作博弈,提出退出与加入联盟的连续动态理论,扩展Aumann-Shapley值与Aumann-Drèze值到联盟结构,推导确定性平均场动态,刻画退出-加入均衡,并证明其与Wardrop均衡等价。
2026-06-27 cs.AI cs.GT cs.MA
A Structured Prediction Approach for Generalization in Cooperative Multi-Agent Reinforcement Learning
Facebook(脸书);Lamsade, Univ. Paris Dauphine(巴黎多芬纳大学Lamsade实验室)
有效的协调是解决多智能体协作(MAC)问题的关键。虽然集中式强化学习方法可以最佳地解决小型MAC实例,但它们不能扩展到大型问题,并且无法推广到与训练期间所见不同的场景。在本文中,我们考虑MAC问题与一些内在的局部性概念(例如,地理邻近性),使得代理和任务之间的交互在本地受到限制。通过利用这一属性,我们引入了一种新的结构化预测方法来分配代理任务。在每一步中,分配是通过解决一个集中式优化问题(推理过程),其目标函数是由一个学习的评分模型参数化。我们提出了不同的推理程序和评分模型的组合,能够代表协调模式的复杂性不断增加。由此产生的分配策略可以在小问题实例上有效地学习,并且可以在具有更多代理和任务的问题中容易地重用(即,zero-shot泛化)。我们报告了一个玩具搜索和救援问题的实验结果,并在星际争霸:母巢战争中的几个目标选择场景,其中我们的模型显着优于强大的基于规则的基线的实例与5倍以上的代理和任务比那些在训练中看到的。
2019-10-19 cs.LG cs.MA stat.ML
Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Florida(佛罗里达大学)
针对合作多智能体强化学习中的隐私问题,提出PE-VDN算法,通过分布式计算、多方计算和差分隐私技术,在保护环境数据的同时实现80%的Vanilla VDN胜率。
2023-09-13 cs.AI cs.LG cs.MA
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
VDN和QMIX是两种流行的基于值的协作MARL算法,它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易,但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明,这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说,我们提出了一种新的MARL方法,称为通用价值探索(UneVEn),学习一组相关的任务,同时线性分解的通用后继功能。利用已经解决的相关任务的策略,可以改进所有Agent的联合探索过程,帮助它们实现更好的协调。一组探索游戏的经验结果,具有挑战性的合作捕食者-猎物任务,需要显着的代理之间的协调,和星际争霸II微观管理基准显示,UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging
IIIT-Bangalore(班加罗尔国际信息技术研究所);Ericsson Research(爱立信研究院);IIT-BHU(贝拿勒斯印度教大学印度理工学院);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
协作多智能体强化学习(MARL)已经取得了显著的成果,最显著的是利用了深度神经网络的表示学习能力。然而,随着代理人数量的增加,大型集中式方法很快变得不可行,完全分散的方法可能会错过信息共享和协调的重要机会。此外,并非所有代理都是平等的-在某些情况下,单个代理甚至可能没有能力向其他代理发送通信或显式地对其他代理进行建模。本文考虑的情况下,有一个单一的,强大的,\emph{central agent},可以观察整个观察空间,有多个,低功率的\emph{local agents},只能接收本地的意见,并不能相互通信。中央代理的工作是根据全局观察来学习需要向不同的本地代理发送什么消息,不是通过集中解决整个问题并发送动作命令,而是通过确定单个代理应该接收什么附加信息,以便它可以做出更好的决策。在这项工作中,我们提出了我们的MARL算法\algo,描述它将是最适用的,并实现它在合作导航和多智能体步行者域。实证结果表明:1)学习的沟通确实提高了系统性能,2)结果推广到异构本地代理,3)结果推广到不同的奖励结构。
2022-12-02 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Towards Few-shot Coordination: Revisiting Ad-hoc Teamplay Challenge In the Game of Hanabi
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔综合理工学院);IBM Research(IBM研究院)
该研究针对现有ZSC算法对不同训练方法的伙伴适应慢的问题,基于Hanabi游戏构建评估框架与适应遗憾指标,发现朴素IQL适应速度与SOTA的OBL相当,并指出训练数据多样性、优化过程类超参数对适应性影响显著。
2023-08-20 cs.AI cs.LG cs.MA
Multi-Robot Coordination Under Physical Limitations
Toronto Metropolitan University(多伦多都会大学);University of Alberta(阿尔伯塔大学)
针对多机器人系统在执行器约束下的协调问题,提出基于庞特里亚金最小值原理的最优共识框架,平衡能量与效率,并经仿真和Robotarium实验验证。
2025-03-26 cs.MA cs.RO
More Capable, Less Cooperative? When LLMs Fail At Zero-Cost Collaboration
研究LLM在多智能体系统中零成本协作的失败原因,通过构建去战略复杂性的环境,发现能力更强的模型(如o3)反而合作更差,并区分了能力失败与主动信息隐瞒,提出针对性干预措施。
2026-06-04 cs.AI cs.CL cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展,这些算法学习通信和协作。我们提供了一个概述这一新兴领域,重点是在不同的协调协议下的分散设置。从分布式优化的角度,我们强调了强化学习算法从单智能体到多智能体系统的演变,并总结了未来的方向和挑战,希望能促进分布式优化,信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Self-Organized Polynomial-Time Coordination Graphs
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院);Department of Computer Science, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系);Harvard University(哈佛大学)
协调图是多智能体强化学习中智能体协作建模的一种有效方法。它进行基于图的值分解,并诱导代理之间的显式协调,以完成复杂的任务。然而,在这个范例中的一个关键挑战是贪婪的动作选择的复杂性相对于因式分解的值。它指的是分散约束优化问题(DCOP),其常数比近似是NP-难问题。为了克服这一困难,本文提出了一种新的协作动作选择方法SOP-CG(Self-Organized多项式时间Coordination Graphs),该方法使用结构化的图类来保证协作动作选择的准确性和计算效率。SOP-CG采用动态图拓扑结构来确保足够的价值函数表达能力。图选择被统一到端到端学习范式中。在实验中,我们表明,我们的方法学习简洁和适应良好的图形拓扑结构,诱导有效的协调,并提高了各种合作多智能体任务的性能。
2022-09-16 cs.AI cs.LG cs.MA
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了有效地与未知的合作伙伴在合作控制设置,适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下,合作伙伴可能会为各自的目标而努力,这种控制设置相当普遍和广泛适用,这带来了各种挑战,如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此,我们的方法使用时间相关的样本的优先级,结合了系统动态模型,并利用可变的,责任驱动的学习率和模拟,人工经验,以指导学习过程。我们的方法的有效性证明了通过一个模拟的,非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY