Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning
SEAS, Harvard University(哈佛大学工程与应用科学学院);Kempner Institute, Harvard University(哈佛大学肯珀研究所)
本文提出去中心化扩散策略学习方法,通过扩散概率模型提升多智能体强化学习中的探索能力,解决了高维动作空间下的策略表达限制问题。
2026-05-08 cs.MA stat.ML
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了有效地与未知的合作伙伴在合作控制设置,适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下,合作伙伴可能会为各自的目标而努力,这种控制设置相当普遍和广泛适用,这带来了各种挑战,如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此,我们的方法使用时间相关的样本的优先级,结合了系统动态模型,并利用可变的,责任驱动的学习率和模拟,人工经验,以指导学习过程。我们的方法的有效性证明了通过一个模拟的,非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
CoDe: A Cooperative and Decentralized Collision Avoidance Algorithm for Small-Scale UAV Swarms Considering Energy Efficiency
School of Internet of Things, Xi’an Jiaotong-Liverpool University(物联网学院,西安交通大学利物浦大学)
本文提出CoDe算法,通过多智能体强化学习与新颖信用分配方案,解决小规模无人机群在连续动作空间下的协同避障与能效问题,实验证明其优于现有基准。
2025-07-14 cs.MA cs.RO
An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文介绍了协作多智能体强化学习中集中式训练去中心化执行(CTDE)的基本概念、设定与常用方法,阐述其相较于其他范式的优势及适用场景。
2024-09-04 cs.LG cs.MA
On the Fundamental Limitations of Decentralized Learnable Reward Shaping in Cooperative Multi-Agent Reinforcement Learning
本文提出 DMARL-RSA 评估去中心化可学习奖励塑造在合作多智能体强化学习中的效果,实验表明其表现与独立学习相似且远逊于集中式方法,揭示了去中心化协调的根本局限及集中式协调的必要性。
2025-10-27 cs.LG cs.MA
MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning
Peking University(北京大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分散式学习在协作式多智能体强化学习(MARL)中显示出巨大的潜力。然而,非平稳性仍然是完全分散学习的一个重大挑战。在本文中,我们以最简单和最基本的方式解决了非平稳性问题,并提出了多智能体交替Q学习(MA 2 QL),其中智能体轮流通过Q学习更新其Q函数。MA 2 QL是一种完全分散的合作MARL的最低限度方法,但在理论上是有根据的。我们证明,当每个代理保证$\varepsilon$ -收敛在每一个回合,他们的联合政策收敛到一个纳什均衡。在实践中,MA 2 QL只需要对独立Q学习(IQL)进行最小的更改。我们经验评估MA 2 QL的各种合作多智能体任务。结果表明,MA 2 QL始终优于IQL,这验证了MA 2 QL的有效性,尽管这种微小的变化。
2023-02-07 cs.LG cs.MA
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题,提出协作式多智能体深度RL方法同时建模并求解TAPF,在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich(慕尼黑大学);MaibornWolff(迈博尔夫公司)
多智能体系统(MAS)中的决策是一个巨大的挑战,由于巨大的状态和联合行动空间以及不确定性,使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性,但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题,在复杂环境中会导致不稳定和不协调的行为。在本文中,我们提出了强紧急政策近似(STEP),一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此,我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合,只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间,并表明,STEP是能够学习更强的政策比标准的多智能体强化学习算法,结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中,以进一步提高性能。
2019-01-25 cs.AI cs.MA
Approximate Linear Programming for Decentralized Policy Iteration in Cooperative Multi-agent Markov Decision Processes
Indian Institute of Science(印度科学学院);Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文针对合作多智能体MDP中动作空间指数增长和精确值函数计算昂贵的问题,提出基于近似线性规划和函数逼近的去中心化策略迭代算法,覆盖有限与无限时域折扣情形,并给出理论保证和优于现有方法的实验效果。
2024-04-29 cs.LG cs.MA math.OC
Decentralized Role Assignment in Multi-Agent Teams via Empirical Game-Theoretic Analysis
University of Pennsylvania(宾夕法尼亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
我们提出了一种方法,经验博弈论的基础上,作为一个团队的一部分,机器人选择其在团队中的角色,而不明确与团队成员沟通,利用其知识的团队结构。要做到这一点,我们制定的角色分配问题作为一个动态的游戏,并借用实证博弈论分析工具来分析这样的游戏。基于这个博弈论的制定,我们提出了一个分布式控制器,每个机器人动态地决定采取的最佳作用。我们证明了我们的方法在模拟的合作平面操纵的情况下,每个代理选择一组反馈控制政策在每个时刻。使用我们的方法,代理可以有效地合作,而无需通信来操纵对象,同时也避免了碰撞。
2021-09-29 cs.MA cs.RO
Cooperative AI via Decentralized Commitment Devices
Flashbots;Robust Incentives Group(鲁棒激励小组);Ethereum Foundation(以太坊基金会);Pantera Capital;Imperial College London(伦敦帝国理工学院)
本文探讨去中心化承诺机制在合作型AI中的应用,指出其能协调智能体对抗经济激励强大的对手,并呼吁加强相关研究与实证测试框架建设。
2023-11-14 cs.AI cs.CR cs.GT
Cooperative Task Execution in Multi-Agent Systems
本文提出一种支持协作与自主执行的多智能体系统,比较集中式与去中心化任务分配,发现控制方式选择取决于任务依赖结构,且大量小型群体更能提升性能。
2024-05-20 cs.MA
Decentralized Inference via Capability Type Structures in Cooperative Multi-Agent Systems
针对异构能力智能体的临时协作问题,提出基于能力类型结构的信念维护与规划算法,并在噪声观测及协作跳棋等环境中验证其可避免反协作行为。
2023-04-27 cs.GT cs.MA
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Shanghai Jiao Tong University(上海交通大学)
我们考虑在(深度)合作多智能体强化学习(MARL)中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数,明确编码公平的两个重要方面:效率和公平的问题。作为一种解决方法,我们提出了一种新的神经网络架构,它是由两个子网络专门设计考虑到公平性的两个方面。在实验中,我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的,因为它可以容纳任何(次)可微福利函数。因此,它与文献中提出的各种公平概念(例如,字典式极大极小、广义基尼社会福利函数、比例公平)。我们的解决方案方法是通用的,可以在各种MARL设置中实现:集中式培训和分散式执行,或完全分散式。最后,我们在各个领域的实验验证我们的方法,并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
CALM: Decentralized Control of Cooperative Aerial Manipulation with Multi-Agent Reinforcement Learning
Politecnico di Torino(都灵理工大学)
针对风扰等场景下多无人机协同空中操作的耦合难题,提出基于 MAPPO 的 CALM 分散式控制器,结合多模块估计与前馈机制,在轨迹测试及信息退化场景下均优于多数基线控制器。
2026-10-30 cs.MA cs.RO
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
本文提出灵活全去中心化演员-评论家MARL框架F2A2,通过原始-对偶混合梯度下降、参数共享及基于心智理论的建模方法,实现大规模协作场景下稳定可扩展的个体策略学习,并在实验中取得有竞争力的性能。
2023-07-07 cs.AI cs.LG cs.MA
Decentralized iLQR for Cooperative Trajectory Planning of Connected Autonomous Vehicles via Dual Consensus ADMM
The Hong Kong University of Science and Technology(香港科技大学)
互联自主车辆(CAV)的协同轨迹规划的发展已经聚集了相当大的势头和研究关注。这类问题通常具有很强的非线性和非凸性,给求解带来很大困难。现有的方法通常遭受低的计算效率,这阻碍了适当的应用在大规模的场景中,涉及越来越多的车辆。为了解决这个问题,我们提出了一种新的分散迭代线性二次调节器(iLQR)算法,利用双共识交替方向乘法器(ADMM)。首先,通过迭代邻域逼近将原非凸优化问题转化为一系列凸优化问题。然后,每个凸优化问题的对偶被证明具有共识结构,这有利于使用共识ADMM在完全分散和并行架构中求解对偶解。最后,通过迭代求解线性二次型调节器(LQR)问题,得到各车辆轨迹对应的原始解,并提出一种新的轨迹更新策略,以保证车辆的动态可行性。随着所提出的发展,计算负担显着减轻,实时性能是可以实现的。两个交通场景来验证所提出的算法,我们提出的方法和基线方法(包括集中式iLQR,IPOPT,和SQP)进行彻底的比较,以证明所提出的方法的可扩展性。
2023-01-11 cs.MA cs.RO
Decentralized Goal Assignment and Safe Trajectory Generation in Multi-Robot Networks via Multiple Lyapunov Functions
GRASP Lab, School of Engineering and Applied Science, University of Pennsylvania(宾夕法尼亚大学工程与应用科学学院GRASP实验室)
本文研究了在仅本地通信可用的情况下多机器人网络的去中心化目标分配与轨迹生成问题,提出了一种基于切换系统和集合不变性方法的解决方案。通过使用一组李雅普诺夫-like函数编码候选目标分配的局部决策,使连接的代理选择最短总距离到目标的分配。当最优分配可能导致碰撞轨迹时,使用另一组李雅普诺夫-like屏障函数来维持系统安全并保持收敛保证。所提出的切换策略产生计算高效且可扩展的反馈控制策略,适用于在有限信息共享下机器人网络的快速响应部署。
2019-10-03 cs.MA cs.RO cs.SY
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间,代理可以由相同的信号(例如全局状态)指导。然而,在分散执行期间,代理人缺乏共享信号。受视点不变性和对比学习的启发,本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察,但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中,我们将推断出的共识作为对代理网络的明确输入,从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外,我们在一些完全合作的任务上进行了测试,并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST(韩国科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是,我们专注于获得分散的政策,代理,以最大限度地提高性能的合作任务的所有代理,这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络:(1)分散式贪婪策略网络,用于在训练和执行期间生成贪婪动作;(2)生成式合作策略网络(GCPN),用于在训练期间生成动作样本,以使其他代理改进其目标。我们表明,GCPN生成的样本,使其他代理更有效地探索政策空间,并有利地达成更好的政策,在实现合作任务。
2018-10-22 cs.AI cs.MA
Decentralized Multi-agent Reinforcement Learning for Resilient Critical Infrastructures
School of Computer Science, University of Leeds(利兹大学计算机科学学院);School of Energy Systems, LUT University(卢特大学能源系统学院)
研究用于弹性关键基础设施的去中心化多智能体强化学习,基于对其特性与基础设施要求的分析,指出信用分配和通信是实际可行的核心条件,提出包含结构、因果、弹性感知信用分配及相关通信等的研究议程,为弹性关键基础设施构建有条件的基础。
2026-07-22 cs.LG cs.MA
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)((2025年7月))
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究,比较其结构异同,涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
Cooperative Decentralized Multi-agent Control under Local LTL Tasks and Connectivity Constraints
ACCESS Linnaeus Center, School of Electrical Engineering, KTH Royal Institute of Technology(ACCESS林奈中心,电气工程学院,皇家理工学院);KTH Centre for Autonomous Systems(KTH自主系统中心)
本文提出一种去中心化控制框架,通过动态领导者-跟随者方案实现多智能体在局部LTL任务和通信约束下的协作,确保任务完成和连接性维持。
2014-05-08 cs.MA cs.SY eess.SY
Decentralized Unlabeled Multi-agent Pathfinding Via Target And Priority Swapping (With Supplementary)
本文研究了去中心化的匿名多智能体寻路问题(AMAPF),提出首个完全去中心化求解器TP-SWAP,通过优先级和目标交换程序确保目标分配一致性,结合基于规则的路径规划,理论上证明其完备性,实验表明其在流时间上优于去中心化基线甚至半去中心化方法。
2024-08-27 cs.MA
Context-Aware Deep Q-Network for Decentralized Cooperative Reconnaissance by a Robotic Swarm
机器人群体作战的关键问题之一是在未知和不确定的环境中搜索和压制异构目标,群体内没有任何通信。在这里,一些目标可以被单个机器人压制,而另一些则需要多个机器人以特定的顺序来压制它们。由于可扩展性和信息的不确定性,限制了机器人对群体和目标分布的感知,问题变得复杂。在本文中,这个问题是通过提出一种新的上下文感知的深度Q网络(CA-DQN)框架来解决的,以获得在群中的机器人之间的通信自由合作。每个机器人保持一个自适应的网格表示附近的上下文信息嵌入其中,以保持群体完整,同时搜索和中和的目标。问题公式化使用强化学习框架,其中两个深度Q网络(DQN)分别处理“冲突”和“无冲突”场景。基于自参与的方法被用来确定DQN的最优策略。Monte-Carlo仿真和比较研究与国家的最先进的联盟形成算法进行验证的性能CA-DQN与不同的环境参数。结果表明,该方法对检测到的目标数和群中机器人的数目具有不变性。本文还提出了在实验室环境中使用地面机器人的不同场景的CA-DQN的实时实现,以演示CA-DQN与低功耗计算设备的工作。
2020-11-13 cs.MA
Integrated Design of Cooperative Area Coverage and Target Tracking with Multi-UAV System
National University of Defense Technology(国防科技大学)
本文系统地研究了多无人机协同区域覆盖和目标跟踪问题。将该问题分解为三个子问题:信息融合、任务分配和多无人机行为决策。具体来说,在信息融合过程中,我们使用最大一致性协议来更新多目标联合估计状态(JESMT)和区域检测信息。区域检测信息由基于区域检测概率和实际访问时间构建的等效访问时间图(EVTM)表示。然后,将多无人机搜索跟踪多目标的任务分配问题建模为一个具有上、下界的网络流模型。提出了一种任务分配最小成本最大流算法(TAMM)。协同行为决策以Fisher信息作为任务奖励,以获得无人机的最优跟踪动作。在此基础上,设计了一种基于防群集方法的无人机覆盖行为决策算法。最后,设计了一种融合信息融合、任务分配和行为决策的分布式多无人机协同区域覆盖和目标跟踪算法。数值仿真和半实物仿真结果表明,该方法能够实现持续区域覆盖和协同目标跟踪。
2023-03-16 cs.MA cs.RO
Towards Global Optimality in Cooperative MARL with the Transformation And Distillation Framework
Washington University in St. Louis(华盛顿大学圣路易斯分校);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出TAD框架,通过将多智能体MDP转换为单智能体MDP并蒸馏策略,解决合作MARL中的优化问题,实现全局最优并提升执行性能。
2025-12-26 cs.AI cs.LG cs.MA
Cooperative Flexibility Exchange: Fair and Comfort-Aware Decentralized Resource Allocation
School of Computer Science, University of Leeds(利兹大学计算机科学学院)
本文提出了一种基于多智能体协调的去中心化需求侧管理系统,通过引入槽交换机制提升消费者舒适度与公平性,实现高效且公平的能源管理。
2026-02-04 cs.AI cs.MA
Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming
Georgia Institute of Technology(佐治亚理工学院)
信息共享是建立团队认知的关键,有助于协调和合作。高绩效的人类团队还受益于通过迭代沟通和合理化的层次结构进行战略性行动,这意味着人类代理可以在决策中推理队友的行为。然而,在多智能体强化学习(MARL)的大多数先前的工作不支持迭代合理化,只鼓励智能体通信,导致一个次优的平衡合作策略。在这项工作中,我们表明,重新制定代理的政策是有条件的政策,其相邻的队友固有的最大化互信息(MI)下限时,优化下策略梯度(PG)。有限理性和认知层次理论下的决策思想的基础上,我们表明,我们修改后的PG方法不仅最大限度地提高本地代理人的奖励,但也隐含的原因MI代理之间,而不需要任何明确的ad-hoc正则化条款。我们的方法InfoPG在学习紧急协作行为方面优于基线,并在分散式合作MARL任务中设置了最先进的技术。我们的实验验证了实用的InfoPG实现更高的样本效率和显着更大的累积奖励在几个复杂的合作多智能体域。
2022-06-24 cs.AI cs.LG cs.MA
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney(悉尼大学)
我们提出了一个多智能体演员批评的方法,旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是,代理之间的信用分配可能不需要一个明确的制定,只要(1)来自一个集中的评论家的策略梯度携带足够的信息,分散的代理,以最大限度地提高其联合行动的价值,通过最佳的合作和(2)在整个训练过程中执行一个持续的探索水平。在CTDE范式下,通过将集中式评价器构造成一个超网络,使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中,实现了前者;为了实现后者,我们推导出一种称为自适应熵正则化的简单技术,其中熵梯度的大小根据当前政策随机性,以鼓励一致的勘探水平。我们的算法,被称为LICA,评估的几个基准,包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务,我们表明,LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
Communication-Aware Multi-Agent Reinforcement Learning for Decentralized Cooperative UAV Deployment
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Boeing Research and Technology(波音研究与技术)
本文提出基于图的多智能体强化学习框架,通过集中训练分散执行策略,在部分可观测和间歇性链路条件下实现高效无人机协同部署,展示了在合作中继部署和对抗任务中的优越性能。
2026-08-07 cs.LG cs.MA cs.NI
CrazyMARL: Decentralized Direct Motor Control Policies for Cooperative Aerial Transport of Cable-Suspended Payloads
Technische Universität Berlin(技术大学柏林);Robotics Institute Germany (RIG)(德国机器人研究所(RIG))
提出CrazyMARL,一种基于分散式强化学习的多无人机缆绳悬挂载荷运输框架,在抗干扰和跟踪精度上优于经典控制器,并实现了零样本仿真到实物迁移。
2026-05-31 cs.MA cs.RO
Applying MAPP Algorithm for Cooperative Path Finding in Urban Environments
Federal Research Center “Computer Science and Control” of Russian Academy of Sciences(俄罗斯科学院“计算机科学与控制”联邦研究中心);People’s Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学);National Research University Higher School of Economics(国家研究型高等经济大学)
本文考虑的问题,规划一组非冲突的轨迹联盟的智能代理(移动机器人)。两种不同的方法,如集中式和分散式,调查和分析。分布式规划器- MAPP的描述和应用的任务,找到几十无人机执行午睡的地球飞行在城市环境中的轨迹。实验研究的结果提供了一个机会,声称MAPP是一个高效的计划,解决考虑类型的任务。
2017-07-20 cs.AI cs.MA
Cooperative Game-Theoretic Credit Assignment for Multi-Agent Policy Gradients via the Core
Key Laboratory of Intelligence, Games and Information Processing in Shaanxi Province(陕西省智能信息处理重点实验室);Unmanned System Research Institute(无人系统研究院);Northwestern Polytechnical University(西北工业大学);School of Mathematics and Statistics(数学与统计学院);Information Science Academy(信息科学学院);China Electronics Technology Group Corporation(中国电子科技集团有限公司)
本文提出CORA方法,通过核心分配机制解决多智能体策略梯度中的信用分配问题,提升联盟策略的协调优化能力。
2026-03-10 cs.AI cs.GT cs.LG
Towards Value-Constrained Credit Assignment in Fully Delegated AI Cooperatives
Hongik University(弘益大学)
提出在完全委托的AI合作社中,基于异质价值约束筛选更新,利用遍历学习实现细粒度信用分配,以解决数据估值和联邦学习中的贡献归属问题。
2026-06-29 cs.AI cs.DC cs.LG
Gaussian Process Decentralized Data Fusion Meets Transfer Learning in Large-Scale Distributed Cooperative Perception
National University of Singapore(新加坡国立大学)
本文提出了新的高斯过程分布式数据融合算法,利用以代理为中心的支持集的概念,分布式合作感知大规模的环境现象。为了克服现有工作中规模的限制,我们提出的算法允许每个移动传感代理选择不同的支持集,并在执行期间动态切换到另一个支持集,以将其自己的数据封装到本地摘要中,也许令人惊讶的是,该摘要仍然可以与其他代理的本地摘要(即,基于他们当前对支持集的选择)转换成全局一致的概要,以用于预测该现象。为了实现这一目标,我们提出了一种新的迁移学习机制,一个团队的代理能够共享和传输信息封装在一个摘要的基础上的支持集,利用不同的支持集,一些损失,可以在理论上界定和分析。为了缓解在多个迁移学习实例中积累信息丢失的问题,我们提出了一种新的信息共享机制,将其纳入我们的算法中,以实现记忆高效的惰性迁移学习。在真实数据集上的实验结果表明,该算法的性能优于现有的方法。
2017-11-16 cs.LG cs.MA cs.RO
More Centralized Training, Still Decentralized Execution: Multi-Agent Conditional Policy Factorization
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);BAAI(北京智源人工智能研究院)
在协作多智能体强化学习(MARL)中,结合价值分解和行动者-批评者策略,使智能体能够学习更适合部分可观测环境的随机策略.考虑到学习本地政策的目标,使分散执行,代理通常被认为是相互独立的,即使在集中训练。然而,这样的假设可能会阻止智能体学习最优联合策略。为了解决这个问题,我们显式地将代理之间的依赖性纳入集中训练。虽然这导致了最优的联合策略,但它可能不会被分解为分散执行。尽管如此,我们从理论上证明,从这样的联合策略中,我们总是可以推导出另一个联合策略,它可以实现相同的最优性,但可以分解为分散执行。为此,我们提出了多代理条件策略分解(MACPF),它需要更集中的训练,但仍然可以分散执行。我们经验验证MACPF在各种合作MARL任务,并证明MACPF实现更好的性能或更快的收敛比基线。我们的代码可在https://github.com/PKU-RL/FOP-DMAC-MACPF上获得。
2023-02-10 cs.LG cs.MA
Partner-Aware Algorithms in Decentralized Cooperative Bandit Teams
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
当人类彼此合作时,他们通常通过观察他人并考虑他们的行为可能对整个团队产生的后果来做出决定,而不是只为自己做最好的事情。我们希望我们的人工智能智能体通过捕获其合作伙伴的模型来以类似的方式进行有效合作。在这项工作中,我们提出并分析了一个分散的多臂强盗(MAB)问题与耦合奖励更一般的多智能体协作的抽象。我们证明,天真的扩展单代理最优MAB算法失败时,分散的强盗队。相反,我们提出了一个合作伙伴意识的联合顺序决策策略,扩展了著名的单代理置信上限算法。我们分析表明,我们提出的策略实现了对数遗憾,并提供了涉及人类-AI和人类-机器人协作的广泛实验,以验证我们的理论研究结果。我们的研究结果表明,所提出的伙伴意识策略优于其他已知的方法,我们的人类受试者研究表明,人类更喜欢与实施我们的伙伴意识策略的人工智能智能体合作。
2021-12-16 cs.AI cs.LG cs.MA
LLM-Powered Decentralized Generative Agents with Adaptive Hierarchical Knowledge Graph for Cooperative Planning
Carnegie Mellon University(卡内基梅隆大学);Singapore University of Technology and Design(新加坡科技设计大学);Roblox(罗布乐思公司);Northeastern University(东北大学)
针对动态开放世界中多智能体长期协作的挑战,提出DAMCS系统,通过LLM驱动的生成智能体、自适应层次知识图谱记忆与结构化通信协议,在Crafter环境中实现高效协作,多智能体场景步骤显著减少。
2025-02-08 cs.AI cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学)
本文提出一种考虑协作的评估视角,通过STAT测试平台评估六种价值导向的MARL方法,揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Safe Multi-Agent Reinforcement Learning through Decentralized Multiple Control Barrier Functions
School of Mechanical Engineering and Automation, Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳)机械工程与自动化学院);Department of Aerospace Engineering and Engineering Mechanics, University of Cincinnati(辛辛那提大学航空航天工程与工程力学系)
近年来,多智能体强化学习(MARL)算法在仿真中表现出了惊人的性能,但将MARL应用于实际应用中可能存在安全问题。集中屏蔽MARL是近年来提出并在安全博弈中得到验证的。然而,集中式屏蔽方法可能是不可行的,在几个现实世界中的多代理应用程序,涉及非合作代理或通信延迟。因此,我们建议结合MARL与分散控制屏障功能(CBF)屏蔽的基础上,可用的本地信息。建立了一个具有分散多控制屏障功能的安全MARL框架,并将多Agent深度确定性策略梯度(MADDPG)发展为具有分散多控制屏障功能的多Agent深度确定性策略梯度(MADDPG-CBF)。基于一个既包含合作主体又包含障碍物的避碰问题,我们从理论上证明了具有安全保证的多个CBF的构造。实验结果表明,该安全MARL框架能够保证MARL中Agent的安全性。
2021-03-23 cs.MA cs.RO
An Initial Introduction to Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文是协同多智能体强化学习的导论,梳理了CTE、CTDE、DTE三类方法的核心概念、典型算法与相关研究,还探讨了认知误区、方法关联及开放问题。
2026-09-24 cs.LG cs.MA
Interactive Distillation for Cooperative Multi-Agent Reinforcement Learning
Minwoo Cho;Batuhan Altundas;Matthew Gombolay
HINT通过交互式蒸馏框架提升多智能体协作强化学习的性能,采用分层强化学习和伪非策略方法,在复杂任务中实现显著的成功率提升。
2026-01-08 cs.LG cs.MA
Signal Instructed Coordination in Cooperative Multi-agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);Huya AI(虎牙人工智能)
在许多现实世界的问题中,一组智能体需要合作以最大化共同的回报。虽然现有的工作制定这个问题到一个集中学习与分散执行框架,这避免了非平稳问题的训练,他们的分散执行范式限制了代理的协调能力。受相关均衡概念的启发,我们提出引入协调信号来解决这一限制,并从理论上证明了在温和的条件下,具有协调信号的分散代理可以协调其由集中控制器操纵的个人策略。引入协调信号的思想是将协调策略封装到信号中,并利用信号来指导分散执行中的协作。为了鼓励代理学习利用协调信号,我们提出了信号指导协调(SIC),一种新的协调模块,可以集成到大多数现有的MARL框架。SIC将从预定义分布中采样的公共信号投射到所有代理,并引入信息理论正则化以促进观察到的信号与代理策略之间的一致性。我们的实验表明,SIC一致提高性能公认的MARL模型在矩阵游戏和捕食者-猎物游戏与高维战略空间。
2019-11-20 cs.AI cs.MA
Regret Bounds for Decentralized Learning in Cooperative Multi-Agent Dynamical Systems
University of Southern California(南加利福尼亚大学);Preferred Networks America, Inc(美国优选网络公司)
后悔分析是多智能体强化学习(MARL)中的一个挑战,主要是由于环境的动态性和智能体间信息的分散性。我们试图在多智能体线性二次(LQ)动力系统的分散学习的背景下解决这一挑战。我们从一个简单的设置,包括两个代理和两个动态解耦的随机线性系统,每个系统由一个代理控制。系统通过二次成本函数耦合。当两个系统的动态是未知的,有没有代理之间的通信,我们证明了没有学习策略可以产生次线性$T$遗憾,其中$T$是时间范围。当只有一个系统的动态是未知的,有一个单向的通信从代理控制未知系统的其他代理,我们提出了一个MARL算法的基础上建设一个辅助单代理LQ问题。在建议的MARL算法的辅助单代理问题作为一个隐式的协调机制之间的两个学习代理。这允许代理在辅助单代理问题的遗憾的$O(\sqrt{T})$内实现遗憾。因此,使用现有的单智能体LQ遗憾的结果,我们的算法提供了一个$\tilde{O}(\sqrt{T})$遗憾界。(Here $\tilde{O}(\cdot)$隐藏常数和对数因子)。我们的数值实验表明,这个界限是匹配的实践。从两个代理的问题,我们将我们的结果扩展到多代理LQ系统与某些通信模式。
2020-01-27 cs.LG cs.MA math.OC
Learning to Contest: Decentralized Robust Fairness in Cooperative MARL via Cross-Attention
Independent Researcher \. I zmir, Turkey
针对合作多智能体强化学习中公平性易被自私智能体利用的问题,提出基于交叉注意力的去中心化策略CAN,通过推断搭便车者数量并动态调整竞争力度,在分级竞争下实现接近集中式分配的鲁棒公平与效率。
2026-06-12 cs.GT cs.MA
Scalable Decentralized Cooperative Platoon using Multi-Agent Deep Reinforcement Learning
German University in Cairo(开罗德国大学)
针对智能交通中车辆队列行驶的性能与安全需求,提出基于Unity 3D和深度强化学习的可扩展去中心化协作队列方法,通过“共享与关怀”通信框架提升车队及单车性能鲁棒性,改善道路安全与拥堵。
2023-12-11 cs.AI cs.MA cs.RO
Best Possible Q-Learning
Peking University(北京大学)
完全分散的学习,其中的全球信息,即,其他智能体的行为是不可访问的,这是协作多智能体强化学习中的一个基本挑战。然而,大多数分散算法的收敛性和最优性在理论上没有保证,因为所有代理同时更新策略时,转移概率是非平稳的。为了解决这一挑战,我们提出了最佳可能的运营商,一个新的分散运营商,并证明了代理的政策将收敛到最优的联合政策,如果每个代理独立更新其个人的状态动作值的运营商。进一步,为了使更新更有效和实用,我们简化了操作,并证明了收敛性和最优性仍然保持与简化的。通过实例化的简化操作,派生的完全分散的算法,最佳可能的Q学习(BQL),不受非平稳性。从经验上讲,我们表明,BQL实现了显着的改善基线在各种合作的多智能体任务。
2023-02-02 cs.LG cs.MA
Decentralized cooperative perception for autonomous vehicles: Learning to value the unknown
Alliance Sorbonne Université(索邦大学联盟);Université de technologie de Compiègne(贡比涅技术大学);CNRS(法国国家科学研究中心);Heudiasyc(Heudiasyc实验室)
最近,我们目睹了涉及自动驾驶汽车的事故以及他们缺乏足够的信息。解决这一问题的一种方法是从不同观点的感知中受益,即合作感知。我们在这里提出了一个分散的合作,即点对点,其中代理人是积极的,在他们寻求全面的看法,要求在他们的周围环境中,他们想知道更多的具体领域。最终,我们希望在最大化关于移动对象的知识和最小化从其他人接收的信息总量之间进行优化,以限制通信成本和消息处理时间。为此,我们提出了一种方法来学习的通信策略,扭转了通常的通信模式,只要求从其他车辆什么是未知的自我车辆,而不是过滤发送方。我们测试了三种不同的生成模型作为深度强化学习(DRL)算法的基础,并将它们与广播策略和随机选择区域的策略进行了比较。特别是,我们提出了局部可预测VAE(LP-VAE),它似乎比最先进的模型产生更好的预测置信状态,无论是作为一个独立的模型,还是在DRL的背景下。实验在驾驶模拟器CARLA上进行。我们最好的模型平均获得了25%的总补充信息,而只要求约5%的自我车辆的感知领域。这种权衡可以通过我们的奖励函数的可解释超参数进行调整。
2022-12-12 cs.AI cs.LG cs.MA
Option-Critic in Cooperative Multi-agent Systems
McGill University(麦吉尔大学);Mila;Université de Montréal(蒙特利尔大学);DeepMind
在本文中,我们研究学习时间抽象的合作多智能体系统,使用的选项框架(萨顿等,1999年)。首先,我们解决的分散POMDP的多智能体系统所代表的规划问题,通过引入一个\emph{common information approach}。我们使用\emph{common beliefs}和广播的概念来解决一个等价的集中式POMDP问题。然后,我们提出了分布式期权评价(DOC)算法,它使用集中式期权评价和分散式期权内改进。我们从理论上分析了DOC的渐近收敛性,并建立了一个新的多智能体环境,以证明其有效性。我们的实验经验表明,DOC执行竞争力对基线和规模的代理商的数量。
2020-03-19 cs.AI cs.MA cs.SY
Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization
California Institute of Technology(加州理工学院);Tencent AI Lab(腾讯人工智能实验室)
本文提出分布鲁棒IGM原则,改进价值因子化架构以提升鲁棒性和现实适应性。
2026-02-11 cs.AI cs.MA
Mitigating Side Effects in Multi-Agent Systems Using Blame Assignment
Collaborative Robotics and Intelligent Systems (CoRIS) Institute, Oregon State University(协作机器人与智能系统研究所(CoRIS),俄勒冈州立大学)
针对多机器人共享环境中的负面副作用(NSEs)问题,提出基于双目标词典序去中心化马尔可夫决策过程的建模方法,利用信用分配将联合惩罚分解为个体惩罚以实现去中心化策略计算,有效提升了缓解NSEs的可扩展性。
2024-12-18 cs.MA cs.RO
Multi-robot Cooperative Pursuit via Potential Field-Enhanced Reinforcement Learning
Sun Yat-sen University(中山大学)
这是一个巨大的挑战,虽然有前途,协调集体机器人狩猎逃避者在一个分散的方式纯粹根据当地的观察。在本文中,这一挑战是解决了一种新的混合协同追踪算法,结合强化学习与人工势场法。在该算法中,分散的深度强化学习是用来学习合作的追求政策,是适应动态环境。将人工势场法作为预定义规则融入到学习过程中,提高了数据效率和泛化能力。数值仿真结果表明,所提出的混合设计优于香草强化学习或势场法设计的追求策略。此外,通过将学习到的追踪策略转移到现实世界的移动机器人中进行实验。实验结果表明,该算法在学习多个合作追捕策略的可行性和潜力。
2022-03-09 cs.AI cs.MA cs.RO
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
Adobe Research(Adobe研究)
COSAC提出一种无批评者策略梯度方法,通过单个岭回归分解团队奖励,计算每个代理的反事实优势,实现低方差和可控的信用分配,适用于顺序合作团队。
2026-11-13 cs.AI cs.LG cs.MA