Cooperative Profiles Predict Multi-Agent LLM Team Performance in AI for Science Workflows
University of Michigan(密歇根大学)
本文通过六种行为经济学游戏评估35个LLM的协同特征,发现其能有效预测AI for Science任务中的团队表现,特别是在数据处理、建模和报告生成中,协同策略优于贪心策略。
2026-10-07 cs.CL cs.CY cs.MA
Open Ad Hoc Teamwork with Cooperative Game Theory
University of Manchester(曼彻斯特大学);University of Freiburg(弗莱堡大学);Aalto University(阿尔托大学)
本文通过合作博弈理论为开放自组织团队协作(OAHT)的联合Q值表示建立新理论,并基于图策略学习框架提出CIAO算法,以可证明的实现技巧提升学习效果。
2024-07-07 cs.LG cs.MA
ReCollab: Retrieval-Augmented LLMs for Cooperative Ad-hoc Teammate Modeling
Department of Electrical and Computer Engineering, University of Texas at San Antonio(电子与计算机工程系,德克萨斯大学圣安东尼奥分校)
ReCollab通过检索增强生成技术提升即兴团队合作中队友行为建模的适应性与准确性。
2025-12-05 cs.AI cs.LG cs.MA
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International(SRI国际)
本文提出 ToMCAT 框架,将心智理论元学习与多智能体扩散模型结合,并通过动态重规划机制生成团队感知计划,在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Logical Team Q-learning: An approach towards factored policies in cooperative MARL
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们解决的挑战,学习因素的政策合作MARL的情况下。特别是,我们考虑的情况下,一个团队的代理合作,以优化共同的成本。我们的目标是获得因子化的政策,确定每个代理的个人行为,使最终的联合政策是最优的。这项工作的主要贡献是引入逻辑团队Q学习(LTQL)。LTQL不依赖于对环境的假设,因此通常适用于任何协作MARL场景。我们推导出LTQL作为一个随机逼近的动态规划方法,我们在这项工作中介绍。我们通过提供实验(在表格和深层环境中)来说明这些主张,从而结束本文。
2021-03-28 cs.AI cs.LG cs.MA
A Theory of Mind Approach as Test-Time Mitigation Against Emergent Adversarial Communication
多智能体系统(MAS)是对共享环境中多智能体交互的研究。合作通信是在部分可观测环境中共享信息的基本结构。合作多智能体强化学习(CoMARL)是一种学习框架,在该框架中,我们学习具有合作机制或表现出合作行为的智能体策略。解释,有工作学习沟通消息从CoMARL代理,然而,非合作代理,当能够访问一个合作团队的通信信道,已被证明学习对抗通信消息,破坏合作团队的性能,特别是当目标依赖于有限的资源。为了解决这个问题,我们提出了一种技术,利用本地配方的理论的心(ToM),以区分表现出的合作行为从非合作行为之前,接受来自任何代理的消息。我们证明了所提出的技术的有效性和可行性,在集中培训,分散执行(CTDE)CoMARL基准的实证评估。此外,虽然我们提出了我们明确的心理理论防御测试时,我们强调,心理理论是一个结构设计的认知防御,而不是防御的目标。
2023-02-14 cs.MA
Calibrate Once, Fly Any Team: Residual-Grounded Low-Fidelity Training for Cooperative Drone Swarms
University of Haifa(海法大学)
提出混合保真度训练方案,用离线残差校正低保真模拟器训练共享去中心化策略,避免高保真强化学习,在多种集群任务中性能接近高保真微调策略且计算成本大幅降低。
2026-09-16 cs.MA cs.RO
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
Adobe Research(Adobe研究)
COSAC提出一种无批评者策略梯度方法,通过单个岭回归分解团队奖励,计算每个代理的反事实优势,实现低方差和可控的信用分配,适用于顺序合作团队。
2026-11-13 cs.AI cs.LG cs.MA
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA
Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming
Georgia Institute of Technology(佐治亚理工学院)
信息共享是建立团队认知的关键,有助于协调和合作。高绩效的人类团队还受益于通过迭代沟通和合理化的层次结构进行战略性行动,这意味着人类代理可以在决策中推理队友的行为。然而,在多智能体强化学习(MARL)的大多数先前的工作不支持迭代合理化,只鼓励智能体通信,导致一个次优的平衡合作策略。在这项工作中,我们表明,重新制定代理的政策是有条件的政策,其相邻的队友固有的最大化互信息(MI)下限时,优化下策略梯度(PG)。有限理性和认知层次理论下的决策思想的基础上,我们表明,我们修改后的PG方法不仅最大限度地提高本地代理人的奖励,但也隐含的原因MI代理之间,而不需要任何明确的ad-hoc正则化条款。我们的方法InfoPG在学习紧急协作行为方面优于基线,并在分散式合作MARL任务中设置了最先进的技术。我们的实验验证了实用的InfoPG实现更高的样本效率和显着更大的累积奖励在几个复杂的合作多智能体域。
2022-06-24 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据,天真的团队奖励最大化产生不公平的结果,为个别团队成员的动机。为了解决多智能体环境中的公平性问题,我们引入了团队公平性,这是一种基于组的多智能体学习公平性度量。然后,我们证明了它是可能的,以加强团队的公平性,在政策优化过程中,通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性(Fair-E),并以经验证明其有效性。然后,我们引入公平通过等变正则化(公平ER)作为公平E的软约束版本,并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后,我们提出了新的发现,在多代理设置的公平性效用权衡,显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Learning Transferable Cooperative Behavior in Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
虽然多智能体交互可以自然地建模为图,但环境传统上被认为是黑盒。我们建议创建一个共享的代理实体图,其中代理和环境实体形成顶点,顶点之间存在边,可以相互通信。智能体通过沿着图的边交换消息来学习合作。我们提出的多智能体强化学习框架对系统中存在的代理或实体的数量以及排列不变性是不变的,这两者对于任何多智能体系统表示都是理想的属性。我们提出了国家的最先进的结果覆盖,形成和线控制任务的多智能体团队在一个完全分散的框架,并进一步表明,学习的政策迅速转移到不同的团队规模的情况下,随着强大的zero-shot泛化性能。这是朝着开发多智能体团队迈出的重要一步,这些团队可以在现实世界中实际部署,而无需假设完全的先验知识或无限距离的即时通信。
2019-06-04 cs.LG cs.MA stat.ML
Reward Machines for Cooperative Multi-Agent Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Arizona State University(亚利桑那州立大学)
在协作多智能体强化学习中,一组智能体学习在共享环境中进行交互以实现共同目标。我们建议使用奖励机(RM)- Mealy机作为奖励函数的结构化表示-来编码团队的任务。所提出的新的解释RM在多智能体设置明确编码所需的队友相互依赖关系,允许团队级任务分解成子任务的个人代理。我们定义了RM分解的概念,并提出了算法可验证的条件,保证子任务的分布式完成会导致团队行为完成原始任务。这种任务分解的框架为分散式学习提供了一种自然的方法:代理可以学习完成子任务,同时只观察他们的本地状态和他们的队友的抽象表示。因此,我们提出了一个分散的q-学习算法。此外,在未折现的奖励的情况下,我们使用本地价值函数推导出相应于团队任务的全局价值函数的上下界。在三个离散设置的实验结果验证了所提出的RM分解方法的有效性,该方法收敛到一个成功的团队策略比集中式学习器快一个数量级,并显着优于分层和独立的q学习方法。
2021-02-09 cs.AI cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida(佛罗里达大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
隐私感知的多智能体系统必须保护代理的敏感数据,同时确保代理完成他们的共同目标。为了实现这一目标,我们提出了一个框架,私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹,然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平,这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策,是强大的隐私减少的总相关值。数值实验表明,在这些政策下,团队的表现下降了3%,当比较私人与非私人的通信实现。相比之下,当使用忽略总体相关性而只优化团队绩效的基线策略时,团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology(佐治亚理工学院);Electronic Arts(美国艺电);EA Digital Platform, Data & AI(艺电数字平台数据与人工智能部门)
在专业团队运动中,人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能,从而实现高水平的协调。作为一个步骤,创造智能代理具有这种能力的充分合作的多智能体设置,我们提出了一个两级分层多智能体强化学习(MARL)算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能,而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励,这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性,而不需要为每个技能手工制作奖励。对于可扩展的分散执行,每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略,并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明,有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
Hierarchical Control for Cooperative Teams in Competitive Autonomous Racing
本文提出一种两层分层控制框架,用于合作团队的自动驾驶赛车,高层规划器生成目标路径点,低层采用多智能体强化学习或线性二次纳什博弈求解,在复杂赛道上优于基线,并展现出类似专业车手的协调超车与防御行为。
2024-02-05 cs.GT cs.MA
CARE: Cooperative Autonomy for Resilience and Efficiency of Robot Teams for Complete Coverage of Unknown Environments under Robot Failures
本文提出了一种分布式算法CARE,用于解决未知环境中多机器人覆盖率路径规划问题,该算法在机器人故障情况下提供鲁棒性并提高整体效率,通过事件驱动的重新规划实现任务重新分配,实验结果表明其在故障情况下能够实现完全覆盖、减少覆盖时间和加快目标发现。
2019-05-29 cs.MA cs.RO cs.SY
Merging model-based control with multi-agent reinforcement learning for multi-agent cooperative teaming strategies
Georgia Institute of Technology(佐治亚理工学院);Sandia National Laboratories(桑地亚国家实验室)
提出一种结合多智能体强化学习与模型预测控制的框架(MA-AC-MPC),通过扩展演员-评论家模型预测控制实现安全、动态可行的协作策略,并在追逃场景和异构环境中验证其优于多层感知机模型。
2026-06-04 cs.LG cs.MA cs.RO
Policy Diversity for Cooperative Agents
Ubisoft La Forge(育碧La Forge);Ubisoft Chengdu(育碧成都);Ubisoft Bordeaux(育碧波尔多)
针对多智能体协作领域缺乏有效策略多样性方法的问题,提出矩匹配策略多样性方法,通过形式化选定智能体的动作差异生成差异化团队策略,理论上可实现基于最大均值差异的约束优化,在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
Value-based CTDE Methods in Symmetric Two-team Markov Game: from Cooperation to Team Competition
Montefiore Institute(蒙特菲奥雷研究所);ULiège(列日大学);Thales(泰雷兹集团);LTCI(通信与信息处理实验室);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
在本文中,我们确定了最好的学习方案,训练一个团队的代理竞争对手的多个可能的战略。我们评估合作价值为基础的方法在一个混合的合作竞争环境。我们限制自己的情况下,对称的,部分可观察的,两队马尔可夫博弈。我们选择了三种基于集中培训和分散执行(CTDE)范式的培训方法:QMIX,MAVEN和QVMix。对于每一种方法,我们考虑了三种学习场景,这些学习场景根据培训期间遇到的各种团队策略而有所不同。在我们的实验中,我们修改了《星际争霸》多智能体挑战赛的环境,以创造一个竞争性的环境,让两个团队可以同时学习和竞争。我们的研究结果表明,对多个不断发展的战略训练达到最佳效果时,得分他们的表现,团队面临着几个战略。
2022-11-30 cs.GT cs.LG cs.MA
You Only Align Once: Propagating Cooperative Behaviors in Multi-Agent Systems through Seed Agents
Arcarae;University of California, Santa Cruz(加州大学圣克鲁兹分校);Northwestern University(西北大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出对齐传播现象,通过种子智能体在自然语言交互中传播合作行为,在红黑游戏中将合作率从24.8%提升至62.2%,并零样本迁移至Sugarscape场景。
2026-10-05 cs.CL cs.MA
Multi-Vehicle Cooperative Control Using Mixed Integer Linear Programming
我们提出的方法来综合多车辆控制问题的合作策略,使用混合整数线性规划。复杂的多车辆控制问题被表示为混合逻辑动态系统。这些系统的最优策略,然后解决使用混合整数线性规划。我们激励的方法来自两队机器人之间的对抗性游戏的问题,称为RoboFlag。我们假设一个团队的策略是固定的,并由状态机控制。其他团队的策略是使用我们的方法生成的。最后,我们进行了一个平均情况下的计算复杂性研究我们的方法。
2005-01-31 cs.AI cs.MA cs.RO
Learning Hierarchical Teaching Policies for Cooperative Agents
MIT-LIDS(麻省理工学院信息与决策系统实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
当代理有效地与他们的同伴交换知识时,集体学习可以大大增强。特别是,最近研究学习教导其他队友的代理的工作表明,行动建议加速了团队范围的学习。然而,先前的工作已经通过使用简单的函数近似简化了建议策略的学习,并且仅考虑了具有原始(低级)动作的建议,从而限制了学习和教学到复杂域的可扩展性。本文介绍了一种新的学习教的框架,称为分层多智能体教学(HMAT),提高了可扩展性,复杂的环境中使用的学生政策的深层表示,并通过建议更有表现力的扩展动作序列在多个层次的时间抽象。我们的实证评估表明,HMAT提高了团队范围内的学习进展,在大型,复杂的领域,以前的方法失败。HMAT还学习教学策略,可以有效地将知识传递给具有不同任务知识的不同队友,即使队友具有异构的行动空间。
2020-05-18 cs.AI cs.LG cs.MA
Learning to Navigate in Turbulent Flows with Aerial Robot Swarms: A Cooperative Deep Reinforcement Learning Approach
University of Pennsylvania(宾夕法尼亚大学);Amazon Robotics(亚马逊机器人公司);Universidad Santo Tomas(圣托马斯大学);Bethune Cookman University(白求恩-库克曼大学);Lehigh University(利哈伊大学)
本文提出基于GCNN的协作式深度强化学习多机器人控制器,通过邻居信息共享学习风流对团队的影响,实现可扩展且可泛化的湍流导航与补偿。
2023-06-07 cs.LG cs.MA cs.RO
Learning Coordinated Preference for Multi-Objective Multi-Agent Reinforcement Learning
Department of Electrical and Computer Engineering, University of Arizona(亚利桑那大学电气与计算机工程系)
提出偏好协调多智能体策略优化(PCMA),通过学习协调的智能体特定偏好实现多目标多智能体强化学习中的互补权衡,理论证明偏好多样性可诱导团队改进,实验验证性能与协调性提升。
2026-09-29 cs.AI cs.MA
Partner-Aware Algorithms in Decentralized Cooperative Bandit Teams
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
当人类彼此合作时,他们通常通过观察他人并考虑他们的行为可能对整个团队产生的后果来做出决定,而不是只为自己做最好的事情。我们希望我们的人工智能智能体通过捕获其合作伙伴的模型来以类似的方式进行有效合作。在这项工作中,我们提出并分析了一个分散的多臂强盗(MAB)问题与耦合奖励更一般的多智能体协作的抽象。我们证明,天真的扩展单代理最优MAB算法失败时,分散的强盗队。相反,我们提出了一个合作伙伴意识的联合顺序决策策略,扩展了著名的单代理置信上限算法。我们分析表明,我们提出的策略实现了对数遗憾,并提供了涉及人类-AI和人类-机器人协作的广泛实验,以验证我们的理论研究结果。我们的研究结果表明,所提出的伙伴意识策略优于其他已知的方法,我们的人类受试者研究表明,人类更喜欢与实施我们的伙伴意识策略的人工智能智能体合作。
2021-12-16 cs.AI cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
ProAgent: Building Proactive Cooperative Agents with Large Language Models
Peking University(北京大学)
ProAgent利用大语言模型构建可动态推断队友意图并更新信念的主动协作智能体,在Overcooked-AI中零样本协调表现显著优于自博弈、种群训练及现有最优方法。
2024-01-11 cs.AI cs.LG cs.MA
Decentralized Inference via Capability Type Structures in Cooperative Multi-Agent Systems
针对异构能力智能体的临时协作问题,提出基于能力类型结构的信念维护与规划算法,并在噪声观测及协作跳棋等环境中验证其可避免反协作行为。
2023-04-27 cs.GT cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida(中佛罗里达大学);Department of Computer Science University of Central Florida(中佛罗里达大学计算机科学系)
许多合作的多智能体问题需要智能体学习个人的任务,同时有助于集体的成功。这是一个具有挑战性的任务,目前国家的最先进的多智能体强化算法,旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的,导致不稳定的学习时,这个问题就会加剧。为了解决这个问题,我们提出了分解多智能体深度确定性策略梯度(DE-MADDPG):一种新的合作多智能体强化学习框架,同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题,并表明我们的解决方案实现了显着更好,更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
Influence of Team Interactions on Multi-Robot Cooperation: A Relational Network Perspective
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对现有算法忽视团队结构的问题,提出基于关系网络的多机器人协作算法,通过设定智能体间关系赋予优先级以指导协作策略,实验证明其能有效影响算法收敛的解决方案类型。
2023-10-19 cs.MA cs.RO
Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming
本文提出'建设性相互依赖'作为评估人机协同合作的新指标,发现训练智能体虽能获得高任务奖励,但无法诱导协作行为,揭示任务奖励与合作无必然联系。
2026-01-17 cs.AI cs.MA
Multi-Agent Cooperative Transportation: Optimal and Efficient Task Allocation and Path Finding
University of Bristol(布里斯托大学)
本文提出CT-TAPF问题,整合团队形成、任务分配与无碰撞路径寻找,提出CT-TCBS最优求解器和子最优求解器,通过增量扩展策略和全局任务视角提升效率,验证了在协作多智能体问题中的有效性。
2026-05-15 cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
An Infrastructure-less, Control-Independent Solution to Relative Localisation of a Team of Mobile Robots using Ranging Measurements
Department of Industrial Engineering, University of Trento(特伦托大学工业工程系);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
提出一种无锚点、完全去中心化的协作定位算法,仅依赖局部里程计、稀疏测距和短程通信,无需控制机器人运动即可实现团队可观测性,采用多假设贝叶斯框架保证鲁棒性。
2026-06-19 cs.MA cs.RO
Collaborative Adaptation: Learning to Recover from Unforeseen Malfunctions in Multi-Robot Teams
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对多智能体强化学习在遭遇不可预见故障时恢复缓慢的问题,提出Collaborative Adaptation框架,通过利用智能体间关系引导协作并加速故障适应,使智能体能有效恢复并选择合适的协作策略。
2023-10-19 cs.MA cs.RO
Turnover-Orthogonal Credit Assignment for Open-Team Multi-Agent Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
针对开放团队中换员与动作信用混淆问题,提出TOCA价值分解方法,分离动作、换员及交互效应,通过置换不变评论家与反事实信用信号提升动态合作场景下的学习稳健性与回报。
2026-10-05 cs.LG cs.MA
Self-Motivated Multi-Agent Exploration
Nanjing University(南京大学);Polixir Technologies(Polixir科技)
针对合作多智能体强化学习中个体探索与团队协作难以平衡的问题,提出SMMAE,通过独立探索策略和自适应探索概率提升协调行为与学习性能。
2023-09-27 cs.LG cs.MA
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University(南京大学);Dalian University of Technology(大连理工大学)
针对多智能体强化学习现有算法的不足,基于MADDPG引入合作奖励参数,在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励,改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
Independent RL for Cooperative-Competitive Agents: A Mean-Field Perspective
Analog Devices Incorporated(亚德诺半导体公司);Artificial Intelligence Research, JP Morgan Chase & Co(摩根大通公司人工智能研究部门);School of Mathematics and Data Science, NYU Shanghai(上海纽约大学数学与数据科学学院);Coordinated Science Lab, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
本文在平均场视角下研究团队内合作、团队间一般和竞争的线性二次博弈,提出多玩家滚动时域自然策略梯度算法,并通过HJI方程分解证明其收敛到全局纳什均衡。
2025-02-08 cs.AI cs.GT cs.LG
Cooperative Nonlinear Guidance Strategies for Guaranteed Pursuit-Evasion
Intelligent Systems and Control Lab, Department of Aerospace Engineering, Indian Institute of Technology Bombay(智能系统与控制实验室,航空航天工程系,印度理工学院班加罗尔);GALACxIS Lab, Department of Aerospace Engineering and Engineering Mechanics, University of Cincinnati(GALACxIS实验室,航空航天工程与工程力学系,辛辛那提大学)
本文研究三体追逃问题,为逃跑者-防御者团队提出基于几何的协同非线性制导策略,保证在任意初始交战几何下拦截追击者,且无需获知对方策略,误差变量可在预定有限时间内收敛至零。
2025-09-15 cs.MA cs.RO cs.SY
Three-agent Time-constrained Cooperative Pursuit-Evasion
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文考虑了三个代理人之间的追求-逃避的情况-逃避者,追求者和防御者。我们设计的合作指导法律的逃避者和防御者的团队,以保护逃避者从攻击的追求者。不同于微分游戏,最优控制配方,和其他启发式方法,我们提出了一个新的角度设计有效的非线性反馈控制律的逃避者防守队使用时间约束的指导方法。逃避者以自己为诱饵引诱追赶者进入碰撞轨道。与此同时,防御者通过控制交战持续时间来保护逃避者免受追击者的攻击。根据任务的性质,防御者可以选择采取攻击或防御姿态。这种考虑拓宽了所提出的方法在各种三代理运动规划方案,如飞机防御,资产守卫,搜索和救援,监视和安全运输的适用性。我们使用固定时间的滑模控制策略设计的控制律的规避者和防御者的团队和非线性有限时间干扰观测器估计的追求者的机动。最后,我们提出了模拟,以证明在各种啮合几何形状下的良好性能,从而证明所提出的设计的有效性。
2022-01-17 cs.MA cs.RO cs.SY
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University(卡内基梅隆大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏(由一起训练的代理组成的团队)和交叉游戏(独立训练但使用相同算法的代理团队)的限制性范式下评估合作AI性能。最近的工作表明,针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准,被称为算法间的交叉游戏,其中代理与实验池内的所有其他代理的组队性能进行评估,没有假设代理之间的算法相似性。我们发现,现有的最先进的合作AI算法,如游戏和信念学习,在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调(ZSC)-推广自我发挥为基础的算法,算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器(SAD),并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
提出自动机条件化协作多智能体强化学习框架,通过自动机分解团队目标为子任务,学习任务条件化的分散策略,实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Neural Payoff Machines: Predicting Fair and Stable Payoff Allocations Among Team Members
Radboud University(拉德堡德大学);DeepMind(深度思维);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
在许多多智能体环境中,参与者可以组成团队,以实现可能远远超过其个人能力的集体成果。衡量代理人的相对贡献并为他们分配促进长期合作的奖励份额是一项艰巨的任务。合作博弈论提供了解决方案的概念,确定分配方案,如Shapley值,公平地反映了个人对团队或核心绩效的贡献,这减少了代理人放弃团队的动机。这些方法的应用包括确定有影响力的特征和分担合资企业或团队组建的成本。不幸的是,使用这些解决方案需要解决计算障碍,因为它们很难计算,即使在受限的设置中。在这项工作中,我们展示了如何合作博弈论的解决方案可以通过训练神经网络提出公平和稳定的收益分配,提炼成一个学习模型。我们表明,我们的方法创建的模型可以推广到远离训练分布的游戏,并且可以预测比训练期间观察到的更多玩家的解决方案。我们的框架的一个重要应用是可解释的AI:我们的方法可以用于在许多情况下加速Shapley值计算。
2022-08-18 cs.AI cs.GT cs.LG
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University(华东师范大学);SRIAS(上海人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));AIRS(深圳市人工智能与机器人研究院)
在解决一个复杂的任务时,人类会自发地组成团队,分别完成整个任务的不同部分。同时,队友之间的合作也会提高效率。然而,对于目前的合作MARL方法,合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率,提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略,该策略是通过独立的多智能体强化学习建立的。在团队形成后,引入了基于共识约束的层次意图的层次共识模块。同时,利用层次一致性模块和自监督内在奖励增强决策模块,提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起,促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明,{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
Guarding a Target Area from a Heterogeneous Group of Cooperative Attackers
本文研究单个防御者对抗异构多攻击者的目标防御问题,通过几何论证与参数优化构建并验证了均衡控制策略,揭示了攻击者因速度和权重差异而产生的合作行为。
2024-06-30 cs.MA cs.SY eess.SY
Extended Version: Multi-Robot Motion Planning with Cooperative Localization
本文针对噪声下多机器人协作定位运动规划问题,提出一种考虑机器人间相关性且保证安全与概率完备性的采样规划算法,并通过偏置技术显著提升规划效率。
2025-04-08 cs.MA cs.RO
Team Behavior in Interactive Dynamic Influence Diagrams with Applications to Ad Hoc Teams
University of Georgia(佐治亚大学);Teesside University(提赛德大学);Queen’s University Belfast(贝尔法斯特女王大学)
特别团队的规划是具有挑战性的,因为它涉及代理在没有任何事先协调或沟通的情况下进行协作。重点是原则性的方法,为一个单一的代理人与他人合作。这激发了在个人决策框架的背景下调查特设团队合作问题。然而,在多智能体环境中的个人决策面临的任务是必须对其他智能体的行为进行推理,这反过来又涉及对他人的推理。一个已建立的近似操作这种方法是从下面的无限嵌套引入0级模型。我们表明,有限嵌套建模的后果是,我们可能无法获得最佳的团队合作设置的解决方案。我们通过包括0级模型来解决这个限制,这些模型的解决方案涉及学习。我们证明,学习集成到规划的背景下,互动的动态影响图促进最佳的团队行为,并适用于特设团队合作。
2014-09-01 cs.AI cs.MA
When Is Diversity Rewarded in Cooperative Multi-Agent Learning?
Department of Computer Science and Technology University of Cambridge(计算机科学与技术系剑桥大学)
研究通过理论分析和算法验证,探讨了多智能体学习中异质性团队奖励机制,提出HetGPS算法用于发现异质性优势的奖励场景。
2026-03-01 cs.AI cs.LG cs.MA
Technical Report: Cooperative Multi-Target Localization With Noisy Sensors
University of Pennsylvania(宾夕法尼亚大学)
本技术报告是2013年IEEE机器人与自动化国际会议(ICRA)接受的论文“带噪声传感器的协作多目标定位”的扩展版本。本文讨论了一个未知数量的静态目标搜索的任务,在一个已知的障碍地图使用一组移动机器人配备了嘈杂的,有限的视野传感器。这种传感器可能无法检测到可见目标的子集或返回假阳性检测。这些测量集用于使用概率假设密度或PHD过滤器来定位目标。机器人在本地点对点的基础上相互通信,并通过接入点与服务器或云进行通信,交换测量结果和姿势,以更新他们对目标的信念并计划未来的行动。该服务器提供了一种机制来收集和综合来自所有机器人的信息,并将全局(尽管有时间延迟)的信念状态共享给接近接入点的机器人。我们设计了一个分散控制计划,利用这种通信架构和PHD表示的信念状态。具体来说,机器人移动,以最大限度地提高目标集和测量之间的互信息,自我收集和那些可通过访问服务器,平衡本地探索与共享知识的团队。此外,机器人与探索环境中同一局部区域的其他机器人协调其动作。
2013-02-15 cs.MA cs.RO
Discovering Causality for Efficient Cooperation in Multi-Agent Environments
Institute for Digital Technologies(数字技术研究所);Loughborough University London(拉夫堡大学伦敦校区)
本文研究多智能体强化学习中的懒惰智能体问题,利用因果关系估计改进信用分配,并采用摊销因果发现自动检测因果,以惩罚懒惰智能体,提升团队及个体性能。
2023-06-20 cs.AI cs.LG cs.MA
Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization
California Institute of Technology(加州理工学院);Tencent AI Lab(腾讯人工智能实验室)
本文提出分布鲁棒IGM原则,改进价值因子化架构以提升鲁棒性和现实适应性。
2026-02-11 cs.AI cs.MA