Communication-Corruption Coupling and Verification in Cooperative Multi-Objective Bandits
Dept. of Electrical Engineering University at Buffalo Buffalo, NY, USA(电气工程系 布法罗大学)
该研究探讨了在对抗性腐败和有限验证条件下,合作多目标老虎机中通信与腐败的耦合关系,提出了一种协议诱导的多重性功能,并证明了在不同共享策略下团队的遗憾界限。
2026-02-20 cs.LG
Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Florida(佛罗里达大学)
针对合作多智能体强化学习中的隐私问题,提出PE-VDN算法,通过分布式计算、多方计算和差分隐私技术,在保护环境数据的同时实现80%的Vanilla VDN胜率。
2023-09-13 cs.AI cs.LG cs.MA
A Multi-UAV System for Exploration and Target Finding in Cluttered and GPS-Denied Environments
Queensland University of Technology(昆士兰科技大学);Data61 / CSIRO(Data61 / 联邦科学与工业研究组织);Griffith University(格里菲斯大学)
多旋翼无人机(UAV)用于搜索和救援以及遥感的使用正在迅速增加。然而,多旋翼无人机的续航能力有限。如果使用多个无人机组成的团队,则可以拓宽无人机的应用范围。我们提出了一个框架,一个团队的无人机合作探索,并找到一个目标,在复杂的GPS拒绝环境中的障碍。无人机团队在已知地图的杂乱环境中自主导航、探索、探测和发现目标。这种环境的示例包括室内场景、城市或自然峡谷、洞穴和隧道,其中GPS信号受到限制或阻挡。该框架基于概率分散的部分可观察马尔可夫决策过程,该过程考虑了传感和环境中的不确定性。团队可以有效地合作,每个无人机在任务期间只共享有限的处理过的观测结果和它们的位置。使用机器人操作系统和Gazebo模拟该系统。系统的性能与越来越多的无人机在几个室内场景与障碍物进行了测试。结果表明,所提出的多无人机系统具有改善的时间成本,调查的搜索区域的比例,以及搜索和救援任务的成功率。
2021-07-19 cs.LG cs.MA cs.RO
Birds of a Feather Flock Together: A Close Look at Cooperation Emergence via Multi-Agent RL
Institution for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学)
合作如何产生是一个长期存在的跨学科问题。社会困境的博弈论研究表明,利他激励是合作的出现,但他们的分析仅限于无状态的游戏是至关重要的。对于更现实的场景,多智能体强化学习已被用于研究顺序社会困境(SSD)。最近的工作表明,学习激励其他代理可以促进SSD的合作。然而,我们发现,在这些激励机制,团队合作水平并不收敛,并定期振荡之间的合作和背叛学习。我们发现,二阶的社会困境所造成的激励机制是这种脆弱的合作的主要原因。我们正式分析了二阶社会困境的动态,发现人类的一个典型倾向,称为同质性,提供了一个有前途的解决方案。我们提出了一个新的学习框架,以鼓励同性恋的激励,并表明它实现了稳定的合作,在SSD的公共产品和悲剧的公地。
2021-06-05 cs.CY cs.LG cs.MA
Multi-Agent Team Access Monitoring: Environments that Benefit from Target Information Sharing
Noblis(诺布利斯公司)
本文将单目标区域访问监控的最小割模型推广到多目标区域,提出逐目标迭代和整体考察两种方法,并通过仿真比较其在不同场景下的性能。
2024-03-28 cs.MA cs.RO
The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning
University of Cambridge(剑桥大学)
许多现实世界的问题需要多个自主智能体的协调。最近的工作表明,图神经网络(GNN)有希望学习明确的通信策略,使复杂的多智能体协调。这些作品使用合作多代理系统的模型,代理努力实现一个共同的全球目标。当考虑具有自利局部目标的代理时,标准的设计选择是将它们建模为独立的学习系统(尽管共享相同的环境)。然而,这样的设计选择,排除了存在一个单一的,可区分的通信信道,并因此禁止学习的智能体通信策略。在这项工作中,我们解决这个差距,提出了一个学习模型,可容纳个人的非共享奖励和一个可区分的沟通渠道,是所有代理之间的共同点。我们专注于代理人有自我利益的目标的情况下,并开发一个学习算法,消除对抗性通信的出现。我们进行多代理覆盖和路径规划问题的实验,并采用事后可解释性技术来可视化代理相互通信的消息。我们展示了一个自私的代理是如何能够学习高度操纵性的通信策略,使其显着优于一个合作团队的代理。
2020-11-04 cs.AI cs.LG cs.MA
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology(佐治亚理工学院);Electronic Arts(美国艺电);EA Digital Platform, Data & AI(艺电数字平台数据与人工智能部门)
在专业团队运动中,人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能,从而实现高水平的协调。作为一个步骤,创造智能代理具有这种能力的充分合作的多智能体设置,我们提出了一个两级分层多智能体强化学习(MARL)算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能,而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励,这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性,而不需要为每个技能手工制作奖励。对于可扩展的分散执行,每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略,并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明,有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
Dynamic Games among Teams with Delayed Intra-Team Information Sharing
针对带延迟队内信息共享的非对称信息团队随机动态博弈,提出刻画压缩信息型纳什均衡的通用方法,分析两类压缩策略均衡的存在性并给出反向归纳求解过程,揭示了信息压缩、均衡存在性与计算三者的制约关系。
2021-04-02 cs.GT cs.MA math.OC
Emergence of Scenario-Appropriate Collaborative Behaviors for Teams of Robotic Bodyguards
我们正在考虑控制一组机器人保镖的问题,以保护VIP在中立和/或敌对旁观者面前免受身体攻击。这项任务是一个更大的问题,涉及协调机器人在人类存在的行为的一部分。这个问题是具有挑战性的,因为大量的活动实体具有不同的议程,机器人之间的合作的需要,以及需要考虑的标准,如社会规范和不显眼,除了VIP安全的主要目标。此外,不同的场景,如街道、公共场所或红地毯,需要机器人有非常不同的行为。我们描述了一个多智能体强化学习方法可以发展的机器人保镖团队的行为政策,以及与手工设计的方法相比。此外,我们表明,通用价值函数近似器的启发算法可以学习的政策,表现出适当的,不同的行为在不同的环境要求。
2020-03-25 cs.MA
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA
Reinforcement Learning in Deep Structured Teams: Initial Results with Finite and Infinite Valued Features
在本文中,我们考虑马尔可夫链和线性二次模型的折扣和时间平均成本函数下的两个非经典信息结构,即深度状态共享和不共享的深度结构团队。在深度结构化团队中,智能体通过深度状态在动态和成本函数中耦合,其中深度状态是指状态的一组正交线性回归。在这篇文章中,我们考虑马尔可夫链模型的齐次线性回归(即,状态的经验分布)和用于线性二次模型的几个标准正交线性回归(即,国家的平均值)。针对模型已知的情况,提出了一些规划算法;针对模型不完全已知的情况,提出了一些强化学习算法。证明了两种无模型(强化学习)算法的收敛性,一种用于马尔可夫链模型,另一种用于线性二次模型。然后将结果应用于智能电网。
2021-02-07 cs.MA
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
Second MOASEI Competition at AAMAS'2026: A Technical Report
University of Nebraska - Lincoln(内布拉斯加大学林肯分校);University of Georgia - Athens(佐治亚大学雅典分校);Oberlin College(欧柏林学院)
介绍2026年开放代理系统评估方法倡议(MOASEI)竞赛,在2025年基础上保留部分领域并新增内容,扩展报告指标,总结竞赛设计、与上年差异及拼车评估结果,DLC方法获拼车赛道冠军。
2026-07-07 cs.MA
Reducing Network Load via Message Utility Estimation for Decentralized Multirobot Teams
University of Southern California(南加州大学)
本文针对分散式多机器人团队在资源受限通信下的藻类浓度分位数估计问题,提出基于消息效用估计的在线决策方法,仅传输最有用的消息,在降低42%网络负载的同时将估计误差降低1.84%。
2023-07-06 cs.MA cs.RO
The Emergence of Complex Bodyguard Behavior Through Multi-Agent Reinforcement Learning
在本文中,我们正在考虑的情况下,一队机器人保镖提供物理保护的VIP在拥挤的公共空间。我们发现,这个问题涉及到一个复杂的网状的VIP和机器人之间的相互作用,机器人本身之间的机器人和旁观者分别。我们展示了最近提出的多代理策略梯度强化学习算法,如MADDPG可以成功地适应学习协作机器人的行为,提供保护的VIP。
2019-01-28 cs.MA
An Infrastructure-less, Control-Independent Solution to Relative Localisation of a Team of Mobile Robots using Ranging Measurements
Department of Industrial Engineering, University of Trento(特伦托大学工业工程系);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
提出一种无锚点、完全去中心化的协作定位算法,仅依赖局部里程计、稀疏测距和短程通信,无需控制机器人运动即可实现团队可观测性,采用多假设贝叶斯框架保证鲁棒性。
2026-06-19 cs.MA cs.RO
Influence of Team Interactions on Multi-Robot Cooperation: A Relational Network Perspective
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对现有算法忽视团队结构的问题,提出基于关系网络的多机器人协作算法,通过设定智能体间关系赋予优先级以指导协作策略,实验证明其能有效影响算法收敛的解决方案类型。
2023-10-19 cs.MA cs.RO
Neural Payoff Machines: Predicting Fair and Stable Payoff Allocations Among Team Members
Radboud University(拉德堡德大学);DeepMind(深度思维);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
在许多多智能体环境中,参与者可以组成团队,以实现可能远远超过其个人能力的集体成果。衡量代理人的相对贡献并为他们分配促进长期合作的奖励份额是一项艰巨的任务。合作博弈论提供了解决方案的概念,确定分配方案,如Shapley值,公平地反映了个人对团队或核心绩效的贡献,这减少了代理人放弃团队的动机。这些方法的应用包括确定有影响力的特征和分担合资企业或团队组建的成本。不幸的是,使用这些解决方案需要解决计算障碍,因为它们很难计算,即使在受限的设置中。在这项工作中,我们展示了如何合作博弈论的解决方案可以通过训练神经网络提出公平和稳定的收益分配,提炼成一个学习模型。我们表明,我们的方法创建的模型可以推广到远离训练分布的游戏,并且可以预测比训练期间观察到的更多玩家的解决方案。我们的框架的一个重要应用是可解释的AI:我们的方法可以用于在许多情况下加速Shapley值计算。
2022-08-18 cs.AI cs.GT cs.LG
Language Grounded Multi-agent Reinforcement Learning with Human-interpretable Communication
本文提出将MARL智能体通信空间与人类自然语言嵌入空间对齐的语言接地方法,在保持任务性能的同时加速通信涌现,并实现即兴团队协作中的零样本泛化。
2024-11-25 cs.MA
Decentralized Multi-Robot Exploration with Probabilistic Peer Intent and Multi-hop Plan Propagation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究提出概率性同伴意图(PPI)与多跳计划传播,改进去中心化多机器人探索中的协调,实验验证了其在模拟和真实环境中的有效性。
2026-09-22 cs.MA cs.RO
Emergence: Overcoming Privileged Information Bias in Asymmetric Embodied Agents via Active Querying
Emory University(埃默里大学)
本文通过主动查询机制解决不对称具身智能体中的特权信息偏差问题,揭示了沟通接地错误对协作成功率的影响。
2025-12-13 cs.AI cs.MA cs.RO
Distributed Hypothesis Testing with Social Learning and Symmetric Fusion
我们研究了社会学习在分布式检测模型中的实用性,该模型具有共享同一目标的代理:优化商定标准的集体决策。我们表明,社会学习在某些情况下是有帮助的,但在其他情况下是徒劳的(因此基本上是一个分心)。具体来说,我们认为贝叶斯二进制假设检验的分布式检测和融合系统,其中所有的决策代理进行平等的权重二进制投票。团队中的决策代理根据自己的私人信号和所有先前的本地决策顺序地做出本地决策。当所有智能体都观测到条件独立同分布的私有信号时,最优决策规则不受先前局部决策的影响。完美的贝叶斯推理将抵消社会学习的所有影响。当智能体观察到不同信噪比的私人信号时,如果团队决策只得到集体的认可,社会学习也是徒劳的。反之,社会学习则能严格提高团队绩效。此外,代理人做出决策的顺序影响团队决策。
2014-04-04 cs.IT cs.MA cs.SI
Heterogeneous Graph Attention Networks for Learning Diverse Communication
当参与的代理之间存在通信时,多代理团队可以实现更好的性能,从而允许他们协调他们的行动以最大化共享效用。然而,当一组代理与不同的行动和观察空间合作时,信息共享并不简单,需要定制的通信协议,这取决于发送者和接收者类型。如果没有适当的建模,这种异质性的代理,通信变得不那么有用,甚至可能恶化的多代理合作的性能。我们提出了异构图注意力网络,称为HetNet,学习高效和多样化的通信模型,协调异构代理完成任务的协作性质。我们提出了一个多智能体异构演员批评(MAHAC)的学习范式,以获得合作的每类政策和有效的通信协议的复合机器人团队。我们提出的框架进行评估,对多个基线在一个复杂的环境中,不同类型的代理人必须进行沟通和合作,以满足目标。实验结果表明,HetNet在学习复杂的多智能体通信协议方面优于基线,性能指标提高了$\sim$ 10\%.
2021-10-28 cs.MA
Shall We Team Up: Exploring Spontaneous Cooperation of Competing LLM Agents
Osaka University(大阪大学);Kyoto University(京都大学);University of Michigan(密歇根大学);NII(信息学研究所);Fordham University(福特汉姆大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University at Buffalo(布法罗大学);Nagoya University(名古屋大学)
本文研究竞争环境下 LLM 智能体能否自发合作,通过三种竞争场景模拟合作的逐步涌现,发现其与人类行为数据高度一致,并提出可用于评估审慎推理能力的新方法。
2024-10-27 cs.AI cs.CL cs.CY