Studying the impact of negotiation environments on negotiation teams' performance
Universidad Politécnica de Valencia(瓦伦西亚理工大学)
在这篇文章中,我们研究了谈判环境的影响,对性能的几个团队内的策略(团队动态)为基础的谈判团队与对手谈判。基于代理的谈判团队是一组代理,它们作为一方加入,因为它们在谈判中有共同的利益。实验表明,谈判环境条件,如双方的最后期限,对手的让步速度,团队成员之间的相似性,和团队规模如何影响性能指标,如团队成员的最小效用,团队成员的平均效用,和谈判轮数。我们的目标是确定哪些团队内部策略在不同的环境条件下更好地工作,以便为团队成员提供有用的知识,根据环境条件选择合适的团队内部策略。
2016-04-16 cs.AI cs.MA
Value-based CTDE Methods in Symmetric Two-team Markov Game: from Cooperation to Team Competition
Montefiore Institute(蒙特菲奥雷研究所);ULiège(列日大学);Thales(泰雷兹集团);LTCI(通信与信息处理实验室);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
在本文中,我们确定了最好的学习方案,训练一个团队的代理竞争对手的多个可能的战略。我们评估合作价值为基础的方法在一个混合的合作竞争环境。我们限制自己的情况下,对称的,部分可观察的,两队马尔可夫博弈。我们选择了三种基于集中培训和分散执行(CTDE)范式的培训方法:QMIX,MAVEN和QVMix。对于每一种方法,我们考虑了三种学习场景,这些学习场景根据培训期间遇到的各种团队策略而有所不同。在我们的实验中,我们修改了《星际争霸》多智能体挑战赛的环境,以创造一个竞争性的环境,让两个团队可以同时学习和竞争。我们的研究结果表明,对多个不断发展的战略训练达到最佳效果时,得分他们的表现,团队面临着几个战略。
2022-11-30 cs.GT cs.LG cs.MA
LFC: Combining Autonomous Agents and Automated Planning in the Multi-Agent Programming Contest
2019年多智能体编程竞赛引入了一个新的场景,即智能体组装,两个智能体团队在2D网格中移动,并竞争组装复杂的块结构。在本文中,我们描述了我们的团队所使用的策略,使我们在比赛中获得第一名。我们的策略解决了2019年竞赛中的一些主要挑战:如何在智能体只能访问本地视觉而没有全局坐标的情况下探索和构建地图;如何在地图上有效移动,即使有动态事件可以改变网格中的单元格;以及如何组装和提交复杂的块结构,因为对手可能会试图破坏我们。为了实现我们的策略,我们使用多智能体系统开发平台JaCaMo来编程我们的代理和快速向下规划器来规划代理在网格中的运动。我们还提供了一个简短的讨论,我们在比赛中的比赛,并给我们的分析,我们的团队如何在每场比赛中表现。
2020-06-04 cs.MA
MLFC: From 10 to 50 Planners in the Multi-Agent Programming Contest
在本文中,我们描述了我们的团队MLFC所使用的策略,使我们在第15届多智能体编程竞赛中获得第二名。比赛中使用的场景是上一版(第14版)“Agent Assemble”的扩展,其中两组Agent在2D网格中移动并竞争组装复杂的块结构。我们讨论了我们团队开发过程中使用的语言和工具。然后,我们总结了我们以前参加第14届比赛时所采用的主要策略,并列出了在最新的比赛版本中使用这些策略的局限性(如果有的话)。我们还开发了专门针对扩展场景的新策略:制图(确定地图的大小);地图合并协议的形式化验证(以保证在增加代理数量时它可以正常工作);计划缓存(有效地扩大规划者的数量);任务完成情况(形成代理组以完成任务);和欺负者(专注于阻止来自对方团队的代理)。最后,我们简要介绍了我们在比赛中的表现,并讨论了我们认为是我们的缺点。
2021-10-18 cs.MA
Evader-Agnostic Team-Based Pursuit Strategies in Partially-Observable Environments
针对两名无人机在城市部分可观测环境中追击未知规避者的问题,提出两阶段神经符号算法,通过离线深度强化学习训练k级理性策略、在线分类匹配对手并响应,提升了对随机规避者的平均追击性能。
2025-11-08 cs.MA cs.RO
Area Protection in Adversarial Path-Finding Scenarios with Multiple Mobile Agents on Graphs: a theoretical and experimental study of target-allocation strategies for defense coordination
University of Bergen(卑尔根大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
我们解决了一个问题,在基于图形的场景中,多个代理的区域保护。该问题由两个敌对的代理团队组成,它们在两个团队共享的无向图中移动。代理被放置在图的顶点;最多一个代理可以占据一个顶点;并且它们可以以无冲突的方式移动到相邻的顶点。团队的目标不对称:一个队(攻击者)的目的是入侵给定区域,而对手队(防御者)的目的是通过占领选定的顶点来保护该区域不被攻击者进入。我们研究的策略分配顶点被占领的防守队员阻止攻击代理。我们表明,区域保护问题的决策版本是PSPACE-硬的假设下,代理可以分配他们的目标顶点多次。此外,我们开发了各种在线顶点分配策略的防守队在一个简化的变种的问题与单阶段顶点分配,并评估其性能在多个基准。一个策略的成功在很大程度上取决于实例的类型,因此这项工作的贡献之一是,我们确定不同的实例类型合适的顶点分配策略。特别是,我们引入了一种基于模拟的方法,该方法识别并尝试捕获攻击者经常使用的图中的瓶颈。我们的实验评估表明,这种方法往往允许一个成功的防御,即使在攻击者显着超过防御者的情况下。
2017-08-24 cs.AI cs.MA
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA
Optimal Symmetric Strategies in Multi-Agent Systems with Decentralized Information
本文研究分散信息协作多智能体系统中的有限时域最优对称策略,改造公共信息方法形成单函数最小化动态规划,并给出私有信息可约简的专用模型。
2023-07-14 cs.MA math.OC
Multi-Agent Coordination in Adversarial Environments through Signal Mediated Strategies
Politecnico di Milano(米兰理工大学)
许多真实世界的场景都涉及到必须协调行动以达到共同目标的代理团队。我们专注于设置在一个团队的代理人面临一个对手在一个零和,信息不对称的游戏。团队成员可以在游戏开始前协调他们的策略,但在游戏的游戏阶段无法沟通。例如,在桥牌、扑克牌中的共谋和投标中的共谋就是这种情况。在这种情况下,无模型RL方法通常无法捕获协调,因为代理的策略是以分散的方式执行的。我们的第一个贡献是一个博弈论的集中训练方案,有效地执行轨迹采样,以促进团队协调。当团队成员可以观察到彼此的行动,我们证明,这种方法可以证明产生均衡策略。然后,我们引入了一个信号为基础的框架,代表团队协调战略的缓冲区的过去的经验。每个团队成员的策略被参数化为一个神经网络,其输出取决于从学习的概率分布中提取的合适的外源信号。通过结合这两个元素,我们凭经验证明了在以前最先进的多智能体RL算法没有收敛到协调平衡的情况下。
2021-02-09 cs.AI cs.GT cs.LG
VGC-Bench: Towards Mastering Diverse Team Strategies in Competitive Pokémon
University of Texas at Austin(德克萨斯大学奥斯汀分校)
VGC-Bench通过提供标准化评估和人类对战数据集,研究如何让AI代理在多样化团队策略的竞技宝可梦中实现稳健适应与泛化。
2026-01-13 cs.AI cs.GT cs.LG
Monitoring Over the Long Term: Intermittent Deployment and Sensing Strategies for Multi-Robot Teams
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
在本文中,我们制定和解决间歇性的部署问题,产生的战略,夫妇\emph{when}异构机器人应该感觉到一个环境的过程中,与部署的团队应该在环境中的感觉。作为一种动机,假设时空过程正在缓慢演变,并且必须由多机器人团队监控,例如,无人驾驶飞行器监测精准农业背景下的牧场。在这种情况下,间歇性部署战略是必要的,因为持续部署或监测对于缓慢演变的进程来说不具有成本效益。与此同时,一旦部署,在哪里感测的问题必须得到解决,因为过程观察产生有用的反馈,以确定有效的未来部署和监测决策。在这种情况下,我们的环境过程进行监测的时空高斯过程与互信息作为衡量我们对环境的理解的标准。为了使传感资源有效,我们演示了如何使用拟阵约束施加一组不同的同质和异构的约束。此外,为了反映现实世界的应用程序的成本敏感性,我们应用部署异构机器人团队的成本预算。为了解决这个问题,我们利用次模优化和拟阵的理论,并提出了一个贪心算法的次优界。最后通过蒙特卡罗仿真验证了该方法的正确性。
2021-11-17 cs.DS cs.MA cs.RO
Heterogeneous Policy Networks for Composite Robot Team Communication and Coordination
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Sandia National Laboratories(桑迪亚国家实验室)
提出异构策略网络(HetNet),利用异构图注意力网络学习异构机器人团队的高效协作与通信策略,实现端到端训练的二值化消息传递,在多个领域性能提升5.84%至707.65%,通信带宽降低200倍。
2026-06-23 cs.MA cs.RO
NestRL: A Nested Training Regime for Mutual Adaptation in Human-AI Teaming
School of Computing and AI, Arizona State University(计算与人工智能学院,亚利桑那州立大学);Department of Computer Science, Colorado State University(计算机科学系,科罗拉多州立大学)
针对人机团队中相互适应的挑战,提出嵌套训练机制NestRL,通过分层训练代理对抗自适应对手,避免产生不透明的协调策略,在Overcooked领域实现更高的任务性能和适应性。
2026-11-17 cs.LG cs.MA cs.RO
Self-Organizing Agent Teams Learn to Reason Together
Stanford University(斯坦福大学);Together AI;Goizueta Business School, Emory University(埃默里大学戈伊苏埃塔商学院)
本文提出自组织智能体团队(SAT),通过从少量协作中学习可复用策略来组织角色与信息流,在数学和物理基准上显著超越最强成员,并发现可证明性驱动改进。
2026-09-22 cs.AI cs.MA
Dynamic Games among Teams with Delayed Intra-Team Information Sharing
针对带延迟队内信息共享的非对称信息团队随机动态博弈,提出刻画压缩信息型纳什均衡的通用方法,分析两类压缩策略均衡的存在性并给出反向归纳求解过程,揭示了信息压缩、均衡存在性与计算三者的制约关系。
2021-04-02 cs.GT cs.MA math.OC
Maintaining Ad-Hoc Communication Network in Area Protection Scenarios with Adversarial Agents
University of Bergen(卑尔根大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
我们解决了一个问题,在基于图的场景中,多个移动代理之间的连接保持,以确保他们可以通信的区域保护。该问题由两个敌对的代理团队组成,它们在两个团队共享的无向图中移动。代理被放置在图的顶点;最多一个代理可以占据一个顶点;并且它们可以以无冲突的方式移动到相邻的顶点。团队的目标不对称:一个队(攻击者)的目的是入侵给定区域,而对手队(防御者)的目的是通过占领选定的顶点来保护该区域不被攻击者进入。防御者团队需要维护可见性图中其自身代理所占据的顶点的连通性。可见性图对顶点对之间的通信的可能性进行建模。我们研究的策略分配顶点被占领的防守队员阻止攻击代理的连接保持在同一时间。为了做到这一点,我们保留了一部分防御代理,这些代理不会试图阻止攻击者,而是用来支持团队的连接。策略的性能在多个基准中进行测试。策略的成功在很大程度上取决于实例的类型,因此这项工作的贡献之一是,我们为不同的实例类型确定合适的策略。
2017-09-04 cs.AI cs.MA
Faster Algorithms for Optimal Ex-Ante Coordinated Collusive Strategies in Extensive-Form Zero-Sum Games
Carnegie Mellon University(卡内基梅隆大学);Politecnico di Milano(米兰理工大学);Strategic Machine, Inc.(战略机器公司);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司)
我们专注于寻找一个最优策略的问题,一个团队的两个球员,面对一个对手在一个信息零和扩展形式的游戏。队员在比赛中不允许交流,但可以在比赛前协调。在这种情况下,众所周知,团队所能做的最好的事情就是从一个联合(也就是说,每个参与者一个)中抽取一个潜在随机策略的样本。游戏开始时的概率分布。在本文中,我们首先提供了新的建模结果计算这样一个最佳的分布绘制连接到一个不同的文献上的扩展形式的相关性。其次,我们提供了一种算法,该算法通过仅使用其中只有一个团队成员在每个配置文件中随机化的配置文件来计算这样的最优分布。我们还可以限制解决方案中允许的此类配置文件的数量。这通过增加上限产生了一个随时算法。我们发现,往往是少数精心挑选的这样的配置文件足以达到最佳效用的团队。这使团队成员能够通过相对简单和易于理解的计划进行协调。最后,受此观察的启发,并利用我们介绍的理论概念,我们开发了一个有效的列生成算法,为团队找到最佳分布。我们在一套常见的基准游戏上评估它。这是三个数量级的速度比现有的最先进的游戏,后者可以解决,它也可以解决一些游戏,以前无法解决。
2020-09-21 cs.AI cs.GT cs.LG
Merging model-based control with multi-agent reinforcement learning for multi-agent cooperative teaming strategies
Georgia Institute of Technology(佐治亚理工学院);Sandia National Laboratories(桑地亚国家实验室)
提出一种结合多智能体强化学习与模型预测控制的框架(MA-AC-MPC),通过扩展演员-评论家模型预测控制实现安全、动态可行的协作策略,并在追逃场景和异构环境中验证其优于多层感知机模型。
2026-06-04 cs.LG cs.MA cs.RO
Modeling Latent Partner Strategies for Adaptive Zero-Shot Human-Agent Collaboration
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);University of Southern California(南加州大学);Virginia Tech(弗吉尼亚理工大学)
本文提出TALENTS框架,利用变分自编码器学习潜在策略空间并聚类,结合固定份额遗憾最小化算法动态适应未知伙伴,在定制版Overcooked环境中通过在线用户研究验证其优于现有基线,实现零样本人机协作。
2025-07-07 cs.AI cs.MA
A Marriage between Adversarial Team Games and 2-player Games: Enabling Abstractions, No-regret Learning, and Subgame Solving
Politecnico di Milano(米兰理工大学);Politecnico di Torino(都灵理工大学)
\emph{Ex ante}相关性正在成为\emph{sequential adversarial team games}的主流方法,其中一个玩家团队在零和游戏中面对另一个团队。团队成员的信息不对称使得均衡计算\textsf{APX} -hard和团队策略不能直接在博弈树上表示。后一个问题阻止了大型2人零和游戏的成功工具的采用,例如\emph{e.g.},抽象,无悔学习和子游戏求解。这项工作表明,我们可以通过弥合连续对抗团队游戏和2人游戏之间的差距来弥补这一弱点。特别是,我们提出了一个新的,合适的游戏表示,我们称之为\emph{team-public-information},其中一个团队被表示为一个单一的协调员谁只知道信息共同的整个团队,并规定每个成员的任何可能的私人状态的行动。由此产生的表示是高度\emph{explainable},是一个2玩家树,其中团队的策略是行为的,具有直接的解释,并且在设计抽象时比原始的广泛形式更具表现力。此外,我们证明了我们的代表的回报等价,我们提供的技术,直接从广泛的形式,产生显着更紧凑的表示没有信息丢失。最后,我们实验评估我们的技术时,应用到一个标准的测试平台,比较其性能与当前最先进的。
2022-06-18 cs.AI cs.GT cs.MA
How game complexity affects the playing behavior of synthetic agents
Hellenic Open University(希腊开放大学);CTI “Diophantus”(CTI“丢番图”);University of Patras(帕特雷大学)
基于Agent的社会组织模拟,通过对Agent训练和学习策略的研究,受到了人类从社会环境中学习的能力的启发,社会环境中充满了Agent、交互和部分或隐藏的信息。这种丰富性是一个有效的学习者必须能够驾驭的复杂性的来源。研究了环境复杂性对人工智能体博弈学习行为的影响。我们展示了我们的方法,使用两个独立的回合制零和游戏的基础上形成的社会事件,其特点是竞争和合作。本文的重点是,随着社会环境的复杂性的变化,一个有效的球员必须适应其学习和发挥的档案,以保持一个给定的性能档案
2018-07-07 cs.AI cs.CC cs.MA
Unanimously acceptable agreements for negotiation teams in unpredictable domains
Universitat Politècnica de València(瓦伦西亚理工大学);Delft University of Technology(代尔夫特理工大学)
谈判团队是一组具有共同偏好且可能相互冲突的代理人,形成谈判的一方。一个谈判团队同时参与两个决策过程,一个是与对手的谈判,另一个是决定谈判中行动的团队内部过程。这篇文章的重点是谈判团队决策的情况下,需要团队决策的一致性。现有的基于代理的方法只能保证团队在完全由可预测和兼容的问题组成的域中进行谈判的一致性。本文提出了一个模型,谈判团队,保证一致的团队决策域组成的可预测的和兼容的,也不可预测的问题。此外,本文还探讨了使用对手模型和团队成员模型对团队成员提出策略的影响。实验结果表明,如果团队成员采用贝叶斯学习来建模他们的队友的偏好,团队受益。
2016-04-16 cs.AI cs.GT cs.MA