Zero-Shot Coordination in Ad Hoc Teams with Generalized Policy Improvement and Difference Rewards
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种通用策略改进与差额奖励方法,用于实现不同团队间的高效零样本知识转移,通过三个模拟环境和真实机器人系统验证了其有效性。
2026-03-31 cs.AI cs.MA cs.RO
On-the-fly Strategy Adaptation for ad-hoc Agent Coordination
University of Oxford(牛津大学)
在合作环境中训练代理提供了人工智能智能体能够在现实世界中与人类(和其他代理)有效交互的承诺。多智能体强化学习(MARL)有可能实现这一目标,并在一系列具有挑战性的问题中取得了成功。然而,尽管这些进步是显著的,但绝大多数的焦点都集中在自我游戏范式上。这通常会导致协调问题,这是由于代理在与自己玩耍时学会使用任意约定而引起的。这意味着即使是最强的自我游戏代理也可能与其他代理(包括相同算法的其他初始化)具有非常低的交叉游戏。在本文中,我们建议解决这个问题,通过适应代理策略的飞行,使用后验信念超过其他代理的策略。具体地说,我们考虑的问题,选择一个策略,从一个有限的一组以前训练的代理,发挥与一个未知的合作伙伴。我们提出了一个扩展的经典统计技术,吉布斯抽样,更新其他代理人的信念,并获得接近最佳的ad-hoc性能。尽管它的简单性,我们的方法是能够实现强大的交叉发挥与看不见的合作伙伴在具有挑战性的纸牌游戏的Hanabi,实现成功的特设协调合作伙伴的策略先验知识。
2022-03-08 cs.AI cs.GT cs.LG
Automatic Curriculum Design for Zero-Shot Human-AI Coordination
Department of AI Convergence, Gwangju Institute of Science and Technology(人工智能融合系,全州科学技术研究院);School of Integrated Technology, Gwangju Institute of Science and Technology(整合技术学院,全州科学技术研究院)
本文提出面向零样本人机协同的自动课程设计方法,通过设计效用函数和协作者采样策略扩展多智能体UED,在Overcooked-AI中显著提升了未知环境下的人机协调性能。
2025-08-21 cs.AI
Human-AI Coordination via Human-Regularized Search and Learning
Meta AI;Oxford University(牛津大学)
我们考虑的问题,使人工智能智能体,以及与人类合作的部分可观察的完全合作的环境中,给定的人类行为的数据集。受piKL的启发,piKL是一种人类数据正则化的搜索方法,它改进了行为克隆策略,而不会远离它,我们开发了一个三步算法,在Hanabi基准测试中与真实人类协调时实现了强大的性能。我们首先使用正则化搜索算法和行为克隆来生成更好的人类模型,以捕获不同的技能水平。然后,我们将策略正则化思想融入强化学习中,对人体模型进行训练类人最佳反应。最后,我们在测试时将正则化搜索应用于最佳响应策略之上,以处理与人类一起玩时的分布外挑战。我们评估我们的方法在两个大规模的实验与人类。首先,我们证明了我们的方法在与一组不同的人类玩家在特设团队中玩时优于专家。第二,我们表明,我们的方法击败了香草最佳对策的行为克隆基线,专家反复发挥与两个代理。
2022-10-11 cs.AI cs.LG cs.MA
Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning
Politecnico di Milano(米兰理工大学)
许多现实世界的应用程序涉及代理团队,他们必须协调行动,以达到共同的目标,对抗潜在的对手。本文主要研究一组玩家面对一个对手的零和博弈,例如桥牌、扑克牌中的共谋和投标中的共谋。团队成员在玩游戏之前进行沟通的可能性-也就是说,事先协调他们的策略-使得行为策略的使用不能令人满意。我们引入软团队演员批评(STAC)作为一个解决方案,团队的协调问题,不需要任何先验领域的知识。STAC允许团队成员通过团队之间共享的外源信号有效地利用事前沟通。STAC在完全可观察和部分可观察的游戏中都达到了接近最优的协调策略,而之前的深度RL算法无法达到最优的协调行为。
2019-12-16 cs.AI cs.NE
PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI Coordination
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);King’s College London(伦敦国王学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);The University of Sydney(悉尼大学);University College London(伦敦大学学院)
本文提出PECAN方法,通过策略集成增加伙伴多样性并开发上下文感知机制,使自我智能体能识别伙伴策略原语并采取相应行动,在Overcooked环境中实现了最先进的零样本人机协作性能。
2023-05-22 cs.AI
Shaping Zero-Shot Coordination via State Blocking
Graduate School of Artificial Intelligence(人工智能研究生院);UNIST(全南国立科学技术院)
本文提出State-Blocked Coordination框架,通过生成虚拟环境诱导多样交互场景,提升零样本协调的泛化能力,尤其在人类伙伴上的表现优异。
2026-05-12 cs.AI cs.LG cs.MA
Partially Observable Zero-shot coordination by Predicting Intention of Partner
KAIST(韩国科学技术院)
针对具身环境中伙伴部分可观测导致的协调难题,提出PIP方法,利用联合视角VAE和伙伴状态信念网络推断伙伴意图,在三个基准及人类评估中取得最优性能。
2026-10-07 cs.AI cs.MA
Towards Zero-Shot Coordination between Teams of Agents: The N-XPlay Framework
针对多智能体团队间零样本协调问题,提出N-XPlay框架,扩展Overcooked基准至N人场景,实验表明其优于自对弈方法,能更好平衡团队内外协调。
2025-06-21 cs.AI cs.MA
Efficient Reinforcement Learning for Zero-Shot Coordination in Evolving Games
Bingyu Hui, Lebin Yu, Quanming Yao, Yunpeng Qu, Xudong Zhang, Jian Wang(作者)
针对演化博弈中零样本协作的强化学习方法受限于计算资源、难以通过扩大种群规模提升性能的问题,提出含元智能体与互信息正则化器的可扩展种群训练框架ScaPT,在Hanabi博弈中证实其优越性。
2025-11-18 cs.AI cs.LG
A New Formalism, Method and Open Issues for Zero-Shot Coordination
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of California, Berkeley(加州大学伯克利分校);Duke University(杜克大学);Facebook AI Research(脸书人工智能研究院)
本文将零样本协调中的“无标签”设定形式化为LFC问题,证明other-play并非最优,提出带平局打破的other-play,并指出LFC偏离ZSC目标。
2023-07-12 cs.AI cs.LG
Cross-environment Cooperation Enables Zero-shot Multi-agent Coordination
本文提出跨环境合作(CEC)范式,通过在环境分布上训练智能体,实现与多种新伙伴的零样本协调,并优于基线,为通用合作智能体设计提供新途径。
2025-04-20 cs.AI cs.LG cs.MA
Heterogeneous Multi-agent Zero-Shot Coordination by Coevolution
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Tencent AI Lab(腾讯人工智能实验室)
本文首次研究异构多智能体零样本协调问题,提出基于协同进化的通用方法,通过配对、更新和选择三个子过程协同进化智能体与伙伴种群,实验证明其有效性。
2024-12-31 cs.AI cs.LG cs.MA
Cooperative Open-ended Learning Framework for Zero-shot Coordination
The University of Manchester(曼彻斯特大学);Shanghai Jiao Tong University(上海交通大学);King’s College London(伦敦国王学院)
针对合作AI零样本协作中的协作不相容问题,提出融合图论与博弈论的COLE开放式学习框架,并在Overcooked中验证其优于现有方法。
2024-02-28 cs.AI cs.LG
K-level Reasoning for Zero-Shot Coordination in Hanabi
Facebook AI Research(脸书人工智能研究院);University of Oxford(牛津大学)
在合作的多代理设置的标准问题设置是自我发挥(SP),其目标是训练一个团队的代理一起工作。然而,最佳SP策略通常包含任意约定(“握手”),并且与其他独立训练的代理或人类不兼容。后一种需求最近由Hu等人(2020)正式定义为zero-shot协调(ZSC)设置,并部分通过他们的模拟游戏(OP)算法解决,该算法在纸牌游戏Hanabi中显示了改进的ZSC和人类AI性能。OP假设可以访问环境的对称性,并防止代理在训练期间以相互不兼容的方式破坏这些对称性。然而,正如作者所指出的,发现给定环境的对称性是一个计算上的难题。相反,我们表明,通过简单的k级推理(KLR)Costa Gomes et al. 2006,同步训练所有级别,我们可以在Hanabi中获得有竞争力的ZSC和ad-hoc团队合作性能,包括与类人代理机器人配对时。我们还介绍了一种新的方法,同步k级推理与最佳响应(SyKLRBR),它进一步提高了我们的同步KLR的性能,通过共同训练的最佳响应。
2022-07-14 cs.AI cs.LG cs.MA
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University(卡内基梅隆大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏(由一起训练的代理组成的团队)和交叉游戏(独立训练但使用相同算法的代理团队)的限制性范式下评估合作AI性能。最近的工作表明,针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准,被称为算法间的交叉游戏,其中代理与实验池内的所有其他代理的组队性能进行评估,没有假设代理之间的算法相似性。我们发现,现有的最先进的合作AI算法,如游戏和信念学习,在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调(ZSC)-推广自我发挥为基础的算法,算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器(SAD),并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination
EPFL(洛桑联邦理工学院);UC Berkeley(加州大学伯克利分校);Yonsei University(延世大学);Google DeepMind(谷歌DeepMind);Nomagic(诺玛吉克)
该研究提出PopGen框架,利用LLM生成语义多样化智能体群体,训练出的合作者在四个协作环境中零样本协作性能优于群体博弈基线,且群体规模越大语义多样性越高。
2026-10-14 cs.AI cs.MA
Tackling Cooperative Incompatibility for Zero-Shot Human-AI Coordination
The University of Manchester(曼彻斯特大学);Shanghai Jiao Tong University(上海交通大学);King’s College London(伦敦国王学院)
针对零样本人机-AI协作中的协作不兼容问题,提出COLE开放式学习框架及两种算法,并通过理论、模拟与130人实验验证其优于现有方法。
2024-01-07 cs.AI cs.HC
Watch, Infer, Coordinate: Inferring Robot Partner Constraints for Zero-Shot Coordination
Honda Research Institute USA(本田美国研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出观察、推断、协调方法,通过观察联合行为推断机器人伙伴的物理约束,显著提升零样本协调性能,接近真实约束预言机。
2026-10-02 cs.AI cs.MA cs.RO
Randomness is sometimes necessary for coordination
Department of Computer Science and Engineering(计算机科学与工程系)
本文提出Diamond Attention架构,通过引入随机数实现临时排名,使不同角色在协作中得以区分,从而在不同规模的团队中实现零样本部署,展示了结构化随机在协调任务中的关键作用。
2026-05-07 cs.AI cs.RO
Multiagent Bidirectionally-Coordinated Nets: Emergence of Human-level Coordination in Learning to Play StarCraft Combat Games
University College London(伦敦大学学院);Alibaba Group(阿里巴巴集团)
许多人工智能(AI)应用程序通常需要多个智能代理协同工作。智能体通信和协调的有效学习是迈向通用AI不可或缺的一步。在本文中,我们以星际争霸战斗游戏作为案例研究,其中的任务是协调多个智能体作为一个团队击败他们的敌人。为了保持一个可扩展的有效的通信协议,我们引入了一个多智能体双向协调网络(BiCNet Biknet])与矢量化扩展的演员-评论家制定。我们表明,BiCNet可以处理不同类型的战斗与任意数量的人工智能智能体的双方。我们的分析表明,在没有任何监督(如人类演示或标记数据)的情况下,BiCNet可以学习经验丰富的游戏玩家常用的各种类型的高级协调策略。在我们的实验中,我们在不同的场景下对多个基线评估了我们的方法;它显示了最先进的性能,并具有大规模现实世界应用的潜在价值。
2017-09-14 cs.AI cs.LG
Towards Few-shot Coordination: Revisiting Ad-hoc Teamplay Challenge In the Game of Hanabi
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔综合理工学院);IBM Research(IBM研究院)
该研究针对现有ZSC算法对不同训练方法的伙伴适应慢的问题,基于Hanabi游戏构建评估框架与适应遗憾指标,发现朴素IQL适应速度与SOTA的OBL相当,并指出训练数据多样性、优化过程类超参数对适应性影响显著。
2023-08-20 cs.AI cs.LG cs.MA
ZSC-Eval: An Evaluation Toolkit and Benchmark for Multi-agent Zero-shot Coordination
Shanghai Jiao Tong University(上海交通大学)
本文提出ZSC-Eval,首个面向多智能体零样本协调(ZSC)的评估工具包与基准,通过行为偏好奖励生成伙伴、BR-Div选择伙伴及BR-Prox指标衡量泛化性能,并在Overcooked等环境中验证了其与人类评估的一致性。
2024-09-26 cs.AI cs.HC cs.LG
HOLA-Drone: Hypergraphic Open-ended Learning for Zero-Shot Multi-Drone Cooperative Pursuit
The University of Manchester(曼彻斯特大学);Sun Yat-sen University(中山大学);Shanghai Jiao Tong University(上海交通大学);Purdue University(普渡大学)
本文提出HOLA-Drone超图开放式学习算法,将零样本协调研究从双人游戏扩展到多无人机协同追捕场景,通过超图博弈建模持续调整学习目标,实验证明其在未知队友协调中优于基线方法并具备真实系统可行性。
2024-10-01 cs.AI cs.RO
Plug-and-Play Emotion Graphs for Compositional Prompting in Zero-Shot Speech Emotion Recognition
本文提出CCoT-Emo框架,通过引入结构化情感图谱提升零样本语音情感识别的性能。
2026-02-03 cs.AI
Benchmarking Open-Ended Multi-Agent Coordination in Language Agents
University of Edinburgh(爱丁堡大学);University of Oxford(牛津大学);University College London(伦敦大学学院)
提出基于JAX的开放式多智能体协作基准Alem,评估13种现代LLM在长时生存世界中的零样本协作能力,发现协调能力是前沿LLM智能体的独立瓶颈。
2026-06-06 cs.AI cs.LG cs.MA
HiLLTS: Zero-Shot Hierarchical LLM-Guided Traffic Signal Control for Sustainable Transportation
School of Electronic Engineering, Dublin City University(都柏林城市大学电子工程学院)
针对传统交通信号控制策略的问题,提出HiLLTS框架,它采用分层三层架构,由中央协调代理等组成。实验表明其能改善拥堵和环境性能,相比不同基线,在减少等待时间和二氧化碳排放上效果显著,消融研究验证了大语言模型引导协调的作用。
2026-07-28 cs.AI
Emergent Coordination Through Competition
DeepMind(深度思维)
我们研究合作行为的出现在强化学习代理通过引入一个具有挑战性的竞争性的多智能体足球环境与连续模拟物理。我们证明,分散的,基于人口的训练与合作可以导致代理的行为的进展:从随机,简单的球追逐,并最终显示合作的证据。我们的研究强调了在连续控制的大规模多智能体训练中遇到的几个挑战。特别是,我们证明了自动优化简单的塑造奖励,而不是自己有利于合作行为,可以导致长期的团队行为。我们进一步应用的评价方案,接地博弈论的校长,可以评估代理性能的情况下,预定义的评价任务或人类基线。
2019-02-21 cs.AI
Continuous Coordination As a Realistic Scenario for Lifelong Learning
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔工程学院)
目前的深度强化学习(RL)算法仍然具有高度的任务特定性,并且缺乏推广到新环境的能力。而终身学习的目标是通过在任务之间有效地转移和使用知识来顺序地解决多个任务。尽管近年来对终身RL的兴趣激增,但缺乏现实的测试平台使得LLL算法的鲁棒性评估变得困难。另一方面,多智能体强化学习(MARL)由于其固有的非平稳性,可以被视为终身强化学习的自然场景,因为智能体的策略会随着时间的推移而变化。在这项工作中,我们引入了一个多智能体终身学习测试平台,支持zero-shot和Few-Shot设置。我们的设置是基于Hanabi -一个部分可观察的,完全合作的多智能体游戏,已被证明是具有挑战性的zero-shot协调。其大的策略空间使其成为终身RL任务的理想环境。我们评估了最近的几种MARL方法,并在有限的内存和计算机制中对最先进的LLL算法进行了基准测试,以揭示它们的优点和缺点。这种持续学习范式也为我们提供了一种实用的方法,可以超越集中式培训,这是MARL中最常用的培训协议。我们的经验表明,在我们的设置中训练的代理能够很好地协调与看不见的代理,没有任何额外的假设,以前的作品。代码和所有预训练模型可在https://github.com/chandar-lab/Lifelong-Hanabi上获得。
2021-06-14 cs.AI cs.LG cs.MA
When Numbers Start Talking: Implicit Numerical Coordination Among LLM-Based Agents
Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所);University of Trento(特伦托大学);Teesside University(泰赛大学);University of Cambridge(剑桥大学)
本文研究了基于大语言模型的多智能体系统中隐性沟通的博弈理论,分析了不同沟通模式下协调与战略结果的变化。
2026-04-19 cs.AI cs.MA
On the Utility of Learning about Humans for Human-AI Coordination
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
虽然我们希望智能体能够与人类协调,但目前的算法,如自我游戏和基于人口的训练,可以创建能够与自己协调的智能体。假设他们的合作伙伴是最佳的或与他们相似的代理可以收敛到无法理解和被人类理解的协调协议。为了证明这一点,我们介绍了一个简单的环境,需要具有挑战性的协调,基于流行的游戏煮过头,并学习一个简单的模型,模仿人类的发挥。我们评估通过自我游戏和基于人口的训练训练的代理的性能。这些智能体在与自己配对时表现非常好,但当与我们的人类模型配对时,它们明显比设计用于与人类模型一起玩的智能体差。一个规划算法的实验也会得出同样的结论,尽管只有当人类感知的规划者被赋予了它正在使用的确切的人类模型时。一项针对真人的用户研究也显示了这种模式,尽管不那么强烈。从质量上讲,我们发现收益来自于让智能体适应人类的游戏玩法。鉴于这一结果,我们提出了几种方法来设计代理人,了解人类,以便更好地与他们协调。代码可在https://github.com/HumanCompatibleAI/overcooked_ai上获得。
2020-01-09 cs.AI cs.HC cs.LG
Cooperate to Compete: Strategic Coordination in Multi-Agent Conquest
University of California, Berkeley(加州大学伯克利分校)
本文提出C2C多智能体环境,研究在混合动机设定下智能体如何通过合作达成长期竞争目标,发现人类与AI在谈判行为上有显著差异,并通过优化提升AI胜率。
2026-04-28 cs.AI cs.CL
PLAY2PROMPT: Zero-shot Tool Instruction Optimization for LLM Agents via Tool Play
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
针对LLM零样本工具使用时文档不足或有噪、现有方案依赖人工或标注数据的问题,提出PLAY2PROMPT框架,通过自动试玩工具探索行为、生成文档和示例,无需标注数据即可显著提升各类模型的零样本工具使用性能。
2025-06-12 cs.AI cs.CL cs.LG
Bridging the Semantic Chasm: Synergistic Conceptual Anchoring for Generalized Few-Shot and Zero-Shot OOD Perception
Boston University(波士顿大学);Suffolk University(苏富比大学);Kyung Hee University, South Korea(韩国庆熙大学)
SynerNet通过协同神经代理网络框架,解决视觉语言模型在分布外概念感知中的跨模态对齐退化问题,提升少样本和零样本场景下的精度。
2026-01-30 cs.AI cs.CV
Multi-Agent Language Models: Advancing Cooperation, Coordination, and Adaptation
Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
本研究通过合作性多智能体强化学习视角,探究大型语言模型的心理理论能力,旨在增强智能体与人工及人类伙伴的适应与合作,推动混合人机系统发展。
2025-06-17 cs.AI cs.CL cs.MA
Rhythmic sharing: A bio-inspired paradigm for zero-shot adaptive learning in neural networks
本文提出一种生物启发的神经网络自适应学习方法,通过神经元节奏协调实现快速适应,能够在无监督情况下预测多情境动态,为认知模型提供新思路。
2025-09-10 cs.AI cs.LG math.DS
Self-Evolving Coordination Protocol in Multi-Agent AI Systems: An Exploratory Systems Feasibility Study
AI Lab, Grupo Santander Madrid, Spain(西班牙桑坦德集团AI实验室)
本研究探讨了自演化协调协议在多智能体系统中的可行性,通过实验展示有限自我修改在满足形式约束下的技术实现可能性。
2026-02-02 cs.AI cs.MA
Learning Existing Social Conventions via Observationally Augmented Self-Play
Facebook AI Research(脸书人工智能研究院)
为了让人工智能体有效地与人协调,它们必须与现有的约定保持一致(例如,如何在交通中导航,说哪种语言,或如何与队友协调)。一个群体的约定可以被看作是协调博弈中的一种均衡选择。我们考虑的问题,代理学习的政策,协调游戏在一个模拟的环境中,然后使用这个政策时,它进入一个现有的组。当有多个可能的约定时,我们表明通过多智能体强化学习(MARL)学习策略可能会找到在训练时实现高回报但无法与代理进入的真实组协调的策略。我们假设访问少量的样本的行为,从真正的公约,并表明,我们可以增加MARL的目标,以帮助它找到符合真正的集团的公约的政策。在文献中的三种环境中--交通、沟通和团队协调--我们观察到,用少量的模仿学习来增强MARL,大大增加了MARL发现的策略与现有社会惯例很好地吻合的概率。我们表明,即使在一个环境中,标准的训练方法很少找到真正的公约代理的合作伙伴,这也是可行的。
2019-03-13 cs.AI cs.GT
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
Ben-Gurion University of the Negev(内盖夫本古里安大学)
针对无信号交叉口自动驾驶车辆协调难题提出MAPS分层DRL架构,主智能体生成编码全局策略的原型计划,工作智能体结合局部观测执行控制。实验表明MAPS能实现无碰撞导航、减少行驶时间,且原型计划泛化能力强。
2026-07-24 cs.AI cs.LG cs.MA
From Competition to Coordination: Market Making as a Scalable Framework for Safe and Aligned Multi-Agent LLM Systems
Algoverse AI Research(Algoverse AI研究院)
本文提出一种基于市场机制的多智能体大语言模型协调框架,通过结构化经济交换提升推理准确性和透明度,实现自我组织和可验证推理,为安全、对齐的AI系统提供可扩展解决方案。
2026-02-23 cs.AI cs.CL cs.MA
Language-Driven Coordination and Learning in Multi-Agent Simulation Environments
本文提出 LLM-MARL 框架,将大语言模型集成到多智能体强化学习中,通过 Coordinator、Communicator 和 Memory 模块动态生成子目标、促进通信并支持情景回忆,显著提升了多游戏环境中的胜率、协调与泛化能力。
2025-11-03 cs.AI cs.LG cs.MA