Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming
Georgia Institute of Technology(佐治亚理工学院)
信息共享是建立团队认知的关键,有助于协调和合作。高绩效的人类团队还受益于通过迭代沟通和合理化的层次结构进行战略性行动,这意味着人类代理可以在决策中推理队友的行为。然而,在多智能体强化学习(MARL)的大多数先前的工作不支持迭代合理化,只鼓励智能体通信,导致一个次优的平衡合作策略。在这项工作中,我们表明,重新制定代理的政策是有条件的政策,其相邻的队友固有的最大化互信息(MI)下限时,优化下策略梯度(PG)。有限理性和认知层次理论下的决策思想的基础上,我们表明,我们修改后的PG方法不仅最大限度地提高本地代理人的奖励,但也隐含的原因MI代理之间,而不需要任何明确的ad-hoc正则化条款。我们的方法InfoPG在学习紧急协作行为方面优于基线,并在分散式合作MARL任务中设置了最先进的技术。我们的实验验证了实用的InfoPG实现更高的样本效率和显着更大的累积奖励在几个复杂的合作多智能体域。
2022-06-24 cs.AI cs.LG cs.MA
Merging model-based control with multi-agent reinforcement learning for multi-agent cooperative teaming strategies
Georgia Institute of Technology(佐治亚理工学院);Sandia National Laboratories(桑地亚国家实验室)
提出一种结合多智能体强化学习与模型预测控制的框架(MA-AC-MPC),通过扩展演员-评论家模型预测控制实现安全、动态可行的协作策略,并在追逃场景和异构环境中验证其优于多层感知机模型。
2026-06-04 cs.LG cs.MA cs.RO
Policy Diversity for Cooperative Agents
Ubisoft La Forge(育碧La Forge);Ubisoft Chengdu(育碧成都);Ubisoft Bordeaux(育碧波尔多)
针对多智能体协作领域缺乏有效策略多样性方法的问题,提出矩匹配策略多样性方法,通过形式化选定智能体的动作差异生成差异化团队策略,理论上可实现基于最大均值差异的约束优化,在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
Partner-Aware Algorithms in Decentralized Cooperative Bandit Teams
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
当人类彼此合作时,他们通常通过观察他人并考虑他们的行为可能对整个团队产生的后果来做出决定,而不是只为自己做最好的事情。我们希望我们的人工智能智能体通过捕获其合作伙伴的模型来以类似的方式进行有效合作。在这项工作中,我们提出并分析了一个分散的多臂强盗(MAB)问题与耦合奖励更一般的多智能体协作的抽象。我们证明,天真的扩展单代理最优MAB算法失败时,分散的强盗队。相反,我们提出了一个合作伙伴意识的联合顺序决策策略,扩展了著名的单代理置信上限算法。我们分析表明,我们提出的策略实现了对数遗憾,并提供了涉及人类-AI和人类-机器人协作的广泛实验,以验证我们的理论研究结果。我们的研究结果表明,所提出的伙伴意识策略优于其他已知的方法,我们的人类受试者研究表明,人类更喜欢与实施我们的伙伴意识策略的人工智能智能体合作。
2021-12-16 cs.AI cs.LG cs.MA
Learning to Navigate in Turbulent Flows with Aerial Robot Swarms: A Cooperative Deep Reinforcement Learning Approach
University of Pennsylvania(宾夕法尼亚大学);Amazon Robotics(亚马逊机器人公司);Universidad Santo Tomas(圣托马斯大学);Bethune Cookman University(白求恩-库克曼大学);Lehigh University(利哈伊大学)
本文提出基于GCNN的协作式深度强化学习多机器人控制器,通过邻居信息共享学习风流对团队的影响,实现可扩展且可泛化的湍流导航与补偿。
2023-06-07 cs.LG cs.MA cs.RO
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida(中佛罗里达大学);Department of Computer Science University of Central Florida(中佛罗里达大学计算机科学系)
许多合作的多智能体问题需要智能体学习个人的任务,同时有助于集体的成功。这是一个具有挑战性的任务,目前国家的最先进的多智能体强化算法,旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的,导致不稳定的学习时,这个问题就会加剧。为了解决这个问题,我们提出了分解多智能体深度确定性策略梯度(DE-MADDPG):一种新的合作多智能体强化学习框架,同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题,并表明我们的解决方案实现了显着更好,更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,多智能体强化学习(MARL)在各种应用中表现出令人瞩目的性能。然而,物理限制,预算限制,和许多其他因素通常强加\textit{constraints}的多智能体系统(MAS),这是不能处理的传统的MARL框架。具体而言,本文重点是受约束的MAS,代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下,并开发了一个\textit{constrained cooperative MARL}框架,名为DeCOM,这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块,使Agent之间能够共享信息,实现更好的协作。此外,通过这种模块化,DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题,这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后,我们验证了DeCOM的有效性,在玩具和大型(500代理)环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning
ISEE Lab, Sun Yat-sen University(中山大学ISEE实验室)
本文提出Group Cooperative Policy Optimization (GCPO)方法,通过改变训练范式从 rollout 竞争转向团队合作,提升大语言模型在推理任务中的准确性和解题多样性。
2026-05-18 cs.AI cs.LG
Turnover-Orthogonal Credit Assignment for Open-Team Multi-Agent Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
针对开放团队中换员与动作信用混淆问题,提出TOCA价值分解方法,分离动作、换员及交互效应,通过置换不变评论家与反事实信用信号提升动态合作场景下的学习稳健性与回报。
2026-10-05 cs.LG cs.MA
Self-Motivated Multi-Agent Exploration
Nanjing University(南京大学);Polixir Technologies(Polixir科技)
针对合作多智能体强化学习中个体探索与团队协作难以平衡的问题,提出SMMAE,通过独立探索策略和自适应探索概率提升协调行为与学习性能。
2023-09-27 cs.LG cs.MA
Position: Beyond Training Time, Test-Time Coordination is Essential for Cooperative MARL
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Texas A&M University(德克萨斯农工大学);KAIST(韩国科学技术院)
该研究提出合作式MARL应将测试时协调纳入问题定义,针对CTDE的结构性可恢复性缺口,提出CTME设定,明确测试时信息结构,为需动态对齐的合作系统提供新范式。
2026-10-14 cs.LG
Independent RL for Cooperative-Competitive Agents: A Mean-Field Perspective
Analog Devices Incorporated(亚德诺半导体公司);Artificial Intelligence Research, JP Morgan Chase & Co(摩根大通公司人工智能研究部门);School of Mathematics and Data Science, NYU Shanghai(上海纽约大学数学与数据科学学院);Coordinated Science Lab, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
本文在平均场视角下研究团队内合作、团队间一般和竞争的线性二次博弈,提出多玩家滚动时域自然策略梯度算法,并通过HJI方程分解证明其收敛到全局纳什均衡。
2025-02-08 cs.AI cs.GT cs.LG
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
提出自动机条件化协作多智能体强化学习框架,通过自动机分解团队目标为子任务,学习任务条件化的分散策略,实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University(华东师范大学);SRIAS(上海人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));AIRS(深圳市人工智能与机器人研究院)
在解决一个复杂的任务时,人类会自发地组成团队,分别完成整个任务的不同部分。同时,队友之间的合作也会提高效率。然而,对于目前的合作MARL方法,合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率,提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略,该策略是通过独立的多智能体强化学习建立的。在团队形成后,引入了基于共识约束的层次意图的层次共识模块。同时,利用层次一致性模块和自监督内在奖励增强决策模块,提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起,促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明,{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology(史蒂文斯理工学院);Xiaohongshu Inc(小红书公司)
我们研究了具有集中训练和分散执行的多智能体强化学习(MARL)。在训练期间,新的代理可以加入,并且现有代理可以意外地离开训练。在这种情况下,标准的深度MARL模型必须从头开始重新训练,这非常耗时。为了解决这个问题,我们提出了一个特殊的网络架构与少样本学习算法,允许代理的数量在集中训练过程中变化。特别是,当一个新的代理加入集中训练,我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练,其余的代理的训练过程不受影响。我们的实验表明,使用所提出的网络架构和算法,当新代理加入时,模型自适应可以比基线快100倍以上。我们的工作适用于任何环境,包括合作,竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
When Is Diversity Rewarded in Cooperative Multi-Agent Learning?
Department of Computer Science and Technology University of Cambridge(计算机科学与技术系剑桥大学)
研究通过理论分析和算法验证,探讨了多智能体学习中异质性团队奖励机制,提出HetGPS算法用于发现异质性优势的奖励场景。
2026-03-01 cs.AI cs.LG cs.MA
Cooperative Actor-Critic via TD Error Aggregation
University of Notre Dame(圣母大学);Stony Brook University(石溪大学)
在分散式合作多智能体强化学习中,智能体可以聚集彼此的信息,以学习最大化团队平均目标函数的策略。尽管愿意与其他人合作,但由于隐私问题,个体代理可能会发现直接共享有关其本地状态、奖励和价值函数的信息是不可取的。在这项工作中,我们引入了一个分散的演员-评论家算法与TD错误聚合,不违反隐私问题,并假设通信信道受到时间延迟和数据包丢失。我们为做出这样的弱假设所付出的代价是增加了每个代理的通信负担,这是由传输数据的维度来衡量的。有趣的是,通信负担只是图大小的二次方,这使得该算法适用于大型网络。我们提供了一个收敛性分析下递减步长验证代理最大化的团队平均目标函数。
2022-07-25 cs.LG cs.SY eess.SY
Discovering Causality for Efficient Cooperation in Multi-Agent Environments
Institute for Digital Technologies(数字技术研究所);Loughborough University London(拉夫堡大学伦敦校区)
本文研究多智能体强化学习中的懒惰智能体问题,利用因果关系估计改进信用分配,并采用摊销因果发现自动检测因果,以惩罚懒惰智能体,提升团队及个体性能。
2023-06-20 cs.AI cs.LG cs.MA
Kov: Transferable and Naturalistic Black-Box LLM Attacks using Markov Decision Processes and Tree Search
Stanford University(斯坦福大学)
该研究提出Kov算法,将红队问题建模为MDP并结合蒙特卡洛树搜索,通过白盒LLM优化token级对抗提示后缀并加入自然化损失,仅用10次查询即可越狱GPT-3.5,验证了新模型对token级攻击的更强鲁棒性,相关代码已开源。
2024-08-11 cs.AI cs.CL cs.CR
Networked Agents in the Dark: Team Value Learning under Partial Observability
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);PUC-Rio(里约天主教大学)
针对网络化智能体在部分可观测下的协作问题,提出基于共识机制与梯度下降的分布式MARL方法DNA-MARL,在基准场景中性能优于现有方法,拓展了现实应用范围。
2025-01-15 cs.AI cs.LG cs.MA
Efficiently Computing Nash Equilibria in Adversarial Team Markov Games
University of California, Irvine(加州大学欧文分校);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
纳什均衡策略的求解是多智能体强化学习的核心问题,在理论和实践中都受到了广泛的关注。然而,迄今为止,可证明的保证要么仅限于完全竞争或合作的情况,要么强加了在大多数实际应用中难以满足的强有力的假设。在这项工作中,我们离开这些先前的结果调查无限地平线\emph{adversarial team Markov games},一个自然的和动机良好的一类游戏中,一队同样感兴趣的球员-在没有任何明确的协调或沟通-是竞争对手的球员。这种设置允许零和马尔可夫博弈和马尔可夫势博弈的统一处理,并作为一个步骤,以模拟更现实的战略互动,同时具有竞争和合作的利益。我们的主要贡献是第一个算法计算平稳$ε$ -近似纳什均衡的对抗团队马尔可夫游戏的计算复杂性是多项式的所有自然参数的游戏,以及$1/ε$。所提出的算法是特别自然和实用的,它是基于执行独立的策略梯度步骤,为每个球员在团队中,在串联与最佳对策从对手的一方,反过来,对手的政策,然后通过求解一个精心构造的线性规划。我们的分析利用非标准的技术来建立KKT最优性条件的非凸约束的非线性规划,从而导致自然的解释诱导拉格朗日乘子。一路上,我们显着扩展了对抗(正常形式)团队游戏中的最优策略的重要特征,由于Von Stengel和Koller(GEB '97)。
2022-08-03 cs.GT cs.LG cs.MA
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
基于价值的多智能体强化学习(MARL)方法,特别是价值分解方法,已经在一系列具有挑战性的协作任务中得到了验证。然而,目前的方法很少关注代理之间的交互,这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率:协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~(IAC),它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面,引入了多智能体联合随机策略,采用了一个协作探索模块,通过最大化熵正则化的期望收益来训练。在价值方面,我们使用共享注意力机制来估计每个代理的价值函数,它考虑了队友的影响。在实现层面上,我们扩展的价值分解方法,连续控制任务和评估IAC的基准任务,包括经典的控制和多智能体粒子环境。实验结果表明,我们的方法优于国家的最先进的方法,并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Towards a more efficient computation of individual attribute and policy contribution for post-hoc explanation of cooperative multi-agent systems using Myerson values
Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工与自然智能研究所);University of Toulouse(图卢兹大学);ISAE-Supaero(法国高等航空航天学院);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所);Research Center for Information and Communications Technologies of the University of Granada (CITIC-UGR)(格拉纳达大学信息与通信技术研究中心);University of Granada(格拉纳达大学)
对于战略家、决策者和体育教练来说,对团队中一个代理人的全球重要性进行定量评估就像黄金一样有价值。然而,检索这些信息并不是微不足道的,因为在合作任务中,很难将个人的表现与整个团队的表现分开。此外,代理人的作用与其个人属性之间的关系并不总是很清楚。在这项工作中,我们设想的Shapley分析的应用研究代理政策和属性的贡献,把他们放在平等的基础上。由于计算复杂性是NP-难的,并与可转移效用联盟博弈中的参与者数量呈指数级关系,因此我们利用关于博弈规则的先验知识来约束图上参与者之间的关系。因此,我们提出了一种方法来确定一个层次的知识图谱的代理的政策和功能的多Agent系统。假设系统的模拟器是可用的,图形结构允许利用动态规划以更快的方式评估重要性。我们在一个案例证明环境中测试了所提出的方法,该环境部署了硬编码策略和通过深度强化学习获得的策略。所提出的范例是计算要求较低,比平凡计算的Shapley值,并提供了很大的洞察力,不仅在一个团队中的代理的重要性,但也到所需的属性部署的政策在其最好的。
2022-12-06 cs.AI cs.LG cs.MA
Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Florida(佛罗里达大学)
针对合作多智能体强化学习中的隐私问题,提出PE-VDN算法,通过分布式计算、多方计算和差分隐私技术,在保护环境数据的同时实现80%的Vanilla VDN胜率。
2023-09-13 cs.AI cs.LG cs.MA
Communication-Corruption Coupling and Verification in Cooperative Multi-Objective Bandits
Dept. of Electrical Engineering University at Buffalo Buffalo, NY, USA(电气工程系 布法罗大学)
该研究探讨了在对抗性腐败和有限验证条件下,合作多目标老虎机中通信与腐败的耦合关系,提出了一种协议诱导的多重性功能,并证明了在不同共享策略下团队的遗憾界限。
2026-02-20 cs.LG
Resilient Consensus-based Multi-agent Reinforcement Learning with Function Approximation
University of Notre Dame(圣母大学);Stony Brook University(石溪大学)
训练过程中的对抗攻击会严重影响多智能体强化学习算法的性能。因此,非常希望增强现有的算法,使得对抗攻击对合作网络的影响被消除,或者至少被限制。在这项工作中,我们考虑了一个完全分散的网络,其中每个代理都获得本地奖励并观察全局状态和动作。我们提出了一个弹性的共识为基础的演员批评算法,每个代理估计团队的平均奖励和价值函数,并传达相关的参数向量,其直接邻居。我们发现,在拜占庭代理,其估计和通信策略是完全任意的存在下,估计的合作代理收敛到一个有界的共识值的概率为1,提供了最多的$H$拜占庭代理在每个合作代理的邻居和网络是$(2H+1)$ -鲁棒的。此外,我们证明了合作代理人的政策收敛概率为1到一个有界的邻域周围的局部最大化的团队平均目标函数的假设下,敌对代理人的政策渐近成为固定的。
2021-11-18 cs.LG cs.SY eess.SY
Evaluating and Rewarding Teamwork Using Cooperative Game Abstractions
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);Columbia University(哥伦比亚大学);Facebook Core Data Science(Facebook核心数据科学部)
我们能预测一个团队的个人在一起的表现吗?个人对团队绩效的贡献应该如何得到奖励?合作博弈论为我们提供了一套强大的工具来回答这些问题:特征函数(CF)和解决方案的概念,如沙普利值(SV)。将这些技术应用于现实世界的问题有两个主要困难:首先,CF很少给我们,需要从数据中学习。第二,SV本质上是组合的。我们引入了一个参数模型,称为合作博弈抽象(CGA)估计CF的数据。CGA易于学习,易于解释,关键是允许SV的线性时间计算。我们提供的CGA模型的识别结果和样本的复杂性界限,以及在估计的SV使用CGA的误差界。我们将我们的方法应用于研究人工RL代理团队以及来自职业体育的真实世界团队。
2020-06-16 cs.GT cs.LG stat.ML
Open Ad Hoc Teamwork with Cooperative Game Theory
University of Manchester(曼彻斯特大学);University of Freiburg(弗莱堡大学);Aalto University(阿尔托大学)
本文通过合作博弈理论为开放自组织团队协作(OAHT)的联合Q值表示建立新理论,并基于图策略学习框架提出CIAO算法,以可证明的实现技巧提升学习效果。
2024-07-07 cs.LG cs.MA
ReCollab: Retrieval-Augmented LLMs for Cooperative Ad-hoc Teammate Modeling
Department of Electrical and Computer Engineering, University of Texas at San Antonio(电子与计算机工程系,德克萨斯大学圣安东尼奥分校)
ReCollab通过检索增强生成技术提升即兴团队合作中队友行为建模的适应性与准确性。
2025-12-05 cs.AI cs.LG cs.MA
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International(SRI国际)
本文提出 ToMCAT 框架,将心智理论元学习与多智能体扩散模型结合,并通过动态重规划机制生成团队感知计划,在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据,天真的团队奖励最大化产生不公平的结果,为个别团队成员的动机。为了解决多智能体环境中的公平性问题,我们引入了团队公平性,这是一种基于组的多智能体学习公平性度量。然后,我们证明了它是可能的,以加强团队的公平性,在政策优化过程中,通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性(Fair-E),并以经验证明其有效性。然后,我们引入公平通过等变正则化(公平ER)作为公平E的软约束版本,并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后,我们提出了新的发现,在多代理设置的公平性效用权衡,显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Nanorobot queue: Cooperative treatment of cancer based on team member communication and image processing
尽管纳米机器人已经被用作胃镜检查等工作的临床处方,甚至有人提出利用光声断层扫描技术控制纳米机器人在指定的投放点实时的投放药物,也有通过纳米机器人消除血液中“超级细菌”的案例,但大多数技术都不成熟,要么效率低,要么准确度低,要么无法大规模生产,所以在这个阶段治疗癌症最有效的方法就是化疗和放疗。病人痛苦不堪,无法治愈。因此,本文提出了一种可以彻底治愈癌症的治疗方法的理想模型,即通过团队成员通信和计算机视觉图像分类(目标检测)的基于纳米机器人队列的协同治疗方法。
2022-04-15 cs.CV cs.LG cs.RO
Value-based CTDE Methods in Symmetric Two-team Markov Game: from Cooperation to Team Competition
Montefiore Institute(蒙特菲奥雷研究所);ULiège(列日大学);Thales(泰雷兹集团);LTCI(通信与信息处理实验室);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
在本文中,我们确定了最好的学习方案,训练一个团队的代理竞争对手的多个可能的战略。我们评估合作价值为基础的方法在一个混合的合作竞争环境。我们限制自己的情况下,对称的,部分可观察的,两队马尔可夫博弈。我们选择了三种基于集中培训和分散执行(CTDE)范式的培训方法:QMIX,MAVEN和QVMix。对于每一种方法,我们考虑了三种学习场景,这些学习场景根据培训期间遇到的各种团队策略而有所不同。在我们的实验中,我们修改了《星际争霸》多智能体挑战赛的环境,以创造一个竞争性的环境,让两个团队可以同时学习和竞争。我们的研究结果表明,对多个不断发展的战略训练达到最佳效果时,得分他们的表现,团队面临着几个战略。
2022-11-30 cs.GT cs.LG cs.MA
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
Learning Hierarchical Teaching Policies for Cooperative Agents
MIT-LIDS(麻省理工学院信息与决策系统实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
当代理有效地与他们的同伴交换知识时,集体学习可以大大增强。特别是,最近研究学习教导其他队友的代理的工作表明,行动建议加速了团队范围的学习。然而,先前的工作已经通过使用简单的函数近似简化了建议策略的学习,并且仅考虑了具有原始(低级)动作的建议,从而限制了学习和教学到复杂域的可扩展性。本文介绍了一种新的学习教的框架,称为分层多智能体教学(HMAT),提高了可扩展性,复杂的环境中使用的学生政策的深层表示,并通过建议更有表现力的扩展动作序列在多个层次的时间抽象。我们的实证评估表明,HMAT提高了团队范围内的学习进展,在大型,复杂的领域,以前的方法失败。HMAT还学习教学策略,可以有效地将知识传递给具有不同任务知识的不同队友,即使队友具有异构的行动空间。
2020-05-18 cs.AI cs.LG cs.MA
ProAgent: Building Proactive Cooperative Agents with Large Language Models
Peking University(北京大学)
ProAgent利用大语言模型构建可动态推断队友意图并更新信念的主动协作智能体,在Overcooked-AI中零样本协调表现显著优于自博弈、种群训练及现有最优方法。
2024-01-11 cs.AI cs.LG cs.MA
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University(卡内基梅隆大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏(由一起训练的代理组成的团队)和交叉游戏(独立训练但使用相同算法的代理团队)的限制性范式下评估合作AI性能。最近的工作表明,针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准,被称为算法间的交叉游戏,其中代理与实验池内的所有其他代理的组队性能进行评估,没有假设代理之间的算法相似性。我们发现,现有的最先进的合作AI算法,如游戏和信念学习,在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调(ZSC)-推广自我发挥为基础的算法,算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器(SAD),并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
Neural Payoff Machines: Predicting Fair and Stable Payoff Allocations Among Team Members
Radboud University(拉德堡德大学);DeepMind(深度思维);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
在许多多智能体环境中,参与者可以组成团队,以实现可能远远超过其个人能力的集体成果。衡量代理人的相对贡献并为他们分配促进长期合作的奖励份额是一项艰巨的任务。合作博弈论提供了解决方案的概念,确定分配方案,如Shapley值,公平地反映了个人对团队或核心绩效的贡献,这减少了代理人放弃团队的动机。这些方法的应用包括确定有影响力的特征和分担合资企业或团队组建的成本。不幸的是,使用这些解决方案需要解决计算障碍,因为它们很难计算,即使在受限的设置中。在这项工作中,我们展示了如何合作博弈论的解决方案可以通过训练神经网络提出公平和稳定的收益分配,提炼成一个学习模型。我们表明,我们的方法创建的模型可以推广到远离训练分布的游戏,并且可以预测比训练期间观察到的更多玩家的解决方案。我们的框架的一个重要应用是可解释的AI:我们的方法可以用于在许多情况下加速Shapley值计算。
2022-08-18 cs.AI cs.GT cs.LG
Cooperative Path Integral Control for Stochastic Multi-Agent Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);University of Nevada, Reno(内华达大学雷诺分校)
针对多智能体协作系统,提出了一种分布式随机最优控制方法。代理网络被划分为多个因子子系统,每个因子子系统由一个中心代理和相邻代理组成。局部控制动作只依赖于智能体的局部观测值来优化子系统的联合代价函数。在求解局部控制作用时,每个子系统的联合最优性方程被转换为线性偏微分方程,并使用Feynman-Kac公式求解。然后将解和最优控制作用表示为路径积分,并用Monte-Carlo方法近似。数值验证是通过一个仿真的例子组成的一个团队的合作无人机。
2021-03-21 cs.LG cs.MA cs.RO