ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International(SRI国际)
本文提出 ToMCAT 框架,将心智理论元学习与多智能体扩散模型结合,并通过动态重规划机制生成团队感知计划,在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Toward AI-Augmented Cooperative Engineering Workflows: Requirements and Architecture the European Rover Challenge
Honda Research Institute Europe(本田欧洲研究院);NUMETO(NUMETO公司);Honda Research Institute USA(本田美国研究院)
针对欧洲机器人挑战赛中协作工程工作流的瓶颈,通过问卷调查提炼需求,提出连接用户界面、凭证管理、服务选择、AI服务与外部工具的助手系统架构,以支持任务澄清、需求管理、沟通摘要、集成风险检测和知识捕获。
2026-09-28 cs.AI
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
Adobe Research(Adobe研究)
COSAC提出一种无批评者策略梯度方法,通过单个岭回归分解团队奖励,计算每个代理的反事实优势,实现低方差和可控的信用分配,适用于顺序合作团队。
2026-11-13 cs.AI cs.LG cs.MA
Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming
Georgia Institute of Technology(佐治亚理工学院)
信息共享是建立团队认知的关键,有助于协调和合作。高绩效的人类团队还受益于通过迭代沟通和合理化的层次结构进行战略性行动,这意味着人类代理可以在决策中推理队友的行为。然而,在多智能体强化学习(MARL)的大多数先前的工作不支持迭代合理化,只鼓励智能体通信,导致一个次优的平衡合作策略。在这项工作中,我们表明,重新制定代理的政策是有条件的政策,其相邻的队友固有的最大化互信息(MI)下限时,优化下策略梯度(PG)。有限理性和认知层次理论下的决策思想的基础上,我们表明,我们修改后的PG方法不仅最大限度地提高本地代理人的奖励,但也隐含的原因MI代理之间,而不需要任何明确的ad-hoc正则化条款。我们的方法InfoPG在学习紧急协作行为方面优于基线,并在分散式合作MARL任务中设置了最先进的技术。我们的实验验证了实用的InfoPG实现更高的样本效率和显着更大的累积奖励在几个复杂的合作多智能体域。
2022-06-24 cs.AI cs.LG cs.MA
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA
Cooperative and Asynchronous Transformer-based Mission Planning for Heterogeneous Teams of Mobile Robots
McMaster University(麦克马斯特大学)
针对异构移动机器人团队在通信受限、资源有限下的协作规划难题,提出基于MARL与AMAT架构的CATMiP框架及CMacDec-POMDP模型,采用异步集中训练分布式执行方案,实验验证其在效率、可扩展性与抗干扰性上更具优势。
2025-07-31 cs.AI cs.RO
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据,天真的团队奖励最大化产生不公平的结果,为个别团队成员的动机。为了解决多智能体环境中的公平性问题,我们引入了团队公平性,这是一种基于组的多智能体学习公平性度量。然后,我们证明了它是可能的,以加强团队的公平性,在政策优化过程中,通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性(Fair-E),并以经验证明其有效性。然后,我们引入公平通过等变正则化(公平ER)作为公平E的软约束版本,并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后,我们提出了新的发现,在多代理设置的公平性效用权衡,显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Cooperative-Competitive Team Play of Real-World Craft Robots
Tencent Robotics X Laboratory(腾讯机器人实验室);Tsinghua University(清华大学)
本文提出了一种针对现实世界工艺机器人协作与竞争任务的强化学习方法,通过引入OODSI技术提升仿真到现实的迁移性能。
2026-02-24 cs.AI cs.RO
Reward Machines for Cooperative Multi-Agent Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Arizona State University(亚利桑那州立大学)
在协作多智能体强化学习中,一组智能体学习在共享环境中进行交互以实现共同目标。我们建议使用奖励机(RM)- Mealy机作为奖励函数的结构化表示-来编码团队的任务。所提出的新的解释RM在多智能体设置明确编码所需的队友相互依赖关系,允许团队级任务分解成子任务的个人代理。我们定义了RM分解的概念,并提出了算法可验证的条件,保证子任务的分布式完成会导致团队行为完成原始任务。这种任务分解的框架为分散式学习提供了一种自然的方法:代理可以学习完成子任务,同时只观察他们的本地状态和他们的队友的抽象表示。因此,我们提出了一个分散的q-学习算法。此外,在未折现的奖励的情况下,我们使用本地价值函数推导出相应于团队任务的全局价值函数的上下界。在三个离散设置的实验结果验证了所提出的RM分解方法的有效性,该方法收敛到一个成功的团队策略比集中式学习器快一个数量级,并显着优于分层和独立的q学习方法。
2021-02-09 cs.AI cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida(佛罗里达大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
隐私感知的多智能体系统必须保护代理的敏感数据,同时确保代理完成他们的共同目标。为了实现这一目标,我们提出了一个框架,私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹,然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平,这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策,是强大的隐私减少的总相关值。数值实验表明,在这些政策下,团队的表现下降了3%,当比较私人与非私人的通信实现。相比之下,当使用忽略总体相关性而只优化团队绩效的基线策略时,团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
Inducing Cooperation via Team Regret Minimization based Multi-Agent Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);King’s College London(伦敦国王学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
现有的基于价值因子分解的多Agent深度强化学习(MARL)方法在集中训练和分散执行(CTDE)方案下的各种多Agent协作环境中表现良好,其中所有Agent通过集中的价值网络一起训练,每个Agent独立执行其策略。然而,一个问题仍然存在:在集中式训练过程中,当团队的环境是部分可观察的或非静止的,即,现有方法的性能较差,采样效率低,所有智能体的观测和动作信息不能代表全局状态。遗憾最小化(Regret Minimization,RM)在部分可观察和完全竞争的环境中表现良好,是一种很有前途的方法,但它倾向于将其他人作为对手进行建模,因此在CTDE方案下不能很好地工作。本文提出了一种新的基于团队关系模型的贝叶斯MARL模型,它主要有三个贡献:(a)设计了一种新的团队关系模型方法,用于训练合作Agent作为一个团队,并为该团队获得一个基于团队遗憾的策略;(b)引入了一种新的方法来分解团队遗憾,为每个Agent生成分散执行的策略;(c)为了进一步提高性能,我们利用差分粒子滤波(SequentialMonteCarlo方法)网络对每个Agent的状态进行精确估计。在两步博弈(合作博弈)和战斗博弈(大规模混合合作-竞争博弈)上的实验结果表明,该算法的性能明显优于现有方法。
2019-11-18 cs.AI
Policy Diversity for Cooperative Agents
Ubisoft La Forge(育碧La Forge);Ubisoft Chengdu(育碧成都);Ubisoft Bordeaux(育碧波尔多)
针对多智能体协作领域缺乏有效策略多样性方法的问题,提出矩匹配策略多样性方法,通过形式化选定智能体的动作差异生成差异化团队策略,理论上可实现基于最大均值差异的约束优化,在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
On Emergent Communication in Competitive Multi-Agent Teams
Carnegie Mellon University(卡内基梅隆大学)
最近的几项研究发现,在大多数合作多智能体系统开发的通信协议中,当学习端到端以最大限度地提高下游任务的性能时,会出现接地组合语言。然而,人类不仅在完全合作的环境中,而且在竞争作为改进的额外外部压力的情况下,学会解决涉及沟通行为的复杂任务。在这项工作中,我们调查是否竞争的性能从外部,类似的代理团队可以作为一个社会的影响,鼓励多代理人口开发更好的通信协议,以提高性能,组合性和收敛速度。我们从之前提出的两个合作代理之间的参考游戏“任务与谈话”作为我们的测试平台开始,并将其扩展到“任务、谈话与竞争”,这是一个涉及两个竞争团队的游戏,每个团队由两个上述合作代理组成。使用这种新的设置,我们提供了一个实证研究,展示了竞争的影响力对多智能体团队的影响。我们的研究结果表明,外部竞争的影响,导致提高准确性和概括性,以及更快地出现的交际语言,是更多的信息和成分。
2020-07-16 cs.AI cs.CL cs.LG
Toward Real-World Cooperative and Competitive Soccer with Quadrupedal Robot Teams
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Zhejiang University(浙江大学);Shanghai Qi Zhi Institute(上海期智研究院)
本研究提出分层多智能体强化学习框架,结合底层运动控球技能与高层MAPPO+FSP战略策略,实现四足机器人自主足球竞技,经消融实验验证优势并完成真实场景部署。
2025-08-30 cs.AI cs.RO
Multi-Vehicle Cooperative Control Using Mixed Integer Linear Programming
我们提出的方法来综合多车辆控制问题的合作策略,使用混合整数线性规划。复杂的多车辆控制问题被表示为混合逻辑动态系统。这些系统的最优策略,然后解决使用混合整数线性规划。我们激励的方法来自两队机器人之间的对抗性游戏的问题,称为RoboFlag。我们假设一个团队的策略是固定的,并由状态机控制。其他团队的策略是使用我们的方法生成的。最后,我们进行了一个平均情况下的计算复杂性研究我们的方法。
2005-01-31 cs.AI cs.MA cs.RO
Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning
ISEE Lab, Sun Yat-sen University(中山大学ISEE实验室)
本文提出Group Cooperative Policy Optimization (GCPO)方法,通过改变训练范式从 rollout 竞争转向团队合作,提升大语言模型在推理任务中的准确性和解题多样性。
2026-05-18 cs.AI cs.LG
Decomposability-Guided Cooperative Coevolution for Large-Scale Itinerary Planning
School of Artificial Intelligence, Nanjing University of Information Science and Technology(南京信息工程大学人工智能学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系)
该研究针对大规模行程规划问题,提出弱可分解性定义及对应图结构,设计了带动态分解、资源分配策略的多目标合作协同进化算法,在真实数据集上表现优于现有最优算法,且优势随问题规模增大而提升。
2026-10-14 cs.AI
Evaluating Visual Conversational Agents via Cooperative Human-AI Games
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
随着AI的不断发展,人类-AI团队是不可避免的。然而,人工智能的进展通常是孤立地衡量的,没有人参与其中。对人工智能的进展进行基准测试至关重要,不仅是孤立的,而且还包括如何将其转化为帮助人类执行某些任务,即,人类AI团队的表现。在这项工作中,我们设计了一个合作游戏- GuessWhich -来衡量人工智能团队在人工智能作为视觉对话代理的特定背景下的表现。GuessWhich涉及人类和AI之间的实时交互。人工智能,我们称之为爱丽丝,提供了一个人类看不到的图像。在对图像进行简要描述之后,人类向ALICE询问这个秘密图像,以从固定的图像池中识别它。我们衡量人类的ALICE团队的性能的猜测,它需要人类正确地识别秘密图像后,与ALICE的固定数量的对话轮。我们比较人类的ALICE团队的两个版本的ALICE的性能。我们的人类研究表明了一个违反直觉的趋势-虽然人工智能文献显示,当与人工智能提问机器人配对时,一个版本的性能优于另一个版本,但我们发现,这种人工智能性能的改善并不能转化为人工智能性能的改善。这表明孤立的AI基准测试和人类AI团队的基准测试之间存在不匹配。
2017-08-17 cs.AI cs.CL cs.CV
Partner-Aware Algorithms in Decentralized Cooperative Bandit Teams
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
当人类彼此合作时,他们通常通过观察他人并考虑他们的行为可能对整个团队产生的后果来做出决定,而不是只为自己做最好的事情。我们希望我们的人工智能智能体通过捕获其合作伙伴的模型来以类似的方式进行有效合作。在这项工作中,我们提出并分析了一个分散的多臂强盗(MAB)问题与耦合奖励更一般的多智能体协作的抽象。我们证明,天真的扩展单代理最优MAB算法失败时,分散的强盗队。相反,我们提出了一个合作伙伴意识的联合顺序决策策略,扩展了著名的单代理置信上限算法。我们分析表明,我们提出的策略实现了对数遗憾,并提供了涉及人类-AI和人类-机器人协作的广泛实验,以验证我们的理论研究结果。我们的研究结果表明,所提出的伙伴意识策略优于其他已知的方法,我们的人类受试者研究表明,人类更喜欢与实施我们的伙伴意识策略的人工智能智能体合作。
2021-12-16 cs.AI cs.LG cs.MA
It Takes Two: Learning to Plan for Human-Robot Cooperative Carrying
Stanford University(斯坦福大学)
合作表携带是一个复杂的任务,由于连续性的行动和状态空间,多模态的战略,并需要即时适应其他代理。在这项工作中,我们提出了一种方法来预测现实的运动计划合作的人类机器人团队的任务。使用变分递归神经网络(VRNN)来模拟人类-机器人团队随时间的轨迹变化,我们能够捕获团队未来状态的分布,同时利用来自交互历史的信息。我们的方法的关键是利用人类演示数据来生成在测试期间以后退地平线方式与人类协同的轨迹。基线,基于采样的规划器RRT(快速探索随机树)和VRNN规划器在集中式规划之间的比较表明,VRNN生成的运动比RRT更类似于人-人演示的分布。一项人在回路用户研究的结果表明,VRNN规划器在任务相关指标上的表现优于分散式RRT,并且比RRT规划器更容易被视为人类。最后,我们展示了VRNN规划器上的一个真正的机器人配对与人类遥控另一个机器人。
2023-03-07 cs.AI cs.RO
Learning Coordinated Preference for Multi-Objective Multi-Agent Reinforcement Learning
Department of Electrical and Computer Engineering, University of Arizona(亚利桑那大学电气与计算机工程系)
提出偏好协调多智能体策略优化(PCMA),通过学习协调的智能体特定偏好实现多目标多智能体强化学习中的互补权衡,理论证明偏好多样性可诱导团队改进,实验验证性能与协调性提升。
2026-09-29 cs.AI cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida(中佛罗里达大学);Department of Computer Science University of Central Florida(中佛罗里达大学计算机科学系)
许多合作的多智能体问题需要智能体学习个人的任务,同时有助于集体的成功。这是一个具有挑战性的任务,目前国家的最先进的多智能体强化算法,旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的,导致不稳定的学习时,这个问题就会加剧。为了解决这个问题,我们提出了分解多智能体深度确定性策略梯度(DE-MADDPG):一种新的合作多智能体强化学习框架,同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题,并表明我们的解决方案实现了显着更好,更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
Independent RL for Cooperative-Competitive Agents: A Mean-Field Perspective
Analog Devices Incorporated(亚德诺半导体公司);Artificial Intelligence Research, JP Morgan Chase & Co(摩根大通公司人工智能研究部门);School of Mathematics and Data Science, NYU Shanghai(上海纽约大学数学与数据科学学院);Coordinated Science Lab, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
本文在平均场视角下研究团队内合作、团队间一般和竞争的线性二次博弈,提出多玩家滚动时域自然策略梯度算法,并通过HJI方程分解证明其收敛到全局纳什均衡。
2025-02-08 cs.AI cs.GT cs.LG
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
提出自动机条件化协作多智能体强化学习框架,通过自动机分解团队目标为子任务,学习任务条件化的分散策略,实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Neural Payoff Machines: Predicting Fair and Stable Payoff Allocations Among Team Members
Radboud University(拉德堡德大学);DeepMind(深度思维);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
在许多多智能体环境中,参与者可以组成团队,以实现可能远远超过其个人能力的集体成果。衡量代理人的相对贡献并为他们分配促进长期合作的奖励份额是一项艰巨的任务。合作博弈论提供了解决方案的概念,确定分配方案,如Shapley值,公平地反映了个人对团队或核心绩效的贡献,这减少了代理人放弃团队的动机。这些方法的应用包括确定有影响力的特征和分担合资企业或团队组建的成本。不幸的是,使用这些解决方案需要解决计算障碍,因为它们很难计算,即使在受限的设置中。在这项工作中,我们展示了如何合作博弈论的解决方案可以通过训练神经网络提出公平和稳定的收益分配,提炼成一个学习模型。我们表明,我们的方法创建的模型可以推广到远离训练分布的游戏,并且可以预测比训练期间观察到的更多玩家的解决方案。我们的框架的一个重要应用是可解释的AI:我们的方法可以用于在许多情况下加速Shapley值计算。
2022-08-18 cs.AI cs.GT cs.LG
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University(华东师范大学);SRIAS(上海人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));AIRS(深圳市人工智能与机器人研究院)
在解决一个复杂的任务时,人类会自发地组成团队,分别完成整个任务的不同部分。同时,队友之间的合作也会提高效率。然而,对于目前的合作MARL方法,合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率,提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略,该策略是通过独立的多智能体强化学习建立的。在团队形成后,引入了基于共识约束的层次意图的层次共识模块。同时,利用层次一致性模块和自监督内在奖励增强决策模块,提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起,促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明,{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
Multi-UAV Planning for Cooperative Wildfire Coverage and Tracking with Quality-of-Service Guarantees
Georgia Institute of Technology(佐治亚理工学院)
近年来,研究人员委托机器人和无人机(无人机)团队进行准确的在线野火覆盖和跟踪。虽然大多数先前的工作集中在这种多机器人系统的协调和控制上,但迄今为止,这些UAV团队还没有被赋予推理火灾轨迹的能力(即,位置和传播动态)以在时间范围上提供性能保证。受空中野火监测问题的启发,我们提出了一个预测框架,该框架使多无人机团队能够在概率性能保证的情况下进行合作,以实现协作的现场覆盖和火灾跟踪。我们的方法使无人机推断的潜在火灾传播动力学的时间延长的协调在安全关键条件。我们推导出一组新的,分析的时间,和跟踪误差的界限,使无人机团队分配其有限的资源,并根据情况下的特定估计状态覆盖整个火灾区域,并提供概率性能保证。我们的结果不仅限于空中野火监测的案例研究,一般适用于问题,如搜索和救援,目标跟踪和边境巡逻。我们评估我们的方法在模拟和演示的物理多机器人测试平台上的建议框架,以考虑到真正的机器人动力学和限制。我们的定量评估验证了我们的方法的性能,分别比最先进的基于模型和强化学习基准测试的跟踪误差小7.5倍和9.0倍。
2022-06-21 cs.AI cs.RO cs.SY
When Is Diversity Rewarded in Cooperative Multi-Agent Learning?
Department of Computer Science and Technology University of Cambridge(计算机科学与技术系剑桥大学)
研究通过理论分析和算法验证,探讨了多智能体学习中异质性团队奖励机制,提出HetGPS算法用于发现异质性优势的奖励场景。
2026-03-01 cs.AI cs.LG cs.MA
Discovering Causality for Efficient Cooperation in Multi-Agent Environments
Institute for Digital Technologies(数字技术研究所);Loughborough University London(拉夫堡大学伦敦校区)
本文研究多智能体强化学习中的懒惰智能体问题,利用因果关系估计改进信用分配,并采用摊销因果发现自动检测因果,以惩罚懒惰智能体,提升团队及个体性能。
2023-06-20 cs.AI cs.LG cs.MA
Exploiting Structure in Cooperative Bayesian Games
Maastricht University(马斯特里赫特大学);University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学)
合作贝叶斯博弈(BGs)可以在不完全信息下为代理团队建模决策问题,但需要的空间和计算时间是代理数量的指数。虽然代理的独立性已被用来缓解这些问题,在完美的信息设置,我们提出了一种新的方法,BG的基础上观察,BG还具有不同类型的结构,我们称之为类型的独立性。我们提出了一个因子图表示,捕获两种形式的独立性,并提出了一个理论分析表明,非串行动态规划不能有效地利用类型的独立性,而最大和可以。实验结果表明,我们的方法可以解决前所未有的规模合作贝叶斯游戏。
2012-10-16 cs.AI cs.GT
Networked Agents in the Dark: Team Value Learning under Partial Observability
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);PUC-Rio(里约天主教大学)
针对网络化智能体在部分可观测下的协作问题,提出基于共识机制与梯度下降的分布式MARL方法DNA-MARL,在基准场景中性能优于现有方法,拓展了现实应用范围。
2025-01-15 cs.AI cs.LG cs.MA
Towards a more efficient computation of individual attribute and policy contribution for post-hoc explanation of cooperative multi-agent systems using Myerson values
Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工与自然智能研究所);University of Toulouse(图卢兹大学);ISAE-Supaero(法国高等航空航天学院);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所);Research Center for Information and Communications Technologies of the University of Granada (CITIC-UGR)(格拉纳达大学信息与通信技术研究中心);University of Granada(格拉纳达大学)
对于战略家、决策者和体育教练来说,对团队中一个代理人的全球重要性进行定量评估就像黄金一样有价值。然而,检索这些信息并不是微不足道的,因为在合作任务中,很难将个人的表现与整个团队的表现分开。此外,代理人的作用与其个人属性之间的关系并不总是很清楚。在这项工作中,我们设想的Shapley分析的应用研究代理政策和属性的贡献,把他们放在平等的基础上。由于计算复杂性是NP-难的,并与可转移效用联盟博弈中的参与者数量呈指数级关系,因此我们利用关于博弈规则的先验知识来约束图上参与者之间的关系。因此,我们提出了一种方法来确定一个层次的知识图谱的代理的政策和功能的多Agent系统。假设系统的模拟器是可用的,图形结构允许利用动态规划以更快的方式评估重要性。我们在一个案例证明环境中测试了所提出的方法,该环境部署了硬编码策略和通过深度强化学习获得的策略。所提出的范例是计算要求较低,比平凡计算的Shapley值,并提供了很大的洞察力,不仅在一个团队中的代理的重要性,但也到所需的属性部署的政策在其最好的。
2022-12-06 cs.AI cs.LG cs.MA
Cooperative Observation of Targets moving over a Planar Graph with Prediction of Positions
Universidade Estadual do Ceará – UECE(塞阿拉州立大学)
考虑一个有两种类型的代理的团队:目标和观察者。观测器是一种空中无人机,用于观测陆地上移动的目标,其移动受限于在地面上形成平面图的路径。观察者的视野有限,目标不会避开观察者。目标是最大化在观测间隔中观测到的目标数量的积分。利用目标在短期内的未来位置是可预测的这一事实,我们在这篇文章中展示了一种改进的爬山算法,该算法在CTO问题的新设置中超越了以前的版本。
2020-02-13 cs.AI cs.RO eess.SP