Multiagent Bidirectionally-Coordinated Nets: Emergence of Human-level Coordination in Learning to Play StarCraft Combat Games
University College London(伦敦大学学院);Alibaba Group(阿里巴巴集团)
许多人工智能(AI)应用程序通常需要多个智能代理协同工作。智能体通信和协调的有效学习是迈向通用AI不可或缺的一步。在本文中,我们以星际争霸战斗游戏作为案例研究,其中的任务是协调多个智能体作为一个团队击败他们的敌人。为了保持一个可扩展的有效的通信协议,我们引入了一个多智能体双向协调网络(BiCNet Biknet])与矢量化扩展的演员-评论家制定。我们表明,BiCNet可以处理不同类型的战斗与任意数量的人工智能智能体的双方。我们的分析表明,在没有任何监督(如人类演示或标记数据)的情况下,BiCNet可以学习经验丰富的游戏玩家常用的各种类型的高级协调策略。在我们的实验中,我们在不同的场景下对多个基线评估了我们的方法;它显示了最先进的性能,并具有大规模现实世界应用的潜在价值。
2017-09-14 cs.AI cs.LG
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习算法(MARL)已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息,通过集中的批评,以稳定学习或通过沟通,以提高性能,但一般不看如何在代理之间共享信息,以解决在MARL的维数灾难。我们认为,多智能体问题可以分解成一个多任务的问题,每个代理探索状态空间的一个子集,而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法,用于通过蒸馏和值匹配来组合来自同质智能体的知识,其性能优于单独的策略蒸馏,并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
Scalable Multiagent Driving Policies For Reducing Traffic Congestion
University of Texas at Austin(德克萨斯大学奥斯汀分校);General Motors R&D Labs(通用汽车研发实验室);Sony AI(索尼人工智能)
交通拥堵是现代城市环境中的主要挑战。自动驾驶和自动驾驶汽车(AV)的全行业发展激发了一个问题,即AV如何有助于减少拥堵。过去的研究表明,在小规模的混合交通场景中,自动驾驶汽车和人类驾驶的车辆,一小部分自动驾驶汽车执行受控的多智能体驾驶策略可以缓解拥堵。在本文中,我们扩大现有的方法,并开发新的多智能体驾驶策略的AV场景具有更大的复杂性。我们首先表明,过去的研究所使用的拥堵指标是可操纵的开放的道路网络的情况下,车辆动态加入和离开道路。然后,我们建议使用一个不同的度量,是强大的操纵,并反映了开放的网络流量效率。接下来,我们提出了一种模块化迁移强化学习方法,并使用它来扩展多智能体驾驶策略,以在模拟的现实场景中超越人类交通和现有方法,这比过去的场景大一个数量级(数百辆而不是数十辆)。此外,我们的模块化迁移学习方法通过将其数据汇集集中在网络中的关键位置,节省了高达80%的训练时间。最后,我们首次展示了一种分布式多智能体策略,它可以改善人为驱动的交通拥堵。分布式方法更加现实和实用,因为它仅依赖于现有的传感和驱动能力,并且不需要添加新的通信基础设施。
2022-07-06 cs.AI cs.SY eess.SY
Exploring the Benefits of Teams in Multiagent Learning
University of Waterloo(滑铁卢大学)
本文受组织心理学启发,提出一种用于强化学习智能体的多智能体团队新模型,验证了团队划分能促进智能体在复杂社会困境中发展亲社会策略、提升协调与涌现角色能力并获得更高奖励。
2023-07-31 cs.AI
Scaling Multiagent Systems with Process Rewards
Yale University(耶鲁大学);University of Chicago(芝加哥大学);University of Oxford(牛津大学)
本文提出MAPPA方法,通过每动作过程奖励微调多智能体系统,提升复杂任务的性能和效率。
2026-02-04 cs.AI cs.CL cs.ET
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay(巴黎萨克雷大学);Ubisoft(育碧);University of Granada(格拉纳达大学)
虽然可解释人工智能(XAI)正在不断扩展更多的应用领域,但很少有人应用于使深度强化学习(RL)更容易理解。随着RL变得无处不在,并用于关键和一般公共应用,开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略,在多智能体RL使用Shapley值,博弈论的概念,在XAI,成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设,本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销,Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明,Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响,(例如,非歧视性决策,道德和负责任的人工智能衍生决策或公平约束下的政策制定)。它们还揭示了Shapley值如何仅给出关于模型的一般解释,而不能解释单个运行、事件,也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Exploiting Anonymity in Approximate Linear Programming: Scaling to Large Multiagent MDPs (Extended Version)
MIT Media Lab(麻省理工学院媒体实验室);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学);Stanford University(斯坦福大学)
马尔可夫决策过程(MDP)的许多精确和近似的解决方法试图利用问题的结构,并基于价值函数的因式分解。然而,特别是多智能体设置,众所周知,遭受指数增长的价值组件的大小,因为相互作用变得更加密集,这意味着近似架构的限制,在问题的大小和类型,他们可以处理。我们提出了一种方法来减轻这种限制,某些类型的多智能体系统,利用一个属性,可以被认为是“匿名影响”的因素MDP。匿名影响有效地总结了联合变量的影响时,显式表示的变量身份的问题可以避免。我们展示了如何从匿名的代表性的好处转化为计算效率,无论是一般的变量消除因子图,但特别是也为近似的线性规划解决方案,因子化的MDP。后者允许将线性规划扩展到以前无法解决的分解的MDP。我们的研究结果显示,在一个密集连接的图与50个节点和25个代理的随机疾病过程的控制。
2016-02-20 cs.AI cs.MA
Build Your Personalized Research Group: A Multiagent Framework for Continual and Interactive Science Automation
提出freephdlabor多智能体框架,通过动态工作流和模块化架构实现持续交互式科学自动化,支持上下文压缩、工作区通信和人工干预,促进端到端研究。
2025-10-17 cs.AI cs.CL cs.LG
Causes and Strategies in Multiagent Systems
Utrecht University(乌得勒支大学);Open University(开放大学)
本文针对多智能体策略场景缺乏因果研究的问题,提出将结构因果模型系统转化为因果并发博弈结构,以干预作为迁移并结合 Halpern-Pearl 框架分析智能体决策的因果效应。
2025-02-19 cs.AI cs.MA
Influence-Optimistic Local Values for Multiagent Planning --- Extended Version
University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学);University of Liverpool(利物浦大学)
本文提出一种适用于非因子化价值函数的多智能体规划影响乐观上界方法,通过划分子问题并乐观假设系统影响,提供质量保证并改进启发式搜索效果。
2015-07-20 cs.AI cs.SY eess.SY
Learning in Cooperative Multiagent Systems Using Cognitive and Machine Models
University of Dayton(代顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对协作式多智能体系统在随机奖励下学习与协调困难的问题,提出三种融合 IBLT 认知机制与 MADRL 技术的 MAIBL 模型,并在 CMOTP 中验证其学习更快、协调更好。
2023-08-18 cs.AI cs.MA
Towards a Unifying Model of Rationality in Multiagent Systems
Delft University of Technology(代尔夫特理工大学);Aalto University(阿尔托大学)
本文提出一个基于遗憾定义理性的社会智能智能体通用模型,使个体理性学习者能够实现帕累托有效的合作,并探讨其对构建鲁棒多智能体系统的意义。
2023-05-29 cs.AI cs.GT cs.MA
Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT(麻省理工学院);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学)
在线,基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望,但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题,其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题,我们提出了一种新的可扩展的方法,基于样本的规划和因子化的价值函数,利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下,但也在贝叶斯强化学习设置。实验结果表明,我们能够提供高质量的解决方案,大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在合作的多智能体系统中,一组智能体执行联合策略以达到共同的目标。这种系统的成功部署取决于可靠的智能体通信的可用性。然而,在实践中存在许多潜在的通信中断源,例如无线电干扰、硬件故障和对抗攻击。在这项工作中,我们开发的合作多智能体系统,是强大的潜在损失的通信联合政策。更具体地说,我们开发的合作马尔可夫博弈达到避免目标的联合政策。首先,我们提出了一个算法,在通信丢失期间的联合政策的分散执行。接下来,我们使用的总相关性的状态动作过程中引起的联合政策作为衡量代理之间的内在依赖关系。然后,我们使用这个措施,降低了一个联合政策的性能时,失去了沟通。最后,我们提出了一个算法,最大限度地提高代理这个下限,以合成最小的依赖联合政策,是强大的通信损失。数值实验表明,所提出的最小依赖性的政策,需要最小的代理之间的协调,而招致很少或没有损失的性能;合成的政策的总相关值是五分之一的基线政策,不考虑潜在的通信损失的总相关值。因此,无论通信是否可用,最小依赖性策略的性能始终保持较高。相比之下,当通信丢失时,基线策略的性能下降了20%。
2022-01-17 cs.AI cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida(佛罗里达大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
隐私感知的多智能体系统必须保护代理的敏感数据,同时确保代理完成他们的共同目标。为了实现这一目标,我们提出了一个框架,私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹,然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平,这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策,是强大的隐私减少的总相关值。数值实验表明,在这些政策下,团队的表现下降了3%,当比较私人与非私人的通信实现。相比之下,当使用忽略总体相关性而只优化团队绩效的基线策略时,团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
Applying Strategic Multiagent Planning to Real-World Travel Sharing Problems
Czech Technical University in Prague(布拉格捷克理工大学);The University of Edinburgh(爱丁堡大学)
旅行共享,即,寻找可由具有不同出发点和目的地的多个旅行者共享的部分路线的问题是复杂的多代理问题,需要考虑各个代理的偏好以提出相互可接受的联合计划。在本文中,我们应用国家的最先进的规划技术,以现实世界的公共交通数据,以评估多智能体规划技术在这一领域的可行性。提升出行共享技术的潜在应用价值,由于其能够减少出行对环境的影响,同时为出行者提供福利,因此具有很大的应用价值。我们提出了一个三阶段的算法,利用性能单代理规划者找到个人计划在一个简化的域第一,然后合并它们使用最佳响应规划器,确保得到的解决方案是单独的理性,然后将得到的计划映射到整个时间规划域,以安排实际的旅程。我们的算法在现实世界中的评估,多模式的公共交通数据为英国显示线性可扩展性的情况下的大小和代理商的数量,在总成本的提高,确定的可行的时间表的百分比,这些旅程和延长之间的权衡。我们的系统构成了战略多智能体规划算法在大规模领域的第一次实施,并提供了深入了解工程过程中的翻译一般域独立的多智能体规划算法到现实世界中的应用。
2013-01-02 cs.AI
Active Legibility in Multiagent Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学大数据系统计算技术国家工程实验室);Northumbria University(诺森比亚大学);School of Computer Science, Minnan Normal University(闽南师范大学计算机学院);University of Georgia(佐治亚大学)
针对多智能体协作中的意图理解问题,本文提出主动可理解性框架,使智能体通过可理解动作帮助彼此优化行为,并在定制问题域中验证其效率与训练时间优势。
2024-10-28 cs.AI
Estimating counterfactual treatment outcomes over time in complex multiagent scenarios
Graduate School of Informatics at Nagoya University(名古屋大学信息学研究科);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Graduate School of Informatics at Kyoto University(京都大学信息学研究科);Graduate School of Engineering at the University of Tokyo(东京大学工学研究科);Graduate School of Information Science and Technology at Osaka University(大阪大学信息科学与技术研究科)
提出一种基于图变分循环神经网络和领域知识的可解释反事实循环网络,用于在复杂多智能体场景中估计干预的个体处理效应,并在自动驾驶和篮球数据上验证了其有效性。
2024-02-17 cs.AI cs.LG cs.MA
Modeling Human Ad Hoc Coordination
Massachusetts Institute of Technology(麻省理工学院)
无论是在人类群体还是计算机代理群体中,有能力协调集体行动的联合策略的个人之间的合作是最有效的。然而,一般来说,一个理性的行动者只有在相信其他群体成员也有同样的意图时,才会打算进行协调。这种循环依赖使得在不确定的环境中,如果行为者之间的沟通不可靠,事先没有达成协议,就很难进行合理的协调。因此,在这些特设环境中进行协调的一个重要的规范性问题是,人们如何能够相信其他行为者将进行协调,而在涉及人类的系统中,一个重要的经验性问题是,人类如何达到这些期望。我们引入了一个精确的算法来计算在不确定环境中的理性协调所需的分级信念的无限递归层次,我们引入了一种新的机制,多智能体协调,使用它,我们的算法是有效的,在任何环境中的有限状态空间,并扩展到某些可数无限状态空间是可能的。我们测试我们的多智能体协调机制作为一个模型,在一个简单的协调游戏,使用现有的实验数据的人类决策。然后,我们通过模拟来探索以这种方式对人类进行建模是否可以改善人类与智能体的协作。
2016-02-11 cs.AI cs.GT cs.MA
TinyTroupe: An LLM-powered Multiagent Persona Simulation Toolkit
Microsoft Corporation(微软公司);Dipeak Technology(迪佩克技术)
针对现有LLM多智能体系统在细粒度人物模拟方面的不足,提出TinyTroupe工具包,支持详细人物定义和程序化控制,用于行为研究和社会模拟。
2026-06-09 cs.AI cs.CL cs.HC
Structures generated in a multiagent system performing information fusion in peer-to-peer resource-constrained networks
Universidad Politécnica de Madrid(马德里理工大学);Universidad a Distancia de Madrid (UDIMA)(马德里远程大学)
本文研究资源受限的点对点网络中多智能体系统进行信息融合时整体式结构的自发形成,基于多智能体模型通用分析,展示其适应性与协作优势。
2025-10-23 cs.AI cs.MA
MGpi: A Computational Model of Multiagent Group Perception and Interaction
Carnegie Mellon University(卡内基梅隆大学);OMRON SINIC X(欧姆龙SINIC X)
为了使下一代机器人能够与人类进行社会智能互动,我们提出了一个$\mathbf{computational\; model}$的多个代理和多个群体的社会环境中的互动。多智能体群体感知和交互(MGpi)网络是一种深度神经网络,其预测在群体对话中执行的适当社交动作(例如,说、听、响应、离开),考虑邻居的可观察特征(例如,人的位置、注视方向、分心等)。MGpi的一个核心组件是Kinesic-Proxemic-Message(KPM)门,它执行社交信号门控以从组对话中提取重要信息。特别是,KPM门过滤器传入的社会线索从附近的代理人通过观察他们的身体姿势(身势)和空间行为(体势)。MGpi网络及其KPM门是通过模仿学习来学习的,使用我们设计的$\mathbf{social\; interaction\; simulator}$的演示。此外,我们证明了KPM门作为社会注意力机制的功效,在不使用显式组注释、布局假设或手动选择参数的情况下,实现了$\mathbf{group\; identification}$任务的最先进性能。
2020-02-07 cs.AI cs.LG cs.MA
V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL
Princeton University(普林斯顿大学);MIT(麻省理工学院)
多智能体强化学习(MARL)的一个主要挑战是多智能体的诅咒,其中联合动作空间的大小与智能体的数量呈指数级增长。这仍然是一个瓶颈,设计有效的MARL算法,即使在一个基本的情况下,许多国家和行动。本文解决了这一挑战的情景马尔可夫博弈模型。我们设计了一类新的完全分散的算法-V-学习,它可证明学习纳什均衡(在两个玩家零和设置),相关均衡和粗相关均衡(在多人一般和设置)在一些样本,只有规模与$\max_{i\in[m]} A_i$,其中$A_i$是行动的数量为$i^{\rm th}$球员。这与关节动作空间的大小($\prod_{i=1}^m A_i$)形成鲜明对比。V-学习(其基本形式)是一类新的单智能体RL算法,它将任何具有适当后悔保证的对抗性强盗算法转换为RL算法。与经典的Q-学习算法类似,它对价值函数执行增量更新。与Q学习不同,它只保持V值的估计而不是Q值。这一关键区别允许V-learning通过简单地让所有代理独立运行V-learning来实现MARL设置中声称的保证。
2021-10-27 cs.AI cs.GT cs.LG
Individual specialization in multi-task environments with multiagent reinforcement learners
University Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究中心)
多智能体强化学习(MARL)作为构建通用智能体的第一步,在其他智能体存在的非平稳复杂环境中学习做出低级和高级决策,受到越来越多的关注。以前的结果指出,我们对协调,效率/公平,和共同池资源共享的条件增加。我们进一步研究协调在多任务环境中,可以执行几个奖励任务,因此代理不一定需要在所有任务中表现良好,但在某些条件下可能会专门。从这项研究中得出的一个观察是,基于值的强化学习方法的贪婪探索对于多智能体独立学习器是不够的,因为控制选择随机动作的概率的参数控制人工智能体,并迫使它们同时具有确定性策略。通过使用具有独立熵正则化探索更新的基于策略的方法,我们实现了更好和更平滑的收敛。另一个需要进一步调查的结果是,随着代理人数量的增加,专业化倾向于更有可能。
2019-12-29 cs.AI cs.MA
A Multiagent Path Search Algorithm for Large-Scale Coalition Structure Generation
Clermont Auvergne University(克莱蒙奥弗涅大学);Clermont Auvergne INP(克莱蒙奥弗涅国立综合理工学院);CNRS(法国国家科学研究中心);LIMOS(利莫什科学与技术实验室);Univ Lyon(里昂大学);UCBL(里昂第一大学);INSA Lyon(里昂国立应用科学学院);Centrale Lyon(里昂中央理工学院);Univ Lyon 2(里昂第二大学);LIRIS(里昂信息、图像与智能系统实验室);Laboratory of Applied Mathematics, Faculty of Exact Sciences, University of Bejaia(贝贾亚大学精确科学学院应用数学实验室);TCG Centres for Research and Education in Science and Technology(TCG科学技术研究与教育中心);Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(Strategy Robot公司);Strategic Machine, Inc.(Strategic Machine公司);Optimized Markets, Inc.(Optimized Markets公司)
针对大规模联盟结构生成问题,提出在联盟结构图上搜索的任意时间多智能体算法SALDAE,可快速处理数千智能体并在多个标准基准上优于现有方法。
2025-02-14 cs.AI cs.GT cs.MA
Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning
DeepMind(深度思维)
我们介绍DeepNash,一个自主智能体,能够从头开始学习玩不完美信息游戏,直到人类专家的水平。围棋是人工智能(AI)尚未掌握的少数标志性棋盘游戏之一。这种流行的游戏具有$10^{535}$节点数量级的巨大游戏树,即,比围棋大$10^{175}$倍。它具有额外的复杂性,需要在不完全信息下进行决策,类似于德州扑克,其具有明显较小的游戏树($10^{164}$节点数量级)。决策是在大量离散的行动中做出的,行动和结果之间没有明显的联系。Episode很长,在玩家获胜之前通常有数百步移动,并且在扑克中的情况不能像扑克那样容易地分解为可管理的大小子问题。由于这些原因,几十年来,人工智能领域一直面临着巨大的挑战,现有的人工智能方法几乎没有达到业余水平。DeepNash使用了一种基于博弈论的无模型深度强化学习方法,无需搜索,通过自我游戏学习掌握围棋。正则化纳什动态(R-NaD)算法是DeepNash的关键组成部分,它通过直接修改底层的多智能体学习动态来收敛到近似的纳什均衡,而不是围绕它“循环”。DeepNash击败了Stratego中现有的最先进的人工智能方法,并在Gravon游戏平台上取得了年度(2022年)和历史上的前三名排名,与人类专家玩家竞争。
2022-06-30 cs.AI cs.GT cs.MA
Towards Foundation-model-based Multiagent System to Accelerate AI for Social Impact
Harvard University(哈佛大学);GE Healthcare(GE医疗);Hasso Plattner Institute(哈索·普拉特纳研究所);Google Deepmind(谷歌DeepMind)
针对现有AI4SI研究资源消耗高、扩展性受限的问题,提出基于基础模型与大语言模型的元层级多智能体系统,覆盖全AI4SI流程以加速基础系统开发,同时强调伦理与人在回路的重要性。
2024-12-12 cs.AI
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa(亚马逊Alexa);Indian Institute of Science(印度科学研究院)
本文研究了多智能体强化学习在交通信号控制中的收敛性问题,通过随机逼近方法分析学习动态,并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
A Sufficient Statistic for Influence in Structured Multiagent Environments
Delft University of Technology(代尔夫特理工大学);Nissan Technical Center North America(北美日产技术中心);Massachusetts Institute of Technology(麻省理工学院)
在复杂环境中做出决策是人工智能(AI)的一个关键挑战。涉及多个决策者的情况是特别复杂的,导致计算棘手的原则性解决方案的方法。人工智能领域的一系列工作试图通过将交互提取到本质来缓解这个问题:一个代理的策略如何影响另一个代理?如果我们能找到这种影响的更紧凑的表示,这可以帮助我们处理复杂性,例如通过搜索影响的空间而不是政策的空间。然而,到目前为止,这些影响的概念在它们对相互作用的特殊情况的适用性方面受到了限制。在本文中,我们形式化的影响为基础的抽象(IBA),这有利于消除潜在的状态因素,而没有任何损失的价值,为一类非常一般的问题,描述为因子化的部分可观察的随机游戏(fPOSGs)。一方面,这概括了现有的影响力描述,因此可以作为基础,在复杂的多智能体设置决策的可扩展性和其他见解的改进。另一方面,由于其他代理的存在可以被看作是一个单一的代理设置的泛化,我们制定的IBA也提供了一个足够的统计决策抽象下的一个单一的代理。我们还详细讨论了与这些以前的作品的关系,确定了这些方法的新见解和解释。通过这些方式,本文加深了我们对抽象的理解,在广泛的顺序决策设置,为一大类问题的新方法和算法提供了基础。
2021-03-01 cs.AI cs.MA
Discovering Multiagent Learning Algorithms with Large Language Models
Google DeepMind(谷歌DeepMind)
本文利用AlphaEvolve框架自动发现CFR和PSRO算法,提出VAD-CFR和SHOR-PSRO,通过简化核心机制获得更高效的WOP-CFR和PM-PSRO,提升泛化能力。
2026-05-07 cs.AI cs.GT cs.MA
A Multiagent CyberBattleSim for RL Cyber Operation Agents
Carleton University(卡尔顿大学);Defence Research and Development Canada(加拿大国防研究与发展局)
本文扩展 CyberBattleSim 以支持防御型蓝方智能体训练,并通过单独及红蓝联合训练验证联合训练可显著增强防御复杂攻击的能力。
2023-04-03 cs.AI cs.CR cs.LG
Thought Communication in Multiagent Collaboration
CMU(卡内基梅隆大学);Meta AI;MBZUAI(马克斯·普朗克人工智能研究所)
本文提出思想通信范式,通过潜变量模型识别智能体间共享与私有思想,实现直接心智交互,实验证明其协作优势。
2025-10-23 cs.AI cs.LG cs.MA
Multiagent-based Participatory Urban Simulation through Inverse Reinforcement Learning
University College London(伦敦大学学院)
基于多主体的参与式仿真在城市规划中具有突出的特点,因为获得的模型被认为是领域和局部知识的混合系统。然而,为特定的社会现象产生现实的代理人的关键问题始终存在。现有的模型试图规定涉及人类行为的因素,这似乎是棘手的。本文引入逆强化学习(IRL)来解决这个问题。IRL是为人类行为的计算建模而开发的,并在机器人学,心理学和机器学习方面取得了巨大的成功。这种新风格的建模所提出的可能性得出的结论,并强调了这种建模的相对挑战。
2017-12-21 cs.AI cs.MA
Distributed Air Traffic Control : A Human Safety Perspective
Centre for Modeling and Simulation(建模与仿真中心);University of Pune(浦那大学)
到目前为止,空中交通管制中的问题已经被解决,目的是提高资源利用率,并实现关于飞机燃料消耗的优化解决方案,在各种动态约束下有效利用可用空域,使拥塞相关损失最小化。因此,我们的重点几乎总是更多地放在更智能的交通管理上,以增加利润,而我们认为,尽管在这个过程中实现了人类安全,但仍然没有得到足够的重视。鉴于我们每天管理数百个机场和数千架飞机的空中交通管制员负担过重,这一点变得更加重要。我们提出了一个基于多智能体系统的分布式方法来处理空中交通,确保完整的人类(乘客)的安全,而不删除任何人类(地面控制器)的循环,从而也保留了早期的优势,在新的解决方案。代理系统的详细设计,这将是很容易与现有的环境接口,描述。根据我们从模拟中获得的初步发现,我们坚信该系统能够处理所涉及的细微差别,并且可以在以后的任何时间点进行扩展和定制。
2011-09-30 cs.AI cs.MA
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington(华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
针对大状态空间多智能体强化学习,提出独立线性马尔可夫博弈模型及新算法,以多项式样本复杂度学习均衡,打破多智能体诅咒,并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
The Fairness Fair: Bringing Human Perception into Collective Decision-Making
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出将人类感知融入集体决策中的公平性,强调公平方案需被社会规划者认可、受人类认知支配且可验证,并倡导跨学科研究以应对当前公平分配文献的挑战。
2023-12-22 cs.AI cs.GT cs.MA
Learning to Teach in Cooperative Multiagent Reinforcement Learning
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);Northeastern University(东北大学)
个人的创新通过交流传授给他人,这一事实显然使人类的集体知识受益匪浅。与人类社会群体类似,分布式学习系统中的智能体可能会从交流中受益,以分享知识和传授技能。教学,以提高代理学习的问题已经调查了以前的作品,但这些方法的假设,防止教学的应用程序一般多智能体问题,或需要领域的专业知识,他们可以适用于问题。这种学习教学的问题具有内在的复杂性,与衡量教学的长期影响有关,这是标准的多智能体协调挑战的复合。在现有的作品相比,本文提出了第一个通用的框架和算法的智能代理学习教在多智能体环境。我们的算法,学习协调和教学强化(LeCTR),解决了点对点教学合作多智能体强化学习。在我们的方法中,每个代理都学习何时以及提供什么建议,然后使用收到的建议来改善本地学习。重要的是,这些角色不是固定的;这些代理人学会在适当的时候承担学生和/或教师的角色,请求和提供建议,以提高团队的表现和学习。与最先进的教学方法的实证比较表明,我们的教学代理不仅学习速度更快,而且还学会了在现有方法失败的任务中进行协调。
2018-08-31 cs.AI cs.MA
A Flexible Multi-Agent LLM-Human Framework for Fast Human Validated Tool Building
Toulon Univ(图卢兹大学);Aix Marseille Univ(阿维尼翁-马赛大学);CNRS(国家科学研究中心);LIS(信息系统实验室)
该研究提出了一种灵活的多智能体框架,通过人类反馈和强化学习,实现快速的人类验证工具构建,适用于复杂迭代任务。
2025-12-01 cs.AI
Policy Gradient With Value Function Approximation For Collective Multiagent Planning
School of Information Systems(信息系统学院);Singapore Management University(新加坡管理大学)
本文提出一种改进的actor-critic方法,用于优化集体决策多智能体规划问题,通过分解近似动作价值函数提升收敛速度,并在合成任务和出租车车队优化中验证了方法的有效性。
2018-04-09 cs.AI cs.LG cs.MA
Epistemic Logic with Functional Dependency Operator
UC Berkeley(加州大学伯克利分校)
具有非标准知识算子,特别是“知值”算子的认知逻辑近年来受到广泛关注。用“知值”算子,我们可以表达单个变量的知识,但不能表达它们之间的一般关系。在本文中,我们提出了一个新的运营商Kf来表达知识的功能之间的依赖关系的变量。这个Kf运算符的语义使用了一个函数域,它对函数依赖关系施加了一个约束。通过调整这个功能域,不同的有趣的逻辑出现,在本文中,我们公理化三个这样的逻辑在一个单一的代理设置。然后,我们展示了这三个逻辑可以统一的功能域相对于不同的代理和可能的世界。在这种情况下,多智能体公理化。
2017-06-07 cs.AI
Augmented Artificial Intelligence: a Conceptual Framework
University of Leicester(莱斯特大学);Lobachevsky University(罗巴切夫斯基大学)
所有的人工智能(AI)系统都会犯错。这些错误是意料之外的,通常与典型的人类错误(“非人类”错误)不同。人工智能的错误应该在不损害现有技能的情况下得到纠正,并希望避免直接的人类专业知识。本文介绍了一个项目的初步总结报告,该项目采用新的和系统的方法来提高人工智能社区的个人人工智能的智力效率。我们结合了异构多智能体系统中的一些学习思想和新的原始数学方法,用于对传统AI系统的错误进行非迭代校正。提出了人工智能无损校正的数学基础,证明了一系列新的随机分离定理。这些定理为高维机器学习方法和算法的发展、分析和评价提供了新的工具。他们表明,在高维,甚至指数大样本,线性分类器在其经典的Fisher的形式是强大的,足以分离错误的正确的反应与高概率,并提供有效的解决方案的非破坏性校正问题。特别是,我们证明了我们的论文“随机分离定理”(神经网络,94,255- 259,2017)中提出的一些假设,并回答了Donoho和Tanner在2009年发表的一个一般性问题。
2018-03-24 cs.AI
Balancing Act: Prioritization Strategies for LLM-Designed Restless Bandit Rewards
Harvard University, USA(哈佛大学);Hasso Plattner Institute, Germany(哈索普拉特纳研究所)
针对LLM设计不安分多臂老虎机奖励时的多目标权衡问题,提出带独立裁决器组件的Social Choice Language Model方法,通过用户选择的社会福利函数调控权衡,实验验证其选出的奖励函数更有效、对齐且平衡。
2025-10-21 cs.AI cs.LG cs.MA
Steps Towards Satisficing Distributed Dynamic Team Trust
University of Bristol(布里斯托大学);University of Birmingham(伯明翰大学);University College London(伦敦大学学院);Loughborough University(拉夫堡大学)
本文面向动态人机团队,提出从目标、个人/团队价值观和法律原则刻画信任,并设计可解释指标与模拟任务实验以验证“满意型信任”。
2023-11-04 cs.AI cs.HC cs.RO
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT(麻省理工学院);ASU(亚利桑那州立大学)
我们认为无限的地平线动态规划问题,在每个阶段的控制由几个不同的决定,每一个由几个代理之一。在早期的工作中,我们介绍了一个政策迭代算法,其中的政策改进是一个代理在给定的时间顺序,知识的选择,在前面的代理的顺序。因此,每个策略改进的计算量随着代理的数量线性增长,而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下,我们证明了收敛到代理的代理最优策略。在本文中,这一结果被扩展到值迭代和乐观版本的政策迭代,以及更一般的DP问题的Bellman算子是一个压缩映射,如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中,我们提出了一个新的分解多智能体软演员-评论家(mSAC)的方法,它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数(optinal)。从理论上讲,mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中,我们实证研究了mSAC对其变体的性能,并分析了不同组件的影响。实验结果表明,mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法,并与基于SOTA值的Qmix方法具有竞争力.此外,mSAC在大动作空间任务(如2c_vs_64zg和MMM 2)上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Validation of Enhanced Emotion Enabled Cognitive Agent Using Virtual Overlay Multi-Agent System Approach
本文提出基于虚拟叠加多智能体系统的方法,验证了增强型情感认知智能体在避免道路碰撞中的有效性,展示了其在不同交通情境下感知恐惧等级的能力及更短的停车视距和超车视距。
2017-08-04 cs.AI cs.GT cs.MA
Modelling Human Values for Value-Aware Multi-Agent Systems
本文提出一个形式化框架,用于表示人类价值观,以支持多智能体系统中的价值感知推理。通过社会心理学研究,建立价值关系和重要性模型,实现行为评估和价值感知决策机制。
2026-06-28 cs.AI cs.MA
Efficient Querying for Cooperative Probabilistic Commitments
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程学院)
多智能体系统可以使用承诺作为一般协调基础设施的核心,支持合作和非合作交互。目标一致的代理人,一个代理人可以通过牺牲自己的一些奖励来帮助另一个代理人获得更大的奖励,应该选择合作承诺来最大化他们的联合奖励。我们提出了一个解决方案的问题,合作代理可以有效地找到一个(近似)最佳的承诺,通过查询精心选择的承诺选择。我们证明了代理的值的承诺规范的参数的函数的结构特性,并开发了一个贪婪的方法组成的查询与可证明的近似边界,我们的经验表明,可以找到几乎最佳的承诺在一小部分的时间方法,缺乏我们的见解需要。
2020-12-14 cs.AI
Value Functions for Depth-Limited Solving in Zero-Sum Imperfect-Information Games
Czech Technical University in Prague(布拉格捷克理工大学)
我们提供了一个正式的定义,深度有限的游戏,以及一个访问和严格的解释的基本概念,这两个都是以前缺少的信息游戏。该定义适用于任意的扩展形式博弈,并且不依赖于任何特定的博弈求解算法。此外,这个框架统一并显着扩展了三种方法,以深度有限的解决方案,以前存在于广泛的形式游戏和多智能体强化学习,但不知道是兼容的。这些深度有限游戏的一个关键要素是价值函数。专注于两个球员零和信息博弈,我们展示了如何获得最佳的价值函数,并证明了公共信息提供了必要和充分的上下文计算。我们提供了一个域独立的编码域,允许近似价值函数,甚至通过简单的前馈神经网络,然后能够概括到看不见的游戏部分。我们使用由此产生的价值网络来实现反事实遗憾最小化的深度有限版本。在三个不同的域中,我们表明,该算法的可利用性大致线性依赖于价值网络的质量,并不难训练一个价值网络的深度有限CFR的性能是一样好的CFR与访问完整的游戏。
2022-03-24 cs.AI cs.GT
Fast Planning in Stochastic Games
AT&T Labs(AT&T实验室);Tel Aviv University(特拉维夫大学)
随机游戏将马尔可夫决策过程(MDP)推广到多智能体环境,允许状态转换共同依赖于所有玩家的行为,并在每个状态下由多人矩阵游戏确定奖励。我们考虑在随机博弈中计算纳什均衡的问题,类似于MDP中的规划。首先,我们提供了一个推广的有限时域值迭代计算的纳什策略,为每个球员在generalsum随机游戏。该算法采用任意的纳什选择函数作为输入,它允许将多个纳什均衡之间的局部选择转化为单个全局纳什均衡的选择。我们的主要技术成果是一个算法计算近纳什均衡在大型或无限的状态空间。该算法建立在我们的有限时域值迭代算法的基础上,并将Kearns,Mansour和Ng(1999)的稀疏采样方法应用于随机博弈。最后给出了一个反例,证明了在零和情形下Shapely收敛的无穷时域折现值迭代(本文的结果作了一点推广)在一般和情形下不收敛.
2013-01-16 cs.AI cs.GT
Rethinking How AI Embeds and Adapts to Human Values: Challenges and Opportunities
Ume University(乌梅大学)
本文针对“以人为本的AI”和“基于价值的决策”中未充分探索的关键问题,主张重新思考价值对齐框架,提出AI需实现长期推理、适应价值观演变,借助多智能体系统处理多元价值观,并指出研究挑战与方向。
2025-08-23 cs.AI
TopoMAS: Large Language Model Driven Topological Materials Multiagent System
Computer Newwork Information Center,Chinese Academy of Sciences(中国科学院计算机网络信息中心);China University of Mining & Technology-Beijing(中国矿业大学(北京))
本文提出TopoMAS多智能体系统,通过智能体编排与自演化知识图谱实现拓扑材料发现全流程自动化,发现新型拓扑相SrSbO3,并以轻量级模型实现高效准确的性能。
2025-07-05 cond-mat.mtrl-sci cs.AI
A computational framework for human values
Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究 institute (IIIA-CSIC))
本文提出一个基于社会科学的正式框架,用于系统研究如何通过人类价值观设计伦理人工智能。
2026-02-04 cs.AI cs.CY cs.MA
Observation Interference in Partially Observable Assistance Games
Center for Human-Compatible AI, University of California, Berkeley(人类兼容人工智能中心,加州大学伯克利分校);Foundations of Cooperative AI Lab, Carnegie Mellon University(协作人工智能实验室,卡内基梅隆大学)
研究部分可观察辅助博弈中AI助手干扰人类观察的动机,证明最优策略、人类即时决策和非理性行为均可能引发干扰,通信渠道可消除部分动机。
2025-08-08 cs.AI cs.GT cs.LG