Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich(慕尼黑大学);MaibornWolff(迈博尔夫公司)
多智能体系统(MAS)中的决策是一个巨大的挑战,由于巨大的状态和联合行动空间以及不确定性,使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性,但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题,在复杂环境中会导致不稳定和不协调的行为。在本文中,我们提出了强紧急政策近似(STEP),一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此,我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合,只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间,并表明,STEP是能够学习更强的政策比标准的多智能体强化学习算法,结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中,以进一步提高性能。
2019-01-25 cs.AI cs.MA
Learning Existing Social Conventions via Observationally Augmented Self-Play
Facebook AI Research(脸书人工智能研究院)
为了让人工智能体有效地与人协调,它们必须与现有的约定保持一致(例如,如何在交通中导航,说哪种语言,或如何与队友协调)。一个群体的约定可以被看作是协调博弈中的一种均衡选择。我们考虑的问题,代理学习的政策,协调游戏在一个模拟的环境中,然后使用这个政策时,它进入一个现有的组。当有多个可能的约定时,我们表明通过多智能体强化学习(MARL)学习策略可能会找到在训练时实现高回报但无法与代理进入的真实组协调的策略。我们假设访问少量的样本的行为,从真正的公约,并表明,我们可以增加MARL的目标,以帮助它找到符合真正的集团的公约的政策。在文献中的三种环境中--交通、沟通和团队协调--我们观察到,用少量的模仿学习来增强MARL,大大增加了MARL发现的策略与现有社会惯例很好地吻合的概率。我们表明,即使在一个环境中,标准的训练方法很少找到真正的公约代理的合作伙伴,这也是可行的。
2019-03-13 cs.AI cs.GT
Learning Intuitive Policies Using Action Features
Ubiquant Investment(九坤投资);University of Chicago(芝加哥大学);Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);FLAIR, University of Oxford(牛津大学未来智能研究院)
本文研究多智能体协调中动作与观测特征的语义关联问题,发现联合处理二者特征表示的注意力架构更易学到可解释的直觉策略,并能在无人类数据训练时与人协调。
2023-06-06 cs.AI cs.LG cs.MA
Signal Instructed Coordination in Cooperative Multi-agent Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);Huya AI(虎牙人工智能)
在许多现实世界的问题中,一组智能体需要合作以最大化共同的回报。虽然现有的工作制定这个问题到一个集中学习与分散执行框架,这避免了非平稳问题的训练,他们的分散执行范式限制了代理的协调能力。受相关均衡概念的启发,我们提出引入协调信号来解决这一限制,并从理论上证明了在温和的条件下,具有协调信号的分散代理可以协调其由集中控制器操纵的个人策略。引入协调信号的思想是将协调策略封装到信号中,并利用信号来指导分散执行中的协作。为了鼓励代理学习利用协调信号,我们提出了信号指导协调(SIC),一种新的协调模块,可以集成到大多数现有的MARL框架。SIC将从预定义分布中采样的公共信号投射到所有代理,并引入信息理论正则化以促进观察到的信号与代理策略之间的一致性。我们的实验表明,SIC一致提高性能公认的MARL模型在矩阵游戏和捕食者-猎物游戏与高维战略空间。
2019-11-20 cs.AI cs.MA
A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学)
自主智能体必须学会合作。每次任务的难度超过单个代理的能力时,开发新的集中式代理是不可扩展的。虽然多智能体协作的研究已经蓬勃发展,在网格世界的环境,相对较少的工作,认为视觉丰富的领域。为了解决这个问题,我们引入了一个新的任务“移动”,在这个任务中,智能体一起工作,将一件家具通过客厅移动到一个目标。与现有的任务不同,CIMOMove需要代理在每个时间步进行协调。我们确定了两个挑战时,训练代理完成CIMOMove:现有的分散行动抽样程序不允许表达联合行动的政策,在需要密切协调的任务,失败的行动的数量占主导地位的成功的行动。为了应对这些挑战,我们引入了同步策略(连贯地同步您的行动)和协调损失(CORDIAL)。通过使用SYNC策略和CORDIAL,我们的代理商实现了58%的移动支付完成率,比竞争对手的分散基线提高了25个百分点。我们的数据集,代码和预训练模型可在https://unnat.github.io/cordial-sync上获得。
2020-07-09 cs.AI cs.CV cs.LG
Solving Common-Payoff Games with Approximate Policy Iteration
DeepMind
为了使人工智能学习系统在现实世界中具有广泛的适用性,重要的是它们能够分散操作。不幸的是,分散控制是困难的--即使是ε-最优联合策略的计算也是一个NEXP完全问题。然而,最近重新发现的见解-一个团队的代理人可以通过共同的知识协调-已经产生了能够在小型共同收益游戏中找到最佳联合策略的算法。贝叶斯动作解码器(BAD)利用这种洞察力和深度强化学习来扩展到像双人Hanabi这样的游戏。然而,它所使用的近似方法阻止了它发现最优联合策略,即使在足够小的游戏中也无法找到最优解。这项工作提出了CAPI,一种新的算法,它像BAD一样,将常识与深度强化学习相结合。然而,与BAD不同,CAPI优先考虑发现最佳联合策略的倾向。虽然这一选择排除了CAPI从规模的游戏,如Hanabi,实证结果表明,在游戏的CAPI规模,它是能够发现最佳的联合政策,即使其他现代多智能体强化学习算法无法做到这一点。代码可在https://github.com/ssokota/capi上获得。
2021-01-11 cs.AI cs.LG
Randomized Adversarial Imitation Learning for Autonomous Driving
Chung-Ang University(中央大学)
随着各种先进驾驶辅助系统(ADAS)平台的发展,自动驾驶系统的设计变得更加复杂和安全。自动驾驶系统同时激活多个ADAS功能,因此必须协调各种ADAS功能。本文提出了一种随机对抗模仿学习(RAIL)方法,模仿配备先进传感器的自主车辆的协调。RAIL策略通过无衍生优化进行训练,以供决策者协调适当的ADAS功能,例如,智能巡航控制和车道保持系统。特别是,该方法还能够处理激光雷达数据,并在复杂的多车道公路和多智能体环境中做出决策。
2019-05-13 cs.AI cs.LG cs.RO
Improving Policies via Search in Cooperative Partially Observable Games
Facebook AI Research(脸书人工智能研究院)
最近游戏中的超人结果主要是在各种零和游戏中实现的,例如围棋和扑克,其中代理人需要与其他人竞争。然而,就像人类一样,现实世界的人工智能系统也必须在合作的部分可观察环境中与其他智能体进行协调和通信。这些设置通常要求参与者既要解释他人的行为,又要在被解释时提供信息。这些能力通常被概括为心理理论,并被视为社会交往的关键。在本文中,我们提出了两种不同的搜索技术,可以应用于改善任意商定的政策,在合作的部分可观察的游戏。第一个,单代理搜索,有效地将问题转化为一个单一的代理设置,使所有,但一个代理根据商定的政策发挥。相比之下,在多智能体搜索中,所有智能体执行相同的公共知识搜索过程,只要这样做在计算上是可行的,否则就回到根据商定的策略进行游戏。我们证明,这些搜索过程在理论上可以保证至少保持商定策略的原始性能(直到有界近似误差)。在Hanabi的基准挑战问题中,我们的搜索技术大大提高了我们测试的每个代理的性能,当应用于使用RL训练的策略时,在游戏中获得了24.61 / 25的最新得分,而之前的最佳得分为24.08 / 25。
2019-12-05 cs.AI cs.MA
Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs
Toyohashi University of Technology(丰桥技术科学大学);University of Eastern Finland(东芬兰大学);Bielefeld University(比勒费尔德大学)
该研究提出以自然语言推理替代预定义 API 中间代码进行机器人任务规划,直接输出坐标级控制命令,并在多模态仿真基准上验证其可显著提升成功率及任务迁移能力。
2024-04-06 cs.AI cs.CL cs.RO
Cooperative Multi-Agent Reinforcement Learning with Hypergraph Convolution
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Singapore Management University(新加坡管理大学);University of Chinese Academy of Sciences(中国科学院大学)
近年来,多智能体系统(MAS)取得了巨大的成功。价值分解是多智能体系统中的一项重要工作,它是将联合行为价值分解为个体行为价值的过程。然而,许多价值分解方法忽略了不同代理之间的协调,导致臭名昭著的“懒惰代理”问题。为了提高多智能体系统的协调性,本文提出了超图卷积MIX(HGCN-MIX),一种将超图卷积与值分解相结合的方法。HGCN-MIX将代理及其关系建模为超图,其中代理是节点,节点之间的超边表示相应的代理可以协调以获得更大的奖励。然后,它训练一个超图,可以捕捉代理之间的协作关系。利用学习到的超图来考虑其他智能体的观察和行动如何影响他们的决策,MAS中的智能体可以更好地协调。我们在星际争霸II多智能体挑战基准中评估HGCN-MIX。实验结果表明,HGCN-MIX可以训练联合策略,优于或达到类似的性能水平,作为目前的国家的最先进的技术。我们还观察到,HGCN-MIX在具有大量代理的场景中具有更显着的性能改善。此外,我们进行了额外的分析,强调当超图学习更多的关系,HGCN-MIX可以训练更强的联合策略。
2022-04-28 cs.AI cs.LG cs.MA
Coordinated Anti-Jamming Resilience in Swarm Networks via Multi-Agent Reinforcement Learning
本文提出基于QMIX算法的多智能体强化学习框架,用于提升蜂群网络在反应式干扰下的通信韧性,通过仿真验证其在对抗环境中的有效性。
2025-12-18 cs.AI cs.DC cs.LG
Multi-Agent Coordination in Adversarial Environments through Signal Mediated Strategies
Politecnico di Milano(米兰理工大学)
许多真实世界的场景都涉及到必须协调行动以达到共同目标的代理团队。我们专注于设置在一个团队的代理人面临一个对手在一个零和,信息不对称的游戏。团队成员可以在游戏开始前协调他们的策略,但在游戏的游戏阶段无法沟通。例如,在桥牌、扑克牌中的共谋和投标中的共谋就是这种情况。在这种情况下,无模型RL方法通常无法捕获协调,因为代理的策略是以分散的方式执行的。我们的第一个贡献是一个博弈论的集中训练方案,有效地执行轨迹采样,以促进团队协调。当团队成员可以观察到彼此的行动,我们证明,这种方法可以证明产生均衡策略。然后,我们引入了一个信号为基础的框架,代表团队协调战略的缓冲区的过去的经验。每个团队成员的策略被参数化为一个神经网络,其输出取决于从学习的概率分布中提取的合适的外源信号。通过结合这两个元素,我们凭经验证明了在以前最先进的多智能体RL算法没有收敛到协调平衡的情况下。
2021-02-09 cs.AI cs.GT cs.LG
Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Columbia University(哥伦比亚大学)
本文提出将人类操作策略的预测特性引入机器人模仿学习,通过解耦任务相关状态转换与逆动力学建模,利用扩散模型预测未来状态并结合逆动力学模型计算动作,有效解决了双臂协调操作问题,在多模态目标和真实世界设置中均优于现有方法。
2025-03-30 cs.AI cs.RO
Coordinated Humanoid Manipulation with Choice Policies
UC Berkeley(加州大学伯克利分校)
本文提出选择策略,通过模块化遥控和模仿学习,实现人形机器人在无结构环境中的协调操作与高效学习。
2025-12-31 cs.AI cs.LG cs.RO
Modeling Strong and Human-Like Gameplay with KL-Regularized Search
Meta AI Research(Meta人工智能研究院);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学)
我们考虑的任务,建立强大的,但人性化的政策在多智能体决策问题,给出了人类行为的例子。模仿学习在预测人类行为方面很有效,但可能无法与专家人类的力量相匹配,而自我游戏学习和搜索技术(例如AlphaZero)可以带来强大的性能,但可能会产生人类难以理解和协调的政策。我们在国际象棋和围棋中表明,基于模仿学习策略的KL分歧的正则化搜索比单独的模仿学习具有更高的人类预测准确性和更强的性能。然后,我们介绍了一种新的遗憾最小化算法,该算法是正规化的基础上KL分歧从模仿学习的政策,并表明,使用该算法搜索无按外交产生的政策,匹配人类的预测准确性的模仿学习,同时大大加强。
2022-02-17 cs.AI cs.GT cs.LG
Independent and Decentralized Learning in Markov Potential Games
University of California, Berkeley(加州大学伯克利分校)
研究无限期折扣马尔可夫势博弈中的独立去中心化多智能体强化学习,提出基于双时间尺度的异步Q函数与策略更新动力学,并证明其收敛性。
2025-04-01 cs.AI cs.GT cs.LG
LocDiff: Identifying Locations on Earth by Diffusing in the Hilbert Space
University of Maine(缅因大学);SEAI Lab, University of Texas at Austin(得克萨斯大学奥斯汀分校SEAI实验室);University of Georgia(佐治亚大学);University of Maryland(马里兰大学);Google LLC(谷歌公司);Open AI(开放人工智能);Harvard University(哈佛大学)
提出多尺度潜在扩散模型LocDiff,通过球谐狄拉克德尔塔表示和CS-UNet架构在Hilbert空间中实现图像引导的地理位置生成,显著提升了图像地理定位的准确性和对未见位置的泛化能力。
2025-10-31 cs.AI cs.CV
AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation
Korea University(韩国大学);University of Michigan(密歇根大学);KT R&D Center(KT研发中心);Kakao Mobility(Kakao移动)
针对视觉运动策略在分布偏移下动作执行失败的问题,提出AxisGuide方法,通过渲染机器人基座坐标系轴并叠加提示通道,增强动作坐标理解,显著提升泛化性能。
2026-06-04 cs.AI cs.RO
Action Dependency Graphs for Globally Optimal Coordinated Reinforcement Learning
School of Automation, Chongqing University(重庆大学自动化学院)
本文提出用动作依赖图(ADG)建模非自回归的动作依赖策略,证明稀疏ADG在满足协调图条件时可实现全局最优,并开发了保证全局最优的策略迭代算法及与SOTA算法集成的实验验证。
2025-06-01 cs.AI cs.LG cs.SY
Don't Start from Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion
National University of Singapore(新加坡国立大学);Smart Systems Institute, NUS(新加坡国立大学智能系统研究所)
针对扩散模型用于模仿学习时因源分布为高斯噪声导致少扩散步、小数据下性能差的问题,提出基于随机插值框架的BRIDGER方法,可桥接任意策略,在仿真和真实机器人实验中性能优于现有最优扩散策略。
2024-07-11 cs.AI cs.LG cs.RO
Solving Multi-Model MDPs by Coordinate Ascent and Dynamic Programming
Department of Computer Science University of New Hampshire(计算机科学系 新罕布什尔大学)
本文针对NP难的多模型MDP问题,提出结合坐标上升与动态规划的CADP算法,通过迭代调整模型权重保证策略单调改进,理论证明不劣于WSU且在多个基准上显著胜出。
2024-07-08 cs.AI cs.LG
Geospatial Reasoning with Shapefiles for Supporting Policy Decisions
Rensselaer Polytechnic Institute(伦斯勒理工学院)
策略是存在于多个域中以支持决策制定的权威资产。它们描述了当域实体及其属性满足某些标准时,允许或推荐哪些操作。通常会发现包含地理规则的策略,包括命名位置之间的距离和包含关系。这些位置的多边形通常可以在地理空间数据集中找到编码。我们提出了一种方法来转换数据从地理空间数据集到关联数据使用OWL,PROV-O和GeoSPARQL标准,并利用这种表示来支持自动化的基于本体的政策决策。我们将我们的方法应用于位置敏感的无线电频谱政策,以确定Census.gov数据集中无线电发射机坐标和政策监管区域之间的关系。使用混合OWL推理和GeoSPARQL的政策评估管道,我们的方法实现了相关的地理空间关系,根据无线电频谱领域专家提出的一组要求。
2021-06-09 cs.AI cs.DB
Learning to Dynamically Coordinate Multi-Robot Teams in Graph Attention Networks
Georgia Institute of Technology(佐治亚理工学院)
在制造业中集成先进机器人技术的兴趣越来越大,促使人们重新集中精力开发实时调度解决方案,以协调这种环境中的人机协作。传统上,调度代理完成任务的时间和空间约束的问题已经接近精确的算法,这是计算上难以处理的大规模,动态协调,或近似的方法,需要领域专家手工艺为每个应用程序。我们试图克服这些传统方法的局限性,开发一种新的图形注意力网络配方自动学习功能的调度问题,让他们的部署。为了通过机器学习学习组合优化问题的有效策略,我们在非参数框架中将较小问题的模仿学习与较大问题的深度Q学习相结合,以实现机器人团队的快速,接近最优的调度。我们表明,我们的基于网络的政策,发现至少有两倍以上的解决方案,在所有的测试方案,在现有的最先进的方法。
2020-06-28 cs.AI cs.LG cs.RO
CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery
Simula Research Laboratory(Simula研究实验室);University of Oslo(奥斯陆大学)
研究自主系统恢复中传统强化学习问题,引入基于因果关系的CRRL框架,利用驾驶日志因果关系塑造训练信号,使策略与基于规则的恢复有效协作,提升相关指标。
2026-07-07 cs.AI cs.LG cs.SE
When Tomorrow Becomes Today: Self-Evolving Policies for Agentic Time-Series Forecasting
Ant International(蚂蚁国际);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
针对智能体时间序列预测中策略需随时间演化的问题,提出TimEvolve,通过将实现结果转化为对专家信任、路径选择和干预强度的持久联合更新,在八个领域上取得最优平均MSE和MAE排名。
2026-09-22 cs.AI cs.LG
Temporal-Attention Head Specialization During Video Diffusion Training
University of Colorado - Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Dolby Laboratories(杜比实验室);Fairleigh Dickinson University(菲尔莱狄更斯大学)
本研究通过检查点解析的逐头普查,发现视频扩散训练中仅少数时间注意力头(4-13%)特化,且集中于首个时间块,并收敛到局部帧路由模式,但未发现与视频质量的因果联系,同时提供了一种可迁移的分析方法。
2026-09-30 cs.AI cs.CV
Multi-robot Cooperative Pursuit via Potential Field-Enhanced Reinforcement Learning
Sun Yat-sen University(中山大学)
这是一个巨大的挑战,虽然有前途,协调集体机器人狩猎逃避者在一个分散的方式纯粹根据当地的观察。在本文中,这一挑战是解决了一种新的混合协同追踪算法,结合强化学习与人工势场法。在该算法中,分散的深度强化学习是用来学习合作的追求政策,是适应动态环境。将人工势场法作为预定义规则融入到学习过程中,提高了数据效率和泛化能力。数值仿真结果表明,所提出的混合设计优于香草强化学习或势场法设计的追求策略。此外,通过将学习到的追踪策略转移到现实世界的移动机器人中进行实验。实验结果表明,该算法在学习多个合作追捕策略的可行性和潜力。
2022-03-09 cs.AI cs.MA cs.RO
End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection
ByteDance(字节跳动)
本文提出了一种共享自主框架,通过结合VR远程操作和自主手VLA策略,实现高效的数据收集,从而训练端到端的VLA策略以提升机器人灵活操作能力。
2025-12-13 cs.AI cs.RO
Deontic Policies for Runtime Governance of Agentic AI Systems
CSEE Department UMBC Baltimore, MD, USA;Center for AI UMBC Baltimore, MD, USA;Information Systems Department UMBC Baltimore, MD, USA;CSAIL MIT Cambridge, MA, USA
针对大语言模型驱动的自主AI系统在安全、隐私和合规方面的治理挑战,提出AgenticRei框架,利用基于Rei的道义策略语言(OWL表示)在运行时通过逻辑引擎强制执行义务、豁免、冲突解决等治理约束,并兼容A2AS等标准。
2026-06-19 cs.AI cs.MA
Multi-Robot Collaboration through Reinforcement Learning and Abstract Simulation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究如何利用抽象仿真器进行多智能体强化学习,并通过保真度增强、训练优化和随机性修改将策略成功迁移到物理机器人足球协作任务中,性能接近RoboCup调优架构。
2025-03-07 cs.AI cs.RO
RoboBRIDGE: A Modular Framework for Bridging Policies to Robust Real-World Robotic Agents
Sungkyunkwan University(成均馆大学)
该研究针对视觉-语言-动作模型部署为机器人智能体的缺陷,提出 RoboBRIDGE 模块化框架,通过五大协同模块结合预训练 VLAs 构建鲁棒智能体,在多基准和现实场景中性能优于现有方案。
2026-07-31 cs.AI cs.RO
Collaborative Memory: Multi-User Memory Sharing in LLM Agents with Dynamic Access Control
Center for Advanced AI, Accenture(Accenture高级人工智能研究中心)
提出协作记忆框架,通过二分图编码动态访问控制,实现多用户LLM智能体环境中安全、可审计的跨用户记忆共享。
2025-05-23 cs.AI cs.CL cs.LG
Learning Coordination Policies over Heterogeneous Graphs for Human-Robot Teams via Recurrent Neural Schedule Propagation
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics and Intelligent Machines(机器人与智能机器研究所)
随着人机协作在劳动力中的增加,人机团队有效和直观地协调变得至关重要。传统的人-机器人调度方法要么利用精确的方法,这对于大规模的问题是难以解决的,并且难以考虑随机的、时变的人类任务性能,要么利用需要专家领域知识来开发的特定于应用的方法。我们提出了一个基于深度学习的框架,称为HybridNet,结合了异构的基于图的编码器与经常性的调度传播调度随机人类机器人团队的上限和下限的时间约束。HybridNet的编码器利用异构图注意力网络对初始环境和团队动态进行建模,同时考虑约束。通过将任务调度制定为顺序决策过程,HybridNet的递归神经调度传播器利用长短期记忆(LSTM)模型来传播动作的前向结果,以执行快速调度生成,从而消除了在每个任务代理对选择之间与环境交互的需要。由此产生的调度策略网络提供了一个计算量小但表达能力强的模型,该模型可通过强化学习算法进行端到端训练。我们开发了一个虚拟的任务调度环境,在多轮设置的混合人类机器人团队,能够模拟人类工人的随机学习行为。实验结果表明,HybridNet在确定性和随机性人类性能方面优于其他人类-机器人调度解决方案,与基于纯GNN的机器人相比,运行时间更快。
2023-01-30 cs.AI cs.LG cs.MA