Optimization under Attack: Resilience, Vulnerability, and the Path to Collapse
本文首次通过超280亿个真实数据驱动的多智能体优化场景,系统揭示分布式优化在对手攻击下从韧性到脆弱再到崩溃的演化轨迹,并公开基准数据集,为对抗性分布式优化的容错与自愈策略设计提供新依据。
2025-06-04 cs.MA
An Agent-based Model Simulation Approach to Demonstrate Effects of Aging Population and Social Service Policies on Pensions Fund and Its Long-term Socio-economic Consequences
本文提出利用基于智能体的建模(ABM)方法模拟人口老龄化与社会服务政策对养老基金的影响,展示了ABM在生成场景和评估适应性政策以支持社会政策制定方面的优势。
2025-04-01 cs.MA
The Limits of Manipulation within Personalized Incentive Policies
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(巴黎理工学院);Institut Polytechnique de Paris(巴黎理工学院);Technical University of Denmark(丹麦技术大学);Massachusetts Institute of Technology(麻省理工学院);The Hebrew University Business School(希伯来大学商学院)
本文针对个性化激励政策中智能体的操纵问题,构建斯塔克尔伯格博弈模型,考虑监管机构的特征学习过程,发现分类不确定性可威慑操纵,该框架可用于测试政策稳健性。
2026-10-12 cs.MA
Risk-seeking conservative policy iteration with agent-state based policies for Dec-POMDPs with guaranteed convergence
McGill University(麦吉尔大学);Earth Species Project(地球物种项目)
本文提出一种迭代最佳响应算法,通过修改目标函数在Dec-POMDP中实现风险寻求与保守策略迭代,以在有限内存下获得局部最优解。
2026-04-10 cs.MA
Multi-Agent Adversarial Attacks for Multi-Channel Communications
Duke University(杜克大学)
近年来,强化学习(RL)已被应用于无线通信网络中的抗对抗措施。然而,从对手的角度研究基于RL的方法很少受到关注。此外,在对抗或对抗范例中基于RL的方法主要考虑单信道通信(信道选择或单信道功率控制),而多信道通信在实践中更常见。在本文中,我们提出了一个多代理对手系统(MAAS)的建模和分析对手在无线通信场景下仔细设计的奖励功能,在现实的通信场景。特别是,通过将对手建模为学习代理,我们表明,所提出的MAAS能够成功地选择传输信道及其各自的分配功率,而无需任何发送方策略的先验知识。与单智能体对抗(SAA)相比,多智能体在相同的功率约束和部分可观测性条件下,可以显著降低系统的信噪比(SINR),同时提高系统的稳定性和学习效率。此外,通过实证研究,我们表明,在模拟的结果是接近的,在现实中的通信,一个结论是关键的有效性模拟评估代理的性能。
2022-01-27 cs.IT cs.LG cs.MA
Multi-Agent Interactions Modeling with Correlated Policies
Shanghai Jiaotong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在多智能体系统中,由于智能体之间的高度相关性,产生了复杂的交互行为。然而,以前的工作建模多智能体交互演示主要是通过假设政策和奖励结构之间的独立性的限制。在本文中,我们投的多智能体交互建模问题到多智能体模仿学习框架与相关的政策,通过近似对手的政策,这可以恢复代理的政策,可以再生类似的互动显式建模。因此,我们开发了一种具有相关策略的分散式对抗模仿学习算法(CoDAIL),该算法允许分散式训练和执行。各种实验表明,CoDAIL可以更好地重新生成接近演示者的复杂交互,并优于最先进的多智能体模仿学习方法。我们的代码可在\url{https://github.com/apexrl/CoDAIL}上获得。
2020-06-11 cs.LG cs.MA
Adversarial Linear-Quadratic Mean-Field Games over Multigraphs
在本文中,我们提出了一个游戏之间的一个外生的对手和网络的代理商通过多重图连接。多重图由(1)全局图结构和(2)局部图结构组成,全局图结构捕获代理之间的虚拟交互,局部图结构捕获代理之间的物理/局部交互。每个代理的目标是通过最小化与其局部图相关联的局部成本和与全局图相关联的全局成本,以分散的方式与其他代理达成共识。另一方面,外生对手的目标是最大化多图中所有代理的平均成本。我们推导出纳什均衡政策的代理和对手的平均场博弈设置,当代理人口在全球图是任意大的和“齐次混合”假设持有局部图。这种均衡是唯一的,每个代理的均衡马尔可夫政策取决于代理的本地状态,以及代理的本地和全球平均场的影响。
2021-10-03 cs.MA cs.SY eess.SY
A Probabilistic Guidance Approach to Swarm-to-Swarm Engagement Problem
针对群对群作战问题,提出了一种概率制导方法。这个想法是基于驱动控制的群体对一个对手的群体,对手的群体的目标是收敛到一个固定的分布,对应于一个防御基地的位置。概率方法是基于设计一个马尔可夫链的分布的群体收敛到一个平稳的分布。这种方法是分散的,因此每个代理都可以独立于其他代理传播其位置。我们的主要贡献是制定的群到群的参与作为一个最优化问题,每个群体的人口衰减与每个参与,并确定所需的分布控制群收敛随时间变化的分布和消除代理的对手群,直到对手群进入防御基地的位置。我们证明了所提出的方法的有效性在几个群体参与的情况下。
2020-11-28 cs.MA math.DS math.OC
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);Army Research Lab(陆军研究实验室);University of California, Riverside(加州大学河滨分校)
多智能体强化学习(MARL)的许多最新突破需要使用深度神经网络,这对人类专家来说是一个解释和理解的挑战。另一方面,现有的可解释的强化学习(RL)的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望,但仅在单代理设置。为了填补这一空白,我们提出了第一套算法,从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法,IVIPER,扩展VIPER,最近的方法单代理可解释的RL,多代理设置。我们证明了IVIPER学习高质量的决策树政策,为每个代理。为了更好地捕捉代理之间的协调,我们提出了一种新的集中式决策树训练算法,MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树,并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明,这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
Security Against Impersonation Attacks in Distributed Systems
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Numerica Corporation(Numerica公司)
研究分布式决策中对抗性操纵的潜在风险,分析对手伪装为友好代理对部分代理决策规则的影响,探讨其对整体集体行为的颠覆性影响。
2017-11-02 cs.CR cs.GT cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich(慕尼黑大学);MaibornWolff(迈博尔夫公司)
多智能体系统(MAS)中的决策是一个巨大的挑战,由于巨大的状态和联合行动空间以及不确定性,使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性,但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题,在复杂环境中会导致不稳定和不协调的行为。在本文中,我们提出了强紧急政策近似(STEP),一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此,我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合,只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间,并表明,STEP是能够学习更强的政策比标准的多智能体强化学习算法,结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中,以进一步提高性能。
2019-01-25 cs.AI cs.MA
Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies
University of California, Merced(加州大学默塞德分校)
本研究揭示多智能体Transformer策略在排列鲁棒性评估中的陷阱,提出结合动作坍缩诊断,并发现弱等变性正则化可在保持动作多样性的同时提升鲁棒性。
2026-10-05 cs.LG cs.MA cs.RO
TAB-Fields: A Maximum Entropy Framework for Mission-Aware Adversarial Planning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对对抗策略未知但受任务与环境约束的规划问题,提出基于最大熵的 TAB-Fields 表示及 TAB-conditioned POMCP,并通过水下与地面机器人实验验证其优于基线。
2024-12-03 cs.AI cs.LG cs.MA
Agent Probing Interaction Policies
Carnegie Mellon University(卡内基梅隆大学)
多智能体系统中的强化学习是困难的,因为这些系统本质上是非平稳的。在这种情况下,识别对方的类型是至关重要的,可以帮助我们解决这个非静止的环境。我们已经研究了我们是否可以采用一些探测政策,帮助我们更好地识别环境中的其他代理的类型。我们做了一个简化的假设,即另一个智能体有一个固定的策略,我们的探测策略试图近似。我们的工作扩展了环境探测互动政策框架,以处理多代理环境。
2019-12-13 cs.AI cs.LG cs.MA
City-scale Simulation of Covid-19 Pandemic and Intervention Policies using Agent-based Modelling
在2019冠状病毒病大流行期间,世界各地的大多数政府都实施了封锁公共场所和限制人们行动等政策,以尽量减少病毒通过身体接触传播。然而,这些政策会造成严重的社会和经济代价,因此必须预先评估其影响。在这项工作中,我们的目标是可视化的流行病在不同的干预政策下,通过模拟居民的行为在一个城市的动态。我们为一个城市开发了一个非常详细的基于代理的模型,包括它的居民,物理和社会空间,如家庭,市场,工作场所,学校/学院等。我们证明,在适当选择参数的情况下,我们的模型能够重现在加尔各答观察到的新冠肺炎大流行的动态,也表明了替代干预政策的反事实结果。
2021-09-09 cs.MA stat.AP
On Location Hiding in Distributed Systems
我们考虑以下问题-一组移动代理执行一些任务的地形建模为图。在给定的时刻,对手可以访问代理的图形和位置。在对手观察之前不久,移动代理有机会重新定位自己,以隐藏其初始配置。我们假设初始配置可能会向对手透露一些关于他们执行的任务的信息。显然,代理必须在可能短的时间内使用最少的能量改变它们的位置。在我们的论文中,我们介绍了一个\emph{well hiding}算法的定义,在该算法中,代理的起始和最终配置有小的互信息。然后讨论了模型的各种特征对最优隐藏算法运行时间的影响。我们表明,如果图的拓扑结构是已知的代理,那么步骤的数量成比例的图的直径是充分和必要的。在未知拓扑的情况下,我们只考虑一个单一的代理的情况。我们首先表明,任务是不可能的确定性的情况下,如果代理没有记忆。在此基础上提出了一种多项式随机算法。最后,在有记忆的模型中,我们证明了步数与图的边数成正比是充分必要的。在某种意义上说,我们调查如何复杂的是“丢失”的信息的位置(物理和逻辑)不同的设置的问题。
2016-11-13 cs.DC cs.MA
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China(中国科学技术大学)
针对多智能体强化学习(RL)中的非平稳性问题,提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设,是多智能体RL的关键挑战之一。为了解决这个问题,我们建议训练多个政策,为每个代理,并推迟执行时的最佳政策的选择。具体来说,我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外,每个代理还学习策略预测器,以确定哪个策略是最好的。通过这样做,每个代理都能够在环境变化时调整其策略,并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明,我们的算法训练的代理人有更好的适应性,在不断变化的环境中,并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
Adversarial Environment Generation for Learning to Navigate the Web
Google Research(谷歌研究院)
学习自主浏览网页是一项困难的连续决策任务。状态空间和动作空间在本质上是大的和组合的,并且网站是由多个页面组成的动态环境。训练Web导航代理的瓶颈之一是提供一个可学习的训练环境课程,可以覆盖各种各样的现实世界的网站。因此,我们建议使用对抗环境生成(AEG)来生成具有挑战性的网络环境,在其中训练强化学习(RL)代理。我们提供了一个新的基准测试环境,gMiniWoB,它使RL对手能够使用组合原语来学习生成任意复杂的网站。为了训练对手,我们提出了一种新的技术,最大限度地利用一对导航代理所获得的分数的差异后悔。我们的研究结果表明,我们的方法显着优于以前的方法极小极大遗憾AEG。遗憾的目标训练对手设计的环境,是“公正的权利的挑战”的导航代理课程,我们的研究结果表明,随着时间的推移,对手学会生成越来越复杂的网络导航任务。用我们的技术训练的导航员代理学习完成具有挑战性的,高维的网络导航任务,如表单填写,预订航班等。我们表明,用我们提出的灵活的b-PAIRED技术训练的导航员代理在一组具有挑战性的看不见的测试环境中显着优于竞争力的自动课程生成基线-包括最先进的RL网络导航方法,并且在某些任务上达到80%以上的成功率。
2021-03-02 cs.AI cs.LG cs.MA
Universal Policies to Learn Them All
University of Central Florida(中佛罗里达大学)
我们探索了一个协作和合作的多智能体强化学习设置,一个团队的强化学习代理试图解决一个单一的合作任务,在多场景设置。我们提出了一种新的多智能体强化学习算法的启发,普遍的价值函数逼近器,不仅概括了状态空间,但也在一组不同的情况。此外,为了证明我们的主张,我们引入了一个具有挑战性的2D多智能体城市安全环境,其中学习智能体试图在各种场景中保护一个人免受附近旁观者的伤害。我们的研究表明,最先进的多智能体强化学习算法无法在多个场景中推广单个任务,而我们提出的解决方案与依赖于机器人的策略一样有效。
2019-08-24 cs.LG cs.MA
AgentMixer: Multi-Agent Correlated Policy Factorization
Aalto University(阿尔托大学);University of Electronic Science and Technology of China(电子科技大学)
针对多智能体强化学习中CTDE方法独立决策难协调、模仿联合策略易出现非对称学习失败的问题,提出AgentMixer策略修正方法,通过非线性组合个体策略与个体-全局一致性机制实现分布式执行,收敛到ε-近似相关均衡,在多个基准上性能优于或持平SOTA。
2024-12-13 cs.AI cs.MA
Scalable Reinforcement Learning Policies for Multi-Agent Control
University of Pennsylvania(宾夕法尼亚大学)
我们开发了一个多智能体强化学习(MARL)方法来学习可扩展的目标跟踪控制策略。我们的方法可以处理任意数量的追求者和目标,我们显示的任务组成的1000个追求者跟踪1000个目标的结果。我们使用一个分散的,部分可观察的马尔可夫决策过程框架模型的追求者作为代理接收部分观察(范围和轴承)的目标,使用固定的,未知的政策。使用注意力机制来参数化代理的价值函数;该机制允许我们处理任意数量的目标。熵正则化的政策外RL方法用于训练一个随机的政策,我们讨论它如何使追求者之间的对冲行为,导致一个弱形式的合作,尽管完全分散控制执行。我们进一步开发了一个掩蔽启发式算法,允许在较小的问题上进行训练,很少有追求者目标,并且可以在更大的问题上执行。彻底的模拟实验,消融研究,并比较最先进的算法进行研究的方法和性能的鲁棒性,以不同数量的代理和目标的可扩展性。
2021-11-10 cs.LG cs.MA
On the Near-Optimality of Local Policies in Large Cooperative Multi-Agent Reinforcement Learning
Purdue University(普渡大学)
我们表明,在一个合作的$N$代理网络,可以设计本地可执行的代理政策,使所得到的平均奖励(值)的折扣和很好地近似于所有(包括非本地)的政策计算的最优值。具体地说,我们证明,如果$|\mathcal{X}|, |\mathcal{U}|$表示状态的大小,和行动空间的个体代理,然后充分小的折扣因子,近似误差是由$\mathcal{O}(e)$其中$e\triangleq \frac{1}{\sqrt{N}}\left[\sqrt{|\mathcal{X}|}+\sqrt{|\mathcal{U}|}\right]$。此外,在奖励和状态转移函数独立于群体的动作分布的特殊情况下,误差改进为$\mathcal{O}(e)$,其中$e\triangleq \frac{1}{\sqrt{N}}\sqrt{|\mathcal{X}|}$。最后,我们还设计了一个算法来显式地构造一个本地策略。借助于我们的近似结果,我们进一步建立了所构造的局部策略是在最优策略的$\mathcal{O}(\max\{e,ε\})$距离内,并且对于任何$ε>0$,实现这样的局部策略的样本复杂度是$\mathcal{O}(ε^{-3})$。
2022-09-07 cs.LG cs.MA
Metric Policy Representations for Opponent Modeling
Peking University(北京大学)
在多智能体强化学习中,由于其他智能体的行为所导致的环境固有的非平稳性,使得智能体很难独立地学习到一个好的策略。处理非平稳性的一种方法是对手建模,通过这种方法,代理考虑到其他代理策略的影响。大多数现有的工作依赖于预测其他代理的行动或目标,或区分不同的政策。然而,这样的建模无法同时捕捉政策之间的相似性和差异性,从而无法提供足够的有用信息时,推广到看不见的代理。为了解决这个问题,我们提出了一个通用的方法来学习其他代理的政策表示,这样的政策之间的距离是故意反映的距离表示之间的距离,而政策的距离是从训练过程中的采样联合行动分布推断。我们的经验表明,代理条件的学习政策表示可以很好地推广到看不见的代理在三个多智能体任务。
2022-06-21 cs.AI cs.LG cs.MA
Learning Individual Policies in Large Multi-agent Systems through Local Variance Minimization
Institute of High Performance Computing, Agency for Science, Technology and Research(高性能计算研究所,科技研究局);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
在具有大量代理的多代理系统中,通常每个代理对其他代理的价值的贡献是最小的(例如,聚合系统,例如Uber、Umboo)。在本文中,我们考虑这样的多智能体系统中,每个代理是自私的,并采取了一系列的决定,并表示为一个随机非原子拥塞游戏(SNCG)。我们得到了非原子和几乎非原子的SNCG模型平衡解的关键性质。有了这些关键的平衡属性,我们提供了一种新的多智能体强化学习(MARL)机制,最大限度地减少在同一状态下的代理值之间的差异。为了证明这种新机制的实用性,我们提供了一个真实世界的出租车数据集和聚合系统的通用模拟器的详细结果。我们表明,我们的方法减少了出租车司机收入的差异,同时仍然提供更高的联合收入比领先的方法。
2022-12-27 cs.AI cs.MA
Near-Optimal Adversarial Policy Switching for Decentralized Asynchronous Multi-Agent Systems
Laboratory for Information and Decision Systems (LIDS), MIT(麻省理工学院信息与决策系统实验室);College of Computer and Information Science (CCIS), Northeastern University(东北大学计算机与信息科学学院);Department of Electrical Engineering, Princeton University(普林斯顿大学电气工程系)
多机器人和多智能体系统中的一个关键挑战是生成对其他自利甚至敌对方都具有鲁棒性的解决方案,这些解决方案积极试图阻止智能体实现其目标。解决这一挑战的现有工程的实用性仅限于小规模的同步决策方案或单个代理规划其最佳响应对一个单一的对手与固定的,程序化的特点战略。相比之下,本文认为更现实的一类问题,一个团队的异步代理有限的观察和通信能力,需要竞争对多个战略对手不断变化的战略。这个问题需要能够协调的代理来检测对手策略的变化并相应地计划最佳响应。我们的方法首先优化了一组代表这些最佳对策的策略。然后,这些优化的策略被集成到一个统一的策略中,该策略可以在对手改变策略时进行检测和响应。理论上建立了所提出的框架的近最优性,以及在模拟和硬件经验证明。
2017-10-17 cs.AI cs.MA
A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学)
自主智能体必须学会合作。每次任务的难度超过单个代理的能力时,开发新的集中式代理是不可扩展的。虽然多智能体协作的研究已经蓬勃发展,在网格世界的环境,相对较少的工作,认为视觉丰富的领域。为了解决这个问题,我们引入了一个新的任务“移动”,在这个任务中,智能体一起工作,将一件家具通过客厅移动到一个目标。与现有的任务不同,CIMOMove需要代理在每个时间步进行协调。我们确定了两个挑战时,训练代理完成CIMOMove:现有的分散行动抽样程序不允许表达联合行动的政策,在需要密切协调的任务,失败的行动的数量占主导地位的成功的行动。为了应对这些挑战,我们引入了同步策略(连贯地同步您的行动)和协调损失(CORDIAL)。通过使用SYNC策略和CORDIAL,我们的代理商实现了58%的移动支付完成率,比竞争对手的分散基线提高了25个百分点。我们的数据集,代码和预训练模型可在https://unnat.github.io/cordial-sync上获得。
2020-07-09 cs.AI cs.CV cs.LG
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据,天真的团队奖励最大化产生不公平的结果,为个别团队成员的动机。为了解决多智能体环境中的公平性问题,我们引入了团队公平性,这是一种基于组的多智能体学习公平性度量。然后,我们证明了它是可能的,以加强团队的公平性,在政策优化过程中,通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性(Fair-E),并以经验证明其有效性。然后,我们引入公平通过等变正则化(公平ER)作为公平E的软约束版本,并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后,我们提出了新的发现,在多代理设置的公平性效用权衡,显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning
Nanyang Technological University(南洋理工大学);Sea AI Lab(Sea人工智能实验室)
尽管最近在多智能体强化学习(MARL)方面取得了进展,但MARL智能体很容易过拟合训练环境,并且在其他智能体行为不同的评估场景中表现不佳。因此,获得MARL代理的可推广的政策是必要的,但主要是由于复杂的多代理交互的挑战。在这项工作中,我们用马尔可夫博弈模型的问题,并提出了一个简单而有效的方法,排名策略记忆(RPM),收集不同的多智能体轨迹训练MARL政策具有良好的泛化能力。RPM的主要思想是维护策略的查找存储器。特别是,我们试图通过对训练集回报进行排名来保存策略,从而获得各种级别的行为,即,训练环境中代理的事件返回;当事件开始时,学习代理可以从RPM中选择一个策略作为行为策略。这种创新的自我发挥训练框架利用代理的过去的政策,并保证了训练数据中的多代理交互的多样性。我们在MARL算法的基础上实现RPM,并在Melting Pot上进行了大量的实验。事实证明,RPM使MARL代理能够在多代理泛化评估场景中与看不见的代理进行交互并完成给定的任务,并且它可以显着提高性能,平均可达402%。
2022-10-18 cs.AI cs.LG cs.MA
Learning Hierarchical Teaching Policies for Cooperative Agents
MIT-LIDS(麻省理工学院信息与决策系统实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
当代理有效地与他们的同伴交换知识时,集体学习可以大大增强。特别是,最近研究学习教导其他队友的代理的工作表明,行动建议加速了团队范围的学习。然而,先前的工作已经通过使用简单的函数近似简化了建议策略的学习,并且仅考虑了具有原始(低级)动作的建议,从而限制了学习和教学到复杂域的可扩展性。本文介绍了一种新的学习教的框架,称为分层多智能体教学(HMAT),提高了可扩展性,复杂的环境中使用的学生政策的深层表示,并通过建议更有表现力的扩展动作序列在多个层次的时间抽象。我们的实证评估表明,HMAT提高了团队范围内的学习进展,在大型,复杂的领域,以前的方法失败。HMAT还学习教学策略,可以有效地将知识传递给具有不同任务知识的不同队友,即使队友具有异构的行动空间。
2020-05-18 cs.AI cs.LG cs.MA
JustAct: A Framework for Auditable Multi-Agent Systems Regulated by Inter-Organisational Policies
University of Amsterdam(阿姆斯特丹大学)
研究跨越组织边界的开放多智能体系统中行动受复杂政策监管的问题,提出JustAct框架,智能体可凭动态政策信息证明行动合理,通过特定语言和系统的实例及案例研究展示评估该框架。
2026-09-22 cs.DC cs.LO cs.MA
Multi-Agent Actor-Critic with Hierarchical Graph Attention Network
KAIST(韩国科学技术院)
大多数以前的研究多智能体强化学习集中在推导分散和合作的政策,以最大限度地提高共同的奖励,很少考虑训练的政策,以新的任务的可移植性。这可以防止将此类策略应用于更复杂的多代理任务。为了解决这些局限性,我们提出了一个模型,进行表示学习的多个代理使用层次图注意力网络和策略学习使用多代理actor-critic。层次图注意力网络是专门设计来模拟多个代理之间的层次关系,要么相互合作或竞争,以获得更先进的战略政策。两个注意力网络,代理间和组间的注意力层,被用来有效地模拟个人和群体层次的相互作用,分别。这两个注意力网络已被证明有助于将学到的策略转移到具有不同代理成分的新任务中,并允许人们解释学到的策略。经验上,我们证明,该模型优于现有的方法在几个混合的合作和竞争的任务。
2019-11-27 cs.AI cs.LG cs.MA
MATES: Learning Multi-Agent Interactions by Transforming Observations for Frozen Single-Agent Policies
University of Haifa(海法大学)
MATES通过为冻结的单智能体策略学习小型观测适配器,在不更新策略参数的情况下实现多智能体协调,仅优化3.5%-7.3%参数且性能优于从头训练。
2026-09-23 cs.MA cs.RO cs.SY
Budget Allocation Policies for Real-Time Multi-Agent Path Finding
本文提出了一种实时多智能体路径寻找中的预算分配策略,通过智能分配规划预算提升求解效率。
2026-02-23 cs.AI cs.MA cs.RO
Multi-Agent Path Finding with Delay Probabilities
University of Southern California(南加州大学)
几个最近开发的多智能体路径查找(MAPF)求解器通过在2个级别上搜索MAPF计划来扩展到大型MAPF实例:高级搜索解决智能体之间的冲突,低级搜索在高级搜索施加的约束下为单个智能体规划路径。我们做了以下贡献,以解决具有小平均完工时间的不完美计划执行的MAPF问题:首先,我们形式化了具有延迟概率的MAPF问题(MAPF-DP),定义了有效的MAPF-DP计划,并提出了对有效的MAPF-DP计划使用鲁棒的计划执行策略来控制每个代理如何沿着其路径进行。我们讨论了两类分散的鲁棒计划执行策略(称为完全同步策略和最小通信策略),它们在有效的MAPF-DP计划的计划执行期间防止冲突。第三,我们提出了一个2级MAPF-DP求解器(称为近似最小化的期望),产生有效的MAPF-DP计划。
2016-12-15 cs.AI cs.MA cs.RO
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Policies for allocation of information in task-oriented groups: elitism and egalitarianism outperform welfarism
沟通或影响网络可能是所有已知影响工作队解决问题能力的因素中最可控的。在连接是昂贵的情况下,有必要实施一项政策,将它们分配给个人。在这里,我们使用基于代理的模型来研究不同的分配政策如何影响一组代理的性能,其任务是找到NK适应度景观的全局最大值。代理通过广播消息通知他们的适应度进行合作,并使用这些信息来模仿他们影响力社区中最适合的代理。代理的影响邻域越大,代理接收的链接越多,因此接收的信息也越多。我们发现,精英政策,代理高于平均水平的健身有他们的影响力的邻域放大,而代理低于平均水平的健身有他们的放气,是最佳的平滑景观,提供组的大小不是太小。然而,对于崎岖的景观,精英政策在某些群体规模上表现得很差。此外,我们发现,平均主义的政策,其中的影响力的大小是相同的所有代理,是最佳的平滑和崎岖的景观的情况下,小团体。福利主义政策,其中精英主义政策的行动被逆转,总是次优的,即,根据群体的大小,精英主义或平等主义政策的效果都要好。
2019-08-01 cs.MA cs.SI nlin.AO
Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks
MPI-SWS(马克斯·普朗克软件系统研究所);Saarland University(萨尔兰大学)
在有针对性的中毒攻击中,攻击者操纵代理与环境的交互,迫使代理采用感兴趣的策略,称为目标策略。以前的工作主要集中在修改标准MDP原语的攻击,如奖励或转换。在本文中,我们研究了有针对性的中毒攻击在两个代理设置,攻击者隐式毒药的有效环境的代理之一,通过修改其同行的政策。我们开发了一个优化框架,设计最佳的攻击,其中的攻击成本的措施有多少解决方案偏离假设的默认策略的对等代理。我们进一步研究这个优化框架的计算特性。专注于一个表格设置,我们表明,在中毒攻击的基础上MDP原语(转换和(无界)奖励),这总是可行的,这是NP难的,以确定隐式中毒攻击的可行性。我们提供的表征结果,建立攻击问题的可行性的充分条件,以及攻击的最佳成本的上限和下限。我们提出了两种算法方法来找到一个最佳的对抗政策:基于模型的方法与表格政策和无模型的方法与参数/神经政策。我们通过实验展示了所提出的算法的有效性。
2023-02-27 cs.AI cs.CR cs.LG
Optimizing Indoor Navigation Policies For Spatial Distancing
Rutgers University(罗格斯大学);New Jersey Institute of Technology(新泽西理工学院);York University(约克大学);Toronto Rehabilitation Institute(多伦多康复研究所)
在本文中,我们专注于修改的政策,可以导致运动模式和方向指导的居住者,这是表示为代理在3D仿真引擎。我们展示了一种优化方法,该方法通过引入作为代理密度的函数的代理的空间距离的度量(即,占用)。我们的优化框架利用这些指标作为目标函数,使用混合的方法相结合的遗传算法和模拟退火。我们表明,在我们的框架内,模拟优化过程可以通过优化给定室内环境的导航策略来帮助提高代理之间的空间距离。
2022-06-04 cs.AI cs.GR cs.MA
Formal Verification of Learned Multi-Agent Communication Policies via Decision Tree Distillation
University of Arkansas at Little Rock(阿肯色大学小石城分校)
提出通过决策树蒸馏将多智能体强化学习策略转化为可解释模型,并利用PRISM进行形式化验证,确保安全属性转移至原始网络,在无人机编队任务中实现88.9%属性满足率。
2026-06-19 cs.AI cs.LG cs.LO
Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving
Virginia Tech(弗吉尼亚理工大学);Georgia Tech(佐治亚理工学院)
本文提出元多智能体强化学习框架,通过马尔可夫博弈建模和元纳什均衡概念,实现自动驾驶中交互策略的快速适应,并验证其优于预训练基线。
2026-10-02 cs.AI cs.MA cs.SY
Multi-agent Reach-avoid MDP via Potential Games and Low-rank Policy Structure
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文通过局部反馈策略和低秩结构优化多智能体可达-回避MDP,降低通信和计算复杂度,保证收敛到纳什均衡。
2026-04-09 cs.GT cs.MA cs.RO
Attentional Policies for Cross-Context Multi-Agent Reinforcement Learning
University of California Berkeley(加州大学伯克利分校)
本文提出了一种新的神经策略架构,用于解决多智能体问题,通过在策略层面学习多智能体关系,利用注意力机制实现智能体间的协作,优于传统方法并在大规模智能体场景中表现更优。
2019-05-31 cs.LG cs.MA cs.SY
Approximate Feedback Nash Equilibria with Sparse Inter-Agent Dependencies
Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所);Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(加州大学伯克利分校电气工程与计算机科学系);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文针对多智能体动态博弈中全状态反馈成本高且对噪声脆弱的问题,提出一种正则化动态规划方法,通过求解凸自适应组 Lasso 问题计算稀疏反馈策略以近似纳什均衡,并在 LQ 及非 LQ 博弈中验证了其收敛性和在噪声观测下最高降低 77% 成本的优势。
2025-04-09 cs.GT cs.MA cs.RO
Non-Stationary Policy Learning for Multi-Timescale Multi-Agent Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室);Maplewell Energy(Maplewell能源公司)
针对多时间尺度多智能体强化学习中非平稳策略学习难的问题,提出基于周期性时间编码和相位函数神经网络的策略梯度框架,经两类环境验证有效。
2023-07-17 cs.AI cs.LG cs.MA