Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability
University of Leeds(利兹大学)
评估由代理人对世界真实状态的部分观察所产生的不确定性的系统性影响对于理解广泛的情景至关重要。然而,以前的代理学习和决策建模工作要么缺乏系统的方法来描述这种不确定性的来源,要么把重点放在使用复杂的世界模型来获得最优策略上,这将对真实的代理施加不切实际的高认知需求。在这项工作中,我们的目标是有效地描述生物学上合理的和吝啬的学习代理人面对部分可观察的世界的涌现行为。因此,我们推导并提出了确定性强化学习动力学,其中代理只部分观察环境的真实状态。我们展示了广泛的适用性,我们的动态在不同类别的部分可观察的代理环境系统。我们发现,部分可观测性在一些特定的情况下创造了非直观的好处,指出了进一步研究这种影响的一般理解的方式。例如,部分观察型智能体可以更快、更稳定地学习更好的结果,甚至可以克服社会困境。此外,我们的方法允许应用动力系统理论的部分可观察的多智能体学习。在这方面,我们发现了灾难性极限环的出现,奖励制度之间的学习过程的关键放缓和学习动态的快速和缓慢方向的分离,所有这些都是由部分可观测性引起的。因此,所提出的动力学有可能成为生物学,社会科学和机器学习研究人员系统地研究相互作用的部分观察代理的影响的一个正式的,但实用的,轻量级的和强大的工具。
2022-04-14 cs.AI cs.LG cs.MA
When Does Opponent Modeling Pay Off? Spatial Inference Stabilises Reinforcement Learning under Partial Observability
Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
该研究提出融合空间对手模型的DQN,在部分可观测对称常和觅食博弈中稳定训练,可零样本迁移至未见过的对手,其价值由可见性、对手意图和资源密度等边界条件决定。
2026-10-14 cs.GT cs.LG cs.MA
On Memory Mechanism in Multi-Agent Reinforcement Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);US Army Research Lab(美国陆军研究实验室)
多智能体强化学习(MARL)通过引入额外的智能体和(潜在的)环境的部分可观测性来扩展(单智能体)强化学习(RL)。因此,用于解决MARL问题的算法结合了传统RL方法之外的各种扩展,例如合作代理之间的学习通信协议,该协议能够在竞争环境中交换私人信息或对对手进行自适应建模。一种流行的算法构造是记忆机制,这样代理的决策不仅取决于当前状态,还取决于观察到的状态和动作的历史。在本文中,我们研究了如何记忆机制可以是有用的环境中具有不同的属性,如可观察性,内在性和存在的通信信道。使用以前的工作和新的实验,我们表明,记忆机制是有帮助的,当学习代理需要模拟其他代理和/或通信时,以某种方式受到限制,但是,我们必须谨慎的代理实现有效的记忆通过其他手段。
2019-09-11 cs.AI cs.MA
Communication-Aware Multi-Agent Reinforcement Learning for Decentralized Cooperative UAV Deployment
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Boeing Research and Technology(波音研究与技术)
本文提出基于图的多智能体强化学习框架,通过集中训练分散执行策略,在部分可观测和间歇性链路条件下实现高效无人机协同部署,展示了在合作中继部署和对抗任务中的优越性能。
2026-08-07 cs.LG cs.MA cs.NI
SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning
EPFL(洛桑联邦理工学院);University of Oxford(牛津大学);University College London(伦敦大学学院);Meta AI;University of Manchester(曼彻斯特大学)
本文针对SMAC基准缺乏随机性和部分可观测性、开环策略即可获胜的问题,提出程序化生成场景并引入扩展部分可观测性挑战的SMACv2,以要求闭环策略,为下一代MARL方法提供更具挑战性的基准。
2023-10-17 cs.LG cs.MA
Scalable Multi-Agent Reinforcement Learning with General Utilities
University of California at Berkeley(加州大学伯克利分校);J.P. Morgan AI Research(摩根大通人工智能研究院)
针对通用效用下多智能体强化学习的完全可观测性限制问题,提出带影子奖励的分布式策略梯度算法,利用空间相关性衰减实现局部策略优化,首次在无完全观测条件下达成ε平稳收敛。
2023-08-27 cs.AI cs.LG cs.MA
Quantifying the Impact of Non-Stationarity in Reinforcement Learning-Based Traffic Signal Control
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
在强化学习(RL)中,处理非平稳性是一个具有挑战性的问题。然而,某些领域,如流量优化,本质上是非平稳的。其原因和影响是多方面的。特别是,在处理交通信号控制时,解决非平稳性是关键,因为交通状况随时间变化,并作为网络其他部分所采取的交通控制决策的函数。在本文中,我们分析了不同来源的非平稳性的影响,在网络中的交通信号,其中每个信号被建模为一个学习代理。更确切地说,我们研究了改变代理学习的\textit{context}的影响(例如,其经历的流速变化),以及降低真实环境状态的试剂可观测性的影响。部分可观测性可能导致不同的状态(其中不同的动作是最佳的)被交通信号代理视为相同的。这反过来可能导致次优性能。我们表明,缺乏合适的传感器提供一个代表性的观察的真实状态似乎影响性能更剧烈的变化,基本的交通模式。
2020-04-09 cs.AI cs.LG cs.MA
Collaborative Optimization of the Age of Information under Partial Observability
针对部分可观测网络中多传感器共享有限信道导致AoI恶化的问题,提出去中心化传输策略,结合粒子滤波与平均场控制及强化学习,协同最小化期望AoI。
2023-12-20 cs.DC cs.LG cs.MA
Networked Agents in the Dark: Team Value Learning under Partial Observability
INESC-ID/Instituto Superior Técnico(INESC-ID/高等技术学院);PUC-Rio(里约天主教大学)
针对网络化智能体在部分可观测下的协作问题,提出基于共识机制与梯度下降的分布式MARL方法DNA-MARL,在基准场景中性能优于现有方法,拓展了现实应用范围。
2025-01-15 cs.AI cs.LG cs.MA
Reinforcement Learning for Location-Aware Scheduling
University of California, Irvine(加州大学欧文分校);Zebra Technologies(斑马技术公司)
动态调度和资源管理的最新技术已经在仓库环境中找到了应用,因为它们能够以更高的时间分辨率组织和优先化任务。深度强化学习作为一种学习范式的兴起,使分散的代理种群能够发现复杂的协调策略。然而,同时训练多个代理在训练中引入了许多障碍,因为观察和动作空间变得指数级大。在我们的工作中,我们通过实验量化了仓库环境的各个方面(例如,平面图复杂度、关于代理的活动位置的信息、任务并行性级别)影响性能和执行优先级。为了实现效率,我们提出了一个紧凑的表示的状态和动作空间的位置感知多智能体系统,其中每个代理只有自我和任务坐标的知识,因此只有部分的可观测性的底层马尔可夫决策过程。最后,我们展示了在某些环境中训练的代理如何在完全看不见的设置中保持性能,并将性能下降与平面图几何形状相关联。
2022-03-07 cs.LG cs.MA
HyPOLE: Hyperproperty-Guided Multi-Agent Reinforcement Learning under Partial Observation
提出HyPOLE框架,利用超属性逻辑HyperLTL在部分观测下引导多智能体强化学习,结合CTDE合成去中心化策略,在多个基准上优于基线方法。
2026-07-01 cs.AI cs.LO cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Stanford University(斯坦福大学)
本文提出了一种定义的多个代理优化联合奖励函数的背景下,系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配,然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境,具有系统健康,冒险,半消耗性代理,连续动作空间,和部分可观察性的特点,证明。与不执行多代理信用分配的策略梯度方法相比,我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
Hierarchically Structured Scheduling and Execution of Tasks in a Multi-Agent Environment
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Zebra Technologies(斑马技术公司)
在仓库环境中,任务是动态出现的。因此,过早地将他们与劳动力相匹配的任务管理系统(例如,提前几周)是次优的。此外,这种系统的动作空间的快速增加的大小构成了传统调度器的一个重要问题。然而,强化学习适合于处理需要为长期目标(通常是远程目标)做出连续决策的问题。在这项工作中,我们设置自己的一个问题,提出了一个层次结构:任务调度,由一个集中的代理,在一个动态的仓库多智能体环境和执行这样的时间表,由分散的代理,只有部分的可观测性。我们建议使用深度强化学习来解决高级调度问题和调度执行的低级多代理问题。最后,我们还设想的情况下,集中化是不可能的,在测试时,工人必须学会如何合作,在执行任务的环境中,没有时间表,只有部分可观测性。
2022-03-06 cs.LG cs.MA stat.ML
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab(启元实验室)
LERO框架结合LLM与进化优化,通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题,在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
Game Theory and Multi-Agent Reinforcement Learning : From Nash Equilibria to Evolutionary Dynamics
AIFI(AIFI机构);AllRead(AllRead机构)
本文系统分析MARL面临的非平稳性、部分可观测性、可扩展性与去中心化学习四大挑战,阐述将纳什均衡、演化博弈论、相关均衡及对抗动力学融入MARL算法的方法,以提升多智能体系统在复杂动态环境中的鲁棒性和有效性。
2024-12-29 cs.AI cs.GT cs.MA
Double Distillation Network for Multi-Agent Reinforcement Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Automation Engineering, University of Electronic Science and Technology of China(电子科技大学自动化工程学院)
本文提出双重蒸馏网络(DDN),通过外部蒸馏调和全局训练与局部执行差距,并利用内部蒸馏引入内在奖励增强探索,从而提升多智能体协作性能。
2025-02-05 cs.LG cs.MA
A Unified Framework for Factorizing Distributional Value Functions for Multi-Agent Reinforcement Learning
National Tsing Hua University(国立清华大学);NVIDIA Corporation(英伟达公司)
针对完全协作 MARL 中部分可观测与策略非平稳导致的随机性,提出统一框架 DFAC,将分布式 RL 与价值函数分解结合,并在矩阵博弈及 SMAC 高难度地图上验证其性能优势。
2023-06-04 cs.LG cs.MA
Sampling-Based Coordination-Informed Multi-Objective Multi-Robot Reinforcement Learning
University of Cambridge(剑桥大学);CNRS, Univ Rennes, Inria, IRISA(法国国家科学研究中心、雷恩大学、法国国家信息与自动化研究所、IRISA);California Institute of Technology(加州理工学院)
提出CIMORL框架,通过分布式权重预测、特权专家训练和采样变体(CIMORL-TS/MPPI),在合作与对抗场景中实现Pareto最优解,超体积提升21.2%。
2026-09-15 cs.MA cs.RO
Reinforcement learning for pursuit and evasion of microswimmers at low Reynolds number
Università “Sapienza”(罗马第一大学);University of Rome Tor Vergata(罗马第二大学);Istituto dei Sistemi Complessi, CNR(意大利国家研究委员会复杂系统研究所);The Abdus Salam International Centre for Theoretical Physics - ICTP(阿卜杜勒·萨拉姆国际理论物理中心)
我们考虑一个模型的两个竞争的微游泳剂从事追逐逃避任务内的低雷诺数的环境。智能体只能执行简单的机动和感知流体动力学扰动,这提供了关于对手位置和运动的模糊(部分)信息。我们把这个问题看作是一个零和博弈:追捕者必须在最短的时间内抓住逃避者,而逃避者的目标是尽可能推迟抓捕。我们表明,通过对抗性强化学习训练的代理能够通过发现越来越复杂的移动和反移动序列来克服部分可观察性,这些移动和反移动序列优于已知的启发式策略并利用流体动力学环境。
2022-03-02 cs.LG cs.MA nlin.CD
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Learning to Communicate with Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院);Google DeepMind(谷歌DeepMind)
我们考虑的问题,多个代理感知和行动的环境中的目标是最大限度地提高他们的共享效用。在这些环境中,代理必须学习通信协议,以便共享解决任务所需的信息。通过拥抱深度神经网络,我们能够展示在复杂环境中协议的端到端学习,这些复杂环境受到通信谜语和具有部分可观测性的多代理计算机视觉问题的启发。我们提出了两种方法在这些领域的学习:加强代理间学习(RIAL)和可区分的代理间学习(DIAL)。前者使用深度Q学习,而后者利用了这样一个事实,即在学习过程中,代理可以通过(噪声)通信信道反向传播错误导数。因此,这种方法使用集中学习,但分散执行。我们的实验引入了新的环境,研究学习的通信协议,并提出了一套工程创新,在这些领域的成功是必不可少的。
2016-05-24 cs.AI cs.LG cs.MA
Reward-Independent Messaging for Decentralized Multi-Agent Reinforcement Learning
Kyoto University(京都大学);Research Organization of Science and Technology(科学技术研究机构);Ritsumeikan University(立命馆大学)
提出 MARL-CPC 框架,通过集体预测编码将消息与状态推断关联,支持非合作、奖励无关场景下完全去中心化智能体间的通信,其算法表现优于传统消息即动作方法。
2025-05-28 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Multi-Agent Systems: A Review of Challenges, Solutions and Applications
Institute for Intelligent Systems Research and Innovation(智能系统研究与创新学院);Deakin University(迪肯大学)
强化学习(RL)算法已经存在了几十年,并用于解决各种顺序决策问题。然而,这些算法在处理高维环境时面临着巨大的挑战。最近深度学习的发展使RL方法能够为复杂和有能力的代理驱动最佳策略,这些代理可以在这些具有挑战性的环境中有效地执行。本文讨论了深度强化学习的一个重要方面,即需要多个代理进行通信和合作以解决复杂任务的情况。综述了与多智能体深度强化学习(MADRL)相关的问题的不同方法,包括非平稳性、部分可观测性、连续状态和动作空间、多智能体训练方案、多智能体迁移学习。本文将对这些方法的优缺点进行分析和讨论,并探讨它们的应用。据设想,这一审查提供了有关各种MADRL方法的见解,并可能导致未来开发更强大和非常有用的多智能体学习方法来解决现实世界中的问题。
2019-02-06 cs.AI cs.LG cs.MA
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore(新加坡国立大学)
审核目的:传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门,该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习(MARL)为多机器人系统(MRS)设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果:分散MRS面临的基本挑战,如非平稳性和部分可观测性。建立在“集中培训,分散执行”的范式,最近的MARL方法包括独立学习,集中批评,价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能(如多机器人运动/路径规划)进行演示。摘要:本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序,并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA