Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California(南加州大学)
在多智能体强化学习中,通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中,由于网络条件随代理的移动性和传输过程的随机性而变化,通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略,解决三个基本问题:(1)当:代理学习的通信时间不仅基于消息的重要性,但也无线信道条件。(2)内容:代理通过无线网络测量增加消息内容,以更好地选择游戏和通信动作。(3)如何:代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息,而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试,我们显示出显着的改进,在游戏性能,收敛速度和通信效率相比,国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Communication Methods in Multi-Agent Reinforcement Learning
Telecooperation Institute, Johannes Kepler University Linz, Austria(telecooperation研究所,约瑟夫·胡斯大学林茨,奥地利)
本文综述了多智能体强化学习中不同通信方法的优缺点,指出无通用最优框架,需根据具体问题选择,并强调低计算开销和现实通信条件下的鲁棒性改进的重要性。
2026-01-19 cs.AI cs.LG cs.MA
DACOM: Learning Delay-Aware Communication for Multi-Agent Reinforcement Learning
University of Oslo(奥斯陆大学);NOOT Tech. Co., Ltd.(NOOT科技有限公司);Beijing University of Posts and Telecommunications(北京邮电大学)
在协作式多智能体强化学习(MARL)中,通信可以提高多智能体协作和整体性能。然而,由于大多数现有通信方案忽略了通信开销(例如,通信延迟)。在本文中,我们证明了忽略通信延迟对协作有不利影响,特别是在自动驾驶等延迟敏感的任务中。为了减轻这种影响,我们设计了一个延迟感知的多智能体通信模型(DACOM),以适应通信延迟。具体来说,DACOM引入了一个组件TimeNet,负责调整代理接收来自其他代理的消息的等待时间,以便解决与延迟相关的不确定性。我们的实验表明,DACOM有一个不可忽视的性能改善比其他机制,使通信的好处和等待消息的成本之间的更好的权衡。
2022-12-03 cs.LG cs.MA cs.NI
An Analysis of Discretization Methods for Communication Learning with Multi-Agent Reinforcement Learning
University of Antwerp(安特卫普大学);imec IDLab(imec IDLab研究院)
在多智能体强化学习中,当智能体无法观察环境的全部状态时,通信是至关重要的。允许代理之间学习通信的最常见方法是使用可区分的通信信道,该信道允许梯度在代理之间流动作为反馈的形式。然而,当我们想要使用离散消息来减小消息大小时,这是具有挑战性的,因为梯度不能流过离散通信信道。以前的工作提出的方法来处理这个问题。然而,这些方法在不同的通信学习架构和环境中进行了测试,因此很难对它们进行比较。在本文中,我们比较了几个国家的最先进的离散化方法,以及两种方法,还没有被用于通信学习之前。我们在使用其他代理的梯度进行通信学习的背景下进行这种比较,并在几个环境中进行测试。我们的研究结果表明,没有一种方法在所有环境中都是最好的。离散化方法的最佳选择在很大程度上取决于环境。然而,离散正则化单元(DRU),直通DRU和直通gumbel softmax在所有测试环境中显示出最一致的结果。因此,这些方法被证明是通用的最佳选择,而直通估计器和gumbel softmax可能在特定环境中提供更好的结果,但在其他环境中完全失败。
2022-04-12 cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Context-aware Communication for Multi-agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对多智能体强化学习中传统广播通信信息针对性不足、带宽受限场景下性能受限的问题,提出两阶段上下文感知通信协议CACOM,结合注意力机制生成个性化消息并采用LSQ量化降开销,在协作基准任务通信受限场景下性能优于基线。
2024-07-15 cs.LG cs.MA
Universally Expressive Communication in Multi-Agent Reinforcement Learning
InstaDeep Ltd.(InstaDeep公司);University of Oxford(牛津大学)
在多智能体强化学习中,允许智能体通过通信共享信息对于解决复杂任务至关重要。在这项工作中,我们考虑的问题,是否一个给定的通信协议可以表达任意的政策。通过观察,许多现有的协议可以被视为图神经网络(GNNs)的实例,我们证明了联合动作选择节点标记的等价性。由于标准GNN方法的表达能力有限,我们从现有的GNN文献中借鉴,并考虑用以下内容来增强代理观察:(1)唯一的代理ID和(2)随机噪声。我们提供了一个理论分析,这些方法如何产生普遍表达的沟通,也证明了他们能够针对任意一组相同的代理人的行动。从经验上讲,这些增强被发现,以提高表现性的沟通是必需的,而在一般情况下,最佳的通信协议被发现是任务相关的任务上的性能。
2023-01-13 cs.DM cs.LG cs.MA
Efficient Communication via Self-supervised Information Aggregation for Online and Offline Multi-agent Reinforcement Learning
Nanjing University(南京大学)
利用来自队友的消息可以提高协作多智能体强化学习(MARL)中的协调性。以前的作品通常将队友的原始消息与本地信息相结合,作为策略的输入。然而,忽略消息聚合会导致策略学习效率低下。受表示学习的最新进展的启发,我们认为,有效的消息聚合是合作MARL良好协调的必要条件。在本文中,我们提出了多智能体通信通过自监督信息聚合(MASIA),其中代理可以聚集接收到的消息到紧凑的表示与高相关性,以增强本地的政策。具体来说,我们设计了一个置换不变的消息编码器,从消息中生成公共信息聚合表示,并通过重建和拍摄未来的信息,在一个自我监督的方式进行优化。因此,每个代理将利用聚合表示的最相关的部分,通过一种新的消息提取机制进行决策。此外,考虑到离线学习在现实世界中的应用潜力,我们建立了多智能体通信的离线基准测试,这是我们所知道的第一个。实验结果表明,我们的方法在在线和离线设置的优越性。我们还发布了本文中构建的离线基准测试,作为通信能力验证的测试平台,以促进未来的进一步研究。
2023-02-19 cs.LG cs.MA
Communications-Incentivized Collaborative Reasoning in NetGPT through Agentic Reinforcement Learning
IEEE
本文提出NetGPT框架,通过代理强化学习实现AI原生xG网络的协作推理与自适应优化。
2026-01-31 cs.LG cs.MA
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota(明尼苏达大学)
本文研究了强化学习中的分布式策略优化问题,该问题涉及一个中央控制器和一组学习器。特别是,在几个应用程序中遇到的两个典型的设置被认为是:多智能体强化学习(RL)和并行RL,学习者和控制器之间的频繁的信息交换是必需的。然而,对于许多实际的分布式系统,这些频繁的通信交换所造成的开销是相当可观的,并成为整体性能的瓶颈。为了解决这一问题,提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信,在不降低学习性能的前提下减少了通信开销。它是建立解析:i)新的算法具有相同的收敛速度的平原香草策略梯度;而ii)如果分布式学习器是异构的,在他们的奖励功能,需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比,替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center(FEI大学中心)
受图神经网络在智能体通信方面的最新进展的启发,提出了一种多智能体通信能力的有向标记异构智能体图表示方法,其中节点标签表示智能体类,边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构,专门在完全合作的异构多智能体任务的通信,通过学习个人的转换,每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享,我们表现出相当或优越的性能,在环境中,有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
A Survey of In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Oxford(牛津大学)
本文针对强化学习智能体需通过反向传播更新参数优化策略的问题,综述了无需更新参数、仅以额外上下文为条件解决新任务的上下文强化学习相关研究。
2025-02-11 cs.LG
Communication Efficient Parallel Reinforcement Learning
Purdue University(普渡大学)
我们考虑的问题,$M$代理与$M$相同和独立的环境与$S$状态和$A$行动使用强化学习的$T$轮。代理与中央服务器共享数据,以尽量减少他们的遗憾。我们的目标是找到一个算法,允许代理,以尽量减少与不频繁的通信回合的遗憾。我们提供\NAM \,它运行在每个代理,并证明了$M$代理的总累积遗憾的上界为$\Tilde{O}(DS\sqrt{MAT})$的马尔可夫决策过程直径$D$,状态数$S$,和行动数$A$。代理同步后,他们的访问任何状态动作对超过一定的阈值。利用这一点,我们得到了$O\left(MSA\log(MT)\right)$上的通信轮总数的界。最后,我们评估算法对多种环境,并证明该算法的性能与始终通信版本的UCRL 2算法,而显着降低通信。
2021-02-22 cs.AI cs.LG cs.MA
On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
人类之间的明确沟通是协调和学习的关键。社会学习,它使用来自专家的线索,可以大大受益于使用明确的沟通,以调整异构的政策,降低样本的复杂性,并解决部分可观察的任务。紧急通信是一种显式通信,研究创建一种人工语言来直接从数据中编码高任务实用性消息。然而,在大多数情况下,紧急通信发送的消息压缩不足,信息很少或为空,这也可能无法理解第三方侦听器。提出了一种基于信息瓶颈的无监督方法,以捕获参考复杂度和任务特定效用,从而充分探索多智能体强化学习(MARL)中的稀疏社会通信场景。我们表明,我们的模型能够i)开发一个自然语言启发的信息词典,该信息词典独立地由一组新兴概念组成,这些概念以最小的位跨越观察和意图,ii)开发通信,以使异构代理的行动策略与不同的特征模型保持一致,iii)从观察专家的行动策略中学习通信策略,我们称之为“社会阴影”。
2023-02-28 cs.AI cs.LG cs.MA
A Survey of Multi-Agent Deep Reinforcement Learning with Graph Neural Network-Based Communication
Université Lyon 1, INSA Lyon, CNRS, LIRIS, UMR 5205(里昂1大学,里昂国立应用科学学院,国家科学研究中心,LIRIS,UMR 5205)
本文综述了基于图神经网络的多智能体强化学习通信方法,提出通用通信过程以明确方法核心思想。
2026-04-28 cs.AI cs.LG cs.MA
Reinforcement Communication Learning in Different Social Network Structures
Indiana University(印第安纳大学);University of California, Irvine(加利福尼亚大学欧文分校)
社会网络结构是人类语言进化的关键决定因素之一。以前的研究表明,社会互动网络塑造了人类群体中的分散学习,导致了不同类型的交流惯例的出现。我们研究了社会网络组织对分散的多智能体强化学习社区中出现的通信系统属性的影响。我们发现,社交网络的全球连通性驱动了共享和对称通信系统上的人口聚集,阻止了代理人形成许多本地“方言”。此外,代理人的程度是负相关的一致性,其使用的交际惯例。这些结果表明了社会网络结构的基本属性对强化交流学习的重要性,并对人类在词汇约定上的收敛性研究结果提出了新的解释。
2020-07-19 cs.AI cs.CL cs.LG
Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究情景式马尔可夫决策过程中的多智能体强化学习,提出一种基于值迭代的异步通信算法,利用线性函数近似实现了低通信开销下的高效合作,并给出了遗憾与通信复杂度的理论上下界。
2023-06-24 cs.AI cs.LG cs.MA
A survey of benchmarking frameworks for reinforcement learning
University of South Africa(南非大学)
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展,解决强化学习问题的方法也越来越多。当使用强化学习解决问题时,有各种困难的挑战需要克服。为了确保该领域的进展,基准测试对于测试新算法和与其他方法进行比较非常重要。因此,公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献,并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施,任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注,并鼓励以标准化的方式进行研究。此外,这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications(电气通信大学);Ritsumeikan University(立命馆大学)
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型,通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换,并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
SafeDiver: Cooperative AUV-USV Assisted Diver Communication via Multi-agent Reinforcement Learning Approach
针对水下潜水员通信难题,提出利用多智能体强化学习控制AUV与USV协同中继的方案,实现潜水员间及与水面平台的高速可靠通信,并经仿真验证有效性。
2025-10-23 cs.LG cs.MA cs.RO
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley(慕尼黑量子谷)
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现,实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
可解释强化学习(XRL)是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中,我们提出了一种新的分类法,用于组织XRL文献,优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距,我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
A Survey of Exploration Methods in Reinforcement Learning
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
探索是强化学习算法的重要组成部分,其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据,因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中,我们提供了(顺序)强化学习中的现代探索方法的调查,以及探索方法的分类。
2021-09-02 cs.AI cs.LG
Learning to Schedule Communication in Multi-agent Reinforcement Learning
KAIST(韩国科学技术院)
许多现实世界的强化学习任务需要多个智能体在智能体的交互下做出顺序决策,其中智能体之间的良好协调的动作对于在这些任务中更好地实现目标至关重要。加速协调效果的一种方法是使多个代理能够以分布式方式相互通信并作为一个组进行行为。在本文中,我们研究了一个实际的情况下,(一)通信带宽是有限的,(二)代理共享通信介质,使只有有限数量的代理能够同时使用该介质,在国家的最先进的无线网络标准。这就需要某种形式的通信调度。在这方面,我们提出了一个多智能体深度强化学习框架,称为SchedNet,在该框架中,智能体学习如何调度自己,如何编码消息,以及如何根据收到的消息选择动作。通过学习每个代理的部分观察信息的重要性,SchedNet能够决定哪些代理应该有权广播他们的(编码)消息。我们在两个不同的应用程序下,即合作通信和导航,和捕食者-猎物,对多个基线进行评估。我们的实验表明,在SchedNet和其他机制之间存在不可忽略的性能差距,例如没有通信和使用普通调度方法的机制,例如,循环,从32%到43%不等。
2019-02-05 cs.AI cs.LG cs.MA
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University(清华大学)
针对多智能体强化学习通信的可扩展性问题,提出基于Transformer的邮件机制框架,通过局部通信加消息链转发实现跨观测范围协作,在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
Reducing Variance Caused by Communication in Decentralized Multi-agent Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
针对去中心化多智能体深度强化学习(MADRL)中通信引入的策略梯度方差问题,本文通过理论分析提出模块化技术,将其应用于现有算法后在多任务上实现了高性能智能体并降低了训练方差。
2025-02-10 cs.LG
Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning
Zhejiang University(浙江大学);Zhejiang Lab(浙江实验室)
在联邦学习(FL)范式下,研究了独立强化学习(IRL)在多智能体决策过程中的应用。我们发现,FL可以明显提高IRL的培训效率和稳定性方面的政策性能。然而,由于策略参数是在本地训练的,并通过FL中的中央服务器迭代地聚合,因此频繁的信息交换会产生大量的通信开销。为了在提高模型的收敛性能和减少所需的通信和计算开销之间取得良好的平衡,本文提出了一个系统效用函数,并在周期平均法的基础上开发了一个基于共识的优化方案,该方案将共识算法引入FL中,用于交换模型的局部梯度。本文还提供了新的收敛性保证的发展方法,并通过理论分析和数值仿真结果表明,其优越的有效性和效率,提高系统的效用值。
2022-01-30 cs.AI cs.LG cs.MA
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University(普林斯顿大学)
强化学习(RL)的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL(MARL)的采样复杂度。我们调查的好处,在MARL的性能时,勘探是完全分散。具体来说,我们考虑了一类在线的,情景的,表格式的$Q$学习问题下随时间变化的奖励和过渡动态,其中代理人可以在分散的方式进行通信,我们表明,群体的表现,作为衡量的界限后悔,可以显着提高通过通信时,每个代理人使用分散的消息传递协议,即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限,取决于代理的数量,通信网络结构和$γ.$我们表明,将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果,并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
Aleph Alpha
我们采用协作式多智能体强化学习(MARL)设置来实现基于无人机的自主重新造林。代理可以作为动态变化的网络的一部分进行通信。我们在一个高影响力的问题背后探索协作和沟通。森林是控制二氧化碳上升的主要资源。不幸的是,全球森林体积正在以前所未有的速度减少。许多地区太大,很难穿越种植新的树木。为了有效地覆盖尽可能多的区域,在这里,我们提出了一个基于图神经网络(GNN)的通信机制,使合作。代理可以共享需要重新造林的区域的位置信息,这增加了查看的区域和种植的树木数量。我们比较我们提出的通信机制与多代理基线没有能力进行通信。结果表明,沟通如何实现协作,提高集体绩效,种植精度和个人代理的冒险倾向。
2022-11-14 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
Deep reinforcement learning of event-triggered communication and control for multi-agent cooperative transport
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
在本文中,我们探讨了一个多智能体强化学习的方法来解决多智能体合作运输的通信和控制策略的设计问题。典型的端到端深度神经网络策略可能不足以覆盖通信和控制;这些方法不能决定通信的定时并且只能与固定速率通信一起工作。因此,我们的框架利用事件触发的架构,即,一个反馈控制器,计算通信输入和触发机制,确定何时输入必须再次更新。使用多代理深度确定性策略梯度来有效地优化这种事件触发的控制策略。我们证实,我们的方法可以通过数值模拟来平衡传输性能和通信节省。
2021-03-29 cs.LG cs.RO
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣,从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习,因为它允许对高度复杂的系统进行自动和无模型的分析。然而,可扩展性的关键问题使控制和强化学习算法的设计复杂化,特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功,但许多智能体的问题很快变得棘手,需要特别考虑。在这项调查中,我们将阐明当前的方法来可追溯地理解和分析大人口系统,无论是通过多智能体强化学习,并通过相邻的研究领域,如平均场游戏,集体智慧,或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统,这可能是非常有用的制定易于处理的MARL算法在未来。最后,我们调查潜在的大规模控制的应用领域,并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向,初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
Attention-based Reinforcement Learning for Real-Time UAV Semantic Communication
Korea University(高丽大学);Deakin University(迪肯大学);University of Oulu(奥卢大学)
在这篇文章中,我们研究的问题,空-地超可靠和低延迟通信(URLLC)的移动地面用户。这是通过实时的控制多个无人机(UAV)来实现的,同时避免UAV之间的碰撞。为此,我们提出了一种新的多智能体深度强化学习(MADRL)框架,即图注意力交换网络(GAXNet)。在GAXNet中,每个无人机构建一个注意力图,局部测量其相邻无人机的注意力水平,同时与其他无人机交换注意力权重,以减少它们之间的注意力失配。模拟结果证实,GAXNet在训练期间获得了高达4.5倍的奖励。在执行时,与最先进的基线框架相比,GAXNet在不发生无人机间碰撞的情况下,实现了6.5倍的低延迟,目标错误率为0.0000001出错率。
2021-05-22 cs.AI cs.LG cs.MA
Emergent Communication in Multi-Agent Reinforcement Learning for Future Wireless Networks
New York University(纽约大学);NYU Tandon School of Engineering(纽约大学坦登工程学院);Technology Innovation Institute(技术创新研究院)
本文探讨了带有涌现通信的多智能体强化学习(EC-MARL)在未来6G无线网络中的应用,阐述其如何通过构建涌现通信协议实现协作,解决高维连续控制等复杂任务,并提供了算法设计准则、应用案例及研究机遇。
2023-09-12 cs.LG cs.MA eess.SP
Fast Reinforcement Learning for Anti-jamming Communications
Guangzhou University(广州大学);Xiamen University(厦门大学)
本文提出了一种用于抗干扰通信的快速强化学习算法,该算法以概率$τ$选择先前动作,并以概率$(1-τ)$应用$ε$ -贪婪。设计了一个基于前几个动作的平均值的动态阈值,并将概率$τ$公式化为类高斯函数来指导无线设备。作为一个具体的例子,所提出的算法在一个无线通信系统中实现对多个干扰。实验结果表明,该算法在信噪比和收敛速度方面优于Q学习、深度Q网络(DQN)、双DQN(DDQN)和基于优先经验应答的DDQN(PDDQN)。
2020-02-13 cs.LG eess.SP
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India(国际信息科技研究所,印度海得拉巴);Meta SuperIntelligence, USA(Meta超智能,美国)
本文综述了安全强化学习和约束马尔可夫决策过程,涵盖单智能体和多智能体安全方法,总结了理论基础和最新算法,并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Exponential Topology-enabled Scalable Communication in Multi-agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));Software Engineering Institute, East China Normal University(华东师范大学软件工程学院)
针对大规模多智能体强化学习中的通信扩展难题,提出基于指数拓扑的ExpoComm协议,利用小直径和小规模特性加速信息传播,并在MAgent等基准上验证了优越性能与零样本迁移能力。
2025-02-27 cs.AI cs.LG cs.MA
Scalability of Message Encoding Techniques for Continuous Communication Learned with Multi-Agent Reinforcement Learning
IDLab;Faculty of Applied Engineering(应用工程学院);University of Antwerp(安特卫普大学);imec
本文研究多智能体强化学习中消息编码的可扩展性,发现均值消息编码器始终优于注意力消息编码器,并揭示智能体通过结合指数与对数函数的通信策略避免信息丢失。
2023-08-09 cs.AI cs.LG cs.MA
Improving Coordination in Small-Scale Multi-Agent Deep Reinforcement Learning through Memory-driven Communication
University of Warwick(华威大学)
深度强化学习算法最近被用于以集中的方式训练多个交互代理,同时保持其执行分散。当智能体只能获得部分观测值并面临需要协调和同步技能的任务时,智能体通信起着至关重要的作用。在这项工作中,我们提出了一个框架,多智能体训练使用深度确定性的策略梯度,使并发,端到端学习的显式通信协议,通过内存设备。在训练过程中,智能体学习执行读写操作,使它们能够推断出世界的共享表示。我们的经验表明,并发学习的通信设备和个人的政策,可以提高代理间的协调和性能在小规模的系统。我们的实验结果表明,所提出的方法在多达六个代理的情况下实现了优异的性能。我们说明了如何不同的通信模式可以出现在六个不同的任务日益复杂。此外,我们还研究了破坏通信通道的影响,提供了随时间变化的记忆内容的可视化,因为底层任务正在解决,并通过消融研究验证了所提出的记忆设备的构建模块。
2019-10-29 cs.AI cs.LG cs.MA
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University(哈尔滨工程大学)
我们考虑使用多智能体深度强化学习和车辆到一切(V2X)通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励,以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励:基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是:基于等待车辆的共享奖励,以及所有代理的等待时间。每个代理都有一个内存,用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟(SUMO)模拟器评估多智能体。结果表明,该系统可以有效地优化交通信号,与传统的周期性交通控制系统相比,平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
A Short Survey on Probabilistic Reinforcement Learning
University of New Hampshire(新罕布什尔大学);Department of Computer Science(计算机科学系)
一个强化学习智能体试图通过在未知环境中的交互来最大化其累积收益。重要的是,智能体要探索次优行动,以及选择具有最高已知奖励的行动。然而,在敏感领域,通过探索收集更多数据并不总是可能的,但重要的是要找到一个具有一定性能保证的策略。在本文中,我们提出了一个简短的调查,在文献中的方法平衡探索-开发权衡和计算强大的解决方案,从固定的样本在强化学习。
2019-01-21 cs.LG stat.ML
Efficient Communication in Multi-Agent Reinforcement Learning via Variance Based Control
Harvard University(哈佛大学);Amazon Inc.(亚马逊公司);University of Toronto(多伦多大学)
多智能体强化学习(MARL)由于其在现实世界中的广泛应用而受到广泛关注。然而,实现代理之间的有效通信一直是MARL的首要问题。在这项工作中,我们提出了基于方差的控制(VBC),一个简单而有效的技术,以提高通信效率的MARL。通过在训练阶段限制Agent之间交换的消息的方差,可以有效地消除消息中的噪声分量,而有用的部分可以被Agent保留和利用以获得更好的性能。我们的评估使用一组具有挑战性的星际争霸II基准测试表明,我们的方法实现了$2-10\times$低于国家的最先进的MARL算法的通信开销,同时允许代理更好地合作,通过开发复杂的战略。
2019-11-01 cs.LG stat.ML
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge(剑桥大学)
本文提出CALF框架,通过在仿真中训练考虑通信延迟等网络条件的策略,减少实际部署中的性能差距,验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
PAC Guarantees for Cooperative Multi-Agent Reinforcement Learning with Restricted Communication
Technion, Israel(以色列理工学院)
我们开发模型免费PAC性能保证多个并发MDPs,扩展最近的作品,一个单一的学习者与多个非交互代理在一个无噪声的环境中进行交互。我们的框架允许嘈杂和资源有限的代理之间的通信,并在此扩展设置开发新的PAC保证。通过允许代理之间的通信,我们建议改进的PAC探索算法,可以克服通信噪声,并导致改进的样本复杂度界限。我们提供了一个理论上的动机的算法,最佳地结合信息的资源有限的代理,从而分析噪声和通信约束之间的相互作用,在现实世界的系统中是无处不在的。我们提出了一个简单的任务,支持我们的理论公式和改进后,天真的信息融合方法的经验结果。
2019-10-10 cs.LG stat.ML
A Visual Communication Map for Multi-Agent Deep Reinforcement Learning
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);School of Information Technology, Deakin University(迪肯大学信息技术学院)
深度强化学习已成功应用于解决各种现实问题,其在多智能体环境中的应用数量也在不断增加。多智能体学习在分配隐藏的通信介质方面显然提出了重大挑战。代理从介质中接收全面的知识,以确定分布式性质的后续动作。显然,目标是利用多个代理的合作来有效地实现指定的目标。最近的研究通常将专门的神经网络与强化学习结合起来,以实现代理之间的通信。然而,这种方法限制了代理的数量或需要系统的均匀性。在本文中,我们提出了一种更具可扩展性的方法,不仅可以处理大量的代理,还可以实现不同功能代理之间的协作,并与任何深度强化学习方法相结合。具体来说,我们创建了一个全球通信地图来表示系统中的每个代理的状态可视化。视觉地图和环境状态被馈送到共享参数网络以同时训练多个代理。最后,我们选择异步优势演员-评论家(A3 C)算法来证明我们提出的方案,即多智能体的视觉通信映射A3 C(VMA 3C)。仿真结果表明,视觉通信地图的使用提高了A3 C的学习速度,奖励的成就,和多智能体问题的鲁棒性的性能。
2021-02-23 cs.AI cs.GT cs.LG
Robust Remote Reinforcement Learning over Unreliable Communication Channels using Homomorphic State Encoding
本文提出一种名为HR3L的新型学习架构,使在不可靠通信信道上分布式训练RL代理成为可能,无需交换梯度信息,实验表明其在样本效率上显著优于现有方法,且能适应不同场景。
2026-05-11 cs.IT cs.LG cs.MA
On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems
University of Manitoba(曼尼托巴大学)
我们考虑一个智能反射面(IRS)辅助多输入单输出(MISO)系统的下行链路传输。我们比较了深度强化学习(DRL)和传统优化方法在寻找IRS元素的最佳相移以最大化用户信噪比(SNR)方面的性能。此外,我们评估这些方法的鲁棒性,以信道损伤和系统中的变化。我们证明数字DRL解决方案显示出更强的鲁棒性,噪声信道和用户的移动性。
2021-07-26 cs.IT cs.LG math.IT
Learning Structured Communication for Multi-agent Reinforcement Learning
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Department of Computer Science and Engineering, Artificial Intelligence Institute, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系人工智能研究所);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)理工学院);School of Computational Science and Engineering, College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院计算科学与工程学院)
本文研究了多智能体强化学习(MARL)环境下的大规模多智能体通信机制。我们总结了MARL文献中通信结构拓扑的一般类别,这些类别通常是手动指定的。然后,我们提出了一个新的框架,称为学习结构化通信(LSC),通过使用一个更灵活,更有效的通信拓扑结构。我们的框架允许自适应代理分组,形成不同的层次形成的情节,这是由一个辅助任务相结合的分层路由协议。给定每个形成的拓扑结构,学习分层图神经网络,以实现有效的消息信息生成和组间和组内通信之间的传播。与现有的通信机制相比,我们的方法有一个明确的,而可学习的分层通信设计。挑战性任务的实验结果表明,所提出的LSC具有较高的通信效率,可扩展性和全局协作能力。
2020-02-11 cs.LG stat.ML
Local Communication Protocols for Learning Complex Swarm Behaviors with Deep Reinforcement Learning
School of Computer Science, University of Lincoln(林肯大学计算机科学学院);Department of Electrical Engineering, Technische Universität Darmstadt(达姆施塔特技术大学电气工程系)
本文提出简单通信协议,利用深度强化学习在多机器人群环境中学习去中心化控制策略,通过直方图编码局部邻域关系并传输任务特定信息,如最短距离和方向,以完成协作任务。
2018-07-18 cs.AI cs.LG cs.MA
Learning Communication Between Heterogeneous Agents in Multi-Agent Reinforcement Learning for Autonomous Cyber Defence
Department of Electrical and Computer Engineering, Royal Military College of Canada(加拿大皇家军事学院电子与计算机工程系);Defence Research and Development Canada(加拿大国防研究与发展加拿大);Department of Computer Engineering and Software Engineering, Polytechnique Montréal(蒙特利尔理工学院计算机工程与软件工程系)
本文研究了在模拟网络环境中异构智能体通信能力的多智能体系统,利用CommFormer算法训练评估智能体,结果显示异构能力的智能体在收敛速度和标准误差方面优于其他算法。
2026-03-17 cs.AI cs.CR cs.LG
A Survey on Quantum Reinforcement Learning
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
该综述梳理量子强化学习领域研究,既覆盖基于现有NISQ设备、以变分量子线路为函数逼近器的经典强化学习方案,也调研未来容错硬件下具备可证量子优势的算法,提供全局概览与重点文献评述。
2024-03-08 cs.LG quant-ph
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs(来福车拼车实验室);University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
在本文中,我们提出了一个全面的,深入的调查文献的强化学习方法的决策优化问题,在一个典型的共乘系统。涵盖了关于共乘匹配,车辆重新定位,共乘,路由和动态定价主题的论文。大多数文献都是在过去几年中出现的,几个核心挑战将继续得到解决:模型复杂性,代理协调和多个杠杆的联合优化。因此,我们还引入了流行的数据集和开放的仿真环境,以促进进一步的研究和开发。随后,我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG