Socially-Weighted Alignment: A Game-Theoretic Framework for Multi-Agent LLM Systems
本文提出社交加权对齐框架,通过引入社交权重解决多智能体LLM系统中的个体理性与集体稳定矛盾,通过理论分析和模拟验证了关键阈值的存在。
2026-02-16 cs.AI cs.GT cs.LG
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统(ITLCS)是一个典型的多智能体系统(MAS),它由多条道路和多个交通灯组成,构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习(MADRL)。MABRL的深度神经网络(DNN)虽然有效,但训练时间长,参数难以追踪。最近,广义学习系统(BLS)提供了一种选择性的方法,通过一个平面网络在深层神经网络学习。此外,广泛的强化学习(BRL)扩展BLS在单智能体深度强化学习(SADRL)问题,有希望的结果。然而,BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题,本文提出了一个多Agent广义强化学习(MABRL)框架来研究BLS在MAS中的作用。首先,与大多数现有的MADRL方法不同,这些方法使用一系列深层神经网络结构,我们用广泛的网络对每个代理进行建模。然后,引入动态自循环交互机制来确定“3W”信息:何时交互,需要考虑哪些Agent,传递什么信息。最后,基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法,并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods
University of Piraeus(比雷埃夫斯大学);University of Ioannina(约阿尼纳大学);Frauhofer Institute IAIS(弗劳恩霍夫智能分析与信息系统研究所);CRIDA
在这篇文章中,我们报告的效率和有效性的多智能体强化学习方法(MARL)的计算航班延误,以解决空中交通管理(ATM)领域的拥塞问题。具体来说,我们的目标是解决空域使用需求超过容量的情况(需求容量问题),通过在运营的前战术阶段(即运营前几天到几个小时)对航班实施地面延误。将其投射到多智能体域中,代表航班的智能体需要决定自己的延迟w.r.t.他们没有关于其他人的收益,偏好和约束的信息,而他们计划与其他人一起执行他们的轨迹,遵守操作约束。具体来说,我们正式的问题作为一个多智能体马尔可夫决策过程(MA-MDP),我们表明,它可以被认为是一个马尔可夫博弈中,相互作用的代理需要达到一个平衡:是什么使问题更有趣的是动态设置中的代理操作,这也是由于不可预见的,紧急的影响,他们的决定在整个系统。我们提出了协作多智能体强化学习方法来解决需求能力不平衡:对现实世界的案例进行了广泛的实验研究,显示了所提出的方法在解决问题方面的潜力,而高级可视化提供了详细的视图,以了解所提供的解决方案的质量。
2019-12-14 cs.AI cs.MA
GraphCC: A Practical Graph Learning-based Approach to Congestion Control in Datacenters
Barcelona Neural Networking Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学巴塞罗那神经网络中心);Telefonica Research(西班牙电信研究中心);Huawei Technologies Co., Ltd.(华为技术有限公司)
GraphCC提出一种结合多智能体强化学习与图神经网络的分布式框架,通过交换机间协作优化ECN配置,在多种数据中心场景下相比ACC基线显著降低流完成时间和缓冲区占用。
2023-08-09 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统,利用延迟信号自适应调整调度目标权重,通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
Network-Constrained Policy Optimization for Adaptive Multi-agent Vehicle Routing
York University(约克大学)
城市道路网络的交通拥堵导致出行时间延长和排放增加,特别是在高峰期。虽然最短路径优先(SPF)算法对于静态网络中的单个车辆是最佳的,但它在动态多车辆设置中表现不佳,通常会通过沿相同路径路由所有车辆来加剧拥堵。我们通过一个多智能体强化学习(MARL)框架来解决动态车辆路由问题,以实现协调的网络感知车队导航。我们首先提出了自适应导航(AN),一个分散的MARL模型,其中每个交叉口代理提供基于(i)本地交通和(ii)使用图注意力网络(GAT)建模的邻域状态的路由指导。为了提高在大型网络的可扩展性,我们进一步提出了分层集线器为基础的自适应导航(HHAN),AN的扩展,只分配代理的关键路口(枢纽)。车辆在代理控制下按中心到中心进行路由,而SPF处理每个中心区域内的微路由。对于枢纽协调,HHAN在注意力Q混合(A-QMIX)框架下采用集中式训练与分散式执行(CTDE),通过注意力聚合异步车辆决策。集线器代理使用流量感知状态功能,结合本地拥塞和预测动态主动路由。在合成网格和真实城市地图(多伦多,曼哈顿)上的实验表明,与SPF和学习基线相比,AN减少了平均旅行时间,保持了100%的路由成功率。HHAN可扩展到具有数百个交叉口的网络,在交通繁忙的情况下实现高达15.9%的改善。这些研究结果突出了网络约束MARL在智能交通系统中可扩展,协调和感知路由的潜力。
2025-10-30 cs.AI cs.LG cs.MA
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London(伦敦大学学院);University of York(约克大学)
现实世界的拥堵问题(例如交通拥堵)通常非常复杂且规模庞大。多智能体强化学习(MARL)是一个很有前途的候选人,通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而,有三个限制因素,影响部署的MARL方法的拥塞问题。这些是学习时间,可扩展性和分散的协调,即学习代理之间没有通信。在本文中,我们介绍了资源抽象,解决这些挑战的方法,分配到抽象组的可用资源。这种抽象创建了新的奖励函数,为学习代理提供更多信息信号,并帮助它们之间的协调。实验工作进行了两个基准域从文献中,一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明,使用资源抽象的系统显着提高了学习速度和可扩展性,并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中,涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
Adversarial Reinforcement Learning for Detecting False Data Injection Attacks in Vehicular Routing
本文提出基于对抗性强化学习的方法,用于检测车联网中的虚假数据注入攻击,通过纳什均衡策略优化检测效果,提升交通网络的鲁棒性。
2026-03-12 cs.AI cs.CR
ReCoDe: Reinforcement Learning-based Dynamic Constraint Design for Multi-Agent Coordination
ReCoDe提出一种去中心化混合框架,通过强化学习学习动态约束来增强手工控制器,在多智能体导航中优于纯手工、混合及标准MARL方法,并证明保留不完美控制器更高效。
2025-08-02 cs.AI cs.LG cs.MA
A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control
IBM Research AI(IBM研究AI);Amazon Web Services(亚马逊云科技)
空中交通管制是一个极具挑战性的操作问题,很容易通过决策支持技术来增强人类的专业知识的一个例子。在本文中,我们提出了一个新的智能决策框架,利用多智能体强化学习(MARL),动态建议调整飞机的速度实时。该系统的目标是提高空中交通管制员的能力,为飞机提供有效的引导,以避免空中交通拥挤,险些相撞的情况,并提高到达的及时性。我们开发了一种新的深度集成MARL方法,该方法可以通过学习有效地在基于本地内核的RL模型和更广泛的深度MARL模型的决策之间进行仲裁,来简洁地捕捉空中交通管制问题的复杂性。所提出的方法进行了培训和评估的开放源代码的空中交通管理模拟器开发的Eurocontrol。在包括数千架飞机的真实世界数据集上进行的大量实证结果证明了使用多智能体RL解决航路空中交通管制问题的可行性,并表明我们提出的深度集成MARL方法显着优于三种最先进的基准方法。
2020-04-03 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Assessing False-Data Injection Attacks on Transportation Networks
Pennsylvania State University(宾夕法尼亚州立大学);Massachusetts Institute of Technology(麻省理工学院);Washington University St. Louis(圣路易斯华盛顿大学)
针对导航依赖下交通网络易遭虚假数据注入攻击的问题,提出含对抗模型与分层多智能体强化学习的计算框架,以寻找最坏攻击策略,并在Sioux Falls网络上验证了适用性。
2024-03-06 cs.AI cs.CR cs.LG
Highway Congestion Reduction through Reinforcement Learning Based Eulerian Headway Control
General Motors(通用汽车);UC Berkeley(加州大学伯克利分校)
该研究针对传统拥堵控制策略的缺陷,提出基于强化学习的欧拉车头间距控制系统,经大规模仿真验证可显著提升交通流量,为高速公路拥堵缓解提供实用方案。
2026-09-23 cs.AI cs.LG cs.MA
Combat Urban Congestion via Collaboration: Heterogeneous GNN-based MARL for Coordinated Platooning and Traffic Signal Control
本文提出基于异构图多智能体强化学习的协调车队编队与交通信号控制方法,通过设计独立智能体、图神经网络协调机制和交替优化训练,有效缓解城市交通拥堵。
2025-08-12 cs.LG cs.MA
Analysing Factorizations of Action-Value Networks for Cooperative Multi-Agent Reinforcement Learning
本研究实证分析了合作多智能体强化学习中各种网络架构在一次性博弈上的学习能力,量化了不同方法表示价值函数的效果,并识别了阻碍性能的关键原因。
2023-11-09 cs.MA
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.(西门子技术服务私人有限公司);International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院);Indian Institute of Science Bengaluru(班加罗尔印度科学研究所)
我们使用异步优势演员评论(A3 C)实现一个人工智能智能体的控制器,优化交通流量在一个单一的交叉口,然后将其扩展到多个交叉口,考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-(1)使用A3 C的异步属性,使用单个智能体控制多个交叉口(2)利用多个交叉口的独立智能体之间的自我/竞争游戏(3)在智能体之间摄取全局奖励函数,以引入交叉口之间的合作行为。我们观察到,(1)和(2)导致交通拥堵减少。此外,(3)与(1)和(2)的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Multi-Agent Coordination
本文提出一种基于信息素的多智能体深度强化学习框架,通过虚拟信息素模拟局部和社会交互,实现无通信的去中心化协调,解决狭窄环境中多机器人协作的挑战。
2025-10-04 cs.AI cs.LG cs.MA
Efficient Collaborative Multi-Agent Deep Reinforcement Learning for Large-Scale Fleet Management
Michigan State University(密歇根州立大学);Didi Chuxing(滴滴出行)
大型网约车平台通过重新分配交通资源,缓解交通拥堵,提高交通效率,极大地改变了我们的生活。一个有效的车队管理策略不仅可以显著提高运输资源的利用率,还可以增加收入和客户满意度。这是一个具有挑战性的任务,设计一个有效的车队管理策略,可以适应环境,涉及复杂的动态需求和供应。现有的研究通常是在一个简化的问题设置,很难捕捉复杂的随机需求-供应变化的高维空间。在本文中,我们提出了解决大规模的车队管理问题,使用强化学习,并提出了一个上下文多智能体强化学习框架,包括三个具体的算法,以实现大量的代理之间的协调,适应不同的背景。我们通过广泛的实证研究表明,所提出的框架在国家的最先进的方法显着改善。
2019-12-02 cs.AI cs.MA
VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim
Research Center for Information Technology Innovation, Academia Sinica(台湾中央研究院资讯科技创新研究中心);Department of Computer Science, National Yang Ming Chiao Tung University(国立阳明交通大学计算机科学系)
VissimRL是一种基于Vissim的多智能体强化学习框架,旨在通过标准化环境提升交通信号控制的效率和性能。
2026-01-26 cs.MA
Bounding the Inefficiency of Route Control in Intelligent Transport Systems
路线控制的自动驾驶汽车可能会在未来减少拥堵方面产生重大影响。在将多智能体强化学习算法应用于路线控制之前,我们可以使用拥塞游戏对系统进行建模,以预测和缓解潜在的问题。我们考虑的问题,分布式操作系统在运输网络中,控制其分配的车辆的路由选择。我们制定了一个相关的网络控制游戏,包括多个演员寻求优化的社会福利,他们分配的亚群在一个基本的非原子拥塞游戏。然后通过计算多项式代价函数下的无政府无政府代价,发现了路由均衡的无效率性。最后,我们扩展分析,让车辆选择他们的操作系统。
2021-04-01 cs.GT cs.MA
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
Traffic Shaping and Hysteresis Mitigation Using Deep Reinforcement Learning in a Connected Driving Environment
基于多代理深度强化学习的流量整形框架。所提出的框架提供了一个关键的优势,现有的拥塞管理策略,这是能够减轻滞后现象。与现有的拥堵管理策略,重点是故障预防,建议的框架是非常有效的故障形成后。所提出的框架假设共享信息的自动驾驶汽车之间的部分连接。该框架要求由一维纵向控制定义的基本自主水平。该框架主要使用集中式训练、集中式执行的多智能体深度强化学习方法构建,其中纵向控制由加速或减速命令的信号定义,然后由所有智能体统一执行。用于框架的训练和测试的模型基于众所周知的双深度Q-学习算法,该算法将交通流内的流的平均状态作为模型输入,并以加速或减速值的形式输出动作。我们证明了该模型的能力,塑造交通状态,减轻滞后的负面影响,甚至提高交通流量超过其原来的水平。本文还确定了所需的CAV的最小百分比,以成功地塑造交通均匀分布的CAV的假设下,在循环系统。这项工作中说明的框架不仅显示了强化学习在解决这些挑战方面的理论适用性,而且还提出了一种现实的解决方案,只需部分连接和连续监控系统的平均速度,这可以通过使用现成的传感器来实现,这些传感器可以测量与CAV合理接近的车辆速度。
2023-02-06 cs.MA cs.SY eess.SY
Spatial Influence-aware Reinforcement Learning for Intelligent Transportation System
Columbia University(哥伦比亚大学)
智能交通系统(ITS)被认为是智慧城市的关键,其目的是改善交通流量,提高城市居民的生活质量,减少拥堵,提高通勤效率。然而,在可以部署这样的系统之前,需要解决几个挑战,例如,用于马尔可夫决策过程(MDP)和单代理强化学习(RL)算法的传统解决方案具有较差的可扩展性,并且多代理系统具有较差的通信和协调。在本文中,我们探讨了潜在的互信息共享,或换句话说,基于空间影响的通信,以优化交通灯控制策略。首先,我们对交通系统进行数学分析。我们的结论是,交通系统不存在静态纳什均衡,从而强化学习算法提供了合适的解决方案。其次,我们描述了如何建立一个多智能体的深度确定性策略梯度(DDPG)系统的空间影响和社会群体的效用。然后,我们利用网格拓扑结构的道路网络,实证证明了新系统的可扩展性。我们展示了三种类型的定向通信,以显示社会影响力的方向对整个网络效用和个人效用的影响。最后,我们定义了“自私指数”,并分析了它对群体总效用的影响。
2019-12-14 cs.AI cs.LG cs.MA
Offline Multi-Agent Reinforcement Learning with a Physics-Informed World Model for Cooperative Mixed Traffic Control
College of Transportation, Tongji University(同济大学交通运输学院)
本研究针对混合交通中部分可观测高速瓶颈的网联自动驾驶车辆协同控制问题,提出融入物理信息世界模型的离线多智能体强化学习框架,经SUMO实验验证可提升状态重构与预测准确性。
2026-10-12 cs.MA
Autonomous Vehicle Patrolling Through Deep Reinforcement Learning: Learning to Communicate and Cooperate
The University of Melbourne(墨尔本大学)
本文提出基于强化智能体间学习(RIAL)的多智能体强化学习方案,解决自动驾驶车辆在复杂环境下的巡逻通信与合作问题,并在仿真中验证其优于现有方法的性能与容错能力。
2024-01-28 cs.AI cs.MA cs.RO
A Distributed Model-Free Algorithm for Multi-hop Ride-sharing using Deep Reinforcement Learning
Purdue University(普渡大学)
自动驾驶汽车、拼车系统和自动驾驶技术的发展将改变叫车平台规划服务的方式。然而,这些技术进步加上道路拥堵、环境问题、燃料使用、车辆排放和车辆使用的高成本,使人们更加关注如何更好地利用车辆及其容量。在本文中,我们提出了一种新的多跳乘车共享(MHRS)算法,该算法使用深度强化学习,通过与外部环境交互来学习最优车辆调度和匹配决策。通过允许客户在车辆之间转移,即,与拼车算法相比,MHRS使用一辆车骑行一段时间,然后转移到另一辆车,有助于实现30%的成本降低和20%的车队利用率提高。这种多跳功能的灵活性为客户和拼车公司提供了无缝体验,从而改善了拼车服务。
2019-10-30 cs.AI cs.LG cs.MA
Origin-Destination Pattern Effects on Large-Scale Mixed Traffic Control via Multi-Agent Reinforcement Learning
针对大规模混合交通控制未被充分探索的问题,提出去中心化多智能体强化学习框架,在科罗拉多斯普林斯14个交叉口真实网络评估,探究时变OD模式下大规模多智能体交通控制的可行性。
2025-07-08 cs.CY cs.MA
An Agent-Centric Dynamical Systems Perspective on Multi-Agent Reinforcement Learning
提出将多智能体强化学习训练建模为耦合随机动力系统,利用动力系统理论分析智能体行为的稳定性和敏感性,以应对随机性挑战。
2026-07-20 cs.MA
Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks
Imperial College London(帝国理工学院);University of Bath(巴斯大学);Shanghaitech University(上海科技大学)
本文提出了一个电力网络中的问题,创建一个令人兴奋的,但具有挑战性的现实世界的情况下,应用多智能体强化学习(MARL)。新兴的脱碳趋势给配电网络带来了过度的压力。有源电压控制被认为是一种很有前途的解决方案,以缓解电力阻塞和改善电压质量,而无需额外的硬件投资,利用可控设备在网络中,如屋顶光伏(PV)和静态无功补偿器(SVC)。这些可控设备出现在大量的,分布在广泛的地理区域,使MARL自然的候选人。本文在Dec-POMDP框架下阐述了有源电压控制问题,并建立了一个开源环境。它旨在弥合电源社区和MARL社区之间的差距,并成为MARL算法实际应用的驱动力。最后,我们分析了主动电压控制问题的特殊性,这些问题对最先进的MARL方法造成了挑战(例如可解释性),并总结了潜在的方向。
2022-01-21 cs.LG cs.MA
Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization
Georgia Institute of Technology(佐治亚理工学院)
大都市地区的交通拥堵是一个世界性的问题,可以通过动态响应实时条件的交通灯来改善。最近的研究应用深度强化学习(RL)来优化单个交通信号灯,与传统控制相比有显着改善。然而,大规模道路网络全局交通状况优化问题本质上是一个多智能体协作控制问题,由于环境的非平稳性和在指数联合作用空间上的不可行性,单智能体强化学习不适用于该问题。受这些挑战的激励,我们提出了QCOMBO,一个简单而有效的多智能体强化学习(MARL)算法,它结合了独立学习和集中学习的优点。我们通过从单独优化的效用函数中选择动作来确保可扩展性,这些效用函数通过个体效用和全局动作-价值函数之间的新颖一致性正则化损失来最大化全局性能。不同的道路拓扑结构和交通流条件下的SUMO交通模拟器的实验表明,与最近的国家的最先进的MARL算法的QCOMBO竞争的性能。我们进一步表明,在小型子网络上训练的策略可以有效地推广到不同交通流条件下的大型网络,为MARL用于智能交通控制的适用性提供了经验证据。
2019-09-23 cs.LG cs.MA stat.ML
Scalable Decentralized Cooperative Platoon using Multi-Agent Deep Reinforcement Learning
German University in Cairo(开罗德国大学)
针对智能交通中车辆队列行驶的性能与安全需求,提出基于Unity 3D和深度强化学习的可扩展去中心化协作队列方法,通过“共享与关怀”通信框架提升车队及单车性能鲁棒性,改善道路安全与拥堵。
2023-12-11 cs.AI cs.MA cs.RO
Reciprocal Collision Avoidance for General Nonlinear Agents using Reinforcement Learning
The Ohio State University(俄亥俄州立大学);The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
在分散的场景中,由于其他智能体的可用信息有限和复杂的动力学约束,为多个非线性智能体找到可行且无冲突的路径具有挑战性。本文提出了一种快速的多智能体碰撞避免算法,一般的非线性代理与连续的动作空间,其中每个代理只观察附近的代理的位置和速度。为了减少在线计算,我们首先分解的多智能体场景和解决两个代理碰撞避免问题,使用强化学习(RL)。当将训练的策略扩展到多智能体问题时,通过引入最优相互避碰(ORCA)作为线性约束来确保安全性,并且可以通过简单的凸优化来找到整体避碰动作。现有的大多数基于RL的多智能体碰撞避免算法依赖于对智能体速度的直接控制。在鲜明的对比,我们的方法是适用于一般的非线性代理。基于非线性自行车智能体模型的现实模拟进行了各种具有挑战性的情况下,表明所提出的方法在避免碰撞,拥塞和死锁与平滑的轨迹有竞争力的性能。
2020-03-03 cs.MA cs.RO cs.SY
MAMRL: Exploiting Multi-agent Meta Reinforcement Learning in WAN Traffic Engineering
University of California, Riverside(加州大学河滨分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
流量优化的挑战,如负载均衡,流量调度,并提高数据包的交付时间,是困难的广域网(WAN)的在线决策问题。例如,需要复杂的算法来找到最佳路径,以改善分组传递时间并最小化可能由链路故障或拥塞引起的中断。最近的成功强化学习(RL)算法可以提供有用的解决方案,以建立更好的鲁棒系统,从经验中学习无模型设置。在这项工作中,我们考虑的路径优化问题,特别是数据包路由,在大型复杂网络。我们开发和评估一种无模型的方法,应用多代理Meta强化学习(MAMRL),可以确定每个数据包的下一跳,让它以最短的时间整体交付到目的地。具体来说,我们建议利用和比较深度策略优化RL算法,以实现通信网络中的分布式无模型控制,并提出一种新的基于元学习的框架MAMRL,以实现快速适应拓扑变化。为了评估所提出的框架,我们模拟各种WAN拓扑结构。我们广泛的数据包级仿真结果表明,与经典的最短路径和传统的强化学习方法相比,MAMRL显着降低了平均数据包传输时间,即使当网络需求增加;和非元深度策略优化算法相比,我们的研究结果显示,减少数据包丢失在更少的情节时,发生链路故障,同时提供可比的平均数据包传输时间。
2021-11-30 cs.LG cs.MA cs.NI