Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Elan Corporation（Elan公司）
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功，但考虑到高样本效率的要求以及如何收集训练数据，直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中，我们解决了几个挑战，我们遇到的时候，我们试图减轻严重的交通拥堵发生在大都市地区。具体而言，我们需要提供一种解决方案，能够（1）在检索强化学习信息的某些监控摄像机停机时处理交通信号控制，（2）在没有交通模拟器的情况下从批量数据中学习，（3）在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法，给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习，能够学习批量数据的援助，提出了三个组件，有界的行动，批量扩增，和代理奖励裁剪。我们的实验表明，所提出的框架减少了36%的交通拥堵的等待时间相比，目前使用的固定时间的交通信号灯计划。此外，该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning for Traffic Signal Control through Universal Communication Method
Fudan University（复旦大学）；Singapore Management University（新加坡管理大学）
如何在多交叉口的复杂交通场景中有效地协调交叉口之间的通信是一个挑战。现有的方法仅允许以启发式方式进行通信，而不考虑要共享的信息的内容/重要性。在本文中，我们提出了一种通用的通信形式之间的交叉口UniComm。UniComm将在一个代理处收集的大量观察结果嵌入到对其邻居的影响的关键预测中，这提高了通信效率，并且在现有方法中具有通用性。我们还提出了一个简洁的网络UniLight，以充分利用UniComm所支持的通信。在真实数据集上的实验结果表明，UniComm普遍提高了现有最先进方法的性能，UniLight在各种交通情况下的性能明显优于现有方法。
2022-04-26 cs.AI
A Robust and Efficient Multi-Agent Reinforcement Learning Framework for Traffic Signal Control
本文提出一种多智能体强化学习框架，通过转向比率随机化、指数相位持续时间调整和基于邻居的观察方案，提升交通信号控制的鲁棒性和效率，实验表明其在减少等待时间方面优于传统方法。
2026-03-12 cs.AI
A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control
IBM Research AI（IBM研究AI）；Amazon Web Services（亚马逊云科技）
空中交通管制是一个极具挑战性的操作问题，很容易通过决策支持技术来增强人类的专业知识的一个例子。在本文中，我们提出了一个新的智能决策框架，利用多智能体强化学习（MARL），动态建议调整飞机的速度实时。该系统的目标是提高空中交通管制员的能力，为飞机提供有效的引导，以避免空中交通拥挤，险些相撞的情况，并提高到达的及时性。我们开发了一种新的深度集成MARL方法，该方法可以通过学习有效地在基于本地内核的RL模型和更广泛的深度MARL模型的决策之间进行仲裁，来简洁地捕捉空中交通管制问题的复杂性。所提出的方法进行了培训和评估的开放源代码的空中交通管理模拟器开发的Eurocontrol。在包括数千架飞机的真实世界数据集上进行的大量实证结果证明了使用多智能体RL解决航路空中交通管制问题的可行性，并表明我们提出的深度集成MARL方法显着优于三种最先进的基准方法。
2020-04-03 cs.AI cs.LG
X-Light: Cross-City Traffic Signal Control Using Transformer on Transformer as Meta Multi-Agent Reinforcement Learner
Baidu Inc.（百度公司）；University of Cologne（科隆大学）；Arizona State University（亚利桑那州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）；Peking University（北京大学）；Qingyuan Research Institute（清远研究院）
本文提出X-Light模型，通过下层Transformer聚合城市内交叉口轨迹、上层Transformer学习跨城市通用决策模式，实现可迁移的交通信号控制，在未见场景中平均超越基线7.91%。
2024-06-17 cs.AI
Trust-MARL: Trust-Based Multi-Agent Reinforcement Learning Framework for Cooperative On-Ramp Merging Control in Heterogeneous Traffic Flow
Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对异构交通中匝道汇入协同难题，提出基于信任的多智能体强化学习框架Trust-MARL，通过宏观群体协同与微观动态信任机制及博弈决策模块，提升了不同场景下的交通安全性、效率与适应性。
2025-06-14 cs.AI cs.ET cs.GT
EMVLight: a Multi-agent Reinforcement Learning Framework for an Emergency Vehicle Decentralized Routing and Traffic Signal Control System
New York University（纽约大学）；Siemens Corporation（西门子公司）；Shanghai Jiao Tong University（上海交通大学）
紧急车辆（EMV）在响应时间紧迫的呼叫（如医疗紧急情况和城市地区的火灾）方面发挥着至关重要的作用。现有的EMV调度方法通常基于历史交通流数据优化路线，并相应地设计交通信号抢占;然而，我们仍然缺乏一个系统的方法来解决EMV路由和交通信号控制之间的耦合。在本文中，我们提出了EMVLight，一个分散的强化学习（RL）框架，用于联合动态EMV路由和交通信号抢占。我们采用多智能体的优势行动者-评论家的方法与政策共享和空间折扣因子。该框架通过多类RL代理的创新设计和一种新的基于压力的奖励函数来解决EMV导航和交通信号控制之间的耦合。所提出的方法使EMVLight能够学习网络级的合作交通信号定相策略，不仅可以减少EMV的行驶时间，还可以缩短非EMV的行驶时间。基于仿真的实验表明，EMVLight使高达$42.6\%$减少EMV旅行时间以及$23.5\%$较短的平均旅行时间相比，现有的方法。
2022-06-29 cs.AI cs.SY eess.SY
Scalable Traffic Signal Controls using Fog-Cloud Based Multiagent Reinforcement Learning
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
优化交叉口的交通信号控制（TSC）仍然是一个具有挑战性的问题，特别是对于大规模的交通网络。过去的研究表明，优化单个TSC系统或少量此类系统的操作是可行的。然而，在计算上很难将这些解决方案扩展到大型网络，部分原因是随着交叉点数量的增加而遇到的维数灾难。幸运的是，最近的研究已经认识到利用深度和强化学习的进步来解决这个问题的潜力，并且在这方面已经取得了一些初步的成功。然而，促进这种智能解决方案方法可能需要大量的基础设施投资，如路边单元（RSU）和无人机，以确保大型网络中所有交叉路口的彻底连接，这对机构来说可能是一项繁重的投资。因此，这项研究建立在最近的工作，提出了一个可扩展的TSC模型，可以减少所需的使能基础设施的数量。这是使用图形注意力网络（GAT）作为深度强化学习的神经网络来实现的，这有助于维护交通网络的图形拓扑，同时忽略任何不相关或不必要的信息。最后通过一个实例验证了该模型的有效性，结果表明该模型具有良好的应用前景。整体研究结果表明，通过使用雾节点分解大型网络，所提出的基于雾的图形RL（FG-RL）模型可以很容易地应用于扩展到更大的交通网络。
2021-10-11 cs.AI cs.LG
Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning
KAIST（韩国科学技术院）
处理可扩展性问题是多智能体强化学习（MARL）算法应用于通常涉及大量智能体的现实问题的基本问题之一。为此，多个代理之间的参数共享已被广泛使用，因为它通过减少参数数量和提高样本效率来减少训练时间。然而，使用相同的参数跨代理限制了联合政策的代表性能力，因此，性能可能会下降，在多代理任务，需要不同的行为为不同的代理。在本文中，我们提出了一个简单的方法，采用结构化修剪的深度神经网络，以增加联合政策的代表性能力，而不引入额外的参数。我们评估所提出的方法在几个基准任务，数值结果表明，所提出的方法显着优于其他参数共享方法。
2023-03-02 cs.AI cs.MA
Enhancing Traffic Signal Control through Model-based Reinforcement Learning and Policy Reuse
Dalian Maritime University（大连海事大学）
针对多智能体强化学习在交通信号控制中泛化能力不足的问题，提出PLight和PRLight两种算法，通过基于模型预训练和基于域相似度的策略复用，显著缩短新场景下的适应时间并提升性能。
2025-03-11 cs.AI cs.MA
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University（哈尔滨工程大学）
我们考虑使用多智能体深度强化学习和车辆到一切（V2X）通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励，以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励：基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是：基于等待车辆的共享奖励，以及所有代理的等待时间。每个代理都有一个内存，用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟（SUMO）模拟器评估多智能体。结果表明，该系统可以有效地优化交通信号，与传统的周期性交通控制系统相比，平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario
Shanghai Jiao Tong University（上海交通大学）；Pennsylvania State University（宾夕法尼亚州立大学）
交通信号控制是强化学习的新兴应用场景。交通信号控制是影响人们日常生活的重要问题之一，如何适应动态交通环境，协调包括车辆和行人在内的数千个智能体，是强化学习面临的独特挑战。现代强化学习成功的一个关键因素依赖于一个好的模拟器来生成大量用于学习的数据样本。然而，目前最常用的开源交通仿真器SUMO在大规模路网和大流量交通场景下的可扩展性较差，阻碍了强化学习在交通场景中的应用研究。这促使我们创建一个新的交通模拟器CityFlow从根本上优化数据结构和高效的算法。CityFlow可以支持基于合成和真实世界数据的道路网络和交通流的灵活定义。它还为强化学习提供了用户友好的界面。最重要的是，CityFlow比SUMO快20倍以上，并且能够通过交互式渲染来支持城市范围的交通模拟。除了交通信号控制，CityFlow还可以作为其他交通研究的基础，并可以为智能交通领域的机器学习方法测试创造新的可能性。
2019-05-13 cs.LG cs.MA
Quantifying the Impact of Non-Stationarity in Reinforcement Learning-Based Traffic Signal Control
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
在强化学习（RL）中，处理非平稳性是一个具有挑战性的问题。然而，某些领域，如流量优化，本质上是非平稳的。其原因和影响是多方面的。特别是，在处理交通信号控制时，解决非平稳性是关键，因为交通状况随时间变化，并作为网络其他部分所采取的交通控制决策的函数。在本文中，我们分析了不同来源的非平稳性的影响，在网络中的交通信号，其中每个信号被建模为一个学习代理。更确切地说，我们研究了改变代理学习的\textit{context}的影响（例如，其经历的流速变化），以及降低真实环境状态的试剂可观测性的影响。部分可观测性可能导致不同的状态（其中不同的动作是最佳的）被交通信号代理视为相同的。这反过来可能导致次优性能。我们表明，缺乏合适的传感器提供一个代表性的观察的真实状态似乎影响性能更剧烈的变化，基本的交通模式。
2020-04-09 cs.AI cs.LG cs.MA
Traffic Signal Control with Communicative Deep Reinforcement Learning Agents: a Case Study
本文以博洛尼亚两个 SUMO 仿真区域为案例，结合非马尔可夫决策过程分析 MA2C，并与 IA2C 等方法比较，证明其在自适应交通信号控制中的有效性与鲁棒性。
2023-12-05 cs.AI cs.LG cs.MA
Offline Multi-Agent Reinforcement Learning with a Physics-Informed World Model for Cooperative Mixed Traffic Control
College of Transportation, Tongji University（同济大学交通运输学院）
本研究针对混合交通中部分可观测高速瓶颈的网联自动驾驶车辆协同控制问题，提出融入物理信息世界模型的离线多智能体强化学习框架，经SUMO实验验证可提升状态重构与预测准确性。
2026-10-12 cs.MA
Analyzing Collision Rates in Large-Scale Mixed Traffic Control via Multi-Agent Reinforcement Learning
University of Memphis（孟菲斯大学）
本研究通过多智能体强化学习分析大规模混合交通控制中的碰撞率影响因素，探讨交通密度、信号协调和转向策略对碰撞风险的作用，为提升交通系统安全性和效率提供理论支持。
2025-12-07 cs.MA
Multi-agent Reinforcement Traffic Signal Control based on Interpretable Influence Mechanism and Biased ReLU Approximation
本文提出一种基于可解释影响机制和偏置ReLU逼近的多智能体演员-评论家框架，用于协同交通信号控制，在合成网络上实现低于SOTA的交通延迟。
2024-03-20 cs.MA
Origin-Destination Pattern Effects on Large-Scale Mixed Traffic Control via Multi-Agent Reinforcement Learning
针对大规模混合交通控制未被充分探索的问题，提出去中心化多智能体强化学习框架，在科罗拉多斯普林斯14个交叉口真实网络评估，探究时变OD模式下大规模多智能体交通控制的可行性。
2025-07-08 cs.CY cs.MA
MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control
Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
本文提出MetaVIM方法，通过元变分隐变量建模邻居信息并设计内在奖励，提升分散式交通信号控制策略的泛化性与稳定性，在CityFlow上显著优于现有方法。
2024-04-01 cs.AI cs.LG cs.MA
Automating the resolution of flight conflicts: Deep reinforcement learning in service of air traffic controllers
University of Piraeus（比雷埃夫斯大学）；CRIDA
密集和复杂的空中交通场景需要比空中交通管制员（ATCO）今天使用的战术冲突检测和解决（CD\&R）工具所表现出的更高水平的自动化。然而，空中交通管制（ATC）领域对安全至关重要，需要人工智能系统，操作员可以放心地放弃控制，确保操作完整性和自动化采用。实现这一目标的两个主要因素是解决方案的质量和决策的透明度。本文提出了使用图卷积强化学习方法在多智能体环境中运行，其中每个智能体（飞行）与其他智能体一起执行CD\&R任务。我们表明，这种方法可以提供高质量的解决方案，就利益相关者的利益（空中交通管制员和空域用户），解决运营透明度问题。
2022-06-15 cs.LG cs.MA
Cooperative Multi-Objective Reinforcement Learning for Traffic Signal Control and Carbon Emission Reduction
National Yang Ming Chiao Tung University（阳明交通大学）；Institute of Computational Intelligence（计算智能研究所）
针对现有交通信号控制方法次优、不稳定的问题，提出含局部与全局智能体的MOMA-DDPG合作多目标架构，用年龄衰减权重估计多奖励项，推理阶段保持去中心化，在真实数据上优于SOTA，可同时降低等待时间与碳排放，首次关联交通信号控制中的碳排放与全局智能体。
2023-07-16 cs.AI cs.LG cs.MA
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
Distributed Deep Reinforcement Learning for Intelligent Traffic Monitoring with a Team of Aerial Robots
University of Toronto（多伦多大学）
研究了一组空中机器人在路网中的交通监控问题。这个问题之所以具有挑战性，主要有两个原因。首先，交通事件在时间和空间上都是随机的。其次，该问题具有非齐次结构，因为交通事件以不同的速率到达道路网络的不同位置。因此，与其他位置相比，一些位置需要机器人更多的访问。为了解决这些问题，我们定义了道路网络的每个位置的不确定性度量，并制定了一个路径规划问题的空中机器人，以尽量减少网络的平均不确定性。我们将此问题表示为部分可观测马尔可夫决策过程（POMDP），并提出了一种基于深度强化学习的分布式可扩展算法来解决此问题。第一种情况假设代理持续与TMC通信以发送/接收关于交通事件的实时信息。因此，智能体对环境具有全局和实时的知识。然而，在第二种情况下，我们考虑一个具有挑战性的设置，空中机器人的观察是局部的，并限于其传感范围。此外，与第一种情况相比，空中机器人和TMC之间的信息交换仅限于特定的时间实例。我们评估我们所提出的算法在这两种情况下的一个真正的道路网络拓扑结构的性能，并证明其功能在交通监控系统。
2021-07-10 cs.AI cs.MA cs.RO
Generation of Traffic Flows in Multi-Agent Traffic Simulation with Agent Behavior Model based on Deep Reinforcement Learning
在基于多智能体的交通仿真中，智能体总是按照已有的指令运动，机械地、不自然地模仿人类的行为。人类驾驶员总是不规则地执行加速或减速，这在某些情况下似乎是不必要的。为了让交通仿真中的智能体在复杂条件下表现得更像人类并识别其他智能体的行为，我们提出了一种统一的机制，通过使用深度强化学习，智能体学习决定各种加速度，基于再生的视觉图像显示一些显着的特征，和包含一些重要数据，如瞬时速度的数值向量的组合。通过处理批量的顺序数据，使代理能够识别周围代理的行为，并决定自己的加速度。此外，我们可以生成一个交通流的行为dilemma模拟真实的交通流，通过使用一个架构，完全分散的训练和完全集中的执行，而不违反马尔可夫假设。
2021-01-25 cs.MA cs.SY eess.SY
Towards a Very Large Scale Traffic Simulator for Multi-Agent Reinforcement Learning Testbeds
智能交通控制与管理成为深度强化学习（Deep Reinforcement Learning，DRL）解决城市交通拥堵问题的新兴应用。不同的交通控制和管理策略可以在交通模拟上进行测试。目前基于DRL的研究主要由微观模拟软件（例如，SUMO），但由于计算负担和交通堵塞效应，它不适合城市范围的控制。据我们所知，目前还缺乏大型交通模拟器的研究，为日间行车线试验台，这可能会进一步阻碍日间行车线的发展。鉴于此，我们提出了一个中观-宏观交通模拟器非常大规模的日间行车线的情况。该模拟器集成了中观和宏观交通仿真模型，以提高效率和消除拥堵。中观链路模型模拟了道路上的流动动力学，而宏观汇流管模型描述了区域内的车辆运动。此外，这两种类型的模型可以混合，以适应各种DRL任务。这为不同环境下的混合运输应用程序创建了门户。结果表明，开发的模拟器只需要46秒，就可以完成24小时的模拟在一个非常大的城市，220万辆车，这是远远快于SUMO。此外，我们开发了一个图形界面，用户可以在Web浏览器中可视化模拟结果。在未来，开发的中观-宏观交通模拟器可以作为一个新的环境非常大规模的日间行车线问题。
2021-05-28 cs.MA
Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization
Georgia Institute of Technology（佐治亚理工学院）
大都市地区的交通拥堵是一个世界性的问题，可以通过动态响应实时条件的交通灯来改善。最近的研究应用深度强化学习（RL）来优化单个交通信号灯，与传统控制相比有显着改善。然而，大规模道路网络全局交通状况优化问题本质上是一个多智能体协作控制问题，由于环境的非平稳性和在指数联合作用空间上的不可行性，单智能体强化学习不适用于该问题。受这些挑战的激励，我们提出了QCOMBO，一个简单而有效的多智能体强化学习（MARL）算法，它结合了独立学习和集中学习的优点。我们通过从单独优化的效用函数中选择动作来确保可扩展性，这些效用函数通过个体效用和全局动作-价值函数之间的新颖一致性正则化损失来最大化全局性能。不同的道路拓扑结构和交通流条件下的SUMO交通模拟器的实验表明，与最近的国家的最先进的MARL算法的QCOMBO竞争的性能。我们进一步表明，在小型子网络上训练的策略可以有效地推广到不同交通流条件下的大型网络，为MARL用于智能交通控制的适用性提供了经验证据。
2019-09-23 cs.LG cs.MA stat.ML
Large-Scale Mixed-Traffic and Intersection Control using Multi-agent Reinforcement Learning
Department of Civil and Coastal Engineering at University of Florida（佛罗里达大学土木与海岸工程系）；Department of Computer Science at University of Memphis（密苏里大学计算机科学系）；Min H. Kao Department of Electrical Engineering and Computer Science at University of Tennessee（田纳西大学电子工程与计算机科学系）
本文提出去中心化多智能体强化学习方法，用于交通信号与机器人车辆共存的大规模混合交通控制，并在14个真实交叉口验证其效率提升。
2025-07-26 cs.LG cs.MA
VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim
Research Center for Information Technology Innovation, Academia Sinica（台湾中央研究院资讯科技创新研究中心）；Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系）
VissimRL是一种基于Vissim的多智能体强化学习框架，旨在通过标准化环境提升交通信号控制的效率和性能。
2026-01-26 cs.MA
Communication Strategy on Macro-and-Micro Traffic State in Cooperative Deep Reinforcement Learning for Regional Traffic Signal Control
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）；University of Liverpool（利物浦大学）；Department of Engineering and Design, University of Sussex（萨塞克斯大学工程与设计系）；International Business School Suzhou, Xi’an Jiaotong-Liverpool University（西交利物浦大学苏州国际商学院）；Xidian University（西安电子科技大学）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
针对区域交通信号控制中的智能体协作问题，提出基于 GAT 聚合的 GA2-Naive 与 GA2-Aug 通信模块，融合宏观/微观及区域内/间交通状态关联，并验证其可稳定提升现有框架性能。
2025-02-18 cs.AI cs.LG cs.MA
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种无模型强化学习方法，用于控制模拟交通网络中的混合自主交通，该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解，允许分散控制的基础上，对任意数量的受控车辆的本地观测。我们证明，即使没有奖励塑造，强化学习也能学会协调车辆，使其表现出类似交通信号灯的行为，在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下，我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Learning to Change: Choreographing Mixed Traffic Through Lateral Control and Hierarchical Reinforcement Learning
University of Hong Kong（香港大学）；University of Tennessee（田纳西大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
提出一种分层强化学习框架，通过精确纵横向控制机器人车辆管理复杂交叉路口混合交通，结合最先进算法作为高层决策者，将平均等待时间减少高达54%，并在渗透率超60%时优于传统信号控制。
2024-03-21 cs.MA cs.RO
Feudal Multi-Agent Reinforcement Learning with Adaptive Network Partition for Traffic Signal Control
University of Science and Technology of China（中国科学技术大学）
多智能体强化学习（MARL）已在多交叉口交通信号控制中得到应用，并显示出巨大的潜力。为了鼓励全球合作，以前的工作将交通网络划分为几个区域，并学习封建结构中代理的政策。然而，静态的网络划分不能适应动态的业务流，这将随着时间的推移频繁变化。为了解决这个问题，我们提出了一种新的封建MARL方法与自适应网络分区。具体来说，我们首先根据交通流量将网络划分为几个区域。为此，我们提出了两种方法：一种是直接使用图神经网络（GNN）来生成网络分区，另一种是使用蒙特卡罗树搜索（MCTS）来找到最好的分区与GNN计算的标准。然后，我们使用GNN设计了Qmix的一个变体来处理由动态网络划分给出的各种输入维度。最后，我们使用一个封建的层次结构来管理每个分区中的代理，并促进全球合作。通过这样做，代理能够根据实际需要适应流量。我们实证评估我们的方法在一个综合的交通网格和现实世界的交通网络的三个城市，广泛应用于文献中。我们的实验结果证实，我们的方法可以实现更好的性能，在平均行程时间和队列长度，比几个领先的交通信号控制方法。
2022-05-27 cs.LG cs.MA
Traffic Smoothing Controllers for Autonomous Vehicles Using Deep Reinforcement Learning and Real-World Trajectory Data
UC Berkeley（加州大学伯克利分校）；École des Ponts ParisTech（巴黎高科路桥学校）
本文基于 I-24 真实轨迹数据，用深度强化学习训练仅依赖前车信息和可选下游信息的交通平滑巡航策略，在 4% 渗透率下实现超过 15% 的燃油节省，并验证换道与信息缺失下的鲁棒性。
2024-01-18 cs.AI cs.MA cs.SY
A Reinforcement Learning Approach to Quiet and Safe UAM Traffic Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Hong Kong University of Science and Technology（香港科技大学）
针对城市空中交通（UAM）融入城市面临的噪声与安全挑战，提出多智能体强化学习方法，通过高度调整平衡垂直间隔保障与噪声缓解，验证了该技术的应用潜力。
2025-01-15 cs.LG cs.MA cs.RO
Learning to Communicate with Reinforcement Learning for an Adaptive Traffic Control System
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
多智能体强化学习的最新研究工作研究了与行动策略同时学习的智能体通信，以提高团队的回报。在本文中，我们研究了独立Q学习（IQL）没有通信和可微的智能体间学习（DIAL）的自适应交通控制系统（ATCS）的学习通信。在现实世界的ATCS中，不可能将环境的完整状态呈现给每个代理，因此在我们的模拟中，单个代理只能对环境的完整状态进行有限的观察。ATCS将使用城市移动性模拟（SUMO）交通模拟器进行模拟，其中模拟了两个相连的交叉口。每个交叉口都由一个智能体控制，该智能体具有改变交通流方向的能力。我们的研究结果表明，DIAL代理优于一个独立的Q-学习者的训练时间和最大实现的奖励，因为它能够与其他代理共享相关信息。
2021-10-29 cs.LG cs.MA
A Constrained Multi-Agent Reinforcement Learning Approach to Autonomous Traffic Signal Control
University of Maryland - College Park（马里兰大学学院公园分校）
本文将自适应交通信号控制视为约束多智能体强化学习问题，提出MAPPO-LCE算法并结合拉格朗日乘子法与三种现实约束，在真实数据集上显著优于基线算法。
2025-03-30 cs.LG cs.MA
DRLE: Decentralized Reinforcement Learning at the Edge for Traffic Light Control in the IoV
车联网（IoV）使车辆和路边单元之间能够进行实时数据交换，从而为缓解城市地区的交通拥堵提供了一个有前途的解决方案。同时，通过有效的交通灯控制进行更好的交通管理也可以通过实现更好的通信环境和降低网络负载来使车联网受益。因此，车联网和高效的交通灯控制可以形成良性循环。边缘计算是一种在网络边缘提供低延迟计算能力的新兴技术，可以进一步提高这一周期的性能。然而，虽然收集的信息很有价值，但尚未为边缘授权的IoV开发更好的利用率和更快的反馈的有效解决方案。为此，我们提出了一个分散的强化学习在边缘的交通灯控制在车联网（DRLE）。DRLE利用车联网的普遍性来加速交通数据的收集及其解释，以缓解拥堵并提供更好的交通灯控制。DRLE在边缘服务器的覆盖范围内运行，并使用来自相邻边缘服务器的聚合数据来提供城市规模的交通灯控制。DRLE将高度复杂的大区域控制问题分解。去中心化的多智能体问题我们用具体的数学推理证明了它的全局最优解。在每个边缘节点上运行的分布式强化学习算法实时的调整交通灯。我们进行了广泛的评估，并证明了这种方法的优越性超过几个国家的最先进的算法。
2021-01-05 cs.DC cs.LG cs.MA
Traffic Shaping and Hysteresis Mitigation Using Deep Reinforcement Learning in a Connected Driving Environment
基于多代理深度强化学习的流量整形框架。所提出的框架提供了一个关键的优势，现有的拥塞管理策略，这是能够减轻滞后现象。与现有的拥堵管理策略，重点是故障预防，建议的框架是非常有效的故障形成后。所提出的框架假设共享信息的自动驾驶汽车之间的部分连接。该框架要求由一维纵向控制定义的基本自主水平。该框架主要使用集中式训练、集中式执行的多智能体深度强化学习方法构建，其中纵向控制由加速或减速命令的信号定义，然后由所有智能体统一执行。用于框架的训练和测试的模型基于众所周知的双深度Q-学习算法，该算法将交通流内的流的平均状态作为模型输入，并以加速或减速值的形式输出动作。我们证明了该模型的能力，塑造交通状态，减轻滞后的负面影响，甚至提高交通流量超过其原来的水平。本文还确定了所需的CAV的最小百分比，以成功地塑造交通均匀分布的CAV的假设下，在循环系统。这项工作中说明的框架不仅显示了强化学习在解决这些挑战方面的理论适用性，而且还提出了一种现实的解决方案，只需部分连接和连续监控系统的平均速度，这可以通过使用现成的传感器来实现，这些传感器可以测量与CAV合理接近的车辆速度。
2023-02-06 cs.MA cs.SY eess.SY
Graph Reinforcement Learning Application to Co-operative Decision-Making in Mixed Autonomy Traffic: Framework, Survey, and Challenges
Beijing Institute of Technology（北京理工大学）；TU Dresden（德累斯顿工业大学）；Nanyang Technological University（南洋理工大学）；ETH Zurich（苏黎世联邦理工学院）
互联和自动驾驶车辆（CAV）的正常运行对于未来智能交通系统的安全和效率至关重要。与此同时，过渡到完全自动驾驶需要长时间的混合自动驾驶交通，包括CAV和人类驾驶的车辆。因此，协同决策的CAV是必不可少的，以产生适当的驾驶行为，以提高混合自主交通的安全性和效率。近年来，深度强化学习（DRL）在解决决策问题中得到了广泛的应用。然而，现有的基于DRL的方法主要集中在解决单个CAV的决策。现有的基于DRL的方法在混合自主交通中不能准确地表示车辆之间的相互影响，并且不能模拟动态交通环境。针对这些不足，提出了一种基于图强化学习（GRL）的混合自主交通中CAV多智能体决策方法。首先，设计了一个通用的、模块化的GRL框架。然后，系统地回顾了DRL和GRL方法，重点是在最近的研究中解决的问题。最后，基于所设计的框架，对不同的GRL方法进行了比较研究，验证了GRL方法的有效性。结果表明，与DRL方法相比，GRL方法能更好地优化混合自主交通中CAV的多智能体决策性能。最后，总结了存在的问题和未来的研究方向。该研究为解决混合自主交通条件下CAV的多智能体决策问题提供了有价值的研究参考，并推动了基于GRL的方法在智能交通系统中的应用。我们工作的源代码可以在https://github.com/Jacklinkk/Graph_CAVs上找到。
2022-11-06 cs.MA cs.RO
TinyQMIX: Distributed Access Control for mMTC via Multi-agent Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；The Chinese University of Hong Kong（香港中文大学）
分布式接入控制是大规模机器类型通信（mMTC）的关键组成部分。在这种通信场景中，集中式资源分配是不可扩展的，因为资源配置必须频繁地从基站发送到大量设备。我们研究分布式强化学习的资源选择，而不依赖于集中控制。mMTC的另一个重要特征是业务的零星和动态变化。现有的分布式访问控制研究假设流量负载是静态的或者能够逐渐适应动态的流量。我们通过训练TinyQMIX，这是一个轻量级的多智能体深度强化学习模型，在部署前学习各种流量模式下的分布式无线资源选择策略，以最大限度地减少适应期。因此，经过训练的代理能够快速适应动态流量并提供低访问延迟。数值结果支持我们的主张。
2022-11-21 cs.LG cs.MA cs.NI
Coordinated Random Access for Industrial IoT With Correlated Traffic By Reinforcement-Learning
University of Padova（帕多瓦大学）
我们提出了一种用于工业物联网（IIoT）场景的协调随机接入方案，其中机器类型设备（MTD）生成零星的相关流量。这发生在，例如，当外部事件同时触发多个MTD的数据生成时。时间被划分为帧，每个帧被划分为时隙，并且每个MTD随机选择一个时隙用于（重传）传输，其中概率密度函数（PDF）特定于MTD和当前重传的数量。PDF被局部优化以最小化分组冲突的概率。优化问题被建模为一个重复的马尔可夫博弈与不完全信息，和线性奖励不作为算法用于在每个MTD，可证明收敛到一个确定性的（次优）时隙分配。我们比较我们的解决方案与时隙ALOHA和最小最大成对相关随机接入方案，表明我们的方法实现了较高的网络吞吐量与中等的流量强度。
2021-09-17 cs.LG cs.MA cs.NI
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University（东南大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法，通过智能体间共享观察与奖励促进合作，实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
