Origin-Destination Pattern Effects on Large-Scale Mixed Traffic Control via Multi-Agent Reinforcement Learning
针对大规模混合交通控制未被充分探索的问题，提出去中心化多智能体强化学习框架，在科罗拉多斯普林斯14个交叉口真实网络评估，探究时变OD模式下大规模多智能体交通控制的可行性。
2025-07-08 cs.CY cs.MA
Offline Multi-Agent Reinforcement Learning with a Physics-Informed World Model for Cooperative Mixed Traffic Control
College of Transportation, Tongji University（同济大学交通运输学院）
本研究针对混合交通中部分可观测高速瓶颈的网联自动驾驶车辆协同控制问题，提出融入物理信息世界模型的离线多智能体强化学习框架，经SUMO实验验证可提升状态重构与预测准确性。
2026-10-12 cs.MA
Analyzing Collision Rates in Large-Scale Mixed Traffic Control via Multi-Agent Reinforcement Learning
University of Memphis（孟菲斯大学）
本研究通过多智能体强化学习分析大规模混合交通控制中的碰撞率影响因素，探讨交通密度、信号协调和转向策略对碰撞风险的作用，为提升交通系统安全性和效率提供理论支持。
2025-12-07 cs.MA
Automating the resolution of flight conflicts: Deep reinforcement learning in service of air traffic controllers
University of Piraeus（比雷埃夫斯大学）；CRIDA
密集和复杂的空中交通场景需要比空中交通管制员（ATCO）今天使用的战术冲突检测和解决（CD\&R）工具所表现出的更高水平的自动化。然而，空中交通管制（ATC）领域对安全至关重要，需要人工智能系统，操作员可以放心地放弃控制，确保操作完整性和自动化采用。实现这一目标的两个主要因素是解决方案的质量和决策的透明度。本文提出了使用图卷积强化学习方法在多智能体环境中运行，其中每个智能体（飞行）与其他智能体一起执行CD\&R任务。我们表明，这种方法可以提供高质量的解决方案，就利益相关者的利益（空中交通管制员和空域用户），解决运营透明度问题。
2022-06-15 cs.LG cs.MA
Multi-agent Reinforcement Traffic Signal Control based on Interpretable Influence Mechanism and Biased ReLU Approximation
本文提出一种基于可解释影响机制和偏置ReLU逼近的多智能体演员-评论家框架，用于协同交通信号控制，在合成网络上实现低于SOTA的交通延迟。
2024-03-20 cs.MA
Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization
Georgia Institute of Technology（佐治亚理工学院）
大都市地区的交通拥堵是一个世界性的问题，可以通过动态响应实时条件的交通灯来改善。最近的研究应用深度强化学习（RL）来优化单个交通信号灯，与传统控制相比有显着改善。然而，大规模道路网络全局交通状况优化问题本质上是一个多智能体协作控制问题，由于环境的非平稳性和在指数联合作用空间上的不可行性，单智能体强化学习不适用于该问题。受这些挑战的激励，我们提出了QCOMBO，一个简单而有效的多智能体强化学习（MARL）算法，它结合了独立学习和集中学习的优点。我们通过从单独优化的效用函数中选择动作来确保可扩展性，这些效用函数通过个体效用和全局动作-价值函数之间的新颖一致性正则化损失来最大化全局性能。不同的道路拓扑结构和交通流条件下的SUMO交通模拟器的实验表明，与最近的国家的最先进的MARL算法的QCOMBO竞争的性能。我们进一步表明，在小型子网络上训练的策略可以有效地推广到不同交通流条件下的大型网络，为MARL用于智能交通控制的适用性提供了经验证据。
2019-09-23 cs.LG cs.MA stat.ML
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University（哈尔滨工程大学）
我们考虑使用多智能体深度强化学习和车辆到一切（V2X）通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励，以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励：基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是：基于等待车辆的共享奖励，以及所有代理的等待时间。每个代理都有一个内存，用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟（SUMO）模拟器评估多智能体。结果表明，该系统可以有效地优化交通信号，与传统的周期性交通控制系统相比，平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
Large-Scale Mixed-Traffic and Intersection Control using Multi-agent Reinforcement Learning
Department of Civil and Coastal Engineering at University of Florida（佛罗里达大学土木与海岸工程系）；Department of Computer Science at University of Memphis（密苏里大学计算机科学系）；Min H. Kao Department of Electrical Engineering and Computer Science at University of Tennessee（田纳西大学电子工程与计算机科学系）
本文提出去中心化多智能体强化学习方法，用于交通信号与机器人车辆共存的大规模混合交通控制，并在14个真实交叉口验证其效率提升。
2025-07-26 cs.LG cs.MA
STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control
University of Science and Technology of China（中国科学技术大学）；University of Arizona（亚利桑那大学）；IFLYTEK Co., Ltd（科大讯飞股份有限公司）；Rutgers University（罗格斯大学）
智能交通灯控制系统的开发是智能交通管理的基础。虽然已经做出了一些努力，以优化使用单独的交通信号灯在一个孤立的方式，相关的研究在很大程度上忽略了这样一个事实，即多路口交通信号灯的使用是空间上的影响，并有一个时间依赖性的历史交通状态的当前交通信号灯控制。为此，在本文中，我们提出了一种新的时空多智能体强化学习（STMARL）框架，有效地捕捉多个相关的交通灯的时空依赖性和控制这些交通灯的协调方式。具体而言，我们首先构建交通灯邻接图的基础上的空间结构的交通灯。然后，历史交通记录将通过递归神经网络结构与当前交通状态相结合。此外，基于时间相关的交通信息，我们设计了一个基于图神经网络的模型来表示多个交通灯之间的关系，并通过深度Q学习方法以分布式方式对每个交通灯进行决策。最后，通过仿真数据和真实数据的实验结果验证了STMARL框架的有效性，并对多交叉口交通信号灯的影响机制提供了深入的理解.
2020-11-29 cs.AI cs.LG cs.MA
Towards a Very Large Scale Traffic Simulator for Multi-Agent Reinforcement Learning Testbeds
智能交通控制与管理成为深度强化学习（Deep Reinforcement Learning，DRL）解决城市交通拥堵问题的新兴应用。不同的交通控制和管理策略可以在交通模拟上进行测试。目前基于DRL的研究主要由微观模拟软件（例如，SUMO），但由于计算负担和交通堵塞效应，它不适合城市范围的控制。据我们所知，目前还缺乏大型交通模拟器的研究，为日间行车线试验台，这可能会进一步阻碍日间行车线的发展。鉴于此，我们提出了一个中观-宏观交通模拟器非常大规模的日间行车线的情况。该模拟器集成了中观和宏观交通仿真模型，以提高效率和消除拥堵。中观链路模型模拟了道路上的流动动力学，而宏观汇流管模型描述了区域内的车辆运动。此外，这两种类型的模型可以混合，以适应各种DRL任务。这为不同环境下的混合运输应用程序创建了门户。结果表明，开发的模拟器只需要46秒，就可以完成24小时的模拟在一个非常大的城市，220万辆车，这是远远快于SUMO。此外，我们开发了一个图形界面，用户可以在Web浏览器中可视化模拟结果。在未来，开发的中观-宏观交通模拟器可以作为一个新的环境非常大规模的日间行车线问题。
2021-05-28 cs.MA
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统（ITLCS）是一个典型的多智能体系统（MAS），它由多条道路和多个交通灯组成，构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习（MADRL）。MABRL的深度神经网络（DNN）虽然有效，但训练时间长，参数难以追踪。最近，广义学习系统（BLS）提供了一种选择性的方法，通过一个平面网络在深层神经网络学习。此外，广泛的强化学习（BRL）扩展BLS在单智能体深度强化学习（SADRL）问题，有希望的结果。然而，BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题，本文提出了一个多Agent广义强化学习（MABRL）框架来研究BLS在MAS中的作用。首先，与大多数现有的MADRL方法不同，这些方法使用一系列深层神经网络结构，我们用广泛的网络对每个代理进行建模。然后，引入动态自循环交互机制来确定“3W”信息：何时交互，需要考虑哪些Agent，传递什么信息。最后，基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法，并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Fuzzy Q-Learning Based Multi-Agent System for Intelligent Traffic Control by a Game Theory Approach
本文提出了一种基于交通状况的多智能体交通信号灯调整方法，以减少平均延误时间。在交通模型中，每个路口的信号灯由一个自主智能体控制。由于每个代理的决策影响邻居代理，这种方法创建了一个经典的非平稳环境。因此，每个代理不仅需要从过去的经验中学习，而且还必须考虑邻居的决策，以克服交通网络的动态变化。模糊Q学习和博弈论的基础上制定政策的经验和邻居代理的决定。仿真结果表明，该方法优于固定时间，模糊，Q学习和模糊Q学习控制方法。
2019-04-23 cs.MA math.OC
Enhancing Traffic Signal Control through Model-based Reinforcement Learning and Policy Reuse
Dalian Maritime University（大连海事大学）
针对多智能体强化学习在交通信号控制中泛化能力不足的问题，提出PLight和PRLight两种算法，通过基于模型预训练和基于域相似度的策略复用，显著缩短新场景下的适应时间并提升性能。
2025-03-11 cs.AI cs.MA
Learning to Change: Choreographing Mixed Traffic Through Lateral Control and Hierarchical Reinforcement Learning
University of Hong Kong（香港大学）；University of Tennessee（田纳西大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
提出一种分层强化学习框架，通过精确纵横向控制机器人车辆管理复杂交叉路口混合交通，结合最先进算法作为高层决策者，将平均等待时间减少高达54%，并在渗透率超60%时优于传统信号控制。
2024-03-21 cs.MA cs.RO
VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim
Research Center for Information Technology Innovation, Academia Sinica（台湾中央研究院资讯科技创新研究中心）；Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系）
VissimRL是一种基于Vissim的多智能体强化学习框架，旨在通过标准化环境提升交通信号控制的效率和性能。
2026-01-26 cs.MA
A Reinforcement Learning Approach to Quiet and Safe UAM Traffic Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Hong Kong University of Science and Technology（香港科技大学）
针对城市空中交通（UAM）融入城市面临的噪声与安全挑战，提出多智能体强化学习方法，通过高度调整平衡垂直间隔保障与噪声缓解，验证了该技术的应用潜力。
2025-01-15 cs.LG cs.MA cs.RO
Feudal Multi-Agent Reinforcement Learning with Adaptive Network Partition for Traffic Signal Control
University of Science and Technology of China（中国科学技术大学）
多智能体强化学习（MARL）已在多交叉口交通信号控制中得到应用，并显示出巨大的潜力。为了鼓励全球合作，以前的工作将交通网络划分为几个区域，并学习封建结构中代理的政策。然而，静态的网络划分不能适应动态的业务流，这将随着时间的推移频繁变化。为了解决这个问题，我们提出了一种新的封建MARL方法与自适应网络分区。具体来说，我们首先根据交通流量将网络划分为几个区域。为此，我们提出了两种方法：一种是直接使用图神经网络（GNN）来生成网络分区，另一种是使用蒙特卡罗树搜索（MCTS）来找到最好的分区与GNN计算的标准。然后，我们使用GNN设计了Qmix的一个变体来处理由动态网络划分给出的各种输入维度。最后，我们使用一个封建的层次结构来管理每个分区中的代理，并促进全球合作。通过这样做，代理能够根据实际需要适应流量。我们实证评估我们的方法在一个综合的交通网格和现实世界的交通网络的三个城市，广泛应用于文献中。我们的实验结果证实，我们的方法可以实现更好的性能，在平均行程时间和队列长度，比几个领先的交通信号控制方法。
2022-05-27 cs.LG cs.MA
Quantifying the Impact of Non-Stationarity in Reinforcement Learning-Based Traffic Signal Control
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
在强化学习（RL）中，处理非平稳性是一个具有挑战性的问题。然而，某些领域，如流量优化，本质上是非平稳的。其原因和影响是多方面的。特别是，在处理交通信号控制时，解决非平稳性是关键，因为交通状况随时间变化，并作为网络其他部分所采取的交通控制决策的函数。在本文中，我们分析了不同来源的非平稳性的影响，在网络中的交通信号，其中每个信号被建模为一个学习代理。更确切地说，我们研究了改变代理学习的\textit{context}的影响（例如，其经历的流速变化），以及降低真实环境状态的试剂可观测性的影响。部分可观测性可能导致不同的状态（其中不同的动作是最佳的）被交通信号代理视为相同的。这反过来可能导致次优性能。我们表明，缺乏合适的传感器提供一个代表性的观察的真实状态似乎影响性能更剧烈的变化，基本的交通模式。
2020-04-09 cs.AI cs.LG cs.MA
Learning to Communicate with Reinforcement Learning for an Adaptive Traffic Control System
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
多智能体强化学习的最新研究工作研究了与行动策略同时学习的智能体通信，以提高团队的回报。在本文中，我们研究了独立Q学习（IQL）没有通信和可微的智能体间学习（DIAL）的自适应交通控制系统（ATCS）的学习通信。在现实世界的ATCS中，不可能将环境的完整状态呈现给每个代理，因此在我们的模拟中，单个代理只能对环境的完整状态进行有限的观察。ATCS将使用城市移动性模拟（SUMO）交通模拟器进行模拟，其中模拟了两个相连的交叉口。每个交叉口都由一个智能体控制，该智能体具有改变交通流方向的能力。我们的研究结果表明，DIAL代理优于一个独立的Q-学习者的训练时间和最大实现的奖励，因为它能够与其他代理共享相关信息。
2021-10-29 cs.LG cs.MA
PyTSC: A Unified Platform for Multi-Agent Reinforcement Learning in Traffic Signal Control
Northeastern University（东北大学）
针对现有 MARL 交通信号控制平台仿真慢、代码难维护的问题，本文提出 PyTSC，集成 SUMO 与 CityFlow 并提供简洁 API，以高效训练和评估 MARL 算法。
2024-10-23 cs.AI cs.MA
Traffic Signal Control with Communicative Deep Reinforcement Learning Agents: a Case Study
本文以博洛尼亚两个 SUMO 仿真区域为案例，结合非马尔可夫决策过程分析 MA2C，并与 IA2C 等方法比较，证明其在自适应交通信号控制中的有效性与鲁棒性。
2023-12-05 cs.AI cs.LG cs.MA
A Constrained Multi-Agent Reinforcement Learning Approach to Autonomous Traffic Signal Control
University of Maryland - College Park（马里兰大学学院公园分校）
本文将自适应交通信号控制视为约束多智能体强化学习问题，提出MAPPO-LCE算法并结合拉格朗日乘子法与三种现实约束，在真实数据集上显著优于基线算法。
2025-03-30 cs.LG cs.MA
Autonomous Air Traffic Controller: A Deep Multi-Agent Reinforcement Learning Approach
Iowa State University（爱荷华州立大学）
空中交通管制是一个高度动态和随机环境下的实时安全决策过程。在今天的航空实践中，人类空中交通管制员监视和指挥许多飞行器通过其指定的空域扇区。随着传统（商用客机）和低空（无人机和eVTOL飞机）空域空中交通复杂性的快速增长，需要自主空中交通管制系统来适应高密度空中交通并确保飞机之间的安全间隔。我们提出了一个深度的多智能体强化学习框架，该框架能够识别和解决具有多个交叉点和合并点的高密度，随机和动态航路扇区中飞机之间的冲突。该框架利用了一个演员-评论家模型，A2 C，它结合了损失函数从近端策略优化（PPO），以帮助稳定的学习过程。此外，我们使用一个集中式学习，分散执行计划，其中一个神经网络的学习和共享的环境中的所有代理。我们表明，我们的框架是可扩展的和有效的大量入境飞机，以实现极高的交通吞吐量与安全保证。我们通过在蓝天环境中进行广泛的模拟来评估我们的模型。结果表明，我们的框架是能够解决99.97%和100%的所有冲突都在交叉口和合并点，分别在极端高密度的空中交通场景。
2019-05-02 cs.AI cs.LG cs.MA
DiTSG: Context-Aware Air Traffic Scene Generation with Multi-Agent Diffusion Transformers
George Washington University（乔治华盛顿大学）；Korea Aerospace University（韩国航空航天大学）
针对现有空中交通模拟器难以捕捉管制员干预模式的问题，提出DiTSG模型，其采用多智能体逆Transformer层作为去噪骨干，可生成保留真实机间交互且符合统计特性的多样化空中交通场景。
2026-10-30 cs.LG cs.MA cs.RO
Effects of Smart Traffic Signal Control on Air Quality
Institute of Atmospheric Pollution Research, CNR（意大利国家研究委员会大气污染研究所）
城市交通网络中的自适应交通信号控制（ATSC）提出了一个具有挑战性的任务，由于在交通系统中出现的复杂动力学。近年来，基于多智能体深度强化学习（MARL）的几种方法已经被实验研究。这些方法提出了分布式技术，其中每个信号交叉口被视为一个代理在一个随机的游戏，其目的是优化其附近的车辆流量。在这种情况下，系统朝着代理之间的平衡发展，这对整个交通网络都是有益的。最近开发的多代理变体的完善的优势演员-评论家（A2 C）算法，称为MA 2C（多代理A2 C）利用代理之间的一些通信的有前途的想法。在这种观点中，代理与其他邻居代理共享他们的策略，从而稳定学习过程，即使代理的数量和种类增加。我们在位于博洛尼亚（意大利）的两个交通网络中进行了MA 2C实验，发现它的作用转化为释放到环境中的污染物量的显着减少。
2021-07-06 cs.AI cs.LG cs.MA
TinyQMIX: Distributed Access Control for mMTC via Multi-agent Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；The Chinese University of Hong Kong（香港中文大学）
分布式接入控制是大规模机器类型通信（mMTC）的关键组成部分。在这种通信场景中，集中式资源分配是不可扩展的，因为资源配置必须频繁地从基站发送到大量设备。我们研究分布式强化学习的资源选择，而不依赖于集中控制。mMTC的另一个重要特征是业务的零星和动态变化。现有的分布式访问控制研究假设流量负载是静态的或者能够逐渐适应动态的流量。我们通过训练TinyQMIX，这是一个轻量级的多智能体深度强化学习模型，在部署前学习各种流量模式下的分布式无线资源选择策略，以最大限度地减少适应期。因此，经过训练的代理能够快速适应动态流量并提供低访问延迟。数值结果支持我们的主张。
2022-11-21 cs.LG cs.MA cs.NI
Towards Multi-agent Reinforcement Learning based Traffic Signal Control through Spatio-temporal Hypergraphs
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
针对传统交通信号控制无法捕捉路口高阶动态时空关联的问题，提出融合超图与时空图学习的MA-SAC多智能体强化学习框架，有效降低了车辆平均出行时间并维持了高吞吐量。
2025-04-03 cs.AI cs.MA
Coordinated Random Access for Industrial IoT With Correlated Traffic By Reinforcement-Learning
University of Padova（帕多瓦大学）
我们提出了一种用于工业物联网（IIoT）场景的协调随机接入方案，其中机器类型设备（MTD）生成零星的相关流量。这发生在，例如，当外部事件同时触发多个MTD的数据生成时。时间被划分为帧，每个帧被划分为时隙，并且每个MTD随机选择一个时隙用于（重传）传输，其中概率密度函数（PDF）特定于MTD和当前重传的数量。PDF被局部优化以最小化分组冲突的概率。优化问题被建模为一个重复的马尔可夫博弈与不完全信息，和线性奖励不作为算法用于在每个MTD，可证明收敛到一个确定性的（次优）时隙分配。我们比较我们的解决方案与时隙ALOHA和最小最大成对相关随机接入方案，表明我们的方法实现了较高的网络吞吐量与中等的流量强度。
2021-09-17 cs.LG cs.MA cs.NI
Graph Reinforcement Learning Application to Co-operative Decision-Making in Mixed Autonomy Traffic: Framework, Survey, and Challenges
Beijing Institute of Technology（北京理工大学）；TU Dresden（德累斯顿工业大学）；Nanyang Technological University（南洋理工大学）；ETH Zurich（苏黎世联邦理工学院）
互联和自动驾驶车辆（CAV）的正常运行对于未来智能交通系统的安全和效率至关重要。与此同时，过渡到完全自动驾驶需要长时间的混合自动驾驶交通，包括CAV和人类驾驶的车辆。因此，协同决策的CAV是必不可少的，以产生适当的驾驶行为，以提高混合自主交通的安全性和效率。近年来，深度强化学习（DRL）在解决决策问题中得到了广泛的应用。然而，现有的基于DRL的方法主要集中在解决单个CAV的决策。现有的基于DRL的方法在混合自主交通中不能准确地表示车辆之间的相互影响，并且不能模拟动态交通环境。针对这些不足，提出了一种基于图强化学习（GRL）的混合自主交通中CAV多智能体决策方法。首先，设计了一个通用的、模块化的GRL框架。然后，系统地回顾了DRL和GRL方法，重点是在最近的研究中解决的问题。最后，基于所设计的框架，对不同的GRL方法进行了比较研究，验证了GRL方法的有效性。结果表明，与DRL方法相比，GRL方法能更好地优化混合自主交通中CAV的多智能体决策性能。最后，总结了存在的问题和未来的研究方向。该研究为解决混合自主交通条件下CAV的多智能体决策问题提供了有价值的研究参考，并推动了基于GRL的方法在智能交通系统中的应用。我们工作的源代码可以在https://github.com/Jacklinkk/Graph_CAVs上找到。
2022-11-06 cs.MA cs.RO
MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control
Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
本文提出MetaVIM方法，通过元变分隐变量建模邻居信息并设计内在奖励，提升分散式交通信号控制策略的泛化性与稳定性，在CityFlow上显著优于现有方法。
2024-04-01 cs.AI cs.LG cs.MA
OffLight: An Offline Multi-Agent Reinforcement Learning Framework for Traffic Signal Control
Northeastern University（东北大学）
针对离线MARL在交通信号控制中面临的异构行为策略问题，本文提出OffLight框架，结合IS、RBPS与GMM-VGAE提升学习效果，实验显示其显著降低旅行时间和队列长度。
2025-03-18 cs.AI cs.LG cs.MA
Cooperative Multi-Objective Reinforcement Learning for Traffic Signal Control and Carbon Emission Reduction
National Yang Ming Chiao Tung University（阳明交通大学）；Institute of Computational Intelligence（计算智能研究所）
针对现有交通信号控制方法次优、不稳定的问题，提出含局部与全局智能体的MOMA-DDPG合作多目标架构，用年龄衰减权重估计多奖励项，推理阶段保持去中心化，在真实数据上优于SOTA，可同时降低等待时间与碳排放，首次关联交通信号控制中的碳排放与全局智能体。
2023-07-16 cs.AI cs.LG cs.MA
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
Distributed Deep Reinforcement Learning for Intelligent Traffic Monitoring with a Team of Aerial Robots
University of Toronto（多伦多大学）
研究了一组空中机器人在路网中的交通监控问题。这个问题之所以具有挑战性，主要有两个原因。首先，交通事件在时间和空间上都是随机的。其次，该问题具有非齐次结构，因为交通事件以不同的速率到达道路网络的不同位置。因此，与其他位置相比，一些位置需要机器人更多的访问。为了解决这些问题，我们定义了道路网络的每个位置的不确定性度量，并制定了一个路径规划问题的空中机器人，以尽量减少网络的平均不确定性。我们将此问题表示为部分可观测马尔可夫决策过程（POMDP），并提出了一种基于深度强化学习的分布式可扩展算法来解决此问题。第一种情况假设代理持续与TMC通信以发送/接收关于交通事件的实时信息。因此，智能体对环境具有全局和实时的知识。然而，在第二种情况下，我们考虑一个具有挑战性的设置，空中机器人的观察是局部的，并限于其传感范围。此外，与第一种情况相比，空中机器人和TMC之间的信息交换仅限于特定的时间实例。我们评估我们所提出的算法在这两种情况下的一个真正的道路网络拓扑结构的性能，并证明其功能在交通监控系统。
2021-07-10 cs.AI cs.MA cs.RO
Trust-MARL: Trust-Based Multi-Agent Reinforcement Learning Framework for Cooperative On-Ramp Merging Control in Heterogeneous Traffic Flow
Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对异构交通中匝道汇入协同难题，提出基于信任的多智能体强化学习框架Trust-MARL，通过宏观群体协同与微观动态信任机制及博弈决策模块，提升了不同场景下的交通安全性、效率与适应性。
2025-06-14 cs.AI cs.ET cs.GT
