A Traffic Light Dynamic Control Algorithm with Deep Reinforcement Learning Based on GNN Prediction
Beihang University（北京航空航天大学）
当今的智能交通灯控制系统是根据当前的道路交通状况进行交通调节的。然而，这些方法不能提前利用未来的交通信息。针对多交叉口智能交通控制系统的交通拥堵问题，提出了一种结合图神经网络（GNN）的深度强化学习（DRL）算法GPlight。在GPlight中，首先使用图神经网络（GNN）来预测交叉口的未来短期交通流。然后，将交通流预测结果用于交通灯控制，智能体将预测结果与观测到的当前交通状况相结合，动态控制交叉口交通灯的相位和时长。在杭州和纽约的模拟数据集和真实数据集上的实验验证了GPlight算法的有效性和合理性。
2020-09-29 cs.LG
Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization
Georgia Institute of Technology（佐治亚理工学院）
大都市地区的交通拥堵是一个世界性的问题，可以通过动态响应实时条件的交通灯来改善。最近的研究应用深度强化学习（RL）来优化单个交通信号灯，与传统控制相比有显着改善。然而，大规模道路网络全局交通状况优化问题本质上是一个多智能体协作控制问题，由于环境的非平稳性和在指数联合作用空间上的不可行性，单智能体强化学习不适用于该问题。受这些挑战的激励，我们提出了QCOMBO，一个简单而有效的多智能体强化学习（MARL）算法，它结合了独立学习和集中学习的优点。我们通过从单独优化的效用函数中选择动作来确保可扩展性，这些效用函数通过个体效用和全局动作-价值函数之间的新颖一致性正则化损失来最大化全局性能。不同的道路拓扑结构和交通流条件下的SUMO交通模拟器的实验表明，与最近的国家的最先进的MARL算法的QCOMBO竞争的性能。我们进一步表明，在小型子网络上训练的策略可以有效地推广到不同交通流条件下的大型网络，为MARL用于智能交通控制的适用性提供了经验证据。
2019-09-23 cs.LG cs.MA stat.ML
Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究所）
交通信号控制器在当今的交通系统中起着至关重要的作用。然而，他们中的大多数目前是不够灵活或适应性，以产生最佳的交通时间表。在本文中，我们提出了一种方法，学习政策的信号控制器使用深度强化学习，旨在优化交通流。我们的方法使用了一种新的配方的奖励功能，同时考虑效率和公平。此外，我们提出了一种通用的方法来找到所提出的公平因子的界限，我们引入了自适应贴现方法，极大地稳定了学习，并有助于保持绿灯持续时间的高度灵活性。模拟和真实世界的数据的实验评估表明，我们提出的算法实现了最先进的性能（以前举行的传统非学习方法）在广泛的交通情况。
2020-12-27 cs.LG eess.SP stat.ML
Tensor-based Cooperative Control for Large Scale Multi-intersection Traffic Signal Using Deep Reinforcement Learning and Imitation Learning
Tsinghua University（清华大学）
交通信号控制一直被认为是智能交通系统中的一个重要课题。大多数现有的学习方法主要集中在孤立的交叉点，并遭受效率低下的训练。针对大规模多交叉口交通信号协同控制问题，建立了一种基于端到端学习的协同控制模型，并提出了相应的有效训练方法。在该模型中，输入的交通状态在多个交叉口表示为一个张量，这不仅显着降低了维数比使用单一的矩阵，但也避免了信息丢失。在输出端，控制策略采用多维布尔向量表示信号状态是否发生变化，简化了表示形式，符合实际相位变化规律。该模型采用多任务学习结构，通过学习获得协作策略。与单纯用强化学习对模型进行训练不同，我们采用模仿学习将基于规则的模型与神经网络结合起来进行预训练，从而提供了一个可靠的、令人满意的阶段解，并大大加快了收敛速度。然后，采用强化学习方法继续进行精细训练，并结合近端策略优化算法解决多维输出情况下的策略崩溃问题。在数值实验中，所提出的模型的优点与相关的国家的最先进的方法进行了比较。
2019-09-30 cs.LG stat.ML
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发，本文建立了两种强化学习算法：深度策略梯度和基于价值函数的代理，可以预测最好的交通信号交叉口。在每个时间步，这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号，然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果，而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
MoveLight: Enhancing Traffic Signal Control through Movement-Centric Deep Reinforcement Learning
Tsinghua University（清华大学）
本文提出MoveLight交通信号控制系统，采用基于车道级的FRAP算法和深度强化学习实现动态自适应控制，在真实数据集实验中显著降低了排队长度和延迟，提升了吞吐量。
2024-07-24 cs.LG
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵，近年来研究人员使用强化学习（RL）来开发更好的交通信号控制（TSC）算法。然而，大多数RL模型都是在相同的交通流环境中训练和测试的，这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的，这些模型由于缺乏泛化能力而难以应用。此外，可获得的交通流数据数量有限，这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量，并利用它们来构建合适的训练和测试环境。然后，我们提出了一个元RL TSC框架GeneraLight，以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验，以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
Intelligent Traffic Light via Policy-based Deep Reinforcement Learning
The University of Iowa（爱荷华大学）；National Advanced Driving Simulator, The University of Iowa（爱荷华大学国家高级驾驶模拟器）；Iowa Technology Institute, The University of Iowa（爱荷华大学爱荷华技术研究所）
智慧城市中的智能交通灯可以最佳地减少交通拥堵。在这项研究中，我们采用强化学习训练控制代理的交通灯上的模拟器的城市流动性。作为与现有工作的不同之处，除了诸如深度Q网络（DQN）和双DQN（DDQN）之类的基于值的方法之外，利用基于策略的深度强化学习方法，即近端策略优化（PPO）。首先，从PPO获得的最优策略进行比较，从DQN和DDQN。结果表明，PPO策略的性能优于其他策略。其次，我们采用可变时间间隔的信号灯相位代替固定时间间隔的信号灯相位，从而得到更好的交通流通行策略。然后，环境和行动干扰的影响进行了研究，以证明基于学习的控制器是鲁棒的。最后，我们考虑不平衡的交通流，并发现智能交通灯可以表现得相当不错的不平衡的交通情况下，虽然它学习的最佳策略，从平衡的交通情况。
2021-12-27 cs.LG
Deep Reinforcement Learning for Traffic Light Control in Vehicular Networks
New Jersey Institute of Technology（新泽西理工学院）；University of Houston（休斯顿大学）
现有的交通灯控制效率低下，造成了大量的问题，如长时间的延误和浪费能源。为了提高效率，必须将实时交通信息作为输入，并根据实时交通信息动态调整交通灯的持续时间。在如何动态调整交通信号持续时间方面，现有的工作要么是将交通信号分割成相等的持续时间，要么是从实际数据中提取有限的交通信息。本文研究了如何根据不同传感器和车载网络采集的数据来确定交通信号灯的持续时间。我们提出了一个深度强化学习模型来控制交通灯。在该模型中，我们通过收集数据并将整个交叉口划分为小网格，将复杂的交通场景量化为状态。交通灯的定时变化是行为，它被建模为一个高维马尔可夫决策过程。奖励是两个周期之间的累积等待时间差。为了求解该模型，采用卷积神经网络将状态映射到奖励。该模型由决斗网络、目标网络、双Q学习网络和优先经验回放等部分组成。在城市机动性仿真系统中对该模型进行了仿真验证，仿真结果表明了该模型在交通信号灯控制方面的有效性。
2018-03-29 cs.AI cs.LG stat.ML
ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control
McGill University（麦吉尔大学）；York University（约克大学）
交通信号控制对于交通基础设施的有效利用至关重要。车辆流量的迅速增加和交通模式的变化使得交通信号控制越来越具有挑战性。基于强化学习（RL）的算法在交通信号控制中表现出了其潜力。然而，大多数现有的解决方案需要大量的训练数据，这对于许多现实世界的场景是不可接受的。提出了一种新的基于模型的交通信号控制Meta强化学习框架（ModelLight）。在ModelLight中，道路交叉口模型的集合和基于优化的元学习方法用于提高基于RL的交通灯控制方法的数据效率。在真实世界数据集上的实验表明，ModelLight可以超越最先进的交通灯控制算法，同时大大减少与真实世界环境的交互次数。
2021-12-06 cs.LG eess.SP
CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario
Shanghai Jiao Tong University（上海交通大学）；Pennsylvania State University（宾夕法尼亚州立大学）
交通信号控制是强化学习的新兴应用场景。交通信号控制是影响人们日常生活的重要问题之一，如何适应动态交通环境，协调包括车辆和行人在内的数千个智能体，是强化学习面临的独特挑战。现代强化学习成功的一个关键因素依赖于一个好的模拟器来生成大量用于学习的数据样本。然而，目前最常用的开源交通仿真器SUMO在大规模路网和大流量交通场景下的可扩展性较差，阻碍了强化学习在交通场景中的应用研究。这促使我们创建一个新的交通模拟器CityFlow从根本上优化数据结构和高效的算法。CityFlow可以支持基于合成和真实世界数据的道路网络和交通流的灵活定义。它还为强化学习提供了用户友好的界面。最重要的是，CityFlow比SUMO快20倍以上，并且能够通过交互式渲染来支持城市范围的交通模拟。除了交通信号控制，CityFlow还可以作为其他交通研究的基础，并可以为智能交通领域的机器学习方法测试创造新的可能性。
2019-05-13 cs.LG cs.MA
Applying Reinforcement Learning to Optimize Traffic Light Cycles
KAIST（韩国科学技术院）
本文提出用强化学习实时优化交通信号灯周期，并通过 Simulation Urban Mobility 模拟器训练 Deep Q-Network，实验显示紧急停车平均次数减少 44.16%，证明其能有效缓解拥堵并改善交通流。
2024-02-22 cs.AI cs.LG
Back to Basics: Deep Reinforcement Learning in Traffic Signal Control
University of Amsterdam（阿姆斯特丹大学）；City of Amsterdam（阿姆斯特丹市政府）
在本文中，我们重新审视了一些基本前提的强化学习（RL）的方法，自学习交通灯。我们提出了RLight，一个组合的选择，提供强大的性能和良好的泛化看不见的流量。特别是，我们的主要贡献有三个方面：我们的轻量级和集群感知状态表示导致性能提高;我们重新制定马尔可夫决策过程（MDP），使其跳过黄灯的冗余时间步，加快学习30%;我们调查了动作空间，并提供了非循环和循环相变之间的性能差异的见解。此外，我们还提供了对方法的推广的见解，以应对不可见的流量。使用真实世界杭州交通数据集进行的评估表明，RLight优于最先进的基于规则的深度强化学习算法，证明了基于RL的方法在改善城市交通流量方面的潜力。
2021-11-21 cs.LG
Balancing Efficiency and Fairness in Traffic Light Control through Deep Reinforcement Learning
University of Padova（帕多瓦大学）
本文提出一种新型深度强化学习代理，通过整合公平性考虑平衡车辆和行人交通流，实验证明能有效减少拥堵并保障服务公平性。
2026-05-11 cs.LG
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg（弗莱堡大学）
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变，其影响是，我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益，例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理，这是交通中的一个重要瓶颈，使用智能交通信号或完全自动化的车辆。然而，如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中，我们提出了一种新的方法来优化混合交通情况下的交叉口交通流，使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略，让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权，让位给其他车辆，以优化交通流量。我们实现了我们的方法，并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明，我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置，也提供了更好的性能在广泛的交通情况相比，国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
Random Ensemble Reinforcement Learning for Traffic Signal Control
Xidian University（西安电子科技大学）
交通信号控制是智能交通建设的重要组成部分。有效的交通信号控制策略可以减少交通拥挤，提高城市道路交通效率，方便人们的生活。现有的交通信号控制强化学习方法主要集中在通过单独的神经网络进行学习。这种独立的神经网络可能落入训练结果的局部最优。更糟糕的是，收集的数据只能采样一次，因此数据利用率低。因此，我们提出了随机包围双DQN光（RELight）模型。该方法通过强化学习动态学习交通信号控制策略，并结合随机集成学习避免陷入局部最优，达到最优策略。此外，我们引入了数据更新率（UTD）来控制数据重用的数量，以改善数据利用率低的问题。此外，通过对合成数据和真实数据进行充分的实验，证明了本文提出的方法比现有的优化方法能取得更好的交通信号控制效果。
2022-03-10 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning for Traffic Signal Control: Demand Surges, Incidents and Sensor Failures
Technical University of Denmark (DTU)（丹麦技术大学）
本文提出了一种开源的回调框架，用于在交通模拟环境中灵活评估不同深度强化学习配置，研究了深度强化学习自适应交通控制器在需求激增、事故导致的容量下降和传感器故障等场景下的表现，并提出了缓解这些外源不确定性的具体设计。
2019-07-22 cs.LG cs.SY eess.SY
PDLight: A Deep Reinforcement Learning Traffic Light Control Algorithm with Pressure and Dynamic Light Duration
Beihang University（北京航空航天大学）
现有的城市交叉口交通灯控制效率低下，缺乏灵活性，往往会导致交通拥挤，造成长时间延误和能源浪费等诸多问题。如何找到最优的信号配时策略是城市交通管理中的一个重大挑战。在本文中，我们提出了PDlight，这是一种深度强化学习（DRL）交通灯控制算法，具有一种新的奖励PRCOL（具有出站车道剩余容量的压力）。作为对交通控制算法中使用的压力的改进，PRCOL不仅考虑了进入车道上的车辆数量，而且还考虑了离开车道的剩余容量。仿真结果表明，使用合成和真实世界的数据集相比，所提出的PDlight产生较低的平均旅行时间的几个国家的最先进的算法，PressLight和Colight，在固定和动态的绿灯持续时间。
2020-09-29 cs.LG eess.SP
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology（新泽西理工学院）
交通信号控制对我们的日常生活安全至关重要。在美国，大约四分之一的交通事故发生在交叉口，这是由于信号配时问题，这促使了以安全为导向的交叉口控制的发展。然而，现有的自适应交通信号控制的研究，使用强化学习技术主要集中在最大限度地减少交通延误，但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围，以确保现有强化学习方法的安全性，旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法（SafeLight），并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明，我们的方法可以显着减少碰撞，同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Deep Reinforcement Learning for Adaptive Traffic Signal Control
Iowa State University（爱荷华州立大学）
许多现有的交通信号控制器要么是简单的自适应控制器的基础上放置在交通路口周围的传感器，或优化的交通工程师在一个固定的时间表。优化交通控制器非常耗时，通常需要经验丰富的交通工程师。最近的研究已经证明了在这种情况下使用深度强化学习（DRL）的潜力。然而，大多数研究都没有考虑可以无缝过渡到部署的现实设置。在本文中，我们提出了一个基于DRL的自适应交通信号控制框架，明确考虑现实的交通场景，传感器和物理约束。在这个框架中，我们还提出了一种新的奖励功能，显示出显着改善的交通性能相比，典型的基线预定时和完全驱动的交通信号控制器。该框架的实现和验证仿真平台上模拟现实生活中的交通场景和传感器数据流。
2019-11-14 cs.LG cs.SY eess.SP
Automating the resolution of flight conflicts: Deep reinforcement learning in service of air traffic controllers
University of Piraeus（比雷埃夫斯大学）；CRIDA
密集和复杂的空中交通场景需要比空中交通管制员（ATCO）今天使用的战术冲突检测和解决（CD\&R）工具所表现出的更高水平的自动化。然而，空中交通管制（ATC）领域对安全至关重要，需要人工智能系统，操作员可以放心地放弃控制，确保操作完整性和自动化采用。实现这一目标的两个主要因素是解决方案的质量和决策的透明度。本文提出了使用图卷积强化学习方法在多智能体环境中运行，其中每个智能体（飞行）与其他智能体一起执行CD\&R任务。我们表明，这种方法可以提供高质量的解决方案，就利益相关者的利益（空中交通管制员和空域用户），解决运营透明度问题。
2022-06-15 cs.LG cs.MA
Autonomous Air Traffic Controller: A Deep Multi-Agent Reinforcement Learning Approach
Iowa State University（爱荷华州立大学）
空中交通管制是一个高度动态和随机环境下的实时安全决策过程。在今天的航空实践中，人类空中交通管制员监视和指挥许多飞行器通过其指定的空域扇区。随着传统（商用客机）和低空（无人机和eVTOL飞机）空域空中交通复杂性的快速增长，需要自主空中交通管制系统来适应高密度空中交通并确保飞机之间的安全间隔。我们提出了一个深度的多智能体强化学习框架，该框架能够识别和解决具有多个交叉点和合并点的高密度，随机和动态航路扇区中飞机之间的冲突。该框架利用了一个演员-评论家模型，A2 C，它结合了损失函数从近端策略优化（PPO），以帮助稳定的学习过程。此外，我们使用一个集中式学习，分散执行计划，其中一个神经网络的学习和共享的环境中的所有代理。我们表明，我们的框架是可扩展的和有效的大量入境飞机，以实现极高的交通吞吐量与安全保证。我们通过在蓝天环境中进行广泛的模拟来评估我们的模型。结果表明，我们的框架是能够解决99.97%和100%的所有冲突都在交叉口和合并点，分别在极端高密度的空中交通场景。
2019-05-02 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for the Joint Control of Traffic Light Signaling and Vehicle Speed Advice
TU Dresden（德累斯顿工业大学）；Audi AG（奥迪股份公司）
本文首次提出用深度强化学习联合优化交通信号灯控制与车辆速度建议，在11个基准场景中的8个场景降低了平均行程延误，并通过平滑车辆速度曲线提升交通系统效能。
2023-09-18 cs.LG
Neighbor-Aware Reinforcement Learning for Mixed Traffic Optimization in Large-scale Networks
University of Tennessee（田纳西大学）
本文提出一种邻域感知强化学习框架，通过奖励机制协调多交叉口混合交通，实现RV均衡分布，在真实网络中平均等待时间较单交叉口策略降低39.2%。
2024-12-17 cs.LG cs.SY eess.SY
Large-Scale Mixed-Traffic and Intersection Control using Multi-agent Reinforcement Learning
Department of Civil and Coastal Engineering at University of Florida（佛罗里达大学土木与海岸工程系）；Department of Computer Science at University of Memphis（密苏里大学计算机科学系）；Min H. Kao Department of Electrical Engineering and Computer Science at University of Tennessee（田纳西大学电子工程与计算机科学系）
本文提出去中心化多智能体强化学习方法，用于交通信号与机器人车辆共存的大规模混合交通控制，并在14个真实交叉口验证其效率提升。
2025-07-26 cs.LG cs.MA
Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic
School of Electronic and Information Engineering, Beijing Jiaotong University（北京交通大学电子信息工程学院）；State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University（北京交通大学轨道交通控制与安全国家重点实验室）
高层驾驶行为决策是互联车辆技术面临的一个挑战性问题，尤其是在异构交通场景下。提出了一种基于深度强化学习的异构交通环境下互联车辆高级驾驶行为决策方法。该模型由三个主要部分组成：将混合数据映射为称为超网格矩阵的数据格式的数据预处理器，提取隐藏特征的双流深度神经网络，以及学习最优策略的深度强化学习网络。最后，建立了一个包含不同异构交通场景的仿真环境，对所提出的方法进行了训练和测试。结果表明，该模型有能力学习最佳的高层次的驾驶策略，如驾驶快速通过异构交通没有不必要的车道变化。最后，通过两个独立的模型与所提出的模型进行了比较，并对性能进行了详细的分析。
2019-02-26 cs.AI cs.LG
Using a Deep Reinforcement Learning Agent for Traffic Signal Control
McMaster University（麦克马斯特大学）
本文提出一种基于深度强化学习的交通信号控制系统，通过离散交通状态编码和Q-learning训练，有效减少交通延误、队列长度和旅行时间。
2016-11-03 cs.LG cs.SY eess.SY
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University（哈尔滨工程大学）
我们考虑使用多智能体深度强化学习和车辆到一切（V2X）通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励，以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励：基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是：基于等待车辆的共享奖励，以及所有代理的等待时间。每个代理都有一个内存，用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟（SUMO）模拟器评估多智能体。结果表明，该系统可以有效地优化交通信号，与传统的周期性交通控制系统相比，平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
A Deep Reinforcement Learning Approach for Fair Traffic Signal Control
University of Toronto（多伦多大学）
交通信号控制是城市交通管理最有效的方法之一。近年来，基于深度强化学习（DRL）的交通控制方法因其利用实时交通数据的能力而受到关注，而传统的手工方法往往无法很好地利用这些数据。虽然大多数基于日间行车线的方法都集中在最大化的吞吐量或最小化的平均行驶时间的车辆，交通信号控制器的公平性往往被忽视。这一点尤其重要，因为忽略公平性可能导致某些车辆经历极端等待时间的情况，或者特定交通流的吞吐量受到交叉口另一冲突流的波动的高度影响。为了解决这些问题，我们引入了两个公平性的概念：基于延迟的公平性和基于吞吐量的公平性，这对应于上面提到的两个问题。此外，我们提出了两种基于DRL的交通信号控制方法来实现这些公平性的概念，可以实现高吞吐量。我们使用三种流量到达分布来评估我们所提出的方法的性能，并发现我们的方法在测试场景中优于基线。
2021-07-21 cs.AI cs.LG
Adaptive Transit Signal Priority based on Deep Reinforcement Learning and Connected Vehicles in a Traffic Microsimulation Environment
Georgia Institute of Technology（佐治亚理工学院）
本研究提出一种基于深度强化学习和网联车辆数据的自适应公交信号优先智能体，在微观仿真中使公交车行程时间减少约21%，且对一般交通影响极小，性能略优于传统感应式TSP控制。
2024-07-31 cs.LG
Independent Reinforcement Learning for Weakly Cooperative Multiagent Traffic Control Problem
Dalian Maritime University（大连海事大学）；Tianjin University of Technology（天津理工大学）；Nanyang Technological University（南洋理工大学）
自适应交通信号控制（ATSC）问题可以被建模为城市交叉口之间的多智能体合作博弈，其中交叉口合作以优化它们的共同目标。近年来，强化学习（RL）在序列决策问题中取得了显著的成功，这促使我们将RL应用于ASTC问题。在本研究中，我们使用独立强化学习（IRL）来解决一个复杂的交通协同控制问题。该问题的最大挑战之一是交叉口的观测信息通常是部分可观测的，这限制了IRL算法的学习性能。为此，我们将交通控制问题建模为部分可观测的弱合作交通模型（PO-WCTM），以优化一组交叉口的整体交通状况。不同于传统的IRL任务，在完全合作的游戏中，平均所有代理的回报，在PO-WCTM中的每个路口的学习目标是降低合作学习的难度，这也是符合交通环境假设。我们还提出了一个IRL算法称为合作重要宽松双DQN（CIL-DDQN），它扩展了双DQN（DDQN）算法使用两种机制：遗忘经验机制和宽松的权重训练机制。前一种机制降低了存储在经验应答缓冲区中的经验的重要性，解决了由于其他Agent策略改变而导致的经验失效问题。后一种机制增加了具有高估计的权重经验，并“宽松地”训练DDQN神经网络，这提高了合作联合策略的选择概率。实验结果表明，CIL-DDQN在流量控制问题的几乎所有性能指标上都优于其他方法。
2021-04-22 cs.LG
Adaptive Tuning of Parameterized Traffic Controllers via Multi-Agent Reinforcement Learning
Delft Center for Systems and Control, Delft University of Technology（代尔夫特理工大学系统与控制中心）
本文提出一种多智能体强化学习框架，通过自适应调节状态反馈控制器参数，提升交通控制的适应性和效率，实验显示其在复杂交通条件下表现优异且抗干扰能力强。
2026-04-10 cs.LG
Autonomous vehicle decision and control through reinforcement learning with traffic flow randomization
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）
本研究提出通过随机化SUMO中微观交通流参数来训练强化学习策略，提升自动驾驶在真实交通场景中的性能，实验证明该方法显著提高了成功率和计算奖励。
2024-04-19 cs.LG cs.RO cs.SY
Reinforcement Learning Algorithm for Traffic Steering in Heterogeneous Network
Poznan University of Technology（波兹南理工大学）
异构无线电接入网络需要高效的流量导向方法来达到接近最优的结果，以便最大化网络容量。本文的目的是提出一种新的流量导向算法中使用的HetNet，它利用强化学习算法结合人工神经网络，以最大限度地提高总用户满意度在模拟蜂窝网络。利用网络仿真结果将新算法与两种参考算法进行了比较。结果证明，新算法提供了显着更好的效率相比，参考算法，特别是在服务的用户数量有限的无线电接入网络的频率资源。
2021-11-29 cs.LG cs.NI
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
在各种交通文化和驾驶条件下，自动驾驶车辆在野外以适当的道路驾驶技术（安全有效地驾驶，而不打扰或危及其他道路使用者）执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色，并被应用于自动驾驶汽车策略，但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程（MDP）适应问题，并开发了Meta强化学习（MRL）驱动策略，以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟，以验证快速适应能力的MRL驾驶策略，显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control
University of Science and Technology of China（中国科学技术大学）；University of Arizona（亚利桑那大学）；IFLYTEK Co., Ltd（科大讯飞股份有限公司）；Rutgers University（罗格斯大学）
智能交通灯控制系统的开发是智能交通管理的基础。虽然已经做出了一些努力，以优化使用单独的交通信号灯在一个孤立的方式，相关的研究在很大程度上忽略了这样一个事实，即多路口交通信号灯的使用是空间上的影响，并有一个时间依赖性的历史交通状态的当前交通信号灯控制。为此，在本文中，我们提出了一种新的时空多智能体强化学习（STMARL）框架，有效地捕捉多个相关的交通灯的时空依赖性和控制这些交通灯的协调方式。具体而言，我们首先构建交通灯邻接图的基础上的空间结构的交通灯。然后，历史交通记录将通过递归神经网络结构与当前交通状态相结合。此外，基于时间相关的交通信息，我们设计了一个基于图神经网络的模型来表示多个交通灯之间的关系，并通过深度Q学习方法以分布式方式对每个交通灯进行决策。最后，通过仿真数据和真实数据的实验结果验证了STMARL框架的有效性，并对多交叉口交通信号灯的影响机制提供了深入的理解.
2020-11-29 cs.AI cs.LG cs.MA
A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control
IBM Research AI（IBM研究AI）；Amazon Web Services（亚马逊云科技）
空中交通管制是一个极具挑战性的操作问题，很容易通过决策支持技术来增强人类的专业知识的一个例子。在本文中，我们提出了一个新的智能决策框架，利用多智能体强化学习（MARL），动态建议调整飞机的速度实时。该系统的目标是提高空中交通管制员的能力，为飞机提供有效的引导，以避免空中交通拥挤，险些相撞的情况，并提高到达的及时性。我们开发了一种新的深度集成MARL方法，该方法可以通过学习有效地在基于本地内核的RL模型和更广泛的深度MARL模型的决策之间进行仲裁，来简洁地捕捉空中交通管制问题的复杂性。所提出的方法进行了培训和评估的开放源代码的空中交通管理模拟器开发的Eurocontrol。在包括数千架飞机的真实世界数据集上进行的大量实证结果证明了使用多智能体RL解决航路空中交通管制问题的可行性，并表明我们提出的深度集成MARL方法显着优于三种最先进的基准方法。
2020-04-03 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization
University of Macau（澳门大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
低效率的交通信号控制方法可能会导致许多问题，例如交通拥堵和能源浪费。强化学习（RL）是一种数据驱动的方法，用于复杂城市交通网络中的自适应交通信号控制。尽管深度神经网络（DNN）的发展进一步增强了其学习能力，但将深度RL应用于具有多个信号交叉口的交通网络仍然存在一些挑战，包括非平稳环境，探索-开发困境，多智能体训练方案，连续动作空间等。为了解决这些问题，本文首先通过扩展Actor-Critic策略梯度算法，提出了一种多Agent深度确定性策略梯度（MADDPG）方法。MADDPG有一个集中学习和分散执行的范式，其中批评者使用额外的信息来简化培训过程，而行为者则根据自己的当地观察采取行动。该模型通过城市移动性仿真（SUMO）平台上的仿真进行评估。模型比较结果表明了该算法在交通灯控制中的有效性。
2021-07-13 cs.AI cs.LG eess.SP
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK（计算系，伦敦帝国学院）
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题，提出时空强化学习STRL框架，在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
Traffic-Aware Optimal Taxi Placement Using Graph Neural Network-Based Reinforcement Learning
本文提出基于图神经网络强化学习的交通感知出租车最优布置方法，通过实时整合交通数据优化出租车热点，有效减少乘客等待时间和司机行驶距离。
2026-01-02 cs.LG
Safe and Psychologically Pleasant Traffic Signal Control with Reinforcement Learning using Action Masking
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IOSB-INA（弗劳恩霍夫IOSB-INA研究所）；University of Groningen（格罗宁根大学）
交通信号控制的强化学习方法在交叉口交通流控制仿真中表现出比传统方法更好的性能。然而，由于若干挑战，尚未在实地部署基于RL的海训方案。实际部署的一个主要挑战是确保在操作期间始终满足所有安全要求。我们提出了一种方法，以确保在现实世界中的交叉口的安全，通过使用一个行动空间，是安全的设计。行动空间包括交通相位，它代表了交叉口的非冲突信号颜色的组合。此外，动作掩蔽机制确保仅执行适当的相变。现实世界部署的另一个挑战是确保控制行为避免道路使用者的压力。我们演示了如何实现这一目标，通过扩展的动作掩蔽机制，将领域知识。我们在一个现实的模拟场景中测试和验证我们的方法。通过确保安全性和心理上令人愉快的控制行为，我们的方法推动了TSC RL的实际部署。
2022-06-21 cs.LG
Offline Reinforcement Learning for Road Traffic Control
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
交通信号控制是城市交通中的一个重要问题，具有显著的经济和环境影响潜力。虽然人们对交通信号控制的强化学习（RL）越来越感兴趣，但到目前为止，这项工作主要集中在通过模拟进行学习，这可能会由于简化假设而导致不准确。相反，关于交通的真实经验数据是可用的，可以以最低的成本加以利用。离线或批量RL的最新进展已经实现了这一点。特别是基于模型的离线RL方法，已经被证明比其他方法更好地从经验数据中进行概括。我们建立了一个基于模型的学习框架，从使用循环交通信号控制策略收集的数据集推断马尔可夫决策过程（MDP），该策略既常见又易于收集。MDP是建立在悲观的成本，以管理的分布情况下，使用自适应整形的奖励，这是为了提供更好的正则化相比，以前的相关工作，除了PAC最优。我们的模型进行了评估，一个复杂的信号环形交叉口显示，它是可以建立高性能的交通控制策略，在一个数据有效的方式。
2022-12-11 cs.AI cs.LG
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统（ITLCS）是一个典型的多智能体系统（MAS），它由多条道路和多个交通灯组成，构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习（MADRL）。MABRL的深度神经网络（DNN）虽然有效，但训练时间长，参数难以追踪。最近，广义学习系统（BLS）提供了一种选择性的方法，通过一个平面网络在深层神经网络学习。此外，广泛的强化学习（BRL）扩展BLS在单智能体深度强化学习（SADRL）问题，有希望的结果。然而，BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题，本文提出了一个多Agent广义强化学习（MABRL）框架来研究BLS在MAS中的作用。首先，与大多数现有的MADRL方法不同，这些方法使用一系列深层神经网络结构，我们用广泛的网络对每个代理进行建模。然后，引入动态自循环交互机制来确定“3W”信息：何时交互，需要考虑哪些Agent，传递什么信息。最后，基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法，并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Analyzing Behaviors of Mixed Traffic via Reinforcement Learning at Unsignalized Intersections
本报告利用强化学习分析无信号交叉口机器人车辆与人类驾驶车辆的混合交通行为，重点考察多模态分布、相关性及影响排队长度的因果因素。
2023-11-21 cs.CY cs.LG cs.RO
Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
Department of Civil Engineering and Engineering Mechanics, Columbia University（哥伦比亚大学土木工程与工程力学系）；Department of Civil and Environmental Engineering, University of Michigan（密歇根大学土木与环境工程系）；Center for Smart Cities, Data Science Institute, Columbia University（哥伦比亚大学智能城市中心、数据科学研究所）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出分层联邦强化学习方法，用于解决大规模异质交通信号控制中的协调与可扩展性问题，通过动态分组提升性能。
2026-02-07 cs.LG
Feudal Multi-Agent Reinforcement Learning with Adaptive Network Partition for Traffic Signal Control
University of Science and Technology of China（中国科学技术大学）
多智能体强化学习（MARL）已在多交叉口交通信号控制中得到应用，并显示出巨大的潜力。为了鼓励全球合作，以前的工作将交通网络划分为几个区域，并学习封建结构中代理的政策。然而，静态的网络划分不能适应动态的业务流，这将随着时间的推移频繁变化。为了解决这个问题，我们提出了一种新的封建MARL方法与自适应网络分区。具体来说，我们首先根据交通流量将网络划分为几个区域。为此，我们提出了两种方法：一种是直接使用图神经网络（GNN）来生成网络分区，另一种是使用蒙特卡罗树搜索（MCTS）来找到最好的分区与GNN计算的标准。然后，我们使用GNN设计了Qmix的一个变体来处理由动态网络划分给出的各种输入维度。最后，我们使用一个封建的层次结构来管理每个分区中的代理，并促进全球合作。通过这样做，代理能够根据实际需要适应流量。我们实证评估我们的方法在一个综合的交通网格和现实世界的交通网络的三个城市，广泛应用于文献中。我们的实验结果证实，我们的方法可以实现更好的性能，在平均行程时间和队列长度，比几个领先的交通信号控制方法。
2022-05-27 cs.LG cs.MA
Diagnosing Reinforcement Learning for Traffic Signal Control
Pennsylvania State University（宾夕法尼亚州立大学）；Shanghai Jiao Tong Univerisity（上海交通大学）；Shanghai Tianrang Intelligent Technology Co., Ltd（上海天壤智能科技有限公司）
随着交通数据可用性的提高和深度强化学习技术的发展，将强化学习（RL）应用于交通信号控制成为一种新兴趋势。将强化学习应用于交通信号控制的一个关键问题是如何定义奖励和状态。交通信号控制的最终目标是最小化行程时间，这是很难直接达到的。因此，现有的研究往往定义奖励为一个特设的加权线性组合的几个交通措施。但是，不能保证旅行时间将与奖励一起优化。此外，最近的RL方法使用更复杂的状态（例如，（图）以描述整个交通状况。然而，现有的研究都没有讨论过这种复杂的状态表示是否是必要的。这种额外的复杂性可能会导致学习过程明显变慢，但不一定会带来显着的性能提升。在本文中，我们建议重新审视RL方法通过经典的运输理论的镜头。我们提出了以下问题：（1）我们应该如何设计奖励，以保证最小化旅行时间？(2)如何设计一个简洁而又足以获得最优解的状态表示？我们提出的方法LIT的理论支持交通领域的经典交通信号控制方法。LIT有一个非常简单的状态和奖励设计，因此可以作为未来RL方法的交通信号控制的构建块。在合成和真实数据集上的大量实验表明，我们的方法显着优于最先进的交通信号控制方法。
2019-05-12 cs.AI cs.LG
Purpose in the Machine: Do Traffic Simulators Produce Distributionally Equivalent Outcomes for Reinforcement Learning Applications?
本研究探究交通模拟器CityFlow和SUMO是否为强化学习应用产生分布等价结果，通过控制实验发现二者在RL相关指标上不具有分布等价性，强调理解模拟器间差异的必要性。
2023-11-14 cs.CE cs.LG
A Reinforcement Learning Approach to Quiet and Safe UAM Traffic Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Hong Kong University of Science and Technology（香港科技大学）
针对城市空中交通（UAM）融入城市面临的噪声与安全挑战，提出多智能体强化学习方法，通过高度调整平衡垂直间隔保障与噪声缓解，验证了该技术的应用潜力。
2025-01-15 cs.LG cs.MA cs.RO
Safety-Prioritized, Reinforcement Learning-Enabled Traffic Flow Optimization in a 3D City-Wide Simulation Environment
本文提出安全优先的强化学习框架与三维全市交通仿真环境，通过自定义奖励的PPO模型显著减少碰撞、优化交通流并降低碳排放。
2025-05-23 cs.AI cs.LG cs.RO
Behaviorally Diverse Traffic Simulation via Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks公司）；Toyota Research Institute（丰田研究院）
交通模拟器是自动驾驶开发的重要工具。虽然在为开发人员提供更多建模各种流量参与者的选项方面取得了不断的进展，但调整这些模型以增加其行为多样性，同时保持质量通常非常具有挑战性。本文介绍了一种易于调整的自动驾驶智能体的策略生成算法。该算法通过不同的策略集选择器利用深度强化学习的表示和探索能力来平衡多样性和驾驶技能。此外，我们提出了一个算法，利用内在奖励，以扩大行为差异的培训。为了提供定量评估，我们开发了两个基于概率的评估指标，用于衡量政策和行为覆盖率之间的差异。我们的实验表明，我们的方法在几个具有挑战性的交叉口场景的有效性。
2020-11-11 cs.LG cs.RO
Learning to Communicate with Reinforcement Learning for an Adaptive Traffic Control System
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
多智能体强化学习的最新研究工作研究了与行动策略同时学习的智能体通信，以提高团队的回报。在本文中，我们研究了独立Q学习（IQL）没有通信和可微的智能体间学习（DIAL）的自适应交通控制系统（ATCS）的学习通信。在现实世界的ATCS中，不可能将环境的完整状态呈现给每个代理，因此在我们的模拟中，单个代理只能对环境的完整状态进行有限的观察。ATCS将使用城市移动性模拟（SUMO）交通模拟器进行模拟，其中模拟了两个相连的交叉口。每个交叉口都由一个智能体控制，该智能体具有改变交通流方向的能力。我们的研究结果表明，DIAL代理优于一个独立的Q-学习者的训练时间和最大实现的奖励，因为它能够与其他代理共享相关信息。
2021-10-29 cs.LG cs.MA
Reinforcement Learning with Human Feedback for Realistic Traffic Simulation
NVIDIA（英伟达）；UW-Madison（威斯康星大学麦迪逊分校）；Stanford（斯坦福大学）
针对仿真交通模型真实性与人类认知对齐的难题，提出基于人类偏好强化学习的TrafficRLHF框架，并引入首个真实性对齐数据集，在nuScenes上验证了生成真实交通场景的有效性。
2023-09-01 cs.AI cs.LG cs.RO
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
最近的研究表明，在交通中引入自动驾驶汽车（AV）可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能，包括自主车辆控制，并已用于最先进的AV控制器。然而，深度神经网络（DNN）使自动驾驶容易受到基于机器学习的攻击。在这项工作中，我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法，是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波（拥堵攻击）或AV加速导致AV撞到前面的车辆（保险攻击）。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明，后门模型不损害正常的操作性能，与累积奖励的最大下降为1%。尽管如此，当相应的触发器出现时，它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY
