Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach
McMaster University(麦克马斯特大学)
本研究用深度强化学习(DQN)调控信号和车辆行为,发现CAVs与自适应信号控制联合能显著减少交叉口追尾和交叉冲突,提升交通安全。
2024-05-29 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Fair Traffic Signal Control
University of Toronto(多伦多大学)
交通信号控制是城市交通管理最有效的方法之一。近年来,基于深度强化学习(DRL)的交通控制方法因其利用实时交通数据的能力而受到关注,而传统的手工方法往往无法很好地利用这些数据。虽然大多数基于日间行车线的方法都集中在最大化的吞吐量或最小化的平均行驶时间的车辆,交通信号控制器的公平性往往被忽视。这一点尤其重要,因为忽略公平性可能导致某些车辆经历极端等待时间的情况,或者特定交通流的吞吐量受到交叉口另一冲突流的波动的高度影响。为了解决这些问题,我们引入了两个公平性的概念:基于延迟的公平性和基于吞吐量的公平性,这对应于上面提到的两个问题。此外,我们提出了两种基于DRL的交通信号控制方法来实现这些公平性的概念,可以实现高吞吐量。我们使用三种流量到达分布来评估我们所提出的方法的性能,并发现我们的方法在测试场景中优于基线。
2021-07-21 cs.AI cs.LG
Diagnosing Reinforcement Learning for Traffic Signal Control
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong Univerisity(上海交通大学);Shanghai Tianrang Intelligent Technology Co., Ltd(上海天壤智能科技有限公司)
随着交通数据可用性的提高和深度强化学习技术的发展,将强化学习(RL)应用于交通信号控制成为一种新兴趋势。将强化学习应用于交通信号控制的一个关键问题是如何定义奖励和状态。交通信号控制的最终目标是最小化行程时间,这是很难直接达到的。因此,现有的研究往往定义奖励为一个特设的加权线性组合的几个交通措施。但是,不能保证旅行时间将与奖励一起优化。此外,最近的RL方法使用更复杂的状态(例如,(图)以描述整个交通状况。然而,现有的研究都没有讨论过这种复杂的状态表示是否是必要的。这种额外的复杂性可能会导致学习过程明显变慢,但不一定会带来显着的性能提升。在本文中,我们建议重新审视RL方法通过经典的运输理论的镜头。我们提出了以下问题:(1)我们应该如何设计奖励,以保证最小化旅行时间?(2)如何设计一个简洁而又足以获得最优解的状态表示?我们提出的方法LIT的理论支持交通领域的经典交通信号控制方法。LIT有一个非常简单的状态和奖励设计,因此可以作为未来RL方法的交通信号控制的构建块。在合成和真实数据集上的大量实验表明,我们的方法显着优于最先进的交通信号控制方法。
2019-05-12 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院)
交通信号控制对我们的日常生活安全至关重要。在美国,大约四分之一的交通事故发生在交叉口,这是由于信号配时问题,这促使了以安全为导向的交叉口控制的发展。然而,现有的自适应交通信号控制的研究,使用强化学习技术主要集中在最大限度地减少交通延误,但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围,以确保现有强化学习方法的安全性,旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法(SafeLight),并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明,我们的方法可以显着减少碰撞,同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
MalLight: Influence-Aware Coordinated Traffic Signal Control for Traffic Signal Malfunctions
Rutgers University(罗格斯大学);Arizona State University(亚利桑那州立大学);Lehigh University(利哈伊大学)
针对交通信号灯故障受关注不足的问题,提出基于强化学习的MalLight协同控制框架,通过ISAM和IRAM实现周边信号灯协同控制,在真实数据集上验证其性能优于传统及深度学习方法,最多可降低48.6%的通行量下降幅度。
2024-09-13 cs.AI
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab(滴滴出行AI实验室)
近年来,基于Meta强化学习的交通信号控制方法得到了越来越多的关注,与传统的控制方法相比,该方法具有更好的性能。然而,以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性,这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中,我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中,在新的情况下,利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化,顺应EM贝叶斯元学习和快速更新的优势DQN,它允许快速适应新的情况下,持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明,我们提出的框架适应更快,更强大的新的场景比以前的方法,特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control
HEC Montréal(蒙特利尔高等商学院)
缩放自适应交通信号控制涉及处理组合状态和动作空间。多智能体强化学习试图通过将控制分配给专门的智能体来解决这一挑战。然而,专业化阻碍了泛化和可转移性,并且神经网络架构的计算图-在多智能体环境中占主导地位-不提供处理任意数量的实体的灵活性,这些实体在道路网络之间以及随着时间的推移而变化。我们引入了基于图卷积网络的归纳图强化学习(IG-RL),它适应于任何道路网络的结构,以学习交通控制器及其周围环境的详细表示。我们的分散式方法可以学习可转移的自适应交通信号控制策略。在任意一组道路网络上进行训练后,我们的模型可以推广到新的道路网络,交通分布和交通状况,无需额外的训练和恒定数量的参数,与现有方法相比具有更大的可扩展性。此外,我们的方法可以通过捕获车道和车辆级别的(动态)需求来利用可用数据的粒度。所提出的方法进行了测试的道路网络和交通设置从未经历过的训练。我们将IG-RL与多智能体强化学习和特定领域的基线进行了比较。在合成道路网络和涉及曼哈顿3,971个交通信号控制的更大实验中,我们表明IG-RL的不同实例优于基线。
2021-09-20 cs.LG stat.ML
A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization
University of Macau(澳门大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
低效率的交通信号控制方法可能会导致许多问题,例如交通拥堵和能源浪费。强化学习(RL)是一种数据驱动的方法,用于复杂城市交通网络中的自适应交通信号控制。尽管深度神经网络(DNN)的发展进一步增强了其学习能力,但将深度RL应用于具有多个信号交叉口的交通网络仍然存在一些挑战,包括非平稳环境,探索-开发困境,多智能体训练方案,连续动作空间等。为了解决这些问题,本文首先通过扩展Actor-Critic策略梯度算法,提出了一种多Agent深度确定性策略梯度(MADDPG)方法。MADDPG有一个集中学习和分散执行的范式,其中批评者使用额外的信息来简化培训过程,而行为者则根据自己的当地观察采取行动。该模型通过城市移动性仿真(SUMO)平台上的仿真进行评估。模型比较结果表明了该算法在交通灯控制中的有效性。
2021-07-13 cs.AI cs.LG eess.SP
Quantifying the Impact of Non-Stationarity in Reinforcement Learning-Based Traffic Signal Control
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
在强化学习(RL)中,处理非平稳性是一个具有挑战性的问题。然而,某些领域,如流量优化,本质上是非平稳的。其原因和影响是多方面的。特别是,在处理交通信号控制时,解决非平稳性是关键,因为交通状况随时间变化,并作为网络其他部分所采取的交通控制决策的函数。在本文中,我们分析了不同来源的非平稳性的影响,在网络中的交通信号,其中每个信号被建模为一个学习代理。更确切地说,我们研究了改变代理学习的\textit{context}的影响(例如,其经历的流速变化),以及降低真实环境状态的试剂可观测性的影响。部分可观测性可能导致不同的状态(其中不同的动作是最佳的)被交通信号代理视为相同的。这反过来可能导致次优性能。我们表明,缺乏合适的传感器提供一个代表性的观察的真实状态似乎影响性能更剧烈的变化,基本的交通模式。
2020-04-09 cs.AI cs.LG cs.MA
SynTraC: A Synthetic Dataset for Traffic Signal Control from Traffic Monitoring Cameras
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);Rider University(莱德大学)
该研究推出首个基于图像的公开交通信号控制合成数据集SynTraC,提供带标注的CARLA模拟器写实图像、信号状态及多类奖励值,覆盖多样场景,实验验证了图像式交通信号控制仍具挑战,可助力后续算法研发。
2024-08-18 cs.AI
Adaptive traffic signal safety and efficiency improvement by multi objective deep reinforcement learning approach
Shahid Chamran University of Ahvaz(阿瓦士沙希德·查姆兰大学)
本文提出一种融合D3QN框架的多目标深度强化学习自适应交通信号控制方法,在长沙模拟交叉路口实现交通冲突减少16%以上、碳排放降低4%、等待时间较传统方法减少18%,并在高交通需求场景下兼顾安全、效率与脱碳目标。
2024-08-01 cs.AI cs.LG
Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究所)
交通信号控制器在当今的交通系统中起着至关重要的作用。然而,他们中的大多数目前是不够灵活或适应性,以产生最佳的交通时间表。在本文中,我们提出了一种方法,学习政策的信号控制器使用深度强化学习,旨在优化交通流。我们的方法使用了一种新的配方的奖励功能,同时考虑效率和公平。此外,我们提出了一种通用的方法来找到所提出的公平因子的界限,我们引入了自适应贴现方法,极大地稳定了学习,并有助于保持绿灯持续时间的高度灵活性。模拟和真实世界的数据的实验评估表明,我们提出的算法实现了最先进的性能(以前举行的传统非学习方法)在广泛的交通情况。
2020-12-27 cs.LG eess.SP stat.ML
An Open-Source Framework for Adaptive Traffic Signal Control
McMaster University(麦克马斯特大学)
交通系统中的次优控制策略对流动性、环境和人类健康产生负面影响。由于城市的交通系统可能是庞大、复杂和随机的,因此开发适当规模的最佳交通控制系统可能是困难的。交叉口交通信号控制器是现代交通基础设施的重要组成部分,其中次优控制策略会给许多用户带来高成本。社会上已经提出了许多自适应交通信号控制器,但缺乏对它们的相对性能差异的研究,哪种自适应交通信号控制器是最好的仍然是一个悬而未决的问题。这项研究有助于开发和评估不同的自适应交通信号控制器模型的仿真框架-学习和非学习-并展示其功能。该框架是用来第一,调查性能方差的建模自适应交通信号控制器相对于他们的超参数和第二,分析控制器与最佳超参数之间的性能差异。所提出的框架包含文献中一些最流行的自适应交通信号控制器的实现;韦伯斯特的,最大压力和自组织交通信号灯,以及深度Q网络和深度确定性策略梯度强化学习控制器。该框架将帮助研究人员从一个共同的起点加速他们的工作,使他们能够以更少的努力更快地产生结果。所有框架源代码都可以在https://github.com/docwza/sumolights上获得。
2019-09-01 cs.AI cs.LG cs.SY
Reinforcement Learning for Adaptive Traffic Signal Control: Turn-Based and Time-Based Approaches to Reduce Congestion
National University of Sciences & Technology(国家科技大学)
本文提出两种基于强化学习的自适应交通信号控制算法,分别按实时队列长度动态优先信号和按交通状况调整相位时长,在四个场景中验证其显著优于传统系统,可高效缓解拥堵。
2024-09-01 cs.AI
ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control
McGill University(麦吉尔大学);York University(约克大学)
交通信号控制对于交通基础设施的有效利用至关重要。车辆流量的迅速增加和交通模式的变化使得交通信号控制越来越具有挑战性。基于强化学习(RL)的算法在交通信号控制中表现出了其潜力。然而,大多数现有的解决方案需要大量的训练数据,这对于许多现实世界的场景是不可接受的。提出了一种新的基于模型的交通信号控制Meta强化学习框架(ModelLight)。在ModelLight中,道路交叉口模型的集合和基于优化的元学习方法用于提高基于RL的交通灯控制方法的数据效率。在真实世界数据集上的实验表明,ModelLight可以超越最先进的交通灯控制算法,同时大大减少与真实世界环境的交互次数。
2021-12-06 cs.LG eess.SP
Cooperative Multi-Objective Reinforcement Learning for Traffic Signal Control and Carbon Emission Reduction
National Yang Ming Chiao Tung University(阳明交通大学);Institute of Computational Intelligence(计算智能研究所)
针对现有交通信号控制方法次优、不稳定的问题,提出含局部与全局智能体的MOMA-DDPG合作多目标架构,用年龄衰减权重估计多奖励项,推理阶段保持去中心化,在真实数据上优于SOTA,可同时降低等待时间与碳排放,首次关联交通信号控制中的碳排放与全局智能体。
2023-07-16 cs.AI cs.LG cs.MA
Partially Detected Intelligent Traffic Signal Control: Environmental Adaptation
Carnegie Mellon University(卡内基梅隆大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);King Abdulaziz City for Science and Technology(阿卜杜勒阿齐兹国王科技城)
部分检测智能交通信号控制(PD-ITSC)系统可以根据有限的检测信息优化交通信号,这可能是未来缓解交通拥堵的一种具有成本效益的解决方案。在本文中,我们专注于一个特殊的问题,在PD-ITSC适应不断变化的环境。为此,我们研究了不同的强化学习算法,包括Q学习、邻近策略优化(PPO)、Advantage Actor-Critic(A2 C)和Actor-Critic with Kronecker-Factored Trust Region(ACKTR)。我们的研究结果表明,RL算法可以找到最佳策略下部分车辆检测,但是,基于策略的算法可以更有效地适应不断变化的环境比基于值的算法。我们使用这些研究结果得出结论,不同的模型PD-ITSC系统的价值。
2019-10-23 cs.AI cs.LG eess.SP
MoveLight: Enhancing Traffic Signal Control through Movement-Centric Deep Reinforcement Learning
Tsinghua University(清华大学)
本文提出MoveLight交通信号控制系统,采用基于车道级的FRAP算法和深度强化学习实现动态自适应控制,在真实数据集实验中显著降低了排队长度和延迟,提升了吞吐量。
2024-07-24 cs.LG
MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control
Peking University(北京大学);Pengcheng Laboratory(鹏城实验室)
本文提出MetaVIM方法,通过元变分隐变量建模邻居信息并设计内在奖励,提升分散式交通信号控制策略的泛化性与稳定性,在CityFlow上显著优于现有方法。
2024-04-01 cs.AI cs.LG cs.MA
Effects of Smart Traffic Signal Control on Air Quality
Institute of Atmospheric Pollution Research, CNR(意大利国家研究委员会大气污染研究所)
城市交通网络中的自适应交通信号控制(ATSC)提出了一个具有挑战性的任务,由于在交通系统中出现的复杂动力学。近年来,基于多智能体深度强化学习(MARL)的几种方法已经被实验研究。这些方法提出了分布式技术,其中每个信号交叉口被视为一个代理在一个随机的游戏,其目的是优化其附近的车辆流量。在这种情况下,系统朝着代理之间的平衡发展,这对整个交通网络都是有益的。最近开发的多代理变体的完善的优势演员-评论家(A2 C)算法,称为MA 2C(多代理A2 C)利用代理之间的一些通信的有前途的想法。在这种观点中,代理与其他邻居代理共享他们的策略,从而稳定学习过程,即使代理的数量和种类增加。我们在位于博洛尼亚(意大利)的两个交通网络中进行了MA 2C实验,发现它的作用转化为释放到环境中的污染物量的显着减少。
2021-07-06 cs.AI cs.LG cs.MA
Expression might be enough: representing pressure and demand for reinforcement learning based traffic signal control
Lanzhou University(兰州大学);University of Electronic Science and Technology of China(电子科技大学);University of Wollongong(伍伦贡大学);Jiangxi University of Science and Technology(江西理工大学)
许多研究证实,对于经典的交通信号控制(TSC)问题,一个合适的交通状态表示比复杂的算法更重要。本文(1)提出了一种新颖、灵活、有效的方法--先进最大压力法(2)创造性地设计了基于Advanced-MP的有效压力和有效行驶车辆的交通运动表示,即先进交通状态(ATS);以及(3)通过将ATS与最新的强化学习方法相结合,开发基于强化学习(RL)的算法模板,称为Advanced-XLight,并从Advanced-XLight生成两种强化学习算法,即“Advanced-MPLight”和“Advanced-CoLight”。在多个真实世界数据集上的综合实验表明:(1)Advanced-MP优于基线方法,并且对于部署来说也是高效和可靠的;(2)Advanced-MPLight和Advanced-CoLight可以达到最先进的水平。
2022-08-09 cs.AI cs.LG eess.SP
Deep Reinforcement Learning for Adaptive Traffic Signal Control
Iowa State University(爱荷华州立大学)
许多现有的交通信号控制器要么是简单的自适应控制器的基础上放置在交通路口周围的传感器,或优化的交通工程师在一个固定的时间表。优化交通控制器非常耗时,通常需要经验丰富的交通工程师。最近的研究已经证明了在这种情况下使用深度强化学习(DRL)的潜力。然而,大多数研究都没有考虑可以无缝过渡到部署的现实设置。在本文中,我们提出了一个基于DRL的自适应交通信号控制框架,明确考虑现实的交通场景,传感器和物理约束。在这个框架中,我们还提出了一种新的奖励功能,显示出显着改善的交通性能相比,典型的基线预定时和完全驱动的交通信号控制器。该框架的实现和验证仿真平台上模拟现实生活中的交通场景和传感器数据流。
2019-11-14 cs.LG cs.SY eess.SP
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
在本文中,我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现,奖励的系统应考虑整体的交通效率,而不是个别车辆的行驶效率。总之,合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
The Real Deal: A Review of Challenges and Opportunities in Moving Reinforcement Learning-Based Traffic Signal Control Systems Towards Reality
Carnegie Mellon University(卡内基梅隆大学)
交通信号控制(TSC)是一个高风险的领域,随着全球交通量的增长,其重要性日益增加。越来越多的工程将强化学习(RL)应用于TSC; RL可以利用丰富的流量数据来提高信令效率。然而,基于RL的信号控制器从未被部署。在这项工作中,我们提供了第一个审查的挑战,必须解决之前,RL可以部署TSC。我们专注于四个挑战,涉及(1)检测的不确定性,(2)通信的可靠性,(3)合规性和可解释性,以及(4)异构道路使用者。我们表明,基于RL的TSC的文献已经取得了一些进展,以应对每一个挑战。然而,更多的工作应该采取系统思考的方法,考虑其他管道组件对RL的影响。
2022-10-03 cs.AI cs.LG cs.SY
CoTV: Cooperative Control for Traffic Light Signals and Connected Autonomous Vehicles using Deep Reinforcement Learning
University College Dublin(都柏林大学学院);North China Electric Power University(华北电力大学)
仅以缩短行程时间为目的,并不足以支持未来智慧交通系统的发展。为了与联合国可持续发展目标(UN-SDG)保持一致,还应考虑进一步减少燃料和排放,改善交通安全,以及方便基础设施的部署和维护。与现有的工作集中在交通灯信号(以提高交叉口吞吐量)或车辆速度(以稳定交通)的控制优化不同,本文提出了一种多智能体深度强化学习(DRL)系统CoTV,它可以协同控制交通灯信号和互联自主车辆(CAV)。因此,我们的CoTV可以很好地平衡旅行时间,燃料和排放减少的成就。与此同时,CoTV也可以通过仅与每个引入道路上最靠近交通灯控制器的一个CAV合作来轻松部署。这使得交通灯控制器和CAV之间能够更有效地协调,从而导致传统上难以收敛的大规模多智能体场景下的训练CoTV的收敛。我们给出了详细的系统设计的CoTV,并证明了其有效性,在模拟研究中使用相扑在各种网格地图和现实的城市场景下,混合自主交通。
2023-02-14 cs.AI cs.LG cs.SY
Towards Robust Deep Reinforcement Learning for Traffic Signal Control: Demand Surges, Incidents and Sensor Failures
Technical University of Denmark (DTU)(丹麦技术大学)
本文提出了一种开源的回调框架,用于在交通模拟环境中灵活评估不同深度强化学习配置,研究了深度强化学习自适应交通控制器在需求激增、事故导致的容量下降和传感器故障等场景下的表现,并提出了缓解这些外源不确定性的具体设计。
2019-07-22 cs.LG cs.SY eess.SY
Using a Deep Reinforcement Learning Agent for Traffic Signal Control
McMaster University(麦克马斯特大学)
本文提出一种基于深度强化学习的交通信号控制系统,通过离散交通状态编码和Q-learning训练,有效减少交通延误、队列长度和旅行时间。
2016-11-03 cs.LG cs.SY eess.SY
CycLight: learning traffic signal cooperation with a cycle-level strategy
Southeast University(东南大学)
CycLight提出一种基于周期级深度强化学习的网络级自适应交通信号控制方法,利用PDQN同时优化周期长度和绿信比,结合去中心化多智能体协同与注意力机制,在SUMO仿真中验证了其优越性和对传输延迟的鲁棒性。
2024-01-16 cs.AI cs.LG cs.SY
A Comparative Study of Algorithms for Intelligent Traffic Signal Control
PES University(PES大学)
在本文中,方法已被探索,以有效地优化交通信号控制,最大限度地减少等待时间和排队长度,从而增加交通流量。首先将交通交叉口定义为一个马尔可夫决策过程,并选择了状态表示、动作和奖励。利用城市机动性仿真(SUMO)对一个交叉口进行仿真,比较了不同场景下的交通信号控制策略,即反馈控制机制Round Robin调度策略和深度Q网络(DQN)、优势行为者-批评者(A2C)两种强化学习技术。最后,该方法进行了测试,在印度的Bengalu的一个真实世界的交叉口的模拟。
2021-09-18 cs.LG cs.SY eess.SY
Multi-hop Upstream Anticipatory Traffic Signal Control with Deep Reinforcement Learning
University of Toronto(多伦多大学)
针对现有交通信号控制方法短视、学习复杂度高的问题,提出基于马尔可夫链的多跳上游压力概念,结合深度强化学习实现具备更广空间感知的信号控制,仿真验证可显著降低路网整体延误。
2025-01-16 cs.AI cs.LG cs.SY
Cooperative Reinforcement Learning on Traffic Signal Control
交通信号控制是一个具有挑战性的现实世界的问题,旨在通过协调车辆在道路交叉口的运动,以最大限度地减少总行程时间。现有的交通信号控制系统仍然严重依赖于过于简单的信息和基于规则的方法。具体来说,绿色/红色灯交替的周期性可以被认为是一个更好的规划每个代理在政策优化的先验。为了更好地学习这种自适应和预测的先验知识,传统的基于RL的方法只能从预定义的动作池返回一个固定的长度,只有本地代理。如果这些代理之间没有合作,一些代理经常会与其他代理发生冲突,从而降低整体吞吐量。提出了一种基于年龄衰减权值的协同多目标多Agent深度确定性策略梯度(COMMA-DDPG)结构,用于交通信号控制优化中多个奖励项的估计.两种类型的代理运行,以最大化不同目标的回报-一个是在每个交叉口的局部交通优化,另一个是全局交通等待时间优化。全局代理用于指导本地代理,作为帮助更快学习的手段,但不用于推理阶段。我们还提供了一个分析的解决方案的存在性与收敛性证明建议RL优化。使用来自亚洲国家的交通摄像头收集的真实交通数据进行评估。我们的方法可以有效地减少总延迟时间的60%。结果表明,与SoTA方法相比,其优越性。
2022-08-06 cs.AI
A Constrained Multi-Agent Reinforcement Learning Approach to Autonomous Traffic Signal Control
University of Maryland - College Park(马里兰大学学院公园分校)
本文将自适应交通信号控制视为约束多智能体强化学习问题,提出MAPPO-LCE算法并结合拉格朗日乘子法与三种现实约束,在真实数据集上显著优于基线算法。
2025-03-30 cs.LG cs.MA
Network-wide traffic signal control optimization using a multi-agent deep reinforcement learning
University of Macau(澳门大学);Southeast University(东南大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校);University of Delaware(特拉华大学)
低效的交通控制可能会导致许多问题,例如交通拥堵和能源浪费。提出了一种新的多智能体强化学习方法KS-DDPG(Knowledge Sharing Deep Deterministic策略梯度),通过增强交通信号灯之间的协作来实现最优控制。通过引入支持知识共享的通信协议,每个代理可以访问所有代理收集的交通环境的集体表示。该方法通过两个实验分别使用合成和真实世界的数据集进行评估。与最先进的基于强化学习和传统交通方法的比较表明,所提出的KS-DDPG在控制大规模交通网络和应对交通流量波动方面具有显着的效率。此外,引入的通信机制也被证明可以在不显著增加计算负担的情况下加快模型的收敛速度。
2021-04-20 cs.AI
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发,本文建立了两种强化学习算法:深度策略梯度和基于价值函数的代理,可以预测最好的交通信号交叉口。在每个时间步,这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号,然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果,而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Evaluating the Robustness of Reinforcement Learning based Adaptive Traffic Signal Control
Georgia Institute of Technology(佐治亚理工学院);School of Civil and Environmental Engineering(土木与环境工程学院);Southern Methodist University(南方 Methodist 大学)
本文提出一种基于强化学习的交通信号控制算法,通过在不同交通需求条件下训练和评估,验证其鲁棒性,并与现有优化方法进行对比,展示其在减少延误方面的优势。
2026-03-16 cs.LG
A Methodology for the Development of RL-Based Adaptive Traffic Signal Controllers
本文提出了一种使用强化学习开发自适应交通信号控制器的方法。我们的方法解决了缺乏标准化的文献,使不同的作品中的方法的比较毫无意义,由于指标,环境,甚至实验设计和方法的差异。因此,所提出的方法包括所有必要的步骤,开发,部署和评估自适应交通信号控制器-从模拟设置的问题制定和实验设计。我们在两个简单的场景中说明了所提出的方法,强调了其不同的步骤如何解决当前文献中发现的局限性。
2021-01-24 cs.LG cs.SY eess.SY
A Critical Review of Traffic Signal Control and A Novel Unified View of Reinforcement Learning and Model Predictive Control Approaches for Adaptive Traffic Signal Control
University of Toronto(多伦多大学)
近年来,已经见证了提高交通网络效率的自适应交通信号控制(ATSC)方法的实质性增长,特别是在利用基于人工智能的优化和控制算法(诸如强化学习以及常规模型预测控制)的分支中。然而,缺乏跨领域的分析和比较的有效性的应用方法在ATSC的研究限制了我们对现有的挑战和研究方向的理解。本章提出了一个新的统一的观点,现代ATSCs的共同点,以及现有的方法的差异和缺点,最终的目标,以促进交叉施肥和先进的国家的最先进的。统一的视图应用的数学语言的马尔可夫决策过程,描述了控制器设计的过程中,从世界(问题)和解决方案建模的角度。统一的观点还分析了现有研究中通常忽略的系统性问题,并提出了解决这些问题的未来潜在方向。
2022-11-26 cs.AI cs.SY eess.SY
Deep Reinforcement Q-Learning for Intelligent Traffic Signal Control with Partial Detection
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IFSTTAR(法国交通、发展与网络科学技术研究院)
智能交通信号控制器将DQN算法应用于交通灯策略优化,通过实时调整交通信号来有效地减少交通拥堵。然而,文献中的大多数主张认为,所有车辆在交叉口被检测到,一个不切实际的情况。最近,新的无线通信技术已经能够通过基础设施对联网车辆进行成本效益高的检测。由于目前只有一小部分的总舰队配备,能够在低检测率下执行的方法是可取的。在本文中,我们提出了一种深度强化Q学习模型,用于在具有连接车辆的部分可观察环境中优化孤立交叉口的交通信号控制。首先,我们在RL框架内提出了新的DQN模型。我们引入了一个新的状态表示部分可观察的环境和一个新的奖励功能的交通信号控制,并提供了一个网络架构和调谐超参数。其次,我们评估的性能模型在多个场景的数值模拟,在两个步骤。首先对现有的驱动控制器进行完全检测,然后对联网车辆的比例进行部分检测和损失估计。最后,从得到的结果,我们定义阈值的检测率可接受的和最佳的性能水平。
2021-09-29 cs.LG cs.SY eess.SY
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University(东南大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法,通过智能体间共享观察与奖励促进合作,实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Momentum Based Reward Design for Low Emission Traffic Signal Control
Institute of Technology, University of Tartu(塔尔图大学技术学院)
提出一种基于动量的奖励函数(MBRF),通过鼓励车辆持续移动而非单纯惩罚拥堵,在SUMO仿真中实现更好的吞吐量-排放权衡和更稳定的学习行为。
2026-07-09 cs.LG cs.RO
CoLight: Learning Network-level Cooperation for Traffic Signal Control
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Tianrang Intelligent Technology Co., Ltd(上海天壤智能科技有限公司)
交通信号之间的合作使车辆能够更快地通过十字路口。传统的交通方法通过预先计算两个交叉口之间的偏移量来实现协作。这种预先计算的偏移不适合于动态交通环境。为了实现交通信号的合作,在本文中,我们提出了一个模型,CoLight,它使用图形注意力网络来促进通信。具体而言,对于网络中的目标交叉口,CoLight不仅可以考虑相邻交叉口对目标交叉口的时空影响,还可以建立相邻交叉口的无索引建模。据我们所知,我们是第一个使用图形注意力网络的强化学习设置的交通信号控制,并进行实验的大规模道路网络上的数百个交通信号。在实验中,我们证明了通过学习通信,所提出的模型可以实现对最先进的方法优越的性能。
2019-11-05 cs.GT cs.LG cs.MA
Adaptive Transit Signal Priority based on Deep Reinforcement Learning and Connected Vehicles in a Traffic Microsimulation Environment
Georgia Institute of Technology(佐治亚理工学院)
本研究提出一种基于深度强化学习和网联车辆数据的自适应公交信号优先智能体,在微观仿真中使公交车行程时间减少约21%,且对一般交通影响极小,性能略优于传统感应式TSP控制。
2024-07-31 cs.LG
A Fully Data-Driven Approach for Realistic Traffic Signal Control Using Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));School of Vehicle and Mobility, Tsinghua University(清华大学车辆与出行学院);Baidu Inc.(百度公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出完全数据驱动且无模拟器的现实交通信号控制框架D2TSC,结合交通流理论与机器学习构建奖励推断模型,并利用样本高效的离线强化学习方法从历史离线数据集学习信号控制策略,实验证明其优于基线方法且现实适用性更强。
2023-11-27 cs.AI
Deep Reinforcement Learning for the Joint Control of Traffic Light Signaling and Vehicle Speed Advice
TU Dresden(德累斯顿工业大学);Audi AG(奥迪股份公司)
本文首次提出用深度强化学习联合优化交通信号灯控制与车辆速度建议,在11个基准场景中的8个场景降低了平均行程延误,并通过平滑车辆速度曲线提升交通系统效能。
2023-09-18 cs.LG
Feudal Multi-Agent Reinforcement Learning with Adaptive Network Partition for Traffic Signal Control
University of Science and Technology of China(中国科学技术大学)
多智能体强化学习(MARL)已在多交叉口交通信号控制中得到应用,并显示出巨大的潜力。为了鼓励全球合作,以前的工作将交通网络划分为几个区域,并学习封建结构中代理的政策。然而,静态的网络划分不能适应动态的业务流,这将随着时间的推移频繁变化。为了解决这个问题,我们提出了一种新的封建MARL方法与自适应网络分区。具体来说,我们首先根据交通流量将网络划分为几个区域。为此,我们提出了两种方法:一种是直接使用图神经网络(GNN)来生成网络分区,另一种是使用蒙特卡罗树搜索(MCTS)来找到最好的分区与GNN计算的标准。然后,我们使用GNN设计了Qmix的一个变体来处理由动态网络划分给出的各种输入维度。最后,我们使用一个封建的层次结构来管理每个分区中的代理,并促进全球合作。通过这样做,代理能够根据实际需要适应流量。我们实证评估我们的方法在一个综合的交通网格和现实世界的交通网络的三个城市,广泛应用于文献中。我们的实验结果证实,我们的方法可以实现更好的性能,在平均行程时间和队列长度,比几个领先的交通信号控制方法。
2022-05-27 cs.LG cs.MA
Learning Traffic Signal Control via Genetic Programming
Victoria University of Wellington(维多利亚大学)
针对深度强化学习用于交通信号控制时奖励设计依赖领域知识、策略可解释性差的问题,提出基于遗传编程优化的可解释树状相位紧急度函数方法,在多个公开数据集上性能优于现有基线方法。
2025-06-17 cs.AI cs.NE
Quantifying Distribution Shift in Traffic Signal Control with Histogram-Based GEH Distance
KTH Royal Institute of Technology(皇家理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文针对交通信号控制算法易受分布偏移影响的问题,提出基于直方图和GEH距离量化偏移的方法,通过模拟场景验证其能有效关联偏移程度与性能下降,为基准测试等提供实用工具。
2025-11-16 cs.AI cs.SY eess.SY
Reinforcement Learning-Based Traffic Signal Control for IoT-Enabled Intersections
Department of Electrical Engineering, Kuwait University(卡塔尔大学电气工程系)
提出基于近端策略优化的强化学习控制器,利用本地交通状态动态分配绿灯时长,在科威特真实数据仿真中,相比固定时间和感应控制分别减少46%和34%的平均延误,并降低23%的CO2排放。
2026-10-08 cs.LG cs.SY eess.SY
Solving Traffic4Cast Competition with U-Net and Temporal Domain Adaptation
ITMO University(ITMO大学);JetBrains Research(JetBrains研究院);HSE University(高等经济学院)
在这份技术报告中,我们介绍了我们对2021年核心挑战赛的解决方案,其中要求参与者根据前一小时的信息,在4个不同的城市开发预测60分钟前交通状态的算法。与以往举办的比赛不同,今年的挑战赛侧重于COVID-19大流行导致的交通时间域转移。在U-Net过去的成功之后,我们利用它来预测未来的交通地图。此外,我们探索了预训练编码器(如DenseNet和EfficientNet)的使用,并采用多种领域自适应技术来对抗域偏移。我们的解决方案在决赛中排名第三。该代码可在https://github.com/jbr-ai-labs/traffic4cast-2021上获得。
2021-11-05 cs.AI cs.CV cs.LG
Autonomous Traffic Signal Optimization Using Digital Twin and Agentic AI for Real-Time Decision-Making
Center for Advanced Analytics, CoE for Artificial Intelligence, Faculty of Computing and Informatics, Multimedia University, Cyberjaya, Malaysia(先进分析中心、人工智能学院、计算与信息学院,多媒体大学,吉宝市,马来西亚);Faculty of Computer Studies, Arab Open University-Bahrain, A’Ali, Bahrain(计算机研究学院,阿拉伯开放大学-巴林,阿利,巴林);Faculty of Computer and Information System, Islamic University of Madinah, Madinah, Saudi Arabia(计算机与信息系统学院,麦地那伊斯兰大学,麦地那,沙特阿拉伯);Faculty of Computer Studies, Multimedia University, Cyberjaya, Malaysia(计算机研究学院,多媒体大学,吉宝市,马来西亚)
本文提出一种基于数字孪生和群体智能AI的交通信号优化框架,通过实时感知和决策提升交通效率,优于固定时间与强化学习基线。
2026-04-30 cs.AI cs.ET cs.MA
Large scale traffic forecasting with gradient boosting, Traffic4cast 2022 challenge
Bolt Technology(博尔特科技);University of Bucharest(布加勒斯特大学)
准确的交通预测对于优化出行规划和高效的城市交通至关重要。IARAI(人工智能高级研究所)组织了一项基于真实数据的年度交通预测竞赛“Traffic 4cast”[https://www.iarai.ac.at/traffic4cast/],旨在利用人工智能的进步来产生准确的交通估计。我们提出了我们的解决方案,IARAI的mixic 4cast 2022竞争,其中的目标是开发预测道路图边缘拥堵类和超段级行驶时间的算法。与前几年相比,今年的比赛侧重于建模图边缘水平的行为,而不是更粗糙的聚合基于网格的交通电影。由于这一点,我们利用了一种类似于表格数据建模的方法--梯度提升决策树集成。我们降低了代表交通计数器的输入数据的维数与经典的PCA方法的帮助下,并将其作为输入到LightGBM模型。这种简单、快速和可扩展的技术使我们在核心竞争中获得第二名。源代码和对训练模型文件和提交的引用可在https://github.com/skandium/t4c22上获得。
2022-10-31 cs.LG
Multi-task Learning for Sparse Traffic Forecasting
South China University of Technology(华南理工大学)
准确的交通预测是提高智能交通系统性能的关键。以往的交通预测任务主要集中在小型和非孤立的交通子系统上,而2022年的交通预测竞赛则致力于探索整个城市的交通状态动态。仅给定一小时的稀疏循环计数数据,任务是预测所有路段的拥堵等级以及未来15分钟内沿超级路段的预期到达时间。循环计数器数据的稀疏性和高度不确定的实时交通状况使得竞争具有挑战性。为此,我们提出了一个多任务学习网络,可以同时预测每个路段的拥堵类别和速度。具体来说,我们使用聚类和神经网络方法来学习循环计数器数据的动态特征。然后,我们构建了一个图的道路段作为节点,并捕获道路段之间的空间依赖性的基础上的图神经网络。最后,我们学习三个措施,即拥挤类,速度值和音量类,同时通过一个多任务学习模块。对于扩展的竞争,我们使用预测的速度来计算沿超段的预期到达时间。我们的方法在2022年的music4cast竞赛提供的数据集上取得了优异的结果,源代码可在https://github.com/OctopusLi/NeurIPS2022-traffic4cast上获得。
2022-11-18 cs.LG
Less Traffic, Better Outcomes: Competition-Aware Request Dispatch in Real-Time Ad Exchanges
该研究针对实时广告交易平台请求过度分发的问题,提出感知竞争的请求调度框架,经在线实验验证可降低DSP请求量并提升净收入。
2026-08-05 cs.AI cs.LG
Transposed Variational Auto-encoder with Intrinsic Feature Learning for Traffic Forecasting
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在这份技术报告中,我们提出了我们的解决方案,以应对2022年的核心挑战和扩展挑战。在本次比赛中,参赛者需要根据前一小时的车辆计数器数据预测未来15分钟的交通状况。与同系列的其他比赛相比,今年的比赛侧重于不同数据源的预测和稀疏点到边的泛化。为了解决这些问题,我们引入了转置变分自动编码器(TVAE)模型来重建丢失的数据和图形注意力网络(GAT)来加强学习表示之间的相关性。我们进一步应用特征选择来从不同但容易获得的数据中学习交通模式。我们的解决方案在最终排行榜上的两项挑战中均排名第一。源代码可从\url{https://github.com/Daftstone/Traffic4cast}获得
2022-12-15 cs.AI cs.LG