EMVLight: A Decentralized Reinforcement Learning Framework for Efficient Passage of Emergency Vehicles
Siemens Corporation, Technology(西门子公司技术部)
应急车辆(EMV)在应对时间紧迫的事件(如城市地区的医疗紧急情况和火灾爆发)方面发挥着至关重要的作用。EMV在交通中花费的时间越少,就越有可能帮助拯救人们的生命并减少财产损失。为了减少EMV的行驶时间,先前的工作使用基于历史交通流数据的路线优化和基于最优路线的交通信号抢占。然而,交通信号抢占动态地改变交通流,这反过来又修改了EMV的最优路径。此外,交通信号灯优先使用的做法通常会导致交通流量的严重干扰,从而增加非电动汽车的行驶时间。在本文中,我们提出了EMVLight,一个分散的强化学习(RL)框架,同时动态路由和交通信号控制。EMVLight扩展了Dijkstra的算法,当EMV通过交通网络时,它可以实时的有效地更新EMV的最佳路线。分散的RL代理学习网络级的合作交通信号相位策略,不仅减少EMV旅行时间,而且减少网络中的非EMV的平均旅行时间。这一好处已通过综合实验和真实世界的地图证明。这些实验表明,EMVLight优于基准交通工程技术和现有的基于RL的信号控制方法。
2022-06-28 cs.LG cs.SY eess.SY
Reinforcement Learning based Traffic Signal Control for Queue Minimization: From Lane-based to Laneless Traffic
Department of Civil Engineering, IIT Madras(印度理工学院马德拉斯分校土木工程系);Wadhwani School of Data Science & AI, IIT Madras(印度理工学院马德拉斯分校瓦达威数据科学与人工智能学校);School of Electrical Engineering & Robotics, QUT, Brisbane, Australia(昆士兰大学电气工程与机器人学院);Robert Bosch Centre for Data Science & AI, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心)
本研究提出一种基于PPO强化学习的自适应交通信号控制框架,通过多种状态表示最小化总排队长度,在SUMO模拟中相比Webster方法平均队列长度减少约29%。
2026-11-04 cs.LG cs.SY eess.SY
Towards Robust Deep Reinforcement Learning for Traffic Signal Control: Demand Surges, Incidents and Sensor Failures
Technical University of Denmark (DTU)(丹麦技术大学)
本文提出了一种开源的回调框架,用于在交通模拟环境中灵活评估不同深度强化学习配置,研究了深度强化学习自适应交通控制器在需求激增、事故导致的容量下降和传感器故障等场景下的表现,并提出了缓解这些外源不确定性的具体设计。
2019-07-22 cs.LG cs.SY eess.SY
Reinforcement Learning-Based Traffic Signal Control for IoT-Enabled Intersections
Department of Electrical Engineering, Kuwait University(卡塔尔大学电气工程系)
提出基于近端策略优化的强化学习控制器,利用本地交通状态动态分配绿灯时长,在科威特真实数据仿真中,相比固定时间和感应控制分别减少46%和34%的平均延误,并降低23%的CO2排放。
2026-10-08 cs.LG cs.SY eess.SY
Provable Traffic Rule Compliance in Safe Reinforcement Learning on the Open Sea
Technical University of Munich(慕尼黑工业大学);TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对公海自动驾驶船舶的交通规则合规问题,提出将时序逻辑规范、集合预测谓词与状态图结合并通过动作掩码限制RL智能体的方法,可保证船舶始终遵守COLREGS且无碰撞,目标到达率高于传统RL方法。
2024-05-16 cs.LG cs.SY eess.SY
Deep Reinforcement Q-Learning for Intelligent Traffic Signal Control with Partial Detection
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IFSTTAR(法国交通、发展与网络科学技术研究院)
智能交通信号控制器将DQN算法应用于交通灯策略优化,通过实时调整交通信号来有效地减少交通拥堵。然而,文献中的大多数主张认为,所有车辆在交叉口被检测到,一个不切实际的情况。最近,新的无线通信技术已经能够通过基础设施对联网车辆进行成本效益高的检测。由于目前只有一小部分的总舰队配备,能够在低检测率下执行的方法是可取的。在本文中,我们提出了一种深度强化Q学习模型,用于在具有连接车辆的部分可观察环境中优化孤立交叉口的交通信号控制。首先,我们在RL框架内提出了新的DQN模型。我们引入了一个新的状态表示部分可观察的环境和一个新的奖励功能的交通信号控制,并提供了一个网络架构和调谐超参数。其次,我们评估的性能模型在多个场景的数值模拟,在两个步骤。首先对现有的驱动控制器进行完全检测,然后对联网车辆的比例进行部分检测和损失估计。最后,从得到的结果,我们定义阈值的检测率可接受的和最佳的性能水平。
2021-09-29 cs.LG cs.SY eess.SY
Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning
本研究提出整合CARLA与SUMO的交通协同仿真框架,结合YOLO视觉检测与多智能体强化学习实现自适应信号控制,验证了 imperfect 检测下方法的有效性与鲁棒性。
2025-09-18 cs.LG cs.SY eess.IV
UniTSA: A Universal Reinforcement Learning Framework for V2X Traffic Signal Control
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Shanghai AI Laboratory(上海人工智能实验室);Key Laboratory of Road and Traffic Engineering, Ministry of Education, Tongji University(同济大学道路与交通工程教育部重点实验室);SenseTime Group Limited(商汤集团有限公司)
本文提出UniTSA通用强化学习框架,通过交叉口矩阵表征状态和交通状态增强方法,使V2X交通信号控制模型能够适应不同结构的交叉口,并通过多配置实验验证其有效性。
2023-12-08 cs.LG cs.SY eess.SY
The Real Deal: A Review of Challenges and Opportunities in Moving Reinforcement Learning-Based Traffic Signal Control Systems Towards Reality
Carnegie Mellon University(卡内基梅隆大学)
交通信号控制(TSC)是一个高风险的领域,随着全球交通量的增长,其重要性日益增加。越来越多的工程将强化学习(RL)应用于TSC; RL可以利用丰富的流量数据来提高信令效率。然而,基于RL的信号控制器从未被部署。在这项工作中,我们提供了第一个审查的挑战,必须解决之前,RL可以部署TSC。我们专注于四个挑战,涉及(1)检测的不确定性,(2)通信的可靠性,(3)合规性和可解释性,以及(4)异构道路使用者。我们表明,基于RL的TSC的文献已经取得了一些进展,以应对每一个挑战。然而,更多的工作应该采取系统思考的方法,考虑其他管道组件对RL的影响。
2022-10-03 cs.AI cs.LG cs.SY
CoTV: Cooperative Control for Traffic Light Signals and Connected Autonomous Vehicles using Deep Reinforcement Learning
University College Dublin(都柏林大学学院);North China Electric Power University(华北电力大学)
仅以缩短行程时间为目的,并不足以支持未来智慧交通系统的发展。为了与联合国可持续发展目标(UN-SDG)保持一致,还应考虑进一步减少燃料和排放,改善交通安全,以及方便基础设施的部署和维护。与现有的工作集中在交通灯信号(以提高交叉口吞吐量)或车辆速度(以稳定交通)的控制优化不同,本文提出了一种多智能体深度强化学习(DRL)系统CoTV,它可以协同控制交通灯信号和互联自主车辆(CAV)。因此,我们的CoTV可以很好地平衡旅行时间,燃料和排放减少的成就。与此同时,CoTV也可以通过仅与每个引入道路上最靠近交通灯控制器的一个CAV合作来轻松部署。这使得交通灯控制器和CAV之间能够更有效地协调,从而导致传统上难以收敛的大规模多智能体场景下的训练CoTV的收敛。我们给出了详细的系统设计的CoTV,并证明了其有效性,在模拟研究中使用相扑在各种网格地图和现实的城市场景下,混合自主交通。
2023-02-14 cs.AI cs.LG cs.SY
A Traffic Light Dynamic Control Algorithm with Deep Reinforcement Learning Based on GNN Prediction
Beihang University(北京航空航天大学)
当今的智能交通灯控制系统是根据当前的道路交通状况进行交通调节的。然而,这些方法不能提前利用未来的交通信息。针对多交叉口智能交通控制系统的交通拥堵问题,提出了一种结合图神经网络(GNN)的深度强化学习(DRL)算法GPlight。在GPlight中,首先使用图神经网络(GNN)来预测交叉口的未来短期交通流。然后,将交通流预测结果用于交通灯控制,智能体将预测结果与观测到的当前交通状况相结合,动态控制交叉口交通灯的相位和时长。在杭州和纽约的模拟数据集和真实数据集上的实验验证了GPlight算法的有效性和合理性。
2020-09-29 cs.LG
Reinforcement learning for traffic signal control in hybrid action space
基于自适应学习的交通信号控制方法主要有阶段优化和持续时间优化两种,这取决于行为空间。在本文中,我们提出了一种新的控制架构,TBO,这是基于混合邻近策略优化。据我们所知,TBO是第一个基于RL的算法,实现同步优化的分期和持续时间。与离散和连续动作空间相比,混合动作空间是一个合并的搜索空间,TBO在其中更好地实现了频繁切换和不饱和释放之间的权衡。实验结果表明,与现有的基线相比,TBO平均减少了13.78%的队列长度和14.08%的延迟。此外,我们还计算了通行权的基尼系数,表明TBO在提高效率的同时并没有损害公平。
2022-11-25 cs.AI cs.LG cs.SY
DRLE: Decentralized Reinforcement Learning at the Edge for Traffic Light Control in the IoV
车联网(IoV)使车辆和路边单元之间能够进行实时数据交换,从而为缓解城市地区的交通拥堵提供了一个有前途的解决方案。同时,通过有效的交通灯控制进行更好的交通管理也可以通过实现更好的通信环境和降低网络负载来使车联网受益。因此,车联网和高效的交通灯控制可以形成良性循环。边缘计算是一种在网络边缘提供低延迟计算能力的新兴技术,可以进一步提高这一周期的性能。然而,虽然收集的信息很有价值,但尚未为边缘授权的IoV开发更好的利用率和更快的反馈的有效解决方案。为此,我们提出了一个分散的强化学习在边缘的交通灯控制在车联网(DRLE)。DRLE利用车联网的普遍性来加速交通数据的收集及其解释,以缓解拥堵并提供更好的交通灯控制。DRLE在边缘服务器的覆盖范围内运行,并使用来自相邻边缘服务器的聚合数据来提供城市规模的交通灯控制。DRLE将高度复杂的大区域控制问题分解。去中心化的多智能体问题我们用具体的数学推理证明了它的全局最优解。在每个边缘节点上运行的分布式强化学习算法实时的调整交通灯。我们进行了广泛的评估,并证明了这种方法的优越性超过几个国家的最先进的算法。
2021-01-05 cs.DC cs.LG cs.MA
ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control
McGill University(麦吉尔大学);York University(约克大学)
交通信号控制对于交通基础设施的有效利用至关重要。车辆流量的迅速增加和交通模式的变化使得交通信号控制越来越具有挑战性。基于强化学习(RL)的算法在交通信号控制中表现出了其潜力。然而,大多数现有的解决方案需要大量的训练数据,这对于许多现实世界的场景是不可接受的。提出了一种新的基于模型的交通信号控制Meta强化学习框架(ModelLight)。在ModelLight中,道路交叉口模型的集合和基于优化的元学习方法用于提高基于RL的交通灯控制方法的数据效率。在真实世界数据集上的实验表明,ModelLight可以超越最先进的交通灯控制算法,同时大大减少与真实世界环境的交互次数。
2021-12-06 cs.LG eess.SP
CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario
Shanghai Jiao Tong University(上海交通大学);Pennsylvania State University(宾夕法尼亚州立大学)
交通信号控制是强化学习的新兴应用场景。交通信号控制是影响人们日常生活的重要问题之一,如何适应动态交通环境,协调包括车辆和行人在内的数千个智能体,是强化学习面临的独特挑战。现代强化学习成功的一个关键因素依赖于一个好的模拟器来生成大量用于学习的数据样本。然而,目前最常用的开源交通仿真器SUMO在大规模路网和大流量交通场景下的可扩展性较差,阻碍了强化学习在交通场景中的应用研究。这促使我们创建一个新的交通模拟器CityFlow从根本上优化数据结构和高效的算法。CityFlow可以支持基于合成和真实世界数据的道路网络和交通流的灵活定义。它还为强化学习提供了用户友好的界面。最重要的是,CityFlow比SUMO快20倍以上,并且能够通过交互式渲染来支持城市范围的交通模拟。除了交通信号控制,CityFlow还可以作为其他交通研究的基础,并可以为智能交通领域的机器学习方法测试创造新的可能性。
2019-05-13 cs.LG cs.MA
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发,本文建立了两种强化学习算法:深度策略梯度和基于价值函数的代理,可以预测最好的交通信号交叉口。在每个时间步,这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号,然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果,而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Deep Reinforcement Learning-based Intelligent Traffic Signal Controls with Optimized CO2 emissions
Simon Fraser University(西蒙弗雷泽大学);Breeze Traffic Inc.(微风交通公司)
针对交通信号控制中CO2排放研究不足的问题,提出强化学习奖励塑造方案EcoLight,在减少CO2排放的同时保持旅行时间等指标竞争力,并比较了Q-Learning、DQN、SARSA和A2C算法在多场景下的性能。
2023-10-23 cs.AI cs.LG cs.SY
MoveLight: Enhancing Traffic Signal Control through Movement-Centric Deep Reinforcement Learning
Tsinghua University(清华大学)
本文提出MoveLight交通信号控制系统,采用基于车道级的FRAP算法和深度强化学习实现动态自适应控制,在真实数据集实验中显著降低了排队长度和延迟,提升了吞吐量。
2024-07-24 cs.LG
Multi-hop Upstream Anticipatory Traffic Signal Control with Deep Reinforcement Learning
University of Toronto(多伦多大学)
针对现有交通信号控制方法短视、学习复杂度高的问题,提出基于马尔可夫链的多跳上游压力概念,结合深度强化学习实现具备更广空间感知的信号控制,仿真验证可显著降低路网整体延误。
2025-01-16 cs.AI cs.LG cs.SY
Intelligent Traffic Light via Policy-based Deep Reinforcement Learning
The University of Iowa(爱荷华大学);National Advanced Driving Simulator, The University of Iowa(爱荷华大学国家高级驾驶模拟器);Iowa Technology Institute, The University of Iowa(爱荷华大学爱荷华技术研究所)
智慧城市中的智能交通灯可以最佳地减少交通拥堵。在这项研究中,我们采用强化学习训练控制代理的交通灯上的模拟器的城市流动性。作为与现有工作的不同之处,除了诸如深度Q网络(DQN)和双DQN(DDQN)之类的基于值的方法之外,利用基于策略的深度强化学习方法,即近端策略优化(PPO)。首先,从PPO获得的最优策略进行比较,从DQN和DDQN。结果表明,PPO策略的性能优于其他策略。其次,我们采用可变时间间隔的信号灯相位代替固定时间间隔的信号灯相位,从而得到更好的交通流通行策略。然后,环境和行动干扰的影响进行了研究,以证明基于学习的控制器是鲁棒的。最后,我们考虑不平衡的交通流,并发现智能交通灯可以表现得相当不错的不平衡的交通情况下,虽然它学习的最佳策略,从平衡的交通情况。
2021-12-27 cs.LG
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University(东南大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法,通过智能体间共享观察与奖励促进合作,实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Applying Reinforcement Learning to Optimize Traffic Light Cycles
KAIST(韩国科学技术院)
本文提出用强化学习实时优化交通信号灯周期,并通过 Simulation Urban Mobility 模拟器训练 Deep Q-Network,实验显示紧急停车平均次数减少 44.16%,证明其能有效缓解拥堵并改善交通流。
2024-02-22 cs.AI cs.LG
Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond
University of Washington(华盛顿大学);NEC Laboratories America Inc.(NEC美国实验室公司)
在这项工作中,我们研究了自适应数据引导的交通规划和控制使用强化学习(RL)。我们从经典方法的简单使用转向深度RL社区的最先进方法。我们在我们的算法中嵌入了几种最新的技术,这些技术改进了原始的深度Q网络(DQN)的离散控制,并讨论了随后与流量相关的解释。我们提出了一种新的基于DQN的流量控制算法(称为TC-DQN+)作为快速,更可靠的交通决策的工具。我们引入了一种新的形式的奖励函数,进一步讨论使用说明性的例子与传统的交通控制方法的比较。
2020-07-21 cs.LG stat.ML
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种无模型强化学习方法,用于控制模拟交通网络中的混合自主交通,该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解,允许分散控制的基础上,对任意数量的受控车辆的本地观测。我们证明,即使没有奖励塑造,强化学习也能学会协调车辆,使其表现出类似交通信号灯的行为,在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下,我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology(佐治亚理工学院);IBM Watson AI Foundation Group(IBM沃森人工智能基金会组)
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络(NoC)的运行时性能需要一个持续的学习框架。在这项工作中,我们展示了应用强化学习(RL)优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明,该算法可以成功地学习到一个接近最优的解决方案,在不同的环境状态。可复制代码:github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
在本文中,我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现,奖励的系统应考虑整体的交通效率,而不是个别车辆的行驶效率。总之,合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg(弗莱堡大学)
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变,其影响是,我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益,例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理,这是交通中的一个重要瓶颈,使用智能交通信号或完全自动化的车辆。然而,如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中,我们提出了一种新的方法来优化混合交通情况下的交叉口交通流,使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略,让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权,让位给其他车辆,以优化交通流量。我们实现了我们的方法,并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明,我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置,也提供了更好的性能在广泛的交通情况相比,国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
Random Ensemble Reinforcement Learning for Traffic Signal Control
Xidian University(西安电子科技大学)
交通信号控制是智能交通建设的重要组成部分。有效的交通信号控制策略可以减少交通拥挤,提高城市道路交通效率,方便人们的生活。现有的交通信号控制强化学习方法主要集中在通过单独的神经网络进行学习。这种独立的神经网络可能落入训练结果的局部最优。更糟糕的是,收集的数据只能采样一次,因此数据利用率低。因此,我们提出了随机包围双DQN光(RELight)模型。该方法通过强化学习动态学习交通信号控制策略,并结合随机集成学习避免陷入局部最优,达到最优策略。此外,我们引入了数据更新率(UTD)来控制数据重用的数量,以改善数据利用率低的问题。此外,通过对合成数据和真实数据进行充分的实验,证明了本文提出的方法比现有的优化方法能取得更好的交通信号控制效果。
2022-03-10 cs.AI cs.LG
Back to Basics: Deep Reinforcement Learning in Traffic Signal Control
University of Amsterdam(阿姆斯特丹大学);City of Amsterdam(阿姆斯特丹市政府)
在本文中,我们重新审视了一些基本前提的强化学习(RL)的方法,自学习交通灯。我们提出了RLight,一个组合的选择,提供强大的性能和良好的泛化看不见的流量。特别是,我们的主要贡献有三个方面:我们的轻量级和集群感知状态表示导致性能提高;我们重新制定马尔可夫决策过程(MDP),使其跳过黄灯的冗余时间步,加快学习30%;我们调查了动作空间,并提供了非循环和循环相变之间的性能差异的见解。此外,我们还提供了对方法的推广的见解,以应对不可见的流量。使用真实世界杭州交通数据集进行的评估表明,RLight优于最先进的基于规则的深度强化学习算法,证明了基于RL的方法在改善城市交通流量方面的潜力。
2021-11-21 cs.LG
Balancing Efficiency and Fairness in Traffic Light Control through Deep Reinforcement Learning
University of Padova(帕多瓦大学)
本文提出一种新型深度强化学习代理,通过整合公平性考虑平衡车辆和行人交通流,实验证明能有效减少拥堵并保障服务公平性。
2026-05-11 cs.LG
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering(纽约大学坦登工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校)
最近的研究表明,在交通中引入自动驾驶汽车(AV)可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能,包括自主车辆控制,并已用于最先进的AV控制器。然而,深度神经网络(DNN)使自动驾驶容易受到基于机器学习的攻击。在这项工作中,我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法,是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波(拥堵攻击)或AV加速导致AV撞到前面的车辆(保险攻击)。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明,后门模型不损害正常的操作性能,与累积奖励的最大下降为1%。尽管如此,当相应的触发器出现时,它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY
PDLight: A Deep Reinforcement Learning Traffic Light Control Algorithm with Pressure and Dynamic Light Duration
Beihang University(北京航空航天大学)
现有的城市交叉口交通灯控制效率低下,缺乏灵活性,往往会导致交通拥挤,造成长时间延误和能源浪费等诸多问题。如何找到最优的信号配时策略是城市交通管理中的一个重大挑战。在本文中,我们提出了PDlight,这是一种深度强化学习(DRL)交通灯控制算法,具有一种新的奖励PRCOL(具有出站车道剩余容量的压力)。作为对交通控制算法中使用的压力的改进,PRCOL不仅考虑了进入车道上的车辆数量,而且还考虑了离开车道的剩余容量。仿真结果表明,使用合成和真实世界的数据集相比,所提出的PDlight产生较低的平均旅行时间的几个国家的最先进的算法,PressLight和Colight,在固定和动态的绿灯持续时间。
2020-09-29 cs.LG eess.SP
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院)
交通信号控制对我们的日常生活安全至关重要。在美国,大约四分之一的交通事故发生在交叉口,这是由于信号配时问题,这促使了以安全为导向的交叉口控制的发展。然而,现有的自适应交通信号控制的研究,使用强化学习技术主要集中在最大限度地减少交通延误,但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围,以确保现有强化学习方法的安全性,旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法(SafeLight),并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明,我们的方法可以显着减少碰撞,同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Elan Corporation(Elan公司)
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功,但考虑到高样本效率的要求以及如何收集训练数据,直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中,我们解决了几个挑战,我们遇到的时候,我们试图减轻严重的交通拥堵发生在大都市地区。具体而言,我们需要提供一种解决方案,能够(1)在检索强化学习信息的某些监控摄像机停机时处理交通信号控制,(2)在没有交通模拟器的情况下从批量数据中学习,(3)在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法,给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习,能够学习批量数据的援助,提出了三个组件,有界的行动,批量扩增,和代理奖励裁剪。我们的实验表明,所提出的框架减少了36%的交通拥堵的等待时间相比,目前使用的固定时间的交通信号灯计划。此外,该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Data efficient reinforcement learning and adaptive optimal perimeter control of network traffic dynamics
The Hong Kong Polytechnic University(香港理工大学);Shenzhen University(深圳大学);Chulalongkorn University(朱拉隆功大学);Sun Yat-Sen University(中山大学)
现有的数据驱动和反馈流量控制策略没有考虑实时数据测量的异质性。此外,传统的强化学习(RL)方法用于交通控制通常收敛缓慢,缺乏数据效率。此外,传统的最优周长控制方案需要精确的知识的系统动态,因此将是脆弱的内生不确定性。为了应对这些挑战,这项工作提出了一种基于积分强化学习(IRL)的方法来学习宏观交通动态自适应最优周边控制。本文的工作对交通运输领域的研究有以下几个方面的贡献:(a)提出了一种基于离散增益更新的连续时间控制方法,以适应离散时间的传感器数据。(b)为了降低采样复杂度和更有效地利用可用数据,将经验重放(ER)技术引入IRL算法。(c)所提出的方法放松了对模型校准的要求,在一个“无模型”的方式,使鲁棒性对建模的不确定性,并通过数据驱动的RL算法,提高了实时性能。(d)基于IRL的算法的收敛性和控制的交通动态的稳定性证明通过李雅普诺夫理论。最优控制律参数化,然后近似神经网络(NN),这适度的计算复杂性。同时考虑了状态和输入约束,而不需要模型线性化。数值算例和仿真实验验证了所提方法的有效性。
2022-09-13 cs.LG cs.SY eess.SY
Automating the resolution of flight conflicts: Deep reinforcement learning in service of air traffic controllers
University of Piraeus(比雷埃夫斯大学);CRIDA
密集和复杂的空中交通场景需要比空中交通管制员(ATCO)今天使用的战术冲突检测和解决(CD\&R)工具所表现出的更高水平的自动化。然而,空中交通管制(ATC)领域对安全至关重要,需要人工智能系统,操作员可以放心地放弃控制,确保操作完整性和自动化采用。实现这一目标的两个主要因素是解决方案的质量和决策的透明度。本文提出了使用图卷积强化学习方法在多智能体环境中运行,其中每个智能体(飞行)与其他智能体一起执行CD\&R任务。我们表明,这种方法可以提供高质量的解决方案,就利益相关者的利益(空中交通管制员和空域用户),解决运营透明度问题。
2022-06-15 cs.LG cs.MA
Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization
Georgia Institute of Technology(佐治亚理工学院)
大都市地区的交通拥堵是一个世界性的问题,可以通过动态响应实时条件的交通灯来改善。最近的研究应用深度强化学习(RL)来优化单个交通信号灯,与传统控制相比有显着改善。然而,大规模道路网络全局交通状况优化问题本质上是一个多智能体协作控制问题,由于环境的非平稳性和在指数联合作用空间上的不可行性,单智能体强化学习不适用于该问题。受这些挑战的激励,我们提出了QCOMBO,一个简单而有效的多智能体强化学习(MARL)算法,它结合了独立学习和集中学习的优点。我们通过从单独优化的效用函数中选择动作来确保可扩展性,这些效用函数通过个体效用和全局动作-价值函数之间的新颖一致性正则化损失来最大化全局性能。不同的道路拓扑结构和交通流条件下的SUMO交通模拟器的实验表明,与最近的国家的最先进的MARL算法的QCOMBO竞争的性能。我们进一步表明,在小型子网络上训练的策略可以有效地推广到不同交通流条件下的大型网络,为MARL用于智能交通控制的适用性提供了经验证据。
2019-09-23 cs.LG cs.MA stat.ML
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University(哈尔滨工程大学)
我们考虑使用多智能体深度强化学习和车辆到一切(V2X)通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励,以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励:基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是:基于等待车辆的共享奖励,以及所有代理的等待时间。每个代理都有一个内存,用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟(SUMO)模拟器评估多智能体。结果表明,该系统可以有效地优化交通信号,与传统的周期性交通控制系统相比,平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab(滴滴出行AI实验室)
近年来,基于Meta强化学习的交通信号控制方法得到了越来越多的关注,与传统的控制方法相比,该方法具有更好的性能。然而,以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性,这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中,我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中,在新的情况下,利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化,顺应EM贝叶斯元学习和快速更新的优势DQN,它允许快速适应新的情况下,持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明,我们提出的框架适应更快,更强大的新的场景比以前的方法,特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究所)
交通信号控制器在当今的交通系统中起着至关重要的作用。然而,他们中的大多数目前是不够灵活或适应性,以产生最佳的交通时间表。在本文中,我们提出了一种方法,学习政策的信号控制器使用深度强化学习,旨在优化交通流。我们的方法使用了一种新的配方的奖励功能,同时考虑效率和公平。此外,我们提出了一种通用的方法来找到所提出的公平因子的界限,我们引入了自适应贴现方法,极大地稳定了学习,并有助于保持绿灯持续时间的高度灵活性。模拟和真实世界的数据的实验评估表明,我们提出的算法实现了最先进的性能(以前举行的传统非学习方法)在广泛的交通情况。
2020-12-27 cs.LG eess.SP stat.ML
Large-Scale Mixed-Traffic and Intersection Control using Multi-agent Reinforcement Learning
Department of Civil and Coastal Engineering at University of Florida(佛罗里达大学土木与海岸工程系);Department of Computer Science at University of Memphis(密苏里大学计算机科学系);Min H. Kao Department of Electrical Engineering and Computer Science at University of Tennessee(田纳西大学电子工程与计算机科学系)
本文提出去中心化多智能体强化学习方法,用于交通信号与机器人车辆共存的大规模混合交通控制,并在14个真实交叉口验证其效率提升。
2025-07-26 cs.LG cs.MA
IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control
HEC Montréal(蒙特利尔高等商学院)
缩放自适应交通信号控制涉及处理组合状态和动作空间。多智能体强化学习试图通过将控制分配给专门的智能体来解决这一挑战。然而,专业化阻碍了泛化和可转移性,并且神经网络架构的计算图-在多智能体环境中占主导地位-不提供处理任意数量的实体的灵活性,这些实体在道路网络之间以及随着时间的推移而变化。我们引入了基于图卷积网络的归纳图强化学习(IG-RL),它适应于任何道路网络的结构,以学习交通控制器及其周围环境的详细表示。我们的分散式方法可以学习可转移的自适应交通信号控制策略。在任意一组道路网络上进行训练后,我们的模型可以推广到新的道路网络,交通分布和交通状况,无需额外的训练和恒定数量的参数,与现有方法相比具有更大的可扩展性。此外,我们的方法可以通过捕获车道和车辆级别的(动态)需求来利用可用数据的粒度。所提出的方法进行了测试的道路网络和交通设置从未经历过的训练。我们将IG-RL与多智能体强化学习和特定领域的基线进行了比较。在合成道路网络和涉及曼哈顿3,971个交通信号控制的更大实验中,我们表明IG-RL的不同实例优于基线。
2021-09-20 cs.LG stat.ML
Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic
School of Electronic and Information Engineering, Beijing Jiaotong University(北京交通大学电子信息工程学院);State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University(北京交通大学轨道交通控制与安全国家重点实验室)
高层驾驶行为决策是互联车辆技术面临的一个挑战性问题,尤其是在异构交通场景下。提出了一种基于深度强化学习的异构交通环境下互联车辆高级驾驶行为决策方法。该模型由三个主要部分组成:将混合数据映射为称为超网格矩阵的数据格式的数据预处理器,提取隐藏特征的双流深度神经网络,以及学习最优策略的深度强化学习网络。最后,建立了一个包含不同异构交通场景的仿真环境,对所提出的方法进行了训练和测试。结果表明,该模型有能力学习最佳的高层次的驾驶策略,如驾驶快速通过异构交通没有不必要的车道变化。最后,通过两个独立的模型与所提出的模型进行了比较,并对性能进行了详细的分析。
2019-02-26 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Fair Traffic Signal Control
University of Toronto(多伦多大学)
交通信号控制是城市交通管理最有效的方法之一。近年来,基于深度强化学习(DRL)的交通控制方法因其利用实时交通数据的能力而受到关注,而传统的手工方法往往无法很好地利用这些数据。虽然大多数基于日间行车线的方法都集中在最大化的吞吐量或最小化的平均行驶时间的车辆,交通信号控制器的公平性往往被忽视。这一点尤其重要,因为忽略公平性可能导致某些车辆经历极端等待时间的情况,或者特定交通流的吞吐量受到交叉口另一冲突流的波动的高度影响。为了解决这些问题,我们引入了两个公平性的概念:基于延迟的公平性和基于吞吐量的公平性,这对应于上面提到的两个问题。此外,我们提出了两种基于DRL的交通信号控制方法来实现这些公平性的概念,可以实现高吞吐量。我们使用三种流量到达分布来评估我们所提出的方法的性能,并发现我们的方法在测试场景中优于基线。
2021-07-21 cs.AI cs.LG
STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control
University of Science and Technology of China(中国科学技术大学);University of Arizona(亚利桑那大学);IFLYTEK Co., Ltd(科大讯飞股份有限公司);Rutgers University(罗格斯大学)
智能交通灯控制系统的开发是智能交通管理的基础。虽然已经做出了一些努力,以优化使用单独的交通信号灯在一个孤立的方式,相关的研究在很大程度上忽略了这样一个事实,即多路口交通信号灯的使用是空间上的影响,并有一个时间依赖性的历史交通状态的当前交通信号灯控制。为此,在本文中,我们提出了一种新的时空多智能体强化学习(STMARL)框架,有效地捕捉多个相关的交通灯的时空依赖性和控制这些交通灯的协调方式。具体而言,我们首先构建交通灯邻接图的基础上的空间结构的交通灯。然后,历史交通记录将通过递归神经网络结构与当前交通状态相结合。此外,基于时间相关的交通信息,我们设计了一个基于图神经网络的模型来表示多个交通灯之间的关系,并通过深度Q学习方法以分布式方式对每个交通灯进行决策。最后,通过仿真数据和真实数据的实验结果验证了STMARL框架的有效性,并对多交叉口交通信号灯的影响机制提供了深入的理解.
2020-11-29 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for the Joint Control of Traffic Light Signaling and Vehicle Speed Advice
TU Dresden(德累斯顿工业大学);Audi AG(奥迪股份公司)
本文首次提出用深度强化学习联合优化交通信号灯控制与车辆速度建议,在11个基准场景中的8个场景降低了平均行程延误,并通过平滑车辆速度曲线提升交通系统效能。
2023-09-18 cs.LG
A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization
University of Macau(澳门大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
低效率的交通信号控制方法可能会导致许多问题,例如交通拥堵和能源浪费。强化学习(RL)是一种数据驱动的方法,用于复杂城市交通网络中的自适应交通信号控制。尽管深度神经网络(DNN)的发展进一步增强了其学习能力,但将深度RL应用于具有多个信号交叉口的交通网络仍然存在一些挑战,包括非平稳环境,探索-开发困境,多智能体训练方案,连续动作空间等。为了解决这些问题,本文首先通过扩展Actor-Critic策略梯度算法,提出了一种多Agent深度确定性策略梯度(MADDPG)方法。MADDPG有一个集中学习和分散执行的范式,其中批评者使用额外的信息来简化培训过程,而行为者则根据自己的当地观察采取行动。该模型通过城市移动性仿真(SUMO)平台上的仿真进行评估。模型比较结果表明了该算法在交通灯控制中的有效性。
2021-07-13 cs.AI cs.LG eess.SP
Reinforcement Learning Algorithm for Traffic Steering in Heterogeneous Network
Poznan University of Technology(波兹南理工大学)
异构无线电接入网络需要高效的流量导向方法来达到接近最优的结果,以便最大化网络容量。本文的目的是提出一种新的流量导向算法中使用的HetNet,它利用强化学习算法结合人工神经网络,以最大限度地提高总用户满意度在模拟蜂窝网络。利用网络仿真结果将新算法与两种参考算法进行了比较。结果证明,新算法提供了显着更好的效率相比,参考算法,特别是在服务的用户数量有限的无线电接入网络的频率资源。
2021-11-29 cs.LG cs.NI
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);The Pennsylvania State University(宾夕法尼亚州立大学)
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵,近年来研究人员使用强化学习(RL)来开发更好的交通信号控制(TSC)算法。然而,大多数RL模型都是在相同的交通流环境中训练和测试的,这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的,这些模型由于缺乏泛化能力而难以应用。此外,可获得的交通流数据数量有限,这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量,并利用它们来构建合适的训练和测试环境。然后,我们提出了一个元RL TSC框架GeneraLight,以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验,以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control
IBM Research AI(IBM研究AI);Amazon Web Services(亚马逊云科技)
空中交通管制是一个极具挑战性的操作问题,很容易通过决策支持技术来增强人类的专业知识的一个例子。在本文中,我们提出了一个新的智能决策框架,利用多智能体强化学习(MARL),动态建议调整飞机的速度实时。该系统的目标是提高空中交通管制员的能力,为飞机提供有效的引导,以避免空中交通拥挤,险些相撞的情况,并提高到达的及时性。我们开发了一种新的深度集成MARL方法,该方法可以通过学习有效地在基于本地内核的RL模型和更广泛的深度MARL模型的决策之间进行仲裁,来简洁地捕捉空中交通管制问题的复杂性。所提出的方法进行了培训和评估的开放源代码的空中交通管理模拟器开发的Eurocontrol。在包括数千架飞机的真实世界数据集上进行的大量实证结果证明了使用多智能体RL解决航路空中交通管制问题的可行性,并表明我们提出的深度集成MARL方法显着优于三种最先进的基准方法。
2020-04-03 cs.AI cs.LG
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统(ITLCS)是一个典型的多智能体系统(MAS),它由多条道路和多个交通灯组成,构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习(MADRL)。MABRL的深度神经网络(DNN)虽然有效,但训练时间长,参数难以追踪。最近,广义学习系统(BLS)提供了一种选择性的方法,通过一个平面网络在深层神经网络学习。此外,广泛的强化学习(BRL)扩展BLS在单智能体深度强化学习(SADRL)问题,有希望的结果。然而,BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题,本文提出了一个多Agent广义强化学习(MABRL)框架来研究BLS在MAS中的作用。首先,与大多数现有的MADRL方法不同,这些方法使用一系列深层神经网络结构,我们用广泛的网络对每个代理进行建模。然后,引入动态自循环交互机制来确定“3W”信息:何时交互,需要考虑哪些Agent,传递什么信息。最后,基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法,并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK(计算系,伦敦帝国学院)
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题,提出时空强化学习STRL框架,在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
Analyzing Behaviors of Mixed Traffic via Reinforcement Learning at Unsignalized Intersections
本报告利用强化学习分析无信号交叉口机器人车辆与人类驾驶车辆的混合交通行为,重点考察多模态分布、相关性及影响排队长度的因果因素。
2023-11-21 cs.CY cs.LG cs.RO
Adaptive Transit Signal Priority based on Deep Reinforcement Learning and Connected Vehicles in a Traffic Microsimulation Environment
Georgia Institute of Technology(佐治亚理工学院)
本研究提出一种基于深度强化学习和网联车辆数据的自适应公交信号优先智能体,在微观仿真中使公交车行程时间减少约21%,且对一般交通影响极小,性能略优于传统感应式TSP控制。
2024-07-31 cs.LG