Deep Reinforcement Learning for Adaptive Traffic Signal Control
Iowa State University(爱荷华州立大学)
许多现有的交通信号控制器要么是简单的自适应控制器的基础上放置在交通路口周围的传感器,或优化的交通工程师在一个固定的时间表。优化交通控制器非常耗时,通常需要经验丰富的交通工程师。最近的研究已经证明了在这种情况下使用深度强化学习(DRL)的潜力。然而,大多数研究都没有考虑可以无缝过渡到部署的现实设置。在本文中,我们提出了一个基于DRL的自适应交通信号控制框架,明确考虑现实的交通场景,传感器和物理约束。在这个框架中,我们还提出了一种新的奖励功能,显示出显着改善的交通性能相比,典型的基线预定时和完全驱动的交通信号控制器。该框架的实现和验证仿真平台上模拟现实生活中的交通场景和传感器数据流。
2019-11-14 cs.LG cs.SY eess.SP
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
在各种交通文化和驾驶条件下,自动驾驶车辆在野外以适当的道路驾驶技术(安全有效地驾驶,而不打扰或危及其他道路使用者)执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色,并被应用于自动驾驶汽车策略,但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程(MDP)适应问题,并开发了Meta强化学习(MRL)驱动策略,以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟,以验证快速适应能力的MRL驾驶策略,显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
Deep Reinforcement Learning-based Intelligent Traffic Signal Controls with Optimized CO2 emissions
Simon Fraser University(西蒙弗雷泽大学);Breeze Traffic Inc.(微风交通公司)
针对交通信号控制中CO2排放研究不足的问题,提出强化学习奖励塑造方案EcoLight,在减少CO2排放的同时保持旅行时间等指标竞争力,并比较了Q-Learning、DQN、SARSA和A2C算法在多场景下的性能。
2023-10-23 cs.AI cs.LG cs.SY
Applying Reinforcement Learning to Optimize Traffic Light Cycles
KAIST(韩国科学技术院)
本文提出用强化学习实时优化交通信号灯周期,并通过 Simulation Urban Mobility 模拟器训练 Deep Q-Network,实验显示紧急停车平均次数减少 44.16%,证明其能有效缓解拥堵并改善交通流。
2024-02-22 cs.AI cs.LG
Multi-hop Upstream Anticipatory Traffic Signal Control with Deep Reinforcement Learning
University of Toronto(多伦多大学)
针对现有交通信号控制方法短视、学习复杂度高的问题,提出基于马尔可夫链的多跳上游压力概念,结合深度强化学习实现具备更广空间感知的信号控制,仿真验证可显著降低路网整体延误。
2025-01-16 cs.AI cs.LG cs.SY
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
在本文中,我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现,奖励的系统应考虑整体的交通效率,而不是个别车辆的行驶效率。总之,合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Autonomous vehicle decision and control through reinforcement learning with traffic flow randomization
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学吴贤铭智能工程学院)
本研究提出通过随机化SUMO中微观交通流参数来训练强化学习策略,提升自动驾驶在真实交通场景中的性能,实验证明该方法显著提高了成功率和计算奖励。
2024-04-19 cs.LG cs.RO cs.SY
A Critical Review of Traffic Signal Control and A Novel Unified View of Reinforcement Learning and Model Predictive Control Approaches for Adaptive Traffic Signal Control
University of Toronto(多伦多大学)
近年来,已经见证了提高交通网络效率的自适应交通信号控制(ATSC)方法的实质性增长,特别是在利用基于人工智能的优化和控制算法(诸如强化学习以及常规模型预测控制)的分支中。然而,缺乏跨领域的分析和比较的有效性的应用方法在ATSC的研究限制了我们对现有的挑战和研究方向的理解。本章提出了一个新的统一的观点,现代ATSCs的共同点,以及现有的方法的差异和缺点,最终的目标,以促进交叉施肥和先进的国家的最先进的。统一的视图应用的数学语言的马尔可夫决策过程,描述了控制器设计的过程中,从世界(问题)和解决方案建模的角度。统一的观点还分析了现有研究中通常忽略的系统性问题,并提出了解决这些问题的未来潜在方向。
2022-11-26 cs.AI cs.SY eess.SY
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种无模型强化学习方法,用于控制模拟交通网络中的混合自主交通,该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解,允许分散控制的基础上,对任意数量的受控车辆的本地观测。我们证明,即使没有奖励塑造,强化学习也能学会协调车辆,使其表现出类似交通信号灯的行为,在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下,我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Random Ensemble Reinforcement Learning for Traffic Signal Control
Xidian University(西安电子科技大学)
交通信号控制是智能交通建设的重要组成部分。有效的交通信号控制策略可以减少交通拥挤,提高城市道路交通效率,方便人们的生活。现有的交通信号控制强化学习方法主要集中在通过单独的神经网络进行学习。这种独立的神经网络可能落入训练结果的局部最优。更糟糕的是,收集的数据只能采样一次,因此数据利用率低。因此,我们提出了随机包围双DQN光(RELight)模型。该方法通过强化学习动态学习交通信号控制策略,并结合随机集成学习避免陷入局部最优,达到最优策略。此外,我们引入了数据更新率(UTD)来控制数据重用的数量,以改善数据利用率低的问题。此外,通过对合成数据和真实数据进行充分的实验,证明了本文提出的方法比现有的优化方法能取得更好的交通信号控制效果。
2022-03-10 cs.AI cs.LG
Multi-Agent Deep Reinforcement Learning for HVAC Control in Commercial Buildings
Nanjing University of Posts and Telecommunications(南京邮电大学);Huazhong University of Science and Technology(华中科技大学)
在商业建筑中,约40%-50%的总电力消耗归因于供暖、通风和空调(HVAC)系统,这给建筑运营商带来了经济负担。在本文中,我们打算最小化的能源成本的暖通空调系统在一个多区域的商业建筑在动态定价考虑随机区域占用,热舒适性,室内空气品质舒适。由于存在未知的热动力学模型,参数不确定性(例如,室外温度、电价和居住者数量)、与室内温度和CO2浓度相关联的空间和时间耦合约束、大的离散解空间以及非凸和不可分离的目标函数,实现上述目标是非常具有挑战性的。为此,上述能量成本最小化问题被重新表述为马尔可夫博弈。然后,提出了一种基于多智能体深度强化学习和注意力机制的HVAC控制算法来解决马尔可夫博弈。该算法不需要任何不确定参数的先验知识,可以在不知道建立热动力学模型的情况下运行。基于真实轨迹的仿真结果表明了该算法的有效性、鲁棒性和可扩展性。
2020-07-22 cs.LG cs.SY eess.SY
Assessment of Reward Functions in Reinforcement Learning for Multi-Modal Urban Traffic Control under Real-World limitations
University of Warwick(华威大学);Vivacity Labs(维瓦西蒂实验室)
事实证明,强化学习是一种成功的工具,它可以管理城市交叉路口,而管理传统交通控制器所需的工作量很小。然而,文献介绍和控制行人到这样的交叉口是稀缺的。此外,目前还不清楚什么交通状态变量应该被用来作为奖励,以获得最佳的代理性能。本文稳健地评估了30种不同的强化学习奖励函数,用于控制为行人和车辆服务的交叉路口,这些交叉路口覆盖了现代视觉传感器提供的主要交通状态变量。一些奖励在以前的文献中提出的车辆交通扩展到行人,而新的介绍。我们使用校准模型的需求,传感器,绿色时间和其他业务限制的一个真正的十字路口在大曼彻斯特,英国。评估的奖励可以分为5组,这取决于所使用的幅度:排队,等待时间,延迟,平均速度和吞吐量的枢纽。不同的代理人的性能,在等待时间方面,比较在不同的需求水平,从正常运行到传统的自适应控制器的饱和。我们发现,最大化网络速度的奖励同时获得车辆和行人的最低等待时间,紧随其后的是队列最小化,表现出比其他先前提出的方法更好的性能。
2020-10-17 cs.LG cs.SY eess.SY
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology(南方科技大学);NetEase Games AI Lab(网易游戏人工智能实验室)
尽管将演化计算集成到强化学习中取得了新的进展,但缺乏一个高性能的平台来赋予可组合性和大规模并行性,这给异步商业游戏的研究和应用带来了不小的困难。在这里,我们介绍Lamarkian-一个开源平台,支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率,Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求,拉马克为异步马尔可夫决策过程定制了一个接口,并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比,我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势:i)在Google足球游戏上运行PPO时,采样效率和训练速度都提高了一倍; ii)在Pong游戏上运行PBT+PPO时,训练速度提高了13倍。此外,我们还提出了两个用例:i)拉马克如何应用于生成行为多样化的游戏AI; ii)拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology(佐治亚理工学院);IBM Watson AI Foundation Group(IBM沃森人工智能基金会组)
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络(NoC)的运行时性能需要一个持续的学习框架。在这项工作中,我们展示了应用强化学习(RL)优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明,该算法可以成功地学习到一个接近最优的解决方案,在不同的环境状态。可复制代码:github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院)
交通信号控制对我们的日常生活安全至关重要。在美国,大约四分之一的交通事故发生在交叉口,这是由于信号配时问题,这促使了以安全为导向的交叉口控制的发展。然而,现有的自适应交通信号控制的研究,使用强化学习技术主要集中在最大限度地减少交通延误,但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围,以确保现有强化学习方法的安全性,旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法(SafeLight),并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明,我们的方法可以显着减少碰撞,同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning for Traffic Signal Control: Demand Surges, Incidents and Sensor Failures
Technical University of Denmark (DTU)(丹麦技术大学)
本文提出了一种开源的回调框架,用于在交通模拟环境中灵活评估不同深度强化学习配置,研究了深度强化学习自适应交通控制器在需求激增、事故导致的容量下降和传感器故障等场景下的表现,并提出了缓解这些外源不确定性的具体设计。
2019-07-22 cs.LG cs.SY eess.SY
Deep Reinforcement Q-Learning for Intelligent Traffic Signal Control with Partial Detection
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IFSTTAR(法国交通、发展与网络科学技术研究院)
智能交通信号控制器将DQN算法应用于交通灯策略优化,通过实时调整交通信号来有效地减少交通拥堵。然而,文献中的大多数主张认为,所有车辆在交叉口被检测到,一个不切实际的情况。最近,新的无线通信技术已经能够通过基础设施对联网车辆进行成本效益高的检测。由于目前只有一小部分的总舰队配备,能够在低检测率下执行的方法是可取的。在本文中,我们提出了一种深度强化Q学习模型,用于在具有连接车辆的部分可观察环境中优化孤立交叉口的交通信号控制。首先,我们在RL框架内提出了新的DQN模型。我们引入了一个新的状态表示部分可观察的环境和一个新的奖励功能的交通信号控制,并提供了一个网络架构和调谐超参数。其次,我们评估的性能模型在多个场景的数值模拟,在两个步骤。首先对现有的驱动控制器进行完全检测,然后对联网车辆的比例进行部分检测和损失估计。最后,从得到的结果,我们定义阈值的检测率可接受的和最佳的性能水平。
2021-09-29 cs.LG cs.SY eess.SY
EMVLight: A Decentralized Reinforcement Learning Framework for Efficient Passage of Emergency Vehicles
Siemens Corporation, Technology(西门子公司技术部)
应急车辆(EMV)在应对时间紧迫的事件(如城市地区的医疗紧急情况和火灾爆发)方面发挥着至关重要的作用。EMV在交通中花费的时间越少,就越有可能帮助拯救人们的生命并减少财产损失。为了减少EMV的行驶时间,先前的工作使用基于历史交通流数据的路线优化和基于最优路线的交通信号抢占。然而,交通信号抢占动态地改变交通流,这反过来又修改了EMV的最优路径。此外,交通信号灯优先使用的做法通常会导致交通流量的严重干扰,从而增加非电动汽车的行驶时间。在本文中,我们提出了EMVLight,一个分散的强化学习(RL)框架,同时动态路由和交通信号控制。EMVLight扩展了Dijkstra的算法,当EMV通过交通网络时,它可以实时的有效地更新EMV的最佳路线。分散的RL代理学习网络级的合作交通信号相位策略,不仅减少EMV旅行时间,而且减少网络中的非EMV的平均旅行时间。这一好处已通过综合实验和真实世界的地图证明。这些实验表明,EMVLight优于基准交通工程技术和现有的基于RL的信号控制方法。
2022-06-28 cs.LG cs.SY eess.SY
Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning
本研究提出整合CARLA与SUMO的交通协同仿真框架,结合YOLO视觉检测与多智能体强化学习实现自适应信号控制,验证了 imperfect 检测下方法的有效性与鲁棒性。
2025-09-18 cs.LG cs.SY eess.IV
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Elan Corporation(Elan公司)
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功,但考虑到高样本效率的要求以及如何收集训练数据,直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中,我们解决了几个挑战,我们遇到的时候,我们试图减轻严重的交通拥堵发生在大都市地区。具体而言,我们需要提供一种解决方案,能够(1)在检索强化学习信息的某些监控摄像机停机时处理交通信号控制,(2)在没有交通模拟器的情况下从批量数据中学习,(3)在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法,给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习,能够学习批量数据的援助,提出了三个组件,有界的行动,批量扩增,和代理奖励裁剪。我们的实验表明,所提出的框架减少了36%的交通拥堵的等待时间相比,目前使用的固定时间的交通信号灯计划。此外,该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Reinforcement Learning based Traffic Signal Control for Queue Minimization: From Lane-based to Laneless Traffic
Department of Civil Engineering, IIT Madras(印度理工学院马德拉斯分校土木工程系);Wadhwani School of Data Science & AI, IIT Madras(印度理工学院马德拉斯分校瓦达威数据科学与人工智能学校);School of Electrical Engineering & Robotics, QUT, Brisbane, Australia(昆士兰大学电气工程与机器人学院);Robert Bosch Centre for Data Science & AI, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心)
本研究提出一种基于PPO强化学习的自适应交通信号控制框架,通过多种状态表示最小化总排队长度,在SUMO模拟中相比Webster方法平均队列长度减少约29%。
2026-11-04 cs.LG cs.SY eess.SY
A Traffic Light Dynamic Control Algorithm with Deep Reinforcement Learning Based on GNN Prediction
Beihang University(北京航空航天大学)
当今的智能交通灯控制系统是根据当前的道路交通状况进行交通调节的。然而,这些方法不能提前利用未来的交通信息。针对多交叉口智能交通控制系统的交通拥堵问题,提出了一种结合图神经网络(GNN)的深度强化学习(DRL)算法GPlight。在GPlight中,首先使用图神经网络(GNN)来预测交叉口的未来短期交通流。然后,将交通流预测结果用于交通灯控制,智能体将预测结果与观测到的当前交通状况相结合,动态控制交叉口交通灯的相位和时长。在杭州和纽约的模拟数据集和真实数据集上的实验验证了GPlight算法的有效性和合理性。
2020-09-29 cs.LG
Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic
School of Electronic and Information Engineering, Beijing Jiaotong University(北京交通大学电子信息工程学院);State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University(北京交通大学轨道交通控制与安全国家重点实验室)
高层驾驶行为决策是互联车辆技术面临的一个挑战性问题,尤其是在异构交通场景下。提出了一种基于深度强化学习的异构交通环境下互联车辆高级驾驶行为决策方法。该模型由三个主要部分组成:将混合数据映射为称为超网格矩阵的数据格式的数据预处理器,提取隐藏特征的双流深度神经网络,以及学习最优策略的深度强化学习网络。最后,建立了一个包含不同异构交通场景的仿真环境,对所提出的方法进行了训练和测试。结果表明,该模型有能力学习最佳的高层次的驾驶策略,如驾驶快速通过异构交通没有不必要的车道变化。最后,通过两个独立的模型与所提出的模型进行了比较,并对性能进行了详细的分析。
2019-02-26 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Fair Traffic Signal Control
University of Toronto(多伦多大学)
交通信号控制是城市交通管理最有效的方法之一。近年来,基于深度强化学习(DRL)的交通控制方法因其利用实时交通数据的能力而受到关注,而传统的手工方法往往无法很好地利用这些数据。虽然大多数基于日间行车线的方法都集中在最大化的吞吐量或最小化的平均行驶时间的车辆,交通信号控制器的公平性往往被忽视。这一点尤其重要,因为忽略公平性可能导致某些车辆经历极端等待时间的情况,或者特定交通流的吞吐量受到交叉口另一冲突流的波动的高度影响。为了解决这些问题,我们引入了两个公平性的概念:基于延迟的公平性和基于吞吐量的公平性,这对应于上面提到的两个问题。此外,我们提出了两种基于DRL的交通信号控制方法来实现这些公平性的概念,可以实现高吞吐量。我们使用三种流量到达分布来评估我们所提出的方法的性能,并发现我们的方法在测试场景中优于基线。
2021-07-21 cs.AI cs.LG
Reinforcement Learning-Based Traffic Signal Control for IoT-Enabled Intersections
Department of Electrical Engineering, Kuwait University(卡塔尔大学电气工程系)
提出基于近端策略优化的强化学习控制器,利用本地交通状态动态分配绿灯时长,在科威特真实数据仿真中,相比固定时间和感应控制分别减少46%和34%的平均延误,并降低23%的CO2排放。
2026-10-08 cs.LG cs.SY eess.SY
Provable Traffic Rule Compliance in Safe Reinforcement Learning on the Open Sea
Technical University of Munich(慕尼黑工业大学);TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对公海自动驾驶船舶的交通规则合规问题,提出将时序逻辑规范、集合预测谓词与状态图结合并通过动作掩码限制RL智能体的方法,可保证船舶始终遵守COLREGS且无碰撞,目标到达率高于传统RL方法。
2024-05-16 cs.LG cs.SY eess.SY
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University(哈尔滨工程大学)
我们考虑使用多智能体深度强化学习和车辆到一切(V2X)通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励,以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励:基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是:基于等待车辆的共享奖励,以及所有代理的等待时间。每个代理都有一个内存,用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟(SUMO)模拟器评估多智能体。结果表明,该系统可以有效地优化交通信号,与传统的周期性交通控制系统相比,平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
DRLE: Decentralized Reinforcement Learning at the Edge for Traffic Light Control in the IoV
车联网(IoV)使车辆和路边单元之间能够进行实时数据交换,从而为缓解城市地区的交通拥堵提供了一个有前途的解决方案。同时,通过有效的交通灯控制进行更好的交通管理也可以通过实现更好的通信环境和降低网络负载来使车联网受益。因此,车联网和高效的交通灯控制可以形成良性循环。边缘计算是一种在网络边缘提供低延迟计算能力的新兴技术,可以进一步提高这一周期的性能。然而,虽然收集的信息很有价值,但尚未为边缘授权的IoV开发更好的利用率和更快的反馈的有效解决方案。为此,我们提出了一个分散的强化学习在边缘的交通灯控制在车联网(DRLE)。DRLE利用车联网的普遍性来加速交通数据的收集及其解释,以缓解拥堵并提供更好的交通灯控制。DRLE在边缘服务器的覆盖范围内运行,并使用来自相邻边缘服务器的聚合数据来提供城市规模的交通灯控制。DRLE将高度复杂的大区域控制问题分解。去中心化的多智能体问题我们用具体的数学推理证明了它的全局最优解。在每个边缘节点上运行的分布式强化学习算法实时的调整交通灯。我们进行了广泛的评估,并证明了这种方法的优越性超过几个国家的最先进的算法。
2021-01-05 cs.DC cs.LG cs.MA
ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control
McGill University(麦吉尔大学);York University(约克大学)
交通信号控制对于交通基础设施的有效利用至关重要。车辆流量的迅速增加和交通模式的变化使得交通信号控制越来越具有挑战性。基于强化学习(RL)的算法在交通信号控制中表现出了其潜力。然而,大多数现有的解决方案需要大量的训练数据,这对于许多现实世界的场景是不可接受的。提出了一种新的基于模型的交通信号控制Meta强化学习框架(ModelLight)。在ModelLight中,道路交叉口模型的集合和基于优化的元学习方法用于提高基于RL的交通灯控制方法的数据效率。在真实世界数据集上的实验表明,ModelLight可以超越最先进的交通灯控制算法,同时大大减少与真实世界环境的交互次数。
2021-12-06 cs.LG eess.SP
CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario
Shanghai Jiao Tong University(上海交通大学);Pennsylvania State University(宾夕法尼亚州立大学)
交通信号控制是强化学习的新兴应用场景。交通信号控制是影响人们日常生活的重要问题之一,如何适应动态交通环境,协调包括车辆和行人在内的数千个智能体,是强化学习面临的独特挑战。现代强化学习成功的一个关键因素依赖于一个好的模拟器来生成大量用于学习的数据样本。然而,目前最常用的开源交通仿真器SUMO在大规模路网和大流量交通场景下的可扩展性较差,阻碍了强化学习在交通场景中的应用研究。这促使我们创建一个新的交通模拟器CityFlow从根本上优化数据结构和高效的算法。CityFlow可以支持基于合成和真实世界数据的道路网络和交通流的灵活定义。它还为强化学习提供了用户友好的界面。最重要的是,CityFlow比SUMO快20倍以上,并且能够通过交互式渲染来支持城市范围的交通模拟。除了交通信号控制,CityFlow还可以作为其他交通研究的基础,并可以为智能交通领域的机器学习方法测试创造新的可能性。
2019-05-13 cs.LG cs.MA
A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control
IBM Research AI(IBM研究AI);Amazon Web Services(亚马逊云科技)
空中交通管制是一个极具挑战性的操作问题,很容易通过决策支持技术来增强人类的专业知识的一个例子。在本文中,我们提出了一个新的智能决策框架,利用多智能体强化学习(MARL),动态建议调整飞机的速度实时。该系统的目标是提高空中交通管制员的能力,为飞机提供有效的引导,以避免空中交通拥挤,险些相撞的情况,并提高到达的及时性。我们开发了一种新的深度集成MARL方法,该方法可以通过学习有效地在基于本地内核的RL模型和更广泛的深度MARL模型的决策之间进行仲裁,来简洁地捕捉空中交通管制问题的复杂性。所提出的方法进行了培训和评估的开放源代码的空中交通管理模拟器开发的Eurocontrol。在包括数千架飞机的真实世界数据集上进行的大量实证结果证明了使用多智能体RL解决航路空中交通管制问题的可行性,并表明我们提出的深度集成MARL方法显着优于三种最先进的基准方法。
2020-04-03 cs.AI cs.LG
UniTSA: A Universal Reinforcement Learning Framework for V2X Traffic Signal Control
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Shanghai AI Laboratory(上海人工智能实验室);Key Laboratory of Road and Traffic Engineering, Ministry of Education, Tongji University(同济大学道路与交通工程教育部重点实验室);SenseTime Group Limited(商汤集团有限公司)
本文提出UniTSA通用强化学习框架,通过交叉口矩阵表征状态和交通状态增强方法,使V2X交通信号控制模型能够适应不同结构的交叉口,并通过多配置实验验证其有效性。
2023-12-08 cs.LG cs.SY eess.SY
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK(计算系,伦敦帝国学院)
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题,提出时空强化学习STRL框架,在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control
University of Science and Technology of China(中国科学技术大学);University of Arizona(亚利桑那大学);IFLYTEK Co., Ltd(科大讯飞股份有限公司);Rutgers University(罗格斯大学)
智能交通灯控制系统的开发是智能交通管理的基础。虽然已经做出了一些努力,以优化使用单独的交通信号灯在一个孤立的方式,相关的研究在很大程度上忽略了这样一个事实,即多路口交通信号灯的使用是空间上的影响,并有一个时间依赖性的历史交通状态的当前交通信号灯控制。为此,在本文中,我们提出了一种新的时空多智能体强化学习(STMARL)框架,有效地捕捉多个相关的交通灯的时空依赖性和控制这些交通灯的协调方式。具体而言,我们首先构建交通灯邻接图的基础上的空间结构的交通灯。然后,历史交通记录将通过递归神经网络结构与当前交通状态相结合。此外,基于时间相关的交通信息,我们设计了一个基于图神经网络的模型来表示多个交通灯之间的关系,并通过深度Q学习方法以分布式方式对每个交通灯进行决策。最后,通过仿真数据和真实数据的实验结果验证了STMARL框架的有效性,并对多交叉口交通信号灯的影响机制提供了深入的理解.
2020-11-29 cs.AI cs.LG cs.MA
Optimizing Traffic Signal Control using High-Dimensional State Representation and Efficient Deep Reinforcement Learning
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对高维状态表示未提升交通信号控制性能的观点,本文通过实验证明基于V2I通信的高维状态表示可使平均等待时间降低17.9%,并利用模型剪枝实现计算高效化。
2024-11-12 cs.AI cs.SY eess.SY
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发,本文建立了两种强化学习算法:深度策略梯度和基于价值函数的代理,可以预测最好的交通信号交叉口。在每个时间步,这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号,然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果,而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization
University of Macau(澳门大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
低效率的交通信号控制方法可能会导致许多问题,例如交通拥堵和能源浪费。强化学习(RL)是一种数据驱动的方法,用于复杂城市交通网络中的自适应交通信号控制。尽管深度神经网络(DNN)的发展进一步增强了其学习能力,但将深度RL应用于具有多个信号交叉口的交通网络仍然存在一些挑战,包括非平稳环境,探索-开发困境,多智能体训练方案,连续动作空间等。为了解决这些问题,本文首先通过扩展Actor-Critic策略梯度算法,提出了一种多Agent深度确定性策略梯度(MADDPG)方法。MADDPG有一个集中学习和分散执行的范式,其中批评者使用额外的信息来简化培训过程,而行为者则根据自己的当地观察采取行动。该模型通过城市移动性仿真(SUMO)平台上的仿真进行评估。模型比较结果表明了该算法在交通灯控制中的有效性。
2021-07-13 cs.AI cs.LG eess.SP
Offline Reinforcement Learning for Road Traffic Control
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
交通信号控制是城市交通中的一个重要问题,具有显著的经济和环境影响潜力。虽然人们对交通信号控制的强化学习(RL)越来越感兴趣,但到目前为止,这项工作主要集中在通过模拟进行学习,这可能会由于简化假设而导致不准确。相反,关于交通的真实经验数据是可用的,可以以最低的成本加以利用。离线或批量RL的最新进展已经实现了这一点。特别是基于模型的离线RL方法,已经被证明比其他方法更好地从经验数据中进行概括。我们建立了一个基于模型的学习框架,从使用循环交通信号控制策略收集的数据集推断马尔可夫决策过程(MDP),该策略既常见又易于收集。MDP是建立在悲观的成本,以管理的分布情况下,使用自适应整形的奖励,这是为了提供更好的正则化相比,以前的相关工作,除了PAC最优。我们的模型进行了评估,一个复杂的信号环形交叉口显示,它是可以建立高性能的交通控制策略,在一个数据有效的方式。
2022-12-11 cs.AI cs.LG
MoveLight: Enhancing Traffic Signal Control through Movement-Centric Deep Reinforcement Learning
Tsinghua University(清华大学)
本文提出MoveLight交通信号控制系统,采用基于车道级的FRAP算法和深度强化学习实现动态自适应控制,在真实数据集实验中显著降低了排队长度和延迟,提升了吞吐量。
2024-07-24 cs.LG
Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond
University of Washington(华盛顿大学);NEC Laboratories America Inc.(NEC美国实验室公司)
在这项工作中,我们研究了自适应数据引导的交通规划和控制使用强化学习(RL)。我们从经典方法的简单使用转向深度RL社区的最先进方法。我们在我们的算法中嵌入了几种最新的技术,这些技术改进了原始的深度Q网络(DQN)的离散控制,并讨论了随后与流量相关的解释。我们提出了一种新的基于DQN的流量控制算法(称为TC-DQN+)作为快速,更可靠的交通决策的工具。我们引入了一种新的形式的奖励函数,进一步讨论使用说明性的例子与传统的交通控制方法的比较。
2020-07-21 cs.LG stat.ML
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);The Pennsylvania State University(宾夕法尼亚州立大学)
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵,近年来研究人员使用强化学习(RL)来开发更好的交通信号控制(TSC)算法。然而,大多数RL模型都是在相同的交通流环境中训练和测试的,这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的,这些模型由于缺乏泛化能力而难以应用。此外,可获得的交通流数据数量有限,这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量,并利用它们来构建合适的训练和测试环境。然后,我们提出了一个元RL TSC框架GeneraLight,以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验,以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
Intelligent Traffic Light via Policy-based Deep Reinforcement Learning
The University of Iowa(爱荷华大学);National Advanced Driving Simulator, The University of Iowa(爱荷华大学国家高级驾驶模拟器);Iowa Technology Institute, The University of Iowa(爱荷华大学爱荷华技术研究所)
智慧城市中的智能交通灯可以最佳地减少交通拥堵。在这项研究中,我们采用强化学习训练控制代理的交通灯上的模拟器的城市流动性。作为与现有工作的不同之处,除了诸如深度Q网络(DQN)和双DQN(DDQN)之类的基于值的方法之外,利用基于策略的深度强化学习方法,即近端策略优化(PPO)。首先,从PPO获得的最优策略进行比较,从DQN和DDQN。结果表明,PPO策略的性能优于其他策略。其次,我们采用可变时间间隔的信号灯相位代替固定时间间隔的信号灯相位,从而得到更好的交通流通行策略。然后,环境和行动干扰的影响进行了研究,以证明基于学习的控制器是鲁棒的。最后,我们考虑不平衡的交通流,并发现智能交通灯可以表现得相当不错的不平衡的交通情况下,虽然它学习的最佳策略,从平衡的交通情况。
2021-12-27 cs.LG
Diagnosing Reinforcement Learning for Traffic Signal Control
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong Univerisity(上海交通大学);Shanghai Tianrang Intelligent Technology Co., Ltd(上海天壤智能科技有限公司)
随着交通数据可用性的提高和深度强化学习技术的发展,将强化学习(RL)应用于交通信号控制成为一种新兴趋势。将强化学习应用于交通信号控制的一个关键问题是如何定义奖励和状态。交通信号控制的最终目标是最小化行程时间,这是很难直接达到的。因此,现有的研究往往定义奖励为一个特设的加权线性组合的几个交通措施。但是,不能保证旅行时间将与奖励一起优化。此外,最近的RL方法使用更复杂的状态(例如,(图)以描述整个交通状况。然而,现有的研究都没有讨论过这种复杂的状态表示是否是必要的。这种额外的复杂性可能会导致学习过程明显变慢,但不一定会带来显着的性能提升。在本文中,我们建议重新审视RL方法通过经典的运输理论的镜头。我们提出了以下问题:(1)我们应该如何设计奖励,以保证最小化旅行时间?(2)如何设计一个简洁而又足以获得最优解的状态表示?我们提出的方法LIT的理论支持交通领域的经典交通信号控制方法。LIT有一个非常简单的状态和奖励设计,因此可以作为未来RL方法的交通信号控制的构建块。在合成和真实数据集上的大量实验表明,我们的方法显着优于最先进的交通信号控制方法。
2019-05-12 cs.AI cs.LG
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统(ITLCS)是一个典型的多智能体系统(MAS),它由多条道路和多个交通灯组成,构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习(MADRL)。MABRL的深度神经网络(DNN)虽然有效,但训练时间长,参数难以追踪。最近,广义学习系统(BLS)提供了一种选择性的方法,通过一个平面网络在深层神经网络学习。此外,广泛的强化学习(BRL)扩展BLS在单智能体深度强化学习(SADRL)问题,有希望的结果。然而,BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题,本文提出了一个多Agent广义强化学习(MABRL)框架来研究BLS在MAS中的作用。首先,与大多数现有的MADRL方法不同,这些方法使用一系列深层神经网络结构,我们用广泛的网络对每个代理进行建模。然后,引入动态自循环交互机制来确定“3W”信息:何时交互,需要考虑哪些Agent,传递什么信息。最后,基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法,并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Traffic Light Control in Vehicular Networks
New Jersey Institute of Technology(新泽西理工学院);University of Houston(休斯顿大学)
现有的交通灯控制效率低下,造成了大量的问题,如长时间的延误和浪费能源。为了提高效率,必须将实时交通信息作为输入,并根据实时交通信息动态调整交通灯的持续时间。在如何动态调整交通信号持续时间方面,现有的工作要么是将交通信号分割成相等的持续时间,要么是从实际数据中提取有限的交通信息。本文研究了如何根据不同传感器和车载网络采集的数据来确定交通信号灯的持续时间。我们提出了一个深度强化学习模型来控制交通灯。在该模型中,我们通过收集数据并将整个交叉口划分为小网格,将复杂的交通场景量化为状态。交通灯的定时变化是行为,它被建模为一个高维马尔可夫决策过程。奖励是两个周期之间的累积等待时间差。为了求解该模型,采用卷积神经网络将状态映射到奖励。该模型由决斗网络、目标网络、双Q学习网络和优先经验回放等部分组成。在城市机动性仿真系统中对该模型进行了仿真验证,仿真结果表明了该模型在交通信号灯控制方面的有效性。
2018-03-29 cs.AI cs.LG stat.ML
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University(东南大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法,通过智能体间共享观察与奖励促进合作,实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Safety-Prioritized, Reinforcement Learning-Enabled Traffic Flow Optimization in a 3D City-Wide Simulation Environment
本文提出安全优先的强化学习框架与三维全市交通仿真环境,通过自定义奖励的PPO模型显著减少碰撞、优化交通流并降低碳排放。
2025-05-23 cs.AI cs.LG cs.RO
An Autonomous Free Airspace En-route Controller using Deep Reinforcement Learning Techniques
University of Amsterdam(阿姆斯特丹大学)
随着航空器数量的增加,空中交通管制变得越来越复杂。目前的空中交通管制方法不适合管理这种增加的交通。自主空中交通管制被认为是一种有前途的替代方案。在本文中,空中交通管制模型,引导任意数量的飞机在一个三维的,非结构化的空域,同时避免冲突和碰撞。这是利用基于图的深度学习方法的力量来完成的。这些方法提供了显着的优势,目前的方法,这项任务,如不变性的飞机的输入顺序和能力,很容易应付不同数量的飞机。使用这些方法获得的结果表明,空中交通管制模型表现良好的现实交通密度,它能够管理空域,避免100%的潜在碰撞和防止89.8%的潜在冲突。
2020-07-03 cs.AI cs.LG
Courteous Behavior of Automated Vehicles at Unsignalized Intersections via Reinforcement Learning
University of Freiburg(弗莱堡大学)
从今天的主要是人类驾驶的交通到纯粹的自动化交通的转变将是一个渐进的演变,其影响是,我们可能会在不久的将来经历混合交通。互联和自动驾驶汽车可以以不同的方式使人类驾驶的汽车和整个交通系统受益,例如通过改善碰撞避免和减少交通波。已经进行了许多研究来改善交叉口管理,这是交通中的一个重要瓶颈,使用智能交通信号或完全自动化的车辆。然而,如何改善无信号交叉口的混合交通问题却较少受到关注。在本文中,我们提出了一种新的方法来优化混合交通情况下的交叉口交通流,使用深度强化学习。我们的强化学习代理为集中控制器学习一种策略,让连接的自动驾驶车辆在无信号交叉口放弃他们的通行权,让位给其他车辆,以优化交通流量。我们实现了我们的方法,并测试了它在交通模拟器SUMO的基础上模拟和真实的交通数据。实验评估表明,我们的方法显着提高了交通流量通过无信号交叉口在混合交通设置,也提供了更好的性能在广泛的交通情况相比,国家的最先进的交通信号控制器相应的信号交叉口。
2021-06-11 cs.LG cs.RO
Reinforcement Learning with Human Feedback for Realistic Traffic Simulation
NVIDIA(英伟达);UW-Madison(威斯康星大学麦迪逊分校);Stanford(斯坦福大学)
针对仿真交通模型真实性与人类认知对齐的难题,提出基于人类偏好强化学习的TrafficRLHF框架,并引入首个真实性对齐数据集,在nuScenes上验证了生成真实交通场景的有效性。
2023-09-01 cs.AI cs.LG cs.RO
Network-wide traffic signal control optimization using a multi-agent deep reinforcement learning
University of Macau(澳门大学);Southeast University(东南大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校);University of Delaware(特拉华大学)
低效的交通控制可能会导致许多问题,例如交通拥堵和能源浪费。提出了一种新的多智能体强化学习方法KS-DDPG(Knowledge Sharing Deep Deterministic策略梯度),通过增强交通信号灯之间的协作来实现最优控制。通过引入支持知识共享的通信协议,每个代理可以访问所有代理收集的交通环境的集体表示。该方法通过两个实验分别使用合成和真实世界的数据集进行评估。与最先进的基于强化学习和传统交通方法的比较表明,所提出的KS-DDPG在控制大规模交通网络和应对交通流量波动方面具有显着的效率。此外,引入的通信机制也被证明可以在不显著增加计算负担的情况下加快模型的收敛速度。
2021-04-20 cs.AI
Traffic Smoothing Controllers for Autonomous Vehicles Using Deep Reinforcement Learning and Real-World Trajectory Data
UC Berkeley(加州大学伯克利分校);École des Ponts ParisTech(巴黎高科路桥学校)
本文基于 I-24 真实轨迹数据,用深度强化学习训练仅依赖前车信息和可选下游信息的交通平滑巡航策略,在 4% 渗透率下实现超过 15% 的燃油节省,并验证换道与信息缺失下的鲁棒性。
2024-01-18 cs.AI cs.MA cs.SY
Quantifying the Impact of Non-Stationarity in Reinforcement Learning-Based Traffic Signal Control
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
在强化学习(RL)中,处理非平稳性是一个具有挑战性的问题。然而,某些领域,如流量优化,本质上是非平稳的。其原因和影响是多方面的。特别是,在处理交通信号控制时,解决非平稳性是关键,因为交通状况随时间变化,并作为网络其他部分所采取的交通控制决策的函数。在本文中,我们分析了不同来源的非平稳性的影响,在网络中的交通信号,其中每个信号被建模为一个学习代理。更确切地说,我们研究了改变代理学习的\textit{context}的影响(例如,其经历的流速变化),以及降低真实环境状态的试剂可观测性的影响。部分可观测性可能导致不同的状态(其中不同的动作是最佳的)被交通信号代理视为相同的。这反过来可能导致次优性能。我们表明,缺乏合适的传感器提供一个代表性的观察的真实状态似乎影响性能更剧烈的变化,基本的交通模式。
2020-04-09 cs.AI cs.LG cs.MA
Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach
McMaster University(麦克马斯特大学)
本研究用深度强化学习(DQN)调控信号和车辆行为,发现CAVs与自适应信号控制联合能显著减少交叉口追尾和交叉冲突,提升交通安全。
2024-05-29 cs.AI cs.LG