Traffic Priority-Aware 5G NR-U/Wi-Fi Coexistence with Deep Reinforcement Learning
针对5G NR-U与Wi-Fi共存中的碰撞及多流量优先级问题,提出一种流量感知的多目标深度强化学习算法,在确保高优先级流量低延迟的同时提升网络间空口公平性。
2025-03-01 cs.SY eess.SY
Reinforcement learning-based adaptive speed controllers in mixed autonomy condition
针对混合自主交通场景,本文基于强耦合PDE-ODE交通动力学模型,提出Actor-Critic框架下的强化学习自适应速度控制策略,仿真验证其可改善交通流、缓解拥堵。
2024-08-17 cs.SY eess.SY
Using a Deep Reinforcement Learning Agent for Traffic Signal Control
McMaster University(麦克马斯特大学)
本文提出一种基于深度强化学习的交通信号控制系统,通过离散交通状态编码和Q-learning训练,有效减少交通延误、队列长度和旅行时间。
2016-11-03 cs.LG cs.SY eess.SY
Distributionally Robust Multi-Agent Reinforcement Learning for Intelligent Traffic Control
University of Groningen(格罗宁根大学);Bilkent University(比尔肯特大学)
本文提出了一种分布鲁棒多智能体强化学习框架,用于智能交通控制,在不同交通场景下有效减少排队长度并提高行驶速度。
2025-12-21 cs.SY eess.SY
Deep Reinforcement Learning for Adaptive Traffic Signal Control
Iowa State University(爱荷华州立大学)
许多现有的交通信号控制器要么是简单的自适应控制器的基础上放置在交通路口周围的传感器,或优化的交通工程师在一个固定的时间表。优化交通控制器非常耗时,通常需要经验丰富的交通工程师。最近的研究已经证明了在这种情况下使用深度强化学习(DRL)的潜力。然而,大多数研究都没有考虑可以无缝过渡到部署的现实设置。在本文中,我们提出了一个基于DRL的自适应交通信号控制框架,明确考虑现实的交通场景,传感器和物理约束。在这个框架中,我们还提出了一种新的奖励功能,显示出显着改善的交通性能相比,典型的基线预定时和完全驱动的交通信号控制器。该框架的实现和验证仿真平台上模拟现实生活中的交通场景和传感器数据流。
2019-11-14 cs.LG cs.SY eess.SP
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
在各种交通文化和驾驶条件下,自动驾驶车辆在野外以适当的道路驾驶技术(安全有效地驾驶,而不打扰或危及其他道路使用者)执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色,并被应用于自动驾驶汽车策略,但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程(MDP)适应问题,并开发了Meta强化学习(MRL)驱动策略,以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟,以验证快速适应能力的MRL驾驶策略,显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
A Reinforcement Learning Approach for Intelligent Traffic Signal Control at Urban Intersections
California PATH, University of California, Berkeley(加州大学伯克利分校);Futurewei Technologies, Inc.(华为技术公司)
本文提出了一种基于强化学习的交通信号控制方法,通过神经网络近似Q函数来处理复杂的交通信号控制问题,旨在优化交通流并减少拥堵和延误。
2019-05-19 cs.SY eess.SP eess.SY
Autonomous vehicle decision and control through reinforcement learning with traffic flow randomization
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学吴贤铭智能工程学院)
本研究提出通过随机化SUMO中微观交通流参数来训练强化学习策略,提升自动驾驶在真实交通场景中的性能,实验证明该方法显著提高了成功率和计算奖励。
2024-04-19 cs.LG cs.RO cs.SY
A Critical Review of Traffic Signal Control and A Novel Unified View of Reinforcement Learning and Model Predictive Control Approaches for Adaptive Traffic Signal Control
University of Toronto(多伦多大学)
近年来,已经见证了提高交通网络效率的自适应交通信号控制(ATSC)方法的实质性增长,特别是在利用基于人工智能的优化和控制算法(诸如强化学习以及常规模型预测控制)的分支中。然而,缺乏跨领域的分析和比较的有效性的应用方法在ATSC的研究限制了我们对现有的挑战和研究方向的理解。本章提出了一个新的统一的观点,现代ATSCs的共同点,以及现有的方法的差异和缺点,最终的目标,以促进交叉施肥和先进的国家的最先进的。统一的视图应用的数学语言的马尔可夫决策过程,描述了控制器设计的过程中,从世界(问题)和解决方案建模的角度。统一的观点还分析了现有研究中通常忽略的系统性问题,并提出了解决这些问题的未来潜在方向。
2022-11-26 cs.AI cs.SY eess.SY
Traffic Shaping and Hysteresis Mitigation Using Deep Reinforcement Learning in a Connected Driving Environment
基于多代理深度强化学习的流量整形框架。所提出的框架提供了一个关键的优势,现有的拥塞管理策略,这是能够减轻滞后现象。与现有的拥堵管理策略,重点是故障预防,建议的框架是非常有效的故障形成后。所提出的框架假设共享信息的自动驾驶汽车之间的部分连接。该框架要求由一维纵向控制定义的基本自主水平。该框架主要使用集中式训练、集中式执行的多智能体深度强化学习方法构建,其中纵向控制由加速或减速命令的信号定义,然后由所有智能体统一执行。用于框架的训练和测试的模型基于众所周知的双深度Q-学习算法,该算法将交通流内的流的平均状态作为模型输入,并以加速或减速值的形式输出动作。我们证明了该模型的能力,塑造交通状态,减轻滞后的负面影响,甚至提高交通流量超过其原来的水平。本文还确定了所需的CAV的最小百分比,以成功地塑造交通均匀分布的CAV的假设下,在循环系统。这项工作中说明的框架不仅显示了强化学习在解决这些挑战方面的理论适用性,而且还提出了一种现实的解决方案,只需部分连接和连续监控系统的平均速度,这可以通过使用现成的传感器来实现,这些传感器可以测量与CAV合理接近的车辆速度。
2023-02-06 cs.MA cs.SY eess.SY
Assessment of Reward Functions in Reinforcement Learning for Multi-Modal Urban Traffic Control under Real-World limitations
University of Warwick(华威大学);Vivacity Labs(维瓦西蒂实验室)
事实证明,强化学习是一种成功的工具,它可以管理城市交叉路口,而管理传统交通控制器所需的工作量很小。然而,文献介绍和控制行人到这样的交叉口是稀缺的。此外,目前还不清楚什么交通状态变量应该被用来作为奖励,以获得最佳的代理性能。本文稳健地评估了30种不同的强化学习奖励函数,用于控制为行人和车辆服务的交叉路口,这些交叉路口覆盖了现代视觉传感器提供的主要交通状态变量。一些奖励在以前的文献中提出的车辆交通扩展到行人,而新的介绍。我们使用校准模型的需求,传感器,绿色时间和其他业务限制的一个真正的十字路口在大曼彻斯特,英国。评估的奖励可以分为5组,这取决于所使用的幅度:排队,等待时间,延迟,平均速度和吞吐量的枢纽。不同的代理人的性能,在等待时间方面,比较在不同的需求水平,从正常运行到传统的自适应控制器的饱和。我们发现,最大化网络速度的奖励同时获得车辆和行人的最低等待时间,紧随其后的是队列最小化,表现出比其他先前提出的方法更好的性能。
2020-10-17 cs.LG cs.SY eess.SY
EMVLight: a Multi-agent Reinforcement Learning Framework for an Emergency Vehicle Decentralized Routing and Traffic Signal Control System
New York University(纽约大学);Siemens Corporation(西门子公司);Shanghai Jiao Tong University(上海交通大学)
紧急车辆(EMV)在响应时间紧迫的呼叫(如医疗紧急情况和城市地区的火灾)方面发挥着至关重要的作用。现有的EMV调度方法通常基于历史交通流数据优化路线,并相应地设计交通信号抢占;然而,我们仍然缺乏一个系统的方法来解决EMV路由和交通信号控制之间的耦合。在本文中,我们提出了EMVLight,一个分散的强化学习(RL)框架,用于联合动态EMV路由和交通信号抢占。我们采用多智能体的优势行动者-评论家的方法与政策共享和空间折扣因子。该框架通过多类RL代理的创新设计和一种新的基于压力的奖励函数来解决EMV导航和交通信号控制之间的耦合。所提出的方法使EMVLight能够学习网络级的合作交通信号定相策略,不仅可以减少EMV的行驶时间,还可以缩短非EMV的行驶时间。基于仿真的实验表明,EMVLight使高达$42.6\%$减少EMV旅行时间以及$23.5\%$较短的平均旅行时间相比,现有的方法。
2022-06-29 cs.AI cs.SY eess.SY
EMVLight: A Decentralized Reinforcement Learning Framework for Efficient Passage of Emergency Vehicles
Siemens Corporation, Technology(西门子公司技术部)
应急车辆(EMV)在应对时间紧迫的事件(如城市地区的医疗紧急情况和火灾爆发)方面发挥着至关重要的作用。EMV在交通中花费的时间越少,就越有可能帮助拯救人们的生命并减少财产损失。为了减少EMV的行驶时间,先前的工作使用基于历史交通流数据的路线优化和基于最优路线的交通信号抢占。然而,交通信号抢占动态地改变交通流,这反过来又修改了EMV的最优路径。此外,交通信号灯优先使用的做法通常会导致交通流量的严重干扰,从而增加非电动汽车的行驶时间。在本文中,我们提出了EMVLight,一个分散的强化学习(RL)框架,同时动态路由和交通信号控制。EMVLight扩展了Dijkstra的算法,当EMV通过交通网络时,它可以实时的有效地更新EMV的最佳路线。分散的RL代理学习网络级的合作交通信号相位策略,不仅减少EMV旅行时间,而且减少网络中的非EMV的平均旅行时间。这一好处已通过综合实验和真实世界的地图证明。这些实验表明,EMVLight优于基准交通工程技术和现有的基于RL的信号控制方法。
2022-06-28 cs.LG cs.SY eess.SY
Towards Robust Deep Reinforcement Learning for Traffic Signal Control: Demand Surges, Incidents and Sensor Failures
Technical University of Denmark (DTU)(丹麦技术大学)
本文提出了一种开源的回调框架,用于在交通模拟环境中灵活评估不同深度强化学习配置,研究了深度强化学习自适应交通控制器在需求激增、事故导致的容量下降和传感器故障等场景下的表现,并提出了缓解这些外源不确定性的具体设计。
2019-07-22 cs.LG cs.SY eess.SY
Deep Reinforcement Q-Learning for Intelligent Traffic Signal Control with Partial Detection
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IFSTTAR(法国交通、发展与网络科学技术研究院)
智能交通信号控制器将DQN算法应用于交通灯策略优化,通过实时调整交通信号来有效地减少交通拥堵。然而,文献中的大多数主张认为,所有车辆在交叉口被检测到,一个不切实际的情况。最近,新的无线通信技术已经能够通过基础设施对联网车辆进行成本效益高的检测。由于目前只有一小部分的总舰队配备,能够在低检测率下执行的方法是可取的。在本文中,我们提出了一种深度强化Q学习模型,用于在具有连接车辆的部分可观察环境中优化孤立交叉口的交通信号控制。首先,我们在RL框架内提出了新的DQN模型。我们引入了一个新的状态表示部分可观察的环境和一个新的奖励功能的交通信号控制,并提供了一个网络架构和调谐超参数。其次,我们评估的性能模型在多个场景的数值模拟,在两个步骤。首先对现有的驱动控制器进行完全检测,然后对联网车辆的比例进行部分检测和损失估计。最后,从得到的结果,我们定义阈值的检测率可接受的和最佳的性能水平。
2021-09-29 cs.LG cs.SY eess.SY
Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning
本研究提出整合CARLA与SUMO的交通协同仿真框架,结合YOLO视觉检测与多智能体强化学习实现自适应信号控制,验证了 imperfect 检测下方法的有效性与鲁棒性。
2025-09-18 cs.LG cs.SY eess.IV
Reinforcement Learning based Traffic Signal Control for Queue Minimization: From Lane-based to Laneless Traffic
Department of Civil Engineering, IIT Madras(印度理工学院马德拉斯分校土木工程系);Wadhwani School of Data Science & AI, IIT Madras(印度理工学院马德拉斯分校瓦达威数据科学与人工智能学校);School of Electrical Engineering & Robotics, QUT, Brisbane, Australia(昆士兰大学电气工程与机器人学院);Robert Bosch Centre for Data Science & AI, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心)
本研究提出一种基于PPO强化学习的自适应交通信号控制框架,通过多种状态表示最小化总排队长度,在SUMO模拟中相比Webster方法平均队列长度减少约29%。
2026-11-04 cs.LG cs.SY eess.SY
The Real Deal: A Review of Challenges and Opportunities in Moving Reinforcement Learning-Based Traffic Signal Control Systems Towards Reality
Carnegie Mellon University(卡内基梅隆大学)
交通信号控制(TSC)是一个高风险的领域,随着全球交通量的增长,其重要性日益增加。越来越多的工程将强化学习(RL)应用于TSC; RL可以利用丰富的流量数据来提高信令效率。然而,基于RL的信号控制器从未被部署。在这项工作中,我们提供了第一个审查的挑战,必须解决之前,RL可以部署TSC。我们专注于四个挑战,涉及(1)检测的不确定性,(2)通信的可靠性,(3)合规性和可解释性,以及(4)异构道路使用者。我们表明,基于RL的TSC的文献已经取得了一些进展,以应对每一个挑战。然而,更多的工作应该采取系统思考的方法,考虑其他管道组件对RL的影响。
2022-10-03 cs.AI cs.LG cs.SY
CoTV: Cooperative Control for Traffic Light Signals and Connected Autonomous Vehicles using Deep Reinforcement Learning
University College Dublin(都柏林大学学院);North China Electric Power University(华北电力大学)
仅以缩短行程时间为目的,并不足以支持未来智慧交通系统的发展。为了与联合国可持续发展目标(UN-SDG)保持一致,还应考虑进一步减少燃料和排放,改善交通安全,以及方便基础设施的部署和维护。与现有的工作集中在交通灯信号(以提高交叉口吞吐量)或车辆速度(以稳定交通)的控制优化不同,本文提出了一种多智能体深度强化学习(DRL)系统CoTV,它可以协同控制交通灯信号和互联自主车辆(CAV)。因此,我们的CoTV可以很好地平衡旅行时间,燃料和排放减少的成就。与此同时,CoTV也可以通过仅与每个引入道路上最靠近交通灯控制器的一个CAV合作来轻松部署。这使得交通灯控制器和CAV之间能够更有效地协调,从而导致传统上难以收敛的大规模多智能体场景下的训练CoTV的收敛。我们给出了详细的系统设计的CoTV,并证明了其有效性,在模拟研究中使用相扑在各种网格地图和现实的城市场景下,混合自主交通。
2023-02-14 cs.AI cs.LG cs.SY
Reinforcement Learning-Based Traffic Signal Control for IoT-Enabled Intersections
Department of Electrical Engineering, Kuwait University(卡塔尔大学电气工程系)
提出基于近端策略优化的强化学习控制器,利用本地交通状态动态分配绿灯时长,在科威特真实数据仿真中,相比固定时间和感应控制分别减少46%和34%的平均延误,并降低23%的CO2排放。
2026-10-08 cs.LG cs.SY eess.SY
Provable Traffic Rule Compliance in Safe Reinforcement Learning on the Open Sea
Technical University of Munich(慕尼黑工业大学);TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对公海自动驾驶船舶的交通规则合规问题,提出将时序逻辑规范、集合预测谓词与状态图结合并通过动作掩码限制RL智能体的方法,可保证船舶始终遵守COLREGS且无碰撞,目标到达率高于传统RL方法。
2024-05-16 cs.LG cs.SY eess.SY
DRLE: Decentralized Reinforcement Learning at the Edge for Traffic Light Control in the IoV
车联网(IoV)使车辆和路边单元之间能够进行实时数据交换,从而为缓解城市地区的交通拥堵提供了一个有前途的解决方案。同时,通过有效的交通灯控制进行更好的交通管理也可以通过实现更好的通信环境和降低网络负载来使车联网受益。因此,车联网和高效的交通灯控制可以形成良性循环。边缘计算是一种在网络边缘提供低延迟计算能力的新兴技术,可以进一步提高这一周期的性能。然而,虽然收集的信息很有价值,但尚未为边缘授权的IoV开发更好的利用率和更快的反馈的有效解决方案。为此,我们提出了一个分散的强化学习在边缘的交通灯控制在车联网(DRLE)。DRLE利用车联网的普遍性来加速交通数据的收集及其解释,以缓解拥堵并提供更好的交通灯控制。DRLE在边缘服务器的覆盖范围内运行,并使用来自相邻边缘服务器的聚合数据来提供城市规模的交通灯控制。DRLE将高度复杂的大区域控制问题分解。去中心化的多智能体问题我们用具体的数学推理证明了它的全局最优解。在每个边缘节点上运行的分布式强化学习算法实时的调整交通灯。我们进行了广泛的评估,并证明了这种方法的优越性超过几个国家的最先进的算法。
2021-01-05 cs.DC cs.LG cs.MA
Reinforcement learning for traffic signal control in hybrid action space
基于自适应学习的交通信号控制方法主要有阶段优化和持续时间优化两种,这取决于行为空间。在本文中,我们提出了一种新的控制架构,TBO,这是基于混合邻近策略优化。据我们所知,TBO是第一个基于RL的算法,实现同步优化的分期和持续时间。与离散和连续动作空间相比,混合动作空间是一个合并的搜索空间,TBO在其中更好地实现了频繁切换和不饱和释放之间的权衡。实验结果表明,与现有的基线相比,TBO平均减少了13.78%的队列长度和14.08%的延迟。此外,我们还计算了通行权的基尼系数,表明TBO在提高效率的同时并没有损害公平。
2022-11-25 cs.AI cs.LG cs.SY
Multi-hop Upstream Anticipatory Traffic Signal Control with Deep Reinforcement Learning
University of Toronto(多伦多大学)
针对现有交通信号控制方法短视、学习复杂度高的问题,提出基于马尔可夫链的多跳上游压力概念,结合深度强化学习实现具备更广空间感知的信号控制,仿真验证可显著降低路网整体延误。
2025-01-16 cs.AI cs.LG cs.SY
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology(佐治亚理工学院);IBM Watson AI Foundation Group(IBM沃森人工智能基金会组)
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络(NoC)的运行时性能需要一个持续的学习框架。在这项工作中,我们展示了应用强化学习(RL)优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明,该算法可以成功地学习到一个接近最优的解决方案,在不同的环境状态。可复制代码:github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
Deep Reinforcement Learning-based Intelligent Traffic Signal Controls with Optimized CO2 emissions
Simon Fraser University(西蒙弗雷泽大学);Breeze Traffic Inc.(微风交通公司)
针对交通信号控制中CO2排放研究不足的问题,提出强化学习奖励塑造方案EcoLight,在减少CO2排放的同时保持旅行时间等指标竞争力,并比较了Q-Learning、DQN、SARSA和A2C算法在多场景下的性能。
2023-10-23 cs.AI cs.LG cs.SY
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种无模型强化学习方法,用于控制模拟交通网络中的混合自主交通,该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解,允许分散控制的基础上,对任意数量的受控车辆的本地观测。我们证明,即使没有奖励塑造,强化学习也能学会协调车辆,使其表现出类似交通信号灯的行为,在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下,我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University(东南大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法,通过智能体间共享观察与奖励促进合作,实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Traffic Smoothing Controllers for Autonomous Vehicles Using Deep Reinforcement Learning and Real-World Trajectory Data
UC Berkeley(加州大学伯克利分校);École des Ponts ParisTech(巴黎高科路桥学校)
本文基于 I-24 真实轨迹数据,用深度强化学习训练仅依赖前车信息和可选下游信息的交通平滑巡航策略,在 4% 渗透率下实现超过 15% 的燃油节省,并验证换道与信息缺失下的鲁棒性。
2024-01-18 cs.AI cs.MA cs.SY
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering(纽约大学坦登工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校)
最近的研究表明,在交通中引入自动驾驶汽车(AV)可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能,包括自主车辆控制,并已用于最先进的AV控制器。然而,深度神经网络(DNN)使自动驾驶容易受到基于机器学习的攻击。在这项工作中,我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法,是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波(拥堵攻击)或AV加速导致AV撞到前面的车辆(保险攻击)。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明,后门模型不损害正常的操作性能,与累积奖励的最大下降为1%。尽管如此,当相应的触发器出现时,它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY