A new control-oriented METANET model to encompass service stations on highways
本文提出了带服务区的METANET-s二阶宏观交通模型,通过存储转发链路建模车辆停车与汇入排队,准确捕捉了服务区引发的交通拥堵反向传播与通行能力下降,显著提升了交通预测能力并优于一阶CTM-s模型。
2024-03-21 cs.SY eess.SY
Optimal service station design for traffic mitigation via genetic algorithm and neural network
ETH Zürich(苏黎世联邦理工学院);University of Pavia(帕维亚大学)
本文分析了高速公路上服务站的存在如何影响交通拥堵。我们专注于最佳设计的服务站,以实现有利的影响,在总的交通拥堵和高峰交通减少的问题。由于其计算效率低,微模拟器不能用于此任务。我们提出了一种遗传算法的基础上,最近提出的CTM,有效地描述了一个服务站的动态。然后,我们利用该算法来训练能够解决相同问题的神经网络,避免实现CTM。最后,我们研究了两个案例研究,以验证我们的算法的能力和性能。在这些模拟中,我们使用从荷兰高速公路提取的真实数据。
2022-11-18 cs.LG cs.NE cs.SY
Generation of Traffic Flows in Multi-Agent Traffic Simulation with Agent Behavior Model based on Deep Reinforcement Learning
在基于多智能体的交通仿真中,智能体总是按照已有的指令运动,机械地、不自然地模仿人类的行为。人类驾驶员总是不规则地执行加速或减速,这在某些情况下似乎是不必要的。为了让交通仿真中的智能体在复杂条件下表现得更像人类并识别其他智能体的行为,我们提出了一种统一的机制,通过使用深度强化学习,智能体学习决定各种加速度,基于再生的视觉图像显示一些显着的特征,和包含一些重要数据,如瞬时速度的数值向量的组合。通过处理批量的顺序数据,使代理能够识别周围代理的行为,并决定自己的加速度。此外,我们可以生成一个交通流的行为dilemma模拟真实的交通流,通过使用一个架构,完全分散的训练和完全集中的执行,而不违反马尔可夫假设。
2021-01-25 cs.MA cs.SY eess.SY
Neighbor-Aware Reinforcement Learning for Mixed Traffic Optimization in Large-scale Networks
University of Tennessee(田纳西大学)
本文提出一种邻域感知强化学习框架,通过奖励机制协调多交叉口混合交通,实现RV均衡分布,在真实网络中平均等待时间较单交叉口策略降低39.2%。
2024-12-17 cs.LG cs.SY eess.SY
Using a Deep Reinforcement Learning Agent for Traffic Signal Control
McMaster University(麦克马斯特大学)
本文提出一种基于深度强化学习的交通信号控制系统,通过离散交通状态编码和Q-learning训练,有效减少交通延误、队列长度和旅行时间。
2016-11-03 cs.LG cs.SY eess.SY
Deep Reinforcement Learning for Adaptive Traffic Signal Control
Iowa State University(爱荷华州立大学)
许多现有的交通信号控制器要么是简单的自适应控制器的基础上放置在交通路口周围的传感器,或优化的交通工程师在一个固定的时间表。优化交通控制器非常耗时,通常需要经验丰富的交通工程师。最近的研究已经证明了在这种情况下使用深度强化学习(DRL)的潜力。然而,大多数研究都没有考虑可以无缝过渡到部署的现实设置。在本文中,我们提出了一个基于DRL的自适应交通信号控制框架,明确考虑现实的交通场景,传感器和物理约束。在这个框架中,我们还提出了一种新的奖励功能,显示出显着改善的交通性能相比,典型的基线预定时和完全驱动的交通信号控制器。该框架的实现和验证仿真平台上模拟现实生活中的交通场景和传感器数据流。
2019-11-14 cs.LG cs.SY eess.SP
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
在各种交通文化和驾驶条件下,自动驾驶车辆在野外以适当的道路驾驶技术(安全有效地驾驶,而不打扰或危及其他道路使用者)执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色,并被应用于自动驾驶汽车策略,但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程(MDP)适应问题,并开发了Meta强化学习(MRL)驱动策略,以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟,以验证快速适应能力的MRL驾驶策略,显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
Autonomous vehicle decision and control through reinforcement learning with traffic flow randomization
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学吴贤铭智能工程学院)
本研究提出通过随机化SUMO中微观交通流参数来训练强化学习策略,提升自动驾驶在真实交通场景中的性能,实验证明该方法显著提高了成功率和计算奖励。
2024-04-19 cs.LG cs.RO cs.SY
A Reinforcement Learning Approach for Intelligent Traffic Signal Control at Urban Intersections
California PATH, University of California, Berkeley(加州大学伯克利分校);Futurewei Technologies, Inc.(华为技术公司)
本文提出了一种基于强化学习的交通信号控制方法,通过神经网络近似Q函数来处理复杂的交通信号控制问题,旨在优化交通流并减少拥堵和延误。
2019-05-19 cs.SY eess.SP eess.SY
A Critical Review of Traffic Signal Control and A Novel Unified View of Reinforcement Learning and Model Predictive Control Approaches for Adaptive Traffic Signal Control
University of Toronto(多伦多大学)
近年来,已经见证了提高交通网络效率的自适应交通信号控制(ATSC)方法的实质性增长,特别是在利用基于人工智能的优化和控制算法(诸如强化学习以及常规模型预测控制)的分支中。然而,缺乏跨领域的分析和比较的有效性的应用方法在ATSC的研究限制了我们对现有的挑战和研究方向的理解。本章提出了一个新的统一的观点,现代ATSCs的共同点,以及现有的方法的差异和缺点,最终的目标,以促进交叉施肥和先进的国家的最先进的。统一的视图应用的数学语言的马尔可夫决策过程,描述了控制器设计的过程中,从世界(问题)和解决方案建模的角度。统一的观点还分析了现有研究中通常忽略的系统性问题,并提出了解决这些问题的未来潜在方向。
2022-11-26 cs.AI cs.SY eess.SY
Layered Cost-Map-Based Traffic Management for Multiple Automated Mobile Robots via a Data Distribution Service
Yonsei University(延世大学);Hyundai Robotics(现代机器人公司)
这封信提出了基于分层成本地图的多个自动移动机器人(AMR)的交通管理。多个AMR通过数据分发服务(DDS)进行通信,该服务由同一DDS域中的主题共享。每个层的成本由主题控制。域中的业务管理服务器向每个AMR发送或接收主题。利用分层代价图,提出并实现了禁止过滤器、车道过滤器、车队层和区域过滤器的新概念。禁止过滤器可以帮助用户设置将禁止AMR侵入的区域。车道过滤器可以帮助基于角度图像设置单向方向。车队层可以帮助AMR通过交通管理服务器共享它们的位置。区域过滤器从业务管理服务器请求或接收仅可由一个AMR占用的专用区域。所有的层与现实世界的AMR实验验证。每个区域都可以配置用户定义的图像或基于文本的参数文件。
2022-07-18 cs.MA cs.RO cs.SY
Traffic Shaping and Hysteresis Mitigation Using Deep Reinforcement Learning in a Connected Driving Environment
基于多代理深度强化学习的流量整形框架。所提出的框架提供了一个关键的优势,现有的拥塞管理策略,这是能够减轻滞后现象。与现有的拥堵管理策略,重点是故障预防,建议的框架是非常有效的故障形成后。所提出的框架假设共享信息的自动驾驶汽车之间的部分连接。该框架要求由一维纵向控制定义的基本自主水平。该框架主要使用集中式训练、集中式执行的多智能体深度强化学习方法构建,其中纵向控制由加速或减速命令的信号定义,然后由所有智能体统一执行。用于框架的训练和测试的模型基于众所周知的双深度Q-学习算法,该算法将交通流内的流的平均状态作为模型输入,并以加速或减速值的形式输出动作。我们证明了该模型的能力,塑造交通状态,减轻滞后的负面影响,甚至提高交通流量超过其原来的水平。本文还确定了所需的CAV的最小百分比,以成功地塑造交通均匀分布的CAV的假设下,在循环系统。这项工作中说明的框架不仅显示了强化学习在解决这些挑战方面的理论适用性,而且还提出了一种现实的解决方案,只需部分连接和连续监控系统的平均速度,这可以通过使用现成的传感器来实现,这些传感器可以测量与CAV合理接近的车辆速度。
2023-02-06 cs.MA cs.SY eess.SY
Assessment of Reward Functions in Reinforcement Learning for Multi-Modal Urban Traffic Control under Real-World limitations
University of Warwick(华威大学);Vivacity Labs(维瓦西蒂实验室)
事实证明,强化学习是一种成功的工具,它可以管理城市交叉路口,而管理传统交通控制器所需的工作量很小。然而,文献介绍和控制行人到这样的交叉口是稀缺的。此外,目前还不清楚什么交通状态变量应该被用来作为奖励,以获得最佳的代理性能。本文稳健地评估了30种不同的强化学习奖励函数,用于控制为行人和车辆服务的交叉路口,这些交叉路口覆盖了现代视觉传感器提供的主要交通状态变量。一些奖励在以前的文献中提出的车辆交通扩展到行人,而新的介绍。我们使用校准模型的需求,传感器,绿色时间和其他业务限制的一个真正的十字路口在大曼彻斯特,英国。评估的奖励可以分为5组,这取决于所使用的幅度:排队,等待时间,延迟,平均速度和吞吐量的枢纽。不同的代理人的性能,在等待时间方面,比较在不同的需求水平,从正常运行到传统的自适应控制器的饱和。我们发现,最大化网络速度的奖励同时获得车辆和行人的最低等待时间,紧随其后的是队列最小化,表现出比其他先前提出的方法更好的性能。
2020-10-17 cs.LG cs.SY eess.SY
FairNet: A Measurement Framework for Traffic Discrimination Detection on the Internet
网络中立性与互联网上数据包的非歧视性待遇有关。任何故意歧视一个应用程序的流量而偏袒其他应用程序的行为都违反了中立原则。许多国家已经实施了反对这种歧视的法律。为了执行这些法律,人们需要工具来检测任何违反网络中立性的行为。然而,检测这种违规是具有挑战性的,因为很难区分由于自然网络效应和选择性降级而导致的任何质量降级。此外,合法的交通管理和故意的歧视方法在技术上可能是相同的,这使得区分它们更加困难。我们开发了一个名为FairNet的端到端测量框架来检测流量的歧视。它比较了类似服务的性能。我们的重点是HTTPS流媒体服务,它构成了互联网流量的主要部分。使混杂因素(拥塞、业务管理政策、动态速率自适应)对测试服务的影响“类似”,以确保公平比较。FairNet框架使用“重放服务器”和用户客户端,通过互联网交换可正确识别的流量流。TLS握手中的服务器名称指示(SNI)字段以明文形式出现,确保来自重播服务器的流量在网络中间盒中显示为来自其实际服务器的流量。我们使用商业流量整形器验证了适当的SNI会导致正确的服务分类。FairNet使用两种基于应用级吞吐量和连接状态的新算法来检测流量歧视。我们还通过移动应用程序在实时互联网上收集网络日志并进行分析,验证了该方法的有效性。
2021-10-20 cs.NI cs.SY eess.SY
EMVLight: a Multi-agent Reinforcement Learning Framework for an Emergency Vehicle Decentralized Routing and Traffic Signal Control System
New York University(纽约大学);Siemens Corporation(西门子公司);Shanghai Jiao Tong University(上海交通大学)
紧急车辆(EMV)在响应时间紧迫的呼叫(如医疗紧急情况和城市地区的火灾)方面发挥着至关重要的作用。现有的EMV调度方法通常基于历史交通流数据优化路线,并相应地设计交通信号抢占;然而,我们仍然缺乏一个系统的方法来解决EMV路由和交通信号控制之间的耦合。在本文中,我们提出了EMVLight,一个分散的强化学习(RL)框架,用于联合动态EMV路由和交通信号抢占。我们采用多智能体的优势行动者-评论家的方法与政策共享和空间折扣因子。该框架通过多类RL代理的创新设计和一种新的基于压力的奖励函数来解决EMV导航和交通信号控制之间的耦合。所提出的方法使EMVLight能够学习网络级的合作交通信号定相策略,不仅可以减少EMV的行驶时间,还可以缩短非EMV的行驶时间。基于仿真的实验表明,EMVLight使高达$42.6\%$减少EMV旅行时间以及$23.5\%$较短的平均旅行时间相比,现有的方法。
2022-06-29 cs.AI cs.SY eess.SY
Towards Robust Deep Reinforcement Learning for Traffic Signal Control: Demand Surges, Incidents and Sensor Failures
Technical University of Denmark (DTU)(丹麦技术大学)
本文提出了一种开源的回调框架,用于在交通模拟环境中灵活评估不同深度强化学习配置,研究了深度强化学习自适应交通控制器在需求激增、事故导致的容量下降和传感器故障等场景下的表现,并提出了缓解这些外源不确定性的具体设计。
2019-07-22 cs.LG cs.SY eess.SY
Deep Reinforcement Q-Learning for Intelligent Traffic Signal Control with Partial Detection
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IFSTTAR(法国交通、发展与网络科学技术研究院)
智能交通信号控制器将DQN算法应用于交通灯策略优化,通过实时调整交通信号来有效地减少交通拥堵。然而,文献中的大多数主张认为,所有车辆在交叉口被检测到,一个不切实际的情况。最近,新的无线通信技术已经能够通过基础设施对联网车辆进行成本效益高的检测。由于目前只有一小部分的总舰队配备,能够在低检测率下执行的方法是可取的。在本文中,我们提出了一种深度强化Q学习模型,用于在具有连接车辆的部分可观察环境中优化孤立交叉口的交通信号控制。首先,我们在RL框架内提出了新的DQN模型。我们引入了一个新的状态表示部分可观察的环境和一个新的奖励功能的交通信号控制,并提供了一个网络架构和调谐超参数。其次,我们评估的性能模型在多个场景的数值模拟,在两个步骤。首先对现有的驱动控制器进行完全检测,然后对联网车辆的比例进行部分检测和损失估计。最后,从得到的结果,我们定义阈值的检测率可接受的和最佳的性能水平。
2021-09-29 cs.LG cs.SY eess.SY
Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning
本研究提出整合CARLA与SUMO的交通协同仿真框架,结合YOLO视觉检测与多智能体强化学习实现自适应信号控制,验证了 imperfect 检测下方法的有效性与鲁棒性。
2025-09-18 cs.LG cs.SY eess.IV
The Real Deal: A Review of Challenges and Opportunities in Moving Reinforcement Learning-Based Traffic Signal Control Systems Towards Reality
Carnegie Mellon University(卡内基梅隆大学)
交通信号控制(TSC)是一个高风险的领域,随着全球交通量的增长,其重要性日益增加。越来越多的工程将强化学习(RL)应用于TSC; RL可以利用丰富的流量数据来提高信令效率。然而,基于RL的信号控制器从未被部署。在这项工作中,我们提供了第一个审查的挑战,必须解决之前,RL可以部署TSC。我们专注于四个挑战,涉及(1)检测的不确定性,(2)通信的可靠性,(3)合规性和可解释性,以及(4)异构道路使用者。我们表明,基于RL的TSC的文献已经取得了一些进展,以应对每一个挑战。然而,更多的工作应该采取系统思考的方法,考虑其他管道组件对RL的影响。
2022-10-03 cs.AI cs.LG cs.SY
CoTV: Cooperative Control for Traffic Light Signals and Connected Autonomous Vehicles using Deep Reinforcement Learning
University College Dublin(都柏林大学学院);North China Electric Power University(华北电力大学)
仅以缩短行程时间为目的,并不足以支持未来智慧交通系统的发展。为了与联合国可持续发展目标(UN-SDG)保持一致,还应考虑进一步减少燃料和排放,改善交通安全,以及方便基础设施的部署和维护。与现有的工作集中在交通灯信号(以提高交叉口吞吐量)或车辆速度(以稳定交通)的控制优化不同,本文提出了一种多智能体深度强化学习(DRL)系统CoTV,它可以协同控制交通灯信号和互联自主车辆(CAV)。因此,我们的CoTV可以很好地平衡旅行时间,燃料和排放减少的成就。与此同时,CoTV也可以通过仅与每个引入道路上最靠近交通灯控制器的一个CAV合作来轻松部署。这使得交通灯控制器和CAV之间能够更有效地协调,从而导致传统上难以收敛的大规模多智能体场景下的训练CoTV的收敛。我们给出了详细的系统设计的CoTV,并证明了其有效性,在模拟研究中使用相扑在各种网格地图和现实的城市场景下,混合自主交通。
2023-02-14 cs.AI cs.LG cs.SY
DRLE: Decentralized Reinforcement Learning at the Edge for Traffic Light Control in the IoV
车联网(IoV)使车辆和路边单元之间能够进行实时数据交换,从而为缓解城市地区的交通拥堵提供了一个有前途的解决方案。同时,通过有效的交通灯控制进行更好的交通管理也可以通过实现更好的通信环境和降低网络负载来使车联网受益。因此,车联网和高效的交通灯控制可以形成良性循环。边缘计算是一种在网络边缘提供低延迟计算能力的新兴技术,可以进一步提高这一周期的性能。然而,虽然收集的信息很有价值,但尚未为边缘授权的IoV开发更好的利用率和更快的反馈的有效解决方案。为此,我们提出了一个分散的强化学习在边缘的交通灯控制在车联网(DRLE)。DRLE利用车联网的普遍性来加速交通数据的收集及其解释,以缓解拥堵并提供更好的交通灯控制。DRLE在边缘服务器的覆盖范围内运行,并使用来自相邻边缘服务器的聚合数据来提供城市规模的交通灯控制。DRLE将高度复杂的大区域控制问题分解。去中心化的多智能体问题我们用具体的数学推理证明了它的全局最优解。在每个边缘节点上运行的分布式强化学习算法实时的调整交通灯。我们进行了广泛的评估,并证明了这种方法的优越性超过几个国家的最先进的算法。
2021-01-05 cs.DC cs.LG cs.MA
Reinforcement learning for traffic signal control in hybrid action space
基于自适应学习的交通信号控制方法主要有阶段优化和持续时间优化两种,这取决于行为空间。在本文中,我们提出了一种新的控制架构,TBO,这是基于混合邻近策略优化。据我们所知,TBO是第一个基于RL的算法,实现同步优化的分期和持续时间。与离散和连续动作空间相比,混合动作空间是一个合并的搜索空间,TBO在其中更好地实现了频繁切换和不饱和释放之间的权衡。实验结果表明,与现有的基线相比,TBO平均减少了13.78%的队列长度和14.08%的延迟。此外,我们还计算了通行权的基尼系数,表明TBO在提高效率的同时并没有损害公平。
2022-11-25 cs.AI cs.LG cs.SY
Multi-hop Upstream Anticipatory Traffic Signal Control with Deep Reinforcement Learning
University of Toronto(多伦多大学)
针对现有交通信号控制方法短视、学习复杂度高的问题,提出基于马尔可夫链的多跳上游压力概念,结合深度强化学习实现具备更广空间感知的信号控制,仿真验证可显著降低路网整体延误。
2025-01-16 cs.AI cs.LG cs.SY
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology(佐治亚理工学院);IBM Watson AI Foundation Group(IBM沃森人工智能基金会组)
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络(NoC)的运行时性能需要一个持续的学习框架。在这项工作中,我们展示了应用强化学习(RL)优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明,该算法可以成功地学习到一个接近最优的解决方案,在不同的环境状态。可复制代码:github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
Reinforcement Learning for Mixed Autonomy Intersections
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种无模型强化学习方法,用于控制模拟交通网络中的混合自主交通,该网络中只有双向交叉口和四向交叉口。我们的方法利用多智能体的政策分解,允许分散控制的基础上,对任意数量的受控车辆的本地观测。我们证明,即使没有奖励塑造,强化学习也能学会协调车辆,使其表现出类似交通信号灯的行为,在33-50%的受控车辆中实现接近最佳的吞吐量。在多任务学习和迁移学习的帮助下,我们证明了这种行为可以推广到流量流量和流量网络的大小。我们的代码、模型和结果视频可以在https://github.com/ZhongxiaYan/mixed_autonomy_intersections上找到。
2021-11-08 cs.AI cs.LG cs.MA
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering(纽约大学坦登工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校)
最近的研究表明,在交通中引入自动驾驶汽车(AV)可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能,包括自主车辆控制,并已用于最先进的AV控制器。然而,深度神经网络(DNN)使自动驾驶容易受到基于机器学习的攻击。在这项工作中,我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法,是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波(拥堵攻击)或AV加速导致AV撞到前面的车辆(保险攻击)。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明,后门模型不损害正常的操作性能,与累积奖励的最大下降为1%。尽管如此,当相应的触发器出现时,它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY