A Novel Reinforcement Learning Routing Algorithm for Congestion Control in Complex Networks
Shahid Beheshti University（贝赫什提大学）
本文提出一种利用强化学习的路由算法，通过结合最短路径算法优化路径长度并控制拥塞，在多种网络拓扑下显著提升网络吞吐量，最大节点拥塞减少五倍，效率提升达30%。
2023-12-30 cs.LG cs.NI
Deep Reinforcement Learning to Maximize Arterial Usage during Extreme Congestion
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Meta；Walmart（沃尔玛）
本研究提出一种深度强化学习方法，通过训练智能体学习自适应绕行策略以优化利用高速公路车道及邻近干道网络，在极端拥堵场景下将平均交通速度提升21%。
2023-05-16 cs.AI cs.LG
Iroko: A Framework to Prototype Reinforcement Learning for Data Center Traffic Control
University of British Columbia（不列颠哥伦比亚大学）
最近的网络研究已经确定，数据驱动的拥塞控制（CC）可以比TCP中的传统CC更有效。特别是深度强化学习（RL）具有学习最优网络策略的潜力。然而，RL具有不稳定性和过度拟合，这些缺陷迄今为止使其无法在数据中心网络中使用。在本文中，我们分析了RL在数据中心环境中取得成功的要求。我们提出了一个新的仿真器，Iroko，我们开发，以支持不同的网络拓扑结构，拥塞控制算法，和部署方案。Iroko与OpenAI gym工具包接口，允许在相同条件下快速公平地评估不同的RL和传统CC算法。我们提出了三种深度RL算法的初步基准测试，与TCP New Vegas和DCTCP进行了比较。我们的研究结果表明，这些算法是能够学习的CC政策，超过了哑铃和胖树拓扑结构上的TCP新维加斯的性能。我们使我们的模拟器开源并公开提供：https://github.com/dcgym/iroko
2018-12-24 cs.LG cs.NI stat.ML
A Deep Reinforcement Learning-Based TCP Congestion Control Algorithm: Design, Simulation, and Evaluation
Aydın Science High School（艾丁科学高中）；ASELSAN Technical Anatolian High School（ASELSAN技术安纳托利亚高中）；Erman Ilıcak Science High School（埃尔曼·伊利卡克科学高中）
本文提出一种基于深度强化学习的TCP拥塞控制算法，通过动态调整拥塞窗口提升吞吐量与降低延迟，优于传统TCP算法。
2026-01-19 cs.AI cs.NI
Dynamic network congestion pricing based on deep reinforcement learning
the University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
交通拥挤是城市地区的一个严重问题。动态拥挤收费是在战略范围内消除交通拥挤的有效措施之一。然而，在现实中，由于道路网络规模大、结构复杂，以及道路使用者行为的不确定性，最优的动态拥挤收费在理论上是很难或不可能确定的。为了应对这一挑战，这项工作提出了一种使用深度强化学习（DRL）的动态拥塞定价方法。它旨在通过利用深度强化学习的数据驱动性质，基于一般大规模道路网络中的可观察数据消除交通拥堵。所提出的方法的新颖元素之一是分布式和协作学习计划。具体来说，DRL是以时空分布的方式实现的，DRL代理之间的合作是通过我们称为空间共享奖励和时间切换学习的新技术建立的。它可以在大规模网络中实现快速和计算效率高的学习。使用Sioux Falls网络的数值实验表明，所提出的方法工作良好，由于新的学习计划。
2022-06-24 cs.LG cs.SY eess.SY
MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks
Florida Institute for Human & Machine Cognition (IHMC)（佛罗里达人机认知研究所（IHMC））；The University of West Florida (UWF)（西佛罗里达大学（UWF））；US Army Research Laboratory (ARL)（美国陆军研究实验室（ARL））
针对通用拥塞控制算法难以适应广泛场景的挑战，提出基于Soft Actor-Critic算法的强化学习框架MARLIN，通过在真实网络中训练以克服仿真到真实的差异，在文件传输任务中取得与TCP Cubic相当的性能，
2023-02-02 cs.AI cs.LG cs.NI
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London（伦敦大学学院）；University of York（约克大学）
现实世界的拥堵问题（例如交通拥堵）通常非常复杂且规模庞大。多智能体强化学习（MARL）是一个很有前途的候选人，通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而，有三个限制因素，影响部署的MARL方法的拥塞问题。这些是学习时间，可扩展性和分散的协调，即学习代理之间没有通信。在本文中，我们介绍了资源抽象，解决这些挑战的方法，分配到抽象组的可用资源。这种抽象创建了新的奖励函数，为学习代理提供更多信息信号，并帮助它们之间的协调。实验工作进行了两个基准域从文献中，一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明，使用资源抽象的系统显着提高了学习速度和可扩展性，并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中，涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
RARE: Renewable Energy Aware Resource Management in Datacenters
University of Virginia（弗吉尼亚大学）；Lancium Compute（兰cium计算公司）
对数字服务的需求呈指数级增长，导致数据中心大量能耗和负面环境影响。推动可持续解决方案以应对紧迫的能源和数字基础设施挑战至关重要。几家超大规模云提供商已经宣布计划使用可再生能源为其云计算中心供电。然而，将可再生能源整合到发电中心是一项挑战，因为发电是间歇性的，需要采取措施来解决电力供应的变化。手工设计特定于领域的基于机器人的机器人以满足这种复杂的动态绿色数据中心环境中的特定目标函数是耗时的、昂贵的，并且需要领域专家进行大量的调整。绿色能源企业需要智能系统和系统软件，通过智能地使计算适应可再生能源发电，来利用多种可再生能源（风能和太阳能）。我们提出了RARE（可再生能源感知资源管理），一个深度强化学习（DRL）作业调度器，自动学习有效的作业调度策略，同时不断适应供应商的复杂动态环境。由此产生的DRL调度器的性能优于启发式调度策略与不同的工作负载，并适应间歇性供电的可再生能源。我们演示了DRL调度器系统的设计参数，正确调整时，产生更好的性能。最后，我们证明了DRL调度程序可以学习和改进现有的启发式策略，使用离线学习。
2022-11-10 cs.AI cs.DC
Traffic Management of Autonomous Vehicles using Policy Based Deep Reinforcement Learning and Intelligent Routing
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；Carleton University（卡尔顿大学）
深度强化学习（DRL）使用多样化的非结构化数据，使RL能够在高维环境中学习复杂的策略。基于自主车辆的智能交通系统（ITS）为基于策略的日间行车提供了一个很好的平台。深度学习架构解决了传统算法的计算挑战，同时有助于AV的实际采用和部署。自动驾驶汽车实施的主要挑战之一是，如果不可靠和有效地管理，它可能会加剧道路上的交通拥堵。考虑每辆车的整体影响，使用高效可靠的技术，可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能交通控制系统，处理复杂的交通拥堵的情况下，在交叉口和交叉口后面。提出了一种基于日间行车灯的信号控制系统，该系统能够根据交叉口当前的拥堵状况动态调整交通信号。针对交叉口后道路的拥堵问题，采用重路由技术对路网中的车辆进行负载均衡。为了实现所提出的方法的实际好处，我们打破了数据孤岛，并结合使用来自传感器、探测器、车辆和道路的所有数据，以实现可持续的结果。我们使用SUMO微模拟器进行模拟。我们所提出的方法的意义体现在结果。
2022-06-28 cs.AI cs.LG
Cutting AI Datacenter Energy with Reinforcement Learning: Measured Power Control of LLM Training from One GPU to the Fleet
该研究针对大语言模型训练的GPU功耗问题，提出PPO元控制器调整生成参数，在单GPU及集群环境下降低功率违规、提升输出与能效，验证了超额订阅的可行性。
2026-08-13 cs.AI cs.SY eess.SY
LFQ: Online Learning of Per-flow Queuing Policies using Deep Reinforcement Learning
Technische Universität Wien（维也纳工业大学）
不同的、不兼容的拥塞控制算法数量的增加导致了公平排队部署的增加。公平排队隔离每个网络流，并且因此即使流的拥塞控制不是固有公平的，也可以保证每个流的公平性。到目前为止，公平排队系统中的每个队列要么有一个固定的、静态的最大长度，要么由一个主动队列管理（AQM）算法（如CoDel）管理。在本文中，我们设计了一个主动队列管理机制（学习公平Qdisc（LFQ）），动态学习的最佳缓冲区大小为每个流根据一个指定的奖励函数在线。我们表明，我们的基于深度学习的算法可以动态分配最佳队列大小，每个流取决于其拥塞控制，延迟和带宽。与竞争公平的AQM队列管理器相比，它提供了显着更小的队列，同时实现相同或更高的吞吐量。
2020-10-15 cs.LG cs.NI
Reinforcement Learning for Adaptive Traffic Signal Control: Turn-Based and Time-Based Approaches to Reduce Congestion
National University of Sciences & Technology（国家科技大学）
本文提出两种基于强化学习的自适应交通信号控制算法，分别按实时队列长度动态优先信号和按交通状况调整相位时长，在四个场景中验证其显著优于传统系统，可高效缓解拥堵。
2024-09-01 cs.AI
Hierarchical Reinforcement Learning for Safe Mapless Navigation with Congestion Estimation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Northeastern University（东北大学）
针对无地图导航易陷入局部极小区域的问题，提出融合拥塞估计子目标机制、安全强化学习低层规划与障碍物编码的HRL框架，并通过仿真和TurtleBot3实验验证其性能与泛化能力。
2025-03-15 cs.LG cs.RO
Closed-form congestion control via deep symbolic regression
Ericsson Research（爱立信研究院）
本文提出先用强化学习训练前传网络拥塞控制策略，再通过深度符号回归将策略转化为可解释、可实时推理的闭式表达式，以近似基线性能并便于实际部署。
2024-03-28 cs.LG cs.NI
Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments
Florida Institute for Human & Machine Cognition（佛罗里达人机认知研究所）；The University of West Florida（西佛罗里达大学）；University of Ferrara（费拉拉大学）；US Army DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
针对传统拥塞控制算法在战术环境中泛化性差的问题，提出基于强化学习的 MARLIN 框架，利用仿真环境训练智能体，在文件传输任务中表现优于 TCP Cubic 和 Mockets。
2023-06-27 cs.LG cs.NI cs.SE
Temporal-IRL: Modeling Port Congestion and Berth Scheduling with Inverse Reinforcement Learning
Sichuan University（四川大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出Temporal-IRL模型，利用逆强化学习从历史AIS数据中重构泊位调度并学习奖励函数，以预测船舶排序和港口停留时间，从而准确预测港口拥堵。
2025-06-24 cs.AI
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
最近的研究表明，在交通中引入自动驾驶汽车（AV）可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能，包括自主车辆控制，并已用于最先进的AV控制器。然而，深度神经网络（DNN）使自动驾驶容易受到基于机器学习的攻击。在这项工作中，我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法，是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波（拥堵攻击）或AV加速导致AV撞到前面的车辆（保险攻击）。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明，后门模型不损害正常的操作性能，与累积奖励的最大下降为1%。尽管如此，当相应的触发器出现时，它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY
Robust N-1 secure HV Grid Flexibility Estimation for TSO-DSO coordinated Congestion Management with Deep Reinforcement Learning
University of Kassel（卡塞尔大学）；Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）
目前，来自高压电网中分布式能源的电能质量灵活性在TSO电网中的电网拥塞管理中起着更加关键和重要的作用。这项工作提出了一种多阶段深度强化学习方法，以估计TSO-DSO接口处的PQ灵活性（PQ区域），并以某种方式识别每个操作点的DER PQ设定点，可以协调网状高压电网中的DER，为输电网提供灵活性。在估计过程中，我们考虑的稳态电网的限制和鲁棒性的电压曲线对不确定性和N-1的安全标准，热线负载，现实生活中的电网运营规划应用程序至关重要。使用深度强化学习（DRL）进行PQ灵活性估计是同类中的第一个。此外，我们的方法考虑N-1安全标准的网状电网和鲁棒性对不确定性直接在优化任务提供了一个新的视角，除了常见的松弛模式，在寻找一个解决方案的数学最优潮流（OPF）。最后，在PQ区域估计的计算效率的显着改善是所提出的方法的亮点。
2022-12-18 cs.AI cs.SY eess.SY
Highway Congestion Reduction through Reinforcement Learning Based Eulerian Headway Control
General Motors（通用汽车）；UC Berkeley（加州大学伯克利分校）
该研究针对传统拥堵控制策略的缺陷，提出基于强化学习的欧拉车头间距控制系统，经大规模仿真验证可显著提升交通流量，为高速公路拥堵缓解提供实用方案。
2026-09-23 cs.AI cs.LG cs.MA
Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods
University of Piraeus（比雷埃夫斯大学）；University of Ioannina（约阿尼纳大学）；Frauhofer Institute IAIS（弗劳恩霍夫智能分析与信息系统研究所）；CRIDA
在这篇文章中，我们报告的效率和有效性的多智能体强化学习方法（MARL）的计算航班延误，以解决空中交通管理（ATM）领域的拥塞问题。具体来说，我们的目标是解决空域使用需求超过容量的情况（需求容量问题），通过在运营的前战术阶段（即运营前几天到几个小时）对航班实施地面延误。将其投射到多智能体域中，代表航班的智能体需要决定自己的延迟w.r.t.他们没有关于其他人的收益，偏好和约束的信息，而他们计划与其他人一起执行他们的轨迹，遵守操作约束。具体来说，我们正式的问题作为一个多智能体马尔可夫决策过程（MA-MDP），我们表明，它可以被认为是一个马尔可夫博弈中，相互作用的代理需要达到一个平衡：是什么使问题更有趣的是动态设置中的代理操作，这也是由于不可预见的，紧急的影响，他们的决定在整个系统。我们提出了协作多智能体强化学习方法来解决需求能力不平衡：对现实世界的案例进行了广泛的实验研究，显示了所提出的方法在解决问题方面的潜力，而高级可视化提供了详细的视图，以了解所提供的解决方案的质量。
2019-12-14 cs.AI cs.MA
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Elan Corporation（Elan公司）
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功，但考虑到高样本效率的要求以及如何收集训练数据，直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中，我们解决了几个挑战，我们遇到的时候，我们试图减轻严重的交通拥堵发生在大都市地区。具体而言，我们需要提供一种解决方案，能够（1）在检索强化学习信息的某些监控摄像机停机时处理交通信号控制，（2）在没有交通模拟器的情况下从批量数据中学习，（3）在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法，给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习，能够学习批量数据的援助，提出了三个组件，有界的行动，批量扩增，和代理奖励裁剪。我们的实验表明，所提出的框架减少了36%的交通拥堵的等待时间相比，目前使用的固定时间的交通信号灯计划。此外，该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Robustness of Reinforcement Learning-Based Congestion Management in Low-Voltage Grids
E.ON impulse GmbH（E.ON impulse公司）；E.ON Group Innovation GmbH（E.ON集团创新公司）；Schleswig-Holstein Netz GmbH（石勒苏益格-荷尔斯泰因电网公司）
针对低压电网运行挑战，研究结合随机森林预分类器与行为-评判控制器解耦拥塞检测与控制，评估其对测量噪声和电网参数失配的鲁棒性，通过实际电网测试，该方法能有效降低违规幅度，在多种情况下表现良好。
2026-10-12 cs.AI cs.SY eess.SY
Intelligent Active Queue Management Using Explicit Congestion Notification
Department of Electrical and Computer Engineering, Western University（西安大略大学电气与计算机工程学院）
随着越来越多的终端设备连接，互联网将变得更加拥挤。各种拥塞控制技术已经在传输层或网络层上被开发。主动队列管理（AQM）是一种旨在通过主动缓冲区控制来避免网络层拥塞的方法。然而，由于网络的复杂性和动态性，为AQM方案找到正确的参数是具有挑战性的。另一方面，显式拥塞通知（ECN）机制是一种解决方案，其使得网络层上的初始拥塞对传输层可见。在这项工作中，我们提出利用ECN信息，以改善主动队列管理算法，通过应用机器学习技术。我们的智能方法使用人工神经网络预测拥塞和基于强化学习的AQM参数调整器。评估结果表明，我们的解决方案可以提高部署AQM的性能，使用现有的TCP拥塞控制机制。
2019-08-28 cs.LG cs.NI stat.ML
Leveraging the Capabilities of Connected and Autonomous Vehicles and Multi-Agent Reinforcement Learning to Mitigate Highway Bottleneck Congestion
Purdue University（普渡大学）；Lyles School of Civil Engineering（莱尔土木工程学院）；Center for Connected and Automated Transportation (CCAT)（连通与自动化交通中心（CCAT））；Carnegie Mellon University（卡内基梅隆大学）；Robotics Institute（机器人研究所）
主动流量管理策略通常被实时采用以解决这种突发流量故障。当即将排队时，可以应用速度协调（SH），其调整上游流量的速度以减轻下游流量冲击波。然而，由于SH依赖于驾驶员的意识和遵守，它可能并不总是有效地缓解拥堵。使用多智能体强化学习进行协作学习，是一个很有前途的解决方案，这一挑战。通过将该技术结合到联网和自动驾驶车辆（CAV）的控制算法中，可以训练CAV来做出联合决策，该联合决策可以在没有人类驾驶员遵守改变的速度限制的情况下缓解高速公路瓶颈拥堵。在这方面，我们提出了一个基于RL的多智能体CAV控制模型在混合交通（CAV和人类驾驶的车辆（HDVs））。研究结果表明，即使在CAV的百分比份额走廊交通低至10%，CAV可以显着缓解公路交通的瓶颈。另一个目标是评估基于RL的控制器相对于基于规则的控制器的功效。在实现这一目标时，我们充分认识到，基于RL的CAV控制器的主要挑战之一是现实世界中存在的输入的多样性和复杂性，例如由其他连接实体提供给CAV的信息和感测信息。这些转换为难以处理和学习的动态长度输入。出于这个原因，我们建议使用图形卷积网络（GCN），一种特定的RL技术，以保留信息网络拓扑结构和相应的动态长度输入。然后，我们使用这个，结合深度确定性策略梯度（DDPG），进行多代理训练，使用CAV控制器缓解拥塞。
2020-10-12 cs.LG cs.SY eess.SY
GraphCC: A Practical Graph Learning-based Approach to Congestion Control in Datacenters
Barcelona Neural Networking Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学巴塞罗那神经网络中心）；Telefonica Research（西班牙电信研究中心）；Huawei Technologies Co., Ltd.（华为技术有限公司）
GraphCC提出一种结合多智能体强化学习与图神经网络的分布式框架，通过交换机间协作优化ECN配置，在多种数据中心场景下相比ACC基线显著降低流完成时间和缓冲区占用。
2023-08-09 cs.AI cs.LG cs.MA
From Prior-Guided Heuristics to Deployable Agents: Accelerating Demonstration-Driven Reinforcement Learning for Deadline-Constrained Network Control
University of Naples Federico II（那不勒斯费德里科二世大学）；New York University（纽约大学）；University of Southern California（南加州大学）；University of Trento（特伦托大学）；Centre Tecnològic de Telecomunicacions de Catalunya (CTTC)（加泰罗尼亚电信技术中心）
本文针对动态异构网络中延迟敏感信息传输的截止期限约束问题，提出含EC指标与MADRL EC（$p^*$）架构的部署导向框架及MGA-RL训练协议，加速演示驱动强化学习以实现可部署网络控制。
2026-09-04 cs.AI cs.NI
Large-scale Regional Traffic Signal Control Based on Single-Agent Reinforcement Learning
本文提出基于单智能体强化学习的大规模区域交通信号控制模型，通过优化交通信号协调以缓解拥堵和减少行驶时间。
2026-01-12 cs.LG cs.SY eess.SY
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
Single-agent Reinforcement Learning Model for Regional Adaptive Traffic Signal Control
本文提出一种基于单代理强化学习的区域自适应交通信号控制模型，利用探测车辆数据有效缓解区域拥堵。
2026-01-12 cs.AI cs.LG
RACE: A Reinforcement Learning Framework for Improved Adaptive Control of NoC Channel Buffers
Colorado State University（科罗拉多州立大学）
片上网络（NoC）架构依赖于缓冲器来存储微片，以应对分组交换期间对路由器资源的争用。最近，已经提出了可逆多功能信道（RMC）缓冲器，以同时降低功率并实现相邻路由器之间的自适应NoC缓冲。虽然自适应缓冲可以通过最大化缓冲区利用率来提高NoC性能，但控制RMC缓冲区分配需要一个可感知的、可扩展的和主动的策略。在这项工作中，我们提出了RACE，这是一种新型的强化学习（RL）框架，它利用更好的网络拥堵意识和新的奖励指标（“虚假”）来帮助引导RL代理做出更好的RMC缓冲区控制决策。我们表明，RACE减少了NoC延迟高达48.9%，能源消耗高达47.1%，对国家的最先进的NoC缓冲区控制策略。
2022-05-26 cs.AR cs.LG
Reinforcement Learning based Cyberattack Model for Adaptive Traffic Signal Controller in Connected Transportation Systems
The University of Alabama（阿拉巴马大学）
在连接的运输系统中，自适应交通信号控制器（ATSC）利用通过无线连接从车辆接收的实时车辆轨迹数据（即，连接的车辆）来调节绿灯时间。然而，这种无线连接的ATSC增加了网络攻击面，并增加了它们对各种网络攻击模式的脆弱性，这些网络攻击模式可以被利用来引起道路网络中的严重拥堵。攻击者可能会获得经济利益，从而为特定道路造成这种拥堵。其中一种模式是“sybil”攻击，攻击者通过生成模仿实际联网车辆遵守道路交通规则的虚假基本安全消息（BSM），在网络中创建虚假车辆。攻击者的最终目标将是通过以使得信号定时和相位变化发生而不标记车辆数量的任何突然变化的速率生成假车辆或“sybil”车辆来阻断路线。由于车辆到达率和ATSC算法的高度非线性和不可预测性，很难找到一个最佳的速度sybil车辆，这将是从不同的方法注入一个交叉口。因此，有必要开发一个智能网络攻击模型来证明这种攻击的存在。在这项研究中，一个基于强化学习的网络攻击模型开发的等待时间为基础的ATSC。具体而言，RL代理被训练以学习sybil车辆注入的最佳速率，从而为一个或多个方法造成拥堵。我们的分析表明，RL代理可以学习创建智能攻击的最佳策略。
2022-10-31 cs.AI cs.CR cs.LG
Robust Single-Agent Reinforcement Learning for Regional Traffic Signal Control Under Demand Fluctuations
本文提出一种鲁棒的单智能体强化学习框架，用于应对交通需求波动的区域交通信号控制，通过集中决策和高效学习模型有效减少交通队列长度。
2026-01-12 cs.AI cs.LG
Dynamic multi-agent deep reinforcement learning-based pricing and incentivization approach in multimodal transportation networks
University of California, Berkeley（加州大学伯克利分校）；Technical University of Denmark（丹麦技术大学）
提出多智能体深度强化学习框架，通过动态定价和激励策略协调公共交通与共享出行服务，平衡效率、公平与收益，实验表明可降低通勤成本20%、排放10%并提升公平性。
2026-06-23 cs.AI cs.LG math.OC
Traffic-Aware Optimal Taxi Placement Using Graph Neural Network-Based Reinforcement Learning
本文提出基于图神经网络强化学习的交通感知出租车最优布置方法，通过实时整合交通数据优化出租车热点，有效减少乘客等待时间和司机行驶距离。
2026-01-02 cs.LG
Balancing Efficiency and Fairness in Traffic Light Control through Deep Reinforcement Learning
University of Padova（帕多瓦大学）
本文提出一种新型深度强化学习代理，通过整合公平性考虑平衡车辆和行人交通流，实验证明能有效减少拥堵并保障服务公平性。
2026-05-11 cs.LG
EnduRL: Enhancing Safety, Stability, and Efficiency of Mixed Traffic Under Real-World Perturbations Via Reinforcement Learning
University of Tennessee（田纳西大学）
针对真实世界扰动下混合交通中人类驾驶车辆引发拥堵及现有机器人车辆控制器性能下降的问题，提出基于强化学习的EnduRL方法，利用拥堵阶段分类器优化混合交通，在安全性、效率和稳定性上实现显著提升。
2024-03-24 cs.LG cs.RO
Applying Reinforcement Learning to Optimize Traffic Light Cycles
KAIST（韩国科学技术院）
本文提出用强化学习实时优化交通信号灯周期，并通过 Simulation Urban Mobility 模拟器训练 Deep Q-Network，实验显示紧急停车平均次数减少 44.16%，证明其能有效缓解拥堵并改善交通流。
2024-02-22 cs.AI cs.LG
Deep Reinforcement Learning for Multi-Agent Coordination
本文提出一种基于信息素的多智能体深度强化学习框架，通过虚拟信息素模拟局部和社会交互，实现无通信的去中心化协调，解决狭窄环境中多机器人协作的挑战。
2025-10-04 cs.AI cs.LG cs.MA
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵，近年来研究人员使用强化学习（RL）来开发更好的交通信号控制（TSC）算法。然而，大多数RL模型都是在相同的交通流环境中训练和测试的，这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的，这些模型由于缺乏泛化能力而难以应用。此外，可获得的交通流数据数量有限，这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量，并利用它们来构建合适的训练和测试环境。然后，我们提出了一个元RL TSC框架GeneraLight，以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验，以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
End-to-End Reinforcement Learning of Curative Curtailment with Partial Measurement Availability
RWTH Aachen University（亚琛工业大学）；IAEW, RWTH Aachen University（亚琛工业大学IAEW）；E.ON Group Innovation GmbH（意昂集团创新有限公司）；Schleswig-Holstein Netz AG（石勒苏益格-荷尔斯泰因网络股份公司）
针对配电网拥堵问题及现有OPF方法依赖全节点测量、计算成本高的局限，提出基于深度强化学习的端到端方法，仅需部分节点可观测即可通过有功削减和无功设置实现无拥堵运行，在真实低压电网中验证了优异效果。
2024-06-10 cs.AI cs.LG cs.SY
Symbolic Distillation for Learned TCP Congestion Control
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
TCP拥塞控制（CC）的最新进展利用深度强化学习（RL）方法取得了巨大成功，该方法使用前馈神经网络（NN）来学习复杂的环境条件并做出更好的决策。然而，这种“黑匣子”策略缺乏可解释性和可靠性，并且由于使用复杂的NN，它们通常需要在传统的TCP数据路径之外运行。本文提出了一种新的两阶段的解决方案，以实现两全其美：首先训练一个深RL代理，然后提取其（过）参数化的NN政策到白盒，重量轻的规则，在符号表达式的形式，更容易理解和实现在受约束的环境。在我们的建议的核心是一个新的符号分支算法，使规则能够知道的上下文在各种网络条件，最终转换成一个符号树的NN政策。经过提炼的符号规则保留了最先进的NN策略，并经常提高性能，同时比标准神经网络更快，更简单。我们验证我们的蒸馏符号规则的性能在模拟和仿真环境。我们的代码可在https://github.com/VITA-Group/SymbolicPCC上获得。
2022-10-24 cs.AI cs.LG
MVFST-RL: An Asynchronous RL Framework for Congestion Control with Delayed Actions
Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）
有效的网络拥塞控制策略是保持Internet（或任何大型计算机网络）正常运行的关键。几十年来，网络拥塞控制一直由手工设计的算法主导。最近，强化学习（RL）已经成为自动优化此类控制策略的替代方案。到目前为止，研究主要考虑RL接口，它在代理考虑下一步行动时阻止发送者。这在很大程度上是在为游戏中的RL设计的框架之上构建的工件（例如OpenAI Gym）。然而，这并不能转化为现实世界的网络环境，在现实世界中，网络发送方等待策略而不发送数据会导致带宽利用不足。相反，我们建议制定拥塞控制与异步RL代理处理延迟的行动。我们提出了MVFST-RL，这是一个用于QUIC传输协议中拥塞控制的可扩展框架，它利用了异步RL训练中的最新技术，并进行了策略外校正。我们分析建模改进，以减轻偏离马尔可夫动态，并评估我们的方法从万神殿基准平台上的仿真网络。源代码可在https://github.com/facebookresearch/mvfst-rl上公开获得。
2021-05-26 cs.DC cs.LG cs.NI
On the Definition of Robustness and Resilience of AI Agents for Real-time Congestion Management
Center for Power and Energy Systems INESC TEC Porto, Portugal（电力与能源系统中心 INESC TEC 里斯本，葡萄牙）
针对欧盟《人工智能法案》缺乏高风险AI系统鲁棒性与韧性评估方法的问题，本文提出基于Grid2Op环境的定量评估框架，通过扰动智能体模拟干扰，用特定指标衡量性能，有效识别漏洞并提升AI性能。
2025-04-17 cs.AI
Optimizing Taxi Carpool Policies via Reinforcement Learning and Spatio-Temporal Mining
Wayne State University（韦恩州立大学）；DiDi Research America（滴滴美国研究院）；DiDi Research（滴滴研究院）
在本文中，我们开发了一个基于强化学习（RL）的系统来学习一个有效的拼车政策，最大限度地提高运输效率，以便需要更少的汽车来满足给定的出行需求。为此，首先，我们开发了一个深度神经网络模型，称为ST-NN（时空神经网络），从原始GPS行程数据预测出租车行程时间。其次，我们开发了一个用于RL训练的拼车模拟环境，使用ST-NN的输出和纽约市出租车行程数据集。为了最大限度地提高运输效率，最大限度地减少交通拥堵，我们选择司机在拼车旅行中所覆盖的有效距离作为奖励。因此，驾驶员在行程中实现的有效距离越大（即，满足更多的行程需求），效率就越高，交通拥堵就越少。我们将RL学习策略的性能与固定策略（始终接受拼车）作为基线进行了比较，并获得了可解释的有希望的结果，并证明了我们的RL方法的优势。我们还比较了ST-NN与最先进的行程时间估计方法的性能，并观察到ST-NN显着提高了预测性能，对离群值更具鲁棒性。
2018-11-11 cs.AI cs.LG stat.ML
Multi-Objective Reinforcement Learning for Power Grid Topology Control
Hertz Transmission GmbH（50赫兹传输有限公司）；Delft University of Technology（代尔夫特理工大学）；TenneT TSO B.V.（TenneT传输系统运营商有限公司）
本文提出一种基于深度乐观线性支持（DOL）和多目标近端策略优化（MOPPO）的多目标强化学习方法，用于电网拓扑控制，有效平衡线路负载、拓扑偏差等冲突目标，显著提升电网在紧急情况下的稳定性及低训练预算下的有效性。
2025-05-01 cs.AI cs.LG cs.SY
Simulating Cognitive Smart Freight Corridors with Agent-Based Models and Reinforcement Learning
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Concordia University（康考迪亚大学）；Amazon.com, Inc.（亚马逊公司）
该研究提出耦合多技术层的ABM框架，结合RL与MARL模拟认知智能货运走廊，实验表明其在吞吐量、拥堵、节能等方面优于基准场景，高需求下优势更显著。
2026-08-27 cs.ET cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research（联发科研究院）；MediaTek Inc.（联发科公司）；National Taiwan University（台湾大学）；Maxeda Technology Inc.（Maxeda科技公司）
最近，强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前，客观指标的权重（例如，线长、拥塞和定时）在预训练期间是固定的。然而，固定权重的模型不能产生工程师所需的布局的多样性，以适应不断变化的要求，因为它们出现。本文提出了灵活的多目标强化学习（MORL），支持目标函数的推理时间可变的权重，使用一个单一的预训练模型。我们的宏观布局结果表明，MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Multi-Agent Congestion Cost Minimization With Linear Function Approximations
Indian Institute of Technology Bombay（孟买印度理工学院）
这项工作认为多个代理穿越网络从源节点到目标节点。代理在链路上旅行的成本有私有和拥塞两个组成部分。智能体的目标是以分散的方式找到一条到达目标节点的总成本最小的路径。我们将其建模为一个完全分散的多智能体强化学习问题，并提出了一种新的多智能体拥塞成本最小化（MACCM）算法。我们的MACCM算法使用线性函数近似的转移概率和全局成本函数。在没有中央控制器的情况下，为了保护隐私，代理通过时变通信网络将成本函数参数传递给它们的邻居。此外，每个代理保持其估计的全局状态动作值，这是通过多代理扩展值迭代（MAEVI）子例程更新。我们表明，我们的MACCM算法实现了次线性遗憾。证明需要收敛的成本函数参数，MAEVI算法，并分析的遗憾界引起的MAEVI触发条件为每个代理。为了验证算法的有效性，我们在一个两节点多链路网络上实现了该算法，首先确定了最优策略，即每个周期内到达目标节点的最优代理数量。我们观察到，对于2个和3个代理人，平均遗憾接近于零。最优策略捕获停留在节点的最小成本和前往目标节点的拥塞成本之间的权衡。我们的工作是学习随机最短路问题的推广。
2023-02-23 cs.AI cs.LG cs.MA
AVARS -- Alleviating Unexpected Urban Road Traffic Congestion using UAVs
University College Dublin（都柏林大学）；Manchester Metropolitan University（曼彻斯特城市大学）；University of Huddersfield（哈德斯菲尔德大学）
本文提出AVARS系统，利用配备摄像头的无人机结合深度强化学习进行交通灯信号控制，以低成本部署方式有效缓解突发城市道路交通拥堵。
2023-09-10 cs.AI cs.LG cs.SY
Reinforcement Learning Based Power Grid Day-Ahead Planning and AI-Assisted Control
enliteAI
正在进行的向可再生能源的过渡正在增加风能和太阳能等波动性电源的份额，增加电网波动性，并使电网运营变得日益复杂和成本高昂。在我们以前的工作中，我们已经介绍了一种拥塞管理方法，包括一个再调度优化器结合机器学习为基础的拓扑优化代理。与典型的仅重调度代理相比，它能够使模拟电网保持更长的运行时间，同时降低运营成本。我们的方法还在欧洲最大的电网运营商RTE发起的L2RPN 2022竞赛中排名第一。本文的目的是使这一有前途的技术更接近现实世界的电网运行。我们在两种类似于既定工作流程的设置中部署基于RL的代理，即AI辅助的提前规划和实时控制，以展示这种新技术的好处和警告。然后，我们分析拥塞，重新调度和切换配置文件，和基本的灵敏度分析提供了一个一瞥的操作鲁棒性。虽然距离真正的控制室还有很长的路要走，但我们相信本文和相关的原型有助于缩小差距，并为在未来的电网中安全部署RL代理铺平道路。
2023-02-15 cs.AI cs.LG cs.SY
Towards Fair and Efficient Learning-based Congestion Control
Hong Kong University of Science and Technology（香港科技大学）
针对基于学习的拥塞控制难以兼顾公平性、快速收敛与稳定性的问题，提出多智能体深度强化学习方案Astraea及多流训练环境，实现快速公平收敛并提升稳定性。
2024-03-04 cs.LG cs.NI
Multi-hop Upstream Anticipatory Traffic Signal Control with Deep Reinforcement Learning
University of Toronto（多伦多大学）
针对现有交通信号控制方法短视、学习复杂度高的问题，提出基于马尔可夫链的多跳上游压力概念，结合深度强化学习实现具备更广空间感知的信号控制，仿真验证可显著降低路网整体延误。
2025-01-16 cs.AI cs.LG cs.SY
Review of Learning-based Longitudinal Motion Planning for Autonomous Vehicles: Research Gaps between Self-driving and Traffic Congestion
Georgia Tech（佐治亚理工学院）
自动驾驶技术公司和研究界正在加快步伐，将机器学习纵向运动规划（mMP）用于自动驾驶汽车（AV）。本文回顾了目前的最先进的mMP，独家关注其对交通拥堵的影响。我们确定了当前数据集中拥塞场景的可用性，并总结了训练mMP所需的功能。在学习方法方面，我们对模仿学习和非模仿学习的主要方法进行了综述。我们还强调了一些领先的AV公司采用的新兴技术，例如特斯拉，Waymo和Comma.ai。我们发现：i）自动驾驶行业主要关注与安全相关的长尾问题，而忽视了对交通拥堵的影响，ii）当前的公共自动驾驶数据集没有包括足够的拥堵场景，并且大多缺乏必要的输入特征/输出标签来训练mMP，以及iii）尽管强化学习（RL）方法可以将拥堵缓解集成到学习目标中，工业上采用的主要的mMP方法仍然是行为克隆（BC），其学习减轻故障的mMP的能力还有待观察。在综述的基础上，该研究确定了当前mMP开发中的研究空白。提出了未来mMP研究的一些建议：i）丰富数据收集以促进拥塞学习; ii）结合非模仿学习方法将交通效率结合到以安全为导向的技术路线中; iii）从传统的车辆跟驰（CF）理论中整合领域知识以提高mMP的串稳定性。
2021-07-17 cs.CV cs.LG cs.RO
Random Ensemble Reinforcement Learning for Traffic Signal Control
Xidian University（西安电子科技大学）
交通信号控制是智能交通建设的重要组成部分。有效的交通信号控制策略可以减少交通拥挤，提高城市道路交通效率，方便人们的生活。现有的交通信号控制强化学习方法主要集中在通过单独的神经网络进行学习。这种独立的神经网络可能落入训练结果的局部最优。更糟糕的是，收集的数据只能采样一次，因此数据利用率低。因此，我们提出了随机包围双DQN光（RELight）模型。该方法通过强化学习动态学习交通信号控制策略，并结合随机集成学习避免陷入局部最优，达到最优策略。此外，我们引入了数据更新率（UTD）来控制数据重用的数量，以改善数据利用率低的问题。此外，通过对合成数据和真实数据进行充分的实验，证明了本文提出的方法比现有的优化方法能取得更好的交通信号控制效果。
2022-03-10 cs.AI cs.LG
