Demand Acceptance using Reinforcement Learning for Dynamic Vehicle Routing Problem with Emission Quota
本文提出了一种结合动态需求接受和路径规划的新型车辆路径问题，通过两层优化框架实现前瞻性需求拒绝和新路径生成，结合强化学习与组合优化技术进行研究。
2026-02-27 cs.AI cs.LG
Deep Reinforcement Learning for Electric Vehicle Routing Problem with Time Windows
University of Toronto（多伦多大学）；Western University（韦仕敦大学）；University of Waterloo（滑铁卢大学）
在过去的十年中，电动汽车（EV）在市场上迅速渗透，越来越多的物流和运输公司开始部署EV提供服务。为了模拟商业电动汽车车队的运作，我们利用电动汽车的时间窗口（EVRPTW）的路由问题。在这项研究中，我们提出了一个端到端的深度强化学习框架来解决EVRPTW。特别是，我们开发了一个注意力模型，将指针网络和图形嵌入技术参数化的随机政策解决EVRPTW。然后，使用具有卷展基线的策略梯度来训练模型。我们的数值研究表明，所提出的模型是能够有效地解决EVRPTW实例的大尺寸是不可解决的任何现有的方法。
2021-08-13 cs.AI cs.LG math.OC
Deep Learning Based Proactive Multi-Objective Eco-Routing Strategies for Connected and Automated Vehicles
Laboratory of Innovations in Transportation (LiTrans)（交通创新实验室）；Ryerson University（瑞尔森大学）
本研究利用信息和通信技术（ICT）、互联和自动驾驶车辆（CAV）以及传感技术的进步，制定积极主动的多目标生态路由策略。为了一个强大的应用程序，几个温室气体成本核算方法进行了审查。利用带有外生预测因子的长短期记忆深度网络建立了链路级流量和排放状态的预测模型。结果发现，积极主动的路由策略优于近视的策略，无论路由目标。无论是短视还是前瞻性的，多目标路由，旅行时间和温室气体最小化为目标，优于单目标路由策略，导致平均旅行时间（TT），平均车辆行驶公里数（VKT），总温室气体和总氮氧化物分别减少了17%，21%，18%和20%。最后，网络中车辆经历的额外TT和VKT对网络中产生的GHG和NOx的量产生了不利影响。
2020-12-27 cs.AI cs.LG cs.MA
RP-DQN: An application of Q-Learning to Vehicle Routing Problems
University of Hildesheim（希尔德斯海姆大学）
在本文中，我们提出了一种新的方法来解决复杂的路由问题与改进的状态表示，利用模型的复杂性比以前的方法更好。我们通过从时间差异进行训练来实现这一点。特别是Q-Learning。我们表明，我们的方法实现了最先进的性能，自回归政策，顺序插入节点构建解决方案的CVRP。此外，我们是第一个用机器学习方法解决MDVRP的人，并证明了这种问题类型从我们的方法中大大受益于其他ML方法。
2021-04-25 cs.LG
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University（东南大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法，通过智能体间共享观察与奖励促进合作，实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Network-Constrained Policy Optimization for Adaptive Multi-agent Vehicle Routing
York University（约克大学）
城市道路网络的交通拥堵导致出行时间延长和排放增加，特别是在高峰期。虽然最短路径优先（SPF）算法对于静态网络中的单个车辆是最佳的，但它在动态多车辆设置中表现不佳，通常会通过沿相同路径路由所有车辆来加剧拥堵。我们通过一个多智能体强化学习（MARL）框架来解决动态车辆路由问题，以实现协调的网络感知车队导航。我们首先提出了自适应导航（AN），一个分散的MARL模型，其中每个交叉口代理提供基于（i）本地交通和（ii）使用图注意力网络（GAT）建模的邻域状态的路由指导。为了提高在大型网络的可扩展性，我们进一步提出了分层集线器为基础的自适应导航（HHAN），AN的扩展，只分配代理的关键路口（枢纽）。车辆在代理控制下按中心到中心进行路由，而SPF处理每个中心区域内的微路由。对于枢纽协调，HHAN在注意力Q混合（A-QMIX）框架下采用集中式训练与分散式执行（CTDE），通过注意力聚合异步车辆决策。集线器代理使用流量感知状态功能，结合本地拥塞和预测动态主动路由。在合成网格和真实城市地图（多伦多，曼哈顿）上的实验表明，与SPF和学习基线相比，AN减少了平均旅行时间，保持了100%的路由成功率。HHAN可扩展到具有数百个交叉口的网络，在交通繁忙的情况下实现高达15.9%的改善。这些研究结果突出了网络约束MARL在智能交通系统中可扩展，协调和感知路由的潜力。
2025-10-30 cs.AI cs.LG cs.MA
Efficient Neural Combinatorial Optimization Solver for the Min-max Heterogeneous Capacitated Vehicle Routing Problem
本文提出ECHO求解器，通过双模态节点编码器捕捉局部拓扑关系，利用参数自由交叉注意力机制缓解短视决策，结合车辆置换不变性和节点对称性设计数据增强策略，提升异质容量车辆路径问题求解性能。
2026-03-15 cs.AI cs.LG
Multi-Decoder Attention Model with Embedding Glimpse for Solving Vehicle Routing Problems
Nanyang Technological University（南洋理工大学）；Shandong University（山东大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的深度强化学习方法来学习车辆路径问题的构造算法。具体而言，我们提出了一种多解码器注意力模型（MDAM）来训练多个不同的策略，与现有的只训练一个策略的方法相比，有效地增加了找到好的解决方案的机会.设计了一种自定义的束搜索策略，充分利用MDAM的多样性。此外，我们提出了一个嵌入Glimpse层在MDAM的基础上的递归性质的建设，它可以通过提供更多的信息嵌入，提高每个政策的质量。在六个不同的路由问题上的广泛实验表明，我们的方法显着优于最先进的基于深度学习的模型。
2020-12-19 cs.AI cs.LG
Multi-Agent Coordination in Autonomous Vehicle Routing: A Simulation-Based Study of Communication, Memory, and Routing Loops
Department of Computer Science（计算机科学系）；The College of Wooster（沃斯特学院）
本研究通过引入对象内存管理（OMM）有效解决了多智能体自动驾驶中的路径循环问题，显著降低了平均旅行时间和等待时间，证明了持久共享内存对动态环境中多智能体协调的必要性。
2025-11-20 cs.LG cs.MA cs.RO
SED2AM: Solving Multi-Trip Time-Dependent Vehicle Routing Problem using Deep Reinforcement Learning
University of Calgary（卡尔加里大学）；National Research Council Canada（加拿大国家研究委员会）
本文提出基于深度强化学习的SED2AM模型，通过引入时间局部性归纳偏置和双解码器结构，有效解决了具有最大工作时间约束的多行程时间依赖车辆路径问题，并在真实数据集上超越了现有基线方法。
2025-03-06 cs.AI cs.LG
Distance-aware Attention Reshaping: Enhance Generalization of Neural Solver for Large-scale Vehicle Routing Problems
South China University of Technology（华南理工大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
针对神经求解器从小规模泛化到大规模车辆路径问题时注意力分数分散的问题，本文提出无需额外训练的距离感知注意力重塑方法，利用节点间欧氏距离调整注意力，在大规模CVRPLib数据集上显著超越现有最优方法。
2024-01-13 cs.AI cs.LG
A new Hyper-heuristic based on Adaptive Simulated Annealing and Reinforcement Learning for the Capacitated Electric Vehicle Routing Problem
University of Deusto（德乌斯托大学）；Ikerbasque, Basque Foundation for Science（伊克巴斯克，巴斯克科学基金会）；Universidad de Guadalajara（瓜达拉哈拉大学）
由于货运车辆数量的增加，电动车辆（EV）已经在城市地区被采用以减少环境污染和全球变暖。然而，在最后一英里物流的路线方面仍然存在不足，继续影响社会和经济的可持续性。为此，本文提出了一种超启发式（HH）方法，称为超启发式自适应模拟退火与强化学习（HHASA $_{RL}$）。它是由一个多臂强盗方法和自适应模拟退火（SA）元启发式算法求解的问题称为有容量限制的电动车辆路径问题（CEVRP）。由于充电站的数量和电动汽车的行驶范围有限，电动汽车必须提前要求电池充电时刻，并减少行驶时间和成本。HH实现改进了多个最小最知名的解决方案，并获得了最佳的平均值为IEEE WCCI 2020竞争的拟议基准的一些高维实例。
2022-06-07 cs.AI cs.LG
Fast Approximate Solutions using Reinforcement Learning for Dynamic Capacitated Vehicle Routing with Time Windows
TCS Research（塔塔咨询服务研究院）
本文开发了一种内在的并行化，快速，近似学习为基础的解决方案，通用类的能力限制车辆路径问题的时间窗口和动态路由（CVRP-TWDR）。考虑到车队中的车辆作为分散的代理，我们假设使用基于强化学习（RL）的适应是在动态环境中实时路线形成的关键使能因素。该方法允许每个代理（车辆）独立评估服务每个客户的价值，并使用集中式分配启发式算法，根据生成的值最终确定分配。我们表明，通过这种方法产生的解决方案是显着快于精确的配方和国家的最先进的元算法，而合理地接近最佳的解决方案的质量。我们描述的实验在静态的情况下（当所有的客户需求和时间窗口是已知的提前），以及动态的情况下（客户可以弹出在执行过程中的任何时间）。在大型分布外测试数据上使用单个训练模型的结果证明了所提出方法的可扩展性和灵活性。
2021-04-14 cs.AI cs.LG
Deep Reinforcement Learning for Solving the Fleet Size and Mix Vehicle Routing Problem
Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University（航空与航空工程系，香港理工大学）
本文提出基于深度强化学习的解决方案，用于高效解决车队规模和混合车辆路径问题，展示了在大规模和时间受限场景下的计算效率和可扩展性优势。
2025-12-30 cs.AI cs.LG math.OC
Combining Constructive and Perturbative Deep Learning Algorithms for the Capacitated Vehicle Routing Problem
School of Engineering and Sciences, Tecnologico de Monterrey（蒙特雷理工学院工程与科学学院）
有能力约束的车辆路径问题是一个著名的NP-难问题，提出了一个挑战，找到最佳路线的车辆交付产品到多个地点。最近，出现了新的努力来创建建设性的和微扰的算法，以使用深度学习来解决这个问题。在本文中，我们加入这些努力来开发组合式深度构造器和扰动器，它结合了两个强大的基于深度学习的构造性和扰动性算法，其核心是使用注意力机制。此外，我们提出了一个内存有效的算法，减少其内存复杂性的一个因素的节点数，改进了注意力模型动态的能力限制车辆路径问题。我们的方法显示出可喜的成果。与其他多种深度学习方法相比，它在常见数据集上显示了成本的改善。它还获得了接近最先进的运筹学领域的结果。此外，所提出的内存高效算法的注意力模型，动态模型，使其使用的问题实例超过100个节点。
2022-11-25 cs.DS cs.LG math.OC
Reinforcement Learning for Solving Stochastic Vehicle Routing Problem
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出一种端到端强化学习框架，全面处理随机车辆路径问题中的随机性，相比最先进元启发式算法降低旅行成本3.43%，并展现出跨设置的鲁棒性。
2023-11-13 cs.AI cs.CE cs.LG
