A Deep Reinforcement Learning Algorithm Using Dynamic Attention Model for Vehicle Routing Problems
Department of Computer Science, Sun Yat-sen University（中山大学计算机科学系）；Sun Yat-sen University（中山大学）
最近的研究表明，机器学习有可能学习到比人类设计的算法更好的算法来解决组合优化问题。深度神经网络用于表征输入实例以增量地构造可行解。最近，一个注意力模型被提出来解决路由问题。在此模型中，实例的状态由随时间固定的节点特征表示。然而，实际情况是，模型在不同的构造步骤所做的决策会改变实例的状态，节点特征也会相应地更新。因此，本文提出了一种具有动态编码器-解码器结构的动态注意力模型，使模型能够在不同的构造步骤中动态地探索节点特征，有效地挖掘隐藏的结构信息。本文研究了一个具有挑战性的NP-难问题--车辆路径问题。实验表明，该模型的性能优于以往的方法，也表现出良好的泛化性能。
2020-02-09 cs.AI cs.LG stat.ML
Reinforcement Learning with Combinatorial Actions: An Application to Vehicle Routing
MIT Operations Research Center（麻省理工学院运筹学中心）；Google Research（谷歌研究院）
基于值函数的方法长期以来在强化学习中发挥着重要作用。然而，当动作空间对于枚举来说太大时，找到给定任意复杂度的价值函数的最佳下一动作是不平凡的。我们开发了一个具有组合动作空间的基于值函数的深度强化学习框架，其中动作选择问题被显式地表示为混合整数优化问题。作为一个激励的例子，我们提出了一个应用程序的能力限制的车辆路径问题（CVRP），一个组合优化问题，其中一组位置必须由一个单一的车辆有限的能力。在每一个实例中，我们的行动建模为一个单一的路由建设，并考虑一个确定性的政策，通过一个简单的政策迭代算法进行改进。我们的方法与其他强化学习方法相比具有竞争力，并且在中等大小的标准库实例上与最先进的OR方法的平均差距为1.7%。
2020-10-22 cs.AI cs.LG math.OC
Deep Reinforcement Learning for Electric Vehicle Routing Problem with Time Windows
University of Toronto（多伦多大学）；Western University（韦仕敦大学）；University of Waterloo（滑铁卢大学）
在过去的十年中，电动汽车（EV）在市场上迅速渗透，越来越多的物流和运输公司开始部署EV提供服务。为了模拟商业电动汽车车队的运作，我们利用电动汽车的时间窗口（EVRPTW）的路由问题。在这项研究中，我们提出了一个端到端的深度强化学习框架来解决EVRPTW。特别是，我们开发了一个注意力模型，将指针网络和图形嵌入技术参数化的随机政策解决EVRPTW。然后，使用具有卷展基线的策略梯度来训练模型。我们的数值研究表明，所提出的模型是能够有效地解决EVRPTW实例的大尺寸是不可解决的任何现有的方法。
2021-08-13 cs.AI cs.LG math.OC
Deep Reinforcement Learning Aided Packet-Routing For Aeronautical Ad-Hoc Networks Formed by Passenger Planes
University of Southampton（南安普顿大学）；Bournemouth University（伯恩茅斯大学）；Beihang University（北京航空航天大学）
航空自组织网络拓扑结构的高度动态性，使得航空自组织网络中的数据包路由具有挑战性。在本文中，我们调用深度强化学习在AAN中路由，旨在最大限度地减少端到端（E2 E）延迟。具体地，深度Q网络（DQN）被设想用于捕获最优路由决策与由转发节点观察到的本地地理信息之间的关系。DQN基于历史飞行数据以离线方式进行训练，然后由每架飞机存储，用于在飞行期间辅助其路由决策。为了提高学习效率和建议的DQN路由的在线适应性，我们进一步利用知识，系统的动态，通过使用深值网络（DVN）构思与反馈机制。我们的仿真结果表明，DQN路由和DVN路由实现更低的E2 E延迟比基准协议，和DVN路由执行类似的最优路由，依赖于完美的全局信息。
2021-10-28 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for Picker Routing Problem in Warehousing
School of Information and Physical Sciences, University of Newcastle（纽卡斯尔大学信息与物理科学学院）；University of South Florida（南佛罗里达大学）；Carey Business School, Johns Hopkins University（约翰霍普金斯大学凯里商学院）；International Computer Science Institute, University of California at Berkeley（加州大学伯克利分校国际计算机科学研究所）
针对仓库运营中的订单拣货路径问题，提出基于注意力神经网络与强化学习的求解方法，相比传统启发式算法在速度与准确性上更优，并能降低路径感知复杂度。
2024-02-05 cs.AI cs.LG
A Deep-Reinforcement Learning Approach for Software-Defined Networking Routing Optimization
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；CA Technologies（CA科技公司）
在本文中，我们设计和评估了深度强化学习代理，优化路由。我们的代理自动适应当前的交通状况，并提出量身定制的配置，试图最大限度地减少网络延迟。实验表明，非常有前途的性能。此外，这种方法相对于传统的优化算法提供了重要的操作优势。
2017-09-20 cs.AI cs.NI
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology（佐治亚理工学院）；IBM Watson AI Foundation Group（IBM沃森人工智能基金会组）
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络（NoC）的运行时性能需要一个持续的学习框架。在这项工作中，我们展示了应用强化学习（RL）优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明，该算法可以成功地学习到一个接近最优的解决方案，在不同的环境状态。可复制代码：github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
Reinforcement Learning Framework for Opportunistic Routing in WSNs
GMRIT（GMR理工学院）
机会路由是多跳无线传感器网络的重要组成部分。现有的路由技术不是自适应机会的。在本文中，我们提出了一个自适应的机会路由方案，路由数据包的机会，以确保数据包丢失是避免的。学习和路由相结合的框架，探索最佳路由的可能性。在本文中，我们使用客户模拟器实现了这个强化学习框架。实验结果表明，即使网络结构未知，该方案也能够利用机会优化数据包的路由。
2013-10-31 cs.LG cs.NI
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
A new Hyper-heuristic based on Adaptive Simulated Annealing and Reinforcement Learning for the Capacitated Electric Vehicle Routing Problem
University of Deusto（德乌斯托大学）；Ikerbasque, Basque Foundation for Science（伊克巴斯克，巴斯克科学基金会）；Universidad de Guadalajara（瓜达拉哈拉大学）
由于货运车辆数量的增加，电动车辆（EV）已经在城市地区被采用以减少环境污染和全球变暖。然而，在最后一英里物流的路线方面仍然存在不足，继续影响社会和经济的可持续性。为此，本文提出了一种超启发式（HH）方法，称为超启发式自适应模拟退火与强化学习（HHASA $_{RL}$）。它是由一个多臂强盗方法和自适应模拟退火（SA）元启发式算法求解的问题称为有容量限制的电动车辆路径问题（CEVRP）。由于充电站的数量和电动汽车的行驶范围有限，电动汽车必须提前要求电池充电时刻，并减少行驶时间和成本。HH实现改进了多个最小最知名的解决方案，并获得了最佳的平均值为IEEE WCCI 2020竞争的拟议基准的一些高维实例。
2022-06-07 cs.AI cs.LG
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University（罗格斯大学）；AMD；MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Fast Approximate Solutions using Reinforcement Learning for Dynamic Capacitated Vehicle Routing with Time Windows
TCS Research（塔塔咨询服务研究院）
本文开发了一种内在的并行化，快速，近似学习为基础的解决方案，通用类的能力限制车辆路径问题的时间窗口和动态路由（CVRP-TWDR）。考虑到车队中的车辆作为分散的代理，我们假设使用基于强化学习（RL）的适应是在动态环境中实时路线形成的关键使能因素。该方法允许每个代理（车辆）独立评估服务每个客户的价值，并使用集中式分配启发式算法，根据生成的值最终确定分配。我们表明，通过这种方法产生的解决方案是显着快于精确的配方和国家的最先进的元算法，而合理地接近最佳的解决方案的质量。我们描述的实验在静态的情况下（当所有的客户需求和时间窗口是已知的提前），以及动态的情况下（客户可以弹出在执行过程中的任何时间）。在大型分布外测试数据上使用单个训练模型的结果证明了所提出方法的可扩展性和灵活性。
2021-04-14 cs.AI cs.LG
Value-Decomposed Reinforcement Learning Framework for Taxiway Routing with Hierarchical Conflict-Aware Observations
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（合成视觉基础科学国家重点实验室，四川大学）；College of Computer Science, Sichuan University（计算机学院，四川大学）
本文提出CaTR框架，通过分层交通表示和价值分解策略，解决机场地面操作中的安全与效率平衡问题，实验显示其在不同交通密度下表现优于现有方法。
2026-05-12 cs.AI
Vehicle Routing with Finite Time Horizon using Deep Reinforcement Learning with Improved Network Embedding
本文提出了一种改进的网络嵌入深度强化学习方法，用于解决具有有限时间跨度的车辆路径问题，通过结合局部节点嵌入和全局图表示，提升了客户服务水平和求解效率。
2026-01-21 cs.AI
Decentralized Covert Routing in Heterogeneous Networks Using Reinforcement Learning
U.S. Army Combat Capabilities Development Command (DEVCOM) Army Research Laboratory（美国陆军能力发展司令部（DEVCOM）陆军研究实验室）
本文研究异构网络中的隐蔽路由通信，提出一种基于强化学习的去中心化路由算法，节点仅依靠局部反馈选择下一跳与通信模态，仿真表明其性能接近最优集中式方案。
2024-01-31 cs.LG cs.NI eess.SP
Reinforcement Learning for Solving Stochastic Vehicle Routing Problem
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出一种端到端强化学习框架，全面处理随机车辆路径问题中的随机性，相比最先进元启发式算法降低旅行成本3.43%，并展现出跨设置的鲁棒性。
2023-11-13 cs.AI cs.CE cs.LG
Scalable Deep Reinforcement Learning for Routing and Spectrum Access in Physical Layer
University of Toronto（多伦多大学）
提出了一种新的可扩展强化学习方法，用于无线自组织网络中同时路由和频谱接入。在以前大多数关于网络优化的强化学习的工作中，假设网络拓扑是固定的，并且为每个传输节点训练不同的代理-这限制了可扩展性和可推广性。此外，路由和频谱接入通常被视为单独的任务。此外，优化目标通常是沿着路线的累积度量，例如，跳数或延迟。在本文中，我们考虑了无线网络中的物理层信号与干扰加噪声比（SINR），并进一步表明，瓶颈目标，如沿路由的最小SINR，也可以使用强化学习进行有效优化。具体来说，我们提出了一个可扩展的方法，其中一个单一的代理与每个流，使路由和频谱访问决策，因为它沿着边界节点移动。该代理是根据环境的物理层特性进行训练，使用一种新的奖励计划的基础上的未来瓶颈SINR的蒙特卡罗估计。它通过基于相邻节点的地理位置信息智能地做出联合路由和频谱分配决策来学习避免干扰。
2021-09-15 cs.AI cs.LG cs.MA
SeqRoute: Global Budget-Aware Sequential LLM Routing via Offline Reinforcement Learning
Department of Operations Research and Industrial Engineering（运筹学与工业工程系）
提出SeqRoute框架，将多轮LLM路由建模为有限时域马尔可夫决策过程，通过离线强化学习（CQL）和事后预算重标记（HBR）学习延迟满足，在全局预算约束下优化成本与质量，降低破产率至1%以下。
2026-05-25 cs.AI cs.LG
Routing and Placement of Macros using Deep Reinforcement Learning
在任何半导体领域，芯片放置一直是最耗时的任务之一，由于这种疏忽，许多项目被推迟，实际市场上的芯片供应被推迟。在芯片上放置宏的工程师还需要将其优化放置，以减少功耗，性能和时间等三个重要因素。考虑到这些先前的问题，我们想引入一种使用强化学习的新方法，其中我们训练模型将芯片网表的节点放置到芯片画布上。我们希望构建一个神经架构，它将在各种各样的输入网表中准确地奖励智能体。
2022-05-19 cs.LG
XRoute Environment: A Novel Reinforcement Learning Environment for Routing
Sun Yat-sen University（中山大学）
针对强化学习布线方法难以扩展到商业 EDA 规模的问题，本文提出 XRoute Environment，支持端到端网络选择与布线、分布式实验及多种基准，并给出 PPO、DQN 与 TritonRoute 的网络排序基线。
2023-06-05 cs.AI
An open source Multi-Agent Deep Reinforcement Learning Routing Simulator for satellite networks
Telecommunications Research Institute, University of Malaga（马拉加大学电信研究院）；Aalborg University（奥尔堡大学）
本文针对低地球轨道卫星星座动态系统不确定性问题，提出开源Python模拟器，支持传统路由与Q-Routing、MA-DRL等学习方案，通过事件驱动模拟提升端到端延迟性能，代码文档开源。
2024-11-28 cs.LG cs.NI eess.SP
Routing Recovery for UAV Networks with Deliberate Attacks: A Reinforcement Learning based Approach
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Xidian University（西安电子科技大学）；China Academy of Railway Sciences Corporation Limited（中国铁道科学研究院集团有限公司）
针对无人机网络在蓄意攻击下的路由恢复难题，本文设计基于节点重要性的攻击模型与排序机制，并提出强化学习算法动态恢复路由，仿真验证其优于参照方法。
2023-08-14 cs.AI cs.CR cs.LG
SED2AM: Solving Multi-Trip Time-Dependent Vehicle Routing Problem using Deep Reinforcement Learning
University of Calgary（卡尔加里大学）；National Research Council Canada（加拿大国家研究委员会）
本文提出基于深度强化学习的SED2AM模型，通过引入时间局部性归纳偏置和双解码器结构，有效解决了具有最大工作时间约束的多行程时间依赖车辆路径问题，并在真实数据集上超越了现有基线方法。
2025-03-06 cs.AI cs.LG
Intelligent Routing Algorithm over SDN: Reusable Reinforcement Learning Approach
Western University（西安大略大学）；University of Northern British Columbia（北英属哥伦比亚大学）；Juniper Networks（瞻博网络公司）
针对SDN路由问题，提出了一种可复用的强化学习路由算法RLSR-Routing，通过学习全局网络QoS状态加速多流量需求下的路径计算与收敛，结合Segment Routing降低通信开销，实现了优于传统方法的负载均衡性能。
2024-09-23 cs.LG cs.NI
Deep Reinforcement Learning for Multi-Truck Vehicle Routing Problems with Multi-Leg Demand Routes
针对包含多卡车和多段路径需求的复杂车辆路径问题，本文扩展了编码器-解码器注意力模型以处理此类需求，并在日本Aisin Corporation真实供应链环境中验证了其优于现有最佳方案的性能。
2024-12-18 cs.AI cs.LG
Optimising Stochastic Routing for Taxi Fleets with Model Enhanced Reinforcement Learning
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
移动即服务（Maas）的未来应该包括一个集成的乘车系统，街道叫车和乘车共享，以及优化的智能车辆路线，以响应实时，随机的需求模式。我们的目标是优化一个大型车队的街道叫车服务的路由策略，在中小型道路网络的随机需求模式。提出了一种基于模型的调度算法、一种高性能的无模型强化学习算法以及一种结合自顶向下方法和无模型强化学习的新型混合算法来对\emph{vacant}车辆进行路径规划。我们设计了基于强化学习的路由算法，使用邻近策略优化并结合内在和外在奖励，以在探索和利用之间取得平衡。利用大规模的基于Agent的微观仿真平台对所提算法进行了评估，结果表明，无模型强化学习无模型强化学习和混合算法在人工道路网络和具有经验需求的新加坡社区道路网络上均表现出优异的性能，并且混合算法能够显著加快无模型学习器的学习速度.
2020-10-22 cs.LG nlin.AO physics.soc-ph
Deep Reinforcement Learning for Solving the Fleet Size and Mix Vehicle Routing Problem
Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University（航空与航空工程系，香港理工大学）
本文提出基于深度强化学习的解决方案，用于高效解决车队规模和混合车辆路径问题，展示了在大规模和时间受限场景下的计算效率和可扩展性优势。
2025-12-30 cs.AI cs.LG math.OC
Reinforcing Reachable Routes
本文从可达性路由的角度研究路由算法的评价问题，其目标是确定发送者和接收者之间的所有路径。可达性路由正变得与互联网的动态变化和低带宽无线/ad-hoc网络的出现相关。我们的情况下，强化学习作为选择的框架，以实现可达性路由，在当前的互联网基础设施的范围内。强化学习问题的设置提供了几个优点，包括环路解析、多路径转发能力、成本敏感路由和最小化状态开销，同时保持当前骨干路由算法的增量精神。我们确定的强化学习应用于可达性路由问题，以实现流体和强大的骨干路由框架的研究问题。该文件是针对寻求实现可达性路由算法的从业者。
2002-07-21 cs.AI cs.NI
Learning Decentralized Routing Policies via Graph Attention-based Multi-Agent Reinforcement Learning in Lunar Delay-Tolerant Networks
Telecommunications Research Institute, University of Málaga（马德里大学电信研究所）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Department of Mechanical Engineering, Johns Hopkins University（约翰霍普金斯大学机械工程系）
针对月球延迟容忍网络中的多机器人探索，提出基于图注意力多智能体强化学习的分散式路由策略，采用集中训练分散执行，仅依赖局部观测，在蒙特卡洛模拟中实现更高投递率、无重复和更少丢包，并可扩展至更大团队。
2025-10-23 cs.LG stat.ML
AlphaRouter: Quantum Circuit Routing with Reinforcement Learning and Tree Search
AWS Quantum Technologies（AWS量子技术部门）；Amazon Web Services（亚马逊网络服务）
针对量子电路路由这一NP难问题，提出结合蒙特卡洛树搜索与强化学习的AlphaRouter方法，相比现有最优方法最多降低20%路由开销，提升量子计算效率与可行性。
2024-10-07 cs.AI cs.SY eess.SY
Using Reinforcement Learning for the Three-Dimensional Loading Capacitated Vehicle Routing Problem
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）
本文首次提出用强化学习以近似线性时间求解三维装载容量约束车辆路径问题，解决了传统运筹学方法随规模非线性扩展的瓶颈，实验表明其性能与最先进方法的平均差距仅为3.83%至8.10%，为大规模物流优化开辟了新方向。
2024-06-11 cs.LG math.OC
Not All Tasks Are Equally Difficult: Multi-Task Deep Reinforcement Learning with Dynamic Depth Routing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；AiRiA；Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI Lab）
本文提出动态深度路由框架D2R，通过让多任务强化学习智能体按任务难度灵活跳过中间模块，并结合ResRouting与自动路由平衡机制，在Meta-World机器人操作任务上以更高学习效率取得最先进性能。
2024-01-25 cs.AI
Physics-informed offline reinforcement learning eliminates catastrophic fuel waste in maritime routing
MIT Sea Grant College Program（麻省理工学院海事研究生院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出PIER框架，通过物理校准的环境学习高效安全的航线策略，减少燃油消耗和碳排放，消除灾难性燃油浪费，适用于多种导航场景。
2026-03-18 cs.AI cs.LG cs.RO
On Joint Learning for Solving Placement and Routing in Chip Design
Shanghai Jiao Tong University（上海交通大学）
机器学习由于其在GPU加速方面的优势以及对人类专家的依赖性较小，已经成为解决布局和布线问题的新兴工具，这是现代芯片设计流程中的两个关键步骤。目前仍处于早期阶段，有一些基本问题：可扩展性，奖励设计，和端到端的学习范式等。为了实现端到端的放置学习，我们首先提出了一种联合学习方法DeepPlace称为宏和标准单元的放置，通过集成强化学习与基于梯度的优化方案。为了进一步将布局与后续的布线任务联系起来，我们还开发了一种通过强化学习来实现宏布局和布线的联合学习方法，称为DeepPR。在我们的（强化）学习范例中的一个关键设计涉及多视图嵌入模型，以编码输入宏的全局图级和局部节点级信息。此外，随机网络蒸馏的设计，以鼓励探索。在公共芯片设计基准上的实验表明，该方法可以有效地从经验中学习，并在几个小时的训练时间内为后标准单元布局提供中间布局。
2021-12-26 cs.AI cs.LG
Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for MANETs
EpiSys Science, Inc.（EpiSys科学公司）；Boeing Research and Technology（波音研究与技术公司）
高度动态的移动ad-hoc网络（MANNETWORK）继续作为最具挑战性的环境之一，开发和部署强大的，高效的，可扩展的路由协议。在本文中，我们提出了DeepCQ+路由，它以一种新颖的方式，将新兴的多代理深度强化学习（MADRL）技术集成到现有的基于Q学习的路由协议及其变体中，并在仅在有限范围的网络参数和条件下进行训练的同时，在广泛的MANET配置中实现持续的更高性能。与基于Q-learning的同类产品相比，DeepCQ+始终显示出更高的端到端吞吐量和更低的开销，其效率总体提高了10-15%。更重要的是，DeepCQ+在许多场景下保持了非常相似的性能增益，而这些场景在网络规模、移动性条件和流量动态方面都没有经过训练。据我们所知，这是第一次成功的示范MADRL的MANET路由问题，实现并保持高度的可扩展性和鲁棒性，即使在环境中的训练范围之外的情况。这意味着所提出的结合MADRL和Q学习的DeepCQ+混合设计方法显着提高了其实用性和可解释性，因为现实世界的MANET环境可能会在MANET场景的训练范围之外变化。
2021-03-29 cs.AI cs.LG cs.MA
Relational Deep Reinforcement Learning for Routing in Wireless Networks
Wesleyan University（卫斯理大学）；University of Connecticut（康涅狄格大学）；Fordham University（福特汉姆大学）
虽然已经广泛地研究了无线网络中的路由，但是现有的协议通常是针对特定的网络条件集而设计的，因此不能适应这些条件中的任何急剧变化。例如，为连接的网络设计的协议不能容易地应用于断开的网络。在本文中，我们开发了一种基于深度强化学习的分布式路由策略，该策略可推广到不同的流量模式、拥塞水平、网络连接和链路动态。我们在设计中进行了以下关键创新：（i）使用关系特征作为近似决策空间的深度神经网络的输入，这使得我们的算法能够推广到不同的网络条件，（ii）使用以分组为中心的决策，通过将分组而不是无线设备视为强化学习代理，将路由问题转换为情景任务，这提供了一种在学习期间准确地传播和建模奖励的自然方式，以及（iii）使用延长时间动作来对分组在队列中等待所花费的时间建模，这减少了所需的训练数据量并允许学习算法更快地收敛。我们评估我们的路由算法使用数据包级模拟器，并表明我们的算法在训练过程中学习的政策是能够推广到更大，更拥挤的网络，不同的拓扑结构，和不同的链路动态。我们的算法优于最短路径和背压路由的数据包交付和延迟每包。
2020-12-31 cs.AI cs.NI
Toward Packet Routing with Fully-distributed Multi-agent Deep Reinforcement Learning
Fudan University（复旦大学）；East China University of Science and Technology（华东理工大学）；Hubei Normal University（湖北师范大学）
分组路由是计算机网络中的基本问题之一，其中路由器确定队列中每个分组的下一跳以使其尽可能快地到达目的地。强化学习（Reinforcement learning，RL）被引入到利用随机分组到达和服务的本地信息来设计自治分组路由策略中。然而，RL的维数灾难禁止更全面的动态网络状态的表示，从而限制了其潜在的好处。在本文中，我们提出了一种新的基于\emph{multi-agent}深度强化学习（DRL）的数据包路由框架，其中每个路由器都拥有一个\emph{independent} LSTM递归神经网络，用于在\emph{fully distributed}环境中进行训练和决策。LSTM递归神经网络从关于积压数据包和过去操作的丰富信息中提取路由特征，并有效地逼近Q学习的价值函数。我们还允许每个路由定期与直接邻居进行通信，以便更广泛地了解网络状态。实验结果表明，我们的多代理DRL政策可以罢工之间的微妙平衡，感知和最短的路由，并显着减少数据包的交付时间在一般的网络拓扑结构相比，它的同行。
2019-11-14 cs.AI cs.NI
Routing algorithms as tools for integrating social distancing with emergency evacuation
Stanford University（斯坦福大学）；Woods Institute for the Environment, Stanford University（斯坦福大学伍兹环境研究所）；Institute for Computational and Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Department of Biology, Stanford University（斯坦福大学生物系）；Department of Earth System Science, Stanford University（斯坦福大学地球系统科学系）
COVID-19疫情的其中一个教训是保持社交距离的重要性，即使在飓风前疏散等具有挑战性的情况下也是如此。为了探索将社交距离与疏散操作相结合的影响，我们将此疏散过程描述为容量限制车辆路径问题（CVRP），并使用基于DNN（深度神经网络）的解决方案（深度强化学习）和非DNN解决方案（扫描算法）解决该问题。一个核心问题是，深度强化学习是否提供了足够的额外路由效率，以适应在时间受限的疏散操作中增加的社交距离。我们发现，与扫描算法相比，深度强化学习可以为决策者提供更有效的路由。然而，深度强化学习节省的疏散时间并不能弥补社交距离所需的额外时间，随着应急车辆容量接近每户人数，其优势也就消失了。
2021-10-13 cs.AI cs.CY cs.HC
Multi-Agent Deep Reinforcement Learning for Cost- and Delay-Sensitive Virtual Network Function Placement and Routing
Beijing University of Posts and Telecommunications（北京邮电大学）；SUTD（新加坡科技设计大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））；NTU（南洋理工大学）
提出了一种基于多智能体深度强化学习（MADRL）的联合虚拟网络功能（VNF）布局和路由（P&R）方法，该方法可以同时提供多个具有差异化需求的服务请求。服务请求的不同要求反映在对延迟和成本敏感的因素上。我们首先构造一个VNF P&R问题，以联合最小化服务延迟和资源消耗成本的加权和，这是NP完全的。然后，联合VNF P&R问题被解耦为两个迭代子任务：布局子任务和路由子任务。每个子任务由多个并发并行顺序决策过程组成。通过引入深度确定性策略梯度方法和多智能体技术，设计了一个MADRL-P&R框架来完成这两个子任务。新的联合奖励和内部奖励机制，提出了匹配的布局和路由子任务的目标和约束。我们还提出了基于参数迁移的模型再训练方法来处理不断变化的网络拓扑结构。通过实验验证，建议MADRL-P&R框架是优于其替代品的服务成本和延迟，并提供了更高的灵活性，个性化的服务需求。基于参数迁移的模型再训练方法在网络拓扑结构变化不大的情况下能有效地加速收敛。
2022-06-24 cs.AI cs.LG cs.NI
DeepCQ+: Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for Highly Dynamic Networks
EpiSys Science, Inc.（EpiSys科学公司）；Boeing Research and Technology（波音研究与技术）
高度动态的移动ad-hoc网络（MANNETWORK）仍然是最具挑战性的环境之一，以开发和部署强大的，高效的，可扩展的路由协议。在本文中，我们提出了DeepCQ+路由协议，该协议以一种新颖的方式将新兴的多代理深度强化学习（MADRL）技术集成到现有的基于Q学习的路由协议及其变体中，并在广泛的拓扑和移动性配置中实现了持续的更高性能。在保持基于Q学习的路由协议的整体协议结构的同时，DeepCQ+用精心设计的MADRL代理替换了静态配置的参数化阈值和手写规则，这样就不需要先验地配置这些参数。广泛的模拟表明，与基于Q学习的同行相比，DeepCQ+的端到端吞吐量显着增加，开销更低，端到端延迟（跳数）没有明显下降。在质量上，也许更重要的是，DeepCQ+在许多场景下保持了非常相似的性能增益，而这些场景在网络规模、移动性条件和流量动态方面都没有经过训练。据我们所知，这是第一次成功的应用程序的MADRL框架的MANET路由问题，表现出高度的可扩展性和鲁棒性，即使在环境下的训练范围之外的情况下。这意味着我们基于MARL的DeepCQ+设计解决方案显着提高了基于Q学习的CQ+基线方法的性能，并提高了其实用性和可解释性，因为真实的MANET环境可能会在MANET场景的训练范围之外变化。讨论了进一步提高性能和可伸缩性的其他技术。
2021-11-29 cs.AI cs.LG cs.NI
Traffic Management of Autonomous Vehicles using Policy Based Deep Reinforcement Learning and Intelligent Routing
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；Carleton University（卡尔顿大学）
深度强化学习（DRL）使用多样化的非结构化数据，使RL能够在高维环境中学习复杂的策略。基于自主车辆的智能交通系统（ITS）为基于策略的日间行车提供了一个很好的平台。深度学习架构解决了传统算法的计算挑战，同时有助于AV的实际采用和部署。自动驾驶汽车实施的主要挑战之一是，如果不可靠和有效地管理，它可能会加剧道路上的交通拥堵。考虑每辆车的整体影响，使用高效可靠的技术，可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能交通控制系统，处理复杂的交通拥堵的情况下，在交叉口和交叉口后面。提出了一种基于日间行车灯的信号控制系统，该系统能够根据交叉口当前的拥堵状况动态调整交通信号。针对交叉口后道路的拥堵问题，采用重路由技术对路网中的车辆进行负载均衡。为了实现所提出的方法的实际好处，我们打破了数据孤岛，并结合使用来自传感器、探测器、车辆和道路的所有数据，以实现可持续的结果。我们使用SUMO微模拟器进行模拟。我们所提出的方法的意义体现在结果。
2022-06-28 cs.AI cs.LG
Hybridising Reinforcement Learning and Heuristics for Hierarchical Directed Arc Routing Problems
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Lancaster University（兰卡斯特大学）
本文针对分层有向容量约束弧路由问题（HDCARP）提出混合强化学习与启发式算法HRDA，利用强化学习动态引导局部搜索算子选择，在保持解质量的同时显著提升求解速度。
2025-01-01 cs.LG
Reinforcement Learning for Opportunistic Routing in Software-Defined LEO-Terrestrial Systems
School of Electrical and Mechanical Engineering, University of Adelaide（阿德莱德大学电气与机械工程学院）；Singapore University of Technology and Design（新加坡科技设计大学）；Electronics and Telecommunications Research Institute（电子电信研究院）
本文提出了一种基于软件定义网络的强化学习方法，用于优化低地球轨道-地面系统的机智路由，以减少传输延迟并提高数据传输的可靠性。
2026-01-20 cs.LG cs.NI
A Reinforcement Learning-Based Telematic Routing Protocol for the Internet of Underwater Things
University of Extremadura（埃斯特拉曼杜拉大学）；University of Verona（威尼斯大学）
本文提出了一种基于强化学习的水下物联网远程路由协议RL-RPL-UA，通过动态目标函数优化网络性能，实验显示其在数据包交付率、能耗和网络寿命方面均优于传统方法。
2025-11-21 cs.AI cs.LG cs.NI
DeepMPR: Enhancing Opportunistic Routing in Wireless Networks through Multi-Agent Deep Reinforcement Learning
Episys Science Inc（Episys科学公司）；The Boeing Company（波音公司）
针对传统MPR选择算法依赖节点协调、计算量大且难适配网络不确定性的问题，提出基于多智能体深度强化学习的DeepMPR组播路由技术，无需邻居MPR通告即可实现优于OLSR MPR等方案的性能。
2023-06-16 cs.AI cs.NI
Hybrid Quantum Reinforcement Learning with QAOA for Improved Vehicle Routing Optimization
Chaitanya Bharathi Institute of Technology（恰伊坦尼亚·巴拉提技术学院）
本文提出一种结合QAOA的混合量子强化学习框架，用于解决车辆路径优化问题，展示更快收敛速度和更优解决方案。
2026-05-02 cs.LG
Multi-Agent Reinforcement Learning for Network Routing in Integrated Access Backhaul Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文首次针对集成接入回传网络提出基于多智能体强化学习的关系优势演员-评论家算法，在分布式约束下实现接近集中式性能的联合路由优化，提升网络效率并抑制自私行为。
2023-05-12 cs.AI cs.NI
A New Segment Routing method with Swap Node Selection Strategy Based on Deep Reinforcement Learning for Software Defined Network
School of Optoelectronic Engineering, Guilin University of Electronic Technology（桂林电子科技大学光电工程学院）；Guangxi Engineering Technology Research Center of Cloud Security and Cloud Service, Guilin University of Electronic Technology（桂林电子科技大学广西云安全与云服务工程技术研究中心）
针对现有段路由方法需重分段、未考虑流表下发时间的问题，提出同时优化路由与分段策略的模型及基于深度强化学习的DRL-SR算法，可降低建路时间并优化QoS指标。
2025-03-21 cs.AI
Multi-Agent Deep Reinforcement Learning for Distributed Satellite Routing
Telecommunications Research Institute, University of Malaga（马拉加大学电信研究所）
针对低轨卫星星座的分布式路由问题，本文提出两阶段 MA-DRL 框架，通过离线全局 DNN 学习最优路径并在星载本地 DNN 上在线部署，实现对网络与流量变化的快速适应。
2024-02-27 cs.IT cs.LG math.IT
Simulation-Driven Reinforcement Learning in Queuing Network Routing Optimization
Department of Computing, Imperial College London, UK（计算系，帝国理工学院伦敦分校）
提出结合Dyna规划与独立状态、奖励预测模型的Dyna-DDPG仿真强化学习框架，提升排队网络路由在中断环境下的鲁棒性、样本效率与可扩展性。
2025-07-24 cs.AI
CARL-DTN: Context Adaptive Reinforcement Learning based Routing Algorithm in Delay Tolerant Network
Wolkite University（沃尔凯特大学）；Wollo University（沃洛大学）
延迟/中断容忍网络（DTN）一词的发明是为了描述和涵盖所有类型的长延迟，断开，间歇连接的网络，其中可能会遇到移动性和中断或预定的联系。这种环境的特征在于频繁的网络划分、间歇的连接、大的或可变的延迟、不对称的数据率和低的传输可靠性。在DTN中已经开发了路由协议。然而，这些路由算法是基于特定假设设计的。该假设使得现有算法适合于特定的环境场景。不同的路由算法使用不同的中继节点选择标准来选择复制节点。过于频繁地转发消息会导致过多的数据包丢失以及较大的缓冲区和网络开销。另一方面，较不频繁的传输导致较低的传输比。在DTN中，存在传递率和开销之间的权衡。在这项研究中，我们提出了上下文自适应强化学习为基础的路由（CARL-DTN）协议，以确定最佳副本的消息的实时密度的基础上。我们的路由协议联合使用实时物理上下文，社会关系强度，和实时消息上下文，使用模糊逻辑在路由决策。多跳转发概率也被认为是中继节点的选择，采用Q-学习算法，以估计节点之间的相遇概率，并通过折扣奖励学习在邻居中可用的节点。所提出的协议的性能进行评估的基础上，各种模拟场景。实验结果表明，该协议在消息投递率和开销方面具有较好的性能。
2021-05-02 cs.AI cs.NI
Short Quantum Circuits in Reinforcement Learning Policies for the Vehicle Routing Problem
QC Ware Corp.（QC韦尔公司）；AISIN CORPORATION（爱信公司）；Aisin Technical Center of America（美国爱信技术中心）
量子计算和机器学习具有共生的潜力。然而，除了当前设备的硬件限制之外，在量子线路能够有效地与当前的机器学习任务结合之前，仍然存在必须解决的基本问题。我们报告了一种新的策略，这种整合的背景下，用于强化学习的注意力模型。实现注意力机制的代理已成功地应用于某些情况下的组合路由问题，首先编码节点上的图，然后依次解码节点，直到选择的路线。我们证明了简单的量子线路可以用来代替经典的注意头层，同时保持性能。我们的方法修改了[1]中使用的网络，将每个节点的密钥和查询向量替换为在测量之前纠缠的量子态。由此产生的混合经典量子代理的车辆路径问题的情况下，其性能是有竞争力的，与原来的经典方法进行了测试。我们认为我们的模型是一个可以扩大规模的原型，也是进一步研究量子计算在强化学习中作用的途径。
2021-09-15 cs.LG quant-ph
Which Channel to Ask My Question? Personalized Customer Service Request Stream Routing using Deep Reinforcement Learning
School of Software, Shandong University, Jinan 250101, Shandong, China（中国山东省济南市山东大学软件学院，邮编250101）；RMIT University, GPO Box 2476, Melbourne VIC 3001 Australia（澳大利亚维多利亚州墨尔本皇家墨尔本理工大学，GPO Box 2476，邮编3001）；Alibaba Group, 969 West Wen Yi Road, Hangzhou 311121, Zhejiang, China（中国浙江省杭州市阿里巴巴集团，文一西路969号，邮编311121）；School of Computer Science and Engineering, Nanyang Technological University, 50 Nanyang Avenue, Singapore, 639798（新加坡南洋理工大学计算机科学与工程学院，南洋大道50号，邮编639798）
客户服务对所有公司都至关重要，因为它们可能直接关系到品牌声誉。由于客户数量庞大，电子商务公司通常采用多种沟通渠道来回答客户的问题，例如聊天机器人和热线。一方面，每个渠道响应客户需求的能力有限，另一方面，客户对这些渠道的偏好也各不相同。现有的生产系统主要是基于业务规则建立的，只考虑资源和客户满意度之间的权衡。为了实现资源和客户满意度之间的最佳权衡，我们提出了一个新的框架，基于深度强化学习，它直接考虑资源和用户模型。除了该框架之外，我们还提出了一种新的基于深度强化学习的路由方法-双重决斗深度Q学习与优先经验重放（PER-DoDDQN）。我们使用来自一家大型金融科技公司的合成和真实客户服务日志数据来评估我们提出的框架和方法。我们表明，我们提出的基于深度强化学习的框架优于现有的生产系统。此外，我们还证明了我们提出的PER-DoDDQN在实践中优于所有其他深度Q学习变体，这提供了更优化的路由计划。这些观察结果表明，我们提出的方法可以寻求折衷的渠道资源和客户的满意度是最佳的。
2019-11-24 cs.AI cs.LG eess.SP
Dynamic Routing for Integrated Satellite-Terrestrial Networks: A Constrained Multi-Agent Reinforcement Learning Approach
针对星地一体化网络中复杂动态路由及服务质量约束问题，提出基于 Lagrange max-min 建模的约束多智能体强化学习算法 CMADR，并在 OneWeb、Telesat 星座中验证其显著降低时延。
2023-12-23 cs.AI cs.LG cs.NI
