Reinforcement Learning Framework for Opportunistic Routing in WSNs
GMRIT(GMR理工学院)
机会路由是多跳无线传感器网络的重要组成部分。现有的路由技术不是自适应机会的。在本文中,我们提出了一个自适应的机会路由方案,路由数据包的机会,以确保数据包丢失是避免的。学习和路由相结合的框架,探索最佳路由的可能性。在本文中,我们使用客户模拟器实现了这个强化学习框架。实验结果表明,即使网络结构未知,该方案也能够利用机会优化数据包的路由。
2013-10-31 cs.LG cs.NI
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工业大学);Hiroshima City University(广岛市立大学)
深度Q学习方法是最常用的深度强化学习算法之一,其使用深度神经网络来近似动作-价值函数的估计。深度Q网络(DQN)的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能,深度强化学习使用双DQN全局路由。实验结果表明,与一阶Adam和RMSprop方法训练的DQN相比,该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Dynamic Routing for Integrated Satellite-Terrestrial Networks: A Constrained Multi-Agent Reinforcement Learning Approach
针对星地一体化网络中复杂动态路由及服务质量约束问题,提出基于 Lagrange max-min 建模的约束多智能体强化学习算法 CMADR,并在 OneWeb、Telesat 星座中验证其显著降低时延。
2023-12-23 cs.AI cs.LG cs.NI
A Deep Reinforcement Learning Approach for Global Routing
Carnegie Mellon University(卡内基梅隆大学)
全局布线在电子电路设计中一直是历史上具有挑战性的问题,其中挑战是在不违反印刷电路板或集成电路的设计规则的情况下用导线连接大量且任意数量的电路组件。类似的布线问题也存在于复杂的水力系统、管道系统和物流网络的设计中。现有的解决方案通常包括贪心算法和硬编码的算法。因此,现有的方法缺乏模型灵活性和非最佳解决方案。作为一种替代方法,这项工作提出了一种深度强化学习方法,用于在模拟环境中解决全局布线问题。所提出的方法的核心是深度强化学习,它使智能体能够基于利用深度强化学习的联合优化机制提出的各种问题来产生路由的最佳策略。详细解释和论证了联合优化机制,探索了最佳网络结构和学习模型的参数。在此基础上,给出了优化模型的路由方案和路由奖励。结果表明,该方法可以优于顺序A* 方法的基准方法,这表明深度强化学习对于全局布线和其他布线或路径规划问题具有很大的潜力。这项工作的另一个主要贡献是开发了一个全局布线问题集生成器,能够生成具有不同大小和约束的参数化全局布线问题集,从而能够评估不同的布线算法并生成用于未来数据驱动布线方法的训练数据集。
2019-06-20 cs.AI cs.LG stat.ML
Decentralized Covert Routing in Heterogeneous Networks Using Reinforcement Learning
U.S. Army Combat Capabilities Development Command (DEVCOM) Army Research Laboratory(美国陆军能力发展司令部(DEVCOM)陆军研究实验室)
本文研究异构网络中的隐蔽路由通信,提出一种基于强化学习的去中心化路由算法,节点仅依靠局部反馈选择下一跳与通信模态,仿真表明其性能接近最优集中式方案。
2024-01-31 cs.LG cs.NI eess.SP
Demand Acceptance using Reinforcement Learning for Dynamic Vehicle Routing Problem with Emission Quota
本文提出了一种结合动态需求接受和路径规划的新型车辆路径问题,通过两层优化框架实现前瞻性需求拒绝和新路径生成,结合强化学习与组合优化技术进行研究。
2026-02-27 cs.AI cs.LG
Deep Reinforcement Learning Aided Packet-Routing For Aeronautical Ad-Hoc Networks Formed by Passenger Planes
University of Southampton(南安普顿大学);Bournemouth University(伯恩茅斯大学);Beihang University(北京航空航天大学)
航空自组织网络拓扑结构的高度动态性,使得航空自组织网络中的数据包路由具有挑战性。在本文中,我们调用深度强化学习在AAN中路由,旨在最大限度地减少端到端(E2 E)延迟。具体地,深度Q网络(DQN)被设想用于捕获最优路由决策与由转发节点观察到的本地地理信息之间的关系。DQN基于历史飞行数据以离线方式进行训练,然后由每架飞机存储,用于在飞行期间辅助其路由决策。为了提高学习效率和建议的DQN路由的在线适应性,我们进一步利用知识,系统的动态,通过使用深值网络(DVN)构思与反馈机制。我们的仿真结果表明,DQN路由和DVN路由实现更低的E2 E延迟比基准协议,和DVN路由执行类似的最优路由,依赖于完美的全局信息。
2021-10-28 cs.AI cs.LG cs.NI
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology(佐治亚理工学院);IBM Watson AI Foundation Group(IBM沃森人工智能基金会组)
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络(NoC)的运行时性能需要一个持续的学习框架。在这项工作中,我们展示了应用强化学习(RL)优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明,该算法可以成功地学习到一个接近最优的解决方案,在不同的环境状态。可复制代码:github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
Department of Computing, Imperial College London, UK(计算系,伦敦帝国学院)
针对传统强化学习路由依赖马尔可夫假设、未建模网络空间结构的问题,提出时空强化学习STRL框架,在非马尔可夫流量下训练与推理性能均显著优于基线。
2025-07-31 cs.AI cs.LG
Routing and Placement of Macros using Deep Reinforcement Learning
在任何半导体领域,芯片放置一直是最耗时的任务之一,由于这种疏忽,许多项目被推迟,实际市场上的芯片供应被推迟。在芯片上放置宏的工程师还需要将其优化放置,以减少功耗,性能和时间等三个重要因素。考虑到这些先前的问题,我们想引入一种使用强化学习的新方法,其中我们训练模型将芯片网表的节点放置到芯片画布上。我们希望构建一个神经架构,它将在各种各样的输入网表中准确地奖励智能体。
2022-05-19 cs.LG
Intelligent Routing Algorithm over SDN: Reusable Reinforcement Learning Approach
Western University(西安大略大学);University of Northern British Columbia(北英属哥伦比亚大学);Juniper Networks(瞻博网络公司)
针对SDN路由问题,提出了一种可复用的强化学习路由算法RLSR-Routing,通过学习全局网络QoS状态加速多流量需求下的路径计算与收敛,结合Segment Routing降低通信开销,实现了优于传统方法的负载均衡性能。
2024-09-23 cs.LG cs.NI
Optimising Stochastic Routing for Taxi Fleets with Model Enhanced Reinforcement Learning
Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
移动即服务(Maas)的未来应该包括一个集成的乘车系统,街道叫车和乘车共享,以及优化的智能车辆路线,以响应实时,随机的需求模式。我们的目标是优化一个大型车队的街道叫车服务的路由策略,在中小型道路网络的随机需求模式。提出了一种基于模型的调度算法、一种高性能的无模型强化学习算法以及一种结合自顶向下方法和无模型强化学习的新型混合算法来对\emph{vacant}车辆进行路径规划。我们设计了基于强化学习的路由算法,使用邻近策略优化并结合内在和外在奖励,以在探索和利用之间取得平衡。利用大规模的基于Agent的微观仿真平台对所提算法进行了评估,结果表明,无模型强化学习无模型强化学习和混合算法在人工道路网络和具有经验需求的新加坡社区道路网络上均表现出优异的性能,并且混合算法能够显著加快无模型学习器的学习速度.
2020-10-22 cs.LG nlin.AO physics.soc-ph
Using Reinforcement Learning for the Three-Dimensional Loading Capacitated Vehicle Routing Problem
University of Cambridge(剑桥大学);ETH Zurich(苏黎世联邦理工学院)
本文首次提出用强化学习以近似线性时间求解三维装载容量约束车辆路径问题,解决了传统运筹学方法随规模非线性扩展的瓶颈,实验表明其性能与最先进方法的平均差距仅为3.83%至8.10%,为大规模物流优化开辟了新方向。
2024-06-11 cs.LG math.OC
Deep Reinforcement Learning for Picker Routing Problem in Warehousing
School of Information and Physical Sciences, University of Newcastle(纽卡斯尔大学信息与物理科学学院);University of South Florida(南佛罗里达大学);Carey Business School, Johns Hopkins University(约翰霍普金斯大学凯里商学院);International Computer Science Institute, University of California at Berkeley(加州大学伯克利分校国际计算机科学研究所)
针对仓库运营中的订单拣货路径问题,提出基于注意力神经网络与强化学习的求解方法,相比传统启发式算法在速度与准确性上更优,并能降低路径感知复杂度。
2024-02-05 cs.AI cs.LG
Attention Routing: track-assignment detailed routing using attention-based reinforcement learning
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子系统)
在集成电路的物理设计中,全局布线和详细布线是涉及在满足设计约束的同时确定电路上每个网络的互连路径的关键阶段。现有的实际路由器以及可路由性预测要么诉诸昂贵的方法,导致高的计算时间,或使用不泛化的算法。即使新的,基于学习的布线方法已被提出来解决这一需求,在解决复杂的设计规则约束的标记数据和困难的要求,限制了他们在先进的技术节点物理设计问题的采用。在这项工作中,我们提出了一个新的路由器:注意路由器,这是第一次尝试使用强化学习来解决轨迹分配详细路由问题。复杂的设计规则约束编码到布线算法和注意力模型为基础的REINFORCE算法被应用到解决布线中最关键的步骤:排序设备对被路由。注意路由器及其基线遗传路由器被应用于解决不同的商业先进技术模拟电路问题集。注意路由器展示了对未知问题的泛化能力,并且能够在不显著影响路由解决方案质量的情况下实现超过遗传路由器100倍的加速。我们还发现了一个相似的注意路由器和基线遗传路由器的成本和路由模式,这表明注意路由器的能力,不仅被利用作为一个详细的路由器,但也作为一个预测可路由性和拥塞的正相关性。
2020-05-22 cs.AI cs.LG stat.ML
Scalable Deep Reinforcement Learning for Routing and Spectrum Access in Physical Layer
University of Toronto(多伦多大学)
提出了一种新的可扩展强化学习方法,用于无线自组织网络中同时路由和频谱接入。在以前大多数关于网络优化的强化学习的工作中,假设网络拓扑是固定的,并且为每个传输节点训练不同的代理-这限制了可扩展性和可推广性。此外,路由和频谱接入通常被视为单独的任务。此外,优化目标通常是沿着路线的累积度量,例如,跳数或延迟。在本文中,我们考虑了无线网络中的物理层信号与干扰加噪声比(SINR),并进一步表明,瓶颈目标,如沿路由的最小SINR,也可以使用强化学习进行有效优化。具体来说,我们提出了一个可扩展的方法,其中一个单一的代理与每个流,使路由和频谱访问决策,因为它沿着边界节点移动。该代理是根据环境的物理层特性进行训练,使用一种新的奖励计划的基础上的未来瓶颈SINR的蒙特卡罗估计。它通过基于相邻节点的地理位置信息智能地做出联合路由和频谱分配决策来学习避免干扰。
2021-09-15 cs.AI cs.LG cs.MA
Hybridising Reinforcement Learning and Heuristics for Hierarchical Directed Arc Routing Problems
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);State University of New York at Buffalo(纽约州立大学布法罗分校);Lancaster University(兰卡斯特大学)
本文针对分层有向容量约束弧路由问题(HDCARP)提出混合强化学习与启发式算法HRDA,利用强化学习动态引导局部搜索算子选择,在保持解质量的同时显著提升求解速度。
2025-01-01 cs.LG
Reinforcement Learning for Opportunistic Routing in Software-Defined LEO-Terrestrial Systems
School of Electrical and Mechanical Engineering, University of Adelaide(阿德莱德大学电气与机械工程学院);Singapore University of Technology and Design(新加坡科技设计大学);Electronics and Telecommunications Research Institute(电子电信研究院)
本文提出了一种基于软件定义网络的强化学习方法,用于优化低地球轨道-地面系统的机智路由,以减少传输延迟并提高数据传输的可靠性。
2026-01-20 cs.LG cs.NI
Hybrid Quantum Reinforcement Learning with QAOA for Improved Vehicle Routing Optimization
Chaitanya Bharathi Institute of Technology(恰伊坦尼亚·巴拉提技术学院)
本文提出一种结合QAOA的混合量子强化学习框架,用于解决车辆路径优化问题,展示更快收敛速度和更优解决方案。
2026-05-02 cs.LG
Reinforcement Learning with Combinatorial Actions: An Application to Vehicle Routing
MIT Operations Research Center(麻省理工学院运筹学中心);Google Research(谷歌研究院)
基于值函数的方法长期以来在强化学习中发挥着重要作用。然而,当动作空间对于枚举来说太大时,找到给定任意复杂度的价值函数的最佳下一动作是不平凡的。我们开发了一个具有组合动作空间的基于值函数的深度强化学习框架,其中动作选择问题被显式地表示为混合整数优化问题。作为一个激励的例子,我们提出了一个应用程序的能力限制的车辆路径问题(CVRP),一个组合优化问题,其中一组位置必须由一个单一的车辆有限的能力。在每一个实例中,我们的行动建模为一个单一的路由建设,并考虑一个确定性的政策,通过一个简单的政策迭代算法进行改进。我们的方法与其他强化学习方法相比具有竞争力,并且在中等大小的标准库实例上与最先进的OR方法的平均差距为1.7%。
2020-10-22 cs.AI cs.LG math.OC
Deep Reinforcement Learning for Electric Vehicle Routing Problem with Time Windows
University of Toronto(多伦多大学);Western University(韦仕敦大学);University of Waterloo(滑铁卢大学)
在过去的十年中,电动汽车(EV)在市场上迅速渗透,越来越多的物流和运输公司开始部署EV提供服务。为了模拟商业电动汽车车队的运作,我们利用电动汽车的时间窗口(EVRPTW)的路由问题。在这项研究中,我们提出了一个端到端的深度强化学习框架来解决EVRPTW。特别是,我们开发了一个注意力模型,将指针网络和图形嵌入技术参数化的随机政策解决EVRPTW。然后,使用具有卷展基线的策略梯度来训练模型。我们的数值研究表明,所提出的模型是能够有效地解决EVRPTW实例的大尺寸是不可解决的任何现有的方法。
2021-08-13 cs.AI cs.LG math.OC
Short Quantum Circuits in Reinforcement Learning Policies for the Vehicle Routing Problem
QC Ware Corp.(QC韦尔公司);AISIN CORPORATION(爱信公司);Aisin Technical Center of America(美国爱信技术中心)
量子计算和机器学习具有共生的潜力。然而,除了当前设备的硬件限制之外,在量子线路能够有效地与当前的机器学习任务结合之前,仍然存在必须解决的基本问题。我们报告了一种新的策略,这种整合的背景下,用于强化学习的注意力模型。实现注意力机制的代理已成功地应用于某些情况下的组合路由问题,首先编码节点上的图,然后依次解码节点,直到选择的路线。我们证明了简单的量子线路可以用来代替经典的注意头层,同时保持性能。我们的方法修改了[1]中使用的网络,将每个节点的密钥和查询向量替换为在测量之前纠缠的量子态。由此产生的混合经典量子代理的车辆路径问题的情况下,其性能是有竞争力的,与原来的经典方法进行了测试。我们认为我们的模型是一个可以扩大规模的原型,也是进一步研究量子计算在强化学习中作用的途径。
2021-09-15 cs.LG quant-ph
Routing Recovery for UAV Networks with Deliberate Attacks: A Reinforcement Learning based Approach
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Xidian University(西安电子科技大学);China Academy of Railway Sciences Corporation Limited(中国铁道科学研究院集团有限公司)
针对无人机网络在蓄意攻击下的路由恢复难题,本文设计基于节点重要性的攻击模型与排序机制,并提出强化学习算法动态恢复路由,仿真验证其优于参照方法。
2023-08-14 cs.AI cs.CR cs.LG
Reinforcement Learning for Solving Stochastic Vehicle Routing Problem
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出一种端到端强化学习框架,全面处理随机车辆路径问题中的随机性,相比最先进元启发式算法降低旅行成本3.43%,并展现出跨设置的鲁棒性。
2023-11-13 cs.AI cs.CE cs.LG
A new Hyper-heuristic based on Adaptive Simulated Annealing and Reinforcement Learning for the Capacitated Electric Vehicle Routing Problem
University of Deusto(德乌斯托大学);Ikerbasque, Basque Foundation for Science(伊克巴斯克,巴斯克科学基金会);Universidad de Guadalajara(瓜达拉哈拉大学)
由于货运车辆数量的增加,电动车辆(EV)已经在城市地区被采用以减少环境污染和全球变暖。然而,在最后一英里物流的路线方面仍然存在不足,继续影响社会和经济的可持续性。为此,本文提出了一种超启发式(HH)方法,称为超启发式自适应模拟退火与强化学习(HHASA $_{RL}$)。它是由一个多臂强盗方法和自适应模拟退火(SA)元启发式算法求解的问题称为有容量限制的电动车辆路径问题(CEVRP)。由于充电站的数量和电动汽车的行驶范围有限,电动汽车必须提前要求电池充电时刻,并减少行驶时间和成本。HH实现改进了多个最小最知名的解决方案,并获得了最佳的平均值为IEEE WCCI 2020竞争的拟议基准的一些高维实例。
2022-06-07 cs.AI cs.LG
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University(罗格斯大学);AMD;MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题,提出预测性路由重放方法,通过轻量级演化预测器减少路由不匹配,提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Fast Approximate Solutions using Reinforcement Learning for Dynamic Capacitated Vehicle Routing with Time Windows
TCS Research(塔塔咨询服务研究院)
本文开发了一种内在的并行化,快速,近似学习为基础的解决方案,通用类的能力限制车辆路径问题的时间窗口和动态路由(CVRP-TWDR)。考虑到车队中的车辆作为分散的代理,我们假设使用基于强化学习(RL)的适应是在动态环境中实时路线形成的关键使能因素。该方法允许每个代理(车辆)独立评估服务每个客户的价值,并使用集中式分配启发式算法,根据生成的值最终确定分配。我们表明,通过这种方法产生的解决方案是显着快于精确的配方和国家的最先进的元算法,而合理地接近最佳的解决方案的质量。我们描述的实验在静态的情况下(当所有的客户需求和时间窗口是已知的提前),以及动态的情况下(客户可以弹出在执行过程中的任何时间)。在大型分布外测试数据上使用单个训练模型的结果证明了所提出方法的可扩展性和灵活性。
2021-04-14 cs.AI cs.LG
Reinforcement-Learning based routing for packet-optical networks with hybrid telemetry
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Telefonica I+D(西班牙电信研发部门)
本研究提出一种面向混合遥测分组光网络的强化学习路由方法,结合物理层与链路层测量值设置时延奖惩,通过Q-learning寻优,可动态适应网络负载与链路质量变化并提供开源实现。
2024-06-21 cs.LG cs.NI
Routing Dense Layouts with History-Aware Offline Reinforcement Learning using LSTM
New York University(纽约大学)
针对高密度布局布线收敛难的问题,提出一种历史感知的离线强化学习策略,利用LSTM和额外特征预测迭代成本权重,平均减少92%设计规则违规并降低10%运行时间。
2026-09-09 cs.AR cs.LG
Hierarchical DLO Routing with Reinforcement Learning and In-Context Vision-language Models
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Princeton University(普林斯顿大学)
本文提出了一种自主分层框架,利用视觉-语言模型进行上下文高层推理,结合强化学习训练的低层技能,解决长视距DLO路由任务,实现92%的成功率。
2026-04-15 cs.LG cs.RO
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University(东南大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法,通过智能体间共享观察与奖励促进合作,实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Topology-Aware Graph Reinforcement Learning for Dynamic Routing in Cloud Networks
Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学);Northwestern University(西北大学);New York University(纽约大学)
针对云网络动态路由优化中拓扑感知不足、决策不稳定的问题,提出融合SASE模块与PAGU机制的拓扑感知图强化学习方法,在GEANT数据集上多项指标优于现有模型,实现高效鲁棒的动态路由。
2025-09-05 cs.LG
HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning
David S. Hippocampus Department of Computer Science Cranberry-Lemon University(Cranberry-Lemon大学计算机科学系);University of Southern California(南加州大学);DEVCOM Army Research Office(陆军研究办公室)
针对大语言模型部署成本高的问题,提出基于PPO强化学习的层级路由框架HierRouter,动态组装轻量专业化模型推理流水线,在多基准测试中以极低额外开销最高提升2.4倍响应质量。
2025-11-13 cs.CL cs.LG
Deep Reinforcement Learning for Online Routing of Unmanned Aerial Vehicles with Wireless Power Transfer
National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
无人机在运输、军事任务、灾难救援、通信等各种应用中发挥着至关重要的作用,由于其灵活性和多功能性。提出了一种深度强化学习方法来解决具有无线能量传输的无人机在线路由问题,可以在没有电线的情况下对无人机进行远程充电,从而扩展了电池有限的无人机的能力。我们的研究考虑了无人机的功耗和无线充电过程。与以前的工作不同,我们通过设计一个深度神经网络来解决这个问题。该模型离线使用深度强化学习方法进行训练,并用于在线优化无人机路由问题。在小规模和大规模的情况下,该模型的运行速度从4倍到500倍,比谷歌OR工具,最先进的组合优化求解器,具有相同的解决方案的质量。它在运行时间和最优性方面也优于不同类型的启发式和局部搜索方法。此外,一旦模型经过训练,它就可以扩展到新生成的问题实例,这些问题实例具有在训练期间看不到的任意拓扑结构。当问题规模较大且对响应时间要求较高时,该方法具有较强的实用性。
2022-04-25 cs.LG cs.NE cs.SY
Reinforcement Learning for Solving the Vehicle Routing Problem
Lehigh University(利哈伊大学)
本文提出了一种基于强化学习的车辆路径问题(VRP)端到端求解框架。在这种方法中,我们训练一个单一的模型,从一个给定的分布采样的问题实例中找到接近最优的解决方案,只有通过观察奖励信号和以下的可行性规则。我们的模型代表了一个参数化的随机策略,通过应用策略梯度算法来优化其参数,训练好的模型可以实时的产生一系列连续动作的解决方案,而不需要为每个新的问题实例重新训练。在容量受限的VRP上,我们的方法在中等规模的实例上的解决方案质量优于经典的算法和Google的OR工具,并且计算时间相当(训练后)。我们展示了我们的方法可以处理问题的分割交付,并探讨这种交付的解决方案质量的影响。我们提出的框架可以适用于其他变种的车辆路径问题,如随机车辆路径问题,并有可能被更普遍地应用到组合优化问题。
2018-05-21 cs.AI cs.LG stat.ML
Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for MANETs
EpiSys Science, Inc.(EpiSys科学公司);Boeing Research and Technology(波音研究与技术公司)
高度动态的移动ad-hoc网络(MANNETWORK)继续作为最具挑战性的环境之一,开发和部署强大的,高效的,可扩展的路由协议。在本文中,我们提出了DeepCQ+路由,它以一种新颖的方式,将新兴的多代理深度强化学习(MADRL)技术集成到现有的基于Q学习的路由协议及其变体中,并在仅在有限范围的网络参数和条件下进行训练的同时,在广泛的MANET配置中实现持续的更高性能。与基于Q-learning的同类产品相比,DeepCQ+始终显示出更高的端到端吞吐量和更低的开销,其效率总体提高了10-15%。更重要的是,DeepCQ+在许多场景下保持了非常相似的性能增益,而这些场景在网络规模、移动性条件和流量动态方面都没有经过训练。据我们所知,这是第一次成功的示范MADRL的MANET路由问题,实现并保持高度的可扩展性和鲁棒性,即使在环境中的训练范围之外的情况。这意味着所提出的结合MADRL和Q学习的DeepCQ+混合设计方法显着提高了其实用性和可解释性,因为现实世界的MANET环境可能会在MANET场景的训练范围之外变化。
2021-03-29 cs.AI cs.LG cs.MA
Reinforcement Learning for Solving the Pricing Problem in Column Generation: Applications to Vehicle Routing
Department of Information Systems, Faculty of Industrial Engineering and Innovation Sciences, Technical University Eindhoven, The Netherlands(信息系统系,工业工程与创新科学学院,埃因霍温技术大学,荷兰);Department of Mathematics, College of Computing and Mathematical Sciences, Khalifa University, United Arab Emirates(数学系,计算与数学科学学院,哈利法大学,阿联酋)
本文提出基于注意力机制的强化学习模型端到端求解列生成中的定价问题,无需启发式辅助,并在车辆路径问题变体上验证其相比动态规划启发式方法能以更短运行时间获得合理的线性松弛目标差距。
2025-08-19 cs.LG
SeqRoute: Global Budget-Aware Sequential LLM Routing via Offline Reinforcement Learning
Department of Operations Research and Industrial Engineering(运筹学与工业工程系)
提出SeqRoute框架,将多轮LLM路由建模为有限时域马尔可夫决策过程,通过离线强化学习(CQL)和事后预算重标记(HBR)学习延迟满足,在全局预算约束下优化成本与质量,降低破产率至1%以下。
2026-05-25 cs.AI cs.LG
Learning Vehicle Routing Problems using Policy Optimisation
深度强化学习(Deep Reinforcement Learning,DRL)已被用于通过策略网络学习解决复杂组合优化问题的有效算法,并表现出良好的性能。现有的工作都集中在解决(车辆)路由问题,因为他们有一个很好的平衡之间的非平凡性和困难。最先进的方法使用强化学习来学习策略,并且所学习的策略充当伪求解器。这些方法在某些情况下表现出良好的性能,但由于典型的组合/路由问题的大搜索空间,它们可能会收敛得太快,策略不佳。为了防止这种情况,在本文中,我们提出了一种名为熵正则化强化学习(ERRL)的方法,该方法通过提供更多的随机策略来支持探索,从而提高优化效果。经验上,低方差ERRL提供RL训练快速和稳定。我们还引入了一个组合的本地搜索算子在测试时,显着提高解决方案和补充ERRL。我们定性地证明,对于车辆路径问题,具有较高熵的策略可以使优化景观平滑,这使得它更容易优化。定量评价表明,该模型的性能与最先进的变体相当。在我们的评估中,我们实验表明,该模型产生的最先进的性能的车辆路径问题的变种,如容量限制车辆路径问题(CVRP),固定车队问题(MRPFF)和旅行推销员问题的多个路由。
2020-12-24 cs.LG
A Deep Reinforcement Learning Algorithm Using Dynamic Attention Model for Vehicle Routing Problems
Department of Computer Science, Sun Yat-sen University(中山大学计算机科学系);Sun Yat-sen University(中山大学)
最近的研究表明,机器学习有可能学习到比人类设计的算法更好的算法来解决组合优化问题。深度神经网络用于表征输入实例以增量地构造可行解。最近,一个注意力模型被提出来解决路由问题。在此模型中,实例的状态由随时间固定的节点特征表示。然而,实际情况是,模型在不同的构造步骤所做的决策会改变实例的状态,节点特征也会相应地更新。因此,本文提出了一种具有动态编码器-解码器结构的动态注意力模型,使模型能够在不同的构造步骤中动态地探索节点特征,有效地挖掘隐藏的结构信息。本文研究了一个具有挑战性的NP-难问题--车辆路径问题。实验表明,该模型的性能优于以往的方法,也表现出良好的泛化性能。
2020-02-09 cs.AI cs.LG stat.ML
Integrated Order Dispatching and Routing for Last-Mile Pickup via Deep Reinforcement Learning
College of Management and Economics, Tianjin University(天津大学管理与经济学部);Laboratory of Computation and Analytics of Complex Management Systems (CACMS), Tianjin University(天津大学复杂管理系统计算与分析实验室)
针对最后一英里取件操作中订单调度和路由决策复杂的问题,提出集成优化框架,结合路由预言机与实时调度启发式方法,开发相关网络编码器和解码器及调度启发式方法,实验表明该方法能有效支持物流公司解决此类问题。
2026-07-27 cs.LG
Routing algorithms as tools for integrating social distancing with emergency evacuation
Stanford University(斯坦福大学);Woods Institute for the Environment, Stanford University(斯坦福大学伍兹环境研究所);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Biology, Stanford University(斯坦福大学生物系);Department of Earth System Science, Stanford University(斯坦福大学地球系统科学系)
COVID-19疫情的其中一个教训是保持社交距离的重要性,即使在飓风前疏散等具有挑战性的情况下也是如此。为了探索将社交距离与疏散操作相结合的影响,我们将此疏散过程描述为容量限制车辆路径问题(CVRP),并使用基于DNN(深度神经网络)的解决方案(深度强化学习)和非DNN解决方案(扫描算法)解决该问题。一个核心问题是,深度强化学习是否提供了足够的额外路由效率,以适应在时间受限的疏散操作中增加的社交距离。我们发现,与扫描算法相比,深度强化学习可以为决策者提供更有效的路由。然而,深度强化学习节省的疏散时间并不能弥补社交距离所需的额外时间,随着应急车辆容量接近每户人数,其优势也就消失了。
2021-10-13 cs.AI cs.CY cs.HC
Deep Reinforcement Learning for Solving the Fleet Size and Mix Vehicle Routing Problem
Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University(航空与航空工程系,香港理工大学)
本文提出基于深度强化学习的解决方案,用于高效解决车队规模和混合车辆路径问题,展示了在大规模和时间受限场景下的计算效率和可扩展性优势。
2025-12-30 cs.AI cs.LG math.OC
Schedule Earth Observation satellites with Deep Reinforcement Learning
IRT Saint-Exupéry(圣埃克苏佩里技术研究所);Airbus Defence & Space(空客防务与航天公司)
光学地球观测卫星在全球范围内获取图像,每天覆盖数百万平方公里。当考虑到几个卫星星座的互操作性以及天气预报的不确定性时,这种系统的调度获取的复杂性呈指数级增加。为了尽快向客户提供有效的图像,获取无云图像至关重要。根据天气预报,多达50%的运行卫星获取的图像可能会由于过度的云层覆盖而被丢弃,这表明还有改进的空间。我们提出了一种基于深度强化学习的采集调度方法,并在简化的环境下进行了实验。我们发现,它挑战了依赖于人类专家启发式的经典方法。
2019-11-12 cs.AI cs.LG
SED2AM: Solving Multi-Trip Time-Dependent Vehicle Routing Problem using Deep Reinforcement Learning
University of Calgary(卡尔加里大学);National Research Council Canada(加拿大国家研究委员会)
本文提出基于深度强化学习的SED2AM模型,通过引入时间局部性归纳偏置和双解码器结构,有效解决了具有最大工作时间约束的多行程时间依赖车辆路径问题,并在真实数据集上超越了现有基线方法。
2025-03-06 cs.AI cs.LG
SmartPathfinder: Pushing the Limits of Heuristic Solutions for Vehicle Routing Problem with Drones Using Reinforcement Learning
University of Memphis(孟菲斯大学)
针对带无人机车辆路径问题(VRPD)求解质量与计算耗时的挑战,本文提出新型强化学习框架与启发式核心组件无缝集成,建立通用结合原则,有效提升了求解质量与计算速度。
2024-04-13 cs.CY cs.LG
Physics-informed offline reinforcement learning eliminates catastrophic fuel waste in maritime routing
MIT Sea Grant College Program(麻省理工学院海事研究生院);Massachusetts Institute of Technology(麻省理工学院)
本文提出PIER框架,通过物理校准的环境学习高效安全的航线策略,减少燃油消耗和碳排放,消除灾难性燃油浪费,适用于多种导航场景。
2026-03-18 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning for Markov Routing Games: A New Modeling Paradigm For Dynamic Traffic Assignment
Columbia University(哥伦比亚大学)
本文的目的是开发一种范式,模型的学习行为的智能代理(包括但不限于自动驾驶汽车,连接和自动驾驶汽车,或人类驾驶的车辆与智能导航系统,其中人类驾驶员完全遵循导航指令)与效用优化的目标和系统的平衡过程中的路由游戏原子自私的代理。这种模式可以帮助决策者在正常和异常情况下制定最佳的业务和规划对策。为此,我们开发了一个马尔可夫路由游戏(MRG)中,每个代理学习和更新自己的路线路径选择策略,同时与他人在交通网络中的互动。为了有效地解决MRG,我们将其表示为多智能体强化学习(MARL),并设计了一种平均场多智能体深度Q学习(MF-MA-DQL)方法,该方法捕获了智能体之间的竞争。经典的DUE范式和我们提出的马尔可夫路由游戏(MRG)之间的联系进行了讨论。我们发现,智能代理的路由行为收敛到经典的概念预测动态用户平衡(DUE)时,交通环境模拟使用动态负载模型(DNL)。换句话说,MRG描述了假设由DNL模型传播的完美信息和确定性环境的DUE。四个例子来说明算法的效率和一致性之间的DUE和MRG平衡,在一个简单的网络没有和有溢出,Ortuzar Willumsen(OW)网络,和一个真实的世界网络附近的哥伦比亚大学校园在纽约市曼哈顿。
2022-02-28 cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Cost- and Delay-Sensitive Virtual Network Function Placement and Routing
Beijing University of Posts and Telecommunications(北京邮电大学);SUTD(新加坡科技设计大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO));NTU(南洋理工大学)
提出了一种基于多智能体深度强化学习(MADRL)的联合虚拟网络功能(VNF)布局和路由(P&R)方法,该方法可以同时提供多个具有差异化需求的服务请求。服务请求的不同要求反映在对延迟和成本敏感的因素上。我们首先构造一个VNF P&R问题,以联合最小化服务延迟和资源消耗成本的加权和,这是NP完全的。然后,联合VNF P&R问题被解耦为两个迭代子任务:布局子任务和路由子任务。每个子任务由多个并发并行顺序决策过程组成。通过引入深度确定性策略梯度方法和多智能体技术,设计了一个MADRL-P&R框架来完成这两个子任务。新的联合奖励和内部奖励机制,提出了匹配的布局和路由子任务的目标和约束。我们还提出了基于参数迁移的模型再训练方法来处理不断变化的网络拓扑结构。通过实验验证,建议MADRL-P&R框架是优于其替代品的服务成本和延迟,并提供了更高的灵活性,个性化的服务需求。基于参数迁移的模型再训练方法在网络拓扑结构变化不大的情况下能有效地加速收敛。
2022-06-24 cs.AI cs.LG cs.NI
DeepCQ+: Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for Highly Dynamic Networks
EpiSys Science, Inc.(EpiSys科学公司);Boeing Research and Technology(波音研究与技术)
高度动态的移动ad-hoc网络(MANNETWORK)仍然是最具挑战性的环境之一,以开发和部署强大的,高效的,可扩展的路由协议。在本文中,我们提出了DeepCQ+路由协议,该协议以一种新颖的方式将新兴的多代理深度强化学习(MADRL)技术集成到现有的基于Q学习的路由协议及其变体中,并在广泛的拓扑和移动性配置中实现了持续的更高性能。在保持基于Q学习的路由协议的整体协议结构的同时,DeepCQ+用精心设计的MADRL代理替换了静态配置的参数化阈值和手写规则,这样就不需要先验地配置这些参数。广泛的模拟表明,与基于Q学习的同行相比,DeepCQ+的端到端吞吐量显着增加,开销更低,端到端延迟(跳数)没有明显下降。在质量上,也许更重要的是,DeepCQ+在许多场景下保持了非常相似的性能增益,而这些场景在网络规模、移动性条件和流量动态方面都没有经过训练。据我们所知,这是第一次成功的应用程序的MADRL框架的MANET路由问题,表现出高度的可扩展性和鲁棒性,即使在环境下的训练范围之外的情况下。这意味着我们基于MARL的DeepCQ+设计解决方案显着提高了基于Q学习的CQ+基线方法的性能,并提高了其实用性和可解释性,因为真实的MANET环境可能会在MANET场景的训练范围之外变化。讨论了进一步提高性能和可伸缩性的其他技术。
2021-11-29 cs.AI cs.LG cs.NI
Asynchronous MultiAgent Reinforcement Learning for 5G Routing under Side Constraints
Concordia University(康科德大学)
本文提出异步多智能体强化学习框架,用于解决5G路由下的侧约束问题,通过并行规划和资源协调实现高效且鲁棒的路由决策。
2026-01-18 cs.DC cs.LG cs.MA
Reinforcement Learning with Graph Attention for Routing and Wavelength Assignment with Lightpath Reuse
University College London(伦敦大学学院)
针对生产系统采用的固定网格加弹性速率转发器场景,提出基于图注意力的强化学习方法解决支持光路复用的路由与波长分配问题,通过基准测试优化启发式算法并开源代码,吞吐量较最优RL方法提升2.5%。
2025-04-18 cs.LG cs.NI cs.SY
Deep Reinforcement Learning for Multi-Truck Vehicle Routing Problems with Multi-Leg Demand Routes
针对包含多卡车和多段路径需求的复杂车辆路径问题,本文扩展了编码器-解码器注意力模型以处理此类需求,并在日本Aisin Corporation真实供应链环境中验证了其优于现有最佳方案的性能。
2024-12-18 cs.AI cs.LG
A Reinforcement Learning-Based Telematic Routing Protocol for the Internet of Underwater Things
University of Extremadura(埃斯特拉曼杜拉大学);University of Verona(威尼斯大学)
本文提出了一种基于强化学习的水下物联网远程路由协议RL-RPL-UA,通过动态目标函数优化网络性能,实验显示其在数据包交付率、能耗和网络寿命方面均优于传统方法。
2025-11-21 cs.AI cs.LG cs.NI