Controlled Deep Reinforcement Learning for Optimized Slice Placement
Orange Labs(奥兰治实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
我们提出了一种混合ML启发式方法,我们命名为“启发式辅助深度强化学习(HA-DRL)”来解决网络切片放置优化问题。所提出的方法利用最近的工作深度强化学习(DRL)切片放置和虚拟网络嵌入(VNE),并使用启发式函数优化探索的行动空间,优先考虑可靠的行动表示一个有效的启发式算法。评估结果表明,所提出的HA-DRL算法可以加速学习一个有效的切片放置策略,提高切片接受率相比,国家的最先进的方法,仅基于强化学习。
2021-08-03 cs.LG cs.NI
Deep Reinforcement Learning Guided Improvement Heuristic for Job Shop Scheduling
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Institute of Marine Science and Technology, Shandong University(山东大学海洋科学与技术研究院);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种DRL引导的改进启发式方法求解JSSP,通过基于图神经网络的完整解表示方案和并行评估机制,大幅超越现有DRL方法。
2024-02-14 cs.AI cs.LG
Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);Technology Innovation Institute(技术创新研究院);Zhejiang University(浙江大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Oulu(奥卢大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
新兴的可重构智能表面(RISs)技术被提供作为智能无线环境的使能者,提供高度可扩展、低成本、硬件高效且几乎能量中性的解决方案,用于动态控制电磁信号在无线介质上的传播,最终为不同的操作目标提供增强的环境智能。在这种可重新配置的无线电环境中设想的密集部署RIS的主要挑战之一是利用有限的或甚至不存在的计算硬件来有效配置多个元表面。在本文中,我们考虑多用户和多RIS授权的无线系统,并提出了一个彻底的调查在线机器学习方法,他们的各种可调组件的编排。以总速率最大化为代表的设计目标,我们提出了一个基于深度强化学习(DRL)的综合问题公式。我们详细的无线系统和DRL术语的参数之间的对应关系,并设计通用的人工神经网络的训练和部署的算法步骤,同时讨论其实施细节。在第六代(6G)时代的多RIS授权的无线通信的进一步实际考虑,提出了一些关键的开放的研究挑战。从基于DRL的现状来看,我们利用系统设计参数的配置与无线环境的未来状态之间的独立性,并提出了有效的多臂强盗方法,其产生的和速率性能在数值上显示优于随机配置,同时足够接近传统的深度Q网络(DQN)算法,但具有较低的实现复杂度。
2022-05-08 cs.ET cs.IT cs.LG
Improving Generalization of Deep Reinforcement Learning-based TSP Solvers
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
最近的工作应用深度强化学习(DRL)来解决旅行商问题(TSP)已经表明,基于DRL的求解器可以快速且具有竞争力的小实例TSP算法,但不能很好地推广到较大的实例。在这项工作中,我们提出了一种名为MAGIC的新方法,其中包括一个深度学习架构和DRL训练方法。我们的架构,它集成了一个多层感知器,一个图神经网络,和一个注意力模型,定义了一个随机的政策,顺序生成一个TSP解决方案。我们的训练方法包括几个创新:(1)我们将DRL策略梯度更新与局部搜索(使用新的局部搜索技术)交织在一起,(2)我们使用新的简单基线,(3)我们应用课程学习。最后,我们的经验表明,MAGIC是优于其他基于DRL的方法随机TSP的情况下,无论是在性能和推广。此外,我们的方法相比有利的TSP算法和其他国家的最先进的方法在性能和计算时间。
2021-10-06 cs.AI cs.LG
Parametrized Sharing for Multi-Agent Hybrid DRL for Multiple Multi-Functional RISs-Aided Downlink NOMA Networks
本文提出一种参数化共享方案,用于多智能体混合深度强化学习,以优化多功能RIS辅助的下行NOMA网络的能量效率,通过联合优化功率分配、波束成形和RIS配置,实现更高的能量效率。
2026-03-15 cs.AI eess.SP
Iterative Multi-Agent Reinforcement Learning: A Novel Approach Toward Real-World Multi-Echelon Inventory Optimization
针对多级库存优化的复杂性与DRL的维度灾难问题,提出迭代多智能体强化学习方法,在13种供应链场景中验证其在库存策略优化上的性能优于基准,为现实供应链管理提供新方案。
2025-03-23 cs.LG
Deep Controlled Learning for Inventory Control
Department of Industrial Engineering and Innovation Sciences, Eindhoven University of Technology(工业工程与创新科学系,埃因霍温理工大学);ASML US LLC(ASML美国有限公司)
针对库存管理高度随机性导致传统DRL难以超越启发式方法的问题,本文提出深度受控学习(DCL),结合逐次减半与公共随机数的高效仿真机制,在多种库存场景中以同一组超参数实现更低成本且最优性差距不超过0.2%。
2025-06-03 cs.LG
Multi-objective Pointer Network for Combinatorial Optimization
Anhui University(安徽大学);National University of Defense Technology(国防科技大学)
多目标组合优化问题是一类复杂优化问题,广泛存在于各种实际应用中。虽然元算法已经成功地应用于解决MOCOP问题,但计算时间往往要长得多。最近,已经提出了许多深度强化学习(DRL)方法来生成组合优化问题的近似最优解。然而,现有的研究DRL很少集中在MOCOPs。该研究提出了一种单模型深度强化学习框架,称为多目标指针网络(MOPN),其中PN的输入结构得到有效改进,使得单个PN能够解决MOCOPs。此外,分别提出了基于代表模型和迁移学习的两种训练策略,以进一步提高MOPN在不同应用场景下的性能。此外,与经典的元分析相比,MOPN只消耗更少的时间在向前传播,以获得帕累托前沿。同时,MOPN对问题规模不敏感,这意味着经过训练的MOPN能够解决具有不同规模的MOCOP。为了验证MOPN的性能,进行了广泛的实验上的三个多目标旅行商问题,与一个国家的最先进的模型DRL-MOA和三个经典的多目标元算法进行比较。实验结果表明,该模型的训练时间仅为DRL MOA训练时间的20 ~ 40%,性能优于所有比较方法.
2022-04-25 cs.AI cs.LG
Deep Reinforcement Learning for Crowdsourced Urban Delivery: System States Characterization, Heuristics-guided Action Choice, and Rule-Interposing Integration
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文研究了在众包城市交付的背景下,将运输请求分配给临时快递员的问题。装运请求在空间上分布,每个装运请求具有在最早拾取时间和最晚递送时间之间的有限时间窗口。被称为众包的临时信使的可用时间和承载能力也有限。我们提出了一种新的基于深度强化学习(DRL)的方法来解决这个分配问题。训练了一种深度Q网络(DQN)算法,该算法具有经验重放和目标网络两个显著特征,可提高DRL训练的效率、收敛性和稳定性。更重要的是,本文做出了三个方法上的贡献:1)提出了一个全面和新颖的描述众包系统状态,包括时空和容量信息的众包和请求; 2)嵌入的启发式,利用状态表示提供的信息,并基于直观的推理来指导具体的行动,以保持易处理性和提高培训效率; 3)集成规则插入,避免路由改进时重复访问相同的路由和节点序列,通过加速学习进一步提高训练效率。通过大量的数值分析证明了该方法的有效性。结果表明,DRL训练中的策略指导动作选择和规则插入带来的好处,以及所提出的方法在解决方案质量,时间和可扩展性方面优于现有的策略。除了提高众包运营规划效率的潜力外,该方法还为车辆路径环境中的其他问题提供了新的途径和通用框架。
2020-11-29 cs.AI cs.LG
Heuristic Learning for Active Flow Control Using Coding Agents
Mines Paris - PSL University Centre for Material Forming (CEMEF) CNRS(巴黎矿业 - 巴黎文理研究大学材料成型中心(CEMEF)法国国家科学研究中心)
研究主动流动控制中控制器设计难题,提出用编码智能体直接搜索显式可执行反馈律的启发式学习范式及受限协议,经多基准评估,其启发式控制器性能优、可解释,是传统强化学习的可靠互补替代方案。
2026-07-14 cs.AI cs.LG physics.flu-dyn
HUGO -- Highlighting Unseen Grid Options: Combining Deep Reinforcement Learning with a Heuristic Target Topology Approach
Fraunhofer IEE(弗劳恩霍夫能源经济与能源系统技术研究所);Kassel University(卡塞尔大学);Kiel University(基尔大学)
针对现有DRL电网拓扑优化仅作用于变电站单动作的问题,提出以鲁棒性筛选的目标拓扑为动作的整体方法,通过搜索算法生成目标拓扑并升级CurriculumAgent,使L2RPN得分提升10%、中位生存时间提升25%。
2024-05-23 cs.AI cs.LG
Network Topology Optimization via Deep Reinforcement Learning
IIIS, Tsinghua University(清华大学信息科学与技术学院);China Mobile Research Institute(中国移动研究院)
本文提出DRL-GS算法,通过深度强化学习优化网络拓扑,提升效率与性能。
2026-03-03 cs.AI cs.LG cs.NI
Graph Attention-based Deep Reinforcement Learning for solving the Chinese Postman Problem with Load-dependent costs
Indiana State University(印第安纳州立大学);FPT Software AI Center(FPT软件人工智能中心)
本文提出Arc-DRL图注意力深度强化学习框架,将负载依赖成本的中国邮递员问题建模为MDP并自回归求解,同时给出EA元启发式方法,实验显示其在质量与速度上优于ILS和VNS。
2024-03-03 cs.LG
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学)
随着深度学习的快速发展,近年来深度强化学习(Deep Reinforcement Learning,DRL)开始出现在资源调度领域。本文在前人研究的基础上,介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比,该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV
Central South University(中南大学);Singapore Management University(新加坡管理大学);University of Alberta(阿尔伯塔大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Polish Academy of Sciences(波兰科学院)
本文提出DL-DRL双层深度强化学习方法,将多无人机大规模任务调度分解为任务分配与路径规划,并通过交互式训练策略提升求解质量、效率及泛化能力。
2023-06-06 cs.LG cs.RO eess.SP
An efficient deep reinforcement learning environment for flexible job-shop scheduling
College of Computer Science and Technology(计算机科学与技术学院);Nanjing University of Aeronautics and astronautics(南京航空航天大学)
针对柔性作业车间调度问题,本文提出一种基于离散事件模拟的高效深度强化学习环境及基于PPO的端到端调度模型,并设计新状态表示和奖励函数,实验证明其性能优于或媲美现有方法。
2025-09-07 cs.AI cs.LG
Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT Assignment and Dynamic Resource Allocation in Next-Generation HetNets
Hamad Bin Khalifa University(哈马德·本·哈利法大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出分层多智能体深度强化学习框架DeepRAT,将多无线接入技术分配与功率控制分解为DQN分配阶段和多智能体DDPG功率分配阶段,以高效求解下一代异构网络中的成本感知和速率最大化问题,并在网络效用和动态适应性上优于现有启发式方法。
2022-02-28 cs.AI cs.LG eess.SP
Sym-NCO: Leveraging Symmetricity for Neural Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
基于深度强化学习(DRL)的组合优化(CO)方法(即,DRL-NCO)已经显示出优于常规CO求解器的显著优点,因为DRL-NCO能够较少地依赖于特定于问题的专家领域知识(探试法)和监督标记数据(监督学习方法)来学习CO求解器。本文提出了一种新的训练方案Sym-NCO,这是一种基于正则化器的训练方案,它利用了各种CO问题和解决方案的通用性。利用旋转和反射不变性等并行性可以大大提高DRL-NCO的泛化能力,因为它允许学习的求解器利用相同CO问题类中的共同共享并行性。我们的实验结果表明,我们的Sym-NCO大大提高了性能的DRL-NCO方法在四个CO任务,包括旅行商问题(TSP),有能力的车辆路径问题(CVRP),奖品收集TSP(PCTSP),和定向越野赛问题(OP),没有利用特定问题的专家领域知识。值得注意的是,Sym-NCO不仅优于现有的DRL-NCO方法,而且还优于有竞争力的传统求解器,迭代局部搜索(ILS),在PCTSP中,速度快240。我们的源代码可在https://github.com/alstn12088/Sym-NCO上获得。
2023-01-04 cs.LG stat.ML
Solving the Order Batching and Sequencing Problem using Deep Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Vanderlande Industries B.V.(范德兰德工业有限公司)
在电子商务市场中,准时交货对客户满意度至关重要。在本文中,我们提出了一种深度强化学习(DRL)方法,用于决定如何以及何时在仓库中分批和拣选订单,以最大限度地减少延迟订单的数量。特别地,该技术有助于做出关于订单是否应该被单独拣选(逐订单拣选)或与其他订单一起批量拣选(逐批次拣选)的决定,以及如果是,则与哪些其他订单一起拣选。我们的方法制定它作为一个半马尔可夫决策过程的问题,并开发一个基于向量的状态表示,包括仓库系统的特点。这使我们能够创建一个深度强化学习解决方案,通过与环境交互来学习策略,并使用近端策略优化算法解决问题。我们评估的性能,建议DRL的方法,通过比较它与几个在不同的问题设置的排序和sequencing。结果表明,DRL方法是能够开发出一种策略,产生一致的,良好的解决方案,并表现得更好,比建议的策略。
2020-06-16 cs.AI cs.LG
Scaling Combinatorial Optimization Neural Improvement Heuristics with Online Search and Adaptation
本研究提出有限滚动束搜索LRBS,用于基于深度强化学习的组合优化改进启发式算法,可提升分布内性能与大实例泛化能力,结合离线在线自适应进一步超越现有自适应构造式启发式方法。
2024-12-13 cs.AI cs.LG
A Survey on Deep Reinforcement Learning for Data Processing and Analytics
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Beijing Institute of Techonology(北京理工大学)
数据处理和分析是基础和普遍的。算法在数据处理和分析中起着至关重要的作用,其中许多算法设计已经结合了来自人类知识和经验的逻辑学和一般规则,以提高其有效性。近年来,强化学习,特别是深度强化学习(DRL),在许多领域得到了越来越多的探索和利用,因为它可以在与之交互的复杂环境中学习到比静态设计的算法更好的策略。受这一趋势的推动,我们对最近的工作进行了全面的回顾,重点是利用DRL来改进数据处理和分析。首先,我们介绍了DRL的关键概念,理论和方法。接下来,我们将讨论数据库系统上的DRL部署,从各个方面促进数据处理和分析,包括数据组织、调度、调优和索引。然后,我们调查了DRL在数据处理和分析中的应用,从数据准备,自然语言处理到医疗保健,金融科技等,最后,我们讨论了在数据处理和分析中使用DRL的重要挑战和未来的研究方向。
2022-02-04 cs.AI cs.DB cs.LG
Smart Feasibility Pump: Reinforcement Learning for (Mixed) Integer Programming
UC Berkeley(加州大学伯克利分校)
在这项工作中,我们提出了一个深度强化学习(DRL)模型,用于寻找(混合)整数规划(MIP)问题的可行解。找到一个可行的解决方案,MIP问题是至关重要的,因为许多成功的物流依赖于一个已知的初始可行的解决方案。但是,它一般是NP难的。启发的可行性泵(FP),一个著名的启发式搜索可行的MIP解决方案,我们开发了一个智能可行性泵(SFP)方法使用DRL。除了多层感知(MLP),我们提出了一种新的卷积神经网络(CNN)结构的策略网络捕捉隐藏的信息的约束矩阵的MIP问题。不同问题实例的数值实验表明,SFP显着优于经典FP的步骤所需的数量,以达到第一个可行的解决方案。此外,CNN结构在没有当前解的投影作为输入的情况下工作,这节省了FP算法的每一步的计算工作量以找到投影。这突出了CNN结构的代表性力量。
2021-07-16 cs.LG
Network Resource Allocation Strategy Based on Deep Reinforcement Learning
State Grid Shandong Electric Power Research Institute(国网山东省电力科学研究院);China University of Petroleum (East China)(中国石油大学(华东))
传统互联网在为新兴技术需求分配网络资源方面遇到了瓶颈。网络虚拟化(NV)技术作为未来的网络体系结构,其支持的虚拟网络嵌入(VNE)算法在解决资源分配问题方面显示出巨大的潜力。结合高效的机器学习(ML)算法,构建了接近底层网络环境的神经网络模型,对强化学习Agent进行训练。针对现有启发式算法映射结果容易收敛于局部最优解的问题,提出一种基于深度强化学习(DRL)的两阶段VNE算法(TS-DRL-VNE)。针对现有的基于ML的VNE算法往往忽视底层网络表示和训练模式的重要性的问题,提出了一种基于全属性矩阵的DRL VNE算法(FAM-DRL-VNE)。针对现有VNE算法往往忽略虚拟网络请求间底层资源变化的问题,提出了一种基于矩阵扰动理论的DRL VNE算法(MPT-DRL-VNE)。实验结果表明,该算法优于其他算法。
2022-02-03 cs.DC cs.LG cs.NI
Scheduling That Speaks: An Interpretable Programmatic Reinforcement Learning Framework
Eindhoven University of Technology, Eindhoven, the Netherlands Centrum Wiskunde \& Informatica, Amsterdam, the Netherlands
本文提出了一种可解释的程序化强化学习框架ProRL,通过人类可读且可编辑的程序化策略实现高效调度,解决了传统深度强化学习在透明性和计算效率方面的不足。
2026-05-18 cs.AI cs.LG cs.SC
Deep Reinforcement Learning for Solving the Heterogeneous Capacitated Vehicle Routing Problem
National University of Singapore(新加坡国立大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院);Southwest Jiaotong University(西南交通大学);Shandong University(山东大学);Nanyang Technological University(南洋理工大学)
现有的基于深度强化学习(DRL)的求解能力约束车辆路径问题(CVRP)的方法本质上是处理同质车队,其中车队被假设为单个车辆的重复。因此,他们构建解决方案的关键仅仅在于选择要访问的下一个节点(客户),而不包括选择车辆。然而,在现实世界的情况下,车辆很可能是异构的,不同的特性,影响他们的能力(或行驶速度),使现有的日间行车方法不太有效。在本文中,我们解决了异构CVRP(HCVRP)问题,其中车辆主要以不同的容量为特征。我们考虑HCVRP的最小最大和最小和目标,其目的是最大限度地减少车队中车辆的最长或总行驶时间。为了解决这些问题,我们提出了一种基于注意力机制的DRL方法与车辆选择解码器占异构车队的约束和节点选择解码器占路线建设,它学会构建一个解决方案,自动选择车辆和节点,该车辆在每一步。基于随机生成的实例的实验结果表明,与各种问题大小的期望的推广,我们的方法优于最先进的DRL方法和大多数传统的启发式算法,也提供了与最先进的启发式探试法,即,SISR。此外,扩展实验的结果表明,我们的方法也能够解决CVRPLib实例,具有令人满意的性能。
2022-03-07 cs.LG math.OC
Vehicle management in a modular production context using Deep Q-Learning
Skalar Systems GmbH(斯卡拉系统有限责任公司);FH JOANNEUM – University of Applied Sciences(约阿内高等专业学院);Know-Center GmbH(诺中心有限责任公司);Graz University of Technology(格拉茨技术大学);Washington University in St. Louis(圣路易斯华盛顿大学)
我们调查部署基于Deep-Q的深度强化学习代理在模块化生产设施的上下文中的车间调度问题的可行性,使用离散事件模拟的环境。这些环境由待处理部件的源和汇以及(若干)工作站组成。代理人经过培训,可以安排自动引导车辆以最佳方式在这些站点之间来回运输零件。从一个非常简单的设置开始,我们增加了环境的复杂性,并比较代理的性能与完善的启发式方法,如先进先出的代理,成本表和最近邻的方法。此外,我们还寻求启发式方法所处环境的特定配置,以调查Deep-Q代理受这些挑战影响的程度。我们发现,基于Deep-Q的代理显示出与启发式基线相当的性能。此外,我们的研究结果表明,DRL代理表现出更强的鲁棒性噪声相比,传统的方法。总的来说,我们发现,DRL代理构成了这种类型的调度问题的一个有价值的方法。
2022-05-06 cs.AI cs.LG
Deep Contextual Bandits for Orchestrating Multi-User MISO Systems with Multiple RISs
新兴的可重构智能表面(RISs)技术具有将无线环境转化为可控系统的潜力,通过可编程的信息承载信号的传播。源于深度强化学习(DRL)领域的技术最近在最大化由RIS授权的多用户通信系统中的和速率性能方面获得了普及。这种方法通常基于马尔可夫决策过程(MDP)。在本文中,我们反而调查的范围内的多武装匪徒(MAB)设置,这是一个放松的MDP框架的和率设计问题。然而,在许多情况下,MAB公式更适合于在RIS文献中通常所作的假设下的信道和系统模型。为此,我们提出了一种更简单的DRL方法,用于在RIS授权的多用户多输入单输出(MISO)系统中编排多个元表面,我们在数字上显示了与最先进的基于MDP的方法同样出色的表现,同时计算要求较低。
2022-02-16 cs.IT eess.SP math.IT
Beyond Training: Optimizing Reinforcement Learning Based Job Shop Scheduling Through Adaptive Action Sampling
Institute for Technologies and Management of Digital Transformation(数字化转型技术与管理研究所)
本文针对作业车间调度中训练好的深度强化学习智能体在推理阶段使用不充分的问题,提出δ-采样方法以自适应调节探索与利用,并给出最优参数化算法,实验验证其能有效提升解的质量。
2024-06-11 cs.AI cs.LG
Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers
Indian Institute of Management Bangalore(班加罗尔印度管理学院);University of Antwerp(安特卫普大学)
研究随机订单到达下自主订单拣选机器人的动态电池充电问题,提出基于近端策略优化的深度强化学习框架,能动态学习充电站选择和充电时长,实验表明该框架可提高订单完成率、减少充电时间并验证其鲁棒性。
2026-07-08 cs.LG cs.MA math.OC
Deep Reinforcement Learning for Solving Management Problems: Towards A Large Management Mode
Random Seed Inc.(随机种子公司);Wuhan Institute for Artificial Intelligence(武汉人工智能研究院);Guanghua School of Management, Peking University(北京大学光华管理学院);Xiangjiang Laboratory(湘江实验室);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文提出统一的深度强化学习框架,通过生成式基础决策模型协调库存、定价与推荐等管理任务,并验证其优于启发式方法。
2024-03-01 cs.AI cs.LG
Learning Collaborative Policies to Solve NP-hard Routing Problems
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
最近,深度强化学习(DRL)框架已经显示出解决NP难路由问题的潜力,例如旅行商问题(TSP),而无需特定于问题的专家知识。虽然DRL可以用来解决复杂的问题,但DRL框架仍然难以与最先进的算法竞争,表现出巨大的性能差距。本文提出了一种新的分层问题求解策略,称为学习协作策略(LCP),它可以有效地找到近最优的解决方案,使用两个迭代DRL政策:播种机和修订。播种器生成尽可能多样化的候选解决方案(种子),同时致力于在整个组合动作空间上探索(即,分配动作的顺序)。为此,我们训练播种机的政策,使用一个简单而有效的熵正则化奖励,以鼓励播种机找到不同的解决方案。另一方面,修改器修改种子生成的每个候选解;它将完整的轨迹划分为子行程,并同时修改每个子行程以最小化其行进距离。因此,修订者被训练以提高候选解的质量,专注于减少的解空间(这有利于开发)。大量的实验表明,所提出的两个政策的合作计划改善了各种NP-难的路由问题,包括TSP,奖品收集TSP(PCTSP),和容量限制的车辆路由问题(CVRP)单政策的DRL框架。
2021-10-26 cs.LG stat.ML
Deep reinforcement learning for machine scheduling: Methodology, the state-of-the-art, and future directions
University of Victoria(维多利亚大学)
本文综述了深度强化学习在机器调度中的应用,按计算组件分类评估了各方法,指出其在速度和寻优上优于传统算法,并总结了泛化性与鲁棒性等未来挑战。
2023-10-04 cs.AI cs.LG cs.NE
Structure-Informed Deep Reinforcement Learning for Inventory Management
Amazon(亚马逊)
本文针对经典库存管理问题,提出基于DirectBackprop的通用深度强化学习方法,性能优于传统基准,还提出结构感知策略网络技术提升可解释性与鲁棒性,打通数据驱动学习与运筹解析洞察的壁垒。
2025-07-29 cs.LG math.OC
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies(华为技术有限公司)
本文对蜂窝网络下行分组调度问题进行了建模,使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习(DRL)框架。在该框架中采用了几种方法来提高采样和训练效率,并使算法适应特定的调度问题。数值结果表明,DRL优于基线算法,并达到类似的性能基因辅助方法,而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
Learning Memory-Enhanced Improvement Heuristics for Flexible Job Shop Scheduling
Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室);College of Software(软件学院);College of Computer Science and Technology(计算机科学与技术学院);Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学)
本文提出MIStar框架,通过记忆增强的异构图神经网络和并行贪婪搜索策略,提升灵活作业车间调度的调度效果。
2026-03-03 cs.AI cs.LG
Intent-Aware DRL-Based NOMA Uplink Dynamic Scheduler for IIoT
University of Oulu(奥卢大学);Menofia University(米诺菲亚大学);Institut National des Sciences Appliquées de Lyon (INSA Lyon)(里昂国立应用科学学院);Nokia Bell Labs(诺基亚贝尔实验室)
针对带QoS意图和随机业务到达的IIoT上行NOMA调度问题,提出利用DRL和基于图的状态动作空间约简的集中式动态调度器,显著提升QoS保障与成功计算任务数。
2025-01-05 cs.AI cs.IT cs.LG
Quantum-Inspired DRL Approach with LSTM and OU Noise for Cut Order Planning Optimization
Department of Informatics(信息学院);Jenderal of Achmad Yani University(阿赫马德·亚尼大学);Department of Physics(物理学院);Universitas Padjadjaran(帕达贾兰大学)
本文提出一种量子启发深度强化学习框架,融合LSTM与OU噪声以优化纺织裁切订单规划,实验显示面料成本最高可节省13%。
2025-08-13 cs.LG math.OC
Deep Reinforcement Learning Based Cross-Layer Design in Terahertz Mesh Backhaul Networks
Shanghai Jiao Tong University(上海交通大学);University of Michigan-Shanghai Jiao Tong University (UM-SJTU) Joint Institute(上海交通大学密西根学院)
针对太赫兹mesh回传网络中动态流量与链路故障下的跨层路由和资源分配难题,提出基于DRL的DEFLECT方案,通过启发式路由度量和分层多任务DRL实现长期资源效率最大化与毫秒级故障恢复。
2023-10-08 cs.LG
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
University of Information Technology, Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学信息技术大学);Monash University(莫纳什大学);CSIRO(澳大利亚联邦科学与工业研究组织)
提出QRLQ框架,将参数化量子电路与决斗双深度Q网络结合,在量子云编排中实现成本与延迟权衡,相比启发式方法降低成本延迟,且参数更少。
2026-09-24 cs.AI cs.DC cs.ET
Learning When to Switch: Composing Controllers to Traverse a Sequence of Terrain Artifacts
Queensland University of Technology (QUT)(昆士兰科技大学);CSIRO(澳大利亚联邦科学与工业研究组织);Monash University(莫纳什大学);LYRO Robotics Pty Ltd(LYRO机器人私人有限公司)
足式机器人通常使用单独的控制策略,这些策略是高度设计的,用于穿越困难的地形,如楼梯、间隙和台阶,其中只有当机器人处于相邻控制器共有的区域时,策略之间的切换才是可能的。深度强化学习(DRL)是手工设计控制设计的一个有前途的替代方案,尽管通常需要在训练之前知道完整的测试条件。DRL策略可能会导致复杂(通常不切实际)的行为,在相邻策略之间几乎没有或没有重叠区域,从而难以切换行为。在这项工作中,我们开发了多个日间行车线政策与课程学习(CL),每一个可以穿越一个各自的地形条件,同时确保政策之间的兼容性。然后,我们为每个目的地策略训练一个网络,该网络估计从任何其他策略成功切换的可能性。我们评估我们的切换方法对以前看不见的地形文物的组合,并表明它比探试法表现更好。虽然我们的方法是在单独的地形类型上训练的,但它对在全套地形条件下训练的深度Q网络进行了测试。这种方法允许在约束条件下开发单独的策略,并嵌入关于每个行为的先验知识,可扩展到任何数量的行为,并为现实世界中的应用准备DRL方法
2021-09-29 cs.AI cs.LG cs.RO
A Deep Reinforcement Learning (DRL)-Based Transformer Method for Solving the Open Shop Scheduling Problem
Louisiana State University(路易斯安那州立大学);University of Minnesota Duluth(明尼苏达大学杜鲁斯分校)
提出一种基于Transformer编码器-解码器架构的调度策略,仅以加工时间矩阵为输入,在Taillard小规模实例上训练后可直接推广至40x40至100x100的大规模问题,与经典调度规则相比具有竞争力。
2026-06-15 cs.AI cs.LG
Learning-enabled Flexible Job-shop Scheduling for Scalable Smart Manufacturing
DGIST(大邱庆北科学技术院)
针对FJSPT中DRL方法的规模泛化挑战,提出异构图调度器HGS,利用图结构决策框架降低编码复杂度,在未见过的大规模实例上优于传统方法。
2024-02-14 cs.AI cs.LG cs.SY
Rack Position Optimization in Large-Scale Heterogeneous Data Centers
Purdue University(普渡大学);George Washington University(乔治华盛顿大学);Meta Platforms, Inc.(元平台公司)
本文提出一种结合深度强化学习与梯度启发式的两层优化框架,解决大规模异构数据中心机架位置优化问题,在可扩展性、目标值和求解速度上显著优于传统MIP和启发式方法。
2025-03-31 cs.AI cs.DC cs.LG
A Rollout-Based Algorithm and Reward Function for Resource Allocation in Business Processes
Eindhoven University of Technology Department of Industrial Engineering(埃因霍温理工大学工业工程与创新科学系)
针对现有深度强化学习方法不适用于业务流程动态环境、依赖人工设计奖励函数易导致次优策略的问题,提出基于rollout的DRL算法与直接分解最小化周期时间目标的奖励函数,在多场景与真实规模流程上性能优于或持平最佳启发式方法。
2025-09-02 cs.AI cs.LG
TooBadRL: Trigger Optimization to Boost Effectiveness of Backdoor Attacks on Deep Reinforcement Learning
Southeast University(东南大学);Zhejiang University(浙江大学)
针对现有深度强化学习后门攻击触发器设计粗糙、效果受限的问题,提出TooBadRL框架从三方面优化触发器,实验证明其攻击成功率更高且对正常性能影响小,同时评估了防御策略并开源代码。
2025-11-18 cs.CR cs.LG
Temporal Shift Reinforcement Learning
Iowa State University(爱荷华州立大学)
传统的基于图像的深度强化学习(DRL)算法所采用的函数逼近器通常缺乏时间学习组件,而是专注于学习空间组件。我们提出了一种技术,时间转移强化学习(TSRL),其中时间,以及空间组件联合学习。此外,TSRL不需要额外的参数来执行时间学习。我们表明,TSRL优于常用的帧堆叠启发式的Atari环境,我们测试,而击败SOTA的其中之一。这项调查对机器人技术和顺序决策领域具有影响。
2021-10-27 cs.LG
RGMDT: Return-Gap-Minimizing Decision Tree Extraction in Non-Euclidean Metric Space
The George Washington University(乔治·华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);United States Military Academy(美国军事学院)
本文提出 RGMDT 算法,通过建立回报差距上界并将决策树提取转化为非欧几里得聚类问题,在给定复杂度约束下显著优于启发式 DT 基线并接近最优回报。
2024-10-21 cs.AI cs.LG
Edge-DIRECT: A Deep Reinforcement Learning-based Method for Solving Heterogeneous Electric Vehicle Routing Problem with Time Window Constraints
University of Calgary(卡尔加里大学)
本文针对带时间窗约束的异构电动汽车路径问题(HEVRPTW),提出基于深度强化学习的 Edge-DIRECT 方法,通过边缘增强编码和双注意力解码提升求解质量与效率,并在真实数据集上验证了其优越性。
2024-06-28 cs.AI cs.LG
Deep Reinforcement Learning for Traveling Purchaser Problems
Department of Automation \& BNRist, Tsinghua University, Beijing 100084, China;AI Laboratory, Lenovo Research, Beijing 100193, China;School of Computer Science;Engineering, South China University of Technology, Guangzhou 510641, China
本文提出一种基于深度强化学习的旅行采购员问题求解方法,通过二分图表示和策略网络分离路径构建与采购规划,并结合元学习提升泛化能力,在TPPLIB等基准上显著优于现有启发式方法。
2025-07-02 cs.AI cs.LG math.OC
MA-HEAD-Net: Adaptive Rule-Guided Multi-Agent DRL for AoI Minimization in UAV-Assisted Emergency Networks
该研究针对异构应急服务的无人机辅助应急通信场景,提出MA-HEAD-Net框架,通过自适应规则引导的多智能体深度强化学习优化联合调度,实现了更低的信息年龄(AoI)与更高的策略形成效率。
2026-08-04 cs.AI cs.LG
Vehicle-as-Prompt: A Unified Deep Reinforcement Learning Framework for Heterogeneous Fleet Vehicle Routing Problem
Polytechnic Institute, Zhejiang University(浙江大学工程师学院);S.F. Technology Co., Ltd.(顺丰科技有限公司);School of Management, Zhejiang University(浙江大学管理学院)
本文提出Vehicle-as-Prompt框架,解决异质车队车辆路径问题中的复杂约束,通过跨语义编码器和多视角解码器有效处理各种变体,提升求解效率和泛化能力。
2026-04-06 cs.LG
Multi-User Beamforming with Deep Reinforcement Learning in Sensing-Aided Communication
Department of Electronic Systems, Aalborg University(电子系统系,奥胡斯大学);Department of Electrical and Computer Engineering, Aarhus University(电气与计算机工程系,奥胡斯大学)
本文针对毫米波通信中移动用户的波束漂移问题,提出基于深度强化学习的多波束动态分配方法,仅依赖感知回波优化波束管理,在无需用户反馈的情况下显著提升吞吐量并对用户速度具有鲁棒性。
2025-05-09 cs.LG cs.NI eess.SP
Synergizing Reinforcement Learning and Genetic Algorithms for Neural Combinatorial Optimization
C 2 DL, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对深度强化学习求解组合优化存在探索不足、易陷局部最优的问题,提出融合DRL与遗传算法的即插即用进化增强机制EAM,经理论验证与多基准实验表明其可显著提升解质量与训练效率。
2025-06-11 cs.LG cs.NE
ToupleGDD: A Fine-Designed Solution of Influence Maximization by Deep Reinforcement Learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Beijing Normal University(北京师范大学);BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院)
本文提出了一种新颖的端到端深度强化学习框架ToupleGDD,通过结合耦合图神经网络和双重深度Q网络解决影响力最大化问题,在小图训练大图测试的设置下展现出强大的泛化能力与优越性能。
2023-04-28 cs.LG cs.SI