Real-time scheduling of renewable power systems through planning-based reinforcement learning
Tsinghua University（清华大学）；State Grid Corporation of China（国家电网有限公司）；National Power Dispatching and Control Center（国家电力调度控制中心）；China Electric Power Research Institute（中国电力科学研究院）
不断增长的可再生能源对传统的电力调度提出了重大挑战。运营商很难获得准确的可再生能源发电的前一天预测，从而要求未来的调度系统做出与超短期预测一致的实时的【形】调度决策。受计算速度的限制，传统的基于优化的方法无法解决这一问题。强化学习（RL）的最新发展已经证明了解决这一挑战的潜力。然而，现有的强化学习方法在约束复杂度、算法性能和环境保真度方面存在不足。我们是第一个基于最先进的强化学习算法和真实电网环境提出系统解决方案的公司。所提出的方法使规划和更精细的时间分辨率调整发电机，包括单位承诺和经济调度，从而提高电网的能力，接纳更多的可再生能源。训练有素的调度代理显着减少可再生能源削减和负荷削减，这是传统调度依赖于不准确的前一天预测所产生的问题。高频控制决策利用了现有机组的灵活性，减少了电网对硬件改造的依赖，节省了投资和运营成本，实验结果表明。这项研究展示了强化学习在促进低碳和智能电力系统方面的潜力，并代表了可持续发电的坚实一步。
2023-03-13 cs.AI cs.LG cs.SY
Optimal Scheduling of Isolated Microgrids Using Automated Reinforcement Learning-based Multi-period Forecasting
Northeast Electric Power University（东北电力大学）；State Grid Beijing Electric Power Company（国网北京市电力公司）
为了减少负荷和可再生能源输出的不确定性对微电网运行的负面影响，提出了一种基于自动强化学习的可再生能源发电量和负荷多时段预测的孤立微电网优化调度模型。首先，优先经验重放自动强化学习（PER-AutoRL）旨在以定制的方式简化基于深度强化学习（DRL）的预测模型的部署，首次提出了基于PER-AutoRL的单步多期预测方法，以解决现有多步预测方法所遭受的误差累积问题，然后通过误差分布对所提出的预测方法得到的预测值进行修正，提高预测精度;其次，以微网总运行成本最小为目标，构建了考虑需求响应的调度模型，并将修正后的预测值作为调度依据，最后，利用序列运算理论（SOT）将原调度模型转化为一个易于求解的混合整数线性规划问题，并利用CPLEX求解器对转化后的模型进行求解。仿真结果表明，与传统的无预测调度模型相比，该方法提高了预测精度，显著降低了系统运行成本。
2021-08-15 cs.LG cs.SY eess.SP
ScheduleNet: Learn to solve multi-agent scheduling problems with reinforcement learning
KAIST（韩国科学技术院）
我们提出了一种基于RL的实时调度器，可以解决各种类型的多代理调度问题。我们将这些问题描述为具有情景奖励（makespan）的半MDP，并学习了ScheduleNet，这是一种分散的决策策略，可以有效地协调多个代理来完成任务。调度网的决策过程包括：（1）用Agent-任务图表示调度问题的状态;（2）利用类型感知图注意力（TGA）提取Agent和任务节点的节点嵌入，即Agent和任务之间的重要关系信息;我们验证的有效性ScheduleNet作为一个通用的学习为基础的调度解决各种类型的多代理调度任务，包括多个销售员旅行问题（mTSP）和作业车间调度问题（JSP）。
2021-06-06 cs.AI cs.LG cs.MA
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习的快速发展，近年来深度强化学习（Deep Reinforcement Learning，DRL）开始出现在资源调度领域。本文在前人研究的基础上，介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比，该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
Scheduling Inference Workloads on Distributed Edge Clusters with Reinforcement Learning
Politecnico di Torino（都灵理工大学）；Saint Louis University（圣路易斯大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Telefónica Research（西班牙电信研究院）
许多实时应用（例如，增强/虚拟现实、认知辅助）依赖于深度神经网络（DNN）来处理推理任务。边缘计算被认为是部署此类应用程序的关键基础设施，因为将计算移动到数据源附近使我们能够满足严格的延迟和吞吐量要求。然而，边缘网络的约束性质给推理工作负载的管理带来了一些额外的挑战：边缘集群无法为DNN模型提供无限的处理能力，并且在端到端延迟要求方面，通常应该考虑网络和处理时间之间的权衡。在本文中，我们专注于在短时间尺度（即，几毫秒）。通过模拟，我们分析了几个政策在现实的网络设置和工作负载的一个大型ISP，强调需要一个动态的调度策略，可以适应网络条件和工作负载。因此，我们设计了ASET，一个基于强化学习的调度算法，能够根据系统条件调整其决策。我们的研究结果表明，ASET有效地提供了最好的性能相比，静态策略调度时，在一个分布式的边缘资源池。
2023-01-31 cs.LG cs.NI cs.SY
Enhancing Cyber-Resilience in Integrated Energy System Scheduling with Demand Response Using Deep Reinforcement Learning
School of Electrical Engineering, Northeast Electric Power University（东北电力大学电气工程学院）；State Grid XiXian New Area Power Supply Company（国家电网西安新区供电公司）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；The Hong Kong University of Science and Technology（香港科技大学）；Institute of Energy Technology, Aalborg University（奥尔堡大学能源技术研究所）；Illinois Institute of Technology（伊利诺伊理工大学）
本文针对综合能源系统在不确定性和网络攻击下的调度问题，提出基于状态对抗深度强化学习的无模型韧性调度方法，设计综合需求响应程序并引入SA-SAC算法，仿真显示经济性能较SAC提升10%。
2024-11-03 cs.LG cs.SY eess.SY
Robust Deep Reinforcement Learning Scheduling via Weight Anchoring
University of Bremen（不来梅大学）
针对深度强化学习从仿真到现实迁移的鲁棒性问题，本文引入持续学习中的权重锚定来固定期望行为，并在混合 QoS 离散资源调度中验证其性能与鲁棒性。
2023-04-20 cs.AI cs.LG cs.SY
Reinforcement Learning based Condition-oriented Maintenance Scheduling for Flow Line Systems
Center for Cyber Cognitive Intelligence (CCI), Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所网络认知智能中心）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（斯图加特大学工业制造与管理研究所）
维护调度是生产领域中的一个复杂决策问题，其中必须将许多维护任务和资源分配和调度给生产实体，以防止计划外的生产停机。需要能够适应生产系统的动态和不同条件的智能维护策略。提出了一种基于深度强化学习的面向状态检修调度方法。不同的政策学习，分析和评估对基准调度启发式奖励建模的基础上。学习策略的评估表明，基于强化学习的维护策略满足所提出的用例的要求，并适用于车间的维护调度。
2021-08-27 cs.LG
Adaptive Gain Scheduling using Reinforcement Learning for Quadcopter Control
Stanford University（斯坦福大学）
本研究提出用强化学习PPO训练策略以在飞行中调整四旋翼级联反馈控制器增益，经实验验证其相比静态增益控制器可降低40%以上的轨迹跟踪误差。
2024-03-12 cs.LG cs.RO cs.SY
Digital Twin-Assisted Efficient Reinforcement Learning for Edge Task Scheduling
Xidian University（西安电子科技大学）
当一个用户将多个不同的任务卸载到边缘服务器时，任务调度是一个关键问题。当用户有多个任务需要卸载，并且每次只能向服务器发送一个任务，而服务器根据发送顺序处理任务时，该问题是NP难的。然而，传统的优化方法难以快速获得最优解，而基于强化学习的方法面临着动作空间过大、收敛速度慢的挑战。本文提出了一种基于数字孪生（DT）辅助RL的任务调度方法，以提高RL的性能和收敛性。我们使用DT来模拟Agent所做的不同决策的结果，这样一个Agent可以一次尝试多个动作，或者类似地，多个Agent可以在DT中并行地与环境交互。这样，通过DT可以显著提高RL的探索效率，从而RL可以更快地收敛，并且不太可能发生局部最优。特别地，设计了两种算法来进行任务调度决策，即，DT辅助的异步Q学习（DTAQL）和DT辅助的探索Q学习（DTEQL）。仿真结果表明，两种算法均通过提高探索效率，显著提高了Q学习的收敛速度。
2022-08-02 cs.AI cs.LG cs.SY
VMAgent: Scheduling Simulator for Reinforcement Learning
East China Normal University（华东师范大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；The Chinese University of Hong Kong-Shenzhen（香港中文大学（深圳））
介绍了一种新的模拟器VMAgent，以帮助RL研究人员更好地探索新的方法，特别是虚拟机调度。VMAgent的设计灵感来自于实际的虚拟机调度任务，它提供了一个能够反映云计算实际情况的高效仿真平台。从实际的云计算中总结出三种场景（衰落，恢复和扩展），并对应于许多强化学习挑战（高维状态和动作空间，高度非平稳性和终身需求）。VMAgent为RL研究人员提供灵活的配置，以设计考虑不同问题特征的定制调度环境。从虚拟机调度的角度来看，VMAgent还有助于探索更好的基于学习的调度解决方案。
2021-12-09 cs.AI cs.LG
The Pump Scheduling Problem: A Real-World Scenario for Reinforcement Learning
Normandie Université（诺曼底大学）；INSA Rouen（里昂大学鲁昂分校）；LITIS Rouen（鲁昂LITIS研究所）；Technical University of Kaiserslautern（凯撒斯劳滕技术大学）；SAM Kaiserlaustern（凯撒斯劳滕SAM）
本文提出基于真实供水设施泵调度问题的 DRL 测试平台，集成高保真模拟器、三年1分钟级人工运行数据和基线任务，以支持离线、安全、逆强化学习及多目标优化研究。
2025-05-12 cs.AI cs.LG cs.SY
Deep Reinforcement Learning for Multi-Resource Multi-Machine Job Scheduling
Research Center of Smart Networks and Systems, Fudan University（复旦大学智慧网络与系统研究中心）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）
最小化作业调度时间是数据中心网络中的一个基本问题，近年来得到了广泛的研究。传入的作业需要不同的CPU和内存单元，并跨越不同数量的时隙。传统的解决方法是在一定的假设条件下设计出具有性能保证的高效启发式算法。本文利用深度强化学习改进了最近提出的一种作业调度算法，并将其扩展到多服务器集群。我们的研究表明，深度强化学习方法有可能在各种复杂环境中优于传统的资源分配算法。
2017-11-20 cs.DC cs.LG cs.PF
Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling
我们考虑的问题，在约束的调度网络中，以最小化数据包延迟。现代通信系统正变得越来越复杂，并且需要处理具有广泛变化的特性（诸如到达速率和服务时间）的多种类型的业务。这与快速网络部署的需要相结合，使得首先表征业务然后设计适当的调度协议的自自底向上的的方法不可行。相比之下，我们制定了一个自上而下的方法来调度，给定一个未知的网络和一组调度策略，我们使用一个基于策略梯度的强化学习算法，产生一个调度器，比可用的原子策略执行得更好。我们推导了算法的收敛性结果，并分析了算法的有限时间性能。仿真结果表明，该算法即使在到达率非平稳的情况下也能保持较好的性能，即使在组成策略不稳定的情况下也能稳定系统。
2021-05-01 cs.LG
Network Contention-Aware Cluster Scheduling with Reinforcement Learning
Seoul National University（首尔大学）
本文提出一种基于强化学习的GPU集群调度方法，通过学习网络争用感知策略动态调整调度决策，相比常用策略将平均作业完成时间最多降低18.2%，尾部完成时间最多降低20.7%。
2023-10-31 cs.DC cs.LG
Buffer Pool Aware Query Scheduling via Deep Reinforcement Learning
Brandeis University（布兰迪斯大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Intel Labs（英特尔实验室）
在这个扩展的摘要中，我们提出了一种新的查询调度技术，其明确的目标是减少磁盘读取，从而隐式地提高查询性能。我们引入SmartQueue，一个学习调度器，利用传入查询之间的重叠数据读取，并学习调度策略，提高缓存命中。SmartQueue依赖于深度强化学习来生成特定于工作负载的调度策略，这些策略专注于长期性能优势，同时适应以前看不到的数据访问模式。我们提出的结果，从一个概念验证原型，证明了学习的调度器可以提供显着的性能改进手工制作的调度算法。最终，我们证明这是机器学习和数据库交叉的一个有前途的研究方向。
2022-07-27 cs.DB cs.LG
Improving Mixed-Criticality Scheduling with Reinforcement Learning
The American University in Cairo（开罗美国大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文提出一种基于强化学习的混合关键性系统非抢占式调度方法，将其建模为MDP，实验表明该方法在10万实例中显著提升任务完成率，高关键性任务完成率达85%，稳定条件下达93%。
2025-04-08 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Long Term Hydropower Production Scheduling
SINTEF Digital（SINTEF数字）；SINTEF Energy Research（SINTEF能源研究）
我们探索使用深度强化学习为水电生产的长期调度提供策略。我们考虑一个用例，其目的是优化每周流入水库和电价的年收入。面临的挑战是，在系统受到限制的情况下，决定是以电力的现货价格立即放水，还是以未知价格储存水供以后发电。我们成功地训练了一个软演员评论家算法的简化方案与北欧电力市场的历史数据。所提出的模型是不准备取代传统的优化工具，但证明了互补的潜力，强化学习在数据丰富的水电调度领域。
2020-12-09 cs.AI cs.LG
An efficient deep reinforcement learning environment for flexible job-shop scheduling
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and astronautics（南京航空航天大学）
针对柔性作业车间调度问题，本文提出一种基于离散事件模拟的高效深度强化学习环境及基于PPO的端到端调度模型，并设计新状态表示和奖励函数，实验证明其性能优于或媲美现有方法。
2025-09-07 cs.AI cs.LG
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies（华为技术有限公司）
本文对蜂窝网络下行分组调度问题进行了建模，使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习（DRL）框架。在该框架中采用了几种方法来提高采样和训练效率，并使算法适应特定的调度问题。数值结果表明，DRL优于基线算法，并达到类似的性能基因辅助方法，而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
Deep Reinforcement Agent for Scheduling in HPC
Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）；Northern Illinois University（北伊利诺伊大学）
集群调度器是高性能计算中的关键技术。它决定何时以及哪些用户作业应该分配给可用的系统资源。现有的集群调度算法是由人类专家根据他们对特定HPC系统和工作负载的经验开发的。然而，计算系统的日益复杂性和应用程序工作负载的高度动态性给手动设计和调整的调度算法带来了巨大的负担。HPC中的集群调度需要更积极的优化和自动化。在这项工作中，我们提出了一个自动化的HPC调度代理DRAS（深度强化代理调度），利用深度强化学习。DRAS是建立在一个新的，分层的神经网络纳入特殊的HPC调度功能，如资源预留和调度。提出了一种独特的训练策略，使DRAS能够快速学习目标环境。一旦系统管理员给出了一个特定的调度目标，DRAS自动学习，以改善其政策，通过与调度环境的互动，并动态调整其政策的工作负载的变化。不同生产负载的实验表明，DRAS优于现有的启发式和优化方法高达45%。
2021-04-19 cs.AI cs.DC cs.LG
Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
Stevens Institute of Technology（斯蒂文斯理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；North Carolina State University（北卡罗来纳州立大学）；Trine University（特莱恩大学）
针对大规模云计算任务调度的复杂性与实时性需求，本文提出基于深度学习和强化学习的Kubernetes自动调度方案，通过实时监控预测与动态策略调整，实现资源最优利用和任务效率最大化。
2024-02-26 cs.AI cs.DC cs.LG
Safe Hierarchical Reinforcement Learning for CubeSat Task Scheduling Based on Energy Consumption
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg (UL)（卢森堡大学跨学科安全、可靠性与信任中心（SnT））；Automation and Robotics Research Group (ARG)（自动化与机器人研究组）；Space Systems Research Group (SpaSys)（空间系统研究组）
本文提出一种基于分层强化学习的CubeSat任务调度方法，结合SABE任务优先级排序和MLP能量消耗预测，实现安全容错的实时调度，仿真表明其收敛性和任务成功率优于MADDPG和随机调度。
2023-09-21 cs.AI cs.LG cs.MA
Semantic-aware Transmission Scheduling: a Monotonicity-driven Deep Reinforcement Learning Approach
The University of Sydney（悉尼大学）；Queensland University of Technology (QUT)（昆士兰科技大学）
针对6G信息物理系统中语义感知传输调度决策空间巨大、现有算法难以求得最优策略的问题，本文分析最优策略性质并据此提出单调性驱动的DRL算法，显著减少训练时间并提升性能。
2023-09-21 cs.AI cs.IT cs.LG
A Deep Reinforcement Learning Approach to Multi-component Job Scheduling in Edge Computing
UMass Boston（马萨诸塞大学波士顿分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）
我们感兴趣的是边缘计算系统中多组件应用程序作业集合的最佳调度，该系统由通过广域网连接的地理分布边缘计算节点组成。由于每个作业的多个组件的相互依赖性，以及地理上分布的数据源和边缘节点之间的通信延迟及其动态可用性，边缘系统中的应用作业的调度和放置是具有挑战性的。在本文中，我们探讨了应用基于深度强化学习（DRL）的设计来应对这些挑战的可行性。我们引入了一个DRL演员评论家算法，旨在找到一个最佳的调度策略，以最大限度地减少边缘系统中的平均作业减速。我们已经通过模拟证明，我们的设计优于一些现有的算法，基于合成数据和谷歌云数据跟踪。
2020-01-23 cs.DC cs.LG
MCRL2: Multi-resource Cross-attention-based Representation Learning-augmented Reinforcement Learning for Cloud Microservice Scheduling
Wuhan University（武汉大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对云微服务调度中资源动态失衡与异构耦合问题，提出MCRL2，利用多资源交叉注意力表示学习增强强化学习，在真实集群轨迹上显著提升负载均衡、调度成功率并降低平均完成时间。
2026-09-14 cs.LG
MEETING BOT: Reinforcement Learning for Dialogue Based Meeting Scheduling
TCS Research, New Delhi（塔塔咨询服务公司研究部（TCS Research），新德里）
在本文中，我们提出了会议机器人，一个基于强化学习的会话系统，与多个用户进行交互，以安排会议。该系统能够解释用户话语并将其映射到首选时隙，然后将其馈送到强化学习（RL）系统，目标是收敛到一个合适的时隙。RL系统能够适应用户偏好和环境变化，满足到达率，同时仍然有效地调度。通过利用MLP作为策略函数的近似器，经由具有探索的策略梯度来执行学习。结果表明，该系统优于标准调度算法的整体调度效率。此外，当用户始终拒绝或接受某些时段（例如周五下午与周四上午）的会议时，或者当会议由更高级的成员召集时，系统能够调整其策略。
2018-12-28 cs.AI cs.CL cs.LG
Deep Reinforcement Learning for Community Battery Scheduling under Uncertainties of Load, PV Generation, and Energy Prices
Monash University（莫纳什大学）；Monash Energy Institute（莫纳什能源研究所）
本文提出以SAC为核心并结合噪声网络的深度强化学习策略，在PV、负荷和价格不确定下实现社区电池的多重调度目标，实验证明其优于PPO、DDPG及优化基准。
2023-12-04 cs.AI cs.LG math.OC
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出一种基于深度强化学习（DRL）的边缘云协同资源调度优化方法，有效提升了任务处理效率与资源利用率并控制任务迁移，实验证明其优于传统算法，未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
Towards Standardising Reinforcement Learning Approaches for Production Scheduling Problems
TU Dortmund University（多特蒙德工业大学）
近年来，人们对使用机器学习，特别是强化学习（RL）来解决不同复杂程度的生产调度问题的兴趣有所增加。一般的方法是将调度问题分解为马尔可夫决策过程（MDP），然后使用实现MDP的模拟来训练RL代理。由于现有的研究依赖于（有时）复杂的模拟，代码是不可用的，提出的实验是困难的，或者，在随机环境的情况下，不可能准确地再现。此外，还有大量的RL设计可供选择。为了使强化学习方法广泛应用于生产调度并发挥其在行业中的优势，模型描述（包括生产设置和强化学习设计）和验证方案的标准化是一个先决条件。我们的贡献是三方面的：首先，我们标准化的RL研究中使用的生产设置的描述基于既定的命名法。其次，我们从现有的出版物中分类RL设计选择。最后，我们提出了一个验证方案的建议，重点是再现性和充分的基准。
2023-02-15 cs.LG
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California（南加州大学）
从便携式嵌入式系统到计算机集群系统，能耗是设计计算设备时最关键的问题之一。此外，在过去的十年中，集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序，其中的性能是非常重要的。然而，由于实时工作负载的不同特点，开发通用的作业调度解决方案，有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中，受到将深度强化学习应用于资源管理问题的最新进展的启发，我们提出了Deep-EAS调度器，该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略，而无需最初了解任何关于手头调度任务的信息。结果表明，Deep-EAS收敛速度快，性能优于标准的手动调整算法，特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
Intelligent Task Scheduling for Microservices via A3C-Based Reinforcement Learning
University of Michigan（密歇根大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出基于A3C强化学习的微服务自适应调度方法，将调度建模为马尔可夫决策过程并联合优化策略与价值网络，通过异步多线程机制提升收敛效率，实验证明其在多任务并发下有效缓解资源瓶颈并提升系统稳定性。
2025-05-01 cs.DC cs.LG
Optimizing Load Scheduling in Power Grids Using Reinforcement Learning and Markov Decision Processes
South China University of Technology（华南理工大学）；China Southern Power Grid（中国南方电网）
本文提出基于强化学习和马尔可夫决策过程的电网负荷调度方法，通过Q-Learning、DQN和Actor-Critic等算法在模拟环境中验证了其提高调度效率、适应需求波动的鲁棒性与可扩展性。
2024-10-23 cs.LG
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation（英特尔公司）；Princeton University（普林斯顿大学）
调度在多用户无线通信中起着关键的作用，因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习（DRL）的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程，并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计，用于训练DRL网络。更具体地说，原来的准连续的动作空间，这是固有的连续的FERMARY，被细化成一个有限的和离散的动作空间，以获得推理延迟和系统性能之间的权衡。仿真结果表明，该算法在具有较低的在线计算复杂性的同时，性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments
Northeastern University（东北大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Utah（犹他大学）；Columbia University（哥伦比亚大学）；Western University（韦仕敦大学）
本研究提出基于Q-learning的自适应调度算法，通过动态学习优化任务完成时间和资源利用率，优于传统及DRA方法，为大规模智能调度提供可扩展方案。
2024-11-08 cs.DC cs.LG
Application of Reinforcement Learning for 5G Scheduling Parameter Optimization
Vodafone Qatar（卡塔尔沃达丰）
RF网络参数优化需要丰富的经验和知识，以实现覆盖范围、容量、系统效率和服务用户的电信站点的客户体验之间的最佳平衡。对于5G，由于使用大规模MIMO、波束成形和引入具有不同参数集的更高调制方案，空中接口调度的复杂性已经增加。在这项工作中，我们调整机器学习模型，使用交叉熵方法强化学习“学习”给定流量配置文件的最佳参数组合，并将其与RF主题专家“SME”建议进行比较。这项工作的目的是自动参数调整和功能优化作为一个自组织网络模块
2019-10-21 cs.LG cs.NI
Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
Illinois Institute of Technology（伊利诺伊理工学院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
针对DRL集群调度缺乏可解释性阻碍实际部署的问题，提出IRL框架，利用模仿学习、DAgger算法和关键状态修剪将黑盒DNN策略转换为可解释的决策树，在保持调度性能的同时提升可解释性并辅助奖励设定。
2024-03-24 cs.AI cs.DC cs.LG
Adaptive Double-Booking Strategy for Outpatient Scheduling Using Multi-Objective Reinforcement Learning
Kumoh National Institute of Technology（金乌国立工科大学）
本文提出一种基于多目标强化学习的自适应双订策略，通过个性化缺席预测和多策略共进化机制，动态优化门诊调度决策，提升效率并减少患者等待时间。
2026-03-07 cs.LG
LLM-Upgraded Graph Reinforcement Learning for Carbon-Aware Job Scheduling in Smart Manufacturing
Singapore Institute of Technology（新加坡理工学院）；Singapore University of Social Sciences（新加坡社会科学研究大学）；D-SIMLAB Technologies（D-SIMLAB技术公司）
Luca通过结合LLM和图神经网络，实现碳感知作业调度的高效优化，实验显示其在完成时间和排放方面均优于现有方法。
2025-12-06 cs.CL cs.LG
On the Role of DAG topology in Energy-Aware Cloud Scheduling : A GNN-Based Deep Reinforcement Learning Approach
Université Grenoble Alpes, CNRS, Grenoble INP, G-SCOP（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，G-SCOP实验室）
本文研究了单工作流无队列调度场景，提出基于GNN的深度强化学习调度器以最小化完成时间和能耗，分析了GNN调度器在分布外条件下的失效原因，揭示了当前GNN调度器的局限性。
2026-04-10 cs.AI cs.LG
A Reinforcement Learning Environment For Job-Shop Scheduling
University of Klagenfurt（克拉根福大学）；Graz University of Technology（格拉茨技术大学）
调度是在各种自动化系统应用中发生的基本任务，例如，在作业车间的机器的最佳调度允许降低生产成本和浪费。然而，找到这样的时间表往往是棘手的，不能实现组合优化问题（COP）的方法在给定的时间限制。深度强化学习（DRL）在学习复杂行为方面的最新进展使新的COP应用成为可能。本文提出了一个有效的DRL环境的作业车间调度-在该领域的一个重要问题。此外，我们设计了一个有意义的和紧凑的状态表示，以及一个新的，简单的密集的奖励函数，密切相关的稀疏的使跨度最小化准则的COP方法。我们证明，我们的方法显着优于现有的DRL方法的经典基准实例，接近国家的最先进的COP方法。
2021-04-08 cs.AI cs.LG cs.NE
Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling
Vicomtech Foundation（维康科技基金会）；University of Naples "Federico II"（那不勒斯费德里科二世大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文使用多智能体强化学习（MARL）方法解决带设置时间和资源的无关并行机调度问题（UPMS），通过引入强化学习环境并比较单智能体与多智能体算法，验证了Maskable PPO和Multi-Agent PPO的有效性，并强调算法复杂性与可扩展性平衡的重要性。
2024-11-12 cs.AI cs.LG cs.MA
Using Deep Reinforcement Learning for mmWave Real-Time Scheduling
Technion（以色列理工学院）；Ceragon Ltd.（Ceragon公司）
我们研究了多跳毫米波（mmWave）网格中的实时的【形】调度问题。我们开发了一种无模型的深度强化学习算法，称为自适应激活器RL（AARL），它确定了在每个时隙期间应该激活的毫米波链路的子集以及每个链路的功率水平。AARL最重要的特性是它能够在典型5G毫米波网络的严格时隙限制内做出调度决策。AARL可以处理各种网络拓扑结构、网络负载和干扰模型，还可以适应不同的工作负载。我们演示了AARL在几种拓扑结构上的操作：一个有10个链接的小型拓扑结构，一个有48个链接的中等大小的网格，以及一个有96个链接的大型拓扑结构。我们表明，对于每个拓扑结构，我们比较AARL获得的吞吐量的基准算法称为RPMA（剩余利润最大化算法）。与RPMA相比，AARL最重要的优点是速度快得多，并且可以在每个时隙期间非常快速地做出必要的调度决策，而RPMA则不能。此外，AARL的调度决策质量优于RPMA。
2023-02-18 cs.LG cs.NI
Agile Reinforcement Learning for Real-Time Task Scheduling in Edge Computing
Ontario Tech University（安大略理工大学）
针对边缘计算软实时任务调度中强化学习适应慢、探索无关动作多的问题，提出aRL，通过有依据探索和动作掩码提升命中率并加快收敛。
2025-06-10 cs.LG
NICE: Robust Scheduling through Reinforcement Learning-Guided Integer Programming
US Air Force-MIT AI Accelerator（美国空军-麻省理工学院人工智能加速器）；MIT（麻省理工学院）
可编程逻辑程序提供了一个强大的抽象，代表了广泛的现实世界的调度问题。尽管他们能够模拟一般的调度问题，解决大规模整数规划（IP）在实践中仍然是一个计算上的挑战。纳入更复杂的目标，如鲁棒性中断进一步加剧了计算的挑战。我们提出了NICE（神经网络IP系数提取），一种新的技术，结合强化学习和整数规划来解决鲁棒调度问题。更具体地说，NICE使用强化学习来近似表示整数规划公式中的复杂目标。我们使用NICE来确定飞行员的飞行机组时间表分配，以减少中断的影响。我们比较NICE与（1）基线整数规划公式，产生一个可行的船员计划，和（2）一个强大的整数规划公式，明确地试图尽量减少中断的影响。我们的实验表明，在各种情况下，NICE产生的时间表，导致33%至48%的中断比基线配方。此外，在鲁棒整数规划无法在90分钟内生成调度的更严格约束的调度场景中，NICE能够在平均不到2秒的时间内构建鲁棒调度。
2022-04-14 cs.AI cs.LG
Measurement Scheduling for ICU Patients with Offline Reinforcement Learning
University of Toronto（多伦多大学）
针对ICU患者冗余实验室检查问题，本研究为新发布的MIMIC-IV数据集引入预处理流程，并探索最先进Offline-RL方法在优化检查调度策略上的有效性及实用性。
2024-02-12 cs.AI cs.LG
Offline reinforcement learning for job-shop scheduling problems
TECNALIA（泰克纳利亚技术中心）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country（巴斯克大学）
本文提出一种新型离线强化学习方法，通过异构图表示状态、边属性编码动作并平衡奖励与专家模仿，有效解决了具有复杂约束的作业车间调度问题，性能优于现有技术。
2025-04-05 cs.AI cs.LG
A Reinforcement Learning Approach for Scheduling in mmWave Networks
UCLA（加州大学洛杉矶分校）；USC（南加州大学）；ARL, USARMY（美国陆军研究实验室）
我们考虑希望在毫米波网络上以期望速率与目的地通信的源，在毫米波网络中，链路遭受阻塞并且节点遭受故障（例如，在敌对的军事环境中）。为了实现对链路和节点故障的恢复能力，我们在这里探索了一种最先进的Soft Actor-Critic（SAC）深度强化学习算法，该算法在不使用链路容量或网络拓扑知识的情况下调整通过网络的信息流。数值计算表明，该算法即使在动态环境中也能达到期望的速率，并且对阻塞具有鲁棒性。
2021-08-01 cs.IT cs.LG math.IT
Real-Time Scheduling via Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
信息物理系统，如移动机器人，必须适应动态的操作条件。这些系统的有效操作需要及时执行感测和致动任务。此外，执行任务特定的任务，如成像的房间必须与需要执行更一般的任务，如避障平衡。通过将任务间共享资源的相对利用率保持在用户指定的目标水平附近，已经解决了这个问题。产生最优调度策略需要任务行为的完整先验知识，这在实践中是不可能的。相反，合适的调度策略必须通过与系统的交互在线学习。我们考虑了强化学习在这一领域的样本复杂性，并证明了虽然问题状态空间是可数无限的，但我们可以利用问题的结构来保证有效的学习。
2012-03-15 cs.AI cs.LG stat.ML
Reinforcement Learning as an Improvement Heuristic for Real-World Production Scheduling
Fraunhofer IOSB-INA（弗劳恩霍夫IOSB-INA研究所）；Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
本研究针对现实世界多目标生产调度问题，提出将带Transformer编码的强化学习作为改进启发式，通过采样交换作业对迭代优化次优解，经真实工业数据测试性能优于其他启发式方法。
2024-09-18 cs.LG
Solving Integrated Process Planning and Scheduling Problem via Graph Neural Network Based Deep Reinforcement Learning
Shanghai University of Finance and Economics（上海财经大学）；Cardinal Operations；Shanghai Jiao Tong University（上海交通大学）
本文提出一种端到端深度强化学习方法，将IPPS建模为MDP并用异构图神经网络捕捉操作、机器与作业关系，结合PPO优化调度策略，在大规模实例中显著提升求解效率与质量。
2024-09-02 cs.AI cs.LG math.OC
Job Shop Scheduling via Deep Reinforcement Learning: a Sequence to Sequence approach
University of Turin（都灵大学）
本文提出了一种基于序列到序列编码器-解码器模型的端到端深度强化学习方法，用于自动学习作业车间调度规则，在基准测试中优于经典优先调度方法并与最先进深度强化学习方法表现相当。
2023-08-03 cs.AI cs.LG cs.NE
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine（加利福尼亚大学欧文分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
最大熵强化学习（MaxEnt RL）算法，如Soft Q-Learning（SQL）和Soft Actor-Critic权衡奖励和策略熵，这有可能提高训练稳定性和鲁棒性。然而，大多数MaxEnt RL方法使用恒定的权衡系数（温度），与直觉相反，温度应该在训练早期较高，以避免过度拟合噪声值估计，并在训练后期降低，因为我们越来越相信高值估计确实会带来良好的回报。此外，我们对价值估计的信心是依赖于状态的，每当我们使用更多的证据来更新估计时，信心就会增加。在本文中，我们提出了一个简单的基于状态的温度调度方法，并将其实例化为基于计数的软Q学习（CBSQL）的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域，并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
A Review of Deep Reinforcement Learning in Serverless Computing: Function Scheduling and Resource Auto-Scaling
Martel Innovate（马特尔创新公司）；Telefonica（西班牙电信公司）
本文综述了深度强化学习（DRL）在无服务器计算中函数调度与资源自动扩缩容的应用，表明DRL能有效提升效率，并指出了仿真环境、冷启动等挑战及多智能体强化学习等未来方向。
2023-10-05 cs.AI cs.DC cs.LG
