Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题，本文提出基于深度强化学习的两种无模型算法，并在Free5gc测试平台上验证，显著提升网络效率。
2023-05-10 cs.LG cs.NI
Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong University of Science and Technology（香港科技大学）
针对机器人如何融合迁移经验以快速适应新环境的问题，提出用于云机器人系统导航的终身联邦强化学习（LFRL）架构，包含知识融合算法与迁移学习方法，实验证明其显著提升了导航学习效率并有效融合先验知识。
2019-05-13 cs.AI cs.DC cs.LG
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University（华东师范大学）；Microsoft Research（微软研究院）；Microsoft 365（微软365）；Microsoft Research Asia（微软亚洲研究院）
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源，假设不是所有用户都能同时充分利用这些资源。然而，如何设计一个超额预订政策，提高利用率，同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守，忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题，本文将云计算的超额订阅问题描述为一个机会约束优化问题，并提出了一种有效的机会约束多智能体强化学习（C2MARL）方法来解决这个问题。具体来说，C2MARL通过考虑约束的上限来减少约束的数量，并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明，我们的C2 MARL优于现有的方法，提高利用率（$20\%\sim 86\%$）在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin（都柏林大学三一学院）；Dublin City University（都柏林城市大学）
用于物联网（IoT）的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中，动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器（CPU）负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程（MDP），并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中，采用值迭代的方法，使学习代理学习最优策略。为了评估我们的性能，我们分析了两种类型的进程，它们可以在基于云的物联网网络中使用，具有不同级别的并行化能力，即，软件定义无线电（SDR）和软件定义网络（SDN）。结果表明，我们的代理快速收敛到最优策略，在不同的参数设置下稳定地执行，在不同的场景下，与基线算法相比，在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
Edge-Cloud Cooperation for DNN Inference via Reinforcement Learning and Supervised Learning
Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
深度神经网络（DNN）已经广泛应用于物联网（IoT）系统中，用于诸如图像分类和目标检测的各种任务。然而，由于计算资源有限，重量级DNN模型很难部署在边缘设备上。本文提出了一种边云协作框架，以提高推理精度，同时保持低推理延迟。为此，我们在边缘部署了一个轻量级模型，在云上部署了一个重量级模型。使用基于强化学习（RL）的DNN压缩方法来从重量级模型生成适合于边缘的轻量级模型。此外，基于监督学习（SL）的卸载策略被应用于确定是否应该在边缘或云上处理样本。我们的方法在真实的硬件上实现，并在多个数据集上进行了测试。实验结果表明：（1）基于RL的DNN压缩所获得的轻量级模型的大小比基线方法所获得的模型的大小小87.6%;（2）基于SL的卸载策略在大多数情况下都能做出正确的卸载决策;（3）与仅云策略相比，我们的方法减少了高达78.8%的推理延迟，并实现了更高的准确率。
2022-10-11 cs.LG
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出一种基于深度强化学习（DRL）的边缘云协同资源调度优化方法，有效提升了任务处理效率与资源利用率并控制任务迁移，实验证明其优于传统算法，未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
On the Role of DAG topology in Energy-Aware Cloud Scheduling : A GNN-Based Deep Reinforcement Learning Approach
Université Grenoble Alpes, CNRS, Grenoble INP, G-SCOP（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，G-SCOP实验室）
本文研究了单工作流无队列调度场景，提出基于GNN的深度强化学习调度器以最小化完成时间和能耗，分析了GNN调度器在分布外条件下的失效原因，揭示了当前GNN调度器的局限性。
2026-04-10 cs.AI cs.LG
A Meta Reinforcement Learning Approach for Predictive Autoscaling in the Cloud
Ant Group（蚂蚁集团）
预测性自动缩放（具有工作负载预测的自动缩放）是一种重要的机制，它支持根据云中波动的工作负载需求自主调整计算资源。在最近的工作中，强化学习（RL）已被引入作为一种有前途的方法来学习资源管理策略，以指导在动态和不确定的云环境下的缩放动作。然而，RL方法在引导预测自动缩放方面面临以下挑战，例如决策缺乏准确性，采样效率低下以及工作负载模式的显著变化可能导致策略在测试时失败。为此，我们提出了一种基于端到端预测Meta模型的强化学习算法，旨在优化资源分配以保持稳定的CPU利用率水平，该算法采用了专门设计的深度周期性工作负载预测模型作为输入，并嵌入了神经过程来指导云中众多应用服务的最佳扩展操作的学习。我们的算法不仅保证了缩放策略的可预测性和准确性，而且使缩放决策能够以高样本效率适应不断变化的工作负载。与现有算法相比，我们的方法实现了显着的性能改进，并已在支付宝上在线部署，支持世界领先的支付平台的应用程序的自动缩放。
2022-05-31 cs.LG
MARLIN: Multi-Agent Game-Theoretic Reinforcement Learning for Sustainable LLM Inference in Cloud Datacenters
Colorado State University（科罗拉多州立大学）；Hewlett Packard Labs（惠普实验室）
本文提出MARLIN框架，通过博弈强化学习优化LLM推理的TTFT、碳排放、用水量和能耗，实现至少18%的TTFT、33%的碳排放、43%的用水量和11%的能耗降低。
2026-05-13 cs.DC cs.LG
Topology-Aware Graph Reinforcement Learning for Dynamic Routing in Cloud Networks
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Northwestern University（西北大学）；New York University（纽约大学）
针对云网络动态路由优化中拓扑感知不足、决策不稳定的问题，提出融合SASE模块与PAGU机制的拓扑感知图强化学习方法，在GEANT数据集上多项指标优于现有模型，实现高效鲁棒的动态路由。
2025-09-05 cs.LG
Adaptive Security Policy Management in Cloud Environments Using Reinforcement Learning
Texas Tech University（德克萨斯理工大学）；Stony Brook University（石溪大学）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于深度强化学习的云安全策略管理框架，利用遥测数据动态调整防火墙与IAM策略，显著提升检测率并缩短响应时间。
2025-05-13 cs.CR cs.CV cs.DC
Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
在其他基于学习的方法中，强化学习（RL）代表了解决复杂机器人任务（例如，致动、操纵、导航等），需要真实世界数据来训练这些系统是其最重要的限制之一。使用模拟器是解决这个问题的一种方法，但在模拟中获得的知识并不直接在现实世界中工作，这被称为仿真到现实迁移问题。虽然以前的工作集中在用作观察的图像的性质上（例如，纹理和照明），其已经被证明对于SIM到SIM的转移是有用的，但是它们忽略了关于所述观察的其它问题，例如精确的几何意义，在机器人到机器人以及因此在仿真到现实迁移中失败。我们提出了一种在由点云和环境随机化构建的观察空间上学习的方法，在机器人和模拟器之间进行推广，以实现模拟到真实，同时还解决了部分可观察性。我们展示了我们的方法在点目标导航任务上的优势，在该任务中，我们的方法被证明对机器人到机器人传输产生的看不见的场景高度不受影响，在机器人随机实验中优于基于图像的基线，并在模拟到模拟条件下表现出高性能。最后，我们进行了几个实验，以验证仿真到现实迁移的物理家用机器人平台，确认了我们的系统的开箱即用的性能。
2020-07-27 cs.CV cs.LG cs.RO
Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
Ohio University（俄亥俄大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Intel（英特尔）
本文提出Reclaimer深度强化学习模型，通过动态感知微服务运行时变化，在满足QoS前提下最小化CPU核心分配，实验表明其资源节省效果显著优于现有方案。
2023-04-17 cs.DC cs.LG
ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep Reinforcement Learning
Columbia University（哥伦比亚大学）；University of California, Berkeley（加州大学伯克利分校）；Shenzhen Inst. of Advanced Tech.（深圳先进技术研究院）；Northwestern University（西北大学）；Bell labs（贝尔实验室）；Amazon（亚马逊）；IDEA Research（IDEA研究院）
深度强化学习（DRL）彻底改变了游戏和机器人控制等应用中的学习和驱动。数据汇集的成本，即，从主体-环境交互产生过渡，仍然是在复杂的现实世界问题中更广泛采用DRL的主要挑战。遵循云原生范例在GPU云平台上训练DRL代理是一种很有前途的解决方案。在本文中，我们提出了一个可扩展的弹性库ElegantRL-podracer，用于云原生深度强化学习，它有效地支持数百万GPU核心在多个级别上进行大规模并行训练。在高层次上，ElegantRL-podracer采用基于锦标赛的集成方案，在数百甚至数千个GPU上编排训练过程，调度排行榜和数百个pod的训练池之间的交互。在低级别上，每个pod通过在单个GPU中充分利用近7，000个GPU CUDA核心来并行模拟代理-环境交互。我们的ElegantRL-podracer库遵循容器化、微服务和MLOps的开发原则，具有高可扩展性、弹性和可访问性。使用NVIDIA DGX SuperPOD云，我们对运动和股票交易中的各种任务进行了广泛的实验，并表明ElegantRL-podracer的性能大大优于RLlib。我们的代码可以在GitHub上找到。
2022-04-04 cs.AI cs.DC cs.LG
MCRL2: Multi-resource Cross-attention-based Representation Learning-augmented Reinforcement Learning for Cloud Microservice Scheduling
Wuhan University（武汉大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对云微服务调度中资源动态失衡与异构耦合问题，提出MCRL2，利用多资源交叉注意力表示学习增强强化学习，在真实集群轨迹上显著提升负载均衡、调度成功率并降低平均完成时间。
2026-09-14 cs.LG
Predict-and-Critic: Accelerated End-to-End Predictive Control for Cloud Computing through Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；AWS AI Labs（AWS人工智能实验室）
云计算有望通过规模经济降低成本。为了实现这一承诺，云计算供应商通常解决顺序资源分配问题，其中客户工作负载打包在共享硬件上。虚拟机（VM）构成了现代云计算的基础，因为它们有助于从共享的物理基础设施中逻辑地抽象用户计算。传统上，VM包装问题通过预测需求来解决，随后是在未来范围内的模型预测控制（MPC）优化。我们引入了工业虚拟机包装问题的近似公式，作为具有由预测参数化的软约束的MILP。最近，预测和优化（PnO）被提出用于预测模型的端到端训练，通过优化问题反向传播决策的成本。但是，PnO无法扩展到云计算中普遍存在的大预测范围。为了解决这个问题，我们提出了预测和批评（PnC）框架，通过利用强化学习，仅用两步时间就可以超越PnO。PnC联合训练预测模型和终端Q函数，其通过将决策成本反向传播通过优化问题\emph{and from the future}来近似长时间范围内的成本。终端Q函数允许我们解决比PnO中所需的多步时域小得多的两步时域优化问题。我们评估PnO和PnC框架上的两个数据集，三个工作负载，并在优化问题中没有建模的干扰。我们发现，PnC显着提高决策质量PnO，即使优化问题是不是一个完美的现实代表。我们还发现，硬化软约束的MILP和反向传播的约束，提高决策质量的PnO和PnC。
2023-02-27 cs.LG
Multi-Agent Reinforcement Learning for Adaptive Resource Orchestration in Cloud-Native Clusters
Northwestern University（西北大学）；Northeastern University（东北大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对云原生数据库系统资源动态性和调度复杂性挑战，提出基于多智能体强化学习的自适应资源编排方法，引入异构角色建模与奖励塑造机制，有效提升了资源利用率与调度性能。
2025-08-14 cs.LG
Reinforcement Learning-based Application Autoscaling in the Cloud: A Survey
Universidad Nacional de Cuyo（库约国立大学）；Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)（国家科学技术研究委员会（CONICET））；UNICEN（中布宜诺斯艾利斯省国立大学）
强化学习（RL）在自动解决复杂不确定环境中的决策问题方面表现出巨大的潜力。RL提出了一种计算方法，允许在具有随机行为的环境中通过交互进行学习，其中代理采取行动以最大化一些累积的短期和长期奖励。一些最令人印象深刻的结果已经在博弈论中显示出来，其中代理人在围棋或星际争霸2等游戏中表现出超人的表现，这导致其逐渐被许多其他领域采用，包括云计算。因此，RL似乎是云中自动扩展的一种有前途的方法，因为它可以学习透明（没有人为干预），动态（没有静态计划）和适应性（不断更新）的资源管理策略来执行应用程序。与其他广泛使用的自动缩放策略相比，这是三个重要的独特方面，这些策略以ad-hoc方式定义或静态计算，如基于元数据的解决方案。自动缩放利用云的弹性来根据给定的优化标准优化应用程序的执行，这需要决定何时以及如何扩展/缩减计算资源，以及如何将它们分配给即将到来的处理工作负载。考虑到云是一个动态和不确定的环境，必须采取这些行动。受此启发，许多作品将RL应用于云中的自动缩放问题。在这项工作中，我们详尽地调查了来自主要场馆的提案，并根据一组建议的分类法统一比较它们。我们还讨论了该领域的开放问题和前瞻性研究。
2020-11-17 cs.DC cs.LG stat.ML
Reinforcement Learning-Driven Linker Design via Fast Attention-based Point Cloud Alignment
VantAI（VantAI公司）
针对PROTAC连接子设计的几何化学约束及类药性优化难题，提出ShapeLinker方法，结合强化学习与注意力点云对齐评分，实现满足2D/3D要求的新型连接子生成，达到当前最优水平。
2023-06-13 cs.AI cs.LG q-bio.BM
An Advanced Reinforcement Learning Framework for Online Scheduling of Deferrable Workloads in Cloud Computing
Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
本文提出了一种名为OSDEC的基于深度强化学习的在线可延迟作业调度方法，通过引入辅助任务优化状态表示，在保证高资源利用率的同时有效缩短了用户等待时间。
2024-06-03 cs.AI cs.DC cs.LG
SURREAL-System: Fully-Integrated Stack for Distributed Deep Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个概述SURREAL-System，一个可重复的，灵活的，可扩展的分布式强化学习（RL）框架。该框架由四个层组成：ProvisionBuilder，Restrator，Protocol和Algorithms。ProvisionBase将不同云提供商的机器硬件和节点池抽象化。通过高层描述，该调度器为调度和部署分布式算法提供了统一的接口，能够部署到从个人笔记本电脑到成熟的云集群的各种硬件。该协议提供了针对RL优化的网络通信原语。最后，SUREAL算法，如近端策略优化（PPO）和演化策略（ES），可以轻松扩展到1000个CPU内核和100个GPU。我们的分布式算法的学习性能在OpenAI Gym和Robotics Suites任务上建立了新的最先进的水平。
2019-10-11 cs.LG cs.RO stat.ME
Symmetry-Preserving Architecture for Multi-NUMA Environments (SPANE): A Deep Reinforcement Learning Approach for Dynamic VM Scheduling
Department of Computer Science and Engineering, Shanghai Jiao Tong University（计算机科学与工程系，上海交通大学）
针对多NUMA云环境中虚拟机调度难题，提出DVAMP问题形式化及SPANE深度强化学习方法，利用对称性提升效率，在华为数据集上减少45%平均等待时间。
2025-04-21 cs.LG
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University（庆南大学）；Sejong University（世宗大学）
本文针对云-边-端IoT网络动态调度任务，提出基于联邦强化学习的协作策略学习框架，通过聚合边缘经验构建中心策略，显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
ReLeaSER: A Reinforcement Learning Strategy for Optimizing Utilization Of Ephemeral Cloud Resources
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；Univ Brest（布雷斯特大学）；Lab-STICC（Lab-STICC实验室）
云数据中心容量过度配置，以应对需求高峰和硬件故障，导致资源利用率低。提高资源利用率并因此降低总拥有成本的一种方式是以较低的价格提供未使用的资源（称为短暂资源）。但是，转售资源需要满足其客户在服务质量方面的期望。我们的目标是最大化回收资源的数量，同时避免SLA惩罚。为了实现这一目标，云提供商必须估计其未来的利用率，以提供可用性保证。预测应该考虑资源的安全裕度，以应对不可预测的工作负载。面临的挑战是找到安全余量，在回收的资源量和违反SLA的风险之间提供最佳权衡。大多数现有技术的解决方案考虑用于所有类型的度量（例如，CPU、RAM）。然而，唯一的固定余量不考虑随着时间的推移可能导致SLA违规或/和利用率低下的各种工作负载变化。为了应对这些挑战，我们提出了ReLeaSER，一种强化学习策略，用于优化云中临时资源的利用率。ReLeaSER在主机级别为每个资源度量动态调整安全裕度。该策略从过去的预测错误（导致SLA违规）中学习。我们的解决方案将SLA违规处罚平均降低了2.7倍，最高可降低3.4倍。它还大大提高了CP的潜在节省，平均节省27.6%，最高可达43.6%。
2020-12-10 cs.DC cs.LG cs.PF
Flying on Point Clouds with Reinforcement Learning
Huzhou Institute, Zhejiang University（浙江大学湖州研究院）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；North China Electric Power University (Baoding)（华北电力大学（保定））
本文结合机载3D激光雷达与sim-to-real强化学习，通过点云的专用替代表示简化学习并保留细粒度感知，实现了50Hz低延迟控制的四旋翼在杂乱环境中的自主避障飞行。
2025-03-01 cs.RO
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
University of Information Technology, Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学信息技术大学）；Monash University（莫纳什大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
提出QRLQ框架，将参数化量子电路与决斗双深度Q网络结合，在量子云编排中实现成本与延迟权衡，相比启发式方法降低成本延迟，且参数更少。
2026-09-24 cs.AI cs.DC cs.ET
CleanRL: High-quality Single-file Implementations of Deep Reinforcement Learning Algorithms
Drexel University（德雷塞尔大学）；Kobe University（神户大学）；New York University（纽约大学）
CleanRL是一个开源库，提供深度强化学习算法的高质量单文件实现。它提供了一个更简单但可扩展的开发体验，通过简单的代码库和集成的生产工具来帮助交互和扩展实验。在CleanRL中，我们将算法的所有细节放在一个文件中，使这些与性能相关的细节更容易识别。此外，实验跟踪功能可用于帮助将指标，超参数，代理游戏的视频，依赖关系等记录到云端。尽管实现简洁，但我们还设计了一些工具来帮助扩展，一度通过Docker和云提供商同时在2000多台机器上进行实验。最后，我们通过对各种环境进行基准测试来确保实现的质量。CleanRL的源代码可以在https://github.com/vwxyzjn/cleanrl上找到
2021-11-16 cs.LG
GA-DRL: Graph Neural Network-Augmented Deep Reinforcement Learning for DAG Task Scheduling over Dynamic Vehicular Clouds
Xiamen University（厦门大学）；University at Buffalo-SUNY（纽约州立大学布法罗分校）；Jimei University（集美大学）；North Carolina State University（北卡罗来纳州立大学）
针对动态车载云上的DAG任务调度问题，提出GA-DRL方案，采用多头图注意力网络双向聚合拓扑特征并引入非均匀邻域采样，结合双深度Q网络实现子任务到车辆的分配，有效缩短了任务完成时间。
2023-07-03 cs.AI cs.LG
Schedule Earth Observation satellites with Deep Reinforcement Learning
IRT Saint-Exupéry（圣埃克苏佩里技术研究所）；Airbus Defence & Space（空客防务与航天公司）
光学地球观测卫星在全球范围内获取图像，每天覆盖数百万平方公里。当考虑到几个卫星星座的互操作性以及天气预报的不确定性时，这种系统的调度获取的复杂性呈指数级增加。为了尽快向客户提供有效的图像，获取无云图像至关重要。根据天气预报，多达50%的运行卫星获取的图像可能会由于过度的云层覆盖而被丢弃，这表明还有改进的空间。我们提出了一种基于深度强化学习的采集调度方法，并在简化的环境下进行了实验。我们发现，它挑战了依赖于人类专家启发式的经典方法。
2019-11-12 cs.AI cs.LG
Active search and coverage using point-cloud reinforcement learning
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
针对移动3D传感器的目标搜索与覆盖轨迹优化问题，提出含四模块的端到端深度强化学习方案，经仿真验证其效果与鲁棒性均优于贪心基线。
2023-12-18 cs.LG cs.SY eess.SY
Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）；Henan Key Laboratory of Information Security（河南省信息安全重点实验室）；National Engineering Research Center for Mobile Network Technologies（移动网络技术国家工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出了一种基于大语言模型的多智能体强化学习框架，旨在提升云网络的防御能力和韧性，通过分层架构和人类在回路支持来增强系统的适应性和可解释性。
2026-05-18 cs.AI cs.CR cs.LG
Scalable Traffic Signal Controls using Fog-Cloud Based Multiagent Reinforcement Learning
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
优化交叉口的交通信号控制（TSC）仍然是一个具有挑战性的问题，特别是对于大规模的交通网络。过去的研究表明，优化单个TSC系统或少量此类系统的操作是可行的。然而，在计算上很难将这些解决方案扩展到大型网络，部分原因是随着交叉点数量的增加而遇到的维数灾难。幸运的是，最近的研究已经认识到利用深度和强化学习的进步来解决这个问题的潜力，并且在这方面已经取得了一些初步的成功。然而，促进这种智能解决方案方法可能需要大量的基础设施投资，如路边单元（RSU）和无人机，以确保大型网络中所有交叉路口的彻底连接，这对机构来说可能是一项繁重的投资。因此，这项研究建立在最近的工作，提出了一个可扩展的TSC模型，可以减少所需的使能基础设施的数量。这是使用图形注意力网络（GAT）作为深度强化学习的神经网络来实现的，这有助于维护交通网络的图形拓扑，同时忽略任何不相关或不必要的信息。最后通过一个实例验证了该模型的有效性，结果表明该模型具有良好的应用前景。整体研究结果表明，通过使用雾节点分解大型网络，所提出的基于雾的图形RL（FG-RL）模型可以很容易地应用于扩展到更大的交通网络。
2021-10-11 cs.AI cs.LG
HiGFRL: Hierarchical Graph Fusion-Driven Reinforcement Learning for Dependency-Aware Task Scheduling in Heterogeneous Cloud
Wuhan University（武汉大学）
HiGFRL提出层级图融合强化学习框架，通过三级状态表示与双网络架构，在异构云中实现依赖感知任务调度，显著降低Makespan并提升QoS。
2026-09-15 cs.LG
VMAgent: Scheduling Simulator for Reinforcement Learning
East China Normal University（华东师范大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；The Chinese University of Hong Kong-Shenzhen（香港中文大学（深圳））
介绍了一种新的模拟器VMAgent，以帮助RL研究人员更好地探索新的方法，特别是虚拟机调度。VMAgent的设计灵感来自于实际的虚拟机调度任务，它提供了一个能够反映云计算实际情况的高效仿真平台。从实际的云计算中总结出三种场景（衰落，恢复和扩展），并对应于许多强化学习挑战（高维状态和动作空间，高度非平稳性和终身需求）。VMAgent为RL研究人员提供灵活的配置，以设计考虑不同问题特征的定制调度环境。从虚拟机调度的角度来看，VMAgent还有助于探索更好的基于学习的调度解决方案。
2021-12-09 cs.AI cs.LG
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Efficient Implementation of Reinforcement Learning over Homomorphic Encryption
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）
针对云端加密控制策略合成的隐私保护需求，聚焦相对熵正则化强化学习以规避加密数据比较操作难题，实现线性可解值迭代等方法的FHE部署，通过网格世界加密Z-learning案例验证了收敛性与误差可接受性。
2025-04-12 cs.CR cs.LG cs.SY
Cloud Workflow Scheduling Based on Graph Attention-Driven Hierarchical Reinforcement Learning
Kunming University of Science and Technology（昆明理工大学）；Zhejiang Gongshang University（浙江工商大学）
提出图注意力驱动的分层强化学习框架，通过图注意力网络提取DAG依赖信息，结合事件驱动SMDP和双PPO代理，在阿里巴巴集群轨迹上实现高成功率、高容器利用率和低能耗的云工作流调度。
2026-09-15 cs.LG cs.NI
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania（卡塔尼亚大学）
针对多租户多加速器云环境中差异化 QoS 需求，提出基于深度强化学习的 DNN 在线实时调度算法，以截止时间命中率为 SLI，保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference
HybridInfer提出热感知强化学习路由器，利用设备端热余量在设备、边缘和云LLM层间路由，解决设备端推理热崩溃问题，在真实Android基准上以最低成本显著提升质量。
2026-09-28 cs.LG
Data-Driven Evaluation of Training Action Space for Reinforcement Learning
Nutanix, Inc（路坦力公司）
强化学习（RL）的训练动作空间选择由于复杂的状态-动作关系而容易发生冲突。为了应对这一挑战，本文提出了一种Shapley启发的方法来训练动作空间分类和排名。为了减少指数时间Shapley计算，该方法包括蒙特卡罗模拟，以避免不必要的探索。使用云基础设施资源调优案例研究的方法的有效性。该方法将搜索空间减少了80%，并将训练动作集分为不可缺少的和不可缺少的两类。此外，它还对不同的训练动作进行排名，以促进高性能但具有成本效益的RL模型设计。所提出的数据驱动方法可扩展到不同的领域，用例和强化学习算法。
2022-04-08 cs.LG
Geometric Multi-Model Fitting by Deep Reinforcement Learning
Xiamen University（厦门大学）
本文讨论了从噪声、非结构化点集数据（例如，激光扫描点云）。我们制定多模型拟合问题作为一个顺序的决策过程。然后，我们使用深度强化学习算法来学习最佳决策，以获得最佳拟合结果。在本文中，我们比较了我们的方法对国家的最先进的模拟数据。结果表明，我们的方法显着减少了拟合迭代的次数。
2018-12-27 cs.CV cs.LG
Hybrid Learning for Orchestrating Deep Learning Inference in Multi-user Edge-cloud Networks
University of California, Irvine（加州大学欧文分校）；University of Turku（图尔库大学）；San Diego State University（圣地亚哥州立大学）
基于深度学习的智能服务在包括智能城市和医疗保健在内的网络物理应用中已经变得普遍。用于深度学习的协作式端边缘云计算提供了一系列性能和效率，可通过计算卸载来满足应用需求。卸载计算的决定是随着两个系统参数（例如，网络条件）和工作负载特性（例如，输入）。在面对不断变化的系统动态时，考虑跨层机会和需求来确定最佳编排是一个具有挑战性的多维问题。虽然强化学习（RL）方法已经被提出，但是它们在学习过程中遭受大量的试错，导致过多的时间和资源消耗。我们提出了一个混合学习编排框架，通过结合基于模型和无模型强化学习来减少与系统环境的交互次数。我们的深度学习推理编排策略采用强化学习来找到最佳编排策略。此外，我们部署了混合学习（HL）来加速RL学习过程并减少直接采样的数量。我们通过与最先进的基于RL的推理编排的实验比较来证明我们的HL策略的有效性，证明我们的HL策略将学习过程加速了166.6倍。
2022-02-21 cs.AI cs.LG
Reinforcement Learning Based Resource Allocation for Network Slices in O-RAN Midhaul
University of Ottawa（渥太华大学）
网络切片设想第五代（5G）移动网络资源分配基于对不同服务的不同要求，例如超可靠低延迟通信（URLLC）和增强型移动宽带（eMBB）。开放无线接入网（O-RAN）通过将功能模块化为独立的组件，提出了开放和分散的RAN概念。O-RAN的网络切片可以显著提高性能。因此，在这项研究中，提出了一种先进的资源分配解决方案，在O-RAN网络切片应用强化学习（RL）。这项研究展示了一个RL兼容的简化边缘网络模拟器，它包含三个组件：用户设备（UE）、边缘O-Cloud和区域O-Cloud。此模拟器稍后用于发现如何通过动态分配来自其他切片的未使用带宽来提高目标网络切片的吞吐量。增加某些网络切片的吞吐量还可以使终端用户受益于更高的平均数据率、峰值速率或更短的传输时间。结果表明，RL模型可以提供一个高峰值速率和更短的传输时间URLLC相比，平衡和eMBB焦点基线的eMBB业务。
2022-11-14 cs.LG cs.NI
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University（成均馆大学）
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储，成本低于购买和维护大型主机。在本文中，我们研究将强化学习（RL）应用于系统域问题是否可行。实验结果表明，RL模型在解决块管理问题上具有可比性，甚至优于其他算法。然而，我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用，但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
Scalable Reinforcement Learning for Virtual Machine Scheduling
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本文提出可扩展强化学习框架CVD-RL，通过结合分解算子、前向观察算子与Top-$k$过滤算子解决大规模虚拟机调度的可扩展性难题，将适用规模扩展至50台物理机，并在多种场景下泛化能力超越SOTA方法。
2025-03-01 cs.LG
Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach
Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Nanyang Technological University（南洋理工大学）
本文提出一种基于多智能体强化学习与actor-critic的调度算法，用于地理分布式数据中心中可持续AIGC工作负载调度，在真实云环境中实现GPU利用率提升、成本降低和碳减排，系统效用最高提升28.6%。
2023-04-17 cs.AI cs.DC cs.LG
Cost Effective MLaaS Federation: A Combinatorial Reinforcement Learning Approach
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
随着深度学习技术的进步，主要的云提供商和利基机器学习服务提供商开始向公众提供基于云的机器学习工具，也称为机器学习即服务（MLaaS）。根据我们的测量，对于相同的任务，这些来自不同提供商的MLaaSes由于专有数据集，模型等而具有不同的性能。然而，单纯地聚合来自不同MLaaSe的结果不仅会导致显著的瞬时成本，而且由于引入可能的假阳性结果，还可能导致次优性能增益。在本文中，我们提出了Armol，这是一个框架，可以联合选择正确的MLaaS提供商，以实现最佳的分析性能。我们首先设计了一个词分组算法来统一不同提供者的输出标签。然后，我们提出了一种基于深度组合强化学习的方法，以最大限度地提高精度，同时最大限度地降低成本。然后，使用精心选择的集成策略将选定提供商的预测汇总在一起。真实世界的跟踪驱动的评估进一步表明，Armol能够实现相同的精度结果与$67\%$更少的推理成本。
2022-04-29 cs.LG cs.MM
The Fusion of Deep Reinforcement Learning and Edge Computing for Real-time Monitoring and Control Optimization in IoT Environments
Northern Arizona University（北亚利桑那大学）；University of Electronic Science and Technology of China（电子科技大学）；Trine University（特莱恩大学）；Yantai University（烟台大学）；Northwestern University（西北大学）
针对工业物联网实时控制需求，本文提出融合深度强化学习与边缘计算的优化控制系统，通过云边协同部署轻量策略网络和动态资源分配，降低延迟、提升稳定性并节省维护成本。
2024-02-28 cs.AI cs.LG cs.NI
Measurement-based adaptation protocol with quantum reinforcement learning in a Rigetti quantum computer
University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；IKERBASQUE, Basque Foundation for Science（巴斯克科学基金会（IKERBASQUE））；Shanghai University（上海大学）；International Center of Quantum Artificial Intelligence for Science and Technology (QuArtist)（国际科学技术量子人工智能中心（QuArtist））；IQM（IQM公司）；Universidad de Sevilla（塞维利亚大学）
我们在Rigetti云量子计算机中提出了一种基于测量的自适应协议的实验实现，该协议具有量子强化学习。在这个几个量子比特的超导芯片上进行的实验忠实地再现了理论上的提议，为半自主量子代理迈出了第一步。这个实验为超导电路的量子强化学习铺平了道路。
2020-05-19 cond-mat.mes-hall cs.AI cs.ET
Secure Resource Allocation via Constrained Deep Reinforcement Learning
School of Computing & Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；School of Computing & Artificial Intelligence, Southwestern University of Finance and Economics（西南财经大学计算机与人工智能学院）；College of Computing & Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对物联网与6G时代多云计算边缘环境中资源分配的安全与效率问题，提出SARMTO框架，集成动作约束DRL模型，动态平衡资源、卸载与安全，显著降低成本并提升能效。
2025-01-20 cs.LG
Enhanced Pub/Sub Communications for Massive IoT Traffic with SARSA Reinforcement Learning
Salvador University (UNIFACS)（萨尔瓦多大学（UNIFACS））；University of Paris-Saclay（巴黎萨克雷大学）
传感器正在广泛部署，预计在未来几年将以显著的速度扩展。它们通常会在物联网（IoT）应用领域生成大量数据，如智能城市，智能交通系统，智能电网和电子健康。云计算、边缘计算和雾计算是收集、处理和分发物联网数据的潜在竞争策略。然而，基于云、边缘和雾的解决方案需要通过受限和有限资源的网络基础设施有效地解决大量物联网数据的分发问题。针对在通信资源（带宽）有限的网络中传输海量物联网数据的问题，提出了一种基于强化学习（RL）和SARSA算法的认知通信资源分配方法。拟议的网络基础设施（PSioTRL）使用发布/订阅架构来访问大量和高度分布式的物联网数据。结果表明，基于SARSA的PSioTRL缓冲区刷新带宽分配提高了IoT聚合器缓冲区占用率和网络链路利用率。PSioTRL根据发布/订阅主题的优先级和网络约束要求动态调整IoT聚合器流量刷新。
2021-01-03 cs.AI cs.LG cs.NI
Learning Runtime Parameters in Computer Systems with Delayed Experience Injection
University of Cambridge（剑桥大学）；University of Hamburg（汉堡大学）
在计算机系统中学习有效的配置而不需要为每个参数手工制作模型是一个长期存在的问题。本文研究了在延迟约束下对云数据库的运行时参数使用深度强化学习。云服务每秒可处理数千个并发请求，并可以通过利用性能指标来调整关键参数。在这项工作中，我们使用持续的深度强化学习来学习内容分发网络中HTTP缓存的最佳缓存配置。为此，我们引入了一种称为延迟经验注入的异步经验管理技术，该技术可以在测量无法立即获得的并发环境中促进延迟奖励和下一状态计算。评估结果表明，我们的方法的基础上规范化的优势函数和异步CPU的唯一训练优于统计估计。
2016-10-31 cs.LG
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge（剑桥大学）
本文提出CALF框架，通过在仿真中训练考虑通信延迟等网络条件的策略，减少实际部署中的性能差距，验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Multi-Objective Optimization Using Adaptive Distributed Reinforcement Learning
Huawei Technology Munich Research Center（华为技术慕尼黑研究中心）；Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
该研究提出一种多目标多智能体强化学习算法，在动态分布式ITS环境中实现自适应小样本学习，并在边缘云计算场景下优于现有基准，且推理仅需6毫秒。
2024-03-13 cs.AI cs.LG cs.MA
