Deep Reinforcement Learning for Resource Management in Network Slicing
Zhejiang University（浙江大学）；China Mobile Research Institute（中国移动研究院）；Beihang University（北京航空航天大学）；VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）
网络切片是运营商的一项新兴业务，允许他们以不同的价格向不同的租户出售定制的切片。为了提供更好的性能和成本效益的服务，网络切片涉及具有挑战性的技术问题，并迫切期待智能创新，使资源管理与每个切片的用户活动一致。在这方面，深度强化学习（DRL），其重点是如何通过尝试替代行动和加强产生更有益的结果的趋势行动与环境互动，被认为是一个有前途的解决方案。本文在简要回顾DRL的基本概念后，研究了DRL在解决无线资源切片和基于优先级的核心网切片等典型网络切片资源管理问题中的应用，并通过大量仿真验证了DRL相对于其他竞争方案的优势。最后，我们还讨论了可能的挑战，应用DRL在网络切片从一般的角度来看。
2018-11-21 cs.LG cs.NI
A Distributed Deep Reinforcement Learning Technique for Application Placement in Edge and Fog Computing Environments
The University of Melbourne（墨尔本大学）
雾/边缘计算是一种新的计算范式，通过将其任务放置在边缘和/或云服务器上来支持资源受限的物联网（IoT）设备。最近，已经在雾/边缘计算环境中提出了几种基于深度强化学习（DRL）的布局技术，这些技术仅适用于集中式设置。训练表现良好的DRL代理需要多方面的训练数据，而获得训练数据是昂贵的。因此，这些集中式的基于DRL的技术缺乏通用性和快速适应性，从而无法有效地解决应用程序放置问题。此外，许多物联网应用程序被建模为具有不同拓扑结构的有向非循环图（DAG）。满足基于DAG的物联网应用的依赖性会带来额外的约束，并增加放置问题的复杂性。为了克服这些挑战，我们提出了一个演员-评论家为基础的分布式应用程序放置技术，工作的重要性加权演员-学习者架构（IMPALA）的基础上。IMPALA以高效的分布式经验轨迹生成而闻名，它显著降低了代理的探索成本。此外，它使用了一个自适应的政策外校正方法，以更快地收敛到最优解。我们的技术使用递归层来捕获输入数据的时间行为，并使用重放缓冲区来提高样本效率。从仿真和测试平台实验中获得的性能结果表明，与同类技术相比，我们的技术显着提高了物联网应用程序的执行成本高达30%。
2021-10-24 cs.DC cs.LG
Proactive SFC Provisioning with Forecast-Driven DRL in Data Centers
School of Electrical Engineering and Computer Science, University of Ottawa（电气与计算机科学学院，渥太华大学）；Ciena（Ciena公司）
本文提出基于预测驱动深度强化学习的SFC资源配置方法，通过集成多种深度学习模型提升资源分配效率与服务质量。
2026-01-28 cs.LG cs.NI
Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
针对切片网络准入控制中DRL模型初始不稳定、收敛慢的问题，提出数字孪生辅助的DRL方案，通过DT预训练辅助加速DRL收敛，相比现有对决深度Q学习模型资源利用率提升超40%，同时保留长期奖励优化能力。
2023-11-21 cs.LG cs.SY eess.SP
Adversarial Attacks Against Deep Reinforcement Learning Framework in Internet of Vehicles
Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
机器学习（ML）在广泛的车辆应用中产生了令人难以置信的影响和变革。随着机器学习在车联网（IoV）中的应用不断发展，对抗性威胁及其影响已成为值得探索的重要研究课题。在本文中，我们专注于基于Sybil的对抗性威胁，针对深度强化学习（DRL）辅助的车联网框架，更具体地说，车联网中基于DRL的动态服务放置。我们进行了实验研究，与真实的车辆轨迹，分析不同的攻击场景下的服务延迟和资源拥塞的影响，基于DRL的动态服务放置应用。我们进一步研究了网络中受Sybil攻击的车辆比例的影响。结果表明，性能显着影响Sybil为基础的数据投毒攻击相比，无对手的健康网络的情况下。
2021-09-16 cs.AI cs.CR cs.LG
Digital Twin-Enhanced Deep Reinforcement Learning for Resource Management in Networks Slicing
本文提出数字孪生与深度强化学习结合的框架，通过历史数据构建并校准虚拟环境，在虚拟预验证环境中优化网络切片资源管理策略，显著提升性能并支持离线强化学习。
2023-11-28 cs.LG cs.NI
Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning
Nokia Bell Labs（诺基亚贝尔实验室）；University of Nebraska Lincoln（内布拉斯加大学林肯分校）；Technical University of Munich（慕尼黑工业大学）
针对网络切片中DRL策略部署受异构小区条件影响的问题，提出基于迁移学习辅助的多智能体深度强化学习方法，通过智能体间相似性分析实现资源划分，并集成迁移学习加速策略部署，实验表明性能、收敛速度和样本效率优于现有方法，且额外增益超过27%。
2023-06-23 cs.LG cs.MA cs.NI
Multi-Timescale Latent-Action DRL for Joint Optimization in Edge-Cloud Networks
针对边缘云网络负载不平衡致延迟性能下降问题，提出联合服务放置等的JSCP问题。利用决策动态差异分解问题，构建双时间尺度多层深度强化学习框架2T-MDRL-LA，引入潜行动作表示，有效优化相关内容，相比传统方法性能更优且收敛更快。
2026-07-22 cs.LG
Placement Optimization of Aerial Base Stations with Deep Reinforcement Learning
Xiamen University（厦门大学）
无人驾驶飞行器（UAV）可以用作空中基站（ABS），以协助地面基础设施在各种紧急情况下保持无线连接。在有限的覆盖范围内，通过联合部署多个ABS来最大化N个地面用户的覆盖率是一个NP难问题，其复杂度为N。当覆盖范围由于站点特定的阻塞（例如，建筑物）在三维（3D）空间中的空地通道上。为了解决这一难题，本文采用深度强化学习（Deep Reinforcement Learning，DRL）方法：1）通过覆盖位图表示状态，以捕获GU/ABS的空间相关性，其维数和相关的神经网络复杂度对于任意大的N是不变的;和2）为DRL代理设计动作和奖励，以有效地从与所表示的复杂传播环境的动态交互中学习3D地形图。具体而言，提出了一种新的两级设计方法，包括基于主导视线（LoS）信道模型的初步设计，以及基于站点特定LoS/非LoS信道状态进一步细化ABS位置的高级设计。采用带优先经验回放算法的双深度Q网络（DQN）对多ABS布局决策策略进行训练。仿真结果表明，与DQN算法和K-means算法相比，该算法在复杂环境下的覆盖率有了显著提高.
2020-02-05 cs.AI cs.IT cs.LG
DRL-based Slice Placement under Realistic Network Load Conditions
Orange Labs（奥兰治实验室）；Sorbonne Université / CNRS / Inria（索邦大学/法国国家科学研究中心/法国国家信息与自动化研究所）
我们提出了一种基于深度强化学习（DRL）的网络切片放置优化解决方案，称为启发式控制DRL，它使用启发式来控制DRL算法收敛。该解决方案适用于现实的网络规模大，在非平稳的业务条件下（即，网络负载）。我们证明了所提出的解决方案的适用性和其更高的和稳定的性能超过一个非控制的基于DRL的解决方案。演示场景包括具有多个易失性网络切片放置请求到达的完整在线学习。
2021-09-27 cs.AI cs.NI
Federated Multi-Agent Deep Reinforcement Learning for Dynamic and Flexible 3D Operation of 5G Multi-MAP Networks
CEA-Leti（原子能和替代能源委员会信息技术实验室）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
针对5G网络中无人机MAP的动态3D管理问题，提出两层分层架构与联邦双注意力DRL方法，联合优化MAP数量、位置及无线回传连接。
2023-06-30 cs.LG cs.MA cs.NI
LiLM-RDB-SFC: Lightweight Language Model with Relational Database-Guided DRL for Optimized SFC Provisioning
University of Ottawa（渥太华大学）；Ciena（CIENA公司）
LiLM-RDB-SFC结合轻量语言模型与关系数据库引导深度强化学习，实现高效SFC配置，FLAN-T5在准确性与处理时间上优于BART和SQLCoder。
2025-07-15 cs.CL cs.LG cs.NI
Online 3D Bin Packing with Constrained Deep Reinforcement Learning
National University of Defense Technology（国防科技大学）；Clemson University（克莱姆森大学）
我们解决了一个具有挑战性的，但实际上有用的3D装箱问题（3D-BPP）的变种。在我们的问题中，代理商对要装入垃圾箱的物品的信息有限，并且物品必须在到达后立即打包，而无需缓冲或重新调整。物品的放置也受到避免碰撞和物理稳定性的限制。我们制定这个在线3D-BPP作为一个约束马尔可夫决策过程。为了解决这个问题，我们提出了一个有效的和易于实现的约束深度强化学习（DRL）方法下的演员-评论家框架。特别是，我们引入了一个可行性预测器来预测布局动作的可行性掩码，并使用它来调节演员在训练过程中输出的动作概率。这样的监督和转换到DRL促进代理学习可行的政策有效。我们的方法也可以推广，例如，具有处理前视或具有不同方向的项目的能力。我们已经进行了广泛的评估表明，学习的政策显着优于国家的最先进的方法。用户研究表明，我们的方法达到了人类水平的性能。
2022-01-13 cs.LG stat.ML
Deep Reinforcement Learning Based Placement for Integrated Access Backhauling in UAV-Assisted Wireless Networks
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
本文提出基于深度强化学习的无人机部署方法，动态平衡前传与回传链路，以增强5G网络中偏远或受灾区域的覆盖与性能。
2023-12-21 cs.LG cs.NI cs.SY
SafeSlice: Enabling SLA-Compliant O-RAN Slicing via Safe Deep Reinforcement Learning
University of Calgary（卡尔加里大学）；Cairo University（开罗大学）
针对O-RAN中DRL切片策略缺乏SLA安全保证的问题，本文提出SafeSlice，通过风险敏感奖励和监督学习安全层同时满足累积与瞬时时延约束，并在真实VR流量实验中显著降低时延违规和资源消耗。
2025-03-17 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for URLLC data management on top of scheduled eMBB traffic
本文提出深度强化学习算法，用于在调度eMBB流量的物理层资源上切分URLLC和eMBB流量，通过动态分配URLLC流量来满足其严格要求。
2021-03-02 cs.LG eess.SP
Attention-based Open RAN Slice Management using Deep Reinforcement Learning
Clemson University（克莱姆森大学）；Air Force Research Laboratory（美国空军研究实验室）
针对O-RAN等新兴网络动态环境下切片管理难保障QoS的问题，提出带价值注意力网络的分布式ADRL方法，借助O-RAN解耦模块与智能体协作提升泛化性，仿真显示性能优于现有DRL基准。
2023-06-15 cs.DC cs.LG cs.NI
Learning based E2E Energy Efficient in Joint Radio and NFV Resource Allocation for 5G and Beyond Networks
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；Shahrood University of Technology（沙赫鲁德工业大学）；TU Braunschweig（布伦瑞克工业大学）
在本文中，我们提出了一个联合无线电和核心资源分配框架的NFV使能网络。在所提出的系统模型中，目标是通过保证不同服务类型的端到端（E2 E）服务质量（QoS）来最大限度地提高能源效率（EE）。为此，我们制定了一个优化问题，其中功率和频谱资源分配在无线电部分。在核心部分中，执行功能的链接、放置和调度，以确保所有用户的QoS。该联合优化问题被建模为一个马尔可夫决策过程（MDP），考虑可用资源和无线信道的时变特性。基于最大熵框架的软行动者-评论者深度强化学习（SAC-DRL）算法随后被用于解决上述MDP。数值实验结果表明，与R-RA和NFV-RA分别优化的情况相比，基于SAC-DRL算法的联合方法可以显著降低能耗.
2021-07-13 cs.LG cs.NI eess.SP
Inter-Cell Network Slicing With Transfer Learning Empowered Multi-Agent Deep Reinforcement Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Technical University of Munich（慕尼黑工业大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
针对网络切片中的跨小区干扰问题，提出基于迁移学习的多智能体深度强化学习算法TL-DIRP，通过集中训练通用模型并迁移至各智能体进行分布式微调，提升资源分配性能，降低QoS违例率。
2023-06-20 cs.LG cs.MA cs.NI
DeepSlicing: Deep Reinforcement Learning Assisted Resource Allocation for Network Slicing
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Texas A&M University at Corpus Christi（德克萨斯农工大学科珀斯克里斯蒂分校）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
网络切片使多个虚拟网络能够在同一物理基础设施上运行，以支持5G及更高级别的各种用例。然而，这些用例具有非常不同的网络资源需求，例如，通信和计算，以及各种性能指标，如延迟和吞吐量。为了有效地将网络资源分配给切片，我们提出了DeepSlicing，它集成了交替方向乘法器（ADMM）和深度强化学习（DRL）。DeepSlicing将网络切片问题分解为一个主问题和几个从问题。主问题采用凸优化方法求解，从问题采用DRL方法学习最优资源分配策略。通过网络仿真验证了该算法的性能。
2020-08-19 cs.LG eess.SP
Joint Cache Placement and Routing in Satellite-Terrestrial Edge Computing Network: A GNN-Enabled DRL Approach
本文针对卫星-地面边缘计算网络中的联合缓存与路由问题，提出GNN与DRL结合的框架，将卫星网络建模为动态图并用SAC算法优化缓存策略，仿真表明可显著提高交付成功率并降低通信流量成本。
2025-08-22 cs.NI
Towards Quantum-Enabled 6G Slicing
Telecommunications Technological Center of Catalonia (CTTC)（加泰罗尼亚电信技术中心）；Technical University of Catalonia (UPC)（加泰罗尼亚理工大学）；i2CAT Foundation（i2CAT基金会）
可以预见，量子机器学习（QML）范式及其与网络切片的协同作用将成为进入第六代（6 G）时代的一项颠覆性技术，其中移动通信系统以先进的形式为基础基于租赁的数字用例来满足不同的服务需求。为了克服大规模切片的挑战，例如处理切片实例的增加的动态性、异构性、数据量、延长的训练时间和各种安全级别，量子计算追求分布式计算和学习的能力可以被认为是有希望的先决条件。为此，我们提出了一个基于量子深度强化学习（QDRL）的云原生联邦学习框架，其中通过Kubernetes基础设施在边缘和云上部署为微服务的分布式决策代理然后动态连接到无线电接入网络（RAN）。具体而言，决策代理利用经典深度强化学习（DRL）算法到变分量子电路（VQC）的重构，获得对切片资源的最优协作控制。初步的数值结果表明，所提出的联邦QDRL（QDRL）计划提供了可比的性能比基准解决方案，并揭示了量子优势，在参数减少。据我们所知，这是第一个探索性研究，考虑了6G通信网络的GPRS DRL方法。
2022-10-21 cs.LG cs.NI quant-ph
Optimizing Routerless Network-on-Chip Designs: An Innovative Learning-Based Framework
University of Southern California（南加利福尼亚大学）；Oregon State University（俄勒冈州立大学）
将机器学习应用于建筑设计提供了具有广泛应用前景的机会。特别是最近的深度强化学习（DRL）技术，能够在传统设计策略可能不充分的巨大设计空间中进行有效探索。本文提出了一种新的深度加固框架，以无路由器片上网络（NoC）作为评估案例研究。新框架成功地解决了先前的设计方法由于随机搜索而不可靠或由于严重的设计空间限制而不灵活的问题。该框架学习（近）最佳的环路布局与各种设计约束的无路由片上网络。一个深度神经网络开发使用并行线程，有效地探索巨大的无路由器片上网络设计空间与蒙特卡洛搜索树。实验结果表明，与传统网格相比，所提出的深度强化学习（DRL）无路由器设计实现了3.25倍的吞吐量增加，1.6倍的数据包延迟减少，和5倍的功耗降低。与最先进的无路由器NoC相比，DRL实现了1.47倍的吞吐量增加，1.18倍的数据包延迟减少，以及1.14倍的平均跳数减少，尽管功耗略高。
2019-05-11 cs.AI cs.AR cs.LG
Evolutionary Deep Reinforcement Learning for Dynamic Slice Management in O-RAN
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Clemson University（克莱姆森大学）
下一代无线网络需要同时满足多种业务和标准。为了满足即将到来的严格标准，开发了一种新的开放式无线电接入网络（O-RAN），该网络具有灵活的设计，分散的虚拟和可编程组件以及智能闭环控制等独特功能。O-RAN切片正在被研究为在面对不断变化的环境时确保网络服务质量（QoS）的关键策略。然而，必须动态地控制不同的网络切片，以避免由环境中的快速变化引起的服务水平协议（SLA）变化。因此，本文介绍了一种新的框架，能够管理网络切片，通过配置的资源智能。由于不同的异构环境，智能机器学习方法需要充分的探索来处理无线网络中最恶劣的情况并加速融合。为了解决这个问题，提出了一种基于进化的深度强化学习（EDRL）的新解决方案，以加速和优化无线接入网（RAN）智能控制器（RIC）模块中的切片管理学习过程。为此，O-RAN切片被表示为马尔可夫决策过程（MDP），然后使用EDRL方法最优地求解该MDP以进行资源分配以满足服务需求。仿真结果表明，在满足服务需求方面，所提出的方法比日间行车线基线高出62.2%。
2022-09-30 cs.AI cs.IT cs.LG
SlicePilot: Demystifying Network Slice Placement in Heterogeneous Cloud Infrastructures
Yale University（耶鲁大学）；A2 Labs, LLC（A2实验室有限公司）
SlicePilot通过多智能体强化学习方法实现网络切片部署的自主优化，提高部署效率并降低计算开销。
2025-12-09 cs.NI
Hierarchical Placement Learning for Network Slice Provisioning
针对边缘移动网络切片供给问题，提出基于分层多臂老虎机的两级在线放置策略，最大化请求接受率并最小化节点资源利用率，仿真显示性能优于基线。
2025-08-08 cs.NI
NetMind: Adaptive RAN Baseband Function Placement by GCN Encoding and Maze-solving DRL
本文提出 NetMind，将 RAN 基带与用户面功能放置转化为解迷宫 DRL 问题，并用 GCN 编码跨拓扑特征，以单个智能体降低功耗、提升稳定性并减少训练成本。
2024-01-15 cs.NI
Deep Reinforcement Learning for Urban Air Quality Management: Multi-Objective Optimization of Pollution Mitigation Booth Placement in Metropolitan Environments
School of Computer Science（计算机科学学院）；Engineering, Vellore Institute of Technology（工程学院，维洛雷理工学院）；Chennai Campus（钦奈校区）；Chennai, Tamil Nadu 600127, India（钦奈，泰米尔纳德邦600127，印度）
本研究提出深度强化学习框架，采用PPO算法优化德里市空气净化亭布置，以改善空气质量指数，并与传统策略对比，验证其多维性能优势。
2025-10-07 cs.AI cs.CV cs.LG
GenAI Assistance for Deep Reinforcement Learning-based VNF Placement and SFC Provisioning in 5G Cores
针对5G核心网动态环境下的VNF放置与SFC供给问题，提出生成式VAE辅助的先进DRL混合方法，在接受率、E2E时延和吞吐量上优于现有DRL。
2024-11-19 cs.NI
On Attack-Resilient Service Placement and Availability in Edge-enabled IoV Networks
在攻击容忍度和服务可用性方面实现网络弹性对于车联网（IoV）网络至关重要，因为车辆在敏感和安全关键型应用（如驾驶）中需要帮助。这在车联网流量的时变条件下尤其具有挑战性。在本文中，我们研究了攻击弹性的最优服务放置问题，以确保无中断的服务提供给边缘使能的车联网网络中的用户。我们的工作旨在改善用户体验，同时最大限度地减少延迟，并同时考虑有限的边缘资源的有效利用。首先，在考虑流量动态性和使用深度强化学习（DRL）框架满足服务要求的同时执行最优服务放置。接下来，执行最佳的辅助映射和服务恢复放置，以考虑边缘处的攻击/故障。DRL框架的使用有助于适应动态变化的车联网流量和服务需求。在这项工作中，我们开发了三个ILP模型，并使用它们在基于DRL的框架，提供攻击弹性的服务放置，并确保服务的可用性与高效的网络性能。大量的数值实验证明了所提出的方法的有效性。
2022-06-25 cs.NI
DRL-Driven Edge-Aware Utility Optimization for Multi-Slice 6G Networks
CCAS Department, School of Engineering, New giza University（新吉扎大学工程学院CCAS系）；Department of Computer and Software Engineering, Polytechnique Montreal（蒙特利尔大学计算机与软件工程系）；Department of Electronics and Communications, Faculty of Engineering, Helwan University（海尔万大学工程学院电子与通信系）
提出一种基于深度Q网络（DQN）的智能资源分配与边缘缓存框架，用于6G O-RAN网络，以优化多切片场景下的边缘缓存和动态资源分配，降低延迟并提升吞吐量，支持VR等沉浸式应用。
2026-05-21 cs.AI cs.NI
Multi-Agent Off-Policy Deep Reinforcement Learning for Smart Campus Coverage
本文针对现实非凸校园拓扑下的毫米波基站最优部署问题，将其建模为马尔可夫决策过程，通过对比四种深度强化学习方案，发现地理划分多智能体DDPG在密集场景中性能更优、可实现全覆盖且收敛高效。
2026-08-20 cs.LG eess.SP
GOPT: Generalizable Online 3D Bin Packing via Transformer-based Deep Reinforcement Learning
State Key Laboratory of Intelligent Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology（华中科技大学机械科学与工程学院智能制造装备与技术国家重点实验室）；BOSCH Corporate Research, China（博世中国研究中心）；State Key Laboratory of High-end Heavy-load Robots, Midea Group（美的集团高端重载机器人国家重点实验室）；Midea Corporate Research Center（美的集团企业研究中心）
针对在线3D装箱问题泛化性不足，提出基于Transformer深度强化学习的GOPT方法，通过Placement Generator和Packing Transformer融合特征，实现对不同尺寸箱子的泛化推理，并在实验和真实机器人部署中验证了优越性能。
2024-09-12 cs.AI cs.LG cs.RO
A DRL-Driven Optimization of RAN Slice Resource Partitioning for V2X SLA Compliance in 5G Networks
University of Málaga（马拉加大学）；Ericsson（爱立信）
针对5G网络中V2X服务的高时延与可靠性要求，提出一种基于PPO的深度强化学习方法来优化RAN切片的PRB资源划分，在满足V2X服务等级协议的同时提升资源利用率并减少对eMBB服务的影响。
2026-09-24 cs.NI
Age of Information Aware VNF Scheduling in Industrial IoT Using Deep Reinforcement Learning
ICT Research Institute（信息通信技术研究所）；Tarbiat Modares University（塔尔比亚特莫达雷斯大学）；University of Ottawa（渥太华大学）
在延迟敏感的工业物联网（IIoT）应用中，信息年龄（AoI）被用来表征信息的新鲜度。同时，新兴的网络功能虚拟化为服务提供商提供了使用一系列虚拟网络功能（VNF）来递送给定网络服务的灵活性和敏捷性。然而，在这些方案中，合适的VNF放置和调度是NP难的，并且通过传统方法找到全局最优解是复杂的。最近，深度强化学习（DRL）已经成为解决这些问题的可行方法。在本文中，我们首先利用单代理低复杂的复合动作演员评论家RL，以涵盖离散和连续的行动，并共同最大限度地减少VNF成本和AoI的网络资源下的端到端的服务质量约束。为了克服单智能体的学习能力的限制，我们扩展我们的解决方案，多代理DRL计划，代理相互合作。仿真结果表明，单代理计划显着优于贪婪算法的平均网络成本和AoI。此外，多智能体解决方案通过在智能体之间划分任务来降低平均成本。然而，它需要更多的迭代学习，由于对代理的协作的要求。
2021-05-10 cs.LG eess.SP
Deep Reinforcement Learning for End-to-End Network Slicing: Challenges and Solutions
预计5G及以后将实现各种新兴用例，这些用例具有来自垂直行业的不同性能要求。为了经济高效地服务于这些用例，网络切片在根据特定资源需求动态创建虚拟端到端网络方面发挥着关键作用。网络切片可能在多个技术领域中具有数百个可配置参数，这些参数定义了网络切片的性能，这使得无法使用传统的基于模型的解决方案来编排网络切片的资源。在本文中，我们将讨论如何设计和部署深度强化学习（DRL），一种无模型方法，以解决网络切片问题。首先，我们分析了网络切片问题，并提出了一种符合标准的系统架构，该架构可在5G及其他网络中实现基于DRL的解决方案。其次，我们深入分析了在网络切片系统中设计和部署DRL的挑战。第三，我们探索多种有前途的技术，即，安全和分布式DRL，以及模仿学习，用于自动化端到端网络切片。
2022-07-29 cs.NI
Edge-enabled Optimized Network Slicing in Large Scale Networks
在这篇演示论文中，我们考虑了网络切片布局优化问题，并给出了一些见解，一个快速的启发式算法，适合在大规模网络布局。我们考虑一个在线优化方案与多个和易失性的网络切片请求到达，我们展示了所提出的边缘启用网络切片放置解决方案的适用性，通过大规模网络场景说明的概念验证。
2020-10-16 cs.NI
Traffic-Aware UAV Placement Using a Generalizable Deep Reinforcement Learning Methodology
充当飞行接入点（FAP）的无人机（UAV）正被用于在极端场景中提供按需无线连接。尽管正在进行研究，但根据动态用户的交通需求优化无人机的位置仍然具有挑战性。本文提出了一种基于网络感知的无人机布局算法（TUPA），该算法根据用户的流量需求来确定无人机作为FAP的位置，以最大化网络效用。使用DRL方法使FAP能够自主学习和适应网络场景的动态条件和要求。此外，建议的DRL方法允许TUPA在训练过程中获得的知识，以用户的位置和交通需求的未知组合，没有额外的培训。利用网络仿真器ns-3和ns 3-gym框架对TUPA进行了训练和评估。结果表明，TUPA提高了网络效用，与基线解决方案相比，在具有异构流量需求的场景中，平均网络效用提高了4倍。
2022-03-16 cs.NI
A Hard and Soft Hybrid Slicing Framework for Service Level Agreement Guarantee via Deep Reinforcement Learning
网络切片是保证5G和未来网络中各种服务水平协议（SLA）的关键驱动因素。最近，深度强化学习（DRL）已被广泛用于网络切片中的资源分配。然而，现有的相关工作没有考虑与DRL的初始勘探阶段相关的性能损失。本文提出了一种新的性能保证切片策略与软，硬混合切片设置。主要是在训练神经网络时，采用一个通用的切片设置来保证切片的SLA。此外，公共切片的资源倾向于随着DRL的训练精确地重新分配到切片，直到其收敛。实验结果进一步证实了本文提出的切片框架的有效性：切片在训练阶段的SLA得到了保证，算法收敛后在SLA满足率、隔离度和频谱最大化方面都达到了接近最优的性能。
2022-03-06 cs.NI cs.SY eess.SP
Deep Reinforcement Learning-Based RAN Slicing with Efficient Inter-Slice Isolation in Tactical Wireless Networks
针对战术网络动态带宽共享与 RAN 切片隔离冲突的问题，提出两阶段 DRL 带宽分配机制并在 O-RAN 中部署，基于三种算法实现并与多基线评估。
2025-06-10 cs.NI
Task Specific Sharpness Aware O-RAN Resource Management using Multi Agent Reinforcement Learning
Holcombe Department of Electrical and Computer Engineering, Clemson University（克莱姆森大学霍尔科姆电气与计算机工程系）
针对O-RAN动态资源管理中DRL鲁棒性与泛化性不足的问题，提出结合自适应选择性SAM与动态ρ调度的MARL方法，提升资源分配效率与QoS满足度。
2025-11-19 cs.AI cs.LG
Traffic-cognitive Slicing for Resource-efficient Offloading with Dual-distillation DRL in Multi-edge Systems
针对动态多边系统中流量波动与异构资源导致的切片和卸载难题，提出SliceOff框架，结合自注意力流量预测、随机舍入自适应切片及双重蒸馏DRL，提升资源效率与ESP利润。
2024-11-28 cs.NI
DRL-driven RAN Slicing Management: A V2X-oriented Approach In Multi-service Scenarios
University of Málaga（马拉加大学）；Ericsson（爱立信）
本文提出一种基于深度强化学习的RAN切片管理框架，用于在V2X与eMBB共存的5G网络中动态优化资源分配，实验证明其能平衡SLA合规与资源利用率，优于静态和比例分配策略。
2026-10-02 cs.NI
Network Slice Embedding over Space Division Multiplexed Elastic Optical Networks
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；San Jose State University（圣何塞州立大学）
本文研究了空间分乘复用弹性光网络上的网络切片嵌入问题，提出WMSM方案整合计算放置与频谱分配，提升资源利用率和频谱效率。
2026-04-13 cs.NI
LEO-Aware DRL Meta-Scheduler for 5G Non-Terrestrial Network Slicing
Professional School of Computing Science, National University of San Agustin（圣奥古斯丁国立大学计算机科学专业学院）；Institute of Computing, University of Campinas（坎皮纳斯大学计算研究所）
针对5G非地面网络集成LEO带来的资源管理挑战，提出基于TD3智能体的DRL元调度器，在牺牲1%不显著容量的情况下，严格限制关键业务排队延迟，且不会导致宽带切片饥饿，为6G O-RAN NTN资源分配提供基础。
2026-08-04 cs.NI
Explanation-Guided Deep Reinforcement Learning for Trustworthy 6G RAN Slicing
新兴的第六代（6 G）无线网络的复杂性引发了采用人工智能（AI）的热潮，以支持严格的服务水平协议（SLA）下的网络管理和资源分配挑战。它开创了大规模网络切片作为分布式技术的时代，通过垂直沉浸式用例的数字化，将租赁扩展到最终消费者。尽管深度强化学习（DRL）在网络切片中的表现很有希望，但缺乏透明度、可解释性和不透明的模型问题阻碍了用户信任DRL代理的决策或预测。当需要提供高度可靠和安全的服务时，这个问题变得更加突出。利用可解释人工智能（XAI）结合解释引导的方法，我们提出了一个可解释的强化学习（XRL）计划，以克服黑箱DRL的不透明性。所提出的方法背后的核心概念是奖励假设的内在可解释性，旨在鼓励DRL代理学习特定网络切片状态的最佳动作，同时应对易发生冲突和复杂的状态-动作对关系。为了验证所提出的框架，我们的目标是一个资源分配优化问题，其中多代理XRL努力分配最佳的可用无线电资源，以满足SLA要求的切片。最后，我们提出了数值结果，以展示所采用的XRL方法的DRL基线的优越性。据我们所知，这是第一项研究在6 G网络背景下采用增强引导的日间行车线方法的可行性的工作。
2023-03-27 cs.NI
AdaptSky: A DRL Based Resource Allocation Framework in NOMA-UAV Networks
无人机（UAV）作为满足6 G无处不在的连接需求和提高地面网络弹性的候选者，最近引起了广泛的关注。非正交多址接入（NOMA）具有频谱利用率高、时延低等优点，是未来通信网络中一种很有潜力的接入技术。在本文中，我们提出了使用无人机作为移动基站（BS）服务多个用户使用NOMA和联合解决三维无人机的布局和资源分配问题。由于相应的优化问题是非凸的，我们依靠人工智能（AI）的最新进展，提出了AdaptSky，一个基于深度强化学习（DRL）的框架，以有效地解决它。据我们所知，AdaptSky是第一个使用亚6 GHz和毫米波毫米波频谱联合优化NOMA功率分配和3D-UAV布局的框架。此外，在NOMA-UAV网络中，AdaptSky首次将决斗网络（DN）架构集成到DRL技术中，以提高其学习能力。我们的研究结果表明，AdaptSky不仅表现出快速适应学习，在数据率和公平性方面优于最先进的基线方法，而且它的泛化能力非常好。AdaptSky源代码可在以下网站访问：https://github.com/Fouzibenfaid/AdaptSky
2023-01-01 cs.NI cs.SY eess.SY
Heuristic for Edge-enabled Network Slicing Optimization using the Power of Two Choices
针对网络切片布局优化问题，提出了一种在线启发式算法.该解决方案适用于支持大规模网络上的布局，并集成了特定于边缘的URLLC约束。我们依靠一种叫做两种选择的力量的方法来建立启发式。评估结果表明，良好的性能的启发式解决问题在几秒钟内在一个大规模的场景。启发式也提高了网络切片放置请求的接受率相比，确定性的在线线性规划（ILP）的解决方案。
2020-10-16 cs.NI
DORA: Dynamic O-RAN Resource Allocation for Multi-Slice 5G Networks
DORA提出基于PPO的在线深度强化学习框架，在O-RAN中动态分配PRB给URLLC、eMBB和mMTC切片，优于基线和DQN，提升延迟、吞吐量和覆盖。
2025-09-08 cs.NI
Placement and Allocation of Communications Resources in Slicing-aware Flying Networks
网络切片在5G网络中作为一个关键组件出现，可以在共享的物理网络基础设施上使用具有不同性能要求的多种服务。主要的挑战在于确保无线覆盖和足够的通信资源以满足这些服务所要求的目标服务质量（QoS）水平，包括吞吐量和延迟保证。在灾难管理场景和户外庆祝活动等临时事件中，现有的无线基础设施可能会崩溃，无法提供足够的无线覆盖，或缺乏所需的通信资源，这一挑战会加剧。由无人机（UAV）组成的飞行网络作为一种随时随地提供按需无线覆盖和通信资源的解决方案而出现。然而，现有的解决方案大多依赖于尽力而为的网络。本文的主要贡献是SLICER，一种算法，使切片感知飞行网络中的通信资源的放置和分配。通过ns-3模拟进行的评估表明，SLICER可以满足目标的QoS水平，同时使用最小量的通信资源。
2021-12-13 cs.NI
GAN-powered Deep Distributional Reinforcement Learning for Resource Management in Network Slicing
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）
网络切片是5G通信系统中的关键技术。它的目的是在一个共同的底层物理基础设施上，为具有不同要求的多样化服务动态有效地分配资源。其中，需求感知的资源分配对于网络切片是非常重要的。在本文中，我们考虑在具有共享相同物理资源的基站的无线电接入网络中包含若干切片的场景（例如，带宽或时隙）。我们利用深度强化学习（DRL）来解决这个问题，将不同的服务需求视为环境状态，将分配的资源视为环境动作。为了减少接收到的服务水平协议（SLA）满意率（SSR）和频谱效率（SE）中嵌入的令人讨厌的随机性和噪声的影响，我们主要提出了生成对抗网络驱动的深度分布式Q网络（GAN-DDQN），以通过最小化估计动作值分布与目标动作值分布之间的差异来学习动作值分布。我们提出了一种奖励剪切机制来稳定GAN-DDQN训练，以对抗广泛的效用值的影响。此外，我们进一步开发了Dueling GAN-DDQN，它使用一个专门设计的决斗发生器，通过估计状态值分布和动作优势函数来学习动作值分布。最后，我们通过大量的仿真验证了所提出的GAN-DDQN和Dueling GAN-DDQN算法的性能。
2019-11-20 cs.AI cs.LG cs.NI
Continuous Multi-objective Zero-touch Network Slicing via Twin Delayed DDPG and OpenAI Gym
人工智能（AI）驱动的零接触网络切片（NS）是一种新的范例，可以在多租户超5G（B5 G）网络中实现资源管理和编排（MANO）的自动化。在本文中，我们解决的问题，云RAN（C-RAN）联合切片准入控制和资源分配，首先制定它作为一个马尔可夫决策过程（MDP）。然后，我们调用一种称为双延迟深度确定性策略梯度（TD 3）的高级连续深度强化学习（DRL）方法来解决这个问题。在这个意图中，我们引入了一种多目标方法，使中央单元（CU）学习如何自主重新配置计算资源，同时最大限度地减少每个切片的延迟，能耗和虚拟网络功能（VNF）实例化成本。此外，我们使用OpenAI Gym工具包构建了一个完整的5G C-RAN网络切片环境，由于其标准化接口，可以轻松地使用不同的DRL方案进行测试。最后，我们提出了广泛的实验结果，以展示TD 3的增益以及所采用的多目标策略，实现切片准入成功率，延迟，节能和CPU利用率。
2021-01-17 cs.NI
EdgeSlice: Slicing Wireless Edge Computing Network with Decentralized Deep Reinforcement Learning
5G和边缘计算将服务于各种新兴用例，这些用例对多种资源有不同的要求，例如，无线电、交通和计算机。网络切片是一种很有前途的技术，用于创建虚拟网络，可以根据不同用例的要求进行定制。调配网络切片需要端到端的资源编排，这是一项挑战。在本文中，我们设计了一个分散的资源编排系统命名为EdgeSlice的动态端到端网络切片。EdgeSlice引入了一种新的去中心化深度强化学习（D-DRL）方法，以有效地编排端到端资源。D-DRL由一个性能协调器和多个编排代理组成。性能协调器管理所有编排代理中的资源编排策略，以确保网络切片的服务水平协议（SLA）。编排代理学习网络切片的资源需求，并相应地编排资源分配，以在受限的网络和计算资源下优化切片的性能。我们设计了无线电，传输和计算管理器，使端到端的资源在运行时的动态配置。我们在端到端无线边缘计算网络的原型上实现了EdgeSlice，该网络具有OpenAirInterface LTE网络，OpenDayLight SDN交换机和CUDA GPU平台。EdgeSlice的性能通过实验和跟踪驱动的模拟进行评估。测试结果表明，EdgeSlice在性能、可扩展性、兼容性等方面都比基线有了很大的提高。
2020-03-28 cs.NI
LLM-Empowered Agentic AI for QoE-Aware Network Slicing Management in Industrial IoT
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Department of Electrical and Electronic Engineering, University of Hong Kong（香港大学电子电气工程学系）；School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院）
本文提出一种基于大语言模型的代理AI方法，用于工业物联网中面向服务质量的网络切片管理，通过整合推理、规划和适应能力，提升网络切片的延迟、可靠性和成本效率。
2025-12-24 cs.NI
