首页/论文/2108.01544

arXiv 2108.015442021-08-03cs.LGcs.NI

用于优化切片放置的受控深度强化学习

Controlled Deep Reinforcement Learning for Optimized Slice Placement

Orange Labs（奥兰治实验室）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）

Jose Jurandir Alves Esteves, Amina Boubendir, Fabrice Guillemin, Pierre Sens

备注：: arXiv admin note: substantial text overlap with arXiv:2105.06741

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了一种混合ML启发式方法，我们命名为“启发式辅助深度强化学习（HA-DRL）”来解决网络切片放置优化问题。所提出的方法利用最近的工作深度强化学习（DRL）切片放置和虚拟网络嵌入（VNE），并使用启发式函数优化探索的行动空间，优先考虑可靠的行动表示一个有效的启发式算法。评估结果表明，所提出的HA-DRL算法可以加速学习一个有效的切片放置策略，提高切片接受率相比，国家的最先进的方法，仅基于强化学习。

英文摘要：

We present a hybrid ML-heuristic approach that we name "Heuristically Assisted Deep Reinforcement Learning (HA-DRL)" to solve the problem of Network Slice Placement Optimization. The proposed approach leverages recent works on Deep Reinforcement Learning (DRL) for slice placement and Virtual Network Embedding (VNE) and uses a heuristic function to optimize the exploration of the action space by giving priority to reliable actions indicated by an efficient heuristic algorithm. The evaluation results show that the proposed HA-DRL algorithm can accelerate the learning of an efficient slice placement policy improving slice acceptance ratio when compared with state-of-the-art approaches that are based only on reinforcement learning.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

非平稳条件下基于DRL的切片布局

DRL-based Slice Placement Under Non-Stationary Conditions

Orange Labs（Orange实验室）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）

我们考虑在线学习的最佳网络切片放置的假设下，切片请求到达根据非平稳泊松过程。我们提出了一个基于深度强化学习（DRL）的框架，结合启发式算法设计。我们专门设计了两个纯DRL算法和两个家庭的混合DRL启发式算法。为了验证它们的性能，我们在大规模运营商基础设施的背景下进行了大量的模拟。评价结果表明，所提出的混合DRL启发式算法需要三个数量级的学习情节比纯DRL实现收敛。这一结果表明，所提出的混合DRL启发式方法是更可靠的比纯DRL在一个真正的非平稳网络场景。

2021-08-05cs.LGcs.NI

一种启发式辅助的深度强化学习网络切片布局方法

A Heuristically Assisted Deep Reinforcement Learning Approach for Network Slice Placement

Orange Labs（奥兰治实验室）；LIP6 – Inria, Sorbonne Univ.（索邦大学 INRIA LIP6 实验室）；CNRS（法国国家科学研究中心）

网络切片布局与虚拟化底层网络的资源分配问题是一个优化问题，可以用多目标线性规划（ILP）问题表示。然而，为了应对这种连续任务的复杂性并寻求最优性和自动化，使用机器学习（ML）技术似乎是一种有前途的方法。我们介绍了一种基于深度强化学习（DRL）的混合布局解决方案和一种基于两种选择的力量原理的专用优化启发式算法。DRL算法使用所谓的异步优势演员评论（A3 C）算法进行快速学习，并使用图卷积网络（GCN）从物理基底网络自动提取特征提取。建议的启发式辅助DRL（HA-DRL）允许加速学习过程和增益的资源使用相比，其他国家的最先进的方法作为评估结果的证据。

2021-05-14cs.LGcs.NI

切片布局控制深度强化学习的鲁棒性研究

On the Robustness of Controlled Deep Reinforcement Learning for Slice Placement

Orange Labs（Orange实验室）；LIP6 – Inria, Sorbonne Univ.（索邦大学Inria LIP6实验室）；Sorbonne Université / CNRS / Inria, LIP6（索邦大学/法国国家科学研究中心/法国国家信息与自动化研究所LIP6实验室）

在多个研究工作中考虑了在软件化网络的管理中使用机器学习的影响的评估。除此之外，我们建议评估在线学习的鲁棒性，以获得最佳的网络切片位置。本研究的一个主要假设是考虑切片请求到达是非平稳的。在这种情况下，我们模拟不可预测的网络负载变化，并比较两个深度强化学习（DRL）算法：一个纯粹的基于DRL的算法和一个启发式控制的DRL作为一个混合DRL启发式算法，以评估这些不可预测的流量负载变化对算法性能的影响。我们对大规模运营商基础设施进行了广泛的模拟。评估结果表明，所提出的混合DRL启发式方法是更强大和可靠的情况下，不可预测的网络负载变化比纯DRL，因为它减少了性能下降。这些结果是后续的一系列最近的研究，我们已经进行了表明，所提出的混合DRL启发式方法是有效的，更适合于真实的网络场景比纯DRL。

2021-08-05cs.LGcs.NI

基于强化学习的车辆网络动态服务放置

Reinforcement Learning-based Dynamic Service Placement in Vehicular Networks

National University of Singapore（新加坡国立大学）

随着5G和移动边缘计算等技术的出现，车辆网络中的车辆可以获得不同资源和服务需求的不同类型服务，而不同类型服务请求中的交通移动模式和动态变化的复杂性日益增加，使得服务部署成为一项具有挑战性的任务。典型的静态放置解决方案并不有效，因为它没有考虑流量移动性和服务动态性。在本文中，我们提出了一个基于强化学习的动态（RL-Dynamic）服务放置框架，以找到最佳的服务放置在边缘服务器，同时考虑车辆的移动性和动态的请求不同类型的服务。我们使用SUMO和MATLAB进行仿真实验。在我们的学习框架中，对于决策模块，我们考虑了两个备选目标函数-最小化延迟和最小化边缘服务器利用率。我们开发了一个ILP为基础的问题制定的两个目标函数。实验结果表明：1）与静态服务放置相比，基于RL的动态服务放置实现了边缘服务器资源的公平利用和较低的服务延迟; 2）与延迟优化放置相比，服务器利用率优化放置更有效地利用了资源，在边缘服务器利用率较低的情况下实现了较高的公平性。

2021-06-01cs.LGcs.NI

ESCORT：面向POMDP的高效Stein变分与切片一致性优化时间信念表示

ESCORT: Efficient Stein-variational and Sliced Consistency-Optimized Temporal Belief Representation for POMDPs

Vanderbilt University（范德比大学）

针对POMDP中复杂多模态信念表示难题，提出基于粒子的ESCORT框架，通过相关性感知投影和时间一致性约束扩展SVGD，无需重采样即可动态适应，提升信念近似精度与决策质量。

2025-10-24cs.AIcs.LGcs.RO

Placeto：分布式机器学习中的通用设备布局算法

Placeto: Learning Generalizable Device Placement Algorithms for Distributed Machine Learning

MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）

我们提出了Placeto，一种强化学习（RL）方法，可以有效地找到分布式神经网络训练的设备位置。与之前只为特定计算图找到设备放置的方法不同，Placeto可以学习可应用于任何图的可推广的设备放置策略。在我们的方法中，我们提出了两个关键思想：（1）我们将策略表示为执行迭代放置改进，而不是一次性输出放置;（2）我们使用图嵌入来捕获有关计算图结构的相关信息，而不依赖于节点标签进行索引。这些想法允许Placeto有效地进行训练并推广到看不见的图。我们的实验表明，Placeto需要少6.1倍的训练步骤来找到与先前方法找到的最佳位置相同或更好的位置。此外，Placeto能够为任何给定的图族学习可推广的放置策略，然后可以在没有任何重新训练的情况下使用该策略来预测来自同一族的未见过图的优化放置。这消除了先前RL方法所产生的巨大开销，这些方法缺乏可推广性，每次放置新图时都需要从头开始重新训练。

2019-06-20cs.DCcs.LGstat.ML

更多相关论文收起更多论文

基于深度强化学习的芯片布局

Chip Placement with Deep Reinforcement Learning

Google（谷歌）

在这项工作中，我们提出了一种基于学习的方法来芯片布局，芯片设计过程中最复杂和耗时的阶段之一。与以前的方法不同，我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是，当我们训练更多数量的芯片块，我们的方法变得更好地快速生成优化的布局，以前看不见的芯片块。为了实现这些结果，我们提出的位置作为一个强化学习（RL）的问题和训练代理放置到芯片画布上的芯片网表的节点。为了使我们的RL策略能够推广到看不见的块，我们在预测放置质量的监督任务中进行表示学习。通过设计一个可以准确预测各种网表及其位置的奖励的神经架构，我们能够生成输入网表的丰富特征嵌入。然后，我们使用这个架构作为我们的策略和价值网络的编码器，以实现迁移学习。我们的目标是最大限度地减少PPA（功率，性能和面积），我们表明，在6小时内，我们的方法可以在现代加速器网表上生成超人或可比的布局，而现有的基线需要人类专家在循环中，需要几个星期。

2020-04-22cs.AIcs.LG

通过深度强化学习优化虚拟边缘计算系统中的计算卸载性能

Optimized Computation Offloading Performance in Virtual Edge Computing Systems via Deep Reinforcement Learning

VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）；College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；Graduate School of Informatics and Engineering, University of Electro-Communications（电气通信大学信息与工程研究生院）；Auburn University（奥本大学）；National Institute of Informatics（国立信息学研究所）；Centre for Wireless Communications, University of Oulu（奥卢大学无线通信中心）

为了提高移动设备的计算体验质量，移动边缘计算（MEC）通过在切片无线电接入网络（RAN）内提供紧密接近的计算能力而成为一种有前途的范例，该切片无线电接入网络支持传统通信和MEC服务。然而，虚拟MEC系统的计算卸载策略的设计仍然具有挑战性。具体地，是在移动终端处执行计算任务还是卸载计算任务以用于MEC服务器执行，应当适应时变网络动态。在本文中，我们认为MEC的一个代表性的移动用户在超密集切片RAN，其中多个基站（BS）可供选择的计算卸载。求解最优计算卸载策略的问题被建模为马尔可夫决策过程，其中我们的目标是最大限度地提高长期效用性能，从而根据任务队列状态，能量队列状态以及MU和BS之间的信道质量做出卸载决策。为了打破状态空间中高维的诅咒，我们首先提出了一种基于双深度Q网络（DQN）的策略计算卸载算法，在不知道网络动力学先验知识的情况下学习最优策略。然后，受效用函数可加性结构的启发，将Q函数分解技术与双DQN相结合，得到了解决随机计算卸载问题的新型学习算法。数值实验表明，我们提出的学习算法实现了显着改善的计算卸载性能相比，基线政策。

2018-05-16cs.AIcs.LGstat.ML

MoETuner：通过平衡专家放置与令牌路由优化专家混合模型服务

MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing

Georgia Institute of Technology（佐治亚理工学院）

针对MoE模型分布式部署中令牌路由与专家激活不均衡、通信尾延迟等问题，提出MoETuner方案，通过ILP优化专家放置并利用层间令牌路由依赖，实现负载均衡与通信优化，单节点和多节点推理速度分别提升9.3%和17.5%。

2025-02-10cs.DCcs.LG

Collage：深度学习后端与自动放置的无缝集成

Collage: Seamless Integration of Deep Learning Backends with Automatic Placement

Carnegie Mellon University（卡内基梅隆大学）；OctoML；Praxis Pioneering；Amazon Web Services（亚马逊云科技）

对高效、高性能部署深度学习（DL）应用的强烈需求推动了丰富的DL生态系统的快速发展。为了跟上这种快速发展，现代DL框架必须有效地集成各种优化的张量代数库和运行时作为其后端，并使用这些后端生成最快的可执行文件。然而，当前的DL框架需要大量的人工工作和专业知识来集成每个新的后端，而无法释放其全部潜力。鉴于深度学习生态系统的快速发展特性，这种手动方法通常会减缓跨不同层的持续创新;它阻碍了硬件供应商快速部署其尖端库，DL框架开发人员必须反复调整其手工编码的规则以适应新版本的库，机器学习从业者需要等待新技术的集成，并且经常遇到不满意的性能。在本文中，我们提出拼贴，DL框架，提供DL后端的无缝集成。Collage提供了一个富有表现力的后端注册接口，允许用户精确地指定各种后端的功能。通过利用可用后端的规范，Collage自动搜索针对给定工作负载和执行环境的优化后端放置策略。我们的评估显示，Collage在NVIDIA的RTX 2070 GPU、V100 GPU和英特尔的Xeon 8259 CL CPU上的表现，平均分别超过了每种硬件的现有最佳框架$1.26\times$、$1.43\times$和$1.40\times$。Collage已经开源并部署在Apache TVM中。

2022-10-28cs.AIcs.LG