arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.14447cs.DC
收藏

ParvaGPU:面向云环境中大规模 DNN 推理的高效空间 GPU 共享

ParvaGPU: Efficient Spatial GPU Sharing for Large-Scale DNN Inference in Cloud Environments

Munkyu Lee, Sihoon Seong, Minki Kang, Jihyuk Lee, Gap-Joo Na, In-Geol Chun, Dimitrios Nikolopoulos, Cheol-Ho Hong

AI总结:

本文提出 ParvaGPU 技术,通过集成 NVIDIA 的 MIG 和 MPS 技术实现云环境中大规模 DNN 推理的空间 GPU 共享,有效解决了资源利用不足和外部碎片化问题,在多块 A100 GPU 上评估 11 个工作负载,实现了零 SLO 违规并显著减少 GPU 用量。

摘要:

在云环境中,基于 GPU 的深度神经网络(DNN)推理服务器需要在指定的请求速率下满足每个工作负载的 SLO 延迟,同时最小化 GPU 资源消耗。然而,以往的研究并未完全实现这一目标。本文提出 ParvaGPU,这是一项促进云计算中大规模 DNN 推理空间 GPU 共享的技术。ParvaGPU 集成 NVIDIA 的 MIG 和 MPS 技术以提高 GPU 利用率,旨在满足各工作负载的多样化 SLO 并减少总体 GPU 用量。具体而言,ParvaGPU 解决了最小化已分配 GPU 空间分区内的未充分利用以及 MIG 与 MPS 结合环境中的外部碎片化挑战。我们在多块 A100 GPU 上进行评估,测试了 11 个具有不同 SLO 的多样化 DNN 工作负载。评估表明没有发生 SLO 违规,且与最先进的框架相比,GPU 用量显著减少。

英文摘要:

In cloud environments, GPU-based deep neural network (DNN) inference servers are required to meet the Service Level Objective (SLO) latency for each workload under a specified request rate, while also minimizing GPU resource consumption. However, previous studies have not fully achieved this objective. In this paper, we propose ParvaGPU, a technology that facilitates spatial GPU sharing for large-scale DNN inference in cloud computing. ParvaGPU integrates NVIDIA's Multi-Instance GPU (MIG) and Multi-Process Service (MPS) technologies to enhance GPU utilization, with the goal of meeting the diverse SLOs of each workload and reducing overall GPU usage. Specifically, ParvaGPU addresses the challenges of minimizing underutilization within allocated GPU space partitions and external fragmentation in combined MIG and MPS environments. We conducted our assessment on multiple A100 GPUs, evaluating 11 diverse DNN workloads with varying SLOs. Our evaluation revealed no SLO violations and a significant reduction in GPU usage compared to state-of-the-art frameworks.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑