Optimizing Hardware Resource Partitioning and Job Allocations on Modern GPUs under Power Caps
本文面向功耗受限 HPC,结合现代 GPU 的硬件分区与功耗封顶机制,基于可扩展性和干扰建模联合优化芯片分区、作业分配及功耗配置,从而在多类工作负载下获得近优方案。
2024-05-06 cs.DC
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统,提出基于机器学习的预测性能建模方法,协同优化程序共置调度、CPU/GPU资源划分和功率封顶,在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
Parallel Watershed Partitioning: GPU-Based Hierarchical Image Segmentation
American University of Armenia(亚美尼亚美国大学);University of Oxford(牛津大学)
本文提出三种 GPU 并行流域分割算法,通过迭代生成层次化瀑布区域,在 2D/3D 图像上实现高速处理,并可替代超像素用于语义分割预处理。
2024-10-11 cs.CV cs.DC
Contention-Aware GPU Partitioning and Task-to-Partition Allocation for Real-Time Workloads
为了满足时间约束,现代实时的【形】应用需要大规模并行加速器,例如通用图形处理单元(GPGPU)。一代又一代,在新的GPU架构中可用的计算集群的数量正在稳步增加,因此,现在必须研究合适的调度方法。这样的调度方法涉及在GPU计算集群内映射不同的和并发的计算内核,因此将GPU计算集群分组到可并行的分区中。在本文中,我们提出了新的技术来定义GPU分区,这使我们能够定义合适的任务到分区的分配机制,其中任务是GPU计算内核具有不同的时序要求。这种机制将考虑GPU内核在重叠时间窗口中运行时所经历的干扰。因此,一个有效的和简单的方法来量化这种干扰的大小。我们证明了所提出的方法对经典技术,认为GPU作为一个单一的,不可分割的资源的效率。
2021-05-21 cs.DC cs.SY eess.SY
Atlas: Hierarchical Partitioning for Quantum Circuit Simulation on GPUs (Extended Version)
本文提出Atlas,一种基于层次化划分的分布式多GPU量子电路模拟器,通过整数线性规划和动态规划优化通信与吞吐,平均性能优于现有GPU模拟器2倍以上,并支持更大规模电路。
2024-11-04 cs.DC quant-ph
SGPRS: Seamless GPU Partitioning Real-Time Scheduler for Periodic Deep Learning Workloads
针对实时 DNN 工作负载中 GPU 资源利用不足的问题,提出 SGPRS 调度器,通过零配置分区切换提升并行任务截止期限满足率并保持临界点后的整体性能。
2024-04-13 cs.DC cs.SE cs.SY
Sphynx: a parallel multi-GPU graph partitioner for distributed-memory systems
图划分已经成为一种重要的工具,用于将工作划分到多个处理器之间,以最小化通信开销和平衡工作负载。虽然基于加速器的超级计算机正在成为标准,但随着应用程序快速迁移到这些架构,图分区的使用变得更加重要。然而,没有可用于应用程序的分布式内存并行、多GPU图形分区器。我们开发了一个光谱图分区,Sphynx,使用Trilinos框架的便携式,加速器友好的堆栈。在Sphynx中,我们允许使用不同的预处理器并利用它们的独特优势。我们使用Sphynx系统地评估频谱分割中的各种算法选择,重点是GPU性能。我们进行这些评估的两个不同类别的图形:定期(如网格,矩阵有限元法)和不规则(如社交网络和网络图),并表明,这些图形类需要不同的设置和预处理。Summit超级计算机上的实验结果表明,Sphynx是最快的替代不规则图在一个应用程序友好的设置,并获得了分区质量接近ParMETIS的规则图。与单个GPU上的nvGRAPH相比,Sphynx速度更快,获得更好的平衡和更好的分区质量。Sphynx为寻找基于GPU的分区器的应用程序提供了一个良好而强大的分区方法。
2021-05-02 cs.DC cs.DM cs.MS
Dynamic Partitioning-based JPEG Decompression on Heterogeneous Multicore Architectures
随着社交网络的出现和计算摄影的改进,每天有数十亿张JPEG图像被共享和查看。桌面、平板电脑和智能手机构成了用于显示JPEG图像的绝大多数硬件平台。尽管这些平台是异构多核的,但还没有能够联合系统的CPU和GPU进行JPEG解码的方法。在本文中,我们介绍了一种新的JPEG解码方案的异构体系结构组成的CPU和OpenCL可编程GPU。我们采用离线分析步骤来确定系统的CPU和GPU相对于JPEG解码的性能。对于给定的JPEG图像,我们的性能模型使用(1)CPU和GPU性能特征,(2)图像熵和(3)图像的宽度和高度来平衡底层硬件上的JPEG解码工作负载。我们的运行时分区和调度方案利用任务,数据和流水线并行通过调度CPU上的非并行熵解码任务,而反余弦变换(IDCT),颜色转换和上采样进行的CPU和GPU。我们的内核已针对GPU存储层次结构进行了优化。我们已经实现了libjpeg-turbo库,这是一个工业强度的JPEG编码和解码引擎的上下文中提出的方法。Libjpeg-turbo针对ARM和x86的手动优化SIMD例程构成了与所提出方法进行比较的竞争性标尺。使用libjpeg-turbo改进我们的方法,为异构多核重新设计遗留代码的软件工程方面提供了见解。
2014-05-12 cs.DC
Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning
The Ohio State University(俄亥俄州立大学)
本文针对Frontier超算集群提出3级层次分区策略,优化ZeRO++的通信与内存利用,在20B GPT模型上实现每GPU 1.71倍TFLOPS提升和0.94扩展效率。
2025-02-04 cs.AI cs.DC
Jet: Multilevel Graph Partitioning on Graphics Processing Units
本文提出了专为GPU设计的并行划分细化算法Jet,结合GPU感知粗化构建了k-way图划分器,在大量测试图上质量优于现有共享内存划分器。
2024-01-05 cs.DC cs.DM
Supporting Very Large Models using Automatic Dataflow Graph Partitioning
New York University(纽约大学)
本文介绍了Tofu,这是一个在多个GPU设备上划分非常大的DNN模型的系统,以减少每个GPU的内存占用。Tofu旨在划分细粒度张量运算符的低维图,以便透明地与MXNet等通用深度学习平台一起工作。为了自动划分每个操作符,我们建议描述一个操作符的语义在一个简单的语言,表示张量的lambda函数映射从张量坐标值。为了最佳地划分一个图中的不同操作符,豆腐使用递归搜索算法,最大限度地减少总的通信成本。我们在8-GPU机器上的实验表明,Tofu可以训练非常大的CNN和RNN模型。它还实现了25% - 400%的加速比替代方法的训练非常大的模型。
2019-02-20 cs.DC cs.LG
An Online Fragmentation-Aware Scheduler for Managing GPU-Sharing Workloads on Multi-Instance GPUs
National Tsing Hua University(国立清华大学);IBM T. J. Watson Research Center(IBM T.J.沃森研究中心)
本文提出一种在线碎片感知调度器,通过动态分区和任务迁移技术,有效解决多实例GPU上的资源碎片和竞争问题,提升系统效率35%。
2025-12-18 cs.DC
CaPGNN: Optimizing Parallel Graph Neural Network Training with Joint Caching and Resource-Aware Graph Partitioning
School of Microelectronics, South China University of Technology(华南理工大学微电子学院)
CaPGNN通过联合缓存和资源感知图划分优化并行图神经网络训练,显著提升训练效率并降低通信成本。
2026-02-07 cs.DC
Communication-Avoiding SpGEMM via Trident Partitioning on Hierarchical GPU Interconnects
Cornell University(康奈尔大学);University of Trento(特伦托大学)
本文提出Trident算法,通过通信避免技术和异步通信优化现代超算互联架构,减少节点间通信并提升性能,实现在无结构稀疏矩阵上的加速。
2026-03-24 cs.DC cs.MS
An Analysis of Collocation on GPUs for Deep Learning Training
IT University of Copenhagen(哥本哈根信息技术大学)
本文在 A100 上对比 MIG、MPS 与多进程协同定位,分析不同模型组合下的深度学习训练性能,发现 MPS 对单用户最灵活高效。
2023-04-24 cs.DC cs.LG
Accelerating Direction-Optimized Breadth First Search on Hybrid Architectures
众所周知,大型无标度图很难有效地处理:倾斜的顶点度分布使得很难获得平衡分区。相反,我们的研究旨在通过划分工作负载以匹配混合GPU加速架构中各个计算元素的强度来将其转化为优势。作为概念证明,我们专注于方向优化的广度优先搜索算法。我们提出了大规模并发和良好的整体性能所需的关键图分区,工作负载分配和通信策略。我们表明,利用专业化可以在解决问题的时间方面获得高达2.4倍的收益,并通过将2个GPU添加到仅2个CPU的基线来实现2.0倍的能源效率,对于具有高达160亿条无向边的合成图以及大型现实世界的图。我们还表明,对于能量上限,添加GPU比添加CPU更有效。最后,我们的表现将使我们在Scale29图形的[Green]Graph500挑战中名列前茅。
2015-10-02 cs.DC
A Multi-Objective Framework for Optimizing GPU-Enabled VM Placement in Cloud Data Centers with Multi-Instance GPU Technology
本文针对云数据中心中MIG技术导致的GPU资源碎片化问题,提出多阶段放置框架GRMU,通过GPU内/间迁移和配额分区策略,在真实集群轨迹上实现接受率提升22%、活跃硬件减少17%。
2025-02-04 cs.DC
Managing Multi Instance GPUs for High Throughput and Energy Savings
针对现代GPU(如A100、H100)芯片分区复杂约束问题,提出动态内存估计、分区融合/裂变及进程重启等方案,提升通用、ML及LLM工作负载的吞吐量与节能效果,通用工作负载吞吐量提升达6.20倍、能耗降低达5.93倍。
2025-08-25 cs.DC
D-PDLP: Scaling PDLP to Distributed Multi-GPU Systems
Cardinal Operations;Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出D-PDLP框架,通过二维网格划分将PDHG算法扩展到多GPU环境,结合块状随机排列和非零元素意识矩阵划分,提升负载平衡和计算效率,实现在大规模线性规划问题上的高扩展性和性能。
2026-05-08 cs.DC math.OC
Scalable Multi-GPU Simulation of 3D Multicellular Growth with RNN-Based Workload Balancing
School of Computing, University of Nebraska–Lincoln(内布拉斯加大学林肯分校计算学院);Department of Mathematics, University of Nebraska–Lincoln(内布拉斯加大学林肯分校数学系);Department of Radiation Oncology, University of Rochester Medical Center(罗切斯特医学中心放射肿瘤学系);School of Biological Sciences, University of Nebraska–Lincoln(内布拉斯加大学林肯分校生物科学学院);Holland Computing Center, University of Nebraska–Lincoln(内布拉斯加大学林肯分校霍兰德计算中心)
该研究提出结合GPU加速等技术的多GPU模拟框架,引入RNN负载平衡控制器,实现三维多细胞生长模拟的高效可扩展计算,提升负载平衡效果并降低运行时间。
2026-08-27 cs.CE cs.DC cs.LG
MISO: Exploiting Multi-Instance GPU Capability on Multi-Tenant Systems for Machine Learning
GPU技术在尺寸和性能方面一直在加速改进,使HPC和AI/ML研究人员能够推进科学发现过程。然而,这也会导致资源使用效率低下,因为大多数GPU工作负载,包括复杂的AI/ML模型,都无法最大限度地利用GPU资源,从而鼓励支持GPU多租户。我们提出了MISO,这是一种在最新的NVIDIA数据中心GPU(例如,A100、H100),以便在协同定位的作业之间动态地划分GPU资源。MISO的关键见解是使用轻量级,更灵活的多进程服务(MPS)功能来预测不同作业的最佳分区分配,而不会在探索期间产生实现它们的开销。由于能够更有效地利用GPU资源,MISO的平均作业完成时间分别比未分区和最佳静态GPU分区方案低49%和16%。
2022-10-06 cs.AR cs.DC
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.(字节跳动公司);Northeastern University(东北大学);New York University(纽约大学)
多实例GPU(Multi-Instance GPU,简称GPU)是NVIDIA A100 GPU推出的一项新功能,可将一个物理GPU划分为多个GPU实例。借助GPU,A100可以成为服务于深度神经网络(DNN)的最具成本效益的GPU。然而,发现最有效的GPU分区是具有挑战性的。底层问题是NP难的,而且,它是一个新的抽象问题,我们定义为可重构机器调度问题(RMS)。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案,MIG服务。分布式服务是一个算法管道,融合了各种新设计的算法和定制的经典算法,包括启发式贪心算法,遗传算法(GA)和蒙特卡罗树搜索算法(MCTS)。我们在Kubernetes上实现了MIG服务。我们的实验表明,与使用A100相比,MIG服务可以节省高达40%的GPU,同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
An Online Fragmentation-Aware GPU Scheduler for Multi-Tenant MIG-based Clouds
Fondazione Bruno Kessler (FBK)(布鲁诺·克莱斯勒基金会)
本文提出了一种面向多租户MIG云的在线碎片感知GPU调度器,通过引入碎片度量指标和贪心算法,有效减少GPU碎片化,提高工作负载调度效率。
2025-11-24 cs.DC cs.NI
Optimal Workload Placement on Multi-Instance GPUs
针对支持MIG分区的GPU,本文研究LLM推理工作负载的最优放置与迁移,提出优化方法和启发式方法,显著减少GPU使用数量及资源浪费。
2024-09-10 cs.DC
Improving GPU Multi-Tenancy Through Dynamic Multi-Instance GPU Reconfiguration
针对多租户持续学习工作负载,提出基于MIG的GPU动态重配置运行时MIGRator,利用ILP优化有效吞吐量,兼顾推理SLO和模型精度,性能优于现有技术。
2024-07-18 cs.DC
SMART-MIG: A Learning Framework for Scalable and Energy-Efficient GPU Scheduling
Columbia University(哥伦比亚大学);IBM TJ Watson Research Center(IBM 沃森研究中心)
提出SMART-MIG框架,结合平均场多智能体强化学习和启发式调度算法,实现大规模MIG重分区与作业调度,在保证作业处理速度的同时提高能效,相比静态分区能效提升18%。
2026-06-29 cs.DC
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
Hanyang University(汉阳大学)
提出ShuntServe系统,通过屋顶线模型估计性能和动态规划优化模型放置,在异构竞价型GPU集群上最大化吞吐量,结合输出保留迁移与共享张量存储实现容错,相比基线吞吐量提升1.42倍,成本效率提升31.9%以上。
2026-06-18 cs.DC
Solving large permutation flow-shop scheduling problems on GPU-accelerated supercomputers
置换流水车间调度中的最小完工时间问题是一个著名的组合优化难题。在E.在1993年的Taillard,23个案件近30年来一直没有解决。在本文中,我们提出了我们的尝试,解决这些情况下的最优使用并行分支定界树搜索的GPU加速让Zay超级计算机。我们报告了11个以前未解决的问题实例的精确解,并改进了8个实例的上界。这些问题的解决方案既需要算法改进,也需要利用千万亿次高性能计算平台的计算能力。所面临的挑战在于,在由数百个大规模并行加速器设备和多核处理器组成的分布式系统上,高效地执行高度不规则的细粒度搜索树的并行深度优先遍历。我们提出并讨论了我们的基于置换的B&B的设计和实现,并通过实验评估其并行性能高达384 V100 GPU(200万CUDA核心)和3840 CPU核心。最大解决实例的最优性证明需要大约64 CPU年的计算-使用256个GPU和超过400万个并行搜索代理,搜索树的遍历在13小时内完成,探索339个$\times 10^{12}$节点。
2020-12-17 cs.DC
Microsecond-scale Dynamic Validation of Idempotency for GPU Kernels
针对 GPU 条件幂等内核的分类缺陷,论文提出首个实例级幂等性验证系统 PICKER,通过启动参数动态验证并优化至微秒级,兼具高准确率与低延迟,可有效提升容错与调度系统性能。
2024-10-31 cs.DC cs.OS
A Preliminary Study on Simultaneous Coscheduling for Discrete GPU vs. Fused GPU
Virginia Tech(弗吉尼亚理工大学)
本研究对比GH200超级芯片与H100 PCIe平台的CPU-GPU协同调度,以稀疏共轭梯度为案例,发现GH200可让更多工作划分具备竞争力,提升协同调度的性能与可编程性。
2026-08-11 cs.DC
LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme
NVIDIA(英伟达);NVIDIA/UIUC(英伟达/伊利诺伊大学厄巴纳-香槟分校)
本文提出LSM-GNN框架,通过优化数据传输方案提升多GPU环境下GNN训练效率,实验表明其在单节点双GPU配置下优于双节点四GPU的Dist-DGL基线,实现端到端训练时间的3.75倍加速。
2026-03-28 cs.DC cs.LG
Diving into 3D Parallelism with Heterogeneous Spot Instance GPUs: Design and Implications
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与产业研究院)
AutoHet通过自动优化异构GPU的3D并行计划,实现分布式训练的高效性和恢复速度提升。
2025-12-24 cs.DC cs.NI
PROFET: Profiling-based CNN Training Latency Prophet for GPU Cloud Instances
训练卷积神经网络(CNN)模型通常需要显著的计算能力,并且云计算资源被广泛用作训练环境。然而,由于云服务的快速发展,CNN算法开发人员很难跟上系统更新并将其应用于其训练环境。因此,对于云计算服务供应商来说,重要的是为各种训练任务设计和交付最佳的训练环境,以减少算法开发人员的系统操作管理开销。为了实现这一目标,我们提出了PROFET,它可以预测在各种图形处理单元(GPU)设备上实现任意CNN的训练延迟,以开发具有成本效益和时间效益的训练云环境。与以往的训练延迟预测工作不同,PROFET不依赖于CNN架构的实现细节,适合在公有云环境下使用。彻底的评估显示优越的预测精度PROFET相比,国家的最先进的相关工作,和示范服务提出了该系统的实用性。
2022-11-21 cs.DC
GPU Accelerated Similarity Self-Join for Multi-Dimensional Data
自连接查找数据集中彼此在搜索距离内的所有对象;因此,自连接是许多算法的构建块。我们提出了一个GPU加速的自连接算法针对高维数据。GPU提供的大规模并行性和高聚合内存带宽使该架构非常适合数据密集型工作负载。我们利用基于网格的GPU定制索引来执行范围查询。我们提出了以下优化:(i)通过利用索引的属性在候选集过滤和索引搜索开销之间进行权衡;(ii)基于每个维度的方差对数据进行重新排序,以提高索引的过滤能力;以及(iii)用于减少昂贵的距离计算次数的修剪方法。在现实世界和合成数据集的大多数场景中,我们的算法优于并行的最先进的方法。Exascale系统正在向异构分布式存储器架构汇聚。我们表明,可以利用实体分区方法来实现平衡的工作负载,从而为多GPU或分布式内存自连接提供良好的可扩展性。
2018-09-26 cs.DC
PREBA: A Hardware/Software Co-Design for Multi-Instance GPU based AI Inference Servers
KAIST(韩国科学技术院);Google(谷歌公司)
针对NVIDIA多实例GPU(MIG)在AI推理服务器中因数据预处理导致的性能瓶颈,提出软硬件协同设计PREBA,通过FPGA加速器和动态批处理系统,实现吞吐量、能效等关键指标的显著提升。
2024-11-28 cs.AI cs.AR cs.DC
A Distributed Multi-GPU System for Large-Scale Node Embedding at Tencent
现实世界的节点嵌入应用程序通常包含数千亿条具有高维节点特征的边。扩展节点嵌入系统以有效地支持这些应用仍然是一个具有挑战性的问题。在本文中,我们提出了一个高性能的多GPU节点嵌入系统。它使用模型并行性将节点嵌入拆分到每个GPU的本地参数服务器上,并使用数据并行性在不同的边缘样本上并行训练这些嵌入。我们提出了一个分层的数据分区策略和嵌入式训练管道,以优化GPU集群上的通信和内存使用。通过CPU任务(随机游走)和GPU任务(嵌入训练)的解耦设计,我们的系统具有高度的灵活性,可以充分利用GPU集群上的所有计算资源。与目前最先进的多GPU单节点嵌入系统相比,我们的系统平均实现了5.9倍-14.4倍的加速比,在开放数据集上具有竞争力或更好的准确性。在拥有近3000亿条边和超过10亿个节点的网络上使用40个NVIDIA V100 GPU,我们的实现仅需3分钟即可完成一个训练阶段。
2021-08-18 cs.DC
A GPU-Based Genetic Algorithm for the P-Median Problem
p-median问题是一个著名的NP难题。在文献中已经提出了许多算法来解决这个问题。本文利用GPGPU并行计算平台,提出了一种在Cuda中实现的基于p-中位数问题伪布尔公式的新遗传算法。我们已经测试了我们的算法的有效性,使用特斯拉K40(2880 Cuda核心)290个不同的基准实例从OR库,离散位置问题基准库,并在最近的出版物中介绍的基准。该算法成功地找到了最佳的解决方案,除了两个或库的实例,即pmed 30和pmed 40,其中优于99.9%的近似值。
2016-10-31 cs.DC
Performance Isolation for Inference Processes in Edge GPU Systems
Universitat Politècnica de València(瓦伦西亚理工大学)
研究边缘GPU系统中推理过程的性能隔离,分析MPS、MIG和绿色上下文等机制,通过性能测试等方法,发现MIG隔离性高,绿色上下文对边缘设备有潜力,同时指出局限与研究方向。
2026-07-14 cs.DC cs.OS
SpecInF: Exploiting Idle GPU Resources in Distributed DL Training via Speculative Inference Filling
SpecInF通过推测性推理填充方法,利用分布式深度学习训练中的空闲GPU资源,将推理实例与训练实例共置,检测训练气泡并自适应填充,显著提升GPU利用率,同时保证训练吞吐量。
2025-03-26 cs.DC
GFS: A Preemption-aware Scheduling Framework for GPU Clusters with Predictive Spot Instance Management
针对GPU集群中低优先级任务面临的高驱逐率和长排队时间问题,提出了抢占式调度框架GFS,通过轻量级预测模型、动态配额分配和抢占策略,显著降低驱逐率与延迟并提升分配率,每月产生约45.9万美元收益。
2025-09-14 cs.DC
Euler Meets GPU: Practical Graph Algorithms with Theoretical Guarantees
欧拉巡回技术是设计并行图算法的经典工具,最初是为PRAM模型提出的。我们问它是否可以适应在GPU上高效运行。我们专注于两个既定的应用程序的技术:(1)的问题,寻找最低共同祖先(LCA)的节点对树,(2)的问题,在无向图中找到桥梁。在我们的实验中,我们比较理论上最优的算法,使用欧拉巡回技术对简单的appropriistics应该执行特别好的典型实例。我们表明,欧拉巡回赛为基础的算法不仅履行其理论承诺,并在硬的情况下优于实际算法,但也表现出与他们在简单的情况下。
2021-03-28 cs.DC cs.DS
Hyperion: Hierarchical Scheduling for Parallel LLM Acceleration in Multi-tier Networks
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Singapore University of Technology and Design(新加坡科技设计大学);Terminus Group(天穹集团)
Hyperion通过分层调度优化多级网络中大语言模型的并行加速,显著降低延迟并提升GPU利用率。
2025-12-01 cs.DC
Improving Multi-Instance GPU Efficiency via Sub-Entry Sharing TLB Design
针对NVIDIA MIG技术中L3 TLB共享导致的性能下降和子条目利用率低问题,提出STAR方法,通过跨多基地址动态共享TLB条目,使整体性能平均提升30.2%。
2024-04-29 cs.AR cs.DC
Elixir: Train a Large Language Model on a Small GPU Cluster
HPC-AI Technology Inc.(HPC-AI科技公司);National University of Singapore(新加坡国立大学)
本文提出 Elixir 方案,通过运行前模型剖析自动选择内存划分与卸载的最优组合,在小型 GPU 集群上高效训练大语言模型,并在 GPT-2 上实现最高 3.4 倍加速。
2023-05-31 cs.AI cs.DC cs.LG
Guardian: Safe GPU Sharing in Multi-Tenant Environments
针对多租户GPU共享中的内存安全隐患,本文提出PTX级边界检查方法Guardian,通过地址空间分区、底层调用拦截和PTX级内核插桩实现动态空间共享与内存隔离,在Caffe和PyTorch等框架上平均开销仅9%。
2024-10-16 cs.DC
MT4G: A Tool for Reliable Auto-Discovery of NVIDIA and AMD GPU Compute and Memory Topologies
Technical University of Munich(慕尼黑工业大学)
本文提出开源供应商无关工具MT4G,结合现有API与50余个微基准测试及统计方法,自动可靠地发现NVIDIA和AMD GPU的计算与内存拓扑,并在性能建模、瓶颈分析和动态资源划分三个工作流中验证其通用性与实用性。
2025-11-08 cs.DC
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers
University of California Merced(加州大学默塞德分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
受极端多标签分类应用的启发,我们考虑在多GPU服务器中的稀疏数据上训练深度学习模型。训练批次中非零特征数量的变化和固有的GPU异构性结合起来限制了准确性并增加了收敛时间。我们使用自适应SGD来解决这些挑战,自适应SGD是一种用于异构多GPU的自适应弹性模型平均随机梯度下降算法,其特征在于动态调度,自适应批量大小缩放和归一化模型合并。不是静态地将批划分到GPU,而是基于相对处理速度来路由批。批量大小缩放将较大的批量分配给速度较快的GPU,较小的批量分配给速度较慢的GPU,目标是达到一个稳定状态,在这个状态下,所有GPU执行相同数量的模型更新。归一化模型合并基于分配的批次为每个GPU计算最佳权重,使得组合的模型实现更好的准确性。我们的实验表明,自适应SGD在时间准确性方面优于四种最先进的解决方案,并且可以随GPU数量的增加而扩展。
2021-10-13 cs.DC cs.LG
Solving the Quadratic Assignment Problem on heterogeneous environment (CPUs and GPUs) with the application of Level 2 Reformulation and Linearization Technique
二次分配问题是一个经典的组合优化问题,属于NP难问题,研究较多。这个问题是指将N个设施分配到N个位置,服从1对1的关系,目的是使设施之间的位移成本最小化。将重构线性化技术(RLT)应用到QAP中,得到了一个紧线性松弛,但它很大且很难求解。以前基于3级RLT的工作需要大约700GB的工作内存来处理一个大型实例(N = 30设施)。我们提出了一个修改后的版本的算法提出的亚当斯等人。它执行异构系统(CPU和GPU),基于2级RLT。在某些情况下,我们的算法比3级RLT版本快140倍,占用内存少97%。该算法能够通过第一时间解决两个实例:tai35b和tai40b。
2015-10-07 cs.DC
Mosaic: GPU Sharing with Latency Guarantees through Kernel-Level Interference Prediction
ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);Wayve
Mosaic通过内核级干扰预测模型显式建模GPU干扰机制,结合分析与轻量学习,降低预测误差达一个数量级,并集成调度器实现延迟保证与吞吐量最大化。
2026-10-07 cs.DC
SPEED: Streaming Partition and Parallel Acceleration for Temporal Interaction Graph Embedding
Fudan University(复旦大学);University of California, Davis(加州大学戴维斯分校);Tencent Weixin Group(腾讯微信事业群)
针对时序交互图无法并行处理且难以扩展至GPU的问题,提出SPEED方法,通过流式边划分与并行加速组件实现多GPU训练加速,最高提速19.29倍并降低69%资源消耗,同时保持下游任务竞争力。
2023-09-11 cs.DC cs.LG cs.SI
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University(西江大学);ETRI(韩国电子通信研究院)
针对云环境LLM推理的高GPU成本问题,提出InferSave框架,通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例,实验显示在线场景成本效率提升73.7%,离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
PathWeaver: A High-Throughput Multi-GPU System for Graph-Based Approximate Nearest Neighbor Search
PathWeaver提出流水线路径扩展、ghost staging和方向引导选择三种技术,构建高吞吐量多GPU框架,在大规模数据集上显著加速基于图的近似最近邻搜索,实现最高5.30倍加速。
2025-07-23 cs.DC
PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers
KAIST(韩国科学技术院)
在云机器学习(ML)推理系统中,为最终用户提供低延迟至关重要。然而,最大限度地提高服务器利用率和系统吞吐量对于ML服务提供商来说也是至关重要的,因为它有助于降低总拥有成本。GPU经常因ML推理的使用而受到批评,因为其庞大的计算和内存吞吐量在低批量推理场景下难以充分利用。为了解决这种限制,NVIDIA最近发布的Ampere GPU架构提供了将一个大型单片GPU“重新配置”为多个较小的“GPU分区”的功能。这一特性为云机器学习服务提供商提供了利用可重配置GPU的能力,不仅可以进行大批量训练,还可以进行小批量推理,从而实现高资源利用率。在本文中,我们研究了这种新兴的GPU架构与可重构性,以开发一个高性能的多GPU ML推理服务器。我们的第一个命题是一个复杂的可重构GPU的分区算法,系统地确定一组异构的多粒度GPU分区,最适合推理服务器的部署。此外,我们共同设计了一个弹性调度算法,为我们的异构分区GPU服务器,有效地平衡低延迟和高GPU利用率。
2022-02-27 cs.AI cs.AR cs.DC
High-performance cloud computing for exhaustive protein-protein docking
公共云计算环境,例如Amazon AWS、Microsoft Azure和Google Cloud Platform,近年来在计算性能方面取得了显著的改进,并且还有望能够执行大规模并行计算。由于云使用户能够随意使用成千上万的CPU核心和GPU加速器,并且各种软件类型可以通过云图像非常容易地使用,因此云开始被用于生物信息学领域。在这项研究中,我们将原始的蛋白质-蛋白质相互作用预测(蛋白质-蛋白质对接)软件MEGADOCK移植到Microsoft Azure中,作为HPC云环境的一个例子。使用4种CPU实例类型和2种GPU实例类型构建了最多1,600个CPU核心和960个GPU的云并行计算环境,并对并行计算性能进行了评估。我们在Azure系统上的MEGADOCK显示,当使用100个实例的H16实例与50个实例相比时,CPU实例的缩放值为0.93,当使用20个实例的NC 24实例与5个实例相比时,GPU实例的缩放值为0.89。此外,使用费和总计算时间的结果支持使用GPU实例减少了MEGADOCK的计算时间和计算所需的云使用费。部署在云上的开发环境具有高度的可移植性,使其适用于需要按需和大规模HPC环境的应用程序。
2020-06-16 cs.DC q-bio.BM q-bio.MN