Dynamic GPU Energy Optimization for Machine Learning Training Workloads
Harbin Institute of Technology(哈尔滨工业大学);University of Leeds(利兹大学)
GPU被广泛用于加速机器学习工作负载的训练。随着现代机器学习模型变得越来越大,它们需要更长的训练时间,导致更高的GPU能耗。本文介绍了GPOEO,这是一个用于机器学习训练工作负载的在线GPU能量优化框架。GPOEO通过采用在线测量、多目标预测建模和搜索优化的新技术动态地确定最优能量配置。为了表征目标工作负载行为,GPOEO使用GPU性能计数器。为了减少性能计数器分析开销,它使用分析模型来检测训练迭代更改,并且仅在检测到迭代偏移时收集性能计数器数据。GPOEO采用基于梯度提升和局部搜索算法的多目标模型,以找到执行时间和能耗之间的权衡。我们通过将GPOEO应用于在NVIDIA RTX3080Ti GPU上运行的两个AI基准套件的71个机器学习工作负载来评估GPOEO。与NVIDIA默认调度策略相比,GPOEO平均节能16.2%,平均执行时间增加5.1%。
2022-01-05 cs.AI cs.DC cs.LG
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute(伍斯特理工学院)
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究,把GPU作为一个黑盒子,我们研究调度在微架构的水平。我们发现,缺乏细粒度的抢占机制,强大的任务优先级选项,竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之,深度学习工作负载的顺序性及其波动的资源需求和内核运行时,使得在当前NVIDIA硬件上执行此类工作负载,同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
University of Toronto(多伦多大学)
该研究推出GF-Bench框架与数据集,评估多种日志分析方法在分布式GPU工作负载故障检测中的表现,发现通用日志解析会丢失关键上下文,而原始日志结合LogPrompt可实现高检测精度但成本更高。
2026-10-30 cs.AI cs.DC cs.LG
Characterizing LLM Inference Energy-Performance Tradeoffs across Workloads and GPU Scaling
Multiscale Networked Systems Group University of Amsterdam, Netherlands(多尺度网络化系统组 阿姆斯特丹大学,荷兰)
本文研究了LLM推理在不同工作负载和GPU扩展下的能效权衡,发现解码阶段主导推理时间且对GPU频率不敏感,通过降低频率可实现显著能耗节省,同时提出结合工作负载感知模型选择与阶段感知DVFS的节能策略。
2026-02-24 cs.LG
Static Batching of Irregular Workloads on GPUs: Framework and Application to Efficient MoE Model Inference
Alibaba Group(阿里巴巴集团)
针对GPU上不规则工作负载难以安排和执行的问题,提出将其静态批处理为单kernel的通用框架,并应用于MoE模型推理,实现的CUDA kernel在H800和H20 GPU上分别达到91%和95%的峰值Tensor Core吞吐量。
2025-01-27 cs.DC cs.LG
MIGPerf: A Comprehensive Benchmark for Deep Learning Training and Inference Workloads on Multi-Instance GPUs
Alibaba Group(阿里巴巴集团);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Wuhan University(武汉大学);NVIDIA AI Tech Center(英伟达人工智能技术中心);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
像A100这样的新架构GPU现在配备了多实例GPU(GPU)技术,该技术允许将GPU划分为多个小型的独立实例。这项技术为用户提供了更大的灵活性,以支持深度学习训练和推理工作负载,但有效地利用它仍然具有挑战性。本文的目标是为XML提供一个更全面和实用的基准测试研究,以消除繁琐的手动基准测试和调优工作的需要。为了实现这一愿景,本文介绍了MIGPerf,一个开源工具,简化了基准测试研究。使用MIGPerf,作者进行了一系列实验,包括深度学习训练和推理表征,GPU共享表征,以及框架与GPU的兼容性。这些实验的结果为用户有效地使用多媒体数据库提供了新的见解和指导,并为进一步研究混合训练和推理工作负载在MIG上的编排奠定了基础。代码和结果发布在https://github.com/MLSysOps/MIGProfiler上。这项工作仍在进行中,不久将公布更多结果。
2023-01-01 cs.LG cs.PF
ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels
针对模型规模扩大导致GPU间通信成为AI工作负载瓶颈、现有系统无法跨异构工作负载和新加速器达到理论峰值性能的问题,提出极简CUDA框架ParallelKittens,通过少量可复用原则简化重叠多GPU内核开发,在多种并行工作负载上实现显著加速。
2025-11-17 cs.DC cs.LG
FlashMem: Supporting Modern DNN Workloads on Mobile with GPU Memory Hierarchy Optimizations
University of Georgia(佐治亚大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
FlashMem通过GPU内存层次优化,实现移动设备上大规模DNN和多DNN工作的高效执行。
2026-02-17 cs.DC cs.LG
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley(加州大学伯克利分校)
提出DriftSched框架,通过运行时反馈驱动的漂移补偿和自适应偏差校正,解决多租户LLM推理中令牌漂移导致的调度问题,在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
RL-Scope: Cross-Stack Profiling for Deep Reinforcement Learning Workloads
Vector Institute(矢量研究院);University of Toronto(多伦多大学);Harvard(哈佛大学)
深度强化学习(RL)在机器人、数据中心管理和其他应用方面取得了突破性的进展。不幸的是,人们对RL工作负载中的系统级瓶颈知之甚少;我们观察到RL工作负载中的基本结构差异,这使得它们本质上比监督学习(SL)更少受GPU约束。为了解释RL工作负载中的训练时间,我们提出了RL-Scope,这是一个跨堆栈分析器,它将低级CPU/GPU资源使用情况限制在高级算法操作范围内,并通过纠正分析开销提供准确的见解。使用RL-Scope,我们调查了其主要维度的RL工作负载,包括ML后端,RL算法和模拟器。对于ML后端,我们解释了等效PyTorch和TensorFlow算法实现之间运行时的$2.3\times$差异,并确定了源于过度抽象算法实现的瓶颈。对于RL算法和模拟器,我们表明,对政策的算法至少$3.5\times$更多的模拟约束比关闭政策的算法。最后,我们分析了一个扩展的工作负载,并证明了常用工具报告的GPU利用率指标大大提高了GPU的使用率,而RL-Scope报告的是真正的GPU绑定时间。RL-Scope是一个开源工具,可在https://github.com/UofT-EcoSystem/rlscope上获得。
2021-03-04 cs.LG cs.SE
COMPASS-ABS: Reducing Fragmentation in Shared GPU Clusters for Deep Learning Training Workloads
针对共享GPU集群资源碎片化问题,提出基于部分节点度量的SIF指标和COMPASS-ABS调度算法,通过锚点空间限制集群状态,在理论与生产条件下保证SIF有界,实验验证能提高利用率并缩短作业完成时间。
2026-09-17 cs.DC cs.LG
G10: Enabling An Efficient Unified GPU Memory and Storage Architecture with Smart Tensor Migrations
UIUC(伊利诺伊大学厄巴纳-香槟分校)
G10提出统一GPU内存与存储架构,利用编译器预测张量行为并智能调度迁移,隐藏数据传输开销,性能最高提升1.75倍,达到理想性能的90.3%。
2023-10-13 cs.AR cs.LG
ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
Georgia Institute of Technology(佐治亚理工学院);Advanced Micro Devices, Inc.(先进微器件公司)
提出ViBE框架,通过感知硬件的专家放置方法,结合GPU性能建模与专家激活分析,最小化分布式MoE推理中的执行时间不平衡,显著提升SLO达标率并降低P90 TTFT。
2026-05-30 cs.DC cs.LG
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
Scalable Multi-GPU Simulation of 3D Multicellular Growth with RNN-Based Workload Balancing
School of Computing, University of Nebraska–Lincoln(内布拉斯加大学林肯分校计算学院);Department of Mathematics, University of Nebraska–Lincoln(内布拉斯加大学林肯分校数学系);Department of Radiation Oncology, University of Rochester Medical Center(罗切斯特医学中心放射肿瘤学系);School of Biological Sciences, University of Nebraska–Lincoln(内布拉斯加大学林肯分校生物科学学院);Holland Computing Center, University of Nebraska–Lincoln(内布拉斯加大学林肯分校霍兰德计算中心)
该研究提出结合GPU加速等技术的多GPU模拟框架,引入RNN负载平衡控制器,实现三维多细胞生长模拟的高效可扩展计算,提升负载平衡效果并降低运行时间。
2026-08-27 cs.CE cs.DC cs.LG
xMem: A CPU-Based Approach for Accurate Estimation of GPU Memory in Deep Learning Training Workloads
University of Glasgow(格拉斯哥大学)
xMem提出一种仅基于CPU动态分析的框架,用于先验精确估计深度学习训练峰值GPU内存,相比现有方案将中位相对误差降低91%,并提升内存节省潜力368%。
2025-10-23 cs.DC cs.LG cs.PF
Exploiting Student Parallelism for Efficient GPU Inference of BERT-like Models in Online Services
Tencent(腾讯);Hong Kong University of Science and Technology(香港科技大学);Xiamen University(厦门大学);Macau University of Science and Technology(澳门科技大学);Zhongguancun Lab.(中关村实验室)
本文提出\sys,通过堆叠蒸馏、提升集成与自适应学生剪枝,将深层类BERT模型转化为并行浅层学生模型,在保持精度的同时显著降低在线GPU推理延迟并提升突发负载吞吐量。
2025-03-18 cs.LG
DALI: A Workload-Aware Offloading Framework for Efficient MoE Inference on Local PCs
Institute of Automation, CAS(中国科学院自动化研究所);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);Shanghai Jiao Tong University(上海交通大学);AiRiA
DALI通过动态分配和残差预取技术,提升本地PC上MoE推理效率,实现显著加速。
2026-02-03 cs.DC cs.LG
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
An Analysis of Collocation on GPUs for Deep Learning Training
IT University of Copenhagen(哥本哈根信息技术大学)
本文在 A100 上对比 MIG、MPS 与多进程协同定位,分析不同模型组合下的深度学习训练性能,发现 MPS 对单用户最灵活高效。
2023-04-24 cs.DC cs.LG
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
现代GPU开发中心对于在研究社区和行业中提供深度学习(DL)模型和服务至关重要。在运营数据中心时,资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先,我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度,我们发现了一些有趣的结论,这些结论可以促进集群系统的设计。其次,我们引入了一个通用框架,它基于历史数据管理资源。作为案例研究,我们设计:一个准最短的服务优先调度服务,它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务,提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
Detecting Hidden ML Training With Zero-Overhead Telemetry
Machine Intelligence Research Institute(机器智能研究院);University of Virginia(弗吉尼亚大学)
本文评估了仅使用零开销、隐私保护的NVML遥测(内容无关信号)对GPU工作负载分类的对抗鲁棒性,开发了一个分类器,在识别训练工作负载时达到98.2%的二元准确率,并对最具挑战性的意外工作负载达到43-87%的准确率。
2026-06-18 cs.LG
Maya: Optimizing Deep Learning Training Workloads using GPU Runtime Emulation
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Inc.(英伟达公司)
针对大型基础模型训练优化中手动试错低效、现有性能建模系统存在语义鸿沟的问题,提出Maya通过GPU运行时仿真拦截API调用捕获完整工作负载行为,实现低误差预测并识别出可降低56%训练成本的配置。
2025-11-15 cs.DC cs.LG
GPUAlert: A Zero-Instrumentation Process-Boundary Monitor for Diagnosing GPU Training-Job Failures
AI-NLP-ML Research Laboratory(人工智能-自然语言处理-机器学习研究实验室);Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕坦)
提出GPUAlert,一种零侵入的进程边界监控工具,通过预启动日志保证、通知器隔离和非静默工件预算三个可靠性原语,在无需修改训练脚本的情况下,发送结构化故障通知,并附带分类原因、持久日志和输出工件。
2026-07-03 cs.AI cs.LG cs.SE
Nonuniform-Tensor-Parallelism: Mitigating GPU failure impact for Scaled-up LLM Training
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达公司)
针对大规模LLM训练中GPU故障因纵向扩展域扩大而放大吞吐量损失的问题,本文提出非均匀张量并行(NTP)及配套机架设计,使故障副本降级运行并跟上正常副本,实现接近零的吞吐量损失。
2025-04-08 cs.DC cs.LG
Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters
Microsoft Research(微软研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);VMware Research(威睿研究院)
训练深度神经网络(DNN)是企业和云数据中心中广泛流行的工作负载。现有的DNN训练算法将GPU视为主要资源,并根据作业请求的GPU数量分配其他资源,如CPU和内存。不幸的是,这些配置器没有考虑作业对CPU、内存和存储资源分配的敏感性的影响。在这项工作中,我们提出了协同,一个资源敏感的调度共享GPU集群。Synergy使用乐观分析来推断DNN对不同资源的敏感性;一些作业可能会受益于超过GPU比例的分配,而一些作业可能不会受到小于GPU比例的分配的影响。Synergy使用一种新的接近最优的在线算法,在共享多租户集群上调度的一组作业中执行此类多资源工作负载感知分配。我们的实验表明,与传统的GPU比例调度相比,工作负载感知的CPU和内存分配可以提高平均JCT高达3.4倍。
2022-08-24 cs.DC cs.LG
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
本文针对跨GPU架构的连续批处理LLM服务,实现轻量级调度策略,通过多GPU、多模型的1152组实验,发现老化最短prompt优先是多数场景的实用基线,相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving
Independent Researcher(独立研究者);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM服务中预填充与解码的冲突资源需求,提出GPU内主动式分解系统Nexus,动态分配资源并考虑带宽争用,显著提升吞吐量并降低延迟。
2025-08-07 cs.DC cs.LG
On Enhancing Root Cause Analysis with SQL Summaries for Failures in Database Workload Replays at SAP HANA
University of Cologne(科隆大学);SAP(思爱普);German Aerospace Center(德国航空航天中心)
针对SAP HANA数据库工作负载重放中的失败分析问题,提出利用LLM提取失败SQL摘要作为附加特征以增强机器学习分类,将F1-Macro分数提升4.77%,有效应对未知问题并提升评估效果。
2024-12-18 cs.DB cs.LG
Towards Universal Performance Modeling for Machine Learning Training on Multi-GPU Platforms
Advanced Micro Devices, Inc(超威半导体公司);UC Davis(加州大学戴维斯分校);Meta, Inc(元公司);NVIDIA(英伟达公司);University of California, Davis(加州大学戴维斯分校)
针对多GPU平台机器学习训练性能预测的挑战,该研究扩展单GPU建模工作,整合数据分布感知嵌入表模型与通信集合体移动预测,实现多GPU训练性能的准确预测与配置优化。
2024-11-26 cs.DC cs.LG cs.PF
WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
School of Computer Science, Peking University(北京大学计算机科学学院);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出WarmServe系统,通过基于工作负载预测的多GPU预热技术,减少LLM服务中的尾部时间到第一个令牌(TTFT)并提高请求吞吐量。
2026-05-21 cs.DC cs.LG
FusionStitching: Boosting Memory Intensive Computations for Deep Learning Workloads
Alibaba Group(阿里巴巴集团)
我们在这项工作中表明,内存密集型计算可能会导致严重的性能问题,由于片外内存访问和CPU-GPU上下文切换开销在广泛的深度学习模型。针对这一问题,现有的JIT(Just-in-time)内核融合和代码生成技术存在融合计划探索策略粗糙、代码生成能力有限等缺陷。我们提出了FusionStitching,一个深度学习编译器,能够将具有不同数据依赖性和非均匀并行性的内存密集型运算符融合到大型GPU内核中,以自动减少全局内存访问和上下文切换开销。FusionStitching通过引入中间值的数据重用,扩大了融合可以针对的操作组合范围,超越了以前的JIT工作。它探索大的融合空间,以决定最佳的融合计划,考虑内存访问成本,内核调用和资源使用限制。FusionStitching使用特定于域的成本模型有效地调整最佳拼接方案。实验结果表明,FusionStitching可以达到2.21倍的加速比相比,最先进的,平均1.45倍。除了这些实验结果,我们还将我们的方法集成到编译器产品中,并将其部署到具有数千个GPU的AI工作负载的生产集群中。该系统已经运行了4个多月,平均每月为大约30,000个任务节省了7,000个GPU小时。
2021-12-17 cs.DC cs.LG
Meganeura: Portable GPU Training and Inference through Vulkan and Metal
该研究提出Meganeura编译器,通过Vulkan和Metal实现消费级GPU上的便携式训练与推理,在多数场景下性能接近或优于PyTorch,且编译速度更快、二进制文件更小,可支持跨平台部署。
2026-08-04 cs.DC cs.LG cs.PL
GPU-centric Communication Schemes for HPC and ML Applications
University of Minnesota(明尼苏达大学)
本综述探讨了将通信控制路径从CPU转移到GPU的以GPU为中心的通信方案,分析了其需求、所需硬件能力及潜在用例,并讨论了支持这些方案面临的挑战。
2025-03-31 cs.DC cs.LG
Characterizing Deep Learning Training Workloads on Alibaba-PAI
Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
现代深度学习模型已经在各个领域得到了利用,包括计算机视觉(CV)、自然语言处理(NLP)、搜索和推荐。在实际的人工智能集群中,训练这些模型的工作负载使用TensorFlow、Caffe、PyTorch和CNTK等软件框架运行。有效运行实际人工智能云的一个关键问题是描述这些工作负载的计算和数据传输需求,更重要的是,在给定底层软件框架和硬件配置的情况下,培训性能。在本文中,我们描述了阿里巴巴人工智能(PAI)平台的深度学习训练工作负载。我们建立了一个分析框架,调查使用不同的训练架构的各种工作负载的详细执行时间分解,以确定性能瓶颈。结果表明,训练期间的权重/梯度通信平均占用了所有工作负载总执行时间的近62%。计算部分,涉及GPU计算和内存访问,并不是基于工作负载集体行为的最大瓶颈。我们进一步评估各种潜在的软件/硬件映射的工作负载的可达到的性能,并探讨软件架构选择和硬件配置的影响。我们发现,当将60%的PS/Worker工作负载移植到AllReduce架构时,可以利用高速NVLink进行GPU互连,并且当以太网带宽从25 Gbps升级到100 Gbps时,平均可以实现1.7倍的加速。
2019-10-14 cs.LG cs.PF
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University(西江大学);ETRI(韩国电子通信研究院)
针对云环境LLM推理的高GPU成本问题,提出InferSave框架,通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例,实验显示在线场景成本效率提升73.7%,离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
DEEP-GAP: Deep-learning Evaluation of Execution Parallelism in GPU Architectural Performance
Independent Researcher (University of Colorado Colorado Springs Alumni)(独立研究者(科罗拉多州立大学科罗拉多斯普林斯校友))
本文通过DEEP-GAP方法系统评估NVIDIA T4和L4 GPU在不同精度下的推理性能,发现INT8精度能显著提升吞吐量,L4在小批量任务中效率更高,T4在大规模任务中仍具竞争力。
2026-04-16 cs.AR cs.LG cs.PF
AEGIS: Runtime-Guided GPU Collocation for Multi-Tenant Deep Learning Training
IT University of Copenhagen(丹麦技术大学);University of Basel(巴塞尔大学)
CARMA通过优化GPU协同策略提升DL训练效率,减少能耗与执行时间
2026-10-07 cs.DC cs.LG cs.PF