Static Batching of Irregular Workloads on GPUs: Framework and Application to Efficient MoE Model Inference
Alibaba Group（阿里巴巴集团）
针对GPU上不规则工作负载难以安排和执行的问题，提出将其静态批处理为单kernel的通用框架，并应用于MoE模型推理，实现的CUDA kernel在H800和H20 GPU上分别达到91%和95%的峰值Tensor Core吞吐量。
2025-01-27 cs.DC cs.LG
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute（伍斯特理工学院）
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究，把GPU作为一个黑盒子，我们研究调度在微架构的水平。我们发现，缺乏细粒度的抢占机制，强大的任务优先级选项，竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之，深度学习工作负载的顺序性及其波动的资源需求和内核运行时，使得在当前NVIDIA硬件上执行此类工作负载，同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
Adapting The Secretary Hiring Problem for Optimal Hot-Cold Tier Placement under Top-$K$ Workloads
Top-K查询是信息检索中的一种启发式查询。本文提出了一种方法，最佳分层存储分配流处理工作负载下使用这种启发式：那些只需要分析顶部的$K$排名最相关的，或最有趣的，文件从一个固定长度的流，流窗口，或批处理作业。在该工作流中，利用用户指定的兴趣度函数来分析文档的相关性，基于该兴趣度函数对文档进行排名，选择（并因此存储）顶部$K$以用于进一步处理。此工作流程允许人在回路系统中，包括监督机器学习，以优先考虑文档。这种情况与经典的秘书招聘问题（SHP）相似，并且文档写入的预期速率和文档生命周期可以建模为文档索引的函数。我们提出了基于参数的算法存储层的位置，最大限度地减少文件的存储和运输成本。我们表明，最佳参数值是这些成本的函数。可以为这类工作负载先验地建模应用程序IO行为。当与分层存储结合使用时，IO概率模型的易处理性使得优化层分配变得容易，从而产生简单的分析解决方案。此相反分层存储优化方面的现有工作（通常很复杂），这些工作要么与特定使用情形紧密结合，要么需要主动监视应用程序IO负载（反应式方法）-不适合科学计算领域中常见的长期运行或一次性操作。我们用生物化学模型探索的跟踪驱动模拟来验证我们的模型，并给出了两个云存储案例研究的工作示例。
2019-03-12 cs.DC
Tesserae: Scalable Placement Policies for Deep Learning Workloads
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对深度学习集群调度中放置策略性能次优和可扩展性差的问题，提出基于图匹配的放置策略并集成到Tesserae调度器，显著提升平均JCT和Makespan。
2025-08-07 cs.AI cs.DC
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
Tennessee Technological University（田纳西理工大学）
本文提出了一种基于监督学习的网络感知任务调度框架，通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
Modeling and Chasing the Energy-Efficiency Sweet Spots in Modern GPUs
Department of Computer Science, FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学计算机科学系）
本研究通过分子动力学基准测试，分析GPU硬件配置对能耗的影响，提出可解释解析模型，识别出工作负载和架构依赖的能效转换频率，为能效优化提供指导。
2026-07-02 cs.DC
OrigaMIG: MIG-Aware VM Placement with a Neighborhood-Restricted BILP and Live Migration
Amirkabir University of Technology（阿米尔卡比尔理工大学）
针对MIG感知的虚拟机放置问题，提出OrigaMIG优化器，采用贪心与邻域受限BILP结合实时迁移，最大化请求接受率、整合资源并降低迁移开销，实验证明其优于现有策略。
2026-10-06 cs.DC
Characterizing Production GPU Workloads using System-wide Telemetry Data
University of Maryland（马里兰大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
通过分析Perlmutter超级计算机的GPU硬件计数器，研究了生产型GPU工作负载的分布特征，发现81%的作业为内存受限，且内存受限作业能耗更高。
2026-02-24 cs.DC
Energy Efficient Scheduling of AI/ML Workloads on Multi Instance GPUs with Dynamic Repartitioning
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM沃森研究中心）
针对多实例GPU环境，提出结合调度算法与强化学习的动态重分区框架，优化能耗与延迟的多目标问题，相比静态分区节能26%-68%。
2026-06-25 cs.DC
Zellige: Moldable Sequence Placement for Mixed Image-Video DiT Training
HKUST (GZ)（香港科技大学（广州））；HIT (SZ)（哈尔滨工业大学（深圳））；HKUST（香港科技大学）
Zellige是一种可塑序列放置系统，通过硬件分析器、两阶段规划器和合并注意力引擎解决混合图像-视频DiT训练的GPU序列放置问题，在多GPU环境下性能优于KnapFormer。
2026-08-04 cs.DC
Engineering A Workload-balanced Push-Relabel Algorithm for Massive Graphs on GPUs
National Taiwan University（台湾大学）
本文提出了一种负载平衡的推标签算法，通过优化内存使用和负载分配，提升了大规模图计算在GPU上的效率。
2024-03-30 cs.DC cs.DS
Collaborative Resource Management and Workloads Scheduling in Cloud-Assisted Mobile Edge Computing across Timescales
针对边缘资源受限下的物联网服务托管与任务调度问题，提出跨时间尺度的RMWS框架，结合Gibbs采样、交替最小化和次梯度下降算法联合优化服务放置、资源供应与工作负载调度，实现至少10%的性能提升。
2024-05-31 cs.DC
Where Does the Energy Go? Profiling LLM Agent Inference on Blackwell GPUs
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究通过全栈能量剖析，揭示LLM智能体推理中GPU遥测遗漏大量系统能耗，并发现顺序执行能耗高、扩展思考增加能耗源于输出量，连续批处理可提升能效。
2026-09-25 cs.DC
Evaluating Distributed Execution of Workloads
分布式执行的资源选择和任务放置带来了概念和实现上的困难。虽然资源选择和任务放置是许多工具和工作流系统的核心，但这些方法是临时的，而不是基于模型的。因此，部分和非互操作的实现激增。我们解决的概念和实施的困难，通过实验表征不同模式的资源选择和任务安排。我们比较了两个系统的架构和功能：AIMES中间件和Swift工作流脚本语言和运行时。我们将这些系统集成在一起，以便在AIMES中间件管理的Pilot-Jobs上分布式执行Swift工作流。我们的实验的特点和比较替代执行策略，通过测量的时间来完成异构的非耦合工作负载在不同的规模和多个资源上执行。我们测量的不利影响，试点碎片和早期绑定的任务资源和回填调度的好处，在多个资源上的试点。然后，我们利用这一洞察力在五个生产级资源上执行多阶段工作流程。我们讨论了其他工具和工作流系统的重要性和影响。
2021-11-02 cs.DC
GreenDirector: carbon- and water-aware workload placement for sustainable computing
Instituto de Física de Cantabria (IFCA), CSIC-UC（坎塔布里亚物理研究所 (IFCA)，西班牙国家研究委员会-坎塔布里亚大学）；Aix Marseille Univ, CNRS/IN2P3, CPPM（艾克斯马赛大学，法国国家科学研究中心/法国国家粒子物理研究所，普罗旺斯粒子与核物理中心）
针对数据中心仅考虑碳足迹的不足，提出环境评分和绿色评分指标，并集成到GreenDirector调度器中，在真实系统中实现水碳联合优化，减少约40%碳排放并明确权衡。
2026-09-21 cs.DC
A Multi-Objective Framework for Optimizing GPU-Enabled VM Placement in Cloud Data Centers with Multi-Instance GPU Technology
本文针对云数据中心中MIG技术导致的GPU资源碎片化问题，提出多阶段放置框架GRMU，通过GPU内/间迁移和配额分区策略，在真实集群轨迹上实现接受率提升22%、活跃硬件减少17%。
2025-02-04 cs.DC
MuxFlow: Efficient and Safe GPU Sharing in Large-Scale Production Deep Learning Clusters
大规模GPU集群被广泛用于加速延迟关键型（在线）和尽力而为型（离线）深度学习（DL）工作负载。然而，大多数DL集群要么将每个GPU专用于一个工作负载，要么及时共享工作负载，导致GPU资源利用率非常低。我们提出了MuxFlow，第一个生产集群系统，支持DL工作负载的高效和安全的空间共享。NVIDIA MPS提供了在广泛部署的NVIDIA GPU上共享空间中的多个工作负载的机会，但它无法保证在线工作负载的性能和安全性。MuxFlow为内存和计算引入了两级保护机制，以保证在线工作负载的性能。基于我们的实际错误分析，我们设计了一个混合的错误处理机制，以保证在线工作负载的安全性。MuxFlow进一步提出了动态流式多处理器（SM）分配和基于匹配的调度，以提高离线工作负载的效率。MuxFlow已经部署在CompanyX的集群中，拥有超过20，000个GPU。部署结果表明，MuxFlow将GPU利用率从26 $\%$大幅提高到76 $\%$，SM活动从16 $\%$提高到33 $\%$，GPU内存从42 $\%$提高到48 $\%$。
2023-03-24 cs.DC
Empirical Analysis of GPU Frequency Behavior Under ML Workloads
University of Oslo（奥斯陆大学）；UiT The Arctic University of Norway（挪威北极大学）
研究英伟达GPU执行机器学习工作负载时频率缩放行为，发现低性能GPU频率受近期工作负载影响，挑战现有延迟预测假设，因GPU动态频率缩放引入内核间依赖，还给出利用此观察改进相关模型、策略及设计的方向。
2026-07-10 cs.DC
Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展，许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似，调度框架旨在提供高效率，资源隔离，跨用户公平共享等功能。然而，基于深度神经网络（DNN）的工作负载主要在GPU上训练，与传统的大数据分析工作负载有两个显著的不同。首先，从集群利用率的角度来看，GPU代表了一个单一的资源，不能在用户之间以细粒度共享。第二，从工作负载的角度来看，深度学习框架需要群体调度，这降低了调度的灵活性，并使作业本身对运行时的故障缺乏弹性。在本文中，我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联，我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题：（1）组调度和局部性约束对排队的影响，（2）局部性对GPU利用率的影响，以及（3）训练期间的故障。根据我们运行大规模操作的经验，我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
Combining GPU and CPU for accelerating evolutionary computing workloads
本文提出一种依据基准结果动态分配 CPU 与 GPU 模拟任务的混合方案，并通过多类物理模拟模型评估其在进化计算工作负载中的加速潜力。
2025-02-16 cs.DC
Scalarization Methods for Many-Objective Virtual Machine Placement of Elastic Infrastructures in Overbooked Cloud Computing Data Centers Under Uncertainty
云计算中心在高度动态的环境中按需提供数千到数百万个虚拟机（VM），需要将所请求的VM快速放置到可用的物理机（PM）中。由于客户需求的随机性，虚拟机布局（VMP）应被表示为一个在线优化问题。这项工作的第一部分分析了解决问题的替代方案，考虑到几个实验工作量，对五种不同的在线确定性memetic算法进行了实验比较。仿真结果表明，首次拟合递减算法（A4）的平均性能优于其他评估的算法。这项工作提出了一个两阶段的计划制定的VMP问题，考虑在IaaS环境中的弹性和超额预订能力的三个目标函数的优化。两阶段模式公式描述了虚拟机的分配可以分为两个子问题，增量分配（iVMP）和布局的重新配置（VMPr）。为了分析替代方案，以解决制定的问题，三个不同的目标函数标量化方法的一部分，iVMP和VMPr的实验比较进行了考虑几个实验工作量。仿真结果表明，欧几里德距离原点优于其他评估的标量化方法的平均。为了描绘IaaS环境的动态特性，开发了一个可定制的工作负载跟踪生成器，以模拟虚拟机请求中具有弹性和超额预订资源的场景中的不确定性。实验结果证明，欧几里得距离比其他标度化方法更能提高功耗目标函数的值。
2018-02-12 cs.DC
NotebookOS: A Replicated Notebook Platform for Interactive Training with On-Demand GPUs
针对现有交互式深度学习训练笔记本平台GPU利用率低、成本高的问题，提出采用Raft同步复制内核、资源超额订阅、按需分配GPU等机制的NotebookOS平台，可大幅节省GPU时长并提升交互性。
2025-10-02 cs.DC
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne（墨尔本大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度，在满足延迟SLO的同时提升GPU利用率，显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
Compiler-Assisted Workload Consolidation For Efficient Dynamic Parallelism on GPU
GPU已被广泛用于加速表现出简单并行模式的计算-例如平面或两级并行-以及可以基于输入数据集的大小静态确定的并行度。然而，有效地使用GPU的算法表现出复杂的模式的并行性，可能只知道在运行时，仍然是一个悬而未决的问题。最近，Nvidia在其GPU中引入了动态并行（DP）。通过使直接从GPU线程启动内核成为可能，此功能在运行时启用嵌套并行。然而，仍然必须理解DP的有效使用：天真地使用此功能可能会遭受显着的运行时开销，并导致GPU利用率不足，从而导致性能低下。在这项工作中，我们针对这个问题。首先，我们演示了如何天真的使用DP会导致性能不佳。其次，我们提出了三个工作负载整合计划，以提高性能和硬件利用率的DP为基础的代码，我们实现这些代码转换在一个基于指令的编译器。最后，我们评估我们的框架上的两类应用程序：算法，包括不规则循环和算法表现出并行递归。我们的实验表明，我们的方法显着降低了运行时开销，提高了GPU的利用率，导致加速因子从90倍到3300倍的基本基于DP的解决方案和加速从2倍到6倍的平面实现。
2016-06-27 cs.DC
An Online Fragmentation-Aware GPU Scheduler for Multi-Tenant MIG-based Clouds
Fondazione Bruno Kessler (FBK)（布鲁诺·克莱斯勒基金会）
本文提出了一种面向多租户MIG云的在线碎片感知GPU调度器，通过引入碎片度量指标和贪心算法，有效减少GPU碎片化，提高工作负载调度效率。
2025-11-24 cs.DC cs.NI
iGniter: Interference-Aware GPU Resource Provisioning for Predictable DNN Inference in the Cloud
GPU对于加速云计算中心中对延迟敏感的深度神经网络（DNN）推理工作负载至关重要。为了充分利用GPU资源，在协同定位的DNN推理工作负载之间的GPU空间共享变得越来越引人注目。然而，GPU共享不可避免地会在协同定位的推理工作负载之间带来严重的性能干扰，这是由EC2 GPU实例上DNN推理的经验测量研究所激发的。虽然现有的工作，保证推理性能服务水平目标（SLO）集中在GPU的时间共享或反应性GPU资源扩展和推理迁移技术，如何主动减轻这种严重的性能干扰得到了相对较少的关注。在本文中，我们提出了iGniter，这是一种干扰感知的GPU资源配置框架，用于在云中经济高效地实现可预测的DNN推理。iGniter由两个关键组件组成：（1）轻量级DNN推理性能模型，它利用实际可访问的系统和工作负载指标来捕获性能干扰;（2）基于我们的推理性能模型，联合优化GPU资源分配和自适应调度的具有成本效益的GPU资源供应策略，目的是实现DNN推理工作负载的可预测性能。我们实现了一个基于NVIDIA Triton推理服务器托管在EC2 GPU实例的iGniter原型。在四个有代表性的DNN模型和数据集上进行的大量原型实验表明，iGniter可以保证DNN推理工作负载的性能SLO，并且具有实际可接受的运行时开销，同时与最先进的GPU资源配置策略相比，节省了高达25%的资金成本。
2022-11-03 cs.DC
GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs
作为基于图的深度学习的新兴趋势，图神经网络（GNN）因其生成高质量节点特征向量（嵌入）的能力而脱颖而出。然而，现有的一刀切的GNN实现不足以赶上不断发展的GNN架构，不断增加的图形大小和不同的节点嵌入维度。为此，我们提出了\textbf{GNNAdvisor}，一个自适应和高效的运行时系统，以加速GPU平台上的各种GNN工作负载。首先，GNNAvisor从GNN模型和输入图中探索并识别出几个与性能相关的特征，并将其用作GNN加速的新驱动力。其次，GNNAvisor实现了一种新颖高效的2D工作负载管理，专为GNN计算量身定制，以提高不同应用设置下的GPU利用率和性能。第三，GNNAvisor利用GPU的存储层次结构，根据GPU内存结构和GNN工作负载的特点，优雅地协调GNN的执行，从而实现加速。此外，为了实现自动运行时优化，GNNAvisor集成了一个轻量级的分析模型，用于有效的设计参数搜索。广泛的实验表明，GNNAvisor在各种数据集的主流GNN架构上的性能优于最先进的GNN计算框架，例如Deep Graph Library（平均速度快于$3.02\times$）和NeuGraph（快于$4.10\times$）。
2021-06-20 cs.DC
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Argonne National Laboratory（阿贡国家实验室）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
提出SWARM+，一种通过分层多智能体共识实现去中心化工作负载管理的系统，在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Good things come in small packages: Should we build AI clusters with Lite-GPUs?
Microsoft Research（微软研究院）
针对大型 GPU 在封装、良率和散热上的扩展瓶颈，提出利用共封装光学技术构建由小型 Lite-GPU 高效连接组成的 AI 集群，并分析了其在成本、良率和能效上的优势及系统管理挑战。
2025-04-29 cs.AI cs.AR cs.DC
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh（匹兹堡大学）；HPE Labs（惠普企业实验室）
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题，提出Festina系统，通过协同请求放置、SM分区和GPU工作点调整，在满足TTFT/TBT SLO前提下，实现集群能耗降低高达56%。
2026-10-13 cs.DC
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Alibaba Group（阿里巴巴集团）
Quiver是一个分布式GPU GNN服务系统，通过工作负载感知指标预测计算不规则性，智能调度GPU图采样与特征聚合，实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
CRIUgpu: Transparent Checkpointing of GPU-Accelerated Workloads
针对现有GPU检查点技术开销高、适配难的问题，本文提出基于新驱动功能的CRIUgpu方法，支持CUDA和ROCm应用，消除稳态开销并缩短恢复时间。
2025-02-23 cs.DC
Ember: Making Unified Virtual Memory Practical for Discrete-Memory GPUs
Technical University of Munich（慕尼黑工业大学）
Ember是一款UVM管理框架，通过混合地址空间、计数器驱动区域提升等技术，在不修改应用的情况下，使GPU显存过度订阅性能大幅优于原生UVM及性能分析引导方案。
2026-10-12 cs.DC cs.OS
Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会，以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi，这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架，并给出了早期结果，表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
Accelerating Sparse Matrix-Matrix Multiplication on GPUs with Processing Near HBMs
SOLAB, SK hynix America（SK海力士美国公司 SOLAB）；AMS, SK hynix（SK海力士 AMS）；Texas State University（德克萨斯州立大学）
本文提出了一种基于哈希的多阶段SpGEMM方法和AIA技术，通过近内存处理优化GPU HBM上的稀疏矩阵矩阵乘法，显著提升性能，尤其在图分析和GNN训练任务中表现突出。
2025-12-12 cs.DC
Python in the front, party in the Backline: compiling quantum workloads across CPUs, GPUs, and FPGAs
Xanadu Quantum Technologies Inc.（Xanadu量子技术有限公司）
针对量子工作负载跨异构硬件执行的低延迟需求，提出基于PennyLane和Catalyst的Backline编译框架，通过Python前端和MLIR实现CPU、GPU、FPGA的编译执行，实测微秒级往返延迟。
2026-09-10 cs.DC cs.PL quant-ph
RSH-SpMM: A Row-Structured Hybrid Kernel for Sparse Matrix-Matrix Multiplication on GPUs
University of Science and Technology of China（中国科学技术大学）
RSH-SpMM通过自适应行划分和RS-Tile表示法，提升GPU上稀疏矩阵-矩阵乘法的性能，实现1.27至6.13倍的加速。
2026-02-24 cs.DC
An Analysis of Collocation on GPUs for Deep Learning Training
IT University of Copenhagen（哥本哈根信息技术大学）
本文在 A100 上对比 MIG、MPS 与多进程协同定位，分析不同模型组合下的深度学习训练性能，发现 MPS 对单用户最灵活高效。
2023-04-24 cs.DC cs.LG
FlashMem: Supporting Modern DNN Workloads on Mobile with GPU Memory Hierarchy Optimizations
University of Georgia（佐治亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
FlashMem通过GPU内存层次优化，实现移动设备上大规模DNN和多DNN工作的高效执行。
2026-02-17 cs.DC cs.LG
Data Placement and Replica Selection for Improving Co-location in Distributed Environments
在许多应用领域中，对大规模数据分析的需求不断增加，导致分布式数据管理系统的数量急剧增加，包括并行关系数据库和支持MapReduce等替代框架的系统。因此，对稀缺的数据中心资源（如网络带宽）的竞争日益增加;此外，为计算设备供电的能量需求也急剧增长。正如我们经验表明，通过在大量机器上分散数据来增加执行并行性可以实现减少查询延迟的预期目标，但在大多数情况下，可能会显着增加总资源和能源消耗。然而，对于许多分析工作负载，最小化查询延迟通常并不重要;在这种情况下，我们认为我们应该专注于最小化平均查询跨度，即，通过将经常一起访问的数据项托管在一起，参与处理查询的平均机器数量。在这项工作中，我们利用的事实，大多数分布式环境需要使用复制的容错，我们设计的工作负载驱动的副本选择和放置算法，试图尽量减少平均查询跨度。我们建模的历史查询工作量跟踪一组数据项的超图，并制定和分析的问题，通过绘制连接到几个研究良好的图论概念的副本放置。我们开发了一系列的算法来决定哪些数据项进行复制，以及在哪里放置副本。我们通过展示一系列合成和真实工作负载的结果来展示我们提出的方法的有效性。我们的实验表明，仔细的数据放置和复制可以显着减少平均查询跨度，从而显着减少资源消耗。
2013-02-18 cs.DB cs.DC
Not All GPUs Are Created Equal: Characterizing Variability in Large-Scale, Accelerator-Rich Systems
科学家们越来越多地探索和利用GPU等通用加速器的大规模并行性来实现科学突破。因此，数据中心、超大规模计算机、国家计算中心和超级计算机都采购了硬件来支持这种不断发展的应用程序范式。这些系统包含数百到数万个加速器，能够为科学工作负载提供peta和exa级别的计算。最近的工作表明，电源管理（PM）可以影响基于CPU的HPC系统中的应用程序性能，即使机器具有相同的架构和库存单位（SKU）。这种变化的发生是由于制造的可变性和芯片的PM。然而，尽管现代HPC系统广泛使用GPU等加速器，但尚不清楚这种可变性对应用程序的影响程度。因此，我们试图描述由于GPU PM在现代HPC和超级计算系统中的变化程度。我们研究了各种应用程序，强调不同的GPU组件上的五个大型计算中心与现代GPU：橡树岭的峰会，桑迪亚的漩涡，TACC的Frontera和Longhorn，利弗莫尔的电晕。这些集群使用各种冷却方法和GPU供应商。我们总共在这些集群中超过90%的GPU上收集了超过18，800小时的数据。无论应用程序、集群、GPU供应商和冷却方法如何，我们的结果都显示出显著的差异：即使每个集群中的GPU架构和供应商架构都是相同的，但平均性能差异仍为8%（最大为22%），异常值比GPU中位数慢1.5倍。这些结果凸显了将现有GPU集群有效用于现代HPC和科学工作负载的困难，以及在未来基于加速器的系统中拥抱可变性的需求。
2022-11-09 cs.DC
High-Level Big Integer Arithmetic in Futhark for GPUs
University of Copenhagen（哥本哈根大学）；Cheriton School of Computer Science, U. Waterloo（滑铁卢大学切里顿计算机科学学院）
该研究用Futhark实现GPU上中等规模大整数的块级四则运算，对比手写C++/CUDA与CGBN，发现数组自动布局对性能关键，高级代码经优化后性能具竞争力。
2026-08-03 cs.DC cs.PL cs.SC
Latency-Aware Orchestration for Multi-Agent LLM Workflows on Heterogeneous GPUs
Beihang University（北京航空航天大学）；University of Leeds（利兹大学）
该研究针对异构GPU上的多智能体大语言模型工作流，提出预测引导的运行时系统，通过优化编排降低了端到端延迟与GPU资源消耗。
2026-09-04 cs.DC
FREESH: Fair, Resource- and Energy-Efficient Scheduling for LLM Serving on Heterogeneous GPUs
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Renmin University of China（中国人民大学）；University of Washington（华盛顿大学）；University of Alberta（阿尔伯塔大学）
FREESH针对异构GPU集群上LLM服务的碳与能耗优化问题，通过联合路由调度、动态频率缩放和LLF策略，在保证延迟与公平性的同时实现28.6%的节能和45.45%的减排。
2025-11-05 cs.DC
Hybrid Quantum-HPC Middleware Systems for Adaptive Resource, Workload and Task Management
Ludwig Maximilian University（路德维希-马克西米利安大学）；BMW Group（宝马集团）；Utrecht University（乌得勒支大学）；Rutgers University-New Brunswick（罗格斯大学新不伦瑞克校区）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）；Princeton University（普林斯顿大学）
本文提出混合量子-高性能计算系统中自适应资源、工作负载和任务管理的中间件方法，通过四层架构、执行动机集、Pilot-Quantum框架和Q-Dreamer工具包实现应用感知调度和性能建模。
2026-04-03 cs.DC quant-ph
Understanding Data Movement in Tightly Coupled Heterogeneous Systems: A Case Study with the Grace Hopper Superchip
本文以Grace Hopper超级芯片（GH200）为例，研究了紧耦合异构系统中的数据移动问题，描述了节点内和节点间内存操作特性，展示了内存放置策略对实际工作负载性能的重要影响与权衡机会。
2024-08-26 cs.DC
An Adaptive Load Balancer For Graph Analytical Applications on GPUs
图形分析工作负载的GPU线程之间的负载平衡是困难的，因为图形应用程序的不规则性和顶点度的高度可变性，特别是在幂律图中。我们描述了一种新的负载均衡计划来解决这个问题。我们的计划是在IrGL编译器中实现的，允许用户从高级顺序程序中为GPU生成高效的负载平衡代码。我们评估了多达16个分布式GPU上的几个图形分析应用程序，使用IrGL来编译代码，并使用Gluon基板进行GPU间通信。我们的实验表明，该计划可以实现平均速度提高2.2倍的输入，遭受严重的负载不平衡问题时，以前的国家的最先进的负载平衡计划使用。
2020-02-27 cs.DC
Anonymized Network Sensing using C++26 std::execution on GPUs
本文探讨使用 C++26 Senders 模型在密集 GPU 系统上开发匿名网络感知图挑战，该方法将 GPU 视为一等资源，在 8 个 NVIDIA A100 上相比串行 GraphBLAS 基线实现高达 55 倍性能提升。
2025-10-15 cs.DC
A Simulation Platform for Multi-tenant Machine Learning Services on Thousands of GPUs
University of Toronto（多伦多大学）；National University of Singapore（新加坡国立大学）；SenseTime（商汤科技）
多租户机器学习服务已经成为数据中心中新兴的数据密集型工作负载，其大量使用GPU资源。由于集群规模大、调整参数多、资源占用量大，在真实集群上对这些机器学习服务进行评估和基准测试通常是不切实际的。在这个演示中，我们提出了AnalySIM，一个集群模拟器，允许多租户机器学习服务的有效设计探索。具体来说，通过跟踪驱动的集群工作负载模拟，AnalySIM可以轻松测试和分析各种调度策略在GPU资源利用率等多个性能指标中的表现。AnalySIM基于物理拓扑和逻辑分区模拟集群计算资源。该工具已在SenseTime中使用，以了解不同调度策略的影响，并跟踪超过1000个GPU的实际生产集群。我们发现，抢占和迁移能够显着减少平均作业完成时间，减轻资源碎片化问题。
2022-01-10 cs.AI cs.DC
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题，通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本，并提出基于混合整数线性规划的调度算法，在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
Nixie: Efficient, Transparent Temporal Multiplexing for Consumer GPUs
Duke University（杜克大学）
Nixie通过高效透明的时间复用技术提升消费级GPU的交互任务性能，减少CPU pinned内存使用，提高响应速度。
2026-01-16 cs.DC cs.OS
GROMACS Unplugged: How Power Capping and Frequency Shapes Performance on GPUs
本研究分析四款NVIDIA GPU上GROMACS性能，发现小系统对频率敏感、大系统受内存限制，功率上限下高端GPU仍保持高性能，为硬件选择提供指导。
2025-10-08 cs.DC cs.PF
GPU-Accelerated OLTP: An In-Depth Analysis of Concurrency Control Schemes
Tsinghua University（清华大学）；HKUST (GZ)（香港科技大学（广州））
本文提出首个GPU并发控制测试床gCCTB，评估六种面向CPU和两种专为GPU设计的并发控制方案，发现GPU优化方案并非始终优于CPU方案，且乐观并发控制在GPU上表现最佳。
2026-05-25 cs.DB cs.DC
Efficient Algorithms for Device Placement of DNN Graph Operators
Microsoft Research（微软研究院）；Amazon（亚马逊）；Microsoft（微软）
现代机器学习工作负载使用具有复杂结构的大型模型，执行起来非常昂贵。执行复杂模型的设备正变得越来越异构，因为我们看到除了CPU之外，还提供了大量的特定于领域的加速器作为硬件加速器。这些趋势需要跨多个设备分配工作负载。最近的工作表明，模型并行可以获得显着的收益，即划分神经网络的计算图到多个设备。特别地，这种形式的并行性假设设备的流水线，其被馈送样本流并产生用于DNN的训练和推理的高吞吐量。然而，对于这样的设置（大型模型和多个异构设备），我们需要自动化算法和工具链来跨设备划分ML工作负载。在本文中，我们识别并隔离了DNN操作符的设备放置核心的结构化优化问题，用于推理和训练，特别是在现代流水线设置中。然后，我们提供了解决这个问题的最优算法。我们使用几个当代DNN计算图展示了我们方法的适用性和效率。
2020-10-29 cs.DC cs.LG stat.ML
