LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving
University of Michigan（密歇根大学）；ByteDance（字节跳动）
针对多租户LLM服务中联合批处理导致的延迟归因难题，提出基于屋顶线模型的LLMVisor实时延迟归因模型，在微秒级高效运行，相比基线方法大幅降低预填充和解码阶段的相对误差
2026-08-11 cs.AI cs.DC
Guardian: Safe GPU Sharing in Multi-Tenant Environments
针对多租户GPU共享中的内存安全隐患，本文提出PTX级边界检查方法Guardian，通过地址空间分区、底层调用拦截和PTX级内核插桩实现动态空间共享与内存隔离，在Caffe和PyTorch等框架上平均开销仅9%。
2024-10-16 cs.DC
Elastic deep learning in multi-tenant GPU cluster
我们研究如何支持弹性，即，动态调整并行度（GPU数量）的能力，用于深度神经网络（DNN）训练。弹性可以在许多方面使多租户GPU集群管理受益，例如，实现各种调度目标（例如，作业吞吐量、作业完成时间、GPU效率），最大限度地利用瞬时空闲资源、性能分析、作业迁移和落伍者缓解。然而，现有的并行性调整策略带来了很高的开销，这阻碍了许多应用程序有效地利用弹性。我们建议EDL使用简单的API实现低开销弹性深度学习。我们提出了减少并行性调整开销所需的技术，例如无停止扩展和动态数据管道。我们还证明了EDL确实可以在GPU集群管理中为上述应用程序带来显着的好处。
2019-11-30 cs.DC
EvalStop: Using World Feedback to Detect and Correct Reward Overoptimization in Multi-Tenant RLHF Platforms
DeepMind, London, UK（深度Mind, 英国伦敦）；University of Cambridge, UK（英国剑桥大学）；University of Washington, USA（美国华盛顿大学）
提出EvalStop调度原语，通过检测评估分数连续下降来终止作业、释放GPU并保留最佳检查点，以纠正奖励过度优化，在RLHF负载上实现高精度检测并提升JCT。
2026-06-16 cs.AI cs.DC cs.LG
Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters
Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；VMware Research（威睿研究院）
训练深度神经网络（DNN）是企业和云数据中心中广泛流行的工作负载。现有的DNN训练算法将GPU视为主要资源，并根据作业请求的GPU数量分配其他资源，如CPU和内存。不幸的是，这些配置器没有考虑作业对CPU、内存和存储资源分配的敏感性的影响。在这项工作中，我们提出了协同，一个资源敏感的调度共享GPU集群。Synergy使用乐观分析来推断DNN对不同资源的敏感性;一些作业可能会受益于超过GPU比例的分配，而一些作业可能不会受到小于GPU比例的分配的影响。Synergy使用一种新的接近最优的在线算法，在共享多租户集群上调度的一组作业中执行此类多资源工作负载感知分配。我们的实验表明，与传统的GPU比例调度相比，工作负载感知的CPU和内存分配可以提高平均JCT高达3.4倍。
2022-08-24 cs.DC cs.LG
MISO: Exploiting Multi-Instance GPU Capability on Multi-Tenant Systems for Machine Learning
GPU技术在尺寸和性能方面一直在加速改进，使HPC和AI/ML研究人员能够推进科学发现过程。然而，这也会导致资源使用效率低下，因为大多数GPU工作负载，包括复杂的AI/ML模型，都无法最大限度地利用GPU资源，从而鼓励支持GPU多租户。我们提出了MISO，这是一种在最新的NVIDIA数据中心GPU（例如，A100、H100），以便在协同定位的作业之间动态地划分GPU资源。MISO的关键见解是使用轻量级，更灵活的多进程服务（MPS）功能来预测不同作业的最佳分区分配，而不会在探索期间产生实现它们的开销。由于能够更有效地利用GPU资源，MISO的平均作业完成时间分别比未分区和最佳静态GPU分区方案低49%和16%。
2022-10-06 cs.AR cs.DC
Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
University of Bristol（布里斯托大学）；Hewlett Packard Enterprise（惠普企业）
本文在HPE Cray EX超级计算机Isambard-AI上评估Kubernetes部署，针对AI、安全计算等场景设计用例，探讨挑战及Kubernetes作为批处理系统补充的发展方向。
2026-08-04 cs.AI cs.DC cs.PF
A 4D Hybrid Algorithm to Scale Parallel Training to Thousands of GPUs
University of Maryland（马里兰大学）
针对大模型并行训练的通信瓶颈，提出融合3D张量与数据并行的4D混合算法，结合计算通信重叠与分析调优模型，在千级GPU上实现性能显著提升。
2024-05-14 cs.AI cs.DC cs.LG
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley（加州大学伯克利分校）
提出DriftSched框架，通过运行时反馈驱动的漂移补偿和自适应偏差校正，解决多租户LLM推理中令牌漂移导致的调度问题，在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
MUSE: Multi-Tenant Model Serving With Seamless Model Updates
Feedzai Portugal（Feedzai葡萄牙公司）
MUSE通过解耦模型得分与客户端决策边界，实现了多租户环境下无缝模型更新，提升了模型的适应性和效率。
2026-02-24 cs.DC cs.LG
Heuristic Search Space Partitioning for Low-Latency Multi-Tenant Cloud Queries
Palo Alto Networks, Inc.（帕洛阿尔托网络公司）
本文提出HSSPS系统，通过动态谓词注入在查询时划分搜索空间，减少查询所需访问的页面数，从而降低延迟并提升吞吐量，实验证明在多租户云查询中显著提升性能。
2026-04-21 cs.DB cs.DC
Scalable Construction of Spiking Neural Networks using up to thousands of GPUs
University of Cagliari（卡利亚里大学）；Istituto Nazionale di Fisica Nucleare (INFN)（意大利国家核物理研究所）；Jülich Research Centre（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本文提出一种基于MPI的多GPU集群构建大规模脉冲神经网络的方法，通过高效管理通信与内存，实现对神经网络的可扩展模拟。
2026-05-15 cs.DC cs.NE physics.comp-ph
It's the People, Not the Placement: Rethinking Allocations in Post-Moore Clouds
针对后摩尔时代异构加速器云资源碎片化问题，提出从静态固定定价分配转向动态多边成本再谈判的分配机制，并设计运营商-租户-应用新交互架构，以提升资源效率并降低成本。
2025-01-19 cs.DC
Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
Xiamen University（厦门大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Tsinghua University（清华大学）
本文提出SliceScheduler系统，通过全局映射图、全局仿真器等组件实现算子级调度，在维持SLA违规率低于9%的同时，将多租户LLM服务的令牌吞吐量提升1.10-2.29倍，有效提高GPU利用率。
2026-08-18 cs.DC cs.LG cs.OS
Scheduling Deep Learning Jobs in Multi-Tenant GPU Clusters via Wise Resource Sharing
提出SJF-BSBF调度算法，通过智能GPU共享与梯度累积优化多租户集群DL作业调度，无需抢占即可降低平均完成时间27-33%，并优于激进共享策略17%。
2024-07-18 cs.DC
A Few GPUs, A Whole Lotta Scale: Faithful LLM Training Emulation with PrismLLM
Alibaba Group（阿里巴巴集团）；Harvard University（哈佛大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
PrismLLM通过切片方法构建高保真执行图，使工程师能用少量GPU模拟大规模训练行为，准确复现性能和内存表现，节省集群访问成本。
2026-05-15 cs.AI cs.DC
SAKURAONE: An Open Ethernet-Based AI HPC System and Its Observed Workload Dynamics in a Single-Tenant LLM Development Environment
Research Center, SAKURA internet Inc.（SAKURA internet 公司研究中心）
SAKURAONE是一种基于开放以太网的AI HPC系统，通过观测单租户LLM开发环境中的工作负载动态，揭示了GPU集群在统一项目负载下的实际利用情况。
2026-04-16 cs.DC cs.NI
Accelerating Statewide Connected Vehicles Big (Sensor Fusion) Data ETL Pipelines on GPUs
本文提出基于GPU（利用Nvidia Rapids和Dask）的解决方案，加速全州车联网大数据ETL处理，实现70倍加速，将密苏里州全天数据处理时间从48小时降至25分钟，提供实时时空洞察。
2023-05-08 cs.DC
SGDRC: Software-Defined Dynamic Resource Control for Concurrent DNN Inference on NVIDIA GPUs
针对GPU上并发DNN推理的资源分配难题，提出软件定义的SGDRC，通过逆向工程与缓存着色消除VRAM冲突，动态分配带宽和计算单元，提升SLO达标率与吞吐量。
2025-03-26 cs.AR cs.DC cs.PF
Ensuring Fair LLM Serving Amid Diverse Applications
Virginia Tech（弗吉尼亚理工大学）；Microsoft（微软公司）；University of Virginia（弗吉尼亚大学）
本文针对多租户LLM平台中请求滥用导致的不公平问题，基于MS CoPilot真实数据提出FairServe系统，通过应用特征感知限流和加权服务计数器调度确保公平访问，实验证明其优于现有方法。
2024-11-24 cs.AI cs.DC cs.LG
Efficient Pre-Training of LLMs via Topology-Aware Communication Alignment on More Than 9600 GPUs
本文提出调度系统Arnold，通过将LLM通信模式与数据中心物理拓扑对齐，在超过9600个GPU上实现10.6%的端到端训练性能提升。
2025-09-19 cs.DC
GPU-Virt-Bench: A Comprehensive Benchmarking Framework for Software-Based GPU Virtualization Systems
Bud Ecosystem Inc（Bud生态系统公司）
GPU-Virt-Bench是一种用于评估软件GPU虚拟化系统性能的全面基准测试框架，通过56项指标评估隔离质量、LLM性能等关键因素，为多租户环境下的GPU资源部署提供决策支持。
2025-11-26 cs.AI cs.DC
Not All GPUs Are Created Equal: Characterizing Variability in Large-Scale, Accelerator-Rich Systems
科学家们越来越多地探索和利用GPU等通用加速器的大规模并行性来实现科学突破。因此，数据中心、超大规模计算机、国家计算中心和超级计算机都采购了硬件来支持这种不断发展的应用程序范式。这些系统包含数百到数万个加速器，能够为科学工作负载提供peta和exa级别的计算。最近的工作表明，电源管理（PM）可以影响基于CPU的HPC系统中的应用程序性能，即使机器具有相同的架构和库存单位（SKU）。这种变化的发生是由于制造的可变性和芯片的PM。然而，尽管现代HPC系统广泛使用GPU等加速器，但尚不清楚这种可变性对应用程序的影响程度。因此，我们试图描述由于GPU PM在现代HPC和超级计算系统中的变化程度。我们研究了各种应用程序，强调不同的GPU组件上的五个大型计算中心与现代GPU：橡树岭的峰会，桑迪亚的漩涡，TACC的Frontera和Longhorn，利弗莫尔的电晕。这些集群使用各种冷却方法和GPU供应商。我们总共在这些集群中超过90%的GPU上收集了超过18，800小时的数据。无论应用程序、集群、GPU供应商和冷却方法如何，我们的结果都显示出显著的差异：即使每个集群中的GPU架构和供应商架构都是相同的，但平均性能差异仍为8%（最大为22%），异常值比GPU中位数慢1.5倍。这些结果凸显了将现有GPU集群有效用于现代HPC和科学工作负载的困难，以及在未来基于加速器的系统中拥抱可变性的需求。
2022-11-09 cs.DC
Accelerating Dissipative Particle Dynamics Simulations on GPUs: Algorithms, Numerics and Applications
我们提出了一个可扩展的耗散粒子动力学模拟代码，完全实现的图形处理单元（GPU）使用的混合CUDA/MPI编程模型，它实现了10-30倍的加速比在一个单一的GPU超过16个CPU核心和几乎线性弱缩放跨越一千个节点。一个统一的框架内开发的邻居列表的有效生成和维护粒子数据的局部性解决。我们的算法生成严格有序的邻居列表并行，而建设是确定性的，不使用原子操作或排序。这样的邻居列表导致最佳的数据加载效率时，结合两级粒子重排方案。提出了一种基于预计算二进制签名的快速高斯随机数原位生成方案。我们设计了自定义的超越函数，可以快速准确地评估成对相互作用。通过一组模拟泡状流和自发泡状形成的测试用例验证了程序的正确性和准确性。计算机基准测试表明，我们的实现在CPU实现的加速以及强大和弱的可扩展性。一个由1.28亿个粒子组成的自发囊泡形成的大规模模拟，进一步说明了我们的代码在现实世界中的应用的实用性。
2013-11-02 cs.DC physics.comp-ph
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
NVIDIA（英伟达）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
大语言模型在一系列任务中实现了最先进的准确性。然而，由于两个原因，有效地训练这些模型是具有挑战性的：a）GPU内存容量有限，使得即使在多GPU服务器上也无法适应大型模型，以及b）训练这些模型所需的计算操作数量可能导致不切实际的长训练时间。因此，新的模型并行方法如张量和流水线并行被提出。不幸的是，这些方法的天真使用导致数千个GPU的基本缩放问题，例如，这是由于昂贵的跨节点通信或设备花费大量时间等待其他设备来取得进展。在本文中，我们将展示如何组合不同类型的并行方法（张量，管道和数据并行），以扩展到数千个GPU和具有数万亿参数的模型。我们调查技术的流水线并行，并提出了一种新的交错流水线并行计划，可以提高吞吐量的10+%的内存占用与现有的方法。我们定量地研究了张量、管道和数据并行之间的权衡，并提供了如何配置大型模型的分布式训练的直观性。我们的方法允许我们在3072个GPU上以502 petaFLOP/s的速度对具有1万亿个参数的模型执行训练迭代，实现了理论峰值的52%的每GPU吞吐量。我们的代码在https://github.com/nvidia/megatron-lm上开源。
2021-08-23 cs.CL cs.DC
APEnet+: a 3D toroidal network enabling Petaflops scale Lattice QCD simulations on commodity clusters
许多科学计算需要多节点并行来匹配不断增长的空间（内存）和时间（速度）需求。使用GPU作为加速器为程序员引入了另一个复杂性级别，并且由于复杂的存储器层次结构，可能会导致大量开销。此外，一流的问题可能很容易使用超过千万亿次的持续计算能力，需要数千个GPU与一些并行编程模型协调。在这里，我们描述了APEnet+，我们的互连的新一代，可扩展到数以万计的节点与线性成本，从而提高大型集群的性价比。该项目的目标是开发Apelink+主机适配器，该适配器具有低延迟、高带宽直连网络、最先进的链路线速和PCIe X8 gen2主机接口。它具有对RDMA编程模型的硬件支持和GPU网络的实验加速。一个Linux内核驱动程序，一组低级的RDMA API和一个OpenMPI库驱动程序都是可用的，允许轻松移植标准应用程序。最后，我们给出了未来的工作和预期的发展的见解。
2010-12-01 cs.DC hep-lat
Isolated Scheduling for Distributed Training Tasks in GPU Clusters
本文针对GPU集群中分布式训练的网络争用问题，提出vClos方法通过联合优化网络拓扑和通信模式消除争用，并引入OCS-vClos减少资源碎片化，实验证明其优于现有调度策略。
2023-08-10 cs.DC
Accelerating Sharded Data Parallelism at Scale with Federated Learning
University of Turin（都灵大学）
本工作受联邦学习通信原理启发，提出FL+FSDP和FL+HSDP两种混合算法，将分片数据并行解耦为松散耦合的联邦组，在512个A100 GPU上预训练Llama3.1 8B，实现高达8.04倍数据处理加速和4.48倍困惑度降低。
2026-09-18 cs.AI cs.DC cs.PF
Optimizing High Performance Markov Clustering for Pre-Exascale Architectures
HipMCL是流行的马尔可夫聚类算法（MCL）的高性能分布式内存实现，可以使用几千个配备CPU的节点在数小时内对大规模网络进行聚类。它依赖于稀疏矩阵计算，并大量使用稀疏矩阵-稀疏矩阵乘法内核（SpGEMM）。HipMCL中现有的并行算法不能扩展到Exascale架构，这既是因为它们的通信成本在大并发时占主导地位，也是因为它们无法利用越来越受欢迎的加速器。在这项工作中，我们系统地消除HipMCL的可扩展性和性能瓶颈。我们通过在GPU上执行MCL算法的昂贵扩展阶段来启用GPU。我们提出了一个CPU-GPU联合分布式SpGEMM算法称为流水线稀疏SUMMA和集成的概率内存需求估计，是快速和准确的。我们提出了一种新的合并算法，对GPU产生的部分结果进行增量处理，提高了重叠效率和峰值内存使用率。我们还集成了一个最近的和更快的算法在CPU上执行SpGEMM。我们通过广泛的评估来验证我们的新算法和优化。通过启用GPU和集成新算法，HipMCL的速度提高了12.4倍，能够使用ORNL的Summit超级计算机的1024个节点在不到15分钟的时间内将7000万蛋白质和680亿个连接的网络集群化。
2020-02-24 cs.DC
Accelerating Machine Learning Inference with GPUs in ProtoDUNE Data Processing
本文研究在ProtoDUNE中微子数据处理中利用云端GPU加速推理服务器提升事件重建速度，通过数千并发网格作业验证100-GPU服务器可轻松满足需求且GPU处理速度比最新CPU快两倍，同时指出需注意网络带宽限制并讨论未来改进方向。
2023-10-28 cs.DC hep-ex physics.data-an
Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability
Maxeler Technologies, a Groq Company（Maxeler Technologies，Groq公司）；ETH Zurich / CSCS（苏黎世联邦理工学院 / CSCS）；Georgia Institute of Technology（佐治亚理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文揭示GPU上浮点非结合性与异步并行累加可在无输入扰动时导致深度学习分类错误，并提出基于贝叶斯优化的黑盒攻击和基于梯度的可学习置换方法，用于高效评估和暴露该机器级脆弱性。
2025-08-22 cs.DC cs.LG
Varuna: Scalable, Low-cost Training of Massive Deep Learning Models
如今，用于训练大规模深度学习模型（数十亿个参数）的系统假设并需要专门的“超级集群”：数百或数千个GPU与专门的高带宽互连（如NV-Link和Infiniband）相连。除了昂贵之外，这种对超级集群和自定义高速互连的依赖限制了这种集群的大小，从而产生（a）对作业并行性的可扩展性限制;（b）跨超级集群的资源碎片。在本文中，我们介绍了Varuna，这是一个新系统，可以在商品网络上训练大量深度学习模型。Varuna可以节约使用网络资源，并自动配置用户的培训工作，以有效地使用任何给定的资源集。因此，Varuna能够利用“低优先级”虚拟机，其成本比专用GPU便宜约5倍，从而显著降低了训练大规模模型的成本。我们通过在5倍便宜的“点虚拟机”上训练大量模型（包括2000亿个参数模型），同时保持高训练吞吐量，证明了Varuna的有效性。与其他模型并行方法相比，Varuna将端到端训练时间提高了18倍，与其他管道并行方法相比提高了26%。Varuna的代码可在https://github.com/microsoft/varuna上获得。
2021-11-15 cs.DC
FlowMesh: A Service Fabric for Composable LLM Workflows
FlowMesh 是一种多租户服务架构，通过将可组合 LLM 工作流分解为细粒度算子并利用全局控制平面优化调度，在异构 GPU 上实现跨用户工作去重与弹性扩容，显著降低成本与能耗。
2025-10-30 cs.DC
Komet: A Serverless Platform for Low-Earth Orbit Edge Services
本研究提出面向低轨边缘计算的无服务器平台Komet，集成函数即服务计算与数据复制，支持按需资源分配和随轨道的服务迁移，通过原型与仿真验证了其可用性及迁移调度的权衡关系。
2024-10-08 cs.DC
Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
针对异构设备与多租户资源争用导致张量并行训练出现落后任务的问题，提出 ZERO-resizing 与轻量迁移结合的 SEMI-migration，在无迁移或无精度损失间自适应均衡工作负载，并在 Colossal-AI 上验证有效。
2024-01-21 cs.DC
