MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
University of Michigan(密歇根大学)
针对资源约束下MoE LLM部署中GPU内存不足导致的CPU-GPU混合执行资源优化难题,提出MoE-Lens系统,通过整体性能建模识别硬件瓶颈并优化资源利用率,实现高吞吐量推理,性能平均提升4.6倍且预测准确率达94%。
2025-04-12 cs.AI cs.DC
EMA: Elastic and Performance Transparent Memory Across GPUs
UC Berkeley(加州大学伯克利分校)
EMA通过跨GPU弹性内存共享与预取机制,实现性能透明,提升用户吞吐量最高52%,并保持接近2倍容量系统的性能。
2026-09-24 cs.AI cs.DC cs.LG
Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices
School of Computer Science, Nanjing University(南京大学计算机科学学院)
研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题,提出ATSInfer系统,通过结合静态张量放置与负载感知动态传输及异步协调,在代表性平台评估,相比现有系统显著提升吞吐量、利用率等,改善本地大语言模型部署体验。
2026-07-15 cs.AI cs.DC cs.LG
Efficient LLM inference solution on Intel GPU
针对大语言模型推理效率低的问题,提出融合运算、分段KV缓存及定制注意力内核的高效推理方案,在Intel GPU上实现了最高7倍的延迟降低与27倍的吞吐量提升。
2024-06-23 cs.AI cs.AR
Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study
研究针对AMD Instinct GPU优化LLM推理,通过基准测试发现架构感知优化对MLA模型至关重要,同时揭示不同模型在文本和视觉任务中的吞吐量差异及内存带宽瓶颈。
2026-02-27 cs.AI cs.AR cs.DC
Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
Google Cloud(谷歌云)
本文首次端到端展示了在TPU硬件上微调和服务Google Gemma 4 31B模型,通过与GPU平台的实证比较,提供了代码级适配方案,并证明TPU在训练速度和成本上具有优势。
2026-06-05 cs.AI cs.DC
Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research
Salesforce Research(Salesforce研究院)
本文提出领域无关框架WarpSci,通过消除CPU与GPU间的数据传输并在单个或多个GPU上并发执行数千个仿真,解决高维海量数据环境下强化学习的关键系统瓶颈,从而支持数据驱动的科学研究。
2024-08-01 cs.AI cs.LG
MoE-Gen: High-Throughput MoE Inference on a Single GPU with Module-Based Batching
The University of Edinburgh(爱丁堡大学);EPCC, The University of Edinburgh(爱丁堡大学EPCC)
提出单 GPU 高吞吐 MoE 推理系统 MoE-Gen,通过基于模块的批处理及模块级批大小优化重叠计算与通信,显著超越 FlexGen、DeepSpeed、vLLM 等系统。
2025-03-12 cs.DC cs.LG
CoX-MoE: Coalesced Expert Execution for High-Throughput MoE Inference with AMX-Enabled CPU-GPU Co-Execution
KAIST(韩国科学技术院)
本文提出CoX-MoE,一种通过AMX启用的CPU-GPU协同系统,通过协同专家执行和战略工作负载编排优化MoE推理,提升吞吐量。CoX-MoE引入了coalescing-aware orchestration策略和静态专家-aware分层方案,分别优化资源分配和减少PCIe传输开销,从而在吞吐量上比现有框架提升7.1倍和2.4倍。
2026-05-19 cs.LG
ZNNi - Maximizing the Inference Throughput of 3D Convolutional Networks on Multi-Core CPUs and GPUs
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
滑动窗口卷积网络(ConvNets)已经成为解决诸如图像分割、目标检测和定位等计算机视觉问题的流行方法。在这里,我们考虑推理问题,即应用先前训练的ConvNet,重点是3D图像。我们的目标是最大限度地提高吞吐量,定义为每单位时间计算的输出体素的平均数量。在其他条件相同的情况下,处理较大的图像往往会增加吞吐量,因为在图像的边界上浪费的计算很少。因此,如果一个明显较慢的算法可以在可用RAM的约束范围内处理更大的图像,那么它最终可能具有更高的吞吐量。我们为卷积层和池化层引入了新颖的CPU和GPU原语,旨在最大限度地减少内存开销。基元包括基于高效修剪FFT的卷积。我们的理论分析和实证检验揭示了一些有趣的发现。对于某些ConvNet架构,cuDNN的性能优于我们基于FFT的GPU原语,而这些原语又可以优于我们的CPU原语。由于CPU可以快速访问更多的RAM,因此可以实现更高的吞吐量。GPU访问主机RAM的新原语可以显着提高GPU吞吐量。最后,CPU-GPU算法实现了所有算法中最大的吞吐量,是其他公开的滑动窗口3D ConvNets实现的10倍或更多。我们所有的代码都是开源项目。
2016-06-17 cs.DC cs.LG
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Alibaba Group(阿里巴巴集团)
Quiver是一个分布式GPU GNN服务系统,通过工作负载感知指标预测计算不规则性,智能调度GPU图采样与特征聚合,实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学)
本文提出高吞吐量 MoE 批量推理系统 MoE-Lightning,通过 CGOPipe 流水线调度、分页权重和分层 Roofline 性能模型,在内存受限的低成本 GPU 上显著提升 Mixtral 等大模型推理吞吐量。
2024-11-18 cs.AI cs.DC cs.LG
Pie: Pooling CPU Memory for LLM Inference
UC Berkeley(加州大学伯克利分校)
本文提出LLM推理框架Pie,通过性能透明的交换和自适应扩展利用CPU内存,在不增加延迟的前提下提升有效内存容量,实现比vLLM和FlexGen更高的吞吐量与更低的延迟。
2024-11-14 cs.DC cs.LG
DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale
Microsoft Corporation(微软公司)
在过去的几年里,基于transformer的模型取得了成功,其规模和应用场景继续积极增长。当前Transformer模型的格局越来越多样化:模型大小变化很大,最大的有千亿个参数;由于专家混合引入的稀疏性,模型特征不同;目标应用场景可以是延迟关键的或面向吞吐量的;部署硬件可以是具有不同类型的存储器和存储装置等的单GPU或多GPU系统。随着Transformer模型的这种增加的多样性和快速发展的步伐,设计高性能和高效的推理系统是极具挑战性的。在本文中,我们提出了DeepSpeed Inference,这是一种用于Transformer模型推理的综合系统解决方案,可解决上述挑战。DeepSpeed Inference包括(1)多GPU推理解决方案,可在密集和稀疏Transformer模型适合聚合GPU内存时,最大限度地减少延迟,同时最大限度地提高吞吐量;(2)异构推理解决方案,除GPU内存和计算外,还利用CPU和NVMe内存,对不适合聚合GPU内存的大型模型实现高推理吞吐量。DeepSpeed Inference在面向延迟的场景中将延迟降低了高达7.3倍,在面向吞吐量的场景中将吞吐量提高了1.5倍以上。此外,它通过利用数百个GPU,在实时延迟约束下实现了万亿参数规模的推理,这是前所未有的推理规模。它可以推理比仅GPU解决方案大25倍的模型,同时提供84 TFLOPS的高吞吐量(超过A60…
2022-06-30 cs.DC cs.LG cs.PF
Practical GPU Choices for Earth Observation: ResNet-50 Training Throughput on Integrated, Laptop, and Cloud Accelerators
Dept.\ of Computer, Mathematical \& Natural Sciences University of Maryland College Park, MD, USA
本研究实现了基于ResNet的Sentinel-2影像LULC分类管道,在三种异构GPU上基准测试,发现NVIDIA RTX 3060和Tesla T4较Apple M3 Pro训练速度提升2倍且精度高,证明消费级与免费云GPU部署深度学习LULC模型的可行性。
2025-08-25 cs.DC cs.LG
A Study on the Intersection of GPU Utilization and CNN Inference
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
在开发既实现高预测性能又实现高应用级推理吞吐量(例如,每秒帧数)。另一个越来越重要的指标是推理过程中的GPU利用率:衡量部署的神经网络如何使用其运行的GPU的计算能力。实现高GPU利用率对于提高应用级吞吐量和确保部署GPU的良好投资回报至关重要。本文分析了卷积神经网络(CNN)推理的GPU利用率。我们首先调查了CNN的GPU利用率,以表明许多CNN的GPU利用率还有提高的空间。然后,我们研究了神经架构搜索(NAS)搜索空间内网络的GPU利用率,并探讨了如何使用GPU利用率作为指标来加速NAS本身。我们的研究表明,CNN的推理时间GPU利用率还有提高的空间,而且GPU利用率的知识甚至有可能使不以利用率为目标的应用程序受益。我们希望这项研究的结果将刺激未来设计GPU高效神经网络的创新。
2022-12-15 cs.LG cs.PF
A High-Throughput Solver for Marginalized Graph Kernels on GPU
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一个通用GPU上的线性求解器的设计和优化,用于对标记图之间的边缘化图内核进行高效和高吞吐量的评估。求解器实现了预处理共轭梯度(PCG)方法来计算与两个图的张量积相关的广义拉普拉斯方程的解。为了解决当前一代GPU的指令吞吐量和内存带宽之间的差距,我们的求解器在PCG中执行矩阵向量点积运算时,在不将其存储在内存中的情况下动态地形成张量积线性系统。这种动态计算是通过在线程束中使用线程来通过称为瓦片的小正方形矩阵块协作地流式传输各个图的邻接和边缘标签矩阵来实现的,然后将其分级在寄存器和共享存储器中以供以后重用。跨线程块的线程束可以经由共享存储器进一步共享区块以增加数据重用。我们利用稀疏的图形分层存储非空的瓷砖使用坐标格式和非零元素内的每个瓷砖使用位图。此外,我们提出了一个新的分区为基础的重新排序算法聚集的非零元素的图到更少,但更密集的瓦片,以提高效率的稀疏格式。我们对各种密度的图块的图张量积原语进行了广泛的理论分析,并评估了它们在合成和真实世界数据集上的性能。我们的求解器比现有的基于CPU的求解器(如GraKeL和GraphKernels)提供了三到四个数量级的加速。求解器的功能使基于内核的学习任务能够以前所未有的规模进行。
2020-02-25 cs.DC cs.LG cs.PF
DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing
King Abdullah University of Science and Technology (KAUST)(卡斯特大学)
DistZO2通过扰动并行、分布式数据并行和二维并行设计,结合硬件感知通信策略,将零阶微调扩展到多GPU系统,在OPT-175B上实现3倍加速并保持内存高效。
2025-07-03 cs.LG cs.PF
DEEP-GAP: Deep-learning Evaluation of Execution Parallelism in GPU Architectural Performance
Independent Researcher (University of Colorado Colorado Springs Alumni)(独立研究者(科罗拉多州立大学科罗拉多斯普林斯校友))
本文通过DEEP-GAP方法系统评估NVIDIA T4和L4 GPU在不同精度下的推理性能,发现INT8精度能显著提升吞吐量,L4在小批量任务中效率更高,T4在大规模任务中仍具竞争力。
2026-04-16 cs.AR cs.LG cs.PF
DNATokenizer: A GPU-First Byte-to-Identifier Tokenizer for High-Throughput DNA Language Models
National Centre for Indigenous Genomics, Australian National University(澳大利亚国立大学国家原住民基因组学中心)
DNATok是一种高效的GPU优先分词系统,通过字节查找表和重叠H2D管道加速DNA语言模型的分词过程,显著提升编码和传输吞吐量。
2026-01-09 cs.LG q-bio.GN
HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval
Seoul National University(首尔国立大学)
针对块扩散LLM中KV缓存随上下文增长导致吞吐量下降的问题,提出HERALD系统,利用块内去噪步骤间KV条目一致性,通过稀疏检索和计算重叠实现高精度低开销的KV卸载,在5-10%缓存预算下达到近无损精度,延迟降低1.59倍,吞吐量提升2.47倍。
2026-11-03 cs.LG
Nonuniform-Tensor-Parallelism: Mitigating GPU failure impact for Scaled-up LLM Training
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达公司)
针对大规模LLM训练中GPU故障因纵向扩展域扩大而放大吞吐量损失的问题,本文提出非均匀张量并行(NTP)及配套机架设计,使故障副本降级运行并跟上正常副本,实现接近零的吞吐量损失。
2025-04-08 cs.DC cs.LG
Enabling Disaggregated Multi-Stage MLLM Inference via GPU-Internal Scheduling and Resource Sharing
Wuhan University(武汉大学)
通过GPU内部调度和资源共享实现解耦的多阶段MLLM推理,提升吞吐量和延迟性能
2025-12-19 cs.DC cs.LG
HT-HEDL: High-Throughput Hypothesis Evaluation in Description Logic
King Saud University(沙特国王大学)
本文提出 HT-HEDL 引擎,面向 $\mathcal{ALCQI}^{\mathcal{(D)}}$ 描述逻辑的 ILP 假设评估,通过 GPU 与向量化多线程 CPU 在单假设和批量假设两个层面实现显著加速与吞吐量提升。
2024-12-01 cs.AI cs.DC cs.DS
UCCL-EP: Portable Expert-Parallel Communication
UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校);UW–Madison(威斯康星大学麦迪逊分校);AMD(超威半导体);Tsinghua University(清华大学);Amazon Web Services(亚马逊网络服务);ICSI(信息与计算机科学研究所);Broadcom & University Politehnica of Bucharest(博通与布加勒斯特理工大学)
UCCL-EP通过高吞吐量GPU-CPU控制通道和RDMA立即数据模拟,实现了在异构GPU和NIC平台上的高性能专家并行通信,提升了多个模型的训练和推理效率。
2026-01-22 cs.AI cs.DC cs.LG
ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning
Microsoft(微软)
在过去三年中,最大的密集深度学习模型增长了1000倍以上,达到数千亿个参数,而GPU内存仅增长了5倍(16 GB到80 GB)。因此,模型规模的增长主要是通过系统创新来支持的,这些创新允许大型模型适应多个GPU的聚合GPU内存。然而,我们正在接近GPU内存墙。它需要800个NVIDIA V100 GPU才能适应万亿参数模型进行训练,而这样的集群对于大多数数据科学家来说根本无法实现。此外,这种规模的训练模型需要复杂的并行技术组合,这给数据科学家重构模型带来了很大的负担。在本文中,我们介绍了ZeRO-Infinity,这是一种新型的异构系统技术,它利用GPU、CPU和NVMe内存,在不需要模型代码重构的情况下,在有限的资源上实现前所未有的模型规模。与此同时,它实现了出色的训练吞吐量和可扩展性,不受有限的CPU或NVMe带宽的限制。ZeRO-Infinity可以适应具有数十万亿甚至数百万亿参数的模型,用于在当前一代GPU集群上进行训练。它可用于在单个NVIDIA DGX-2节点上微调万亿参数模型,使大型模型更易于访问。在训练吞吐量和可扩展性方面,它在512个NVIDIA V100 GPU上保持了超过25 petaflops(峰值的40%),同时还展示了超线性可扩展性。ZeRO-Infinity的开源实现可通过DeepSpeed获得,DeepSpeed是一个深度学习优化库,使分布式训练变得…
2021-04-16 cs.AI cs.DC cs.LG
Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference
Columbia University(哥伦比亚大学)
Harvest通过利用点对点GPU互连技术,动态管理GPU内存,减少数据移动开销,显著提升LLM推理的吞吐量。
2026-01-30 cs.LG
SpecOffload: Unlocking Latent GPU Capacity for LLM Inference on Resource-Constrained Devices
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对资源受限设备上LLM推理因权重卸载导致GPU利用率低的问题,提出嵌入投机解码的SpecOffload推理引擎,通过编排模型交错执行、规划张量放置,以近零额外成本大幅提升GPU利用率与推理吞吐量。
2025-05-21 cs.LG
TResNet: High Performance GPU-Dedicated Architecture
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
近年来开发的许多深度学习模型都达到了比ResNet 50更高的ImageNet精度,但FLOPS计数更少或相当。虽然FLOP通常被视为网络效率的代表,但在测量实际的GPU训练和推理吞吐量时,vanilla ResNet 50通常比其最近的竞争对手快得多,提供了更好的吞吐量-准确性权衡。在这项工作中,我们引入了一系列架构修改,旨在提高神经网络的准确性,同时保留其GPU训练和推理效率。我们首先展示和讨论的瓶颈引起的FLOPs优化。然后,我们提出了更好地利用GPU结构和资产的替代设计。最后,我们介绍了一个新的GPU专用模型家族,称为TResNet,它比以前的ConvNet实现了更好的准确性和效率。使用TResNet模型,使用与ResNet 50相似的GPU吞吐量,我们在ImageNet上达到了80.8 top-1的准确率。我们的TResNet模型在具有竞争力的单标签分类数据集上也能很好地传输并达到最先进的准确性,例如斯坦福汽车(96.0%),CIFAR-10(99.0%),CIFAR-100(91.5%)和牛津花卉(99.1%)。它们在多标签分类和目标检测任务上也表现良好。可在https://github.com/mrT23/TResNet上获得实现。
2020-08-27 cs.CV cs.LG eess.IV
RAPID-Serve: Resource-efficient and Accelerated P/D Intra-GPU Disaggregation
Advanced Micro Devices(先进微器件)
RAPID-Serve通过在GPU上同时执行prefill和decode,实现资源高效和低延迟的LLM推理服务,提升吞吐量和资源利用率。
2026-01-16 cs.DC cs.LG
PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers
KAIST(韩国科学技术院)
在云机器学习(ML)推理系统中,为最终用户提供低延迟至关重要。然而,最大限度地提高服务器利用率和系统吞吐量对于ML服务提供商来说也是至关重要的,因为它有助于降低总拥有成本。GPU经常因ML推理的使用而受到批评,因为其庞大的计算和内存吞吐量在低批量推理场景下难以充分利用。为了解决这种限制,NVIDIA最近发布的Ampere GPU架构提供了将一个大型单片GPU“重新配置”为多个较小的“GPU分区”的功能。这一特性为云机器学习服务提供商提供了利用可重配置GPU的能力,不仅可以进行大批量训练,还可以进行小批量推理,从而实现高资源利用率。在本文中,我们研究了这种新兴的GPU架构与可重构性,以开发一个高性能的多GPU ML推理服务器。我们的第一个命题是一个复杂的可重构GPU的分区算法,系统地确定一组异构的多粒度GPU分区,最适合推理服务器的部署。此外,我们共同设计了一个弹性调度算法,为我们的异构分区GPU服务器,有效地平衡低延迟和高GPU利用率。
2022-02-27 cs.AI cs.AR cs.DC
Cross-Platform Scaling of Vision-Language-Action Models from Edge to Cloud GPUs
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文研究了视觉-语言-动作模型在边缘到云GPU平台上的跨平台扩展,揭示了架构选择和电力限制对性能的影响,并挑战了数据中心硬件的优越性假设。
2026-01-26 cs.AI cs.CV cs.ET
DuetServe: Harmonizing Prefill and Decode for LLM Serving via Adaptive GPU Multiplexing
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对LLM服务中预填充与解码阶段的干扰问题,提出DuetServe框架,通过自适应SM级GPU空间多路复用实现单GPU内的阶段隔离,在保证低延迟的同时提升吞吐量。
2026-05-30 cs.LG
Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(巴塞罗那技术大学 - 巴塞罗那技术学院);IBM Research(IBM研究院)
本文揭示大批量LLM推理仍受限于DRAM带宽饱和而非计算能力,提出批处理配置顾问(BCA)优化内存分配,并利用模型复制提升吞吐量与GPU利用率。
2025-07-11 cs.DC cs.LG
SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
SlideDP提出同步数据并行运行时,通过宿主机状态权威、通信解耦和流水线化,在共享宿主机多GPU上实现高效大语言模型微调,吞吐量优于现有系统。
2026-10-14 cs.DC cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);IBM Research(IBM研究院)
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长,推动了许多神经网络的规模和内存需求,超出了可用加速器的能力。稀疏深度神经网络(SpDNN)已经显示出控制大型神经网络内存占用的前景。然而,在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性,我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明,所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍,在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现,我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
TurboTransformers: An Efficient GPU Serving System For Transformer Models
Pattern Recognition Center, Wechat AI, Tencent Inc(腾讯微信AI模式识别中心)
Transformer是近年来自然语言处理领域最重要的算法创新。与递归神经网络(RNN)模型不同,Transformers可以并行处理序列长度的维度,因此在长序列上具有更好的准确性。然而,在配备GPU的数据中心中为在线服务高效部署它们并不容易。首先,由Transformer结构引入的更多计算使得满足服务的延迟和吞吐量约束更具挑战性。第二,NLP任务采用可变长度的句子。输入维数的可变性给有效的存储管理和服务优化带来了严重的问题。本文设计了一个Transformer服务系统TurboTransformers,该系统由计算运行时和服务框架两部分组成。三大创新特点使其在同类作品中脱颖而出。提出了一种有效的并行算法,用于基于GPU的批量约简操作,如Softmax和LayerNorm,除了BLAS例程之外的主要热点。针对变长输入的情况,设计了一种内存分配算法,该算法能够更好地平衡内存占用和分配/释放效率。一个服务框架配备了一个新的批处理调度器,使用动态规划实现可变长度的请求的最佳吞吐量。该系统可以实现最先进的Transformer模型,在GPU平台上提供性能,并且可以通过几行代码无缝集成到PyTorch代码中。
2021-02-20 cs.AI cs.DC cs.LG
Scaling State-Space Models on Multiple GPUs with Tensor Parallelism
Stony Brook University(石溪大学)
本文提出一种通信高效的张量并行设计,用于在多GPU上加速选择性状态空间模型推理,通过状态缓存、参数分区和量化AllReduce减少通信开销,提升吞吐量。
2026-02-24 cs.DC cs.LG
Parallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
Apple(苹果公司)
并行轨道变换器通过减少同步操作提升GPU推理效率,适用于大规模LLM服务。
2026-02-07 cs.DC cs.LG
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
本文针对跨GPU架构的连续批处理LLM服务,实现轻量级调度策略,通过多GPU、多模型的1152组实验,发现老化最短prompt优先是多数场景的实用基线,相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
SURGE: SuperBatch Unified Resource-efficient GPU Encoding for Heterogeneous Partitioned Data
Walmart Inc.(沃尔玛公司)
SURGE通过分析模型和内存限制,实现高效GPU编码,减少内存使用并提升处理速度,适用于大规模文本嵌入生成。
2026-05-01 cs.DC cs.LG
TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval
Paul G. Allen School of Computer Science and Engineering, University of Washington, Seattle, WA, USA(华盛顿大学保罗·G·艾伦计算机科学与工程学院,西雅图,华盛顿州,美国);Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, USA(哈佛大学约翰·A·保罗森工程与应用科学学院,剑桥,马萨诸塞州,美国);Shanghai Jiao Tong University, Shanghai, China(上海交通大学,上海,中国)
本文提出TeleRAG,一种通过前瞻性检索机制减少延迟并提高吞吐量的高效检索增强生成推理系统,该系统在有限的GPU内存下实现了更高的性能和可扩展性。
2026-05-18 cs.DC cs.LG
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley(伯克利大学);UCLA(洛杉矶大学);Rice University(里奇大学);UC Davis(戴维斯大学);Intel(英特尔公司)
针对LLM服务GPU利用率低的问题,提出ConServe协同服务系统,通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术,实现高吞吐量与在线延迟保障,性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
JigSLO: Solving the Resource Puzzle for Efficient Multi-LLM Serving
Cloud Research Team, Samsung SDS(三星SDS云研究团队)
针对量化LLM服务中的内存碎片化和资源调度低效问题,提出混合精度推理框架FineServe,通过精度感知的KV Slab内存管理和两级调度机制,显著提升了SLO达成率与生成吞吐量。
2026-11-18 cs.DC cs.LG
ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference
ByteDance Seed(字节跳动种子);Carnegie Mellon University(卡内基梅隆大学)
提出ShadowKV,通过存储低秩键缓存并卸载值缓存及精确KV选择策略,在A100上支持6倍批处理和3.04倍吞吐提升,无损精度服务长上下文LLM。
2025-04-25 cs.CL cs.LG
Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach
Technical University of Munich(慕尼黑工业大学)
针对现代GPU单程序资源利用率低的问题,提出基于强化学习的分层资源划分与作业协同调度组协同优化方法,结合NVIDIA GPU的MPS与MIG特性,相比分时调度最高提升1.87倍吞吐量。
2024-05-14 cs.AR cs.DC cs.LG
LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load
Conscious Engines
研究评估了在持续负载下不同设备上大语言模型的性能效率,发现移动端受热管理限制,专用硬件受电池和内存带宽限制,展示了不同平台的推理表现和能效差异。
2026-06-07 cs.DC cs.LG
Comparative Analysis of FPGA and GPU Performance for Machine Learning-Based Track Reconstruction at LHCb
LIP6, LPNHE Sorbonne Université CNRS, IN2P3 Paris, France(LIP6、LPNHE 索邦大学 CNRS、IN2P3 巴黎);Massachusetts Institute of Technology(麻省理工学院);Sorbonne Université CNRS, IN2P3 Paris, France(索邦大学 CNRS、IN2P3 巴黎)
本文比较了LHCb实验一级触发器中径迹重建流水线首步多层感知机在FPGA(使用HLS4ML)与GPU上的推断吞吐量,证明FPGA具备高吞吐、低延迟且低功耗的潜力。
2025-04-30 cs.DC cs.LG hep-ex
The OoO VLIW JIT Compiler for GPU Inference
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
硬件加速设备上的机器学习~(ML)推理的当前趋势(例如,GPU、TPU)的利用率低得惊人。由于ML推理越来越受到紧延迟SLO的时间限制,因此增加数据并行不是一种选择。对更高效率的需求促使GPU多路复用。此外,现有的GPU编程抽象迫使程序员以早期绑定、上下文无关的方式微观管理GPU资源。我们提出了一个VLIW启发的无序(OOO)即时(JIT)编译器,合并和重新排序执行内核在运行时的吞吐量最佳的设备利用率,同时满足延迟SLO。我们量化了仅空间和仅时间复用替代方案的效率低下,并通过空间合并展示了可实现的7.7倍机会差距。
2019-01-31 cs.DC cs.LG