KunServe: Parameter-centric Memory Management for Efficient Memory Overloading Handling in LLM Serving
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学)
KunServe提出参数中心内存管理,通过选择性丢弃复制参数应对LLM服务内存过载,结合流水线并行,将尾部TTFT降低高达72.2倍。
2025-10-08 cs.AI cs.DC
Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning
UCLA(加州大学洛杉矶分校);UC Berkeley(伯克利加州大学);Harvard University(哈佛大学);CMU(卡内基梅隆大学);University of Edinburgh(爱丁堡大学);Intel(英特尔);Stanford University(斯坦福大学);LMSYS(灵州市系统实验室);ByteDance(字节跳动);Alibaba Cloud(阿里云);Tsinghua University(清华大学);Novita AI;Rice University(里士满大学)
针对多LLM服务中资源效率低下的问题,提出基于内存气球的内存中心化LLM协同服务框架Prism,统一空间与时间共享,已在10K+ GPU生产环境部署。
2026-06-12 cs.AI cs.DC cs.LG
LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
针对异构 GPU 集群上 LLM 服务成本高、现有方案仅适合同构设备的问题,本文提出 LLM-PQ,通过自适应混合精度量化、阶段感知划分和微批次设置,在满足质量目标下最高提升推理吞吐量 2.88 倍。
2024-03-02 cs.AI cs.DC cs.LG
S-LoRA: Serving Thousands of Concurrent LoRA Adapters
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
S-LoRA通过统一分页、张量并行和定制CUDA内核,在GPU上高效服务数千个LoRA适配器,吞吐量最高提升4倍,适配器数量提升数个数量级。
2024-06-05 cs.AI cs.DC cs.LG
Serving LLMs in HPC Clusters: A Comparative Study of Qualcomm Cloud AI 100 Ultra and NVIDIA Data Center GPUs
University of California, San Diego(加州大学圣地亚哥分校)
本研究在国家研究平台中对比高通Cloud AI 100 Ultra与英伟达A100 GPU的大语言模型推理表现,发现前者能效更优、硬件分配更细粒度,为能源受限的高性能计算大模型部署提供参考。
2025-10-28 cs.AI cs.DC
TokenPowerSandbox: Evidence-Gated CPU-First Screening for Energy-Aware LLM Serving
TokenPowerSandbox是面向能源感知LLM服务的证据门控CPU优先筛选工作流,结合CPU投影器、GPU探测等技术,在H100上评估Qwen2.5-7B-Instruct,验证了能源与延迟预测的关联及弃权门控的必要性。
2026-08-20 cs.AI cs.AR cs.DC
AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
Carnegie Mellon University(卡内基梅隆大学);Tongji University(同济大学);EPFL(苏黎世联邦理工学院);Amazon Web Services(亚马逊网络服务)
针对现有LLM服务系统难以同时满足异构SLO的问题,提出支持SLO定制化投机解码的AdaServe系统,通过硬件感知投机树构建、动态参数调整等实现低SLO违反率与高有效吞吐量。
2025-05-17 cs.AI cs.CL cs.DC
Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
Google Cloud(谷歌云)
本文首次端到端展示了在TPU硬件上微调和服务Google Gemma 4 31B模型,通过与GPU平台的实证比较,提供了代码级适配方案,并证明TPU在训练速度和成本上具有优势。
2026-06-05 cs.AI cs.DC
StreamServe: Adaptive Speculative Flows for Low-Latency Disaggregated LLM Serving
StreamServe通过结合计算通道的指标感知路由和自适应推测解码,平衡吞吐量和延迟,实现低延迟的大语言模型服务。
2026-02-11 cs.AI cs.DC
LeMix: Unified Scheduling for LLM Training and Inference on Multi-GPU Systems
University of California, Riverside(加州大学河滨分校)
针对LLM训练与推理分离部署导致的GPU低效利用问题,提出整合离线剖析、执行预测与运行时调度的LeMix系统,可动态适配资源分配,显著提升吞吐量、降低推理损失并提高SLO达标率。
2025-07-28 cs.AI cs.CL cs.DC
CoLLM: Continuous Adaptation for SLO-Aware LLM Serving on Shared GPU Clusters
Tianjin University(天津大学);King's College London(伦敦大学国王学院);Paiou Cloud Computing (Shanghai) Company, Ltd.(上海帕优云计算有限公司)
CoLLM通过统一联邦参数高效微调与推理,实现LLM服务在共享GPU集群中的连续适应,提升模型质量和效率,实验显示其在吞吐量上表现优异。
2026-05-15 cs.AI cs.DC cs.LG
Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
China Telecom Cloud Computing Research Institute(中国电信云计算研究院);Xidian University(西安电子科技大学);University of Science and Technology of China(中国科学技术大学)
AFlex框架通过全局调度器、局部DVFS控制器及交错A/F流水线,优化解耦A/F服务的资源配置与GPU频率,在满足SLO的同时将每token能耗降低最高49%
2026-08-04 cs.AI cs.DC
Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading
Stevens Institute of Technology(史蒂文斯理工学院);Rice University(Rice大学);University of Waterloo(多伦多大学);Rutgers University(罗格斯大学)
针对基于MoE的大语言模型服务中粗粒度专家卸载存在的延迟与内存权衡问题,提出细粒度专家卸载系统FineMoE,利用专家选择模式和输入语义指导卸载决策,显著降低推理延迟并提升专家命中率。
2025-10-04 cs.AI cs.DC cs.LG
Pin Once, Swap Light: Subspace-Aligned Centroid-Residual Training for Efficient Ultra-LoRA Serving
针对多租户LoRA服务中高秩适配器开销大、超低秩适配器性能差的困境,提出分层微调框架SALT,通过对齐领域质心与超低秩残差,兼顾性能与服务效率。
2026-08-05 cs.AI cs.LG
MoEless: Efficient MoE LLM Serving with Serverless Experts
Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校)
MoEless通过无服务器计算实现高效的MoE大语言模型服务,减少推理延迟和成本。
2026-10-01 cs.AI cs.DC cs.LG
MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
University of Michigan(密歇根大学)
针对资源约束下MoE LLM部署中GPU内存不足导致的CPU-GPU混合执行资源优化难题,提出MoE-Lens系统,通过整体性能建模识别硬件瓶颈并优化资源利用率,实现高吞吐量推理,性能平均提升4.6倍且预测准确率达94%。
2025-04-12 cs.AI cs.DC
A Data-driven ML Approach for Maximizing Performance in LLM-Adapter Serving
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(巴塞罗那技术大学);IBM Research(IBM研究院)
针对单GPU部署大量LLM-adapter时易出现的请求饥饿问题,提出结合可解释模型的数据驱动ML方法与首个服务系统数字孪生,可精准预测最优适配器配置以最大化GPU吞吐量。
2025-11-19 cs.AI cs.CL cs.PF
Hierarchical Autoscaling for Large Language Model Serving with Chiron
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
针对现有LLM服务自动扩缩容器未考虑请求SLO导致资源利用率低的问题,提出基于分层背压的Chiron自动扩缩容器,显著提升SLO达成率和GPU效率。
2025-01-14 cs.AI cs.DC
Revisiting Service Level Objectives and System Level Metrics in Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Alibaba Group(阿里巴巴集团)
针对现有大语言模型服务指标存在的反直觉问题,研究提出对齐用户体验的新型服务等级目标及整合两类指标的smooth goodput框架,可更全面评估系统并捕捉体验与性能的最优点。
2025-10-29 cs.AI cs.LG
Equinox: Holistic Fair Scheduling in Serving Large Language Models
Shanghai Jiao Tong University(上海交通大学);Cloud Computing Research Institute, China Telecom(云计算研究所,中国电信);Stevens Institute of Technology(史蒂文斯理工学院)
Equinox通过双计数器框架和预测专家混合(MoPE)实现大语言模型服务的整体公平调度,在提升吞吐量、降低延迟的同时保持高GPU利用率和公平性。
2025-08-19 cs.AI cs.DC
Towards Load-Aware Prefill Deflection for Disaggregated LLM Serving
Microsoft(微软)
针对分离式LLM服务中预填充节点过载而解码节点空闲的问题,提出一种主动预填充偏转调度器,通过将预填充作为分块步骤在解码节点上交错执行,消除节点间KV传输,显著降低P95 TTFT并提高SLO达标率。
2026-07-03 cs.AI cs.DC
Request-Level Energy Attribution for Batched LLM Serving
本研究提出JouleShare框架,通过计算Shapley能耗建立请求级基准,用JCalib校准模型提升批量LLM服务的请求级能耗归因精度,验证了token比例归因的偏差及JCalib的有效性。
2026-08-04 cs.AI cs.DC
SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs
KAIST(韩国科学技术院)
针对大规模部署LLM成本高、资源密集的问题,提出边缘辅助推理框架SpecEdge,通过推测解码拆分工作负载、主动边缘草稿生成与流水线感知调度,提升服务器吞吐量2.22倍、成本效率1.91倍,降低token间延迟11.24%。
2025-11-18 cs.AI cs.CL
HFX: Joint Design of Algorithms and Systems for Multi-SLO Serving and Fast Scaling
Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司);Simon Fraser University(西蒙弗雷泽大学);École de technologie supérieure(高等技术学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
HFX通过联合优化请求调度与弹性扩展,满足多样化的SLO,实验显示在延迟、成本等方面优于现有系统。
2026-04-23 cs.AI cs.DC
More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving
MIT(麻省理工学院);Vizuara(维祖拉公司)
该研究对比LLM服务中张量并行与KV压缩的成本性能,发现压缩在多数场景成本更低,仅当模型规模超80GB卡对应36B参数时需用张量并行,且压缩提升容量、张量并行降低延迟。
2026-08-26 cs.AI
Kalypso: Relational LLM Serving
UMass Amherst(马萨诸塞大学阿默斯特分校)
研究如何提升大语言模型服务语义查询效率,提出关系型大语言模型服务,通过跨语义运算符流水线执行复用KV缓存状态,卡利普索系统利用自适应算法执行查询计划,解决在线调度问题,相比基线系统大幅提高查询完成时间。
2026-08-17 cs.AI cs.CL cs.DB
KernelSight-LM: A Kernel-Level LLM Inference Simulator
Amazon Web Services(亚马逊网络服务);Boston University(波士顿大学)
提出KernelSight-LM,一种细粒度推理模拟器,通过分解服务步骤为屋顶线内核模型、通信模型和主机开销模型,并集成前缀缓存和连续批处理,实现跨GPU代际或少量目标数据下的精确延迟预测,支持硬件/软件协同设计。
2026-07-03 cs.AI cs.AR cs.PF
OrbitFlow: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration
Samsung Research(三星研究院)
OrbitFlow通过细粒度KV缓存管理,提高了长上下文LLM服务的SLO达成率和吞吐量,减少了延迟。
2026-03-02 cs.AI cs.LG cs.PF
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.(字节跳动公司);Northeastern University(东北大学);New York University(纽约大学)
多实例GPU(Multi-Instance GPU,简称GPU)是NVIDIA A100 GPU推出的一项新功能,可将一个物理GPU划分为多个GPU实例。借助GPU,A100可以成为服务于深度神经网络(DNN)的最具成本效益的GPU。然而,发现最有效的GPU分区是具有挑战性的。底层问题是NP难的,而且,它是一个新的抽象问题,我们定义为可重构机器调度问题(RMS)。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案,MIG服务。分布式服务是一个算法管道,融合了各种新设计的算法和定制的经典算法,包括启发式贪心算法,遗传算法(GA)和蒙特卡罗树搜索算法(MCTS)。我们在Kubernetes上实现了MIG服务。我们的实验表明,与使用A100相比,MIG服务可以节省高达40%的GPU,同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
TurboTransformers: An Efficient GPU Serving System For Transformer Models
Pattern Recognition Center, Wechat AI, Tencent Inc(腾讯微信AI模式识别中心)
Transformer是近年来自然语言处理领域最重要的算法创新。与递归神经网络(RNN)模型不同,Transformers可以并行处理序列长度的维度,因此在长序列上具有更好的准确性。然而,在配备GPU的数据中心中为在线服务高效部署它们并不容易。首先,由Transformer结构引入的更多计算使得满足服务的延迟和吞吐量约束更具挑战性。第二,NLP任务采用可变长度的句子。输入维数的可变性给有效的存储管理和服务优化带来了严重的问题。本文设计了一个Transformer服务系统TurboTransformers,该系统由计算运行时和服务框架两部分组成。三大创新特点使其在同类作品中脱颖而出。提出了一种有效的并行算法,用于基于GPU的批量约简操作,如Softmax和LayerNorm,除了BLAS例程之外的主要热点。针对变长输入的情况,设计了一种内存分配算法,该算法能够更好地平衡内存占用和分配/释放效率。一个服务框架配备了一个新的批处理调度器,使用动态规划实现可变长度的请求的最佳吞吐量。该系统可以实现最先进的Transformer模型,在GPU平台上提供性能,并且可以通过几行代码无缝集成到PyTorch代码中。
2021-02-20 cs.AI cs.DC cs.LG
Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving
Revati通过时间跳跃技术实现GPU-free的LLM服务性能仿真,比实际GPU执行快5-17倍,预测误差低于5%。
2026-01-01 cs.DC cs.LG
GreenLLM: Disaggregating Large Language Model Serving on Heterogeneous GPUs for Lower Carbon Emissions
本文提出GreenLLM框架,通过将LLM服务中的特定计算分解到较旧低性能GPU上,在满足延迟SLO的前提下最多降低40.6%碳排放。
2024-12-29 cs.AR cs.DC
WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
School of Computer Science, Peking University(北京大学计算机科学学院);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出WarmServe系统,通过基于工作负载预测的多GPU预热技术,减少LLM服务中的尾部时间到第一个令牌(TTFT)并提高请求吞吐量。
2026-05-21 cs.DC cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题,通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本,并提出基于混合整数线性规划的调度算法,在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
Hanyang University(汉阳大学)
提出ShuntServe系统,通过屋顶线模型估计性能和动态规划优化模型放置,在异构竞价型GPU集群上最大化吞吐量,结合输出保留迁移与共享张量存储实现容错,相比基线吞吐量提升1.42倍,成本效率提升31.9%以上。
2026-06-18 cs.DC
Punica: Multi-Tenant LoRA Serving
University of Washington(华盛顿大学);Duke University(杜克大学)
Punica 是一个多租户 LoRA 服务系统,通过新 CUDA 内核设计实现多 LoRA 模型 GPU 操作批处理,仅保留一份预训练模型副本,在共享 GPU 集群中实现 12 倍吞吐量提升且仅增加 2ms 延迟。
2023-10-28 cs.DC cs.LG
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University(浙江大学软件学院)
针对单GPU LLM服务中主机CPU共置干扰问题,提出测量驱动的诊断程序CoTail,通过核心路径尾部指数和核心尾部抑制指标,筛选风险、分析尾部、选择OS级保护并验证SLO,显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
FREESH: Fair, Resource- and Energy-Efficient Scheduling for LLM Serving on Heterogeneous GPUs
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Renmin University of China(中国人民大学);University of Washington(华盛顿大学);University of Alberta(阿尔伯塔大学)
FREESH针对异构GPU集群上LLM服务的碳与能耗优化问题,通过联合路由调度、动态频率缩放和LLF策略,在保证延迟与公平性的同时实现28.6%的节能和45.45%的减排。
2025-11-05 cs.DC
Mell: Memory-Efficient Large Language Model Serving via Multi-GPU KV Cache Management
针对大语言模型服务中KV缓存内存占用大、GPU负载不均的问题,本文提出MELL系统,通过自适应请求迁移机制和支持迁移的多GPU调度在线算法,实现内存高效服务,最多可减少31%GPU用量、提升43%GPU利用率。
2025-01-12 cs.DC
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
本文针对跨GPU架构的连续批处理LLM服务,实现轻量级调度策略,通过多GPU、多模型的1152组实验,发现老化最短prompt优先是多数场景的实用基线,相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
BOute: Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
BOute通过多目标贝叶斯优化实现高效LLM服务,优化路由和部署策略以提升成本效率。
2026-02-11 cs.DC
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
University of California, San Diego(加州大学圣迭戈分校);Columbia University(哥伦比亚大学);Yonsei University(延世大学);NVIDIA(NVIDIA公司);Samsung Semiconductor, Inc.(三星半导体公司)
AMMA是一种面向低延迟1M上下文注意力服务的多芯片片内存架构,通过提高内存带宽和优化并行计算方案,显著降低注意力延迟和能耗。
2026-11-02 cs.AI cs.AR cs.DC
TurboServe: Serving Streaming Video Generation Efficiently and Economically
Shanghai Jiao Tong University(上海交通大学);Shengshu Technology(神思科技);Tsinghua University(清华大学)
针对流式视频生成的会话时长和用户需求异构性,提出TurboServe系统,通过在线调度联合优化会话放置与GPU配置,采用迁移感知放置和负载驱动自动缩放,降低延迟和成本。
2026-06-18 cs.DC
Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving
Independent Researcher(独立研究者);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM服务中预填充与解码的冲突资源需求,提出GPU内主动式分解系统Nexus,动态分配资源并考虑带宽争用,显著提升吞吐量并降低延迟。
2025-08-07 cs.DC cs.LG
Efficient Vision-Language-Action Management and Serving for Robot Factories
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对机器人工厂中VLA模型推理的延迟关键性,提出Robion系统,通过GPU内流分离和智能调度,在边缘服务器上高效服务多机器人多模型,显著提升SLO达成率下的负载能力。
2026-09-14 cs.AR cs.DC cs.LG
Multi-model Machine Learning Inference Serving with GPU Spatial Partitioning
KAIST(韩国科学技术院)
随着机器学习技术被应用于越来越广泛的应用,高吞吐量的机器学习(ML)推理服务器对于在线服务应用已经变得至关重要。这种ML推理服务器提出了两个挑战:首先,它们必须为每个请求提供有限的延迟,以支持一致的服务级别目标(SLO),其次,它们可以在系统中服务于多个异构ML模型,因为某些任务涉及调用多个模型,并且合并多个模型可以提高系统利用率。针对ML推理服务器的这两个需求,提出了一种新的多模型ML推理服务器的ML推理调度框架。该论文首先表明,在SLO约束下,当前的GPU并未充分用于ML推理任务。为了最大限度地提高推理服务器的资源效率,本文提出的一个关键机制是利用硬件支持的GPU资源的空间划分。通过分区机制,创建了一个新的GPU资源抽象层,并使用可配置的GPU资源。调度器将请求分配给虚拟GPU,称为gpu-lets,具有最有效的资源量。本文还研究了当两个ML任务在GPU中并发运行时潜在干扰影响的补救措施。我们的原型实现证明,空间分区提高吞吐量的平均102.6%,同时满足SLO。
2021-09-01 cs.AI cs.DC
MoLink: Distributed and Efficient Serving Framework for Large Models
Zhejiang University(浙江大学)
MoLink是一个分布式服务框架,通过多项关键技术,在异构弱连接的消费级GPU上高效服务大型模型,实现高达458%的吞吐量提升和151%的成本利润率提升,并支持18种主流开源架构。
2025-10-16 cs.DC
HorizonServe: Coordinating Request Scheduling with GPU Sharing for Omni-Model Serving
The University of Sydney(悉尼大学)
HorizonServe是一款单GPU全模态模型服务系统,通过协调请求准入与GPU分配,提升了SLO达成率并降低了首响应延迟,解决了全模态模型统一部署的调度问题。
2026-08-04 cs.DC
Mélange: Cost Efficient Large Language Model Serving by Exploiting GPU Heterogeneity
UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学)
Mélange提出一个GPU分配框架,通过成本感知装箱优化异构GPU选择,根据服务特征自动推导最小成本分配,对话、文档和混合场景分别降低部署成本77%、33%和51%。
2024-07-22 cs.DC cs.LG
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley(伯克利大学);UCLA(洛杉矶大学);Rice University(里奇大学);UC Davis(戴维斯大学);Intel(英特尔公司)
针对LLM服务GPU利用率低的问题,提出ConServe协同服务系统,通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术,实现高吞吐量与在线延迟保障,性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference
Georgia Institute of Technology(佐治亚理工学院)
通过分析多GPU大语言模型推理负载,发现CPU资源不足导致GPU利用率低下,增加CPU核心数可显著提升性能并降低首令牌延迟。
2026-08-28 cs.AR cs.DC
Efficient MoE Serving in the Memory-Bound Regime: Balance Activated Experts, Not Tokens
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
METRO通过平衡每个GPU激活的专家数量而非token数量,在内存受限环境下实现高效MoE服务,减少解码延迟并提升吞吐量。
2025-12-10 cs.AR cs.DC