arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2403.01876cs.DC
收藏

DéjàVu:面向快速、容错生成式 LLM 服务的 KV-cache 流式传输

DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving

Foteini Strati, Sara Mcallister, Amar Phanishayee, Jakub Tarnawski, Ana Klimovic

AI总结:

针对分布式 LLM 服务中的流水线气泡、GPU 显存浪费和故障恢复慢问题,提出 DéjàVu 系统,基于 DéjàVuLib 实现 prompt-token 分离、微批次交换与状态复制。

摘要:

分布式 LLM 服务成本高昂,并且常因三项关键挑战而未能充分利用硬件加速器:由 prompt 与 token 处理的双峰延迟导致的流水线并行部署中的气泡、GPU 显存过度配置,以及故障发生时漫长的恢复时间。本文提出 DéjàVu,这是一个利用通用且高效的 KV cache 流式传输库(DéjàVuLib)来应对所有这些挑战的系统。借助 DéjàVuLib,我们提出并实现了用于减少流水线气泡的高效 prompt-token 分离、用于高效 GPU 显存管理的微批次交换,以及用于容错的状态复制。我们在跨云部署的一系列大型模型上展示了这些解决方案的有效性。

英文摘要:

Distributed LLM serving is costly and often underutilizes hardware accelerators due to three key challenges: bubbles in pipeline-parallel deployments caused by the bimodal latency of prompt and token processing, GPU memory overprovisioning, and long recovery times in case of failures. In this paper, we propose DéjàVu, a system to address all these challenges using a versatile and efficient KV cache streaming library (DéjàVuLib). Using DéjàVuLib, we propose and implement efficient prompt-token disaggregation to reduce pipeline bubbles, microbatch swapping for efficient GPU memory management, and state replication for fault-tolerance. We highlight the efficacy of these solutions on a range of large models across cloud deployments.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑