Batch-Max：通过更大批量和KV缓存压缩实现更高的大语言模型吞吐量
Batch-Max: Higher LLM Throughput using Larger Batch Sizes and KV Cache Compression
AI总结：
本文提出Batch-Max方法，在输入处理阶段压缩KV缓存以支持更大批量，从而在GPU内存受限且输入长于输出的场景下显著提升大语言模型吞吐量并保持精度。
摘要：
已有若干工作提出了驱逐策略，从KV缓存中移除键值（KV）对，以实现更高效的推理。这些工作的重点一直是在输入提示处理完成后压缩KV缓存，以加快令牌生成。在GPU内存受限且输入上下文长度大于生成长度的场景中，我们证明：通过在输入处理阶段同时压缩KV缓存，可以使用更大的批量大小，从而在保持原始模型准确性的同时，显著提高吞吐量。
英文摘要：
Several works have developed eviction policies to remove key-value (KV) pairs from the KV cache for more efficient inference. The focus has been on compressing the KV cache after the input prompt has been processed for faster token generation. In settings with limited GPU memory, and when the input context is longer than the generation length, we show that by also compressing the KV cache during the input processing phase, larger batch sizes can be used resulting in significantly higher throughput while still maintaining the original model's accuracy.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
