无损KV缓存压缩至2%
Lossless KV Cache Compression to 2%
AI总结：
本文提出跨层潜在注意力（CLLA）架构，通过注意力头/维度缩减、层共享和量化技术将KV缓存压缩至原始大小2%以下，并在大多数任务上实现无损性能。
摘要：
大型语言模型已在众多领域革新了数据处理方式，其处理长上下文推理的能力获得了显著认可。为加速推理，维护键值（KV）缓存内存至关重要。然而，对KV缓存内存日益增长的需求给高效实现带来了重大障碍。本工作提出了一种新颖的架构——跨层潜在注意力（Cross-Layer Latent Attention，CLLA），旨在将KV缓存压缩至其原始大小的2%以下，同时保持可比的性能水平。CLLA将KV缓存压缩的多个方面整合到一个统一的框架中，包括注意力头/维度缩减、层共享和量化技术。我们的大量实验表明，CLLA在大多数任务上实现了无损性能，同时仅使用极少的KV缓存，标志着实用KV缓存压缩方面的一项重大进展。
英文摘要：
Large language models have revolutionized data processing in numerous domains, with their ability to handle extended context reasoning receiving notable recognition. To speed up inference, maintaining a key-value (KV) cache memory is essential. Nonetheless, the growing demands for KV cache memory create significant hurdles for efficient implementation. This work introduces a novel architecture, Cross-Layer Latent Attention (CLLA), aimed at compressing the KV cache to less than 2% of its original size while maintaining comparable performance levels. CLLA integrates multiple aspects of KV cache compression, including attention head/dimension reduction, layer sharing, and quantization techniques, into a cohesive framework. Our extensive experiments demonstrate that CLLA achieves lossless performance on most tasks while utilizing minimal KV cache, marking a significant advancement in practical KV cache compression.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
