发表机构
Huawei Technologies Ltd.; ETH Zurich（华为技术有限公司; 苏黎世联邦理工学院）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对KV缓存重用技术评估不准确的问题，提出无歧义测量精度损失的方法及工具Boxoffice，生成挑战性重用模式的数据集，以改进评估。
AI 中文摘要
位置无关的KV缓存重用旨在通过跨提示重用块级KV缓存来降低检索增强生成的延迟。我们表明，当前对KV缓存重用技术的评估依赖于无法忠实捕捉重用导致的准确性损失的测量方法，往往人为地夸大了报告的有效性。我们还表明，现有数据集不具备彻底评估此类技术所需的重用动态。为解决这些问题，我们提出了一种评估方法，能够无歧义地测量这种准确性损失，并引入了Boxoffice，一个以编程方式生成评估数据集的工具，该数据集能够锻炼具有挑战性的KV缓存重用模式。
英文摘要
Position-independent KV cache reuse aims to reduce latency in retrieval-augmented generation by reusing chunk-level KV caches across prompts. We show that current evaluations of KV cache reuse techniques rely on measurements that fail to faithfully capture the loss of accuracy attributable to reuse, often artificially inflating the reported effectiveness. We also show that existing datasets do not exhibit the reuse dynamics needed to thoroughly evaluate such techniques. To address these issues, we propose an evaluation methodology that measures this accuracy loss without ambiguity and we introduce Boxoffice, a tool that programmatically generates evaluation datasets that exercise challenging KV cache reuse patterns.
