位置并非事实：KV缓存与记忆之间的错配
Positions Are Not Facts: The Mismatch Between KV Caches and Memory
浏览论文内容
中文总结 AI 辅助
本研究探讨了语言模型更新KV缓存中事实时需保留的内容，发现仅替换值会丢失历史信息，保留单位、依赖和未修改段落可减少损失，并指出识别问题需独立处理。
中文摘要 AI 辅助
当一个事实发生变化时，语言模型应如何更新存储在其键值（KV）缓存中的历史记录？隐藏旧记录成本低廉，但它可能仍包含所需细节或能回答关于过去的问题。我们比较了隐藏完整记录、仅隐藏被替换的值，以及删除旧文本并重新计算缓存这三种方法。在一个受控的数量任务中，掩蔽使得全部八个模型都更倾向于新值，但其中六个模型因单位错误或未能停止而丢失了完整答案；保留单位则能保留所有当前答案。后续状态也保留了早期记录中的有用信息：在多跳更新中，在未改变的位置重建这些状态会使历史准确率下降20至41个百分点，而移动现有状态则影响甚微。保留对象依赖关系和未修改的修订段落可防止许多损失。识别是一个单独的挑战。在合成的记录对上，学习到的读出器能够区分固定缓存相似性所遗漏的差异。在自然文本上，在14个同模型检测器-生成器比较中，文本检测器选择的掩蔽与相同比例的随机掩蔽相比没有明显优势。查询相关的访问可以避免一些损失，但会带来额外的存储或访问成本。这些发现确定了在使用KV缓存作为可更新记忆时，除了被替换的值之外，还必须保留哪些内容。
英文摘要
When a fact changes, how should a language model update the history stored in its key-value (KV) cache? Hiding the old record is cheap, but it may still contain needed details or answer questions about the past. We compare hiding whole records, hiding only replaced values, and deleting old text and recomputing the cache. In a controlled quantity task, masking makes all eight models prefer the new value more strongly, yet six lose complete answers through unit errors or failure to stop; keeping the unit preserves all current answers. Later states also retain useful information from earlier records: on multi-hop updates, rebuilding these states at unchanged positions lowers historical accuracy by 20-41 percentage points, whereas moving the existing states has little effect. Keeping object dependencies and unchanged revision passages prevents many losses. Recognition is a separate challenge. Learned readouts recover distinctions missed by fixed cache similarities on synthetic record pairs. On natural text, text-detector-selected masks show no clear advantage over random masks at the same rate in 14 same-model detector-generator comparisons. Query-dependent access can avoid some losses, with additional storage or access costs. These findings identify what must be preserved beyond the replaced value when using a KV cache as updatable memory.
发表机构
- Fudan University（复旦大学）
- Baidu（百度）
- Zhejiang University（浙江大学）
- Yale University（耶鲁大学）
- Hong Kong Polytechnic University（香港理工大学）
机构由 AI 辅助整理，请以论文原文为准。
