记忆 inception：用于引导 LLMs 的潜在空间 KV 缓存操作
Memory Inception: Latent-Space KV Cache Manipulation for Steering LLMs
AI总结：
本文提出 memory inception 方法，通过在选定层插入文本衍生的键值对（KV）银行，在潜在注意力空间中引导 LLMs，实现更高效的控制与更少的存储消耗。
摘要：
引导大型语言模型（LLMs）通常通过指令提示或激活引导实现。提示通常具有强控制，但会在每层缓存引导标记，可能导致长交互混乱；激活引导紧凑但通常较弱且不支持大型结构提醒。我们引入 memory inception（MI），一种无需训练的方法，通过在选定层插入文本衍生的键值（KV）银行，在潜在注意力空间中引导 LLMs。与在提示缓存中材料化提醒内容不同，MI 将引导视为选择性 KV 分配，仅在模型路由到它们的地方注入潜在槽位。在匹配的性格引导任务中，MI 提供最佳的整体控制-漂移权衡，与提示相比具有竞争力，同时在 CAA 上持续表现更优。在可更新的引导中，MI 支持对话中行为转变而无需重写可见的记录，实现 Qwen3 上最高的转变后对齐。在结构推理中，MI 在 HARDMath 和 PHYSICS（10/12 主题×模式单元）上优于可见提示，作为可验证领域结构推理的代理，同时将内容匹配的 KV 存储减少高达 118 倍。这些结果表明，当引导是持续、结构化或昂贵时，MI 是一种强大的引导方法。
英文摘要：
Steering large language models (LLMs) is usually done by either instruction prompting or activation steering. Prompting often gives strong control, but caches guidance tokens at every layer and can clutter long interactions; activation steering is compact but typically weaker and does not support large structured reminders. We introduce memory inception (MI), a training-free method that steers in latent attention space by inserting text-derived key-value (KV) banks only at selected layers. Rather than materializing reminder content throughout the prompt cache, MI treats steering as selective KV allocation, injecting latent slots only where the model routes to them. On matched personality-steering tasks, MI gives the best overall control--drift trade-off, remaining competitive with prompting while consistently outperforming CAA. On updateable guidance, MI supports mid-conversation behavior shifts without rewriting the visible transcript, achieving the highest post-shift alignment on Qwen3. On structured reasoning, MI outperforms visible prompting on HARDMath and PHYSICS (10/12 subject$\times$mode cells), serving as proxies for structured reasoning in verifiable domains, while cutting content-matched KV storage by up to 118$\times$. These results position MI as a powerful steering method when guidance is persistent, structured, or expensive to keep in the visible transcript.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
