带推理的召回：面向 Mamba 长上下文记忆与外推的思维链蒸馏
Recall with Reasoning: Chain-of-Thought Distillation for Mamba's Long-Context Memory and Extrapolation
AI总结：
本文提出 RwR 方法，通过从教师模型蒸馏思维链摘要并在微调时前置为提示，解锁 Mamba 的长上下文记忆与外推能力，在保持短上下文性能和无需改架构的情况下超越 Transformer/混合基线。
摘要：
Mamba 理论上的无限上下文潜力在实践中受到限制，当序列远超训练长度时尤为明显。本工作探索通过一种简单而有效的方法——带推理的召回（Recall with Reasoning，RwR），从教师模型中蒸馏思维链（CoT）摘要，以解锁 Mamba 的长上下文记忆能力。具体而言，RwR 在微调过程中将这些摘要作为 CoT 提示前置，教导 Mamba 主动召回并推理长上下文。在 LONGMEMEVAL 和 HELMET 上的实验表明，在相似的预训练条件下，与可比的 Transformer/混合基线相比，RwR 提升了 Mamba 的长上下文性能，同时保持短上下文能力，且无需任何架构改动。
英文摘要：
Mamba's theoretical infinite-context potential is limited in practice when sequences far exceed training lengths. This work explores unlocking Mamba's long-context memory ability by a simple-yet-effective method, Recall with Reasoning (RwR), by distilling chain-of-thought (CoT) summarization from a teacher model. Specifically, RwR prepends these summarization as CoT prompts during fine-tuning, teaching Mamba to actively recall and reason over long contexts. Experiments on LONGMEMEVAL and HELMET show RwR boosts Mamba's long-context performance against comparable Transformer/hybrid baselines under similar pretraining conditions, while preserving short-context capabilities, all without architectural changes.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
