论文导读
麻省理工学院、康奈尔大学提出Titan-Llama，冻结已有Llama骨干，只训练约占总参数1%的外部模块，把远处上下文存进可更新的神经记忆。在Llama-3.2-1B实验中，它把QuALITY长文问答准确率从分段注意力基线的23.87%提高到40.51%，为改造现有模型提供了实际路径。
近处逐字看，远处另做一份记忆
长对话越积越多，模型保存的历史键值缓存也会变大。把上下文切成短窗口，能减少一部分负担，却可能丢掉前文信息。Titan-Llama试图在两者之间找一个接口：最近的文字保留精细注意力，更早的内容交给固定大小的记忆模块。
它没有重新预训练一套语言模型。研究在Llama-3.2-1B-Instruct的前四层加入记忆并改成分块注意力，其余层继续保留完整注意力。因此，“记忆固定大小”说的是新增模块，不能写成整台模型所有缓存都不再随上下文增长。
图：历史窗口通过神经记忆提供信息，与近期窗口注意力输出经门控混合。
读到新文本块后，系统用该块中的键值关系更新记忆；后面的问题再从记忆读取历史信息，与当前窗口的注意力输出混合。它记住的是经学习压缩后的关联，不是把全部旧文字原样存在外部笔记。
冻结骨干，让外部模块学会补历史
训练时，原模型权重保持不动，新增模块通过下一Token预测学习如何提供有用的历史信息。约1%的参数比例对应这部分外部训练权重，并不意味着整个系统只需原模型百分之一的内存。
推理过程中，记忆还会随新块到来更新参数，使用重建键值对应关系的自监督信号。这一步不要求用户提供答案标签。它与让模型读一份人工摘要不同：读取和更新都发生在内部数值表示中。
论文明确指出，重建键值关系并不保证完全复现历史注意力。记忆容量与保存细节存在取舍，所以需要用长文问答、信息检索与速度测试分别检验，不能只凭架构图宣称“无损压缩上下文”。
问答补回不少，精确回忆仍看任务
在QuALITY上，准确率从分段注意力的23.87%提高到40.51%；LongHealth从14.50%到40.75%。两组数字的直接对照都是缺少该记忆机制的分段注意力，不能写成相对完整原版Llama取得同样幅度的全面提升。
RULER进一步测试了长文中找单条信息、多组关联和多个值等能力。结果并不整齐：有些单条检索保持很好，多值回忆仍弱于完整注意力，长度超过训练范围时也会下降。压缩历史是否够用，取决于任务需要保留哪种细节。
图：分块大小对应的长文问答、RULER平均准确率与预填充延迟变化。
推理基准报告，在所测配置下预填充快20%以上，中等上下文解码快37%，稳态解码显存低24%。这些效率来自具体改造层数、文本长度与实现，不能直接推算到所有参数规模的模型。论文另用损失与解码延迟曲线展示长上下文下的变化。
图：不同上下文长度下，相对完整注意力的语言建模损失和单Token解码延迟。
这项工作最直接的结果，是证明已有注意力模型可以在骨干不动的条件下接入神经记忆，并用少量外部训练参数恢复一部分被窗口切断的能力。模型改造的收益，需要同时对照记忆准确性与更新开销来判断。
参考资料
https://arxiv.org/abs/2610.19210
