记忆 vs. 上下文？语言模型中事实回忆的影响因素
Memory vs. Context? Influential Factors of Factual Recall in Language Models
- IRIT（图卢兹计算机科学研究所）
- ANITI（图卢兹人工智能跨学科研究所）
- CNRS（法国国家科学研究中心）
- Université de Toulouse（图卢兹大学）
机构由 AI 辅助整理，请以论文原文为准。
中文总结 AI 辅助
本研究复现并扩展了Yu等人关于语言模型在记忆与上下文间仲裁的实验，发现规模与实体频率影响记忆偏好，但部分结论在更大模型和后训练变体上不泛化，且问题措辞可大幅改变依赖。
中文摘要 AI 辅助
我们复现并压力测试了Yu等人（2023）的工作，该工作描述了语言模型（LMs）如何在记忆知识与矛盾的上下文陈述之间进行仲裁。我们在涵盖Pythia、GPT-2、Qwen3和Ministral家族的31个模型上复制了他们的世界首都实验，包括基础模型和后训练变体，并将评估扩展到来自ParaConflict数据集的五种额外知识关系类型。我们实证确认了他们的大部分原始发现：较大的模型和较高频率的实体倾向于偏好记忆答案，且存在显著的家族级差异。然而，若干结论不能干净地泛化：实体频率效应在Qwen3-14B和32B上消失；后训练在不同家族间不一致地改变记忆-上下文权衡；仅问题措辞就能将模型对记忆知识的依赖改变多达80个百分点；且语义无关的散文可以模仿连贯的支持性上下文。我们的结果阐明了Yu等人的主张在何处成立及其在多大程度上泛化到其他提示。
英文摘要
We reproduce and stress-test the work of Yu et al. (2023), who characterize how language models (LMs) arbitrate between memorized knowledge and contradictory in-context statements. We replicate their world-capitals experiments on 31 models spanning Pythia, GPT-2, Qwen3, and Ministral families, including base and post-trained variants, and extend evaluations to five additional knowledge relation types from the ParaConflict dataset. We empirically confirm most of their original findings: larger models and higher-frequency entities tend to favor memorized answers, with substantial family-level variance. However, several conclusions do not generalize cleanly: entity-frequency effects disappear on Qwen3-14B and 32B; post-training shifts the memory-context trade-off inconsistently across families; question phrasing alone can change a model's reliance on memorized knowledge by up to 80 percentage points; and semantically unrelated prose can mimic coherent supporting context. Our results clarify where Yu et al.'s claims hold and to what extent they generalize to other prompts.
