LLM中的逻辑子空间
Logical subspace in LLMs
浏览论文内容
中文总结 AI 辅助
本研究提出最小可行子空间（MVS）方法，在LLM中定位支持逻辑推理的低秩子空间，并证明其与其他认知能力分离，揭示类似人脑的逻辑核心机制。
中文摘要 AI 辅助
近期研究已识别出人脑中专门负责抽象形式推理的神经网络（Kean等，2025）。语言模型中是否也存在类似机制？为回答此问题，我们引入了最小可行子空间（MVS）方法，该方法在某一层中搜索最低秩的激活子空间，当该子空间之外的所有内容被消融时，仍能保持任务性能。利用MVS，我们在Gemma和Qwen模型中证明了支持逻辑推理的低秩子空间的存在。此外，这些子空间与其他任务上的模型能力表现出明显的分离，保留这些后期逻辑子空间可保持推理能力，但会损害事实知识、工作记忆、认知控制和算术能力。相反，消融这些子空间会将逻辑推理准确率降至随机水平，而很大程度上不影响其他能力。我们的结果表明，存在一个功能上可定位的逻辑核心机制，类似于人脑中的机制。
英文摘要
Recent work has identified a human brain network specialized for abstract formal reasoning (Kean et al., 2025). Does the same hold true in language models? To answer this question, we introduce the minimal viable subspace (MVS) method, which searches for the lowest-rank activation subspace at a layer that preserves task performance when everything outside that subspace is ablated. Using MVS, we demonstrate low-rank subspaces supporting logical inference on Gemma and Qwen models. Furthermore, these subspaces exhibit a clear dissociation from model capacities on other tasks, such that retaining these late logic subspaces preserves inference while impairing factual knowledge, working memory, cognitive control, and arithmetic. Conversely, ablating them reduces logical inference accuracy to chance while largely sparing these other capacities. Our results suggest a functionally localizable core machinery for logic akin to that in the human brain.
