Patches of Nonlinearity: Instruction Vectors in Large Language Models
非线性补丁:大型语言模型中的指令向量
机构 * Ubiquitous Knowledge Processing Lab (UKP Lab)(通用知识处理实验室) ; Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(计算机科学系,达姆施塔特技术大学和应用网络安全国家研究中心ATHENE,德国)
专题命中 指令微调 :language model(title,abstract);large language model(title);SFT(abstract,abstract_cn);post-training(abstract)
AI总结 通过因果中介分析发现指令表示在模型中高度局部化,称为指令向量(IVs),并揭示其线性可分性与非线性因果交互并存,提出一种免于线性假设的新方法定位信息处理,发现IVs作为电路选择器。
Comments Accepted at ACL 2026