Distributed Sparse Interventions in Language Models
语言模型中的分布式稀疏干预
机构 * Max Planck School of Cognition(马克斯·普朗克认知学院) ; Center for Lifespan Psychology, Max Planck Institute for Human Development(马克斯·普朗克人类发展研究所寿命心理学中心) ; Machine Learning Group, Technische Universität Berlin(柏林工业大学机器学习小组) ; Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所)
专题命中 其他LLM :language model(title,abstract);分类 cs.LG
AI总结 研究语言模型组件在任务行为中的因果影响,提出分布式稀疏干预(DSI)方法,考虑跨层神经元非线性和相互作用,识别稀疏神经元集。实验表明DSI可通过少量神经元激活任务行为,实现细粒度控制,加深对任务构成的理解。
Comments 29 pages, 12 figures