RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models
RARE:在混合专家(MoE)语言模型中解耦表示调控与专家路由
机构 * Huazhong University of Science and Technology(华中科技大学) ; AIDX TECH PTE. LTD.(AIDX科技私人有限公司) ; National University of Singapore(新加坡国立大学)
AI总结 针对表示工程直接应用于MoE模型的结构不匹配问题,提出与路由无关的RARE框架,通过投影扰动到路由矩阵零空间并修正路由漂移,在三类调控任务中实现了更优的有效性-效用权衡。
Comments 20 pages, 3 figures. Paper accepted to the Actionable Interpretability Workshop at COLM 2026