arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Huazhong University of Science and Technology(华中科技大学)

2026-08-24 至 2026-08-24 共收录 1
2608.21236 2026-08-24 cs.CL 新提交

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

RARE:在混合专家(MoE)语言模型中解耦表示调控与专家路由

Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

机构 * Huazhong University of Science and Technology(华中科技大学) AIDX TECH PTE. LTD.(AIDX科技私人有限公司) National University of Singapore(新加坡国立大学)

AI总结 针对表示工程直接应用于MoE模型的结构不匹配问题,提出与路由无关的RARE框架,通过投影扰动到路由矩阵零空间并修正路由漂移,在三类调控任务中实现了更优的有效性-效用权衡。

Comments 20 pages, 3 figures. Paper accepted to the Actionable Interpretability Workshop at COLM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏