SiameseNorm: Breaking the Barrier to Reconciling Pre/Post-Norm
SiameseNorm: 突破预规范与后规范之间的障碍
机构 * Leap Lab, Tsinghua University(清华大学 Leap 实验室) ; Qwen Large Model Application Team, Alibaba(阿里巴巴 Qwen 大模型应用团队) ; Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息学研究院)
专题命中 其他LLM :language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出SiameseNorm,一种双流架构,通过共享残差块将预规范和后规范结合,从而在保持训练稳定性的同时提升模型性能,适用于多种架构和模态。
Comments Accepted to ICML 2026; camera-ready version; revised presentation and added additional experimental results