Unveiling the Secret of AdaLN-Zero in Diffusion Transformer
揭示扩散Transformer中AdaLN-Zero的秘密
机构 * Peking University(北京大学) ; UC Berkeley(加州大学伯克利分校) ; Baidu(百度)
AI总结 本研究探究扩散Transformer(DiT)中AdaLN-Zero性能优于AdaLN的原因,发现零初始化是关键要素,提出AdaLN-Gaussian初始化策略与SE-adaLN-Zero机制,经多数据集实验验证其有效性与泛化性。
Comments Accept by IEEE TPAMI 2026, camera-ready version