CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization
CMuon:通过分块动量正交化加速并稳定扩散Transformer的训练
机构 * Peking University(北京大学) ; Westlake University(西湖大学) ; Zhejiang University(浙江大学)
AI总结 针对扩散Transformer训练计算成本高、普通Muon优化器存在后期收敛问题的瓶颈,提出CMuon策略,通过分块权重实现训练加速与收敛优化,在ImageNet 256上200个epoch达FID1.18,训练速度超AdamW2倍
Comments ECCV 2026