Simple Denoising Diffusion Language Models
简单去噪扩散语言模型
机构 * Penn State University(宾夕法尼亚州立大学) ; University at Buffalo(布法罗大学) ; University of Washington(华盛顿大学) ; The University of Hong Kong(香港大学) ; City University of Hong Kong(城市大学) ; Alibaba Group(阿里巴巴集团) ; Allen Institute for AI (AI2)(人工智能研究所(AI2))
AI总结 本文提出了一种简化且改进的去噪损失公式,用于均匀状态扩散模型,以提高训练稳定性与效率,并在大规模模型上展示了良好的扩展性。