Meituan（美团）

Causal Autoregressive Diffusion Language Model

因果自回归扩散语言模型

Junhao Ruan, Bei Li, Yongjing Yin, Pengcheng Huang, Xin Chen, Jingang Wang, Xunliang Cai, Tong Xiao, JingBo Zhu

机构 * Meituan Inc.（美团公司） ； School of Computer Science（计算机科学学院） ； Engineering, Northeastern University, Shenyang, China（工程学院，东北大学，沈阳，中国） ； NiuTrans Research, Shenyang, China（NiuTrans研究，沈阳，中国） 纠错

AI总结 本文提出CARD，一种结合自回归模型训练效率和扩散模型推理效率的新型语言模型，通过因果掩码和动态并行解码实现高效生成与高数据效率。