Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
超越单个令牌预测:扩散模型与自回归语言模型性能的对比分析
机构 * Seoul National University(首尔国立大学) ; University of California, Berkeley(加州大学伯克利分校) ; ICSI ; LBNL(劳伦斯伯克利国家实验室) ; University of Texas at Austin(德克萨斯大学奥斯汀分校)
专题命中 仓库级理解 :code generation(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文比较了扩散模型与自回归语言模型在性能上的差异,发现DLMs在算术强度上占优但难以扩展,而ARMs在批量推理中表现更优。
Comments 11 pages, 5 figures