arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2302.05737cs.CLcs.LG
收藏

一种用于文本生成的重新参数化离散扩散模型

A Reparameterized Discrete Diffusion Model for Text Generation

The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Google DeepMind(谷歌DeepMind)

Lin Zheng, Jianbo Yuan, Lei Yu, Lingpeng Kong

AI总结:

本文提出重新参数化离散扩散模型,通过等价采样公式提升文本生成的训练与解码效果,并在实验中显著优于现有扩散模型。

摘要:

本工作研究离散扩散概率模型及其在自然语言生成中的应用。我们推导了离散扩散过程采样的一种替代但等价的公式,并利用这一见解开发了一族重新参数化的离散扩散模型。所推导的通用框架高度灵活,为离散扩散模型中的生成过程提供了全新视角,并具有更有效的训练和解码技术。我们进行了大量实验来评估该模型的文本生成能力,结果表明其相比现有扩散模型取得了显著改进。

英文摘要:

This work studies discrete diffusion probabilistic models with applications to natural language generation. We derive an alternative yet equivalent formulation of the sampling from discrete diffusion processes and leverage this insight to develop a family of reparameterized discrete diffusion models. The derived generic framework is highly flexible, offers a fresh perspective of the generation process in discrete diffusion models, and features more effective training and decoding techniques. We conduct extensive experiments to evaluate the text generation capability of our model, demonstrating significant improvements over existing diffusion models.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑