OpenAI

Latent Denoising Makes Good Tokenizers

潜在去噪使分词器更有效

Jiawei Yang, Tianhong Li, Lijie Fan, Yonglong Tian, Yue Wang

机构 * USC（美国南加州大学） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Google DeepMind（谷歌DeepMind） ； OpenAI 纠错

AI总结 本文提出通过潜在去噪目标优化分词器，提升生成模型的生成质量。

Comments Code is available at: https://github.com/Jiawei-Yang/DeTok