Gumbel Distillation for Parallel Text Generation
Gumbel Distillation用于并行文本生成
机构 * Department of Computer Science(计算机科学系)
AI总结 本文提出Gumbel Distillation技术,通过Gumbel-Max技巧使并行解码器有效学习token序列的联合分布,提升生成质量,在LM1B和OpenWebText数据集上取得显著改进。
Comments ICLR 2026
期刊&会议
International Conference on Learning Representations · 会议 · Machine Learning
Gumbel Distillation用于并行文本生成
机构 * Department of Computer Science(计算机科学系)
AI总结 本文提出Gumbel Distillation技术,通过Gumbel-Max技巧使并行解码器有效学习token序列的联合分布,提升生成质量,在LM1B和OpenWebText数据集上取得显著改进。
Comments ICLR 2026
SESaMo:用于归一化流的对称强制随机调制
AI总结 研究聚焦深度生成模型中从未归一化类玻尔兹曼分布采样的挑战。核心方法是引入SESaMo,通过随机调制将对称性等归纳偏差纳入归一化流。主要贡献是增强生成模型灵活性,能学习多种对称性,并在多场景下进行了数值实验验证。
Comments 29 pages, 14 figures
Journal ref ICLR 2026