发表机构
Google DeepMind Amsterdam（谷歌深度思维阿姆斯特丹）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
提出Gumbel Straight Flow（GSF），利用自回归模型的噪声-数据耦合构建连续流映射，通过流映射半群目标实现高质量少步采样，在多项基准上超越现有少步语言生成方法。
AI 中文摘要
我们提出了Gumbel Straight Flow（GSF），一种连续流映射语言模型，它利用了预训练自回归语言（AR）模型的噪声-数据耦合。我们从理论上证明，由自回归模型诱导的Gumbel噪声与one-hot token序列之间的耦合产生了连接噪声与序列表示的非相交线性路径。为了进一步增强高质量少步路径采样，我们使用流映射半群目标，其中切线（速度）条件直接由AR教师引导。在各种基准测试中，包括预训练和下游任务，GSF可以超越当前的少步语言生成基线。
英文摘要
We present Gumbel Straight Flow (GSF), a continuous flow map language model that leverages the noise-data coupling of a pretrained autoregressive language (AR) model. We theoretically demonstrate that the coupling between Gumbel noise and one-hot token sequences induced by an autoregressive model yields non-intersecting linear paths connecting the noise to the sequence representations. To further enhance high-quality few-step path sampling, we use a flow map semigroup objective where the tangent (velocity) condition is guided directly by the AR teacher. Across various benchmarks, including pretraining and downstream tasks, GSF can outperform current few-step language generation baselines.
