VDLM: 通过鲁棒的潜在到文本渲染实现变量扩散语言模型
VDLM: Variable Diffusion LMs via Robust Latent-to-Text Rendering
AI总结:
VDLM通过分离语义规划与文本渲染,利用嵌入空间后训练和鲁棒解码技术,在扩散语言模型中实现更高效的多步推理和长形式生成。
摘要:
自回归语言模型通过左到右的方式解码,具有不可逆的承诺,限制了在多步推理中的修改。我们提出了VDLM,一种模块化的变量扩散语言模型,将语义规划与文本渲染分离。VDLM在语义变量嵌入上应用LLaDA风格的掩码扩散,以在潜在空间中实现迭代细化,然后使用嵌入空间奖励和值进行轨迹感知优化对规划器进行后训练,避免在RL循环中进行文本解码。为了将计划的嵌入转换回文本,我们使用Vec2Text渲染器,并引入嵌入扰动以在规划器噪声下增强解码的鲁棒性。在九个涵盖一般推理、数学和代码的基准测试中,VDLM在预训练中具有竞争力,并在长形式生成任务上产生显著的后训练改进,优于其他基线。这些结果突显了嵌入空间后训练和鲁棒的潜在到文本渲染在扩散语言模型中的有效性。
英文摘要:
Autoregressive language models decode left-to-right with irreversible commitments, limiting revision during multi-step reasoning. We propose \textbf{VDLM}, a modular variable diffusion language model that separates semantic planning from text rendering. VDLM applies LLaDA-style masked diffusion over semantic variable embeddings to enable iterative refinement in latent space, then post-trains the planner with trajectory-aware optimization using embedding-space rewards and values, avoiding text decoding inside the RL loop. To convert planned embeddings back to text, we use a \textbf{Vec2Text} renderer and introduce \textbf{embedding perturbations} to robustify decoding under planner noise. Across nine benchmarks spanning general reasoning, math, and code, VDLM is competitive in pre-training and yields substantial post-training improvements on long-form generation tasks, outperforming other baselines. These results highlight the effectiveness of embedding-space post-training and robust latent-to-text rendering for diffusion language modeling.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。