扩散大语言模型中用于格式约束生成的动态填充锚点
Dynamic Infilling Anchors for Format-Constrained Generation in Diffusion Large Language Models
AI总结：
提出动态填充锚点（DIA），一种无需训练的方法，通过动态估计结束锚点位置调整生成长度，确保格式约束下的结构正确性和语义连贯性，在GSM8K和MATH上实现零样本性能提升。
摘要：
扩散大语言模型（dLLMs）提供双向注意力和并行生成，使其能够利用全局上下文并自然支持格式约束任务，如可解析的JSON或推理模板。虽然直接的固定锚点可以强制执行此类约束，但它们通常强加刚性跨度，导致推理截断或内容冗余。为了克服这一点，我们提出了动态填充锚点（DIA），一种无需训练的方法，在迭代填充之前动态估计结束锚点位置以调整生成长度。这种灵活机制确保了结构正确性和语义连贯性，避免了固定跨度方法的低效。在推理基准上的实验表明，DIA显著提高了格式合规性和答案准确性，在GSM8K和MATH上实现了显著的零样本增益。这些结果确立了DIA作为通往可靠、结构感知生成的一条稳健路径。
英文摘要：
Diffusion large language models (dLLMs) offer bidirectional attention and parallel generation, enabling them to exploit global context and naturally support format-constrained tasks like parseable JSON or reasoning templates. While straightforward fixed anchors can enforce such constraints, they often impose rigid spans, leading to truncated reasoning or redundant content. To overcome this, we propose Dynamic Infilling Anchors (DIA), a training-free method that dynamically estimates end-anchor positions to adjust generation length before iterative infilling. This flexible mechanism ensures structural correctness and semantic coherence, avoiding the inefficiencies of fixed-span methods. Experiments on reasoning benchmarks demonstrate that DIA substantially improves format compliance and answer accuracy, achieving significant zero-shot gains on GSM8K and MATH. These results establish DIA as a robust pathway toward reliable, structure-aware generation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
