多带宽分布匹配蒸馏：分布匹配蒸馏与漂移模型的等价性
Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
- Baidu Inc.（百度公司）
- Central South University（中南大学）
- University College London（伦敦大学学院）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
该研究证明漂移模型与分布匹配蒸馏（DMD）等价，并据此提出改进方法多带宽分布匹配蒸馏（MBDMD），为单步生成模型的优化提供新视角。
AI中文摘要：
研究人员一直在探索有效的单步生成模型，近期漂移模型（Drifting Models，Deng等人，2026）在单步生成中展现出巨大潜力。已有研究揭示了扩散与流风格生成模型（Diffusion & Flow Style Generative Models，DFSGMs）（Ho等人，2020；Song等人，2020a、b；Lipman等人，2022；Liu等人，2022）与漂移模型（Li & Zhu，2026；Lai等人，2026；Turan等人，2026）之间的联系，但据我们所知，尽管漂移模型与广泛使用的蒸馏方法——分布匹配蒸馏（Distribution Matching Distillation，DMD/DMD2）（Yin等人，2024b、a）的优化目标公式几乎完全相同，却尚未有人建立漂移模型与该蒸馏方法之间的精确对应关系。本文中，我们证明通过将预训练DFSGMs的速度场/噪声场转换为漂移模型中的吸引力场，并从生成分布中估计排斥力场，训练漂移模型自然等价于分布匹配蒸馏。基于这一等价概念，我们从漂移模型的视角提出了一种改进的DMD方法——多带宽分布匹配蒸馏（Multi-Bandwidth Distribution Matching Distillation，MBDMD）。
英文摘要：
Researchers are exploring effective one-step generative model continuously, and, Drifting Models (Deng et al., 2026), demonstrate great potential in one-step generation recently. There are works that reveal the connection between Diffusion & Flow Style Generative Models (DFSGMs) (Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022) and Drifting Models (Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026). But no one has yet established a precise correspondence between the Drifting Model and the widely used distillation method- Distribution Matching Distillation (DMD/DMD2) (Yin et al., 2024b;a) to the best of our knowledge, even though their optimization objective formulas are virtually identical. In this paper, we prove that by converting the velocity-field / noise-field from the pre-trained DFSGMs into the attraction force field in Drifting Models and estimating the repulsion force field from the generative distribution, training the Drifting Model is naturally equivalent to the Distribution Matching Distillation. With this equivalent concept, we propose an improved method based on DMD from the Drifting Model's perspective- Multi-Bandwidth Distribution Matching Distillation (MBDMD).
