arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2505.23652math.NAcs.LGcs.NA
收藏

无优化扩散模型——一种微扰理论方法

Optimization-Free Diffusion Model -- A Perturbation Theory Approach

Yuehaw Khoo, Mathias Oster, Yifan Peng

AI总结:

本研究针对传统扩散模型依赖优化与前向SDE的问题,提出将得分估计转化为后向Kolmogorov算子特征基下的线性系统求解的无优化扩散模型,经微扰理论误差分析与实验验证了有效性。

摘要:

扩散模型已成为生成建模领域的强大框架,通常依赖优化神经网络通过前向SDE(随机微分方程)模拟来估计得分函数。本研究提出了一种既无需优化也无需前向SDE的替代方法。通过将得分函数在与扩散过程相关的后向Kolmogorov算子的一组稀疏特征基中展开,我们将得分估计重新表述为线性系统的求解,避免了迭代优化和依赖时间的样本生成。我们利用微扰理论分析了近似误差,并在高维Boltzmann分布和真实数据集上验证了方法的有效性。

英文摘要:

Diffusion models have emerged as a powerful framework in generative modeling, typically relying on optimizing neural networks to estimate the score function via forward SDE simulations. In this work, we propose an alternative method that is both optimization-free and forward SDE-free. By expanding the score function in a sparse set of eigenbasis of the backward Kolmogorov operator associated with the diffusion process, we reformulate score estimation as the solution to a linear system, avoiding iterative optimization and time-dependent sample generation. We analyze the approximation error using perturbation theory and demonstrate the effectiveness of our method on high-dimensional Boltzmann distributions and real-world datasets.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑