arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2605.08392cs.LG
收藏

具有几何意识的扩散模型离散化误差

Geometry-Aware Discretization Error of Diffusion Models

Univ. Gustave Eiffel, CNRS, LIGM(法国埃菲尔大学、国家科学研究中心、LIGM实验室);Univ. Paris-Saclay, Inria, CEA(巴黎-萨克雷大学、法国国家信息与自动化技术研究院、法国原子能委员会);CNRS, ENS, PSL Université(国家科学研究中心、巴黎高等师范学院、巴黎-萨克雷大学)

Samuel Hurault, Thomas Moreau, Gabriel Peyré

AI总结:

本文研究了扩散模型中离散化误差的几何适应性,通过推导Euler-Maruyama方法的弱和Fréchet离散化误差的一阶渐进行为,揭示了数据几何结构与扩散参数的交互作用,为几何感知参数优化提供可操作的目标。

摘要:

实际的扩散采样是一个数值近似问题:在固定的推理预算下,必须使用有限的去噪步骤来模拟反向时间ODE或SDE,因此离散化误差通常是主要的误差来源。现有的非渐近分析提供了收敛保证,但通常过于宽松且对扩散参数不敏感,无法指导实际设计:广大家族的调度方案获得相同的速率,这些速率依赖于粗糙的最坏情况量,如维度或漂移Lipschitz常数。我们采取了更加谦虚但更具信息量的路线。在精确分数设定下,我们推导了Euler-Maruyama方法的弱和Fréchet离散化误差的一阶渐进行为。这些公式适用于一般的光滑反向扩散,并在高斯数据下完全显式。它们展示了离散化误差如何通过协方差谱适应数据的几何结构,以及这种几何结构如何与关键扩散参数相互作用,包括扩散调度和扩散项系数。这为几何感知参数优化提供了可操作的目标。最后,我们展示了高斯公式的定性预测在不同几何的扩散采样问题中保持稳健,包括不同数据集上的图像生成和图像后验采样。

英文摘要:

Practical diffusion sampling requires simulating a reverse-time ODE or SDE with a limited number of denoising steps, making the choice of sampling parameters crucial for minimizing discretization error. Non-asymptotic convergence bounds characterize sampling complexity, but their worst-case constants can obscure target geometry and thereby limit guidance on parameter optimization. Rather than bounding the error, we derive asymptotically exact small-stepsize expansions of Euler-Maruyama weak and Frechet errors for general smooth reverse diffusions, with explicit formulas for Gaussian data. These formulas provide tractable objectives for optimizing diffusion parameters, including the noise and rescaling schedules and the stochasticity coefficient, according to the target's covariance spectrum. In particular, our theory predicts lower optimal stochasticity at smaller step budgets, shows how to adapt the rescaling coefficient to the data power spectrum, and motivates a new family of effective noise schedules. A perturbative extension to Gaussian scale mixtures (GSMs) quantifies how departures from Gaussianity shift the optimal parameters. Finally, experiments on different real image datasets show that FID-optimal parameters agree with the qualitative theoretical predictions.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑