发表机构
KTH Royal Institute of Technology; Nordita; Stockholm University; International Computer Science Institute; Lawrence Berkeley National Laboratory（瑞典皇家理工学院; 北欧理论物理研究所; 斯德哥尔摩大学; 国际计算机科学研究所; 劳伦斯伯克利国家实验室）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
AREX是一种无训练采样器，通过利用目标均值和协方差分解采样动力学，仅积分残差项，在少步采样中提升流匹配模型的样本保真度。
AI 中文摘要
我们提出了AREX，一种用于预训练流匹配模型的无训练采样器，它利用目标均值和协方差来捕捉采样动力学中可解析处理的部分。我们证明了矩匹配高斯目标的速度场是边际速度场的$L^2$最优仿射近似。这一发现促使我们将学习到的动力学分解为两部分：一个由前两个目标矩确定的、在整个采样路径上的仿射分量，以及一个神经残差项。AREX保留仿射分量，并使用显式的矩阵值传播器对其进行积分。相应地，我们只需对残差项进行积分。这与标量指数积分器不同，后者仅能解析处理各向同性的线性动力学。在图像生成和文本到图像生成任务中，AREX在少步采样场景下持续提升了样本保真度，且无需重新训练底层模型。
英文摘要
We introduce AREX, a training-free sampler for pretrained flow matching models that uses the target mean and covariance to capture an analytically tractable part of the sampling dynamics. We show that the velocity field of the moment-matched Gaussian target is the $L^2$-optimal affine approximation to the marginal velocity field. This motivates decomposition of the learned dynamics into an affine component over the whole sampling path, determined by the first two target moments, and a neural residual term. AREX keeps the affine component and integrates it using an explicit matrix-valued propagator. In turn, we only require to integrate over the residual term. This differs from scalar exponential integrators, which analytically handle only isotropic linear dynamics. Across image and text-to-image generation tasks, AREX consistently improves sample fidelity in the few-step sampling regime without retraining the underlying model.
Comments53 pages
