扩散模型在分布偏移下的鲁棒性
Robustness of Diffusion Models under Distribution Shift
浏览论文内容
中文总结 AI 辅助
该研究针对分布偏移下基于分数的扩散模型，提出鲁棒分数估计可分解为统计代价与偏移代价，后者随Wasserstein半径二次增长且极小极大最优，并给出显式估计器与低维自适应结果。
中文摘要 AI 辅助
基于分数的扩散模型越来越多地被应用于底层数据分布可能与训练分布不同的场景，然而现有的理论保证主要集中于无偏移的情况。在本工作中，我们研究了在参考分布的Wasserstein扰动下的鲁棒分数估计。对于Ornstein--Uhlenbeck扩散，我们证明了鲁棒估计可分解为两个基本组成部分：学习参考分布的统计代价和分布偏移的内在代价。后者随Wasserstein半径二次增长，且这种依赖关系是极小极大最优的。我们构造了一个显式的有限样本估计器，在未知偏移半径的情况下达到了由此产生的鲁棒极小极大速率。当参考分布位于一个未知的低维子空间上时，统计项适应于内在维度，而偏移代价保持不变。最后，我们证明了相同的分解也适用于正时间反向采样，并在KL散度下获得了匹配的极小极大保证。综合起来，这些结果刻画了有限数据、内在维度和分布偏移如何影响基于分数的扩散模型的鲁棒性。
英文摘要
Score-based diffusion models are increasingly considered in settings where the underlying data distribution may differ from the training distribution, yet existing theoretical guarantees largely focus on the no-shift setting. In this work, we study robust score estimation under Wasserstein perturbations of a reference distribution. For the Ornstein--Uhlenbeck diffusion, we show that robust estimation decomposes into two fundamental components: the statistical cost of learning the reference distribution and the intrinsic cost of distribution shift. The latter scales quadratically with the Wasserstein radius, and this dependence is minimax optimal. We construct an explicit finite-sample estimator achieving the resulting robust minimax rate without knowing the shift radius. When the reference distribution lies on an unknown low-dimensional subspace, the statistical term adapts to the intrinsic dimension while the shift cost remains unchanged. Finally, we show that the same decomposition governs positive-time reverse sampling and obtain matching minimax guarantees in KL divergence. Together, these results characterize how finite data, intrinsic dimension, and distribution shift affect the robustness of score-based diffusion models.
发表机构
- Tsinghua University（清华大学）
- City University of Hong Kong（香港城市大学）
- Shenzhen MSU-BIT University（深圳北理莫斯科大学）
- Shandong University（山东大学）
机构由 AI 辅助整理，请以论文原文为准。
