AI 中文总结
从随机控制角度为扩散模型提出广义微调框架，引入一般运行成本，通过正倒向随机微分方程刻画值函数，建立存在唯一性，最优控制有非线性反馈形式，还引入梯度相关惩罚，提供统一微调框架。
AI 中文摘要
我们从随机控制的角度为扩散模型提出了一个广义微调框架。除了熵正则化公式外，我们引入了一个一般的运行成本，它会引发相对广义路径成本，包括Kullback-Leibler散度和最优传输度量作为特殊情况。这导致了一个完全非线性的Hamilton-Jacobi-Bellman方程。我们通过正倒向随机微分方程系统来刻画值函数，并在标准正则条件下建立存在性和唯一性。最优控制允许由倒向随机微分方程梯度分量驱动的非线性反馈形式。最后，我们表明广义微调自然地引入了一个额外的梯度相关惩罚，为一般分布约束下的扩散微调提供了一个统一框架。
英文摘要
We propose a generalized fine-tuning framework for diffusion models from the perspective of stochastic control. Beyond entropy-regularized formulations, we introduce a general running cost that induces a relative generalized path cost, encompassing both Kullback-Leibler divergence and optimal transport metrics as special cases. This leads to a fully nonlinear Hamilton-Jacobi-Bellman equation. We characterize the value function through a forward-backward stochastic differential equation system and establish existence and uniqueness under standard regularity conditions. The optimal control admits a nonlinear feedback form driven by the backward stochastic differential equation gradient component. Finally, we show that generalized fine-tuning naturally introduces an additional gradient-dependent penalty, providing a unified framework for diffusion fine-tuning under general distributional constraints.
