Score-based Generative Models (SGMs) have achieved impressive performance in data generation across a wide range of applications and benefit from strong theoretical guarantees. Recently, methods inspired by statistical mechanics, in particular, Hamiltonian dynamics, have introduced Critically-damped Langevin Diffusions (CLDs), which define diffusion processes on extended spaces by coupling the data with auxiliary variables. These approaches, along with their associated score-matching and sampling procedures, have been shown to outperform standard diffusion-based samplers numerically. In this paper, we analyze a generalized dynamic that extends classical CLDs by introducing an additional hyperparameter controlling the noise applied to the data coordinate, thereby better exploiting the extended space. We further derive a novel upper bound on the sampling error of CLD-based generative models in the Wasserstein metric. This additional hyperparameter influences the smoothness of sample paths, and our discretization error analysis provides practical guidance for its tuning, leading to improved sampling performance.
Nonasymptotic estimates for Stochastic Gradient Langevin Dynamics under local conditions in nonconvex optimization
Nanyang Technological University（南洋理工大学）；Imperial College London（伦敦帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；The University of Warwick（华威大学）；The University of Edinburgh（爱丁堡大学）；National Technical University of Athens（雅典国立技术大学）
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent
在本文中，我们重新审视最近建立的理论保证的Langevin Monte Carlo算法的采样从光滑和（强）对数凹密度的收敛性。我们改进了现有的结果时，收敛测量Wasserstein距离，并提供进一步的见解非常紧密的关系，一方面，朗之万蒙特卡罗采样，另一方面，梯度下降优化。最后，我们还建立了一个版本的朗之万蒙特卡罗算法，是基于噪声的梯度评估的收敛性保证。
Exponential ergodicity of mirror-Langevin diffusions
Massachusetts Institute of Technology（麻省理工学院）
受病态对数凹分布的采样问题的启发，我们给出了Zhang et al.（2020）中介绍的镜像朗之万扩散的干净的非渐近收敛分析。作为这个框架的一个特殊情况下，我们提出了一类称为牛顿-朗之万扩散，并证明了他们收敛到平稳指数快速的速度，不仅是无量纲的，而且也没有依赖于目标分布。我们给出了一个应用程序的这一结果的问题，从均匀分布的凸体上使用的策略启发的邻域点方法的采样。我们的一般方法遵循最近的趋势，链接采样和优化，并突出了卡方分歧的作用。特别是，它产生了新的结果的收敛香草Langevin扩散Wasserstein距离。
Sqrt(d) Dimension Dependence of Langevin Monte Carlo
Georgia Institute of Technology（佐治亚理工学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文考虑了流行的MCMC方法的未调整的朗之万蒙特卡罗（LMC），并提供了一个非渐近分析的抽样误差在2-Wasserstein距离。该证明基于Li et al.（2019）中的均方分析的改进，并且这种改进的框架自动分析了基于收缩性SDEs离散化的一大类采样算法。在此框架下，我们建立了LMC的$\tilde{O}(\sqrt{d}/ε)$混合时间界，在无热启动的情况下，在常用的对数光滑和对数强凸条件下，加上目标测度势的三阶导数的增长条件.该界限改进了先前已知的最佳$\tilde{O}(d/ε)$结果，并且对于满足上述假设的目标测量，在维度$d$和精度容限$ε$方面都是最优的（就阶而言）。数值实验进一步验证了我们的理论分析。
