Analysis of kinetic Langevin Monte Carlo under the stochastic exponential Euler discretization from underdamped all the way to overdamped
University of Pennsylvania(宾夕法尼亚大学);Centre Borelli, ENS Paris-Saclay(巴黎萨克雷高等师范学校博尔利中心);Prescient Design, Genentech(罗氏基因泰克公司先锋设计部门);CMAP, CNRS, École Polytechnique(法国国家科学研究中心综合理工学院数学与应用数学中心)
本文研究了基于随机指数欧拉离散化的动能朗之万蒙特卡洛方法,分析了在不同参数选择下算法的稳定性与收敛性,得出了在过阻尼情况下算法仍能稳定运行的结论。
2026-07-21 cs.NA math.NA math.PR
Wasserstein Gradient Flows for Scalable and Regularized Barycenter Computation
Sigma Nova Paris(Sigma Nova巴黎)
本文提出基于Wasserstein梯度流的可扩展且正则化的barycenter计算方法,通过小批量最优传输和任务感知正则化实现高效的监督信息整合,提升跨领域适应性能。
2026-07-27 cs.AI cs.LG stat.ML
Stochastic Zeroth-order Discretizations of Langevin Diffusions for Bayesian Inference
朗之万扩散的离散化为抽样和贝叶斯推理提供了一种强有力的方法。然而,这样的离散化需要评估的势函数的梯度。在几个现实世界的场景中,获得梯度评估可能是计算昂贵的,或者根本不可能。在这项工作中,我们提出并分析了随机零阶采样算法离散过阻尼和欠阻尼朗之万扩散。我们的方法是基于估计的梯度,高斯斯坦的身份,广泛用于随机最优化文献的基础上。我们提供了一个全面的样本复杂性分析-数量嘈杂的功能评估,以获得一个$ε$ -近似样本Wasserstein距离-随机零阶离散的过阻尼和欠阻尼Langevin扩散,在各种噪声模型。我们还提出了一个基于零阶梯度估计的变量选择技术,并建立其理论保证。我们的理论贡献扩展了采样算法的实际适用性的噪声黑箱和高维设置。
2021-01-17 math.OC math.ST stat.ML
Convergence Analysis for General Probability Flow ODEs of Diffusion Models in Wasserstein Distances
本文首次在精确分数估计和对数凹分布假设下,利用同步耦合分析技术,证明了一般概率流ODE采样器在2-Wasserstein距离下的非渐近收敛性及迭代复杂度。
2025-02-15 cs.LG math.PR stat.ML
Iterated Schrödinger bridge approximation to Wasserstein Gradient Flows
本文提出通过迭代计算相同边缘分布的Schrödinger桥来离散逼近Wasserstein梯度流,证明其收敛性,并为transformer自注意力趋近热流提供严格概率框架。
2024-06-16 math.PR stat.ML
Discretization and Statistical Consistency of Functional Flow Matching
Georgia Institute of Technology(佐治亚理工学院)
该研究针对函数流匹配的离散化问题,证明了有限秩重构下的强L²收敛性,推导了Wasserstein界与超额风险项,给出了端到端收敛速率的显式结果。
2026-10-26 cs.LG math.PR stat.ML
Dimension-free error estimate for diffusion model and optimal scheduling
Google DeepMind(谷歌DeepMind);Université Paris Saclay(巴黎萨克雷大学);Université Evry - Paris Saclay(埃夫里-巴黎萨克雷大学);Chinese University of Hong Kong(香港中文大学)
本文提出了一种无维误差界,用于评估扩散模型生成与真实数据分布的差异,并通过变分问题推导出最优时间调度策略以减少离散化误差。
2025-12-01 cs.LG math.PR math.ST
Time-independent Generalization Bounds for SGLD in Non-convex Settings
University of Oxford(牛津大学)
我们建立了泛化误差界的随机梯度朗之万动力学(SGLD)的耗散性和光滑性的假设下,具有恒定的学习率,已受到越来越多的关注,在采样/优化文献的设置。与非凸设置中SGLD的现有界限不同,我们的是时间无关的,并且随着样本量的增加而衰减到零。使用一致稳定的框架,我们建立时间无关的界限,利用Wasserstein收缩性质的朗之万扩散,这也使我们能够规避需要绑定梯度使用Lipschitz假设。我们的分析还支持SGLD的变体,这些变体使用不同的离散化方法,结合欧几里得投影或使用非各向同性噪声。
2021-11-25 cs.LG math.OC math.PR
Fine-Tuning Generative Models for Extreme Events via CVaR-Penalized Wasserstein Gradient Flows
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
该研究提出CVaR-GPA算法,通过CVaR惩罚的Wasserstein梯度流微调生成模型,无需先验尾部知识,在多类重尾分布及真实数据集上显著提升了生成模型的全局与尾部精度。
2026-10-05 cs.LG stat.ML
Lipschitz regularity in Flow Matching and Diffusion Models: sharp sampling rates and functional inequalities
CREST, ENSAE, IP Paris(法国国家统计与经济研究所、国立应用科学学院、巴黎理工学院)
本文研究了流匹配向量场和扩散模型分数的Lipschitz正则性,推导出最优时间与维度依赖的采样速率,并应用得到欧拉型采样器的Wasserstein离散化界及概率测度的Poincaré和log-Sobolev不等式。
2026-04-07 math.PR math.ST stat.ML
Implicit Bias of the JKO Scheme
本文研究了JKO方案在二次阶上的隐含偏置,揭示了其在不同能量泛函中的表现,如熵、KL散度和Riemannian梯度下降,通过数值实验展示了其在Wasserstein梯度流中的应用。
2026-03-03 cs.AI cs.LG math.AP
Regularized Stein Variational Gradient Flow
Georgia Institute of Technology(佐治亚理工学院);University of California, Davis(加州大学戴维斯分校);Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
针对 SVGD 梯度流仅能常数阶近似 KL 散度 Wasserstein 梯度流的问题,提出可在二者间插值的正则化 Stein 变分梯度流,并证明其收敛性、弱解唯一性与稳定性。
2024-05-09 cs.LG cs.NA math.AP
Score Accuracy Along the Forward Diffusion Does Not Certify Numerical Stability in Diffusion Sampling
研究正向扩散得分准确性与数值稳定性关系,构造特殊得分场及去噪器族揭示小正向边缘误差不能保证稳定性,对紧支集数据有肯定结果,实验展示数值轨迹增长及投影抑制效果。
2026-07-10 cs.LG cs.NA math.NA
Conditional Loss and Deep Euler Scheme for Time Series Generation
Université Gustave Eiffel(古斯塔夫·埃菲尔大学);EDF Lab(法国电力实验室);FiME (Laboratoire de Finance des Marchés de l’Énergie)(能源市场金融实验室)
我们介绍了三个新的生成模型的时间序列的基础上欧拉离散化的随机微分方程(SDES)和Wasserstein度量。其中两种方法依赖于生成对抗网络(GANs)对时间序列的适应。第三种算法称为条件欧拉生成器(CEGEN),其最小化所有时间步长上的转移概率分布之间的专用距离。在伊藤过程的背景下,我们提供了理论保证,最小化这一标准意味着漂移和波动参数的准确估计。我们的经验表明,CEGEN优于国家的最先进的和GAN发电机的边际和时间动态指标。此外,它还能在高维空间中识别出准确的相关结构。当数据点很少时,我们验证了CEGEN的有效性,结合迁移学习方法进行蒙特卡罗模拟。最后,我们说明了我们的方法在各种现实世界的数据集上的鲁棒性。
2021-10-06 cs.LG math.PR stat.AP