本文提出Constrained Ensemble Langevin Monte Carlo算法，通过约束方式使用集成近似替代梯度计算，在保持类似经典LMC稳定性的同时大幅降低数值成本。
摘要：
经典的Langevin Monte Carlo（LMC）方法通过沿目标分布的梯度下降样本来寻找目标分布的样本。该方法具有快速收敛率。然而，由于每次迭代都需要计算梯度，其数值成本有时较高。消除梯度计算的一种方法是采用“集成”概念。大量粒子被一起演化，使得相邻粒子能相互提供梯度信息。在本文中，我们讨论了将集成特性集成到LMC中的两种算法及其相关性质。具体而言，我们发现如果直接使用集成近似替代梯度，该算法被称为Ensemble Langevin Monte Carlo，由于存在高方差项而不稳定。如果仅以约束方式用集成近似替换梯度，以防止出现不稳定点，该算法被称为Constrained Ensemble Langevin Monte Carlo，它除了一个集成误差外类似于经典LMC，但去除了大部分梯度计算。
英文摘要：
The classical Langevin Monte Carlo method looks for samples from a target distribution by descending the samples along the gradient of the target distribution. The method enjoys a fast convergence rate. However, the numerical cost is sometimes high because each iteration requires the computation of a gradient. One approach to eliminate the gradient computation is to employ the concept of ``ensemble." A large number of particles are evolved together so the neighboring particles provide gradient information to each other. In this article, we discuss two algorithms that integrate the ensemble feature into LMC and the associated properties.
In particular, we find that if one directly surrogates the gradient using the ensemble approximation, the algorithm, termed Ensemble Langevin Monte Carlo, is unstable due to a high variance term. If the gradients are replaced by the ensemble approximations only in a constrained manner, to protect from the unstable points, the algorithm, termed Constrained Ensemble Langevin Monte Carlo, resembles the classical LMC up to an ensemble error but removes most of the gradient computation.
When Langevin Monte Carlo Meets Randomization: New Sampling Algorithms with Non-asymptotic Error Bounds beyond Log-Concavity and Gradient Lipschitzness
School of Mathematics and Statistics, HNP-LAMA, Central South University（数学与统计学院，HNP-LAMA，中南大学）
Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent
在本文中，我们重新审视最近建立的理论保证的Langevin Monte Carlo算法的采样从光滑和（强）对数凹密度的收敛性。我们改进了现有的结果时，收敛测量Wasserstein距离，并提供进一步的见解非常紧密的关系，一方面，朗之万蒙特卡罗采样，另一方面，梯度下降优化。最后，我们还建立了一个版本的朗之万蒙特卡罗算法，是基于噪声的梯度评估的收敛性保证。
Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
Department of Mathematics, University of California, Los Angeles, CA 90095, USA（加州大学洛杉矶分校数学系）；Courant Institute, New York University, NY 10012, USA（纽约大学Courant研究所）
Discussion of "Riemann manifold Langevin and Hamiltonian Monte Carlo methods'' by M. Girolami and B. Calderhead
本技术报告是对B. R. M.朗之万和哈密顿蒙特卡罗方法的讨论的两篇文章的结合。Calderhead和M. Girolami于2010年10月13日在皇家统计学会面前发表，并将出现在皇家统计学会B系列杂志上。第一个评论建立了一个平行的和可能的相互作用与自适应蒙特卡罗方法。第二个评论暴露了一个详细的研究黎曼流形哈密顿蒙特卡罗（RMHMC）的弱可识别的模型提出了一个强脊在其几何形状。
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
随机梯度马尔可夫链蒙特卡罗算法是一种常用的近似推理抽样方法，但它们通常存在偏差。我们发现，这些方法的许多最新版本（例如Chen et al.（2014））无法使用Metropolis-Hastings拒绝抽样进行校正，因为它们的接受概率始终为零。我们可以通过使用具有可实现的向后轨迹的采样器来解决这个问题，例如服从引导蒙特卡罗（Horowitz，1991），它概括了随机梯度朗之万动力学（Welling和Teh，2011）和哈密顿蒙特卡罗。我们表明，这个采样器可以使用随机梯度，产生非零的接受概率，甚至可以跨多个步骤计算。
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University（清华大学）
基于随机性的Monte Carlo抽样算法，如Langevin动力学和Hamilton Monte Carlo，是贝叶斯推理的重要方法。在大规模环境中，全梯度是负担不起的，因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差，Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学，并获得了理论和实验上的改进。在本文中，我们将方差缩减技巧应用于哈密顿蒙特卡罗，并取得了更好的理论收敛结果相比，方差缩减的朗之万动力学。此外，我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中，进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示，在真实世界数据集上的贝叶斯回归和分类任务中，方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
Propagation of Chaos for Mean-Field Langevin Dynamics and its Application to Model Ensemble
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Kyushu Institute of Technology（九州理工学院）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进人工智能项目中心）
Sqrt(d) Dimension Dependence of Langevin Monte Carlo
Georgia Institute of Technology（佐治亚理工学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文考虑了流行的MCMC方法的未调整的朗之万蒙特卡罗（LMC），并提供了一个非渐近分析的抽样误差在2-Wasserstein距离。该证明基于Li et al.（2019）中的均方分析的改进，并且这种改进的框架自动分析了基于收缩性SDEs离散化的一大类采样算法。在此框架下，我们建立了LMC的$\tilde{O}(\sqrt{d}/ε)$混合时间界，在无热启动的情况下，在常用的对数光滑和对数强凸条件下，加上目标测度势的三阶导数的增长条件.该界限改进了先前已知的最佳$\tilde{O}(d/ε)$结果，并且对于满足上述假设的目标测量，在维度$d$和精度容限$ε$方面都是最优的（就阶而言）。数值实验进一步验证了我们的理论分析。
Variational Langevin Hamiltonian Monte Carlo for Distant Multi-modal Sampling
East China Normal University（华东师范大学）
Hamilton Monte Carlo（HMC）采样算法利用Hamilton动力学构造高效的Markov Chain Monte Carlo（MCMC），在机器学习和统计学中越来越受欢迎。由于HMC使用目标分布的梯度信息，它可以比随机行走建议更有效地探索状态空间。然而，涉及多模态分布的概率推理是非常困难的标准HMC方法，特别是当模式彼此远离。采样算法通常不能穿越低概率的地方。在本文中，我们提出了一种新的MCMC算法，旨在有效地从多峰分布采样。该方法改进了哈密顿动力学，以减少样本的自相关性，并使用变分分布来探索相空间，并找到新的模式。给出了一个形式化的证明，证明了该方法能够收敛到目标分布。合成和真实的数据集被用来评估其属性和性能。实验结果验证了理论的正确性，并显示出优越的性能，在多模态采样。
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）；Beijing Institute of Technology（北京理工大学）；Florida State University（佛罗里达州立大学）
Langevin Monte-Carlo Provably Learns Depth Two Neural Nets at Any Size and Data
Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；Department of Mathematics, Indian Institute of Technology, Bombay（印度理工学院孟买分校数学系）
Stochastic Langevin Monte Carlo for (weakly) log-concave posterior distributions
ISAE-SUPAERO, Université de Toulouse（图卢兹大学ISAE-高等航空与空间学院）；Toulouse School of Economics (CNRS UMR 5314), Université Toulouse I Capitole（图卢兹第一大学图卢兹经济学院（法国国家科学研究中心 UMR 5314））；Institut Universitaire de France（法国大学研究院）
在本文中，我们研究了一个连续时间版本的随机Langevin蒙特卡罗方法，在[WT 11]中介绍，其中包括一个随机采样步骤内的传统过阻尼Langevin扩散。该方法是机器学习中常用的后验分布采样方法。在我们的工作中，我们将特别关注$n$（产生后验分布的观测数）和$d$（感兴趣的参数存在的环境空间的维数）方面的计算成本。我们推导出我们的分析弱凸框架，这是参数化的帮助下的Kurdyka-Eschojasiewicz（KL）不等式，允许处理消失的曲率设置，这是远远没有那么严格相比，简单的强凸的情况下。我们建立的模拟，以获得一个$\varepsilon$近似（在熵方面）的最后地平线是顺序$( d \log(n)^2 )^{(1+r)^2} [\log^2(\varepsilon^{-1}) + n^2 d^{2(1+r)} \log^{4(1+r)}(n) ]$与泊松亚采样参数$\left(n ( d \log^2(n))^{1+r}\right)^{-1}$，其中参数$r$涉及KL不等式和$0$（强凸的情况下）和$1$（限制拉普拉斯情况）之间变化。
