The Underdamped Langevin Monte Carlo (ULMC) is a popular Markov chain Monte Carlo sampling method. It requires the computation of the full gradient of the log-density at each iteration, an expensive operation if the dimension of the problem is high. We propose a sampling method called Random Coordinate ULMC (RC-ULMC), which selects a single coordinate at each iteration to be updated and leaves the other coordinates untouched. We investigate the computational complexity of RC-ULMC and compare it with the classical ULMC for strongly log-concave probability distributions. We show that RC-ULMC is always cheaper than the classical ULMC, with a significant cost reduction when the problem is highly skewed and high dimensional. Our complexity bound for RC-ULMC is also tight in terms of dimension dependence.
Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
Department of Mathematics, University of California, Los Angeles, CA 90095, USA（加州大学洛杉矶分校数学系）；Courant Institute, New York University, NY 10012, USA（纽约大学Courant研究所）
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne（克莱蒙奥弗涅大学）；University of Macau（澳门大学）；UM Zhuhai Research Institute（澳门大学珠海研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing International Center for Mathematical Research (BICMR), Peking University（北京大学北京国际数学研究中心）
Ergodicity of the underdamped mean-field Langevin dynamics
Université Paris-Saclay（巴黎萨克雷大学）；Université Paris-Dauphine, PSL（巴黎多芬大学，PSL大学）；The Chinese University of Hong Kong（香港中文大学）；Vienna University of Technology（维也纳工业大学）
Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms
FinTech Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）金融科技方向）；School of Mathematical Science, Fudan University（复旦大学数学学院）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）
Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Management Science and Information Systems, Rutgers Business School（罗格斯大学商学院管理科学与信息系统系）
带动量的随机梯度下降（SGDm）是深度学习中最流行的优化算法之一。虽然有丰富的SGDm理论用于凸问题，但该理论在深度学习的背景下发展得相当少，其中问题是非凸的，并且梯度噪声可能表现出重尾行为，正如最近的研究所观察到的那样。在这项研究中，我们考虑了一个\emph{continuous-time}变形的SGDm，称为欠阻尼朗之万动力学（ULD），并研究其渐近性质下的重尾扰动。支持最近的研究从统计物理，我们认为在理论上和经验上，这种扰动的重尾可以导致偏见，即使当步长很小，在这个意义上说，\emph{the optima of stationary distribution}的动态可能不匹配\emph{the optima of the cost function to be optimized}。作为补救措施，我们开发了一个新的框架，我们将其命名为\emph{fractional} ULD（FULD），并证明FULD针对所谓的吉布斯分布，其最优值与原始成本的最优值完全匹配。我们观察到，FULD的欧拉离散化与\emph{natural gradient}方法和\emph{gradient clipping}具有值得注意的算法相似性，为理解它们在深度学习中的作用带来了新的视角。我们支持我们的理论与合成模型和神经网络上进行的实验。
Improved Analysis for Hessian-free High-resolution Monte Carlo Sampling
School of Mathematics and Statistics, Donghua University（东华大学数学与统计学院）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）
Hessian-Free High-Resolution Nesterov Acceleration for Sampling
Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
