Ergodicity of the underdamped mean-field Langevin dynamics
Université Paris-Saclay（巴黎萨克雷大学）；Université Paris-Dauphine, PSL（巴黎多芬大学，PSL大学）；The Chinese University of Hong Kong（香港中文大学）；Vienna University of Technology（维也纳工业大学）
Anna Kazeykina, Zhenjie Ren, Xiaolu Tan, Junjian Yang
We study the long time behavior of an underdamped mean-field Langevin (MFL) equation, and provide a general convergence as well as an exponential convergence rate result under different conditions. The results on the MFL equation can be applied to study the convergence of the Hamiltonian gradient descent algorithm for the overparametrized optimization. We then provide a numerical example of the algorithm to train a generative adversarial networks (GAN).
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne（克莱蒙奥弗涅大学）；University of Macau（澳门大学）；UM Zhuhai Research Institute（澳门大学珠海研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing International Center for Mathematical Research (BICMR), Peking University（北京大学北京国际数学研究中心）
Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Management Science and Information Systems, Rutgers Business School（罗格斯大学商学院管理科学与信息系统系）
带动量的随机梯度下降（SGDm）是深度学习中最流行的优化算法之一。虽然有丰富的SGDm理论用于凸问题，但该理论在深度学习的背景下发展得相当少，其中问题是非凸的，并且梯度噪声可能表现出重尾行为，正如最近的研究所观察到的那样。在这项研究中，我们考虑了一个\emph{continuous-time}变形的SGDm，称为欠阻尼朗之万动力学（ULD），并研究其渐近性质下的重尾扰动。支持最近的研究从统计物理，我们认为在理论上和经验上，这种扰动的重尾可以导致偏见，即使当步长很小，在这个意义上说，\emph{the optima of stationary distribution}的动态可能不匹配\emph{the optima of the cost function to be optimized}。作为补救措施，我们开发了一个新的框架，我们将其命名为\emph{fractional} ULD（FULD），并证明FULD针对所谓的吉布斯分布，其最优值与原始成本的最优值完全匹配。我们观察到，FULD的欧拉离散化与\emph{natural gradient}方法和\emph{gradient clipping}具有值得注意的算法相似性，为理解它们在深度学习中的作用带来了新的视角。我们支持我们的理论与合成模型和神经网络上进行的实验。
Exponential ergodicity of mirror-Langevin diffusions
Massachusetts Institute of Technology（麻省理工学院）
受病态对数凹分布的采样问题的启发，我们给出了Zhang et al.（2020）中介绍的镜像朗之万扩散的干净的非渐近收敛分析。作为这个框架的一个特殊情况下，我们提出了一类称为牛顿-朗之万扩散，并证明了他们收敛到平稳指数快速的速度，不仅是无量纲的，而且也没有依赖于目标分布。我们给出了一个应用程序的这一结果的问题，从均匀分布的凸体上使用的策略启发的邻域点方法的采样。我们的一般方法遵循最近的趋势，链接采样和优化，并突出了卡方分歧的作用。特别是，它产生了新的结果的收敛香草Langevin扩散Wasserstein距离。
Dimension-free convergence rates for gradient Langevin dynamics in RKHS
CREST, ENSAE, IP Paris（巴黎理工学院国立统计与经济管理学院经济与统计研究中心）；The University of Tokyo（东京大学）；INRIA, Université Paris-Saclay（巴黎萨克雷大学法国国家信息与自动化研究所）；Riken AIP（理化学研究所先进智能项目中心）
Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
Department of Mathematics, University of California, Los Angeles, CA 90095, USA（加州大学洛杉矶分校数学系）；Courant Institute, New York University, NY 10012, USA（纽约大学Courant研究所）
Implicit Langevin Algorithms for Sampling From Log-concave Densities
UC Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
A uniform-in-time weakly convergent explicit numerical method for the underdamped Langevin equation with polynomial potentials
School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；Hubei Key Laboratory of Engineering Modeling and Scientific Computing, Huazhong University of Science and Technology（华中科技大学工程建模与科学计算湖北省重点实验室）
Exponential Contraction for Underdamped Langevin Diffusions with Superlinear Forces
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）；School of Mathematics and Statistics, Northeast Normal University（东北师范大学数学与统计学院）；School of Mathematical Sciences, Tiangong University（天津工业大学数学科学学院）
Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms
FinTech Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）金融科技方向）；School of Mathematical Science, Fudan University（复旦大学数学学院）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）
