On Irreversible Metropolis Sampling Related to Langevin Dynamics
利用朗之万动力学的数值方法设计马尔可夫链蒙特卡罗算法已经引起了相当大的兴趣，朗之万动力学包括作为确定性情况的哈密顿动力学。一个突出的方法是哈密顿蒙特卡罗（HMC），其中采用了跳跃离散化的哈密尔顿动力学。我们研究了最近提出的一类不可逆采样算法，称为汉密尔顿辅助大都会采样（HAMS），它使用了增强的目标密度类似于在HMC，但涉及到一个灵活的建议方案和精心制定的接受拒绝计划，以实现广义可逆性。我们表明，作为步长趋于0，HAMS建议满足一类随机微分方程，包括朗之万动力学作为特殊情况。我们提供的理论结果HAMS下的单变量高斯设置，包括平稳方差，预期的接受率，和光谱半径。从这些结果中，我们得到默认的选择调谐参数的HAMS，这样，只有步长需要在应用程序中进行调整。各种相对较新的算法朗之万动力学也被证明属于类的HAMS建议可忽略不计的差异。我们对高维潜变量采样的数值实验证实，HAMS算法始终实现优越的性能，与几个大都市调整算法的基础上流行的积分朗之万动力学。
2021-06-06 cs.NA math.NA physics.comp-ph
Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我展示了如何在与统一的[0，1]值u的比较中表达Metropolis接受/拒绝决策，然后不可逆地更新u，作为马尔可夫链状态的一部分，而不是在每次迭代中独立地对其进行采样。这为高维中的随机游动Metropolis和Langevin更新提供了小的改进。当使用具有持续动量的朗之万更新时，它产生了更大的改进，其性能与具有长轨迹的哈密顿蒙特卡罗（HMC）相当。当某些变量通过其他方法更新时，这是重要的，因为如果使用HMC，这些更新只能在轨迹之间进行，而使用Langevin更新可以更频繁地进行。我证明了一些连续变量的问题，更新HMC或Langevin更新，也离散变量，更新之间的连续变量，Langevin与持久的动量和不可逆的更新U样本的吉布斯抽样更新几乎是一个因素的两个更有效地比HMC。对于其中超参数通过吉布斯抽样更新的贝叶斯神经网络模型也看到益处。
2020-01-31 cs.LG stat.CO
autoMALA: Locally adaptive Metropolis-adjusted Langevin algorithm
针对MALA在复杂目标分布下步长选择困难的问题，提出基于局部几何自适应调整步长的autoMALA算法，证明了其不变分布正确性，并在实验中展现出优于现有采样器的性能。
2024-02-16 stat.CO
Optimal Scaling Results for Moreau-Yosida Metropolis-adjusted Langevin Algorithms
本文研究了一类基于Moreau-Yosida包络、用邻近映射构建提议机制的MCMC方法的最优缩放问题，该方法适配可微与不可微目标、稳定性强，可替代MALA，研究还给出了实现指导。
2024-06-19 math.PR math.ST stat.CO
Efficiency and computability of MCMC with Langevin, Hamiltonian, and other matrix-splitting proposals
本文分析了采用AR（1）处理方案的Metropolis-Hastings算法的计算效率。这些建议包括，作为一个子类，离散朗之万扩散（例如MALA）和离散哈密顿动力学（例如HMC）。通过包括Metropolis-Hastings的影响，我们扩展了Fox和Parker的早期工作，他们使用矩阵分裂技术来分析AR（1）过程的性能并提高其效率。我们的研究使MCMC方法的分析，从非高斯目标分布的样本，通过使用AR（1）过程的建议，在大都会黑斯廷斯算法，通过分析的精度矩阵的矩阵分裂的局部高斯近似的非高斯目标。
2015-01-13 math.PR stat.CO
Decentralized Bayesian Learning with Metropolis-Adjusted Hamiltonian Monte Carlo
Czech Technical University in Prague（捷克布拉格技术大学）；SRI International（SRI国际公司）；University of California, San Diego（加州大学圣地亚哥分校）；DEVCOM Army Research Laboratory（美国陆军DEVCOM研究实验室）
随着自主设备上嵌入式软件的普及，由分散的代理网络执行的联邦学习变得越来越重要。贝叶斯学习方法受益于提供更多关于随机量的不确定性的信息，而朗之万和汉密尔顿方法在实现从具有大参数维度的不确定分布中采样时是有效的。这种方法最近才出现在分散设置，或者专门使用随机梯度朗之万和汉密尔顿蒙特卡罗方法，需要一个递减的步长渐近采样后，在实践中被称为不确定性的特点不忠实于恒定步长方法与大都会调整，或假设强凸性的潜在功能。我们提出的第一种方法，将恒定步长的大都会调整HMC在分散的采样框架，显示理论上的保证共识和概率距离的后验平稳分布，并证明其有效性数值上的标准现实世界的问题，包括分散学习的神经网络，这是已知的高度非凸的。
2021-07-15 cs.LG math.OC stat.ML
When does Metropolized Hamiltonian Monte Carlo provably outperform Metropolis-adjusted Langevin algorithm?
MIT（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）
研究通过分析HMC算法的混合时间，证明其在特定条件下优于MALA算法，无需log-concavity假设，仅依赖等周不等式。
2026-02-11 cs.CC stat.CO stat.ML
Hamiltonian Assisted Metropolis Sampling
研究了各种马尔可夫链蒙特卡罗（MCMC）方法，以改进随机游动Metropolis抽样，用于模拟复杂分布。例子包括大都会调整朗之万算法，哈密顿蒙特卡罗，和其他最近的算法有关欠阻尼朗之万动力学。我们提出了广泛的一类不可逆采样算法，称为汉密尔顿辅助大都会采样（HAMS），并开发了两个特定的算法与适当的调整和预处理策略。我们的HAMS算法的目的是实现两个独特的属性，同时使用增强的目标密度与动量作为辅助变量。一种是广义的细节平衡，它导致对目标的不可逆探索。另一个是拒绝自由属性，这使得我们的算法执行令人满意的相对较大的步长。此外，我们制定了一个框架的广义Metropolis-黑斯廷斯采样，这不仅突出了我们的建设HAMS在一个更抽象的水平，但也有利于可能进一步发展的不可逆MCMC算法。我们提出了几个数值实验，发现所提出的算法始终产生优于现有的结果。
2020-05-17 stat.CO
Metropolis Adjusted Langevin Trajectories: a robust alternative to Hamiltonian Monte Carlo
本文提出基于 Langevin 扩散并对整条轨迹作 Metropolis 校正的 MALT，证明其缩放、稳健性与混合优势，并在玩具和贝叶斯逻辑回归实验中显示其优于 HMC/GHMC 且媲美 RHMC。
2023-12-10 math.PR math.ST stat.CO
Tuning of MCMC with Langevin, Hamiltonian, and other stochastic autoregressive proposals
通过离散化朗之万扩散或哈密顿动力学推导出的Metropolis-Hastings MCMC提案是随机自回归提案的例子，这些提案形成了具有等效可计算性的自然更广泛的提案类别。我们分析大都会黑斯廷斯MCMC与随机自回归建议适用于目标分布是绝对连续的一些高斯分布，以获得预期的接受概率和预期的跳跃大小，以及计算成本的措施，在高维度的限制表达式。因此，我们能够统一现有的分析，这些类的建议，并扩展的理论结果，提供有用的指导方针，调整的建议，最佳的计算效率。对于简化的Langevin算法，我们发现，它是最佳的，以采取至少三个步骤的建议之前的Metropolis-Hastings接受-拒绝步骤，和汉密尔顿/混合蒙特卡罗，我们提供了新的指导方针的最佳数量的集成步骤和标准选择最佳的质量矩阵。
2016-10-03 math.PR stat.CO
Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
Department of Mathematics, University of California, Los Angeles, CA 90095, USA（加州大学洛杉矶分校数学系）；Courant Institute, New York University, NY 10012, USA（纽约大学Courant研究所）
研究将偏差离域化现象从过阻尼朗之万算法扩展到无调整哈密顿蒙特卡罗和欠阻尼朗之万算法，表明在特定假设下控制高维分布K维边际偏差\(O(\sqrt{K})\)积分步即可，用矩阵多项式框架解决离散时间积分器技术难题。
2026-07-17 cs.LG math.PR stat.CO
Geometric Ergodicity in Modified Variations of Riemannian Manifold and Lagrangian Monte Carlo
黎曼流形哈密尔顿算子和拉格朗日蒙特卡罗方法已成为贝叶斯推断的有力工具。与欧氏哈密顿蒙特卡罗（EHMC）和Metropolis调整的Langevin算法（MALA）不同，这些黎曼算法的几何遍历性尚未得到广泛研究。另一方面，流形Metropolis调整Langevin算法（MMALA）最近已被证明在一定条件下表现出几何遍历性。这项工作调查的混合物的LMC和RMHMC过渡内核MMALA，以装备所得到的方法与“继承”的几何遍历理论。我们激励这个混合内核之间的类比单步HMC和MALA的基础上。然后，我们继续评估几个基准贝叶斯推断任务的原始和修改后的过渡内核。
2023-01-04 stat.CO stat.ME stat.ML
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链，首次证明其经验测度满足大偏差原理，并依据接受与拒绝动力学刻画速率函数，为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
Faster parallel MCMC: Metropolis adjustment is best served warm
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
LAPS是一种并行MCMC方法，通过自动调整超参数提升收敛速度，显著优于现有方法。
2026-01-23 stat.CO
Multiplicative random walk Metropolis-Hastings on the real line
本文提出了基于乘法的随机游动Metropolis Hastings（MH）算法。我们称之为随机俯冲MH（RDMH）算法。这种算法，即使简单的应用，没有研究早期的马尔可夫链蒙特卡罗文献。相关的内核被证明具有标准的属性，如不可约性，非周期性和哈里斯复发下一些温和的假设。这些保证了内核的基本收敛性（遍历性）。进一步的内核被证明是几何遍历的一大类目标密度$\mathbb{R}$。这类甚至包含现实的目标密度，随机游动或朗之万MH不是几何遍历。三个仿真实验证明了RDMH算法的混合特性及其在实际线路上优于标准MH算法。一个股价回报数据进行了分析，并与文献中的结果进行了比较。
2011-08-15 stat.CO
Deterministic Langevin Monte Carlo with Normalizing Flows for Bayesian Inference
Tsinghua University（清华大学）；University of California（加利福尼亚大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个通用的贝叶斯推断算法昂贵的可能性，取代随机项的朗之万方程与确定性的密度梯度项。粒子密度是从当前的粒子位置使用归一化流（NF），这是可微的，并在高维具有良好的泛化性能进行评估。我们利用NF预处理和基于NF的Metropolis-Hastings更新来加快收敛速度。我们在各种例子中表明，该方法是有竞争力的最先进的采样方法。
2022-10-13 cond-mat.stat-mech cs.LG physics.data-an
Diffusion approximations and control variates for MCMC
提出了一种构造控制变量以减小马尔可夫链蒙特卡罗（MCMC）采样器可加泛函方差的新方法。我们的控制变量是通过函数族上的Langevin扩散的渐近方差的最小化来定义的，这可以看作是一个二次风险最小化过程。这些对照变量的使用在理论上是合理的。我们发现，一些著名的MCMC算法，包括随机游动大都市和（大都市）未调整/调整Langevin算法的渐近方差接近Langevin扩散的渐近方差。贝叶斯推断问题的几个例子表明，相应的减少方差是显着的。
2019-07-08 stat.ME
Optimal Preconditioning and Fisher Adaptive Langevin Sampling
Google DeepMind（谷歌DeepMind）
本文通过解析优化期望平方跳跃距离，提出以逆 Fisher 信息协方差矩阵作为 Langevin 扩散的最优预条件，并据此设计了一种从梯度历史中高效学习预条件的自适应 MALA 算法，在高维实验中显著优于现有方法。
2023-10-28 cs.LG stat.CO stat.ML
Metropolis-Hastings algorithms with autoregressive proposals, and a few examples
我们分析了随机AR（1）过程方案下的梅特罗波利斯-黑斯廷斯算法的计算效率。这些建议包括，作为一个子类，离散朗之万扩散（例如MALA）和离散哈密顿动力学（例如HMC）。对于目标分布相对于高斯分布是绝对连续的并且高斯分布的协方差允许有非对角项的情况，我们推导了具有一般随机AR（1）过程建议的MCMC方法的期望接受率和期望跳跃大小的表达式。这使我们能够扩展已知的几种MCMC方法，以及确定这种类型的新MCMC方法的效率。在混合蒙特卡罗的特殊情况下，我们可以确定最佳的积分时间和质量矩阵的选择的影响。通过包括Metropolis-Hastings的影响，我们还扩展了Fox和Parker的结果，他们使用矩阵分裂技术来分析从高斯分布采样的随机AR（1）过程的性能并提高其效率。
2016-05-19 stat.CO
Exact Langevin Dynamics with Stochastic Gradients
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
随机梯度马尔可夫链蒙特卡罗算法是一种常用的近似推理抽样方法，但它们通常存在偏差。我们发现，这些方法的许多最新版本（例如Chen et al.（2014））无法使用Metropolis-Hastings拒绝抽样进行校正，因为它们的接受概率始终为零。我们可以通过使用具有可实现的向后轨迹的采样器来解决这个问题，例如服从引导蒙特卡罗（Horowitz，1991），它概括了随机梯度朗之万动力学（Welling和Teh，2011）和哈密顿蒙特卡罗。我们表明，这个采样器可以使用随机梯度，产生非零的接受概率，甚至可以跨多个步骤计算。
2021-02-02 cs.LG stat.ML
Variance Reduction for Metropolis-Hastings Samplers
我们介绍了一个一般的框架，构造估计减少方差的随机游动大都市和大都市调整Langevin算法。由此产生的估计需要可以忽略不计的计算成本，并得出在后处理的方式利用所有的建议值的大都市算法。方差减少是通过产生控制变量，通过近似解决方案的泊松方程与目标密度的马尔可夫链。所提出的方法是基于近似的目标密度与高斯，然后利用精确的解决方案的泊松方程的高斯情况下。这导致使用两个关键元素的估计器：（i）来自泊松方程的控制变量，其包含在提议分布下的难处理的期望，（ii）第二控制变量，以减少后一难处理的期望的蒙特卡罗估计的方差。仿真数据的例子被用来说明令人印象深刻的方差减少实现高斯目标的情况下，以及相应的效果时，目标的高斯性假设被违反。贝叶斯逻辑斯谛回归和随机波动率模型的实际数据的例子验证了相当大的方差减少，实现了微不足道的额外计算成本。
2022-03-04 stat.CO stat.ME
Optimal Scaling of Langevin Proposals with Generalized Acceptance Rules
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文针对广义接受规则下的Langevin提议，推导了高维目标的最优缩放理论，恢复了$O(d^{-1/3})$缩放，并揭示了不同接受规则对最优接受概率的影响。
2026-09-16 math.ST stat.CO stat.TH
Efficient Mirror-type Kernels for the Metropolis-Hastings Algorithm
本文提出融合 Mirror 移动与 MALA 的 MirrorMALA 核，并结合新型高维白化变换分析 GLMMs，在相近计算成本下实现显著更高采样效率。
2025-06-07 stat.CO
Adaptive step size selection for Hessian-based manifold Langevin samplers
探讨了在简化流形Metropolis调整Langevin算法（MALA）中使用由二阶导数信息导出的正定度量张量。提出了一种新的自适应步长方法，解决了这种度量张量在对数目标在某些方向上具有接近零曲率的区域中的缺点。自适应步长选择似乎也减轻了在瞬态和稳态中对不同调谐参数的需要，这是MALA的典型特征。从二阶导数信息和自适应步长选择的度量张量的组合构成了一个大的进步，发展可靠的流形MCMC方法，可以自动实现的模型与未知或棘手的费舍尔信息，甚至为目标分布，不承认因式分解成先验和似然。通过低到中等尺寸的例子，它表明，所提出的方法相对于替代MCMC方法表现得非常好。
2015-09-02 stat.CO stat.ME
A Langevin-like Sampler for Discrete Distributions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了离散朗之万建议（DLP），一个简单的和可扩展的基于梯度的采样复杂的高维离散分布的建议。与基于Gibbs采样的方法相比，DLP能够在单步的中并行更新所有坐标，并且变化的幅度由步长控制。这允许在高维和强相关变量的空间中进行廉价且有效的探索。我们证明了DLP的效率表明，其平稳分布的渐近偏差为零的对数二次分布，是小的分布接近对数二次。使用DLP，我们开发了几种不同的采样算法，包括未调整的，Metropolis调整的，随机的和预处理的版本。DLP在各种任务上都优于许多流行的替代方案，包括伊辛模型、受限玻尔兹曼机、基于深度能量的模型、二进制神经网络和语言生成。
2022-06-20 cs.LG stat.ML
From Continuous Dynamics to Practical Gradient-Based Samplers
School of Mathematics and Maxwell Institute for Mathematical Sciences, The University of Edinburgh（爱丁堡大学数学学院与麦克斯韦数学科学研究所）
本文从连续动力学出发，统一推导了HMC等基于梯度的采样器，分析了影响采样效率的几何设计选择，给出了提升采样性能的实用方法，兼具教程性与实用性。
2026-08-07 stat.CO stat.ME
Towards practical PDMP sampling: Metropolis adjustments, locally adaptive step-sizes, and NUTS-based time lengths
Université de Strasbourg（斯特拉斯堡大学）；University of Bristol（布里斯托大学）；Queensland University of Technology（昆士兰科技大学）
针对PDMP采样需要计算模型特定界限的难题，提出Metropolis调整近似、自适应步长机制和NUTS启发的路径长度选择，集成得到双重自适应PDMP采样器，提升鲁棒性和效率。
2026-06-19 math.PR math.ST stat.CO
Statistical Finite Elements via Langevin Dynamics
最近的统计有限元方法（statFEM）提供了一个连贯的统计框架，综合有限元模型与观测数据。通过在控制方程中嵌入不确定性，有限元解被更新以给出量化与模型相关的所有不确定性来源的后验分布。然而，要包含所有的不确定性来源，必须整合与模型参数相关的不确定性，这是已知的不确定性量化的正向问题。在本文中，我们利用朗之万动力学来解决statFEM正问题，研究的效用的未调整的朗之万算法（ESTA），无大都会马尔可夫链蒙特卡罗采样器，建立一个基于样本的特性，否则难以测量。由于statFEM问题的结构，这些方法能够解决正问题，而无需显式完整的PDE解决方案，只需要稀疏矩阵矢量积。它也是基于梯度的，因此提供了一种可扩展的方法，可以达到很高的自由度。利用基于Langevin的采样器背后的理论，我们提供了采样器性能的理论保证，证明收敛，为前和后，在库尔贝克-莱布勒散度，并在Wasserstein-2，与预处理的效果的进一步结果。还提供了数值实验，为前和后，以证明采样器的有效性，还包括一个Python包。
2021-12-27 cs.NA math.NA stat.CO
Convergence of position-dependent MALA with application to conditional simulation in GLMMs
我们建立的条件下，Metropolis-Hastings（MH）算法与位置相关的建议协方差阵将或将不会有几何收敛速度。一些基于扩散的MH算法，如Metropolis调整的Langevin算法（MALA）和预处理的MALA（PCMALA）具有位置无关的建议方差。然而，对于MALA的其他现代变体，如适应目标分布几何形状的流形MALA（MMALA），建议的协方差阵在每次迭代中都会发生变化。因此，我们提供了几何遍历的不同变化的Langevin算法的条件。这些结果具有重要的实际意义，因为这些提供了至关重要的理由使用渐近有效的蒙特卡罗标准误误差为马尔可夫链为基础的估计。验证的一般条件的情况下，条件模拟从两个最流行的广义线性混合模型（GLMM），即二项式GLMM与logit链接和泊松GLMM与日志链接。在一些空间GLSINS的框架中的经验比较表明，计算成本较低的PCMALA与适当选择的预处理矩阵可能优于MMALA。
2022-08-21 stat.CO stat.ME
Geometrically adapted Langevin dynamics for Markov chain Monte Carlo simulations
马尔可夫链蒙特卡罗（MCMC）是从给定的概率分布进行采样的最强大的方法之一，其中大都会调整朗之万算法（MALA）是其中使用分布的梯度以实现更快收敛的变体。然而，被设置在欧几里德的框架，MALA可能会表现不佳，在高维问题或在那些涉及各向异性密度的潜在的非欧几里德方面的几何形状的样本空间仍然没有考虑。我们利用微分几何和黎曼流形上的随机分析的概念，对一个具有非平凡漂移项的随机微分方程进行几何适应。这种适应也被称为随机发展。我们将这种方法具体应用到朗之万扩散方程，并在几何适应朗之万动力学。这种新方法远远优于MALA，MALA的某些流形变体，以及其他方法，如哈密顿蒙特卡罗（HMC），其自适应变体无U形转弯采样器（NUTS）在斯坦实现，特别是当问题的维度增加时，通常GALA实际上是唯一成功的方法。这是证明通过几个数值例子，包括参数估计的广泛的一类概率分布和逻辑斯谛回归问题。
2022-01-20 stat.AP stat.CO
Irreversible Langevin MCMC on Lie Groups
众所周知，不可逆MCMC算法比可逆MCMC算法更快地收敛到它们的平稳分布。利用李群$\mathcal G$的特殊几何结构和与辛结构相容的耗散场，构造了$\mathcal G$上的不可逆HMC-类MCMC算法.该算法首先通过求解相应李代数$\mathfrak g$上的一个逆过程来更新动量，然后用可逆辛积分器和Metropolis-Hastings修正步骤来逼近$\mathcal G \times \mathfrak g$上的哈密顿系统.特别是，当在足够长的时间内模拟HMC过程时，我们将HMC恢复为特殊情况。我们用数值例子$\mathcal G = SO(3)$来说明这个算法。
2019-03-21 math.DG math.ST stat.TH
Hamiltonian Monte Carlo Swindles
哈密顿蒙特卡罗（HMC）是一种用于估计连续非归一化概率分布的期望值的马尔可夫链蒙特卡罗（MCMC）算法。MCMC估计量通常具有比具有i.i.d.的经典蒙特卡罗更高的方差。由于自相关性，大多数MCMC研究试图减少这些自相关性。在这项工作中，我们探讨了一种互补的方法，方差减少的基础上两个经典的蒙特卡罗“骗局”：第一，运行一个辅助耦合链，目标是一个易于处理的近似目标分布，并使用辅助样本作为控制变量;第二，生成反相关（“对立”）的样本运行两个链翻转随机性。这两个想法已经探讨了吉布斯采样器和随机行走大都会算法的背景下，但我们认为，他们是成熟的适应HMC在最近的耦合结果HMC理论文献。对于许多后验分布，我们发现，这些欺骗产生的有效样本量数量级大于平原HMC，以及更有效的比类似的欺骗大都市调整Langevin算法和随机行走大都市。
2020-03-02 stat.CO
Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出自动调整步长方案，在无Metropolis调整的HMC和欠阻尼Langevin蒙特卡洛中控制渐近偏差，实验表明该方法在贝叶斯推断和百万参数物理模型中显著优于调整后的方法。
2026-06-18 astro-ph.CO stat.CO
Gradient-based Adaptive Markov Chain Monte Carlo
DeepMind（深度思维）；University College of London（伦敦大学学院）；Univ. of Econ. and Business（经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个基于梯度的学习方法，自动适应马尔可夫链蒙特卡罗（MCMC）的建议分布，棘手的目标。我们定义了一个最大熵正则化的目标函数，称为广义速度测度，它可以通过应用随机梯度优化的建议分布的参数进行鲁棒优化。与传统的自适应MCMC方法相比，我们的方法的一个优点是，即使候选状态值被拒绝，也会发生自适应。这是任何自适应策略的高度期望的属性，因为自适应在早期迭代中开始，即使初始提议分布远离最优。我们应用框架学习多元随机游动大都市和大都市调整Langevin建议与完整的协方差阵，并提供经验证据表明，我们的方法可以优于其他MCMC算法，包括哈密顿蒙特卡罗计划。
2020-01-06 cs.LG stat.CO stat.ML
Discrete Hamiltonian-Assisted Metropolis Sampling
针对离散分布采样，提出结合梯度信息与高斯动量的离散采样器DHAMS，通过辅助变量提议等步骤实现广义细致平衡与无拒绝特性，在序数和二元分布实验中性能优于现有算法。
2025-07-13 stat.ME
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
2021-06-18 math.PR math.ST stat.TH
Log-concave sampling: Metropolis-Hastings algorithms are fast
考虑了$\mathbb{R}^d$中强对数凹密度的采样问题，证明了Metropolis调整的Langevin算法（MALA）的混合时间的一个非渐近上界.该方法通过模拟一个马尔可夫链来抽取样本，该链是从一个适当的朗之万扩散的离散化中获得的，并结合了一个接受-拒绝步骤。相对于已知的保证未调整的Langevin算法（ESTA），我们的界限表明，使用一个接受拒绝步骤MALA导致指数级改善的依赖于容错。具体地说，为了获得最多$δ$的条件数$κ$密度的TV错误的样本，我们表明，MALA需要$\mathcal{O} \big(κd \log(1/δ) \big)$步骤，相比之下，在过去的工作中建立的$\mathcal{O} \big(κ^2 d/δ^2 \big)$的步骤。我们还证明了弱对数凹密度的MALA的收益超过了。此外，我们推导出混合时间界的大都市随机游动（MRW），并获得$\mathcal{O}(κ)$混合时间慢于MALA。我们提供的数值例子，支持我们的理论研究结果，并证明了大都会黑斯廷斯调整Langevin型采样算法的好处。
2019-12-11 stat.CO stat.ML
Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts
Purdue University（普渡大学）
贝叶斯深度学习提供了一种解决人工智能（AI）安全性问题的原则性方法，例如模型不确定性，模型可解释性和预测偏差。然而，由于缺乏从深度神经网络（DNN）的后验中采样的有效蒙特卡罗算法，贝叶斯深度学习尚未为我们的AI系统提供动力。提出了一类自适应随机梯度马尔可夫链蒙特卡罗（SGMCMC）算法，该算法对漂移函数进行偏置以增强对鞍点的逃逸，并根据过去样本的梯度自适应地调整偏置.我们建立了所提出的算法在温和的条件下的收敛性，并通过数值例子表明，所提出的算法可以显着优于现有的SGMCMC算法，如随机梯度朗之万动力学（SGLD），随机梯度哈密顿蒙特卡罗（SGHMC）和预处理SGLD，在模拟和优化任务。
2020-09-20 cs.LG stat.ML
HMC and underdamped Langevin united in the unadjusted convex smooth case
该研究提出一类未调整的广义HMC采样器，统一了位置HMC与欠阻尼朗之万方法，通过部分速度刷新提升收敛速率，还建立了其随机梯度版本的无维度收敛率，拓展了相关理论结果。
2024-05-22 math.PR math.ST stat.TH
Efficiently handling constraints with Metropolis-adjusted Langevin algorithm
本研究严格分析了Metropolis-adjusted Langevin算法在目标分布支撑集受约束时的性能，证明了其收敛性并给出优于竞争算法的混合时间上界，数值实验验证了其有效性。
2023-05-14 cs.DS cs.LG math.OC
Limit theorems for some adaptive MCMC algorithms with subgeometric kernels: Part II
证明了一类由亚几何遍历马尔可夫核驱动的自适应马尔可夫链蒙特卡罗算法的中心极限定理。我们详细讨论了随机逼近的特殊情况。我们使用的结果来分析的Metropolis调整Langevin算法的自适应版本的重尾目标密度的渐近行为。
2009-11-02 math.PR math.ST stat.CO
Fast sampling from constrained spaces using the Metropolis-adjusted Mirror Langevin algorithm
Yale University（耶鲁大学）
本研究提出Metropolis-adjusted Mirror Langevin算法，通过给Mirror Langevin算法添加接受-拒绝滤波器实现约束空间无偏近似采样，在误差容忍度上取得指数级提升，且有理论上界和实验验证。
2024-06-21 cs.DS cs.LG math.ST
Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients
City University of Hong Kong（香港城市大学）；University of Edinburgh（爱丁堡大学）；Nanyang Technological University（南洋理工大学）；ETH Zurich（苏黎世联邦理工学院）
该研究提出了一种无偏动能 Langevin 蒙特卡罗方法，利用分裂方法和增强梯度近似，实现高精度估计并降低计算成本。
2025-12-03 cs.NA math.NA stat.CO
Modified Hamiltonian Monte Carlo for Bayesian inference
哈密顿蒙特卡罗（HMC）方法是计算统计学中一种有效的抽样工具。我们表明，HMC的性能可以显着提高，通过将重要性抽样和不可逆的一部分的动态链。这是通过用修改后的哈密顿算子替换Metropolis检验中的哈密顿算子，以及用部分动量更新来实现的。我们称之为广义HMC重要性采样器-混合匹配哈密顿蒙特卡罗（MMHMC）。该方法通过构造是不可逆的，并且进一步受益于（i）用于计算修改的哈密顿量的有效算法;（ii）隐式动量更新过程和（iii）专门为使用修改的哈密顿量采样的方法导出的多级分裂积分器。MMHMC已被实现，在流行的统计模型上进行测试，并在抽样效率上与HMC，Riemann流形哈密顿蒙特卡罗，广义混合蒙特卡罗，广义阴影混合蒙特卡罗，Metropolis调整Langevin算法和随机游动Metropolis-Hastings进行比较。为了进行公平的比较，我们提出了一个度量，该度量考虑了样本和权重之间的相关性，并且可以很容易地用于生成此类样本的所有方法。实验结果表明，MMHMC优于流行的采样技术，特别是在解决高维问题。
2019-07-25 stat.CO stat.ME
Learning Latent Variable Models via Jarzynski-adjusted Langevin Algorithm
本文提出JALA-EM算法，利用Jarzynski调整的Langevin采样器结合序贯蒙特卡洛，实现潜变量模型参数的最大边际似然估计，并证明其收敛性，适用于模型选择。
2025-10-24 stat.CO stat.ML
High-accuracy sampling from constrained spaces with the Metropolis-adjusted Preconditioned Langevin Algorithm
提出Metropolis调整预条件Langevin算法，用于受限空间高精度采样，通过Metropolis-Hastings滤波改进预条件Langevin链，证明在更强自协调条件下混合时间维度依赖更优，并实验验证实用性。
2025-02-25 math.ST stat.CO stat.ML
(Non-) asymptotic properties of Stochastic Gradient Langevin Dynamics
将标准的马尔可夫链蒙特卡罗（MCMC）算法应用于大型数据集在计算上是不可行的。最近提出的随机梯度朗之万动力学（SGLD）方法规避这个问题在三个方面：它产生建议的移动只使用一个子集的数据，它跳过大都会黑斯廷斯接受拒绝步骤，它使用的序列的步长减小。在\cite{TehThierryVollmerSGLD2014}中，我们提供了减小步长SGLD的数学基础，包括一致性和中心极限定理。然而，在实践中，SGLD运行相对较少的迭代次数，并且其步长不会减小到零。本文研究了具有固定步长的SGLD的行为。特别是，我们显式地证明了渐近偏差，以及它对步长和随机梯度方差的依赖性。在此基础上，一个修改的SGLD，它消除了渐近偏差，由于方差的随机梯度到第一阶的步长推导。此外，我们能够得到的有限时间偏差，方差和均方误差（MSE）的界限。该理论说明了高斯玩具模型的偏差和MSE的估计的时刻，可以得到明确的。对于这个玩具模型，我们研究了在大数据集的限制下，SGLD超过标准欧拉方法的增益。
2015-09-21 math.ST stat.ME stat.ML
A Simple Proof of the Mixing of Metropolis-Adjusted Langevin Algorithm under Smoothness and Isoperimetry
Duke University（杜克大学）；MIT（麻省理工学院）
该研究在等周性与海森矩阵有界条件下，推导了MALA算法从暖启动达到目标采样精度的混合时间界，该界适用于非对数凹场景且仅依赖海森迹，在强对数凹光滑场景下可恢复已有极小极大界。
2023-06-08 cs.CC cs.LG stat.CO
Metropolis-Adjusted Diffusion Models
Department of Statistics, University of Oxford（1 统计系，牛津大学）；Inria, CNRS, École Normale Supérieure, PSL Research University（2 Inria，法国国家科学研究中心，巴黎高等师范学院，PSL研究大学）；Department of Mathematical Sciences, University of Copenhagen（3 数学科学系，哥本哈根大学）
本文提出基于Metropolis-Hastings算法的修正方法，用于改进扩散模型中的采样偏差，通过引入二枚硬币伯努利工厂算法和辛普森法则近似，提升了样本质量。
2026-11-10 cs.LG stat.CO stat.ML
Nonconvex sampling with the Metropolis-adjusted Langevin algorithm
Yale University（耶鲁大学）
朗之万马尔可夫链算法是在具有挑战性的高维和非凸统计和机器学习应用中从分布中采样的广泛部署的方法。尽管如此，目前的界限朗之万算法是慢于竞争的算法在许多重要的情况下，例如，当采样从弱对数凹分布，或当采样或优化非凸对数密度。在本文中，我们得到了改进的边界在许多这些情况下，表明大都会调整的朗之万算法（MALA）是快于最佳的边界，其竞争对手的算法时，目标分布满足弱的第三和第四阶正则性与输入数据。在许多情况下，我们的正则性条件弱于通常的欧几里德算子范数正则性性质，使我们能够比通常的欧几里德算子范数方法更快地显示更大类别的分布的边界，包括在统计和机器学习应用中，数据满足一定的不一致性条件。特别是，我们表明，使用我们的正则性条件，可以获得更快的应用程序，其中包括抽样问题的贝叶斯逻辑回归弱凸先验，和非凸优化问题的学习线性分类器的零-一损失函数的界限。我们在本文中的主要技术贡献是我们的分析的大都会接受概率的MALA在其“能量守恒误差”，我们的界限，这个错误的第三和第四阶正则性条件。我们将能量守恒误差的高阶分析与电导方法相结合，是获得非强对数凹设置中对维度$d$具有次线性依赖性的界限的关键。
2019-04-09 cs.DS cs.LG math.PR
Penalized Overdamped and Underdamped Langevin Monte Carlo Algorithms for Constrained Sampling
Rutgers Business School（罗格斯商学院）；Florida State University（佛罗里达州立大学）
本文提出基于惩罚函数的 PLD/PULMC 及随机梯度变体，将凸体约束采样转为无约束采样，并给出 TV 与 W2 距离下的非凸和强凸收敛保证。
2024-04-14 cs.LG stat.CO stat.ML
Transport map accelerated Markov chain Monte Carlo
我们引入了一个新的框架，从复杂的概率分布，使用最佳运输地图和大都会黑斯廷斯规则的组合进行有效的采样。核心思想是使用连续运输来改造典型的Metropolis提案机制（例如，随机游动，朗之万方法）转化为非高斯建议分布，可以更有效地探索目标密度。我们的方法自适应地构建了一个下三角运输地图的近似Knothe-Rosenblatt引用使用信息从以前的MCMC状态，通过解决优化问题。无论目标分布的形式如何，该优化问题都是凸的。使用牛顿方法有效地解决了这一问题，该方法不需要来自目标概率分布的梯度信息;目标分布而是通过样本表示的。即使对于大量样本，顺序更新也能够实现映射的高效且可并行的自适应。我们表明，这种方法使用不精确或截断的地图，以产生一个自适应MCMC算法，是遍历的确切目标分布。一系列参数推断问题的数值演示显示了标准MCMC技术的数量级加速，测量每个目标密度评估和每单位挂钟时间产生的有效独立样本的数量。
2017-08-23 stat.CO
Metropolis-adjusted interacting particle sampling
本文针对交互粒子采样器因集合近似和时间步进引入偏差的问题，提出Metropolis化修正，并证明收敛性，数值实验显示其有效性。
2023-12-21 cs.NA math.NA stat.CO
Convergence Speed and Approximation Accuracy of Numerical MCMC
Monash University（莫纳什大学）；Columbia University（哥伦比亚大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）
本文研究了数值MCMC中扰动对收敛速度和估计精度的影响，提出在特定条件下扰动采样器可保持良好性能，并展示了其在多种采样算法中的应用。
2022-03-07 math.PR stat.CO
