The Convergence of Markov chain Monte Carlo Methods: From the Metropolis method to Hamiltonian Monte Carlo
从20世纪50年代开始到应用统计学的现代前沿，马尔可夫链蒙特卡罗一直是统计计算中最普遍和最成功的方法之一。在这段时间里，它的发展受到越来越困难的问题和物理学新技术的推动。在这篇文章中，我将回顾马尔可夫链蒙特卡罗的历史，从一开始的大都会方法，今天的国家的最先进的哈密顿蒙特卡罗。在此过程中，我将专注于该方法的统计和物理观点之间不断发展的相互作用。
2018-01-10 physics.hist-ph stat.ME
Covariance estimation using h-statistics in Monte Carlo and multilevel Monte Carlo methods
本文提出利用 h-statistics 的 MC 与 MLMC 无偏协方差估计方法，以闭式形式构造无偏均方误差，并通过一维随机椭圆 PDE 验证数值效果。
2024-05-08 cs.NA math.NA math.ST
Antithetic Riemannian Manifold And Quantum-Inspired Hamiltonian Monte Carlo
University of Johannesburg（约翰内斯堡大学）；University of Witwatersrand（威特沃特斯兰德大学）
机器学习中目标后验分布的马尔可夫链蒙特卡罗推断主要通过哈密顿蒙特卡罗及其变体进行。这是由于基于哈密顿蒙特卡罗的采样器抑制随机游走行为的能力。与其他马尔可夫链蒙特卡罗方法一样，哈密顿蒙特卡罗产生自相关样本，这导致估计量的高方差，以及所生成样本的低有效样本量率。先前已经证明，与普通哈密顿蒙特卡罗相比，向哈密顿蒙特卡罗添加对偶采样可以产生更高的有效采样率。在本文中，我们提出了新的算法，这是对立的版本的黎曼流形哈密顿蒙特卡罗和量子启发哈密顿蒙特卡罗。黎曼流形哈密顿蒙特卡罗算法通过考虑目标的局部几何形状来改进哈密顿蒙特卡罗，这对于可能在参数中表现出强相关性的目标密度是有益的。受量子启发的哈密顿蒙特卡罗是基于可以具有随机质量的量子粒子。量子启发的哈密顿蒙特卡罗使用随机质量矩阵，这导致比哈密顿蒙特卡罗更好的采样尖峰和多模态分布，如跳跃扩散过程。使用真实世界的金融市场数据的跳跃扩散过程进行分析，以及使用贝叶斯逻辑斯谛回归的真实世界的基准分类任务。
2021-07-05 cs.LG stat.CO stat.ML
Switching Hamiltonian Monte Carlo for sampling from mixture distributions
提出切换哈密顿蒙特卡洛方法，结合对称数值积分器和泊松跳跃，实现有限混合玻尔兹曼-吉布斯分布的采样，并证明几何遍历性和二阶偏差。
2026-06-12 cs.NA math.NA math.ST
The Geometry of Hamiltonian Monte Carlo
哈密顿蒙特卡罗是一种有效的马尔可夫链蒙特卡罗技术，它系统地探索了概率分布;然而，它最终取决于选择合适的哈密尔顿函数。通过考察哈密顿动力学的辛几何基础和马尔可夫链蒙特卡罗的要求，我们构造了可容许哈密顿量的一般形式，并提出了一种在贝叶斯推断中具有潜在应用的特殊选择.
2011-12-18 physics.data-an stat.ME
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点，提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法，用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
Adaptive Incremental Mixture Markov chain Monte Carlo
我们提出了自适应增量混合马尔可夫链蒙特卡罗（AIMM），一种新的方法来从具有挑战性的概率分布定义在一个一般的状态空间的样本。虽然自适应MCMC方法通常使用全局规则更新参数化建议核，但AIMM局部适应半参数核。AIMM基于独立的Metropolis-Hastings建议分布，该分布采用有限混合高斯分布的形式。这种方法的核心思想是，当建议混合物和目标之间的差异被认为太大时，建议分布通过在本地添加混合成分来适应目标。因此，混合物提案中的组分数量不是预先固定的。理论上，我们证明了存在一个过程，可以任意接近AIMM，并收敛到正确的目标分布。我们还说明了它在实践中表现良好，在各种具有挑战性的情况下，包括高维和多模态的目标分布。
2018-05-31 stat.CO stat.ME
Extending Monte Carlo Methods to Factor Graphs with Negative and Complex Factors
因子图的配分函数有时可以用蒙特卡罗方法精确估计。在本文中，这样的方法被扩展到因子图的负和复杂的因素。
2012-10-07 cs.IT math.IT stat.AP
Discussion of "Sequential Quasi-Monte Carlo" by Mathieu Gerber and Nicolas Chopin
关于拟蒙特卡罗估计在应用中降低方差可能性的讨论。进一步的细节在随附的论文“拟蒙特卡罗的方差缩减“中提供。
2015-01-14 stat.CO
Exploring multi-dimensional spaces: a Comparison of Latin Hypercube and Quasi Monte Carlo Sampling Techniques
三种抽样方法进行了比较，效率的各种复杂性的测试问题，其中解析求积。比较的方法是伪随机数的蒙特卡罗，拉丁超立方抽样，准蒙特卡罗抽样的基础上Sobol序列。一般的结果显示出优越的性能的准蒙特卡罗方法的基础上Sobol序列与理论预测。拉丁超立方抽样可以比蒙特卡罗方法和准蒙特卡罗方法更有效，但后者的不等式适用于减少的函数类型集和少量的采样点。总之，拟蒙特卡罗方法将出现最安全的赌注时，集成功能的未知类型。
2015-05-10 stat.AP stat.CO
Finite Sample Complexity of Sequential Monte Carlo Estimators
本文给出了静态空间上序贯蒙特卡罗采样器的有限样本误差的界。我们的方法明确地将算法的性能与所选分布序列的属性和相关马尔可夫核的混合属性联系起来。这使我们能够给出第一个有限样本比较其他蒙特卡罗计划。我们得到了各种目标分布的序贯蒙特卡罗近似的复杂性的界限，包括有限空间，产品措施，和对数凹分布，包括贝叶斯逻辑斯谛回归。所得到的界限是在一个对数因子内的类似界限可获得马尔可夫链蒙特卡罗。
2022-08-18 math.PR stat.CO stat.ME
Supplement to "Markov Chain Monte Carlo Based on Deterministic Transformations"
这是对文章“基于确定性变换的马尔可夫链蒙特卡罗”的补充，可在http://arxiv.org/abs/1106.5850上获得
2013-06-28 stat.CO
A General Metric for Riemannian Manifold Hamiltonian Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种非常有用的复杂模型推理方法，而哈密顿蒙特卡罗，特别是黎曼流形哈密顿蒙特卡罗（RMHMC），在许多具有挑战性的问题上取得了令人瞩目的成功。然而，目前的RMHMC实现依赖于黎曼度量，这限制了其应用于分析方便的模型。在本文中，我提出了一个新的度量RMHMC没有这些限制，并验证其成功的分布，模拟许多层次和潜在的模型。
2013-09-18 physics.data-an stat.ME
Identifying the Optimal Integration Time in Hamiltonian Monte Carlo
通过利用光滑概率系统的自然几何结构，哈密顿蒙特卡罗产生计算效率高的马尔可夫链蒙特卡罗估计。至少在算法足够好的情况下。在本文中，我将展示如何几何基础的哈密顿蒙特卡罗隐含地确定这些参数的最佳选择，特别是积分时间。然后，我认为这些原则在现有的算法和一个新的实现称为\emph{Exhaustive Hamiltonian Monte Carlo}的实际后果，然后在一些说明性的例子证明这些想法的效用。
2016-01-02 stat.CO stat.ME
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算（ABC）是处理具有难处理的可能性的模型的一般方法。在这项工作中，我们推导出基于QMC（准蒙特卡罗）序列的ABC算法。我们表明，由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体，逐步适应提案分布和接受阈值。我们说明了我们的QMC方法，通过几个例子从ABC文学。保留字：近似贝叶斯计算，无似然推断，拟蒙特卡罗，随机化拟蒙特卡罗，自适应重要性抽样
2018-05-07 stat.CO
Forward Event-Chain Monte Carlo: Fast sampling by randomness control in irreversible Markov chains
不可逆和无拒绝蒙特卡罗方法，最近在物理学中以事件链的名义开发，在统计学中称为分段确定性蒙特卡罗（PDMC），已被证明比标准蒙特卡罗方法产生明显的加速，这要归功于它们的随机游走行为的减少。然而，当将这样的方案应用于标准统计模型时，为了正确性，通常需要引入额外的随机化。我们在这里提出了一类新的事件链蒙特卡罗方法，减少这种额外的随机化到最低限度。我们比较了这种新方法的效率，标准的PDMC和蒙特卡罗方法。加速到几个数量级和减少尺寸缩放展出。
2020-04-27 stat.CO
Sweave Documentation for "Implementing Markov chain Monte Carlo: Estimating with confidence"
该文件是Flegal，J.M. Jones，G. L.（2010），“Implementing马尔可夫链蒙特卡罗：Estimating with confidence”，in Handbook of马尔可夫链蒙特卡罗，edited by Brooks，S.，Gelman，A.，琼斯，G.，和Meng，X.出版社：Chapman & Hall/CRC Press
2010-06-24 stat.OT
Multilevel Monte Carlo estimation of log marginal likelihood
University of Tokyo（东京大学）
在这个简短的说明中，我们提供了一个无偏的多级蒙特卡罗估计的对数边际似然，并讨论其应用变分贝叶斯。
2019-12-23 cs.LG stat.ML
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断，退火顺序蒙特卡罗方法，基于最近的进展，如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数，以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能，通过审查和比较与其他计算贝叶斯系统发育方法，特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中，我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动，因此受益于大量的库存，这种移动在文献中。因此，退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布，主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波，并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现，认为它们在统计中仍然没有得到充分的使用，尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME
The Fundamental Incompatibility of Hamiltonian Monte Carlo and Data Subsampling
利用哈密顿流的相干探索，哈密顿蒙特卡罗产生计算效率高的蒙特卡罗估计，即使对于复杂和高维的目标分布。然而，当遇到数据密集型应用程序时，该算法的实现可能过于昂贵，这让我们需要考虑数据二次采样等近似方法的实用性。在本文中，我演示了如何从根本上妥协的有效探索汉密尔顿流的数据二次采样，因此可扩展性能的哈密顿蒙特卡罗本身。
2015-02-05 stat.ME
Simple rejection Monte Carlo algorithm and its application to multivariate statistical inference
本文针对拒绝蒙特卡洛算法应用较少的问题，提出一种简化版本，并以多元分布抽样和多元积分为例展示其在统计推断中的具体应用。
2024-02-27 stat.CO
Subspace Langevin Monte Carlo
Brandeis University（布兰迪大学）
针对高维分布采样的计算挑战，提出子空间朗之万蒙特卡洛方法，通过投影到子采样特征块推广现有方法，兼具适应性与效率，建立了误差保证并通过实验验证了其在病态分布采样中的有效性。
2025-05-19 cs.LG stat.ML
Zero Variance and Hamiltonian Monte Carlo Methods in GARCH Models
在本文中，我们发展了贝叶斯哈密顿蒙特卡罗方法的推断在非对称的Gestival模型在不同的分布的误差项。我们实现了零方差和哈密顿蒙特卡罗计划的参数估计，试图减少标准误的估计，从而获得更有效的结果，在一个小的额外的计算成本的价格。
2017-10-20 stat.CO
Introducing Monte Carlo Methods with R Solutions to Odd-Numbered Exercises
这是我们的书“Introducing蒙特卡罗Methods with R”中奇数练习的解决方案手册，由Springer Verlag于2009年12月10日出版，并免费提供给每个人。
2010-01-17 stat.CO stat.ME
Density Estimation by Monte Carlo and Quasi-Monte Carlo
估计连续随机变量X的密度在统计学中已经被广泛研究，在设置中，X的n个独立观测值被先验地给出，并且人们希望从中估计密度。流行的方法包括直方图和核密度估计。在这篇综述论文中，我们感兴趣的是，而不是在这种情况下，观察产生的蒙特卡罗模拟从一个模型。然后，可以利用方差缩减方法，如分层，条件蒙特卡罗，和随机准蒙特卡罗（RQMC），并获得一个更准确的密度估计比标准的蒙特卡罗对于给定的计算预算。我们讨论了几种方法，在最近的论文中提出，重点是利用RQMC的方法。第一个想法是直接将RQMC与标准核密度估计器相结合。另一种方法是采用基于模拟的导数估计方法，如平滑扰动分析或似然比方法，以获得cdf的连续估计量，其导数是密度的无偏估计量。这可以与RQMC结合使用。我们总结了最近的理论结果与这些方法，并给出了它们如何提高均方积分误差的收敛性的数值例子。
2021-09-07 stat.CO
Combining Normalizing Flows and Quasi-Monte Carlo
本文提出将拟蒙特卡洛采样与归一化流相结合，用拟蒙特卡洛采样流的初始分布，实验表明该组合估计量方差显著低于经典蒙特卡洛采样。
2024-01-11 stat.CO stat.ML
Likelihood-free Markov chain Monte Carlo
出现在MCMC手册中，S。P. Brooks，A. Gelman，G.琼斯和X L. Meng（eds），Chapman & Hall.
2010-01-13 stat.ME
On the use of Markov chain Monte Carlo methods for the sampling of mixture models
本文研究了离散和连续随机变量混合模型中不同数据增广型马尔可夫链蒙特卡罗算法的渐近性质。我们特别感兴趣的是从连续分量的条件分布中采样给定离散分量是不可行的情况。在这种情况下，我们投Carlin和Chib的伪先验方法的框架下的混合模型，并讨论和比较不同的变种，这个计划。我们提出了一种新的算法，FCC采样器，这是计算要求低于任何大都市卡林和Chib型算法。然而，计算效率的显着增益是以一些渐近方差为代价获得的。利用文献[3]中得到的一些最新结果，对根据两种不同的可逆马尔可夫转移核交替演化的非齐次马尔可夫链，从理论上和数值上研究了算法相对于替代方案的性能。
2014-04-03 stat.CO
Multivariate initial sequence estimators in Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种模拟方法，通常用于估计关于给定分布的期望。本文考虑估计样本均值向量的渐近多元正态分布的协方差阵。Geyer（1992）开发了一种用于估计单变量均值的蒙特卡罗误差估计方法。我们提出了一种新的多元版本的Geyer的方法，提供了一个渐近有效的估计的协方差阵和稳定的蒙特卡罗估计的结果。通过仿真实验研究了该方法的有限样本性质。
2017-06-02 stat.ME
On the effective dimension and multilevel Monte Carlo
我考虑在$d$维单位立方体上积分函数$f$的问题。我描述了一个多层次的蒙特卡罗方法，估计在最多$ε^{2}$在$O(d+\ln(d)d_{t}ε^{-2})$时间，为$ε>0$，其中$d_{t}$是截断维数的$f$的积分方差。相比之下，标准蒙特卡罗方法通常在$O(dε^{-2})$时间内实现这种变化。给出了一类多层蒙特卡罗方法$d+d_{t}ε^{-2}$阶数下界。
2021-11-05 cs.NA math.NA stat.CO
Monte Carlo Methods in Statistics
蒙特卡罗方法现在是统计学家工具箱的重要组成部分，对于研究生来说，它比它们所基于的测量理论概念更熟悉！我们在本说明中回顾了蒙特卡罗技术在统计学中的应用设计方面所取得的一些进展，并参考了Robert和Casella（2004，2010）的深入报道。
2009-09-02 stat.CO
Error estimation for quasi-Monte Carlo
本文介绍了量化拟蒙特卡罗估计误差的新旧方法，指出获取精度与估计精度之间的冲突及不确定性量化过于保守的挑战，并发现RQMC估计的近对称分布有望构建无需中心极限定理或一致方差估计的置信区间。
2025-07-15 cs.NA math.NA stat.CO
Rare Events via Cross-Entropy Population Monte Carlo
提出了一种基于交叉熵的群体蒙特卡罗算法。这种方法与之前的工作不同，因为我们没有优化混合分布。相反，我们利用确定性的混合权重，并通过重新解释交叉熵方法的典型推导来单独优化分布。数值算例表明，该算法的性能优于现有的种群蒙特卡罗方法，特别是对高维问题。
2021-10-12 stat.CO
Deterministic and quasi-random sampling of optimized Gaussian mixture distributions for vibronic Monte Carlo
最近表明，路径积分Monte Carlo可用于直接计算具有振动耦合的哈密顿量的配分函数[J. Chem. Phys. 148，194110（2018）]。虽然重要抽样蒙特卡罗积分方案是成功的，但它需要许多样本来减少随机误差，并且需要手动构建每个系统的抽样分布。我们解决这些问题，通过使用确定性的成分选择高斯混合分布（GMD），引入准随机数的蒙特卡洛采样，并自动优化GMD参数，以获得一个改进的采样分布。我们证明了我们的方法使用振动模型系统的有效性，但这些方法在原则上广泛适用于一般的Monte Carlo采样GMD。
2019-12-25 physics.chem-ph physics.comp-ph
Grand-canonical Monte-Carlo simulation of solutions of salt mixtures: theory and implementation
本文提出了一种扩展到模拟混合盐的巨正则蒙特卡罗模拟方法。由于电解质溶液的电中性要求，离子必须成组地添加到系统中或从系统中去除。与常规的Grand Canonical模拟相比，这导致了一些复杂性。本文提出了一种模拟混合盐电解质溶液的配方。然后利用原始离子模型模拟了1：1、2：1和2：2盐或其混合物在不同浓度下的溶液。的电解质溶液的渗透压的计算和线性依赖于模拟的浓度范围内的盐浓度。我们还表明，在相同浓度的二价阴离子，二价阳离子的存在下，更容易插入一价阳离子到系统中。这可以解释在MgCl $_2$盐混合物和MgSO $_4$盐混合物的实验中观察到的一些定量差异。
2017-05-24 cond-mat.soft cond-mat.stat-mech physics.chem-ph
Monte Carlo simulations of glass-forming liquids beyond Metropolis
本文在三维多分散硬球模型中比较多种蒙特卡罗算法，发现局部Metropolis最慢，集体移动或打破细致平衡可提升采样效率，并指出蒙特卡罗仍是计算过冷液体低温性质的高效通用工具。
2024-09-20 cond-mat.dis-nn cond-mat.soft cond-mat.stat-mech
Brownian Bridge for Coherent State Path Integral Monte Carlo
Università di Trieste（的里雅斯特大学）
该研究针对相干态路径积分蒙特卡罗算法提出新的布朗桥构造，用于低温非零温度下平面氦流体热力学性质计算，结果与传统方法吻合良好。
2026-07-13 cond-mat.mtrl-sci cond-mat.stat-mech physics.chem-ph
Hybrid Auxiliary Field Quantum Monte Carlo for Molecular Systems
本文提出融合变分蒙特卡洛优化与辅助场量子蒙特卡洛传播的混合方法，以缓解符号问题并高精度求解分子电子基态。
2023-04-20 physics.chem-ph physics.comp-ph quant-ph
QWalk: A Quantum Monte Carlo Program for Electronic Structure
我们描述QWalk，一个新的计算软件包能够进行量子蒙特卡罗电子结构计算的分子和固体与许多电子。我们描述了该程序的结构和量子蒙特卡罗方法的实现。它是开源的，在GPL下许可，可以在网站http://www.qwalk.org上获得
2007-10-23 physics.atm-clus physics.chem-ph physics.comp-ph
Comment on "Monte Carlo Simulation of a First-Order Transition"
我们对Hao和Scheraga最近的一篇文章进行评论。
1994-11-11 chem-ph physics.chem-ph
Excited-state diffusion Monte Carlo calculations: a simple and efficient two-determinant ansatz
我们使用一个简单而有效的波函数模拟器进行激发态变分蒙特卡罗和扩散蒙特卡罗计算。该模型遵循最近的响应后变分形式主义，准确地近似配置相互作用单波函数的总和只有两个非正交的斯莱特行列式，并进一步包括重要的轨道松弛。该模型用于进行扩散蒙特卡罗计算与大型增广基集，比较基准从近精确的量子化学方法。论证了轨道优化在激发态扩散蒙特卡罗中的重要性，并详细讨论了激发态优化的具体步骤。除了甲醛亚胺和苯甲腈分子外，还研究了水和甲醛中的扩散激发态。
2018-12-10 cond-mat.str-el physics.chem-ph
