Stratified Monte Carlo simulation of Markov chains
我们提出了几个Monte Carlo策略模拟离散时间马尔可夫链与连续多维状态空间,我们专注于分层技术。我们首先分析的单位超立方体中包含的域的测量的计算的方差,当使用分层样本。然后,我们表明,马尔可夫链的模拟的每一步可以减少到单位超立方体的子域的指示函数的数值积分。我们的方法马尔可夫链模拟N个副本的链并行使用分层抽样和副本排序后,每一步,根据其连续的坐标。我们分析方差减少欧式和亚式期权定价的例子:分层策略的效率提高。
2016-03-21 math.ST stat.TH
Upper and lower bounds on the subgeometric convergence of adaptive Markov chain Monte Carlo
Texas A&M University(德克萨斯农工大学);University of Toronto(多伦多大学)
研究自适应MCMC在任何自适应策略下次几何收敛的下界,并在自适应充分快时给出匹配的上界,揭示自适应策略的最优设计及收敛行为限制。
2026-06-23 math.ST stat.TH
Fixed-width output analysis for Markov chain Monte Carlo
马尔可夫链蒙特卡罗是一种产生相关样本的方法,以便通过遍历平均来估计目标分布的特征。一个基本问题是什么时候应该停止采样?也就是说,什么时候遍历平均值是期望量的好估计?我们考虑一种方法,停止模拟时,基于遍历平均值的置信区间的宽度是小于用户指定的值。因此,计算蒙特卡罗标准误差是评估模拟输出的关键步骤。我们考虑估计渐近正态分布方差的再生模拟法和批平均法。我们给出了这两种方法强相合的充分条件,并在各种例子中研究了它们的有限样本性质。
2006-01-18 math.ST stat.TH
Consistency of Markov chain quasi-Monte Carlo on continuous state spaces
驱动马尔可夫链蒙特卡罗(MCMC)模拟的随机数通常被建模为独立的U(0,1)随机变量。Tribble [使用完全均匀分布驱动序列的马尔可夫链蒙特卡罗算法(2007)斯坦福大学]报告了当这些随机数被来自完全均匀分布的序列的仔细平衡的输入所取代时的实质性改进。之前理论上证明使用i.i.d.以外的任何东西的理由。U(0,1)点显示了估计均值的一致性,但仅适用于离散平稳分布。我们将这些结果扩展到连续平稳分布的MCMC算法。主要的动机是寻找拟蒙特卡罗方法版本的MCMC。作为一个附带的好处,结果也建立了一致性的常用方法,使用伪随机数代替随机数。
2011-05-10 math.ST stat.TH
Convergence Bounds for Monte Carlo Markov Chains
本文为新手介绍马尔可夫链蒙特卡洛的收敛分析,重点通过耦合方法和基于电导与等周不等式的L2理论构建链分布与平稳分布间距离的界,并讨论识别缓慢收敛的策略。
2024-09-23 math.PR math.ST stat.TH
A Short Review of Ergodicity and Convergence of Markov chain Monte Carlo Estimators
这篇短文回顾了量化马尔可夫链蒙特卡罗估计的渐近收敛和前渐近收敛的基本理论。
2021-10-13 math.PR math.ST stat.ME
Markov Chain Monte Carlo Estimation of Quantiles
我们考虑分位数估计使用马尔可夫链蒙特卡罗和建立条件下的抽样分布的蒙特卡罗误差是近似正态的。此外,我们研究技术来估计相关的渐近方差,这使得建设一个渐近有效的区间估计。最后,我们通过实例探讨了这些方法的有限样本性质,并为从业者提供了一些建议。
2014-09-30 math.ST stat.CO stat.TH
Constrained Monte Carlo Markov Chains on Graphs
本文提出了一种新的理论蒙特卡罗马尔可夫链程序的框架图。它具体涉及的马尔可夫链的经验分布收敛到一个给定的参考一个建设。马尔可夫链被约束在一个底层图上,使得状态被视为顶点,并且两个状态之间的转移只有在存在连接它们的边时才具有正概率。分析的基础上进行的目标分布的支持度和图的连通性之间的关系。
2019-06-28 math.PR math.ST stat.TH
Weighted batch means estimators in Markov chain Monte Carlo
本文提出了一类加权批均值方差估计量,它具有计算效率高,便于实际应用的特点。重点是马尔可夫链蒙特卡罗模拟和马尔可夫链中心极限定理中渐进协方差阵的估计,其中提供了确保强一致性的条件。有限样本的性能进行评估,通过自回归,贝叶斯时空,贝叶斯逻辑斯谛回归的例子,其中新的估计显示出显着的计算增益与现有的方法相比,在方差较小的牺牲。
2018-05-21 math.ST stat.CO stat.TH
Weak consistency of Markov chain Monte Carlo methods
马尔可夫链蒙特卡罗方法(MCMC)是贝叶斯统计中常用的方法。在过去的二十年中,许多结果已经建立了精确的计算收敛速度的MCMC方法。我们引入了另一个收敛速率的MCMC方法的近似技术。这个速率可以通过将马尔可夫链收敛到一个扩散过程而得到。我们将其应用到一个简单的混合模型,并得到了它的收敛速度。进行了数值模拟以说明速率的影响。
2013-09-25 math.ST stat.ME stat.TH
Peskun-Tierney ordering for Markov chain and process Monte Carlo: beyond the reversible scenario
从历史上看,支持马尔可夫链蒙特卡罗方法(MCMC)的过渡或过程的时间可逆性在其发展中发挥了关键作用,而相关算子的自伴性以及在希尔伯特空间上使用经典的泛函分析技术已经导致了强大的和实际上成功的工具来表征和比较它们的性能。依赖于不可逆马尔可夫过程的算法类似的结果是罕见的。我们表明,对于一种类型的不可逆蒙特卡罗马尔可夫链和过程,当前或重新感兴趣的物理和统计文献中,它是可能的开发比较结果,密切反映那些可在可逆的情况。我们表明,这些结果揭示了早期的文献,证明了一些假设,并加强了一些早期的结果。
2019-06-14 math.PR math.ST stat.TH
Markov Chain Monte Carlo: Can We Trust the Third Significant Figure?
可以改进目前基于马尔可夫链蒙特卡罗计算的结果报告。特别是,很少报告由此产生的估计数的准确性。因此,我们几乎没有能力客观地评估所报告的估计数的质量。我们解决这个问题,我们讨论了为什么蒙特卡洛标准误差是重要的,他们如何可以很容易地计算在马尔可夫链蒙特卡洛和他们如何可以用来决定何时停止模拟。我们比较他们的使用,一个流行的替代方案的上下文中的两个例子。
2008-09-09 math.ST stat.CO stat.TH
Cores for Piecewise-Deterministic Markov Processes used in Markov Chain Monte Carlo
我们展示了最近提出的MCMC算法的马尔可夫半群的基本性质,基于分段确定性马尔可夫过程(PDMP),如弹性粒子采样器,锯齿形过程或随机化的哈密顿蒙特卡罗方法。在MCMC设置通常满足的假设下,我们证明了PDMP是费勒和他们的生成器承认空间的无限可微函数作为一个核心的紧支持。正如我们所示,通过鞅问题和简化的目标分布的不变性证明,这些结果提供了一个基本的工具,这些算法和相应的随机过程的严格分析。
2022-12-31 math.PR math.ST stat.CO
A non-asymptotic error analysis for parallel Monte Carlo estimation from many short Markov chains
针对单链马尔可夫蒙特卡洛模拟长度大、难以并行的问题,提出多短链蒙特卡洛估计量,在两种漂移条件下完成非渐近误差分析,并通过实验验证了其实证性能。
2024-01-31 math.ST stat.CO stat.TH
Markov chain Monte Carlo methods for the Box-Behnken designs and centrally symmetric configurations
我们考虑马尔可夫链蒙特卡罗方法计算条件p值的统计模型计数数据中出现的Box-Behnken设计。我们考虑的统计模型是响应曲面法中一阶模型的离散版本。在我们的模型中,Markov基是构造样本空间上连通马尔可夫链的关键概念,它被刻画为根系D_n的中心对称构形的环面理想的生成元.我们展示了这些情况下的Groebner基地的结构。给出了一个虚数据集的数值例子。
2015-02-09 math.AC math.ST stat.TH
Ergodicity of Markov chain Monte Carlo with reversible proposal
我们描述了一些Metropolis-Hastings(MH)算法的遍历性质的重尾目标分布。分析通常属于亚几何遍历框架,但我们证明了混合预处理Crank-Nicolson(MpCN)算法具有几何遍历性,即使是重尾目标分布。这个有用的属性来自于MpCN算法在适当的变换下变成随机行走Metropolis算法的事实。
2016-02-09 math.ST stat.ME stat.TH
Understanding Linchpin Variables in Markov Chain Monte Carlo
介绍了关键变量在马尔可夫链蒙特卡罗(MCMC)中的应用。在MCMC方法被广泛采用之前,使用关键变量的条件抽样基本上是模拟多变量分布的唯一实用方法。随着MCMC的出现,关键变量在很大程度上被忽略了。然而,人们对将它们与MCMC方法结合使用的兴趣重新抬头,并且这样做有很好的理由。一个简单的推导方法,其有效性,优点和局限性进行了讨论,并在研究文献中的一些例子。
2022-10-24 math.ST stat.CO stat.TH
Some things we've learned (about Markov chain Monte Carlo)
本文提供了一个人的一些事情,我们已经了解到的收敛速度的马尔可夫链,他们的平稳分布的审查。主要议题是加速扩散行为的方法。它还指出了一些悬而未决的问题,以及还有多少工作要做。
2013-09-30 math.PR math.ST stat.TH
Markov chain Monte Carlo methods for the regular two-level fractional factorial designs and cut ideals
已知图$G$的二元图模型的马尔可夫基对应于$G$的悬置$\widehat{G}$的割理想$I_{\widehat{G}}$的二项式生成元的集合。本文给出了割理想在统计中的另一个应用。证明了截理想的一组二项式生成元是某些正则两水平部分因子设计的马氏基。作为应用,我们给出了至多由两个关系定义的设计的二次马尔可夫基。
2013-02-12 math.AC math.ST stat.TH
Multivariate strong invariance principles in Markov chain Monte Carlo
本文利用宽义再生性质,在无需1步小化条件下建立了多项式和几何遍历马尔可夫链的多元强不变性原理,并给出紧致显式收敛速率,为方差估计量的强一致性验证提供理论支撑。
2023-03-29 math.PR math.ST stat.CO
Fluctuations of Interacting Markov Chain Monte Carlo Methods
本文给出了求解非线性测度值方程的一类相互作用的马尔可夫链Monte Carlo算法的多元中心极限定理。这些算法产生的随机过程,属于类的非线性马尔可夫链与他们的经验占领措施相互作用。我们开发了一个原始的理论分析的基础上,预解算子和半群技术来分析他们的占领措施的波动在其极限值。
2012-01-02 math.PR math.ST stat.CO
Fast Markov Chain Monte Carlo Algorithms via Lie Groups
从李群的基本考虑,保留了目标的概率测度,我们得到的巴克,大都会,和合奏马尔可夫链蒙特卡罗(MCMC)算法,以及废物回收大都会黑斯廷斯和一个全新的MCMC算法的变体。我们用明确的数值计算来说明这些结构,并且我们在自旋玻璃上凭经验证明新算法比它的兄弟姐妹收敛得更快。
2020-01-27 math.GR math.RA math.ST
Kernel estimators of asymptotic variance for adaptive Markov chain Monte Carlo
研究了一类自适应马尔可夫链渐近方差(或长期方差)核估计的渐近性态。收敛性研究都在$L^p$和几乎必然。结果也适用于马尔可夫链和改进现有的文献中施加较弱的条件。我们说明的结果与应用程序的$\operatorname {GARCH}(1,1)$马尔可夫模型和贝叶斯逻辑斯谛回归的自适应MCMC算法。
2011-05-16 math.PR math.ST stat.CO
Discrepancy estimates for variance bounding Markov chain quasi-Monte Carlo
The University of New South Wales(新南威尔士大学);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
本文研究了由确定性序列驱动的方差限制马尔可夫链准蒙特卡洛方法的效率,定义了驱动序列的回溯偏差,并证明了存在确定性驱动序列使偏差以蒙特卡洛速率n^1/2衰减,同时提供了误差估计示例。
2014-12-02 cs.NA math.NA math.ST
A calculus for Markov chain Monte Carlo: studying approximations in algorithms
本文提出马尔可夫链蒙特卡洛微积分,通过定义 MCMC 核关于不变分布的导数及均值不等式,为分析和证明使用不变分布近似的交互式与序贯 MCMC 算法收敛性提供统一框架。
2024-09-30 math.PR math.ST stat.CO
Computation of expectations by Markov chain Monte Carlo methods
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
本文探讨了马尔可夫链蒙特卡洛方法在计算积分和期望中的误差界、烧入期选择规则、高维问题及可处理性与维度灾难的对比。
2014-09-08 cs.NA math.NA math.PR
Supplement to "Markov Chain Monte Carlo Based on Deterministic Transformations"
这是对文章“基于确定性变换的马尔可夫链蒙特卡罗”的补充,可在http://arxiv.org/abs/1106.5850上获得
2013-06-28 stat.CO
Discrepancy bounds for uniformly ergodic Markov chain quasi-Monte Carlo
The University of New South Wales(新南威尔士大学)
针对一致遍历马尔可夫链,使用确定性驱动序列替代独立均匀随机变量,证明了样本经验分布与目标分布之间的差异上界,并表明存在驱动序列使差异以接近n^{-1/2}的蒙特卡洛速率收敛。
2016-01-15 cs.NA math.NA math.ST
Sweave Documentation for "Implementing Markov chain Monte Carlo: Estimating with confidence"
该文件是Flegal,J.M. Jones,G. L.(2010),“Implementing马尔可夫链蒙特卡罗:Estimating with confidence”,in Handbook of马尔可夫链蒙特卡罗,edited by Brooks,S.,Gelman,A.,琼斯,G.,和Meng,X.出版社:Chapman & Hall/CRC Press
2010-06-24 stat.OT
Piecewise Deterministic Markov Processes for Continuous-Time Monte Carlo
最近有令人兴奋的发展,在蒙特卡罗方法,与新的MCMC和序贯蒙特卡罗(SMC)算法的发展是基于连续时间,而不是离散时间,马尔可夫过程。这导致了一些全新的蒙特卡罗算法,可以用来从后验分布中进行采样。有趣的是,连续时间算法似乎特别适合大数据环境中的贝叶斯分析,因为它们在每次迭代时只需要访问一小部分数据点,但仍然可以保证以真实的后验分布为目标。虽然连续时间MCMC和SMC方法已经独立开发,我们在这里表明,它们是相关的事实,都涉及到模拟一个分段确定性的马尔可夫过程。此外,我们表明,迄今为止开发的方法只是一个潜在的更广泛的一类连续时间蒙特卡罗算法的具体情况。我们给出了一个非正式的介绍分段确定性马尔可夫过程,涵盖这些新的蒙特卡罗算法的相关方面,以期使新的连续时间蒙特卡罗的发展更容易。我们专注于如何以及为什么子采样的想法可以与这些算法一起使用,并旨在深入了解这些新算法可以如何实现,以及影响其效率的一些问题。
2016-11-23 math.ST stat.CO stat.ME
The Convergence of Markov chain Monte Carlo Methods: From the Metropolis method to Hamiltonian Monte Carlo
从20世纪50年代开始到应用统计学的现代前沿,马尔可夫链蒙特卡罗一直是统计计算中最普遍和最成功的方法之一。在这段时间里,它的发展受到越来越困难的问题和物理学新技术的推动。在这篇文章中,我将回顾马尔可夫链蒙特卡罗的历史,从一开始的大都会方法,今天的国家的最先进的哈密顿蒙特卡罗。在此过程中,我将专注于该方法的统计和物理观点之间不断发展的相互作用。
2018-01-10 physics.hist-ph stat.ME
Dimension-independent Markov chain Monte Carlo on the sphere
本文针对高维球面上的贝叶斯分析,提出通过将采样问题提升到环境希尔伯特空间并利用线性空间维度无关采样器,构造球面上具有可逆性和谱间隙性质的马尔可夫链蒙特卡罗方法,数值实验验证了其维度无关的高效性。
2023-03-23 cs.NA math.NA math.PR
Likelihood-free Markov chain Monte Carlo
出现在MCMC手册中,S。P. Brooks,A. Gelman,G.琼斯和X L. Meng(eds),Chapman & Hall.
2010-01-13 stat.ME
Coupling Control Variates for Markov Chain Monte Carlo
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Department of Mathematics, University of Arizona(亚利桑那大学数学系)
提出利用马尔可夫耦合作为控制变量,在稳态分布未知时提高MCMC计算精度,并通过非平衡输运模型验证。
2008-09-12 cs.NA math.NA physics.comp-ph
Information-geometric Markov Chain Monte Carlo methods using Diffusions
最近的工作纳入几何思想的马尔可夫链蒙特卡罗进行审查,以突出这些进展和它们可能的应用范围超出统计领域。马尔可夫链及其在统计推断和分子动力学的蒙特卡罗模拟中的应用的充分阐述,特别强调基于朗之万扩散的方法。然后介绍了马尔可夫链蒙特卡罗中的几何概念。给出了黎曼流形上朗之万扩散的一个完整的推导过程,并讨论了在不同的问题中如何选择合适的黎曼度量。提供了一个调查的应用程序,并讨论了一些悬而未决的问题。
2014-04-18 stat.CO stat.ME
Interacting Particle Markov Chain Monte Carlo
我们介绍了相互作用粒子马尔可夫链蒙特卡罗(iPMCMC),PMCMC方法的基础上的标准和条件序贯蒙特卡罗采样器的相互作用池。与相关方法一样,iPMCMC是扩展空间上的马尔可夫链蒙特卡罗采样器。我们目前的实证结果表明,显着改善的混合率相对于两个非相互作用的PMCMC采样器,和一个单一的PMCMC采样器具有相同的内存和计算预算。iPMCMC方法的另一个优点是它适用于分布式和多核架构。
2017-04-12 stat.CO stat.ML
A note on one of the Markov chain Monte Carlo novice's questions
我们介绍了一种新的时间齐次马尔可夫嵌入的一类时间非齐次马尔可夫链广泛使用的背景下,蒙特卡罗采样算法,使我们能够回答一个最基本的,但很难,这些技术的实际实施的问题。我们还表明,这种嵌入揭示了[#maire-douc-olsson 2013]最近的结果。我们将讨论该技术的进一步应用。
2015-04-14 stat.CO
Multivariate initial sequence estimators in Markov chain Monte Carlo
马尔可夫链蒙特卡罗(MCMC)是一种模拟方法,通常用于估计关于给定分布的期望。本文考虑估计样本均值向量的渐近多元正态分布的协方差阵。Geyer(1992)开发了一种用于估计单变量均值的蒙特卡罗误差估计方法。我们提出了一种新的多元版本的Geyer的方法,提供了一个渐近有效的估计的协方差阵和稳定的蒙特卡罗估计的结果。通过仿真实验研究了该方法的有限样本性质。
2017-06-02 stat.ME
An introduction to computational complexity in Markov Chain Monte Carlo methods
介绍了马尔可夫链蒙特卡罗方法的理论背景和计算复杂性。大多数与收敛性相关的数学结果在大多数统计参考文献中都没有找到,并且计算复杂度对于大多数MCMC方法来说仍然是一个悬而未决的问题。在这项工作中,我们提供了一个总体概述,参考文献,并讨论所有这些理论课题。
2020-04-14 stat.CO
A Markov Jump Process for More Efficient Hamiltonian Monte Carlo
在大多数采样算法中,包括哈密顿蒙特卡罗,状态之间的转换速率对应于在单个时间步长中进行转换的概率,并且被约束为小于或等于1。我们推导出一个哈密顿蒙特卡罗算法使用连续时间马尔可夫跳过程,从而能够逃脱这个约束。马尔可夫跳跃过程中的转移率只需要是非负的。我们表明,新算法导致改进的混合几个例子的问题,通过评估马尔可夫算子的谱间隙,并通过计算作为计算时间的函数的自相关。我们将该算法作为开源Python包发布。
2015-10-11 stat.CO stat.ML
A method for importance sampling through Markov chain Monte Carlo with post sampling variational estimate
我们提出了一种方法来有效地整合截断概率密度。该方法采用马尔可夫链蒙特卡罗方法从与被积分函数相匹配的概率密度中采样。通过构造具有已知积分的函数,通过非参数核密度估计和变分过程,获得所需的归一化或等价的结果。数值算例表明了该方法的有效性。可能的增强方法和限制进行了讨论。
2013-12-06 stat.CO
Discussion of "Unbiased Markov chain Monte Carlo with couplings" by Pierre E. Jacob, John O'Leary and Yves F. Atchadé
这是对Pierre E.放大图片作者:Jacob,John O'Leary,Yves F. Atchadé将出现在皇家统计学会B系列杂志上。
2020-01-20 stat.ME
Parallel Markov Chain Monte Carlo
马尔可夫链蒙特卡罗算法是一种本质上串行的算法。虽然单个步骤的似然计算有时可以并行化,但该过程的串行演化被广泛认为与并行化不兼容,无法为需要大量迭代才能收敛到平衡的采样器提供加速。我们提供了一种方法,并行马尔可夫链蒙特卡罗在大量的独立,异步处理器。我们的方法使用分区和权重估计方案,将独立的模拟运行在不同的处理器上,严格的蒙特卡罗估计。该方法最初的动机是对多模态目标分布进行采样,在那里我们看到运行时间的指数加速。然而,我们表明,该方法是通用的,适用于所有的马尔可夫链蒙特卡罗模拟,并证明加速比的数量成正比的可用处理器的缓慢混合链单峰目标分布。该方法简单,易于实施,并为进一步研究提出了其他方向。
2013-12-28 stat.CO
Comments on "Particle Markov chain Monte Carlo" by C. Andrieu, A. Doucet, and R. Hollenstein
这是我们提交给英国皇家统计学会杂志B辑的评论汇编,将在Andrieu,Doucet和Hollenstein的阅读论文的讨论中发表。
2009-11-05 stat.CO stat.ME
Nonreversible Markov chain Monte Carlo algorithm for efficient generation of Self-Avoiding Walks
我们引入了一个有效的不可逆马尔可夫链蒙特卡罗算法来生成具有可变端点的自避免行走。在二维情况下,新算法的性能略优于H.~呼,X。Chen和Y.~邓在\cite{old},而三维行走,它是3- 5倍快。新算法引入了服从全局平衡的不可逆马尔可夫链,并允许在现有的自避免行走上进行三种类型的基本移动:缩短,延长或改变构象而不改变行走的长度。
2021-12-10 cond-mat.stat-mech cs.IT math.IT
Lagged couplings diagnose Markov chain Monte Carlo phylogenetic inference
系统发育推断是复杂空间上的一个棘手的统计问题。马尔可夫链蒙特卡罗方法是贝叶斯系统发育推断的主要工具,但它是具有挑战性的,以构建有效的计划,探索相关的后验分布或评估其性能。现有的方法是无法诊断混合或收敛的马尔可夫计划联合在所有组件的系统发育模型。马尔可夫链蒙特卡罗算法的滞后耦合最近被发展到更简单的空间上,以诊断收敛性和构造无偏估计量。我们描述了一个收缩耦合的马尔可夫链的目标后验分布的分支长度,标量参数和潜变量的系统发育树的空间。我们使用这些耦合,以评估混合和收敛的马尔可夫链联合在所有组件的系统发育模型的树木多达200片叶子。从我们的耦合链的样本也可以用来构建无偏估计量。
2022-10-08 stat.AP stat.ME
On the use of approximate Bayesian computation Markov chain Monte Carlo with inflated tolerance and post-correction
近似贝叶斯计算允许使用模型模拟来推断具有棘手可能性的复杂概率模型。近似贝叶斯计算的马尔可夫链蒙特卡罗实现通常对容差参数敏感:低容差导致不良混合,大容差导致过度偏差。我们考虑一种方法,使用一个相对较大的公差的马尔可夫链蒙特卡罗采样器,以确保其充分的混合,和后处理的输出导致估计的范围内更精细的公差。我们引入了一个近似的置信区间相关的后校正估计,并提出了一个自适应的近似贝叶斯计算马尔可夫链蒙特卡罗,找到一个“平衡”的容忍度自动水平,接受率优化的基础上。我们的实验表明,基于后处理的估计器可以执行更好的比直接马尔可夫链瞄准一个很好的公差,我们的置信区间是可靠的,我们的自适应算法导致可靠的推理与用户规格很少。
2019-05-16 stat.CO
A Common Derivation for Markov Chain Monte Carlo Algorithms with Tractable and Intractable Targets
马尔可夫链蒙特卡罗(Markov chain Monte Carlo)是一类从高维目标密度中抽取马尔可夫样本来近似计算统计期望的数值积分的算法,特别是在贝叶斯统计中。然而,许多马尔可夫链蒙特卡罗算法似乎并不共享相同的理论支持,每个算法都以不同的方式证明。这导致了许多术语和辅助概念,这使得马尔可夫链蒙特卡罗文献似乎是分散的,并恐吓来自许多其他领域的研究人员,包括贝叶斯统计的新研究人员。利用一个随机数发生器和一个自逆映射构造了梅特罗波利斯-黑斯廷斯算法的一个推广版本。这个公式承认许多其他马尔可夫链蒙特卡罗算法作为特殊情况。许多马尔可夫链蒙特卡罗算法的一个共同的推导在绘制这些算法之间的联系和比较时是有用的。因此,我们现在可以构建多个马尔可夫链蒙特卡罗算法的许多新组合,这些组合放大了每个单独算法的效率。具体来说,我们提出了两个新的采样方案,结合切片采样方向或哈密顿采样。我们的哈密顿切片采样方案也适用于伪边缘背景下,目标密度是棘手的,但可以无偏估计,例如,使用粒子滤波。
2018-03-25 stat.CO
A Parallel Evolutionary Multiple-Try Metropolis Markov Chain Monte Carlo Algorithm for Sampling Spatial Partitions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Oak Ridge National Laboratory(橡树岭国家实验室)
我们开发了一个进化的马尔可夫链蒙特卡罗(EMCMC)算法采样的空间分区,位于一个大而复杂的空间状态空间。我们的算法结合了进化算法(EAs)的优点,作为状态空间遍历的优化算法和马尔可夫链蒙特卡罗算法的理论收敛性从未知分布的采样。局部最优信息,通过定向搜索确定我们的优化启发式是用来自适应更新马尔可夫链在一个有前途的方向内的框架内的多尝试大都会马尔可夫链模型,采用了广义的Metropolis-Hasting比。我们进一步扩大了我们的EMCMC算法的范围,通过利用大规模并行架构提供的计算能力,通过集成的并行EA框架,引导马尔可夫链并行运行。
2020-07-22 cs.AI stat.CO
Ensemble preconditioning for Markov chain Monte Carlo simulation
University of Chicago(芝加哥大学);University of Edinburgh(爱丁堡大学)
本文提出并行马尔可夫链蒙特卡洛方法,通过集体路径集合和邻近副本计算的局部协方差信息,消除乘性噪声并稳定动态,解决高维各向异性采样问题。
2016-07-13 cs.NA math.NA stat.CO
Curved Markov Chain Monte Carlo for Network Learning
Imperial College London(伦敦帝国学院);ORT Braude College of Engineering(ORT Braude工程学院)
基于图上定义的离散曲率测度,提出了一种几何增强的网络马尔可夫链蒙特卡罗采样器。具体来说,我们将图形福尔曼曲率的概念纳入到网络的节点和边缘上的采样过程中,通过马尔可夫链的转移概率,以及隐式地,通过目标平稳分布,这给出了一种新的,弯曲的马尔可夫链蒙特卡罗方法来学习网络。我们表明,将曲率集成到采样器中会导致更快地收敛到从真实世界数据中提取的确定性网络上展示的各种网络统计数据。
2021-10-11 cs.LG stat.CO stat.ML
Piecewise Deterministic Markov Processes for Scalable Monte Carlo on Restricted Domains
分段确定性蒙特卡罗算法允许从后验分布进行模拟,同时在每次迭代时仅需要访问数据的子样本。我们将展示如何在参数位于受限域的设置中实现它们。
2018-02-17 stat.CO stat.ME
Markov Chain Monte Carlo Methods, a survey with some frequent misunderstandings
在本章中,我们回顾了贝叶斯计算中使用的一些最标准的MCMC工具,以及第一作者在论坛上交叉验证回答的问答中对这些方法的标准误解的小插曲。
2020-01-17 stat.CO
Locally weighted Markov chain Monte Carlo
我们提出了一个加权方案的建议内马尔可夫链蒙特卡罗算法,并显示如何这可以提高统计效率,没有额外的计算成本。这些方法在与多提议MCMC算法(如多尝试Metropolis)结合时是最强大的,它可以有效地利用具有大量核心的现代计算机架构。局部加权的马尔可夫链蒙特卡罗方法还通过Rao-Blackwellization改进了梅特罗波利斯-黑斯廷斯算法的部分并行化。我们推导出我们的算法的输出的有效样本量,并显示如何在实践中估计这一点。文中给出了该方法的说明和实例,并与现有方法在理论和应用上进行了比较。
2015-06-29 stat.CO