Markov chain Monte Carlo test of toric homogeneous Markov chains
马尔可夫链模型用于各种领域,例如行为科学或计量经济学。虽然模型的拟合优度通常通过大样本近似来评估,但如果样本量不大,则最好使用条件检验。研究了复曲面齐次马尔可夫链模型的条件检验的马尔可夫基,该模型是通常齐次马尔可夫链模型的包络指数族。我们给出了以下情况下的马尔可夫基的完整描述:i)两个状态,任意长度,ii)任意有限状态空间和长度为3。一般情况仍然是一种推测。我们还提出了一个数值例子的条件测试的基础上,我们的马尔可夫基础。
2010-08-04 math.ST stat.TH
Quasi continuous level Monte Carlo for random elliptic PDEs
本文提出拟连续水平蒙特卡洛方法,用拟蒙特卡洛序列生成指数分布随机变量,显著降低方差,在随机椭圆偏微分方程示例中明显优于多水平和连续水平蒙特卡洛。
2023-10-12 cs.NA math.NA math.PR
Sequential Markov Chain Monte Carlo
我们提出了一个顺序的马尔可夫链蒙特卡罗(SMCMC)算法,从一个序列的概率分布,对应于后验分布在不同的时间在在线应用中进行采样。SMCMC与通常的MCMC一样进行,但每次新数据到达时都会适当更新静态分布。SMCMC在避免粒子简并问题方面优于顺序蒙特卡罗(SMC)。我们提供了理论保证SMCMC的边际收敛在各种设置下,包括参数和非参数模型。所提出的方法相比,竞争对手在模拟研究。我们还考虑了在线非参数回归的应用。
2013-08-18 math.ST stat.TH
Multilevel Monte Carlo simulation of a diffusion with non-smooth drift
我们表明,Lasso和贝叶斯Lasso是非常接近时,稀疏性是大的,噪声是小的。然后我们提出用多值随机微分方程求解贝叶斯套索。给出了三种离散化算法,并给出了计算蒙特卡罗(MC)、多级蒙特卡罗(MLMC)和MCMC算法的代价的方法。
2015-04-24 math.ST stat.TH
Sequentially interacting Markov chain Monte Carlo methods
序贯蒙特卡罗(SMC)是一种从一系列增加维数的概率分布中近似抽样并估计其归一化常数的方法。我们在这里提出了一种替代方法命名为顺序交互马尔可夫链蒙特卡罗(SIMCMC)。SIMCMC方法的工作原理是产生相互作用的非马尔可夫序列,这些序列的行为渐近地类似于具有所需极限分布的独立Metropolis-Hastings(MH)马尔可夫链。与SMC相反,SIMCMC允许我们以类似MCMC的方式迭代地改进我们的估计。我们建立了现实的可验证的假设下的收敛结果,并证明其性能的贝叶斯时间序列分析中出现的几个例子。
2012-11-12 math.ST stat.TH
Repetition effects in a Sequential Monte Carlo sampler
本文研究了近期为政治选区重划引入的序贯蒙特卡洛(SMC)方法中样本重复现象的普遍性。
2024-09-24 cs.CY math.PR math.ST
Markov chain Monte Carlo tests for designed experiments
我们考虑离散响应变量设计实验中因子效应的条件精确检验。类似于列联表的分析,当大样本近似较差且条件样本空间的枚举不可行时,可以使用马尔可夫链蒙特卡罗方法进行精确检验。对于每次运行具有单个观察的设计实验,我们制定对数线性或逻辑模型,并考虑在适当的样本空间上的连接马尔可夫链。特别是,我们研究了部分析因设计与$2^{p-q}$运行,注意对应的模型$2^{p-q}$列联表。
2006-11-15 math.ST stat.TH
Markov Chain Monte Carlo Estimation of Quantiles
我们考虑分位数估计使用马尔可夫链蒙特卡罗和建立条件下的抽样分布的蒙特卡罗误差是近似正态的。此外,我们研究技术来估计相关的渐近方差,这使得建设一个渐近有效的区间估计。最后,我们通过实例探讨了这些方法的有限样本性质,并为从业者提供了一些建议。
2014-09-30 math.ST stat.CO stat.TH
Weak convergence of adaptive Markov chain Monte Carlo
本文研究了自适应马尔可夫链蒙特卡洛过程的弱收敛性,推导了弱大数定律,并扩展到一般瓦瑟斯坦距离,应用于自回归过程、未调整兰杰文过程和自适应Metropolis-Hastings算法。
2024-12-23 math.ST stat.TH
Fluctuations of Interacting Markov Chain Monte Carlo Methods
本文给出了求解非线性测度值方程的一类相互作用的马尔可夫链Monte Carlo算法的多元中心极限定理。这些算法产生的随机过程,属于类的非线性马尔可夫链与他们的经验占领措施相互作用。我们开发了一个原始的理论分析的基础上,预解算子和半群技术来分析他们的占领措施的波动在其极限值。
2012-01-02 math.PR math.ST stat.CO
Weighted batch means estimators in Markov chain Monte Carlo
本文提出了一类加权批均值方差估计量,它具有计算效率高,便于实际应用的特点。重点是马尔可夫链蒙特卡罗模拟和马尔可夫链中心极限定理中渐进协方差阵的估计,其中提供了确保强一致性的条件。有限样本的性能进行评估,通过自回归,贝叶斯时空,贝叶斯逻辑斯谛回归的例子,其中新的估计显示出显着的计算增益与现有的方法相比,在方差较小的牺牲。
2018-05-21 math.ST stat.CO stat.TH
Weak consistency of Markov chain Monte Carlo methods
马尔可夫链蒙特卡罗方法(MCMC)是贝叶斯统计中常用的方法。在过去的二十年中,许多结果已经建立了精确的计算收敛速度的MCMC方法。我们引入了另一个收敛速率的MCMC方法的近似技术。这个速率可以通过将马尔可夫链收敛到一个扩散过程而得到。我们将其应用到一个简单的混合模型,并得到了它的收敛速度。进行了数值模拟以说明速率的影响。
2013-09-25 math.ST stat.ME stat.TH
Markov Chain Monte Carlo: Can We Trust the Third Significant Figure?
可以改进目前基于马尔可夫链蒙特卡罗计算的结果报告。特别是,很少报告由此产生的估计数的准确性。因此,我们几乎没有能力客观地评估所报告的估计数的质量。我们解决这个问题,我们讨论了为什么蒙特卡洛标准误差是重要的,他们如何可以很容易地计算在马尔可夫链蒙特卡洛和他们如何可以用来决定何时停止模拟。我们比较他们的使用,一个流行的替代方案的上下文中的两个例子。
2008-09-09 math.ST stat.CO stat.TH
A non-asymptotic error analysis for parallel Monte Carlo estimation from many short Markov chains
针对单链马尔可夫蒙特卡洛模拟长度大、难以并行的问题,提出多短链蒙特卡洛估计量,在两种漂移条件下完成非渐近误差分析,并通过实验验证了其实证性能。
2024-01-31 math.ST stat.CO stat.TH
Markov chain Monte Carlo methods for the Box-Behnken designs and centrally symmetric configurations
我们考虑马尔可夫链蒙特卡罗方法计算条件p值的统计模型计数数据中出现的Box-Behnken设计。我们考虑的统计模型是响应曲面法中一阶模型的离散版本。在我们的模型中,Markov基是构造样本空间上连通马尔可夫链的关键概念,它被刻画为根系D_n的中心对称构形的环面理想的生成元.我们展示了这些情况下的Groebner基地的结构。给出了一个虚数据集的数值例子。
2015-02-09 math.AC math.ST stat.TH
Covariance estimation using h-statistics in Monte Carlo and multilevel Monte Carlo methods
本文提出利用 h-statistics 的 MC 与 MLMC 无偏协方差估计方法,以闭式形式构造无偏均方误差,并通过一维随机椭圆 PDE 验证数值效果。
2024-05-08 cs.NA math.NA math.ST
Fast Markov Chain Monte Carlo Algorithms via Lie Groups
从李群的基本考虑,保留了目标的概率测度,我们得到的巴克,大都会,和合奏马尔可夫链蒙特卡罗(MCMC)算法,以及废物回收大都会黑斯廷斯和一个全新的MCMC算法的变体。我们用明确的数值计算来说明这些结构,并且我们在自旋玻璃上凭经验证明新算法比它的兄弟姐妹收敛得更快。
2020-01-27 math.GR math.RA math.ST
Supplement to "Markov Chain Monte Carlo Based on Deterministic Transformations"
这是对文章“基于确定性变换的马尔可夫链蒙特卡罗”的补充,可在http://arxiv.org/abs/1106.5850上获得
2013-06-28 stat.CO
Discrepancy estimates for variance bounding Markov chain quasi-Monte Carlo
The University of New South Wales(新南威尔士大学);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
本文研究了由确定性序列驱动的方差限制马尔可夫链准蒙特卡洛方法的效率,定义了驱动序列的回溯偏差,并证明了存在确定性驱动序列使偏差以蒙特卡洛速率n^1/2衰减,同时提供了误差估计示例。
2014-12-02 cs.NA math.NA math.ST
Sweave Documentation for "Implementing Markov chain Monte Carlo: Estimating with confidence"
该文件是Flegal,J.M. Jones,G. L.(2010),“Implementing马尔可夫链蒙特卡罗:Estimating with confidence”,in Handbook of马尔可夫链蒙特卡罗,edited by Brooks,S.,Gelman,A.,琼斯,G.,和Meng,X.出版社:Chapman & Hall/CRC Press
2010-06-24 stat.OT
The Convergence of Markov chain Monte Carlo Methods: From the Metropolis method to Hamiltonian Monte Carlo
从20世纪50年代开始到应用统计学的现代前沿,马尔可夫链蒙特卡罗一直是统计计算中最普遍和最成功的方法之一。在这段时间里,它的发展受到越来越困难的问题和物理学新技术的推动。在这篇文章中,我将回顾马尔可夫链蒙特卡罗的历史,从一开始的大都会方法,今天的国家的最先进的哈密顿蒙特卡罗。在此过程中,我将专注于该方法的统计和物理观点之间不断发展的相互作用。
2018-01-10 physics.hist-ph stat.ME
Likelihood-free Markov chain Monte Carlo
出现在MCMC手册中,S。P. Brooks,A. Gelman,G.琼斯和X L. Meng(eds),Chapman & Hall.
2010-01-13 stat.ME
On the Convergence Rates of Some Adaptive Markov Chain Monte Carlo Algorithms
本文研究了一类自适应马尔可夫链Monte Carlo算法的混合时间。在一定的正则性条件下,证明了IRMCMC(Importance Resistance MCMC)算法的收敛速度(用全变差距离度量)为$O(n^{-1})$,并通过一个例子证明了该算法一般不会以较快的速度收敛.我们还研究了等能取样器,并建立了它的混合时间为$O(n^{-1/2})$阶。
2014-07-28 math.PR stat.CO
Coupling Control Variates for Markov Chain Monte Carlo
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Department of Mathematics, University of Arizona(亚利桑那大学数学系)
提出利用马尔可夫耦合作为控制变量,在稳态分布未知时提高MCMC计算精度,并通过非平衡输运模型验证。
2008-09-12 cs.NA math.NA physics.comp-ph
Adaptive Tuning Of Hamiltonian Monte Carlo Within Sequential Monte Carlo
序贯蒙特卡罗(SMC)采样器形成了一个有吸引力的替代MCMC贝叶斯计算。然而,它们的性能在很大程度上取决于用于恢复粒子的马尔可夫核。我们讨论了如何自动校准(使用当前粒子)哈密顿蒙特卡罗内核SMC。为此,我们建立在Fearnhead和Taylor(2013)的自适应SMC方法的基础上,我们还提出了替代方法。我们通过广泛的数值研究说明了在SMC采样器内使用HMC内核的优点。
2020-02-12 stat.CO
Finite Sample Complexity of Sequential Monte Carlo Estimators
本文给出了静态空间上序贯蒙特卡罗采样器的有限样本误差的界。我们的方法明确地将算法的性能与所选分布序列的属性和相关马尔可夫核的混合属性联系起来。这使我们能够给出第一个有限样本比较其他蒙特卡罗计划。我们得到了各种目标分布的序贯蒙特卡罗近似的复杂性的界限,包括有限空间,产品措施,和对数凹分布,包括贝叶斯逻辑斯谛回归。所得到的界限是在一个对数因子内的类似界限可获得马尔可夫链蒙特卡罗。
2022-08-18 math.PR stat.CO stat.ME
Nonreversible Markov chain Monte Carlo algorithm for efficient generation of Self-Avoiding Walks
我们引入了一个有效的不可逆马尔可夫链蒙特卡罗算法来生成具有可变端点的自避免行走。在二维情况下,新算法的性能略优于H.~呼,X。Chen和Y.~邓在\cite{old},而三维行走,它是3- 5倍快。新算法引入了服从全局平衡的不可逆马尔可夫链,并允许在现有的自避免行走上进行三种类型的基本移动:缩短,延长或改变构象而不改变行走的长度。
2021-12-10 cond-mat.stat-mech cs.IT math.IT
Information-geometric Markov Chain Monte Carlo methods using Diffusions
最近的工作纳入几何思想的马尔可夫链蒙特卡罗进行审查,以突出这些进展和它们可能的应用范围超出统计领域。马尔可夫链及其在统计推断和分子动力学的蒙特卡罗模拟中的应用的充分阐述,特别强调基于朗之万扩散的方法。然后介绍了马尔可夫链蒙特卡罗中的几何概念。给出了黎曼流形上朗之万扩散的一个完整的推导过程,并讨论了在不同的问题中如何选择合适的黎曼度量。提供了一个调查的应用程序,并讨论了一些悬而未决的问题。
2014-04-18 stat.CO stat.ME
Antithetic Riemannian Manifold And Quantum-Inspired Hamiltonian Monte Carlo
University of Johannesburg(约翰内斯堡大学);University of Witwatersrand(威特沃特斯兰德大学)
机器学习中目标后验分布的马尔可夫链蒙特卡罗推断主要通过哈密顿蒙特卡罗及其变体进行。这是由于基于哈密顿蒙特卡罗的采样器抑制随机游走行为的能力。与其他马尔可夫链蒙特卡罗方法一样,哈密顿蒙特卡罗产生自相关样本,这导致估计量的高方差,以及所生成样本的低有效样本量率。先前已经证明,与普通哈密顿蒙特卡罗相比,向哈密顿蒙特卡罗添加对偶采样可以产生更高的有效采样率。在本文中,我们提出了新的算法,这是对立的版本的黎曼流形哈密顿蒙特卡罗和量子启发哈密顿蒙特卡罗。黎曼流形哈密顿蒙特卡罗算法通过考虑目标的局部几何形状来改进哈密顿蒙特卡罗,这对于可能在参数中表现出强相关性的目标密度是有益的。受量子启发的哈密顿蒙特卡罗是基于可以具有随机质量的量子粒子。量子启发的哈密顿蒙特卡罗使用随机质量矩阵,这导致比哈密顿蒙特卡罗更好的采样尖峰和多模态分布,如跳跃扩散过程。使用真实世界的金融市场数据的跳跃扩散过程进行分析,以及使用贝叶斯逻辑斯谛回归的真实世界的基准分类任务。
2021-07-05 cs.LG stat.CO stat.ML
A note on one of the Markov chain Monte Carlo novice's questions
我们介绍了一种新的时间齐次马尔可夫嵌入的一类时间非齐次马尔可夫链广泛使用的背景下,蒙特卡罗采样算法,使我们能够回答一个最基本的,但很难,这些技术的实际实施的问题。我们还表明,这种嵌入揭示了[#maire-douc-olsson 2013]最近的结果。我们将讨论该技术的进一步应用。
2015-04-14 stat.CO
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点,提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法,用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
Interacting Particle Markov Chain Monte Carlo
我们介绍了相互作用粒子马尔可夫链蒙特卡罗(iPMCMC),PMCMC方法的基础上的标准和条件序贯蒙特卡罗采样器的相互作用池。与相关方法一样,iPMCMC是扩展空间上的马尔可夫链蒙特卡罗采样器。我们目前的实证结果表明,显着改善的混合率相对于两个非相互作用的PMCMC采样器,和一个单一的PMCMC采样器具有相同的内存和计算预算。iPMCMC方法的另一个优点是它适用于分布式和多核架构。
2017-04-12 stat.CO stat.ML
Discussion of "Sequential Quasi-Monte Carlo" by Mathieu Gerber and Nicolas Chopin
关于拟蒙特卡罗估计在应用中降低方差可能性的讨论。进一步的细节在随附的论文“拟蒙特卡罗的方差缩减“中提供。
2015-01-14 stat.CO
Multivariate initial sequence estimators in Markov chain Monte Carlo
马尔可夫链蒙特卡罗(MCMC)是一种模拟方法,通常用于估计关于给定分布的期望。本文考虑估计样本均值向量的渐近多元正态分布的协方差阵。Geyer(1992)开发了一种用于估计单变量均值的蒙特卡罗误差估计方法。我们提出了一种新的多元版本的Geyer的方法,提供了一个渐近有效的估计的协方差阵和稳定的蒙特卡罗估计的结果。通过仿真实验研究了该方法的有限样本性质。
2017-06-02 stat.ME
An introduction to computational complexity in Markov Chain Monte Carlo methods
介绍了马尔可夫链蒙特卡罗方法的理论背景和计算复杂性。大多数与收敛性相关的数学结果在大多数统计参考文献中都没有找到,并且计算复杂度对于大多数MCMC方法来说仍然是一个悬而未决的问题。在这项工作中,我们提供了一个总体概述,参考文献,并讨论所有这些理论课题。
2020-04-14 stat.CO
Exploring multi-dimensional spaces: a Comparison of Latin Hypercube and Quasi Monte Carlo Sampling Techniques
三种抽样方法进行了比较,效率的各种复杂性的测试问题,其中解析求积。比较的方法是伪随机数的蒙特卡罗,拉丁超立方抽样,准蒙特卡罗抽样的基础上Sobol序列。一般的结果显示出优越的性能的准蒙特卡罗方法的基础上Sobol序列与理论预测。拉丁超立方抽样可以比蒙特卡罗方法和准蒙特卡罗方法更有效,但后者的不等式适用于减少的函数类型集和少量的采样点。总之,拟蒙特卡罗方法将出现最安全的赌注时,集成功能的未知类型。
2015-05-10 stat.AP stat.CO
A Markov Jump Process for More Efficient Hamiltonian Monte Carlo
在大多数采样算法中,包括哈密顿蒙特卡罗,状态之间的转换速率对应于在单个时间步长中进行转换的概率,并且被约束为小于或等于1。我们推导出一个哈密顿蒙特卡罗算法使用连续时间马尔可夫跳过程,从而能够逃脱这个约束。马尔可夫跳跃过程中的转移率只需要是非负的。我们表明,新算法导致改进的混合几个例子的问题,通过评估马尔可夫算子的谱间隙,并通过计算作为计算时间的函数的自相关。我们将该算法作为开源Python包发布。
2015-10-11 stat.CO stat.ML
A method for importance sampling through Markov chain Monte Carlo with post sampling variational estimate
我们提出了一种方法来有效地整合截断概率密度。该方法采用马尔可夫链蒙特卡罗方法从与被积分函数相匹配的概率密度中采样。通过构造具有已知积分的函数,通过非参数核密度估计和变分过程,获得所需的归一化或等价的结果。数值算例表明了该方法的有效性。可能的增强方法和限制进行了讨论。
2013-12-06 stat.CO
Identifying the Optimal Integration Time in Hamiltonian Monte Carlo
通过利用光滑概率系统的自然几何结构,哈密顿蒙特卡罗产生计算效率高的马尔可夫链蒙特卡罗估计。至少在算法足够好的情况下。在本文中,我将展示如何几何基础的哈密顿蒙特卡罗隐含地确定这些参数的最佳选择,特别是积分时间。然后,我认为这些原则在现有的算法和一个新的实现称为\emph{Exhaustive Hamiltonian Monte Carlo}的实际后果,然后在一些说明性的例子证明这些想法的效用。
2016-01-02 stat.CO stat.ME
Discussion of "Unbiased Markov chain Monte Carlo with couplings" by Pierre E. Jacob, John O'Leary and Yves F. Atchadé
这是对Pierre E.放大图片作者:Jacob,John O'Leary,Yves F. Atchadé将出现在皇家统计学会B系列杂志上。
2020-01-20 stat.ME
The Geometry of Hamiltonian Monte Carlo
哈密顿蒙特卡罗是一种有效的马尔可夫链蒙特卡罗技术,它系统地探索了概率分布;然而,它最终取决于选择合适的哈密尔顿函数。通过考察哈密顿动力学的辛几何基础和马尔可夫链蒙特卡罗的要求,我们构造了可容许哈密顿量的一般形式,并提出了一种在贝叶斯推断中具有潜在应用的特殊选择.
2011-12-18 physics.data-an stat.ME
Parallel Markov Chain Monte Carlo
马尔可夫链蒙特卡罗算法是一种本质上串行的算法。虽然单个步骤的似然计算有时可以并行化,但该过程的串行演化被广泛认为与并行化不兼容,无法为需要大量迭代才能收敛到平衡的采样器提供加速。我们提供了一种方法,并行马尔可夫链蒙特卡罗在大量的独立,异步处理器。我们的方法使用分区和权重估计方案,将独立的模拟运行在不同的处理器上,严格的蒙特卡罗估计。该方法最初的动机是对多模态目标分布进行采样,在那里我们看到运行时间的指数加速。然而,我们表明,该方法是通用的,适用于所有的马尔可夫链蒙特卡罗模拟,并证明加速比的数量成正比的可用处理器的缓慢混合链单峰目标分布。该方法简单,易于实施,并为进一步研究提出了其他方向。
2013-12-28 stat.CO
Comments on "Particle Markov chain Monte Carlo" by C. Andrieu, A. Doucet, and R. Hollenstein
这是我们提交给英国皇家统计学会杂志B辑的评论汇编,将在Andrieu,Doucet和Hollenstein的阅读论文的讨论中发表。
2009-11-05 stat.CO stat.ME
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算(ABC)是处理具有难处理的可能性的模型的一般方法。在这项工作中,我们推导出基于QMC(准蒙特卡罗)序列的ABC算法。我们表明,由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体,逐步适应提案分布和接受阈值。我们说明了我们的QMC方法,通过几个例子从ABC文学。保留字:近似贝叶斯计算,无似然推断,拟蒙特卡罗,随机化拟蒙特卡罗,自适应重要性抽样
2018-05-07 stat.CO
Lagged couplings diagnose Markov chain Monte Carlo phylogenetic inference
系统发育推断是复杂空间上的一个棘手的统计问题。马尔可夫链蒙特卡罗方法是贝叶斯系统发育推断的主要工具,但它是具有挑战性的,以构建有效的计划,探索相关的后验分布或评估其性能。现有的方法是无法诊断混合或收敛的马尔可夫计划联合在所有组件的系统发育模型。马尔可夫链蒙特卡罗算法的滞后耦合最近被发展到更简单的空间上,以诊断收敛性和构造无偏估计量。我们描述了一个收缩耦合的马尔可夫链的目标后验分布的分支长度,标量参数和潜变量的系统发育树的空间。我们使用这些耦合,以评估混合和收敛的马尔可夫链联合在所有组件的系统发育模型的树木多达200片叶子。从我们的耦合链的样本也可以用来构建无偏估计量。
2022-10-08 stat.AP stat.ME
Forward Event-Chain Monte Carlo: Fast sampling by randomness control in irreversible Markov chains
不可逆和无拒绝蒙特卡罗方法,最近在物理学中以事件链的名义开发,在统计学中称为分段确定性蒙特卡罗(PDMC),已被证明比标准蒙特卡罗方法产生明显的加速,这要归功于它们的随机游走行为的减少。然而,当将这样的方案应用于标准统计模型时,为了正确性,通常需要引入额外的随机化。我们在这里提出了一类新的事件链蒙特卡罗方法,减少这种额外的随机化到最低限度。我们比较了这种新方法的效率,标准的PDMC和蒙特卡罗方法。加速到几个数量级和减少尺寸缩放展出。
2020-04-27 stat.CO
On the use of approximate Bayesian computation Markov chain Monte Carlo with inflated tolerance and post-correction
近似贝叶斯计算允许使用模型模拟来推断具有棘手可能性的复杂概率模型。近似贝叶斯计算的马尔可夫链蒙特卡罗实现通常对容差参数敏感:低容差导致不良混合,大容差导致过度偏差。我们考虑一种方法,使用一个相对较大的公差的马尔可夫链蒙特卡罗采样器,以确保其充分的混合,和后处理的输出导致估计的范围内更精细的公差。我们引入了一个近似的置信区间相关的后校正估计,并提出了一个自适应的近似贝叶斯计算马尔可夫链蒙特卡罗,找到一个“平衡”的容忍度自动水平,接受率优化的基础上。我们的实验表明,基于后处理的估计器可以执行更好的比直接马尔可夫链瞄准一个很好的公差,我们的置信区间是可靠的,我们的自适应算法导致可靠的推理与用户规格很少。
2019-05-16 stat.CO
Multilevel Monte Carlo estimation of log marginal likelihood
University of Tokyo(东京大学)
在这个简短的说明中,我们提供了一个无偏的多级蒙特卡罗估计的对数边际似然,并讨论其应用变分贝叶斯。
2019-12-23 cs.LG stat.ML
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断,退火顺序蒙特卡罗方法,基于最近的进展,如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数,以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能,通过审查和比较与其他计算贝叶斯系统发育方法,特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中,我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动,因此受益于大量的库存,这种移动在文献中。因此,退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
A Common Derivation for Markov Chain Monte Carlo Algorithms with Tractable and Intractable Targets
马尔可夫链蒙特卡罗(Markov chain Monte Carlo)是一类从高维目标密度中抽取马尔可夫样本来近似计算统计期望的数值积分的算法,特别是在贝叶斯统计中。然而,许多马尔可夫链蒙特卡罗算法似乎并不共享相同的理论支持,每个算法都以不同的方式证明。这导致了许多术语和辅助概念,这使得马尔可夫链蒙特卡罗文献似乎是分散的,并恐吓来自许多其他领域的研究人员,包括贝叶斯统计的新研究人员。利用一个随机数发生器和一个自逆映射构造了梅特罗波利斯-黑斯廷斯算法的一个推广版本。这个公式承认许多其他马尔可夫链蒙特卡罗算法作为特殊情况。许多马尔可夫链蒙特卡罗算法的一个共同的推导在绘制这些算法之间的联系和比较时是有用的。因此,我们现在可以构建多个马尔可夫链蒙特卡罗算法的许多新组合,这些组合放大了每个单独算法的效率。具体来说,我们提出了两个新的采样方案,结合切片采样方向或哈密顿采样。我们的哈密顿切片采样方案也适用于伪边缘背景下,目标密度是棘手的,但可以无偏估计,例如,使用粒子滤波。
2018-03-25 stat.CO
A Parallel Evolutionary Multiple-Try Metropolis Markov Chain Monte Carlo Algorithm for Sampling Spatial Partitions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Oak Ridge National Laboratory(橡树岭国家实验室)
我们开发了一个进化的马尔可夫链蒙特卡罗(EMCMC)算法采样的空间分区,位于一个大而复杂的空间状态空间。我们的算法结合了进化算法(EAs)的优点,作为状态空间遍历的优化算法和马尔可夫链蒙特卡罗算法的理论收敛性从未知分布的采样。局部最优信息,通过定向搜索确定我们的优化启发式是用来自适应更新马尔可夫链在一个有前途的方向内的框架内的多尝试大都会马尔可夫链模型,采用了广义的Metropolis-Hasting比。我们进一步扩大了我们的EMCMC算法的范围,通过利用大规模并行架构提供的计算能力,通过集成的并行EA框架,引导马尔可夫链并行运行。
2020-07-22 cs.AI stat.CO
Ensemble preconditioning for Markov chain Monte Carlo simulation
University of Chicago(芝加哥大学);University of Edinburgh(爱丁堡大学)
本文提出并行马尔可夫链蒙特卡洛方法,通过集体路径集合和邻近副本计算的局部协方差信息,消除乘性噪声并稳定动态,解决高维各向异性采样问题。
2016-07-13 cs.NA math.NA stat.CO
Piecewise Deterministic Markov Processes for Scalable Monte Carlo on Restricted Domains
分段确定性蒙特卡罗算法允许从后验分布进行模拟,同时在每次迭代时仅需要访问数据的子样本。我们将展示如何在参数位于受限域的设置中实现它们。
2018-02-17 stat.CO stat.ME
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布,主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波,并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现,认为它们在统计中仍然没有得到充分的使用,尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME