A Direct Sampler for G-Wishart Variates
G-Wishart分布是精度矩阵的共轭先验,精度矩阵编码高斯图模型的条件独立性。虽然分布受到了相当大的关注,但后验推理在计算上具有挑战性,部分原因是缺乏直接采样器。在本说明中,我们纠正了这种情况。直接采样器的存在为使用G-Wishart变量提供了许多新的可能性。我们讨论了这样的发展,概述了一个新的transdimensional模型搜索算法-我们称之为双可逆跳跃-利用这个采样器,以避免归一化常数计算时,比较图形模型。最后,我们用两个简短的研究来调查我们的算法的有效性。
2013-04-04 stat.CO stat.ME
Non-reversible jump algorithms for Bayesian nested model selection
不可逆马尔可夫链蒙特卡罗方法在遍历平均的渐近方差和混合性质方面往往优于可逆方法。提升状态空间(Chen等人,1999; Diaconis等人,2000)是用于构造这种采样器的通用技术。我们的想法是把我们想要生成的随机变量看作是位置变量,并把它们与方向变量相关联,以便设计出不具有可逆方案经常表现出的扩散行为的马尔可夫链。在本文中,我们探讨了使用这样的想法的背景下,贝叶斯模型选择嵌套模型,一类模型的模型指标变量是一个有序的随机变量的好处。通过提升这个模型的指示变量,我们得到了不可逆跳跃算法,这是Green(1995)介绍的流行的可逆跳跃算法的不可逆版本。这种简单的算法修改提供了采样器,它可以在没有额外计算成本的情况下凭经验胜过它们的可逆对应物。复制所有实验的代码可在线获得。
2020-12-20 stat.CO stat.ME
Geometry-informed irreversible perturbations for accelerated convergence of Langevin dynamics
我们引入了一种新的几何信息的不可逆扰动,加速收敛的Langevin算法的贝叶斯计算。有充分的证据表明,存在的朗之万动力学的扰动,保持其不变的措施,同时加速其收敛。不可逆扰动和可逆扰动(如黎曼流形朗之万动力学(RMLD))分别被证明可以提高朗之万采样器的性能。我们认为这两个扰动,同时提出了一种新的形式的不可逆扰动RMLD的基础几何形状的通知。通过数值例子,我们表明,这种新的不可逆扰动可以提高估计性能的不可逆扰动,不考虑几何。此外,我们证明,不可逆扰动一般可以实现与随机梯度版本的Langevin算法。最后,虽然连续时间不可逆扰动不能损害朗之万估计的性能,但考虑离散化时,情况有时会更复杂。为此,我们描述了一个离散时间的例子,其中不可逆性增加了偏差和方差的估计。
2022-09-01 math.PR stat.AP stat.CO
Parallel Tempering with Equi-Energy Moves
由Kou等人[2006]引入的等能量采样器(EES)基于通过局部移动和全局移动(也称为等能量跳跃)更新的链的种群。状态空间被划分成能量环,并且链的当前状态可以跳到具有接近其水平的能量水平的相邻链的过去状态。该算法的开发是为了促进不同链之间的全局移动,从而使目标链能够很好地探索状态空间。这种方法似乎比经典的并行回火(PT)算法更有效。然而,它很难与吉布斯取样器结合使用,并且需要增加储存。在本文中,我们提出了一种适应这种EES相结合的PT与原则之间的交换具有相同的能量水平的链。这种适应,我们称之为平行回火与等能量移动(PTEEM),保持了EES方法的原始思想,同时确保良好的理论性能,即使与吉布斯采样器相结合,也能实现实际应用。PTEEM算法的性能进行了比较与EES和标准PT算法的混合模型的上下文中,并在一个问题中的基因调控结合基序的识别。
2012-03-02 stat.ME
Weak Convergence and Optimal Tuning of the Reversible Jump Algorithm
可逆跳跃算法是一种由Green(1995)引入的有用的马尔可夫链蒙特卡罗方法,其允许在不同维度的子空间之间切换,并且因此允许模型选择。虽然这种方法现在越来越多地用于关键领域(如生物学和金融),它仍然是一个挑战,以实现it.In本文中,我们专注于一个简单的采样上下文,以获得理论结果,导致考虑可逆跳跃算法的最佳调整程序,因此,易于实现。关键的结果是由算法产生的随机过程序列的弱收敛性。它代表了本文的主要贡献,因为它是,据我们所知,第一弱收敛结果的可逆跳算法。采样器根据随机游动更新参数,该结果允许检索用于找到最佳缩放的公知的0.234规则。它还导致了一个问题的答案:“在每次迭代中,与模型切换相比,参数更新的概率应该是多少?”"
2019-04-17 stat.ME
Informed reversible jump algorithms
在建议机制中描述关于目标分布的信息通常产生有效的马尔可夫链蒙特卡罗算法(或者至少,比不知情的对应方更有效的算法)。例如,它已被证明成功地将梯度信息纳入固定维算法,如哈密顿蒙特卡罗算法。在跨维算法中,Green(2003)建议在模型切换期间从具有信息性均值和协方差阵的正态分布采样参数建议。这些建议分布可以被视为参数分布的渐近近似,其中限制与样本量有关。模型通常是使用不知情的均匀分布提出的。在本文中,我们建立在Zanella(2020)的离散空间方法的基础上,以纳入有关相邻模型的信息。我们依赖于渐近精确的后验模型概率的近似值。我们证明了,在某些情况下,结合这种方法与格林(2003)的采样器表现得像理想的,使用精确的模型概率和样本从正确的参数分布,在大样本制度。我们表明,在某些情况下,所提出的采样器的实施是简单的。该方法被应用到一个真实的数据的例子。代码可在线获取。
2021-08-25 stat.CO stat.ME
Time-Varying Multi-Seasonal AR Models
Stockholm University(斯德哥尔摩大学);University of New South Wales(新南威尔士大学);Data Analytics Center for Resources and Environments (DARE)(资源与环境数据分析中心)
本文提出了一种具有时间变化参数的多季节自回归模型,采用动态收缩过程建模时间演变,并利用扩展卡尔曼滤波器改进采样方法,用于分析工业生产数据中的季节性变化。
2025-12-29 stat.ME
Optimizing Irreversible Perturbations of the Unadjusted Langevin Algorithm
Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对未调整Langevin算法,提出一个同时考虑混合效率和离散化偏差的框架,并显式刻画了最优位置无关不可逆扰动,数值实验表明该设计在控制偏差的同时加速收敛。
2026-06-03 cs.NA math.NA math.PR
Unit Testing for MCMC and other Monte Carlo Methods
我们提出的方法来测试实现马尔可夫链蒙特卡罗方法以及一般的蒙特卡罗方法。基于统计假设测试,这些方法可以用于单元测试框架中,例如,检查吉布斯采样器或可逆跳跃MCMC中的各个步骤是否具有所需的不变分布。讨论了判定给定马尔可夫链是否具有指定不变分布的两个精确检验。蒙特卡罗方法的这些和其他测试可以嵌入到顺序方法中,如果模拟显示出期望的行为,则允许低预期工作量,如果不显示期望的行为,则允许高功率。此外,错误拒绝概率可以保持任意低。对于一般的蒙特卡罗方法,这允许测试,例如,如果采样器具有指定的分布,或者如果采样器产生具有期望均值的样本。该方法已在R-软件包MCUnit中实现。
2021-09-19 stat.CO stat.ME
Transport map unadjusted Langevin algorithms: learning and discretizing perturbed samplers
本文研究利用传输映射近似归一化目标分布来预条件并加速朗之万动力学收敛,证明其连续时间形式等价于黎曼流形朗之万动力学,并提出几何信息不可逆扰动及相应离散化方案,给出非渐近收敛保证。
2024-10-23 math.PR stat.ME stat.ML
Accelerating Bayesian Variable Selection using Piecewise Deterministic Markov Processes
Tilburg University(蒂尔堡大学);University of Amsterdam(阿姆斯特丹大学)
本研究将分段确定性马尔可夫过程(PDMP)采样器应用于贝叶斯变量选择,扩展其至相关先验与随机梯度场景,结合心理测量模型验证,提升了强相关参数下的采样效率。
2026-08-31 stat.ME
Discrete Hamiltonian-Assisted Metropolis Sampling
针对离散分布采样,提出结合梯度信息与高斯动量的离散采样器DHAMS,通过辅助变量提议等步骤实现广义细致平衡与无拒绝特性,在序数和二元分布实验中性能优于现有算法。
2025-07-13 stat.ME
Scaling of Piecewise Deterministic Monte Carlo for Anisotropic Targets
本文通过多尺度分析研究分段确定性蒙特卡洛方法在各向异性高斯目标下的混合性能,证明 Bouncy Particle Sampler 的计算成本优于传统 MCMC 方法,揭示了 PDMPs 的鲁棒性优势。
2024-10-22 stat.CO stat.ME
An Infinite Hidden Markov Model With Similarity-Biased Transitions
Oberlin College(欧柏林学院);The University of Arizona(亚利桑那大学)
我们描述了一个泛化的层次狄利克雷过程隐马尔可夫模型(HDP-HMM),它能够编码的先验信息,状态转换更可能是“附近”的状态之间。这是通过在状态空间上定义相似性函数并通过逐对相似性缩放转移概率来实现的,从而诱导转移分布之间的相关性。我们提出了一个增强的数据表示的模型作为马尔可夫跳跃过程中:(1)一些跳跃尝试失败,(2)成功的概率是成比例的源和目的地状态之间的相似性。这种增强恢复条件共轭,并承认一个简单的吉布斯采样器。我们评估的模型和推理方法的扬声器日记任务和“谐波解析”任务,使用四部分合唱数据,以及在几个合成数据集,实现有利的比较现有的模型。
2017-07-21 cs.AI cs.LG stat.ME
Bayesian Clustering for Continuous-Time Hidden Markov Models
我们开发了基于连续时间隐马尔可夫模型(CTHMM)和广义线性观测模型的纵向轨迹的聚类程序。具体而言,在本文中,我们进行有限和无限的混合模型为基础的聚类CTHMM和实现推理使用马尔可夫链蒙特卡罗(MCMC)。对于有限混合模型,我们实现了可逆跳MCMC,以促进不同数量的集群之间的跨维移动。对于Dirichlet过程混合模型,我们利用限制吉布斯抽样分裂合并建议,以加快MCMC算法。我们采用所提出的算法的模拟数据,以及一个真实的数据的例子,结果表明所需的性能的新的采样器。
2021-03-26 stat.AP stat.CO stat.ME
Hug and Hop: a discrete-time, non-reversible Markov chain Monte-Carlo algorithm
我们介绍了拥抱和霍普马尔可夫链蒙特卡罗算法估计预期的一个棘手的分布。该算法在两个内核之间交替:Hug和Hop。拥抱是一个不可逆的内核,它重复应用最近提出的反弹粒子采样器的反弹机制,以产生一个远离当前位置的建议点,但在几乎相同的目标密度轮廓上,从而导致高接受概率。Hug由Hop补充,Hop故意提出轮廓之间的跳跃,并且具有随着维度增加而缓慢下降的效率。在Hugo和哈密顿蒙特卡罗之间有许多相似之处,包括积分方案的阶数,但是Hugo也能够利用局部Hessian信息而不需要隐式数值积分步骤,并且其性能不受对数后验的无界梯度的最终影响。我们在各种玩具目标和真实的统计模型上对Hug和Hop进行了经验测试,发现它可以而且经常优于哈密顿蒙特卡罗。
2022-04-25 stat.CO stat.ME
A Two-step Metropolis Hastings Method for Bayesian Empirical Likelihood Computation with Application to Quantile Regression and Bayesian Model Selection
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);DFS Group Ltd.(DFS集团有限公司);Texas A& M University(德克萨斯农工大学)
本文提出一种两步Metropolis-Hastings算法,用于解决贝叶斯经验似然(BayesEL)后验分布采样困难的问题,可应用于分位数回归与贝叶斯模型选择等场景。
2026-08-28 stat.CO stat.ME stat.ML