Tempered, Anti-trunctated, Multiple Importance Sampling
重要性抽样是一种蒙特卡罗方法,它引入一个建议分布,根据目标分布对空间进行抽样。然而,校准的建议分布是必不可少的,以实现效率,因此诉诸自适应算法来调整这个分布。本文提出了一种新的自适应重要性抽样方案--回火抗截断自适应多重重要性抽样(TAMIS)算法。我们结合了回火计划和一个新的非线性变换的权重,我们命名为反截断。为了提高效率,我们还考虑不增加目标密度的评估次数。因此,我们的建议是一个自动调整的顺序算法,是强大的穷人的初始提案,不需要梯度计算和规模以及与尺寸。
2022-06-16 stat.CO
Parallel-tempered Stochastic Gradient Hamiltonian Monte Carlo for Approximate Multimodal Posterior Sampling
American International Group, Inc.(美国国际集团)
我们提出了一个新的采样器,集成了协议的并行回火与Nosé-Hoover(NH)动力学。该方法可以有效地从复杂的后验分布与多个孤立的模式,在随机梯度产生的噪声存在下提取代表性的样本。它可能有助于在遇到复杂的多模态后验和小批量梯度的大型数据集上进行深度贝叶斯学习。
2018-12-07 cs.LG stat.ML
Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles
Department of Electrical Engineering and Electronics, University of Liverpool(利物浦大学电子工程与电子系);Department of Computer and Information Science, Linköping University(林雪平大学计算机与信息科学系)
本文提出将 SGHMC 提议融入 SMC 的 SMCSGHMC 算法,以小批量采样实现可扩展贝叶斯推断,并在分类、OOD 检测和迁移学习中提升校准与泛化。
2025-05-16 cs.LG stat.CO stat.ML
Learning of state-space models with highly informative observations: a tempered Sequential Monte Carlo solution
概率论(或贝叶斯)建模和学习提供了有趣的可能性,使用概率论的不确定性的系统表示。然而,概率学习往往导致计算上具有挑战性的问题。由于蒙特卡罗方法的最新进展,这类以前难以解决的问题现在可以在标准个人计算机上解决。特别地,对于非线性状态空间模型中的未知参数的学习,基于粒子滤波器(一种蒙特卡罗方法)的方法已被证明是非常有用的。然而,当状态空间模型中的观测具有高度信息性时,即当相对于过程噪声的量存在非常少或不存在测量噪声时,仍然会出现众所周知的挑战性问题。然后,粒子滤波器将努力估计概率学习的基本分量之一,即似然$p($数据$|$参数$)$。为此,我们建议一种算法,它最初假设有大量的人工测量噪声存在。这种噪声的方差以自适应的方式依次减小,这样我们最终就可以恢复原来的问题,或者可能是它的一个非常接近的近似值。我们算法的主要组成部分是一个序贯蒙特卡罗(SMC)采样器,它使我们提出的方法与SMC方法有着明显的相似之处。另一个自然的联系也作出了基本的想法近似贝叶斯计算(ABC)。我们用数值例子说明了这一点,特别是一个具有挑战性的Wiener-Hammerstein基准问题显示出有希望的结果。
2017-12-13 stat.CO stat.ML
Monte Carlo algorithm for the extrema of tempered stable processes
本文提出一种基于未调和过程增量的蒙特卡洛算法,用于高效计算调和稳定过程的极值向量,并证明其最优复杂度,为障碍期权定价和风险度量提供置信区间。
2022-12-08 math.PR q-fin.MF stat.ME
Deterministic Approximate EM Algorithm; Application to the Riemann Approximation EM and the Tempered EM
期望最大化(EM)算法被广泛用于优化具有潜在变量的非凸似然函数。许多作者修改了其简单的设计以适应更具体的情况。例如,期望(E)步骤已被蒙特卡罗(MC),马尔可夫链蒙特卡罗或回火近似等取代。相比之下,文献是缺乏的,当谈到确定性的近似。在本文中,我们介绍了一个理论框架,与国家的最先进的收敛保证,任何确定性近似的E步骤。我们从理论上和经验上分析了几个近似,适合这个框架。首先,对于难处理的E-步骤,我们引入了一个确定性版本的MC-EM使用黎曼和。一种简单的方法,不需要任何超参数微调,当低维不保证MC-EM时有用。然后,我们考虑回火近似,从模拟退火文献中借来的,用来逃避局部极值。我们证明,回火EM验证收敛保证比以前考虑的温度分布范围更广。我们经验性地展示了新的非平凡配置文件如何更成功地逃避对抗性初始化。最后,我们结合黎曼和回火近似成一个方法,实现他们的目的。
2022-05-02 math.ST stat.ML stat.TH
Bayesian Pose Graph Optimization via Bingham Distributions and Tempered Geodesic MCMC
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子股份公司);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎电信学院LTCI实验室)
我们介绍了Tempered Geodesic Markov Chain Monte Carlo(TG-MCMC)算法用于初始化姿态图优化问题,这些问题出现在各种场景中,例如SFM(从运动恢复结构)或SLAM(同时定位与地图构建)。TG-MCMC是同类中的第一个,因为它将四元数球面流形上的渐近全局非凸优化与后验采样结合起来,以便提供可靠的初始姿态和不确定性估计,这些估计可以提供有关单个解决方案质量的信息。我们为我们的方法设计了严格的理论收敛保证,并在合成和真实的基准数据集上对其进行了广泛的评估。除了其优雅的配方和理论,我们表明,我们的方法是强大的缺失数据,噪声和估计的不确定性捕捉直观的数据属性。
2019-03-30 cs.AI cs.CG cs.CV
Finite Sample Complexity of Sequential Monte Carlo Estimators on Multimodal Target Distributions
我们证明了有限样本复杂性的序贯蒙特卡罗(SMC)算法,只需要当地的混合时间相关联的马尔可夫内核。我们的边界是特别有用的,当目标分布是多模态和全球混合的马尔可夫内核是缓慢的,在这种情况下,我们的方法建立了相应的马尔可夫链蒙特卡罗(MCMC)估计SMC的好处。通过顺序控制由SMC再循环程序引入的偏差来解决全局混合的缺乏。我们应用这些结果来获得的复杂性界限下的混合物的对数凹分布的近似期望,并表明SMC提供了一个完全多项式时间的随机逼近方案,一些困难的多峰问题,相应的马尔可夫链采样器是指数缓慢。最后,我们比较我们的方法得到的边界,现有的边界上的回火马尔可夫链相同的问题。
2022-08-13 math.PR stat.CO stat.ML
Continuously-Tempered PDMP Samplers
新的采样算法的基础上模拟连续时间的随机过程称为分段确定性马尔可夫过程(PDMP)已经显示出相当大的承诺。然而,这些方法可能难以从多模态或重尾分布中采样。我们展示了如何调和的想法,可以改善混合的PDMP在这种情况下。我们引入了一个扩展的分布定义的状态的后验分布和逆温度,它插值之间的一个易于处理的分布时,逆温度为0和后验时,逆温度为1。逆温度的边缘分布是[0,1)上的连续分布和1处的点质量的混合:这意味着我们在逆温度为1时获得样本,并且这些是从后验中提取的,但是采样算法也将探索较低温度下的分布,这将改善混合。我们将展示如何PDMP,特别是锯齿形采样器,可以实现这样一个扩展的分布样本。由此产生的算法很容易实现,我们的经验表明,它可以优于现有的PDMP为基础的采样具有挑战性的多模态后验。
2022-05-29 stat.CO stat.ME stat.ML
Optimality in importance sampling: a gentle survey
Stony Brook University(石溪大学);Universitá degli Studi di Catania(卡塔尼亚大学)
综述重要性采样中提议密度的最优性概念,涵盖边际似然近似、多提议密度、退火后验序列及噪声场景(如ABC和强化学习)等框架,并提供理论与实证比较。
2026-06-16 cs.CE stat.CO stat.ML
Spectral Subsampling MCMC for Stationary Multivariate Time Series with Applications to Vector ARTFIMA Processes
谱子采样MCMC是近年来提出的一种通过在频域对周期图进行子采样来加速长平稳单变量时间序列的马尔可夫链蒙特卡罗(MCMC)的方法。本文扩展的方法,多变量时间序列使用多变量广义的惠特尔可能性。为了评估具有挑战性的问题,从频谱子采样的计算增益,多变量广义的自回归回火分数积分移动平均模型(ARTFIMA)的介绍和它的一些属性。贝叶斯推断的基础上的Whittle可能性被证明是一个快速和准确的替代精确的时域可能性。频谱子采样提供了两个数量级的额外的速度,同时保留MCMC抽样效率和精度,相比,频谱方法使用完整的数据集。关键词:贝叶斯,马尔可夫链蒙特卡罗,半长记忆,谱分析,惠特尔似然。
2022-09-18 stat.CO stat.ME
Penalised t-walk MCMC
处理通常由复杂的统计模型产生的多模态仍然是一个挑战。目前的马尔可夫链蒙特卡罗(MCMC)方法解决这个问题是基于一个合奏的链,针对产品的功率回火分布。尽管这些方法的理论有效性,但由于涉及的高计算成本,实际实现通常遭受不良混合和缓慢收敛。在这项工作中,我们研究新的扩展的t-步行算法,现有的MCMC方法,是廉价的和不变的仿射变换的状态空间,用于处理多峰分布。我们承认,新方法的有效性将取决于问题,并可能在复杂的情况下挣扎;对于这种情况下,我们提出了一种基于伪边缘理论的后处理技术,用于结合孤立的样本。
2020-12-03 stat.CO stat.ME
Annealed Langevin Monte Carlo for Flow ODE Sampling
Augusta University(奥古斯塔大学)
本文提出 ALMC-ODE 方法,通过退火 Langevin 链生成未归一化分布样本,尤其适用于多模态密度。该方法基于概率流 ODE,利用 Jarzynski 方案降低方差,理论分析证明了估计误差界。
2026-04-30 stat.CO
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗(MCMC)方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou,Zhou和Wong在2006年提出的一种交互MCMC采样器,用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链,并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是,它取决于许多设计参数,因此,需要一个显着的努力来调整这些参数。在本文中,我们介绍了一个自适应等能量(AEE)采样器,自动选择的选择机制时,跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律,以及原始的等能量采样器。最后,我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
Policy Gradients for Optimal Parallel Tempering MCMC
Harvard University(哈佛大学)
本文针对并行回火MCMC中温度选择问题,提出基于策略梯度的自适应温度调整算法,在基准分布上相比传统方案取得了更低的积分自相关时间。
2024-12-26 cs.LG stat.CO stat.ML
Markov Chain Monte Carlo Methods for Bayesian Data Analysis in Astronomy
基于马尔可夫链蒙特卡罗的贝叶斯数据分析现已成为几乎所有科学学科分析和解释数据的首选方法。在天文学中,在过去的十年中,我们也看到了采用基于蒙特卡罗的贝叶斯分析的论文数量的稳步增加。新的,有效的蒙特卡罗方法正在不断开发和探索。在本文中,我们首先解释贝叶斯理论的基础知识,并讨论如何在此框架内设置数据分析问题。接下来,我们将概述用于执行贝叶斯数据分析的各种基于蒙特卡罗的方法。最后,我们讨论先进的思想,使我们能够解决复杂的问题,从而为未来带来巨大的希望。我们还分发可下载的计算机软件(可在https://github.com/sanjibs/bmcmc/上获得),这些软件实现了本文讨论的一些算法和示例。
2017-06-06 astro-ph.IM physics.comp-ph stat.CO
Non-Reversible Parallel Tempering: a Scalable Highly Parallel MCMC Scheme
并行回火(PT)方法是一类流行的马尔可夫链蒙特卡罗方法,用于对复杂的高维概率分布进行采样。它们依赖于以目标分布的调和版本为目标的$N$交互辅助链的集合来改进状态空间的探索。我们在这里提供了一个新的视角,这些高度并行的算法和他们的调整,确定和形式化的行为和性能的可逆与不可逆的PT计划的尖锐分歧。我们从理论上和经验表明,一类不可逆的PT方法占主导地位的可逆同行和识别不同的缩放限制的不可逆和可逆的计划,前者是一个分段确定性的马尔可夫过程和后者的扩散。利用这些结果来确定最佳的退火时间表为不可逆的PT和开发一个迭代方案近似这个时间表。我们提供了广泛的数值例子支持我们的理论和方法的贡献。所提出的方法适用于从相对于参考分布$π_0$具有密度$L$的分布$π$中采样并计算归一化常数。一个典型的用例是当$π_0$是先验分布,$L$是似然函数,而$π$是相应的后验分布时。
2021-07-26 stat.CO
Bregman Proximal Langevin Monte Carlo via Bregman--Moreau Envelopes
Northwestern University(西北大学)
我们提出了有效的Langevin蒙特卡罗算法的采样分布的非光滑凸复合势,这是一个连续可微的功能和可能的非光滑功能的总和。我们设计这样的算法,利用凸分析和优化方法的最新进展,涉及布雷格曼分歧,即布雷格曼-莫罗信封和布雷格曼邻近算子,并在朗之万蒙特卡罗算法让人想起镜像下降。所提出的算法扩展现有的朗之万蒙特卡罗算法在两个方面-能够采样非光滑分布与镜像下降的算法,和使用更一般的布雷格曼-莫罗包络代替莫罗包络作为一个光滑的近似的非光滑的潜在的一部分。所提出的方案的一个特定的情况下,让人想起Bregman近端梯度算法。所提出的方法的效率与现有的朗之万蒙特卡罗方法是已知的执行不佳的各种采样任务说明。
2022-07-10 cs.LG stat.CO stat.ML
Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference
University of Michigan(密歇根大学)
针对摊销变分推断中包容性KL最小化难题,提出SMC-Wake方法,利用似然温度化序贯蒙特卡洛估计梯度,实现更准确的后验逼近。
2024-03-15 cs.LG stat.ML
Non-asymptotic analysis of Langevin-type Monte Carlo algorithms
本文利用Liptser–Shiryaev理论与Poincaré不等式建立Langevin型采样算法与Gibbs分布间2-Wasserstein距离的非渐近上界,并提出适用于非凸、非光滑势函数的球形平滑算法。
2024-02-29 math.PR math.ST stat.ML
Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo
LinkedIn
本文提出一种基于概率框架的奖励引导解码方法,通过结合模型转移概率和前缀依赖的奖励势能,改进传统解码方法的序列级质量优化。实验表明,该方法在代码生成和数学推理任务中显著提升性能。
2026-04-07 cs.AI cs.LG stat.ML
Monte Carlo with Determinantal Point Processes
我们发现,排斥随机变量可以产生蒙特卡罗方法的收敛速度比典型的$N^{-1/2}$,其中$N$是被积函数的评价。更确切地说,我们提出了随机数值求积涉及与多元正交多项式的行列式点过程,我们得到的均方根误差减少为$N^{-(1+1/d)/2}$,其中$d$是周围空间的维数。首先,当参考测度是支撑在超立方体上的乘积测度且满足Nevai类正则性条件时,证明了一类决定点过程的线性统计量的中心极限定理(CLT).其次,我们介绍了一种基于这些行列式点过程的蒙特卡罗方法,并证明了当参考测度满足更强的正则性条件时,求积误差方差具有显式限制的CLT。作为推论,通过选取一个特定的参考测度,并利用类似于重要抽样的构造,我们得到了一个一般的蒙特卡罗方法,它适用于任何密度连续可导的测度。不严格地说,我们的方法可以被解释为一个随机对应的高斯积分,其中,在一定的收敛速度的价格,很容易推广到任何尺寸,并具有更明确的误差项。
2019-06-15 math.CA math.PR stat.CO
Guided smoothing and control for diffusion processes
针对扩散过程平滑分布采样困难的问题,基于滤波扩张理论推导出引导漂移项,结合启发式与重要性权重构建MCMC和SMC算法,并从最优控制角度评估了该启发式。
2025-03-06 math.PR stat.CO
Efficiency and robustness in Monte Carlo sampling of 3-D geophysical inversions with Obsidian v0.1.2: Setting up for success
University of Sydney(悉尼大学);Curtin University(科廷大学);University of Leeds(利兹大学);The Alan Turing Institute for Data Science(艾伦·图灵数据科学研究所);Imperial College London(伦敦帝国理工学院)
地球物理反演中不确定性的严格量化是一个具有挑战性的问题。反演通常是不适定的,似然曲面可能是多模态的;任何单一模态的属性都不足以度量不确定性,并且采样方法对于不规则后验或高维参数空间变得低效。我们探讨了不同的选择由从业者的效率和精度的贝叶斯地球物理反演方法,依赖于马尔可夫链蒙特卡罗采样来评估不确定性,使用多传感器反演的三维结构和组成的一个区域在南澳大利亚州库珀盆地作为案例研究的影响。使用更新版本的Obsidian分布式反演软件进行反演。我们发现这种反演的后验具有复杂的局部协方差结构,阻碍了基于链历史调整建议的自适应采样方法的效率。在探索高维多模态后验的并行回火马尔可夫链蒙特卡罗方案的背景下,预处理的Crank-Nicholson建议优于更传统的形式的随机游动。问题设置的各个方面,例如岩石物理学或3-D地质结构的先验,影响后验模式的形状和分离,影响采样性能以及反演结果。对传感器噪声使用无信息先验可以通过即使噪声水平不确定也能够在多个传感器之间实现最佳加权来改善反演结果。通过在提案中使用后验梯度信息可以进一步提高效率,Obsidian目前不支持后验梯度信息,但可以使用后验代理来模拟。
2018-12-02 cs.AI stat.AP
AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization
Universität Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出 AdamMCMC,将 MALA 与 Adam 动量优化及长椭球提议结合,用于从回火 Gibbs 后验采样以量化深度模型的认知不确定性,并证明其收敛性与高能物理分类任务中的有效性。
2024-12-05 cs.LG hep-ph stat.CO
Evaluating real-time probabilistic forecasts with application to National Basketball Association outcome prediction
出于评估在国家篮球协会的主队获胜概率的实时预测的目标,我们开发了新的工具来衡量不断更新的概率预测的质量。这包括引入校准表面图,和简单的图形摘要,以评估一目了然是否给定的连续更新的概率预测方法是良好的校准,以及开发统计测试和图形工具,以评估技能,或相对性能,两个竞争的连续更新的预测方法。通过模拟篮球比赛的蒙特卡罗模拟研究来研究这些工具,并在应用程序中演示,以评估总部位于美国的跨国体育网络ESPN在其主要网页{ \tt espn.com}上发布的不断更新的预测。这个应用程序提供了统计证据,表明那里发布的预测是经过良好校准的,并且表现出比几个简单模型更高的技能,但并没有证明比简单的逻辑斯谛回归模型有显著提高的技能,这些模型仅仅基于对每个团队的相对实力的测量,以及整个游戏中不断变化的得分差异。
2020-10-02 stat.AP stat.ME
Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo
Duke University(杜克大学);Morgan Stanley(摩根大通)
提出信任区域迭代扭曲序贯蒙特卡洛(TRI-TSMC)框架,通过迭代学习扭曲函数来改进扩散模型推理时的对齐,在文本生成和文本到图像生成任务上优于现有方法。
2026-05-24 cs.AI cs.CL cs.CV
Slice Monte Carlo Integration
Graz University of Technology(格拉茨工业大学);University of Oxford(牛津大学);GraML – Graz Center for Machine Learning(格拉茨机器学习中心)
提出切片蒙特卡洛积分(SℓMC),利用代理模型进行嵌套采样式空间划分,实现分层蒙特卡洛积分,有效降低方差并高效分配计算资源。
2026-10-01 math.ST stat.CO stat.ME
Proximal Markov chain Monte Carlo algorithms
提出了一种新的Metropolis调整的Langevin算法(MALA),该算法利用凸分析有效地模拟对数凹的高维密度,这是一类广泛应用于现代高维统计和数据分析的概率分布。该方法是基于一个新的一阶近似朗之万扩散,利用对数时间来构建马尔可夫链具有良好的收敛性能。这种近似与凸函数的Moreau-Yoshida正则化密切相关,并且使用邻近映射而不是梯度映射来近似连续时间过程。所提出的方法补充现有的MALA方法在两个方面。首先,该方法被证明具有非常强大的稳定性和几何收敛的许多目标密度,其他MALA是不是几何,或只有当步长足够小。第二,该方法可以应用于高维目标密度是不连续可微的,一类分布,越来越多地用于图像处理和机器学习,这是超出现有的MALA和HMC算法的范围。为了使用这种方法,有必要有效地计算或近似目标密度的对数的邻近映射。对于几种流行的模型,包括现代信号和图像处理以及机器学习中使用的许多贝叶斯模型,这可以通过凸优化算法和基于近似分裂技术的近似来实现,这些近似可以并行实现。所提出的方法证明了两个具有挑战性的高维和不可微的模型,图像分辨率增强和低秩矩阵估计,没有很好地解决现有的MCMC方法。
2015-04-03 stat.CO stat.ME
Multimodal Sampling via Approximate Symmetries
针对多模态采样中分布缺乏精确对称性的问题,通过群轨道平均构造精确对称参考分布,并结合多层级蒙特卡洛方法(如退火重要性采样和回火转移)提升采样效率,Ising模型实验验证了其有效性。
2024-01-04 cs.NA math.NA math.ST
Variational inference of effective range parameters for ${}^3$He-${}^4$He scattering
本文使用蒙特卡洛抽样和变分推断对${}^3$He-${}^4$He弹性散射的有效范围参数进行贝叶斯校准,改进了变分推断以处理低能数据产生的双峰后验分布,验证了两种方法结果的一致性。
2024-08-23 nucl-th stat.AP
Extrapolation of Tempered Posteriors
King’s College London(伦敦国王学院);Newcastle University(纽卡斯尔大学);ENSAE, Institut Polytechnique de Paris(巴黎高等统计与行政学院,巴黎理工学院);Alan Turing Institute(艾伦·图灵研究所)
本文针对贝叶斯计算中后验分布近似问题,提出基于回火期望外推与平滑的新方法,可作为序贯蒙特卡洛的后处理方差缩减工具,无需高质量近似$p_1$即可得到所需后验量。
2026-08-20 math.ST stat.CO stat.ME
Sequential Monte-Carlo testing by betting
提出随时有效的序贯蒙特卡洛检验方法,利用新赌博策略构建检验鞅,支持任意时刻停止且保持优异功效。
2024-12-11 stat.ME
Monte Carlo Confidence Sets for Identified Sets
在复杂/非线性参数模型中,通常很难知道模型参数是否是点识别的。我们提供了计算上有吸引力的程序来构建置信集(CS)的确定的一组完整的参数和子向量的模型定义通过一个可能性或矩等式或不等式的向量。这些CS是基于最优样本准则函数(如似然或最优加权或连续更新的GMM准则)的水平集。水平集的构造使用截断,通过蒙特卡罗(MC)模拟直接从准后验分布的标准计算。在部分可辨识的正则模型和非正则模型中,建立了拟似然比(QLR)的拟后验分布的Bernstein-vonMises(或BayesianWilks)型定理.这些结果意味着,我们的MC CS有确切的渐近频率覆盖的完整的参数和子向量的部分确定的定期模型,并有有效的,但可能保守的覆盖模型的边界上的简化形式的参数。我们的MC CS确定的子向量集,具有精确的渐近覆盖模型的奇点。我们还提供了结果的统一有效性,我们的CS类的DGP,包括点和部分确定的模型。我们证明了良好的有限样本覆盖性能,我们的程序在两个模拟实验。最后,我们的程序被应用到两个非平凡的实证例子:航空公司进入游戏和贸易流模型。
2017-09-26 econ.EM math.ST stat.ME
The Bouncy Particle Sampler: A Non-Reversible Rejection-Free Markov Chain Monte Carlo Method
马尔可夫链蒙特卡罗方法已经成为统计学中从复杂的概率测度中采样的标准工具。许多可用的技术依赖于离散时间可逆马尔可夫链,其转移核建立在梅特罗波利斯-黑斯廷斯算法之上。我们探索并提出了Peters和de With(2012)最近引入的替代方法的几个原始扩展,其中使用连续时间马尔可夫过程探索感兴趣的目标分布。在梅特罗波利斯-黑斯廷斯算法中,可以以正概率拒绝向比当前状态更低目标密度(等效地“更高能量”)的区域的尝试移动。在这种替代方法中,粒子沿着直线连续地围绕空间移动,当面对高能量障碍时,它不会被拒绝,但它的路径会通过反弹这个障碍而被修改。由此产生的非可逆马尔可夫过程提供了无拒绝的MCMC采样方案。我们提出了几个原始的技术来模拟这个连续时间的过程,正是在广泛的场景感兴趣的统计学家。当目标分布分解为仅涉及变量子集的因子的乘积时,例如与概率图模型相关联的后验分布,可以修改原始算法以利用该结构并在每个团内并行更新变量。我们提出了几个扩展提出的方法来采样混合离散-连续分布和分布限制在一个连接的光滑域。我们还表明,它是可以使用一般的流动,而不是直线移动的粒子。我们证明了这种方法的效率,通过模拟各种应用程序,并表明它可以优于混合蒙特卡罗计划在有趣的情况下。
2017-02-17 math.ST stat.ME stat.TH
ASTRO-DF: A Class of Adaptive Sampling Trust-Region Algorithms for Derivative-Free Stochastic Optimization
Purdue University(普渡大学);Virginia Tech(弗吉尼亚理工大学)
本文提出ASTRO-DF算法,通过自适应采样平衡采样误差与模型偏差,实现随机优化问题的几乎 surely 收敛到一阶临界点。
2016-10-20 cs.NA math.NA math.OC
Sequential Monte Carlo applied to virtual flow meter calibration
Solution Seeker AS(Solution Seeker公司);University of Oslo(奥斯陆大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出基于生产分离器测量值和序贯蒙特卡洛的虚拟流量计连续联合校准方法,在十口井案例中无需井测试即可有效估计各井调节因子与流量组成。
2023-04-13 cs.LG stat.AP