Bayesian Inference for Generalized Extreme Value Distributions via Hamiltonian Monte Carlo
在本文中，我们提出评估和比较马尔可夫链蒙特卡罗（MCMC）方法估计广义极值模型的参数。我们采用贝叶斯方法，使用传统的Metropolis-Hastings方法，哈密顿蒙特卡罗（HMC）和黎曼流形HMC（RMHMC）方法，以获得近似的后验边缘分布的兴趣。实际数据集的最大值的应用程序说明了如何HMC可以更有效地计算比传统的MCMC和模拟研究进行比较的算法，他们如何快速得到足够接近的平稳分布，以便提供良好的估计与较少的迭代次数。
2014-12-23 stat.CO
On the use of approximate Bayesian computation Markov chain Monte Carlo with inflated tolerance and post-correction
近似贝叶斯计算允许使用模型模拟来推断具有棘手可能性的复杂概率模型。近似贝叶斯计算的马尔可夫链蒙特卡罗实现通常对容差参数敏感：低容差导致不良混合，大容差导致过度偏差。我们考虑一种方法，使用一个相对较大的公差的马尔可夫链蒙特卡罗采样器，以确保其充分的混合，和后处理的输出导致估计的范围内更精细的公差。我们引入了一个近似的置信区间相关的后校正估计，并提出了一个自适应的近似贝叶斯计算马尔可夫链蒙特卡罗，找到一个“平衡”的容忍度自动水平，接受率优化的基础上。我们的实验表明，基于后处理的估计器可以执行更好的比直接马尔可夫链瞄准一个很好的公差，我们的置信区间是可靠的，我们的自适应算法导致可靠的推理与用户规格很少。
2019-05-16 stat.CO
Multifidelity Approximate Bayesian Computation with Sequential Monte Carlo Parameter Sampling
多保真度近似贝叶斯计算（MF-ABC）是一种用于参数推断的无可能性技术，它利用模型近似来显着提高ABC算法的速度（Prescott和Baker，2020）。以前的工作只考虑MF-ABC的上下文中的拒绝抽样，这并不特别有效地探索参数空间。在这项工作中，我们集成了多保真度的方法与ABC序贯蒙特卡罗（ABC-SMC）算法到一个新的MF-ABC-SMC算法。我们表明，ABC-SMC和MF-ABC产生的改进，以产生蒙特卡罗样本的效率和估计的ABC后被放大时，这两种技术一起使用。
2020-10-12 stat.CO
Bayesian Conditional Monte Carlo Algorithms for Sequential Single and Multi-Object filtering
贝叶斯滤波的目的是从一个观察到的过程中顺序跟踪一个隐藏的过程。特别是，序贯蒙特卡罗（SMC）技术传播的时间加权的轨迹，表示的后验概率密度函数（pdf）的隐藏过程给定的可用的意见。另一方面，条件蒙特卡罗（CMC）是一种方差缩减技术，它用给定另一个变量的条件期望来代替感兴趣时刻的估计量。在本文中，我们表明，一些适应，可以利用SMC算法的时间递归性质，以提出自然的时间CMC估计的一些点估计的隐藏过程，这优于相关的粗蒙特卡罗（MC）估计无论样本数。我们接下来表明，我们的贝叶斯CMC估计可以准确地计算，或有效地近似，在一些隐藏的马尔可夫链（HMC）模型，在一些跳跃马尔可夫状态空间系统（JMSS），以及在多目标滤波。最后通过仿真验证了算法的有效性。
2012-10-18 stat.CO
Efficient stochastic optimisation by unadjusted Langevin Monte Carlo. Application to maximum marginal likelihood and empirical Bayesian estimation
随机逼近方法在涉及棘手的似然函数的极大似然估计问题中起着核心作用，例如在缺失或不完整数据的问题中产生的边际似然，以及在参数经验贝叶斯估计中。结合马尔可夫链蒙特卡罗算法，这些随机优化方法已成功地应用于科学和工业中的广泛问题。然而，这种策略的规模差，大的问题，因为方法和理论上的困难，使用高维马尔可夫链蒙特卡罗算法内的随机逼近计划。本文提出了解决这些困难，通过使用未调整的朗之万算法构造的随机逼近。这导致了一个高效的随机优化方法，具有良好的收敛性能，可以明确量化，易于检查。所提出的方法证明了三个实验，包括一个具有挑战性的应用程序，高维统计音频分析和稀疏贝叶斯逻辑斯谛回归与随机效应的问题。
2020-05-30 stat.CO
Bayesian Trend Filtering via Proximal Markov Chain Monte Carlo
近似马尔可夫链蒙特卡罗是贝叶斯计算和凸优化的交叉点，它有助于推广贝叶斯统计中不可微先验的使用。然而，现有的近端MCMC公式需要预先指定超参数和正则化参数。在这项工作中，我们通过引入一类新的不可微先验称为epigraph先验扩展了近端MCMC的范例。作为概念的证明，我们将趋势过滤，这本来是一个非参数回归问题，在参数设置提供后验中值拟合连同可信区间作为不确定性的措施。其关键思想是用Moreau-Yosida包络代替后验密度中的非光滑项，这使得基于梯度的MCMC采样器哈密顿蒙特卡罗的应用成为可能。所提出的方法以数据驱动的方式识别适当的平滑量，从而自动化正则化参数选择。与传统的近端MCMC方法相比，我们的方法主要是调整自由，实现了同时校准的均值，规模和正则化参数在一个完全贝叶斯框架。本文的补充材料可在网上查阅。
2023-01-21 stat.CO
Hamiltonian Monte Carlo using an adjoint-differentiated Laplace approximation: Bayesian inference for latent Gaussian models and beyond
高斯隐变量模型是贝叶斯层次模型中的一类重要模型，在许多领域有着广泛的应用。在这样的模型上执行贝叶斯推断可能是具有挑战性的，因为马尔可夫链蒙特卡罗算法与所得到的后验分布的几何形状斗争，并且可能非常慢。另一种方法是使用拉普拉斯近似来边缘化潜在的高斯变量，然后使用动态哈密顿蒙特卡罗（一种基于梯度的马尔可夫链蒙特卡罗采样器）积分剩余的超参数。为了有效地实现这一计划，我们推导出一种新的伴随方法，传播所需的最小信息来构建近似边缘似然的梯度。这种策略产生了一种可扩展的微分方法，当超参数是高维时，该方法比现有技术的微分技术快几个数量级。我们原型的概率编程框架斯坦的方法和测试的实用程序的嵌入式拉普拉斯近似的几个模型，包括一个超参数的尺寸是$\sim$ 6000。根据情况，好处可以包括缓解阻碍哈密顿蒙特卡罗的几何病态和显著的加速。
2020-10-25 stat.CO
Importance Sampling-based Transport Map Hamiltonian Monte Carlo for Bayesian Hierarchical Models
我们提出了一个基于重要性抽样（IS）的传输映射哈密顿蒙特卡罗程序进行全面的贝叶斯分析在一般的非线性高维层次模型。使用IS技术来构建一个运输地图，所提出的方法转换成一个目标，这是很容易使用标准的哈密顿蒙特卡罗采样的分层模型的典型的高度挑战性的目标分布。传统的应用高维IS，无限变化的IS权重可能是一个严重的问题，需要计算成本高的高保真IS分布。我们的方法的一个有吸引力的属性是，所采用的IS分布可以是相当低的保真度，使其计算便宜。我们说明了我们的算法在应用程序中具有挑战性的动态状态空间模型，它具有非常高的仿真效率相比，相关的基准，即使是所提出的方法的变体使用几十行代码中的斯坦统计软件。
2019-12-10 stat.CO
In Search of Lost (Mixing) Time: Adaptive Markov chain Monte Carlo schemes for Bayesian variable selection with very large p
具有大量变量的数据集的可用性正在迅速增加。贝叶斯变量选择方法的回归与这些数据集的有效应用已被证明是困难的，因为可用的马尔可夫链蒙特卡罗方法在典型的问题规模的利益没有表现良好。本文提出了新的自适应马尔可夫链蒙特卡罗算法，以解决这一缺点。这些算法的自适应设计利用了以下观察结果：在大$p$小$n$设置中，大多数$p$变量将在后验中近似不相关。该算法自适应地构建合适的非局部建议，导致移动的平方跳跃距离显着大于标准方法。他们的性能进行了研究经验，在高维问题（模拟和实际数据），并观察到高达4个数量级的加速。所提出的算法是很容易实现的多核架构，非常适合并行回火或序贯蒙特卡罗实现。
2019-05-07 stat.CO
Geodesic Lagrangian Monte Carlo over the space of positive definite matrices: with application to Bayesian spectral density estimation
我们扩展应用的哈密顿蒙特卡罗允许采样的概率分布定义在对称或厄米正定矩阵。要做到这一点，我们利用黎曼结构引起的嘉当的百年正则度规。与这个度量相对应的测地线是封闭形式的，并且--在拉格朗日蒙特卡罗的上下文中--提供了一种在正定矩阵空间中旅行的原则性方法。我们的方法改进了贝叶斯推断，这样的矩阵，允许广泛的先验，所以我们不限于共轭先验。在谱密度估计的上下文中，我们使用（非共轭）复参考先验作为由算法提供的示例建模选项。模拟和现实世界的多变量时间序列的基础上的结果，在这种情况下，和未来的发展方向进行了概述。
2016-12-24 stat.CO
Adaptive semiparametric Bayesian differential equations via sequential Monte Carlo
非线性微分方程（DE）在广泛的科学问题中被用来模拟复杂的动态系统。微分方程往往包含未知的参数，是科学的兴趣，这是估计从噪声测量的动态系统。一般来说，非线性微分方程没有封闭形式的解，并且感兴趣的参数的似然曲面是多模态的，对不同的参数值非常敏感。我们提出了一个贝叶斯框架的非线性DE系统。一个灵活的非参数函数被用来表示动态过程，这样就可以避免昂贵的数值求解器。提出了一种退火框架下的序贯蒙特卡罗算法，对DEs中的参数进行贝叶斯推断。在我们的数值实验中，我们使用常微分方程和延迟微分方程的例子来证明所提出的算法的有效性。我们开发了一个R包，可在\url{https://github.com/shijiaw/smcDE}上获得。
2021-09-06 stat.CO
Zero Variance Markov Chain Monte Carlo for Bayesian Estimators
兴趣在于通过马尔可夫链蒙特卡罗（MCMC）模拟来评估函数关于可能未归一化的概率分布的期望值。基于物理学文献中引入的零方差原理，提出了MCMC估计的通用方差缩减技术。零方差估计量的渐近无偏的条件。在正则条件下证明了一个中心极限定理。的潜在的想法是说明与实际应用的概率，logit和Gesthet-Bayesian模型。对于所有这些模型，证明了零方差估计量的中心极限定理和无偏性（见在线提供的补充材料）。
2012-06-26 stat.CO
Monte Carlo error in the Bayesian estimation of risk ratios using log-binomial regression models: an efficient MCMC method
在队列研究中，二元结局经常通过逻辑斯谛回归进行分析。然而，众所周知，当目标是估计风险比时，如果结果是常见的，则逻辑斯谛回归是不合适的。在这些情况下，最好使用对数二项回归模型。另一方面，对数二项模型的回归系数的估计是困难的，因为必须对这些系数施加约束。贝叶斯方法允许对数二项回归模型的直接方法，产生较小的均方误差，并且可以使用软件WinBUGS获得后验推断。然而，在WinBUGS中实现的马尔可夫链蒙特卡罗（MCMC）方法可能导致高蒙特卡罗误差。为了避免这个缺点，我们提出了一个MCMC算法，使用重新参数化的基础上的泊松近似，并已被设计为有效地探索约束参数空间。
2014-03-31 stat.CO
Sequential Monte Carlo Methods for Bayesian Elliptic Inverse Problems
在这篇文章中，我们考虑了一个贝叶斯反问题的椭圆型偏微分方程（PDE）在二维和三维。这类反问题在水文学等应用中很重要，但未知场与测量值之间的联系函数的复杂性可能使其难以从相关的后验中得出推论。我们证明，对于这个反问题的一个基本的SMC方法具有蒙特卡罗速度的收敛常数是独立的尺寸的离散化的问题，确实收敛的SMC方法建立在一个函数空间设置。我们还开发了一个增强的序贯蒙特卡罗（SMC）方法的反问题，引入了\cite{kantas}，增强的目的是处理这个椭圆形反问题的额外的复杂性。该方法的有效性，其理想的理论特性，在两个和三个维度的数值例子证明。
2014-12-15 stat.CO
Mixing efficiency of trans-model Markov chain Monte Carlo algorithms with applications in Bayesian phylogenetics
China Southern University of Science and Technology（南方科技大学）；University College London（伦敦大学学院）
研究跨模型马尔可夫链蒙特卡罗算法的混合效率，通过数学分析和模拟，明确优先提议高后验概率模型及从后验提议参数值的原则，为构建高效算法提供指导并应用于系统发育重建。
2026-07-09 stat.CO
Multilevel rejection sampling for approximate Bayesian computation
无似然方法，如近似贝叶斯计算，是解决具有复杂似然函数的实际推理问题的有力工具。近似贝叶斯计算的马尔可夫链蒙特卡罗和序贯蒙特卡罗变体可以是在近似贝叶斯计算设置中对后验分布进行采样的有效技术。然而，如果不仔细考虑收敛标准和建议内核的选择，这种方法可能会导致非常有偏见的推理或计算效率低下的采样。相比之下，用于近似贝叶斯计算的拒绝抽样尽管计算密集，但会导致来自近似后验的独立的、相同分布的样本。提出了一种加速无似然贝叶斯推断的替代方法，该方法将多级蒙特卡罗方差缩减技术直接应用于拒绝抽样。所得到的方法保留了拒绝抽样的精度优势，同时显着提高了计算效率。
2018-02-28 stat.CO
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断，退火顺序蒙特卡罗方法，基于最近的进展，如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数，以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能，通过审查和比较与其他计算贝叶斯系统发育方法，特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中，我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动，因此受益于大量的库存，这种移动在文献中。因此，退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
Markov Chain Monte Carlo Methods for Bayesian Data Analysis in Astronomy
基于马尔可夫链蒙特卡罗的贝叶斯数据分析现已成为几乎所有科学学科分析和解释数据的首选方法。在天文学中，在过去的十年中，我们也看到了采用基于蒙特卡罗的贝叶斯分析的论文数量的稳步增加。新的，有效的蒙特卡罗方法正在不断开发和探索。在本文中，我们首先解释贝叶斯理论的基础知识，并讨论如何在此框架内设置数据分析问题。接下来，我们将概述用于执行贝叶斯数据分析的各种基于蒙特卡罗的方法。最后，我们讨论先进的思想，使我们能够解决复杂的问题，从而为未来带来巨大的希望。我们还分发可下载的计算机软件（可在https://github.com/sanjibs/bmcmc/上获得），这些软件实现了本文讨论的一些算法和示例。
2017-06-06 astro-ph.IM physics.comp-ph stat.CO
On sequential Monte Carlo, partial rejection control and approximate Bayesian computation
我们提出了一个序贯蒙特卡罗采样器的部分拒绝控制算法的变体，并表明，这种变体可以被认为是一个序贯蒙特卡罗采样器与修改后的突变内核。我们证明了新的采样器可以减少增量的重要性权重的方差相比，标准的序贯蒙特卡罗采样器。我们提供了一个新的算法的理论性质的研究，并与现有的一些算法。最后，采样器是适应于应用程序下的挑战性的“似然自由”，近似贝叶斯计算建模框架，在那里我们表现出优越的性能超过现有的似然自由采样器。
2009-11-11 math.ST stat.CO stat.TH
BIMC: The Bayesian Inverse Monte Carlo method for goal-oriented uncertainty quantification. Part I
我们考虑的问题估计罕见事件的概率，专注于系统的演化是由微分方程与不确定的输入参数。如果系统动力学的计算成本很高，则标准采样算法（如蒙特卡罗方法）可能需要不可行的运行时间来准确评估这些概率。我们提出了一个重要性抽样计划（我们称之为BIMC），依赖于解决一个辅助，虚构的贝叶斯逆问题。逆问题的解决方案产生后验PDF，一个局部高斯近似，其作为重要性抽样密度。我们应用BIMC的几个问题，并证明它可以导致计算节省了几个数量级的蒙特卡罗方法。我们描绘的条件下，BIMC是最佳的，以及当它不能产生一个有效的IS密度的条件。
2019-11-02 stat.CO stat.ME
Deep Importance Sampling based on Regression for Model Inversion and Emulation
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；Universitat de València（瓦伦西亚大学）
通过正向和反向建模来理解系统是科学和工程的许多领域中经常出现的研究课题。在这种背景下，蒙特卡罗方法已被广泛用作数值推理和优化的有力工具。他们需要选择一个合适的建议密度，这对他们的表现至关重要。为此，文献中提出了几种自适应重要性抽样（AIS）方案。我们在这里提出了一个AIS框架，称为基于回归的自适应深度重要性抽样（RADIS）。在RADIS中，关键思想是通过回归非参数建议密度（即，仿真器），其模仿后验分布，并因此最小化建议密度和目标密度之间的失配。RADIS是基于两个（或多个）嵌套的IS计划的深层架构，以便从构造的仿真器中提取样本。该算法采用后验近似作为建议密度，可以通过增加支持点来提高建议密度。因此，RADIS渐近收敛到一个精确的采样器在温和的条件下。此外，由RADIS产生的仿真器可以反过来用作进一步研究的廉价代理模型。我们介绍了两个具体的RADIS实现，使用高斯过程（GP）和最近邻（NN）构建仿真器。几个数值实验和比较表明所提出的计划的好处。在遥感模型反演和仿真中的实际应用验证了该方法的有效性。
2021-02-27 cs.LG stat.CO stat.ML
Sequential Markov Chain Monte Carlo for Bayesian Filtering with Massive Data
数字传感器、数字数据存储和通信的进步使得系统能够积累大量数据。在光处理的挑战，海量数据的存在，这项工作提出了解决方案的推理和过滤问题的贝叶斯框架内。针对非线性和非高斯状态空间模型，提出了两种新的贝叶斯推断算法，能够处理大量数据（或观测值）。这些是顺序的马尔可夫链蒙特卡罗（MCMC）方法，其依赖于两个关键思想：1）对大量数据进行子采样，并利用较小的子集进行过滤和推断，以及2）分别使用测量的子集计算局部过滤分布的分治型方法。仿真结果突出的准确性和大量的计算节省，可以达到90%的标准技术相比，所提出的算法。
2015-12-08 stat.AP stat.CO
GPU-Accelerated Sequential Monte Carlo for Bayesian Spectral Analysis
a.s.ist Inc.（a.s.ist 公司）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）
本文提出一种基于GPU的序列蒙特卡洛方法，用于贝叶斯频谱峰值数量选择和峰值函数参数估计，通过并行计算实现显著加速，验证了在模拟XPS和XRD数据及真实实验谱上的有效性。
2026-03-23 physics.data-an stat.CO
Dynamically rescaled Hamiltonian Monte Carlo for Bayesian Hierarchical Models
动态重标度的哈密顿蒙特卡罗（DRHMC）是一种计算速度快，易于实现的方法进行全面的贝叶斯分析分层统计模型。该方法依赖于引入修改的参数化，使得重新参数化的目标分布具有接近恒定的缩放特性，并且因此使用标准（欧几里得度量）哈密顿蒙特卡罗容易地采样。如果指定分层模型的条件分布的参数化是“恒定信息参数化”（CIP），则修改后的参数化和原始参数化之间的关系是双射的，明确计算的，并且允许利用所涉及的数值线性代数中的稀疏性。CIP的一个大的目录的统计模型，并从目录中，很明显，许多CIP是目前经常使用的统计计算。讨论了该方法与一类显式积分Riemann流形哈密顿蒙特卡罗方法之间的关系。该方法说明了几个示例模型，包括一个模型的通货膨胀率与多个层次的非线性相关的潜变量。
2018-10-22 stat.CO stat.ME
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断，称为鲁棒贝叶斯分析，允许通过有界（或不精确）概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗（MCMC）抽样的情况，提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样，推导了一个新的表达式的有效样本量的重要性抽样，它考虑了相关性的MCMC样本。为了说明所提出的方法，稳健的贝叶斯分析，迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比，网格搜索方法，并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau
现代成像方法强烈依赖于贝叶斯推断技术来解决具有挑战性的成像问题。目前，主要的贝叶斯计算方法是凸优化，它非常有效地扩展到高维图像模型，并提供准确的点估计结果。然而，为了执行更复杂的分析，例如图像不确定性量化或模型选择，有必要使用计算更密集的贝叶斯计算技术，例如马尔可夫链蒙特卡罗方法。本文提出了一种新的和高效的马尔可夫链蒙特卡罗方法来执行贝叶斯计算的高维模型，是对数凹和非光滑，一类模型，是在成像科学的中心。该方法是基于一个正规化的未调整的Langevin算法，利用凸分析工具，即Moreau-Yoshida信封和邻近的运营商，构建马尔可夫链具有良好的收敛性能。除了有效地扩展到高维，该方法是直接适用于模型，目前解决了使用近似优化算法。我们提供了一个详细的理论分析，所提出的方法，包括渐近和非渐近收敛结果，易于验证的条件，并明确界定的收敛速度。所提出的方法证明了与四个实验相关的图像反卷积和断层重建与全变差和$\ell_1$先验，在那里我们进行了一系列具有挑战性的贝叶斯分析相关的不确定性量化，假设检验，和模型选择在地面真理的情况下。
2016-12-22 stat.CO stat.ME
Ensemble Kalman filter based Sequential Monte Carlo Sampler for sequential Bayesian inference
许多现实世界的问题需要一个估计参数的兴趣，在贝叶斯框架，从数据收集顺序的时间。从后验分布采样的传统方法，如{马尔可夫链蒙特卡罗}不能有效地解决这些问题，因为它们没有利用数据的顺序结构。为此，序列的方法，寻求更新的后验分布，每当一个新的收集的数据变得可用，经常被用来解决这些类型的问题。序贯方法的两种流行选择是Envelope卡尔曼滤波器（EnKF）和序贯蒙特卡罗采样器（SMCS）。虽然EnKF仅计算后验分布的高斯近似，但SMCS可以直接从后验中提取样本。然而，它的性能关键取决于所使用的内核。在这项工作中，我们提出了一种方法，构建SMCS的内核使用EnKF制定，我们证明了该方法的性能与数值例子。
2022-01-23 stat.CO stat.ME
Semi-Separable Hamiltonian Monte Carlo for Inference in Bayesian Hierarchical Models
University of Edinburgh（爱丁堡大学）
由于模型参数和超参数之间的强相关性，MCMC方法通常难以从分层贝叶斯模型中进行采样。最近的黎曼流形哈密顿蒙特卡罗（RMHMC）方法在这种情况下有显着的潜在优势，但计算昂贵。我们介绍了一种新的RMHMC方法，我们称之为半可分的哈密顿蒙特卡罗，它使用一个专门设计的质量矩阵，允许联合哈密尔顿模型参数和超参数分解成两个更简单的哈密尔顿。这种结构是利用一个新的积分器，我们称之为交替块蛙跳算法。所得到的方法可以混合比简单的吉布斯抽样更快，而更简单，更有效地比以前的RMHMC的实例。
2014-06-15 cs.AI cs.LG stat.CO
On computational tools for Bayesian data analysis
虽然Robert和Rousseau（2010）讨论了贝叶斯分析的基础方面，但本章通过回顾可用于近似贝叶斯过程的计算方法来详细介绍其实践方面。最近的创新，如蒙特卡罗马尔可夫链，序贯蒙特卡罗方法和最近的近似贝叶斯计算技术大大增加了贝叶斯应用的潜力，他们也开辟了新的途径，贝叶斯推断，首先是贝叶斯模型的选择。
2010-02-25 stat.CO stat.ME
Multimodal Bayesian Registration of Noisy Functions using Hamiltonian Monte Carlo
功能数据注册是许多应用程序的必要处理步骤。观察到的数据可能是固有的噪声，通常是由于测量误差或自然的过程不确定性，这是大多数功能对准方法无法处理的。一对函数也可以有多个最佳对齐解决方案，这在当前文献中没有解决。在本文中，一个灵活的贝叶斯方法的功能对齐，适当占噪声的数据，而无需任何预平滑。此外，通过运行并行MCMC链，该方法可以通过翘曲函数的多模态后验分布来考虑多个最优比对。为了最有效地对翘曲函数进行采样，该方法依赖于标准哈密顿蒙特卡罗的修改，以在无限维希尔伯特空间上得到良好的定义。这种灵活的贝叶斯对齐方法被应用到模拟数据和真实数据集，以显示其在处理噪声函数和成功地占多个最佳对齐后的效率;表征周围的翘曲函数的不确定性。
2021-03-04 stat.CO stat.ME
A Bayesian Optimization through Sequential Monte Carlo and Statistical Physics-Inspired Techniques
本文提出一种结合序贯蒙特卡洛与统计物理概念的贝叶斯优化方法，借助NumPyro和JAX实现跨CPU、GPU、TPU的高性能并行优化，为多种优化问题提供了低门槛且有前景的技术方向。
2024-09-04 cs.DC physics.data-an stat.CO
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University（哥伦比亚大学）
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗（MCMC）或组合序贯蒙特卡罗（CSMC）等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而，当MCMC用于进化参数学习时，收敛需要长时间运行，状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗（VCSMC），一个强大的框架，建立变分顺序搜索学习分布在复杂的组合结构。然后，我们开发嵌套CSMC，一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似（棘手的）局部最优建议。我们使用嵌套的CSMC定义第二个目标，VNCSMC产生更严格的下限比VCSMC。我们表明，VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
elhmc: An R Package for Hamiltonian Monte Carlo Sampling in Bayesian Empirical Likelihood
在这篇文章中，我们描述了一个{ \tt R}包，用于使用哈密顿蒙特卡罗方法从基于经验似然的后验中进行采样。经验似然为基础的方法已被用于贝叶斯建模的许多问题的兴趣在最近的时间。这种半参数方法可以很容易地将非参数分布估计的灵活性与参数模型的可解释性结合起来。该模型通过估计基于方程的约束来指定。从贝叶斯经验似然（Bayesel）后验中得出推论是具有挑战性的。可能性是数值计算的，因此不存在后验的封闭表达式。此外，对于有限样本，似然的支持度是非凸的，这阻碍了许多马尔可夫链蒙特卡罗（MCMC）方法的快速混合。最近的研究表明，利用对数经验似然的梯度性质，可以设计一种有效的哈密顿蒙特卡罗（HMC）算法来从贝叶斯后验中进行采样。该软件包要求用户仅指定估计方程、先验和它们各自的梯度。从参数的贝叶斯后验中提取MCMC样本，并获得用户所需的各种细节。
2022-09-02 stat.CO stat.ML stat.OT
Bayesian Detectability of Induced Polarisation in Airborne Electromagnetic Data using Reversible Jump Sequential Monte Carlo
在航空电磁（AEM）测量中检测感应极化（IP）效应还没有一个既定的方法。这一贡献开发了一种贝叶斯方法的IP-检测问题，使用解耦transdimensional分层模型，并适用于一种新的方法，其中transdimensional的建议是使用内的并行和强大的静态序贯蒙特卡罗（SMC）类算法的参数和模型的同时推理物理。尽管将该算法称为可逆跳跃序贯蒙特卡罗（RJSMC），但对该算法的统计方法贡献考虑了多个模型和建议类型的适应性考虑，特别是不太可能模型中的周围粒子扩散。固体地球物理学方法的贡献包括解耦模型的方法和建议的统计，使用后验模型的IP检测几率。一个案例研究包括调查IP效应的AEM数据在广泛的规模检测。
2021-09-02 physics.geo-ph stat.AP stat.CO
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Calibration of Complex Computer Simulators using Likelihood Emulation
我们校准了一个自然历史模型，这是一种用于医疗行业的计算机模拟器，在这里已经被用来计算英国的肠癌发病率。该模拟器跟踪了一个人样本中肠癌的发展，其输出主要按患者年龄和肠癌类型对肠癌发生率进行分层。它的输出依赖于25个未知的输入，我们需要校准。为了做到这一点，我们必须解决，不仅是输出计数数据，但它也是随机的，由于模拟过程。我们无法单独使用蒙特卡罗方法来实现模拟器的校准，因为它具有“中等”的计算费用。为了实现可靠的校准，我们还必须指定其差异：当校准时，它与现实有何不同。我们提出了一种校准方法，结合了似然函数与重要性抽样的统计仿真器。仿真器提供输入的临时样本，在该样本处运行仿真器，由此计算可能性。然后使用重要性抽样来重新加权输入并提供校准输入的最终样本。重新计算重要性权重几乎不会产生计算成本，因此我们可以轻松地研究不同的差异规范如何影响校准。
2014-10-28 stat.ME
Monte-Carlo utility estimates for Bayesian reinforcement learning
本文介绍了一套蒙特卡罗贝叶斯强化学习的算法。首先，利用蒙特卡罗方法对贝叶斯最优价值函数的上界进行估计，构造一个乐观策略。其次，介绍了基于梯度的近似上下界算法。最后，我们介绍了一类新的梯度算法贝叶斯贝尔曼误差最小化。我们从理论上证明了梯度方法是合理的。实验上，我们证明了上限方法的优越性，在获得的奖励。然而，我们也表明，贝叶斯贝尔曼误差方法是一个密切的第二，尽管其显着的计算简单。
2013-03-11 cs.LG stat.ML
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题，涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法，聚焦数据量与维度可扩展性，推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Multilevel Monte Carlo in Approximate Bayesian Computation
在下面的文章中，我们考虑近似贝叶斯计算（ABC）推理。我们介绍了一种使用多级蒙特卡罗（MLMC）的ABC后验的数值逼近方法。一个序贯蒙特卡罗版本的方法开发，它是在一定的假设下，对于一个给定的水平的均方误差，这种方法的ABC具有较低的成本比i.i.d.从最精确的ABC近似中采样。给出了几个数值例子。
2017-02-13 stat.ME
Deterministic Langevin Monte Carlo with Normalizing Flows for Bayesian Inference
Tsinghua University（清华大学）；University of California（加利福尼亚大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个通用的贝叶斯推断算法昂贵的可能性，取代随机项的朗之万方程与确定性的密度梯度项。粒子密度是从当前的粒子位置使用归一化流（NF），这是可微的，并在高维具有良好的泛化性能进行评估。我们利用NF预处理和基于NF的Metropolis-Hastings更新来加快收敛速度。我们在各种例子中表明，该方法是有竞争力的最先进的采样方法。
2022-10-13 cond-mat.stat-mech cs.LG physics.data-an
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University（清华大学）
基于随机性的Monte Carlo抽样算法，如Langevin动力学和Hamilton Monte Carlo，是贝叶斯推理的重要方法。在大规模环境中，全梯度是负担不起的，因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差，Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学，并获得了理论和实验上的改进。在本文中，我们将方差缩减技巧应用于哈密顿蒙特卡罗，并取得了更好的理论收敛结果相比，方差缩减的朗之万动力学。此外，我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中，进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示，在真实世界数据集上的贝叶斯回归和分类任务中，方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
2019-06-21 cs.DS cs.LG stat.ML
Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation
Purdue University（普渡大学）
本文针对两类发散性：$f$ -发散性和$α$ -发散性，引入了几个新的测度变化不等式.我们展示了如何变分表示$f$ -分歧导致新的变化的措施不等式。给出了$α$ -分歧的乘性测度变换不等式和Hammersley-Chapman-Robbins不等式的推广.最后，我们提出了几个应用程序，我们的测量不等式的变化，包括PAC贝叶斯界的各种损失和非渐近区间的Monte Carlo估计。
2020-06-25 cs.LG stat.ML
A new Monte Carlo sampling in Bayesian probit regression
本文从贝叶斯的角度研究了概率单位回归问题，并给出了当回归参数的先验分布为均匀分布时的后验分布的另一种形式。这种新的形式允许简单的蒙特卡罗模拟的后，而不是MCMC模拟研究的文献中，因此可能是更有效的计算。我们还提供了第一时刻和第二时刻的替代显式表达式。此外，我们提供类似的结果高斯先验。
2012-03-14 stat.ME
Comment on "Sequential Monte Carlo for Bayesian Computation" (P. Del Moral, A. Doucet, A. Jasra)
主要的问题涉及到序列蒙特卡罗的另一个最新进展，即使用自动适应目标分布的混合过渡核（Douc et al. 2006）。是否有一类静态推理问题更适合后向核方法，或者预测哪种方法在特定情况下可能具有更好的性能还为时过早？
2006-06-22 math.PR math.ST stat.TH
A comparison of nonlinear population Monte Carlo and particle Markov chain Monte Carlo algorithms for Bayesian inference in stochastic kinetic models
本文讨论了随机动力学模型中后验概率分布的蒙特卡罗逼近问题。SKM是一种多变量马尔可夫跳过程，它根据一组不确定参数来模拟生物化学系统中物种之间的相互作用。马尔可夫链蒙特卡罗（MCMC）方法通常优选用于该贝叶斯推断问题。具体而言，粒子MCMC（pMCMC）方法最近已被证明是一种有效的，而计算要求，适用于这个问题的方法。在pMCMC框架内，重要性抽样（IS）仅用作Metropolis-Hastings内核中接受率的序贯蒙特卡罗（SMC）近似的基础。然而，最近提出的非线性人口蒙特卡罗（NPMC）算法，迭代IS计划的基础上，也已被证明是有效的贝叶斯推断工具，低维（捕食者-猎物）SKMs。在本文中，我们提供了一个广泛的性能比较pMCMC与NPMC，当应用到具有挑战性的原核自动调节网络。我们展示了如何NPMC方法可以大大优于pMCMC算法在这种情况下，与整体适度的计算工作。我们补充的两种技术的数值比较与渐近收敛分析的非线性IS计划的核心时，所提出的方法的重要性权重只能近似计算。
2014-04-21 stat.ME
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们考虑在马尔可夫链蒙特卡罗（MCMC）和贝叶斯暗知识（BDK）推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性：快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们证明了完全基于MCMC的推理具有出色的鲁棒性，显著优于基于标准点估计的学习。另一方面，BDK提供了边际改进。作为一个额外的贡献，我们提出了一个存储高效的方法来计算对抗的例子，大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Bayesian Inference in Monte-Carlo Tree Search
IBM TJ Watson Research Center（IBM TJ沃森研究中心）
蒙特卡罗树搜索（MCTS）方法在计算机围棋中取得突破性成果后，引起了人们极大的兴趣。本文提出了一种MCTS的贝叶斯方法，该方法受到UCT [13]等无分布方法的启发，但在重要方面有显着不同。贝叶斯框架允许潜在的更准确的（贝叶斯最优）估计节点值和节点的不确定性，从有限数量的模拟试验。我们进一步提出通过快速分析高斯近似方法在树中传播推理：这可以使贝叶斯推理的开销在Go等领域中易于管理，同时保持期望值估计的高准确性。我们发现UCT在理想化的Bandit-Tree测试环境中表现出色，通过与已知的地面实况进行比较，我们可以获得有价值的见解。此外，我们严格证明了政策和政策的收敛性所提出的方法。
2012-03-15 cs.AI cs.LG stat.ML
Thermostat-assisted continuously-tempered Hamiltonian Monte Carlo for Bayesian learning
我们提出了一种新的采样方法，恒温器辅助连续回火哈密顿蒙特卡罗，贝叶斯学习大数据集和多峰分布。它模拟了建立在兴趣分布上的连续回火哈密顿系统的Nosé-Hoover动力学。这种方法的一个显著优点是，它不仅能够有效地绘制代表性的i.i.d.当分布包含多个孤立模式时，采样，但能够自适应地中和小批量产生的噪声并保持准确的采样。虽然已经使用合成分布研究了这种方法的特性，但在三个真实数据集上的实验也证明了在几个强基线上的性能增益，其中包含各种类型的神经网络。
2019-01-28 stat.ML
Practical Bayesian System Identification using Hamiltonian Monte Carlo
本文研究了用马尔可夫链蒙特卡罗（MCMC）方法进行动态系统的贝叶斯参数估计。采用Metroplis Hastings（MH）算法，本文的主要贡献是检查和说明一个特定的建议密度的功效的基础上保持能量的哈密顿动力学，这导致在统计文献中被称为"哈密顿蒙特卡罗“（HMC）。这种方法的非常重要的效用是，正如将要说明的，它大大减少了（几乎到消除的点）的典型的非常高的相关性，在大都会-黑斯廷斯链已被观察到的几个作者限制应用的MH方法，只有非常低的维度模型结构。本文说明了如何HMC方法可以适用于显着的维度线性和非线性模型结构，即使当系统的顺序是未知的，并使用模拟和真实的数据。
2021-10-14 cs.SY eess.SY stat.AP
A Monte Carlo Algorithm for Universally Optimal Bayesian Sequence Prediction and Planning
这项工作的目的是解决这样一个问题，即我们是否可以在原则上设计理性的决策代理或嵌入可计算物理的人工智能，使它们的决策在合理的数学意义上是最优的。最近在稀有事件概率估计、递归贝叶斯推断、神经网络和概率规划方面的发展足以显式地近似具有非平凡模型类（这里是资源受限图灵机类）的AIXI风格的强化学习器。考虑资源限制的影响，在具体的实施导致的见解可能的架构，学习系统使用最佳决策者作为组件。
2010-01-18 cond-mat.dis-nn cs.AI cs.LG
BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization
Facebook（脸书）；New York University（纽约大学）
贝叶斯优化为广泛的应用提供了样本高效的全局优化，包括自动机器学习、工程、物理和实验设计。我们介绍BoTorch，贝叶斯优化的现代编程框架，结合蒙特卡罗（MC）采集功能，一种新的样本平均近似优化方法，自动微分和方差减少技术。BoTorch的模块化设计有助于灵活规范和优化PyTorch编写的概率模型，简化新采集功能的实现。我们的方法得到了新颖的理论收敛结果的支持，并通过利用快速预测分布，硬件加速和确定性优化的独特算法基础实现了实用。我们还提出了一种新的“一次性”制定的知识梯度，使我们的理论和软件的贡献相结合。在实验中，我们证明了提高样本效率的BoTorch相对于其他流行的库。
2020-12-08 cs.DC cs.LG math.OC
Bayesian inference with Monte Carlo approximation: Measuring regional differentiation in ceramic and glass vessel assemblages in Republican Italy, ca. 200 BCE - 20 CE
测量考古学组合差异的方法长期以来一直基于组合的属性水平分析。本文认为，通过Hellinger距离的概率分布比较组合的方法，通过Dirichlet分类模型的推断使用蒙特卡罗方法的近似计算。这种方法在考古学的实践-理论传统中得到应用，这种方法试图测量和关联构成社会惯习的不同因素。它在这里实施的重点是在过去两个世纪的共和国意大利的区域食品消费习惯的问题，对大规模社会变革的角度提供信息。
2017-02-18 stat.AP
Solving Linear-Gaussian Bayesian Inverse Problems with Decoupled Diffusion Sequential Monte Carlo
Department of Computer and Information Science (IDA), Linköping University, Sweden（计算机与信息科学系（IDA），_linköping大学，瑞典）
本文提出了一种基于解耦扩散的序列蒙特卡洛方法（DDSMC），用于求解线性高斯贝叶斯逆问题，该方法允许对样本进行更大更新且渐近精确，并在合成、蛋白质及图像数据上验证了有效性，同时可扩展至离散数据。
2025-10-10 cs.AI cs.LG stat.ML
Multilevel Monte Carlo simulation of a diffusion with non-smooth drift
我们表明，Lasso和贝叶斯Lasso是非常接近时，稀疏性是大的，噪声是小的。然后我们提出用多值随机微分方程求解贝叶斯套索。给出了三种离散化算法，并给出了计算蒙特卡罗（MC）、多级蒙特卡罗（MLMC）和MCMC算法的代价的方法。
2015-04-24 math.ST stat.TH
