Variational Sequential Monte Carlo
大规模概率推理的许多最新进展依赖于变分方法。变分方法的成功取决于（i）制定一个灵活的参数分布族，以及（ii）优化参数，以找到这个家族中最接近精确后验的成员。在本文中，我们提出了一个新的近似家庭的分布，变分序贯蒙特卡罗（VSMC）家庭，并显示如何优化它的变分推断。VSMC融合了变分推断（VI）和序贯蒙特卡罗（SMC），为从业者提供灵活，准确和强大的贝叶斯推断。VSMC族是一个变分族，可以任意地近似后验，同时仍然允许其参数的有效优化。我们展示了它在状态空间模型，金融数据的随机波动模型和大脑神经回路的深度马尔可夫模型上的实用性。
2018-02-21 stat.CO stat.ME stat.ML
Uphill Roads to Variational Tightness: Monotonicity and Monte Carlo Objectives
Université Côte d'Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Technical University of Denmark（丹麦技术大学）
我们重温理论的重要性加权变分推断（IWVI），一个很有前途的策略学习潜变量模型。IWVI使用新的变分界限，称为蒙特卡罗目标（MCO），通过用蒙特卡罗估计值替换难以处理的积分获得-通常简单地通过重要性抽样获得。Burda，Grosse和Salakhutdinov（2016）表明，增加重要性样本的数量可以证明缩小界限和可能性之间的差距。受这个简单的单调性定理的启发，我们提出了一系列的非渐近的结果，链接性能的蒙特卡罗估计的紧MCO。我们挑战的基本原理，较小的蒙特卡罗方差导致更好的界限。我们从理论上证实了最近几篇论文的实证研究结果表明，在一个精确的意义上，负相关减少变差。我们还推广了原来的单调性定理，考虑非均匀权重。我们讨论了我们的理论结果的几个实际后果。我们的工作借鉴了随机序理论的许多思想和结果。
2022-01-26 cs.AI cs.LG stat.CO
Recursive Monte Carlo and Variational Inference with Auxiliary Variables
Massachusetts Institute of Technology（麻省理工学院）
在实施蒙特卡罗和变分推理算法时，一个关键的设计约束是必须能够廉价和准确地评估建议分布和变分族的边缘密度。这使得许多有趣的建议从桌面上消失，例如那些基于相关模拟或随机优化的建议。本文拓宽了设计空间，提出了一个框架，应用蒙特卡罗和变分推理算法时，建议密度不能准确评估。我们的框架，递归随机变量推理（RAVI），而是使用元推理近似必要的密度：蒙特卡洛或变分推理的附加层，目标是建议，而不是模型。RAVI推广和统一了现有的几种推理方法与表达近似的家庭，我们显示对应的元推理算法的具体选择，并提供了新的理论分析其偏差和方差。我们说明RAVI的设计框架和定理，使用它们来分析和改进Salimans等人。的马尔可夫链变分推理，并设计了一个新的采样器狄利克雷过程的混合物，实现了最先进的结果，从天文学的标准基准数据集和具有挑战性的医疗保险医院数据的重复学习任务。
2022-11-19 cs.LG stat.CO
Combining Normalizing Flows and Quasi-Monte Carlo
本文提出将拟蒙特卡洛采样与归一化流相结合，用拟蒙特卡洛采样流的初始分布，实验表明该组合估计量方差显著低于经典蒙特卡洛采样。
2024-01-11 stat.CO stat.ML
Adaptive Tuning Of Hamiltonian Monte Carlo Within Sequential Monte Carlo
序贯蒙特卡罗（SMC）采样器形成了一个有吸引力的替代MCMC贝叶斯计算。然而，它们的性能在很大程度上取决于用于恢复粒子的马尔可夫核。我们讨论了如何自动校准（使用当前粒子）哈密顿蒙特卡罗内核SMC。为此，我们建立在Fearnhead和Taylor（2013）的自适应SMC方法的基础上，我们还提出了替代方法。我们通过广泛的数值研究说明了在SMC采样器内使用HMC内核的优点。
2020-02-12 stat.CO
The Convergence of Markov chain Monte Carlo Methods: From the Metropolis method to Hamiltonian Monte Carlo
从20世纪50年代开始到应用统计学的现代前沿，马尔可夫链蒙特卡罗一直是统计计算中最普遍和最成功的方法之一。在这段时间里，它的发展受到越来越困难的问题和物理学新技术的推动。在这篇文章中，我将回顾马尔可夫链蒙特卡罗的历史，从一开始的大都会方法，今天的国家的最先进的哈密顿蒙特卡罗。在此过程中，我将专注于该方法的统计和物理观点之间不断发展的相互作用。
2018-01-10 physics.hist-ph stat.ME
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点，提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法，用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
A method for importance sampling through Markov chain Monte Carlo with post sampling variational estimate
我们提出了一种方法来有效地整合截断概率密度。该方法采用马尔可夫链蒙特卡罗方法从与被积分函数相匹配的概率密度中采样。通过构造具有已知积分的函数，通过非参数核密度估计和变分过程，获得所需的归一化或等价的结果。数值算例表明了该方法的有效性。可能的增强方法和限制进行了讨论。
2013-12-06 stat.CO
Quasi continuous level Monte Carlo for random elliptic PDEs
本文提出拟连续水平蒙特卡洛方法，用拟蒙特卡洛序列生成指数分布随机变量，显著降低方差，在随机椭圆偏微分方程示例中明显优于多水平和连续水平蒙特卡洛。
2023-10-12 cs.NA math.NA math.PR
Discussion of "Sequential Quasi-Monte Carlo" by Mathieu Gerber and Nicolas Chopin
关于拟蒙特卡罗估计在应用中降低方差可能性的讨论。进一步的细节在随附的论文“拟蒙特卡罗的方差缩减“中提供。
2015-01-14 stat.CO
Exploring multi-dimensional spaces: a Comparison of Latin Hypercube and Quasi Monte Carlo Sampling Techniques
三种抽样方法进行了比较，效率的各种复杂性的测试问题，其中解析求积。比较的方法是伪随机数的蒙特卡罗，拉丁超立方抽样，准蒙特卡罗抽样的基础上Sobol序列。一般的结果显示出优越的性能的准蒙特卡罗方法的基础上Sobol序列与理论预测。拉丁超立方抽样可以比蒙特卡罗方法和准蒙特卡罗方法更有效，但后者的不等式适用于减少的函数类型集和少量的采样点。总之，拟蒙特卡罗方法将出现最安全的赌注时，集成功能的未知类型。
2015-05-10 stat.AP stat.CO
Supplement to "Markov Chain Monte Carlo Based on Deterministic Transformations"
这是对文章“基于确定性变换的马尔可夫链蒙特卡罗”的补充，可在http://arxiv.org/abs/1106.5850上获得
2013-06-28 stat.CO
Repetition effects in a Sequential Monte Carlo sampler
本文研究了近期为政治选区重划引入的序贯蒙特卡洛（SMC）方法中样本重复现象的普遍性。
2024-09-24 cs.CY math.PR math.ST
A Short Review of Ergodicity and Convergence of Markov chain Monte Carlo Estimators
这篇短文回顾了量化马尔可夫链蒙特卡罗估计的渐近收敛和前渐近收敛的基本理论。
2021-10-13 math.PR math.ST stat.ME
Identifying the Optimal Integration Time in Hamiltonian Monte Carlo
通过利用光滑概率系统的自然几何结构，哈密顿蒙特卡罗产生计算效率高的马尔可夫链蒙特卡罗估计。至少在算法足够好的情况下。在本文中，我将展示如何几何基础的哈密顿蒙特卡罗隐含地确定这些参数的最佳选择，特别是积分时间。然后，我认为这些原则在现有的算法和一个新的实现称为\emph{Exhaustive Hamiltonian Monte Carlo}的实际后果，然后在一些说明性的例子证明这些想法的效用。
2016-01-02 stat.CO stat.ME
The Geometry of Hamiltonian Monte Carlo
哈密顿蒙特卡罗是一种有效的马尔可夫链蒙特卡罗技术，它系统地探索了概率分布;然而，它最终取决于选择合适的哈密尔顿函数。通过考察哈密顿动力学的辛几何基础和马尔可夫链蒙特卡罗的要求，我们构造了可容许哈密顿量的一般形式，并提出了一种在贝叶斯推断中具有潜在应用的特殊选择.
2011-12-18 physics.data-an stat.ME
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算（ABC）是处理具有难处理的可能性的模型的一般方法。在这项工作中，我们推导出基于QMC（准蒙特卡罗）序列的ABC算法。我们表明，由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体，逐步适应提案分布和接受阈值。我们说明了我们的QMC方法，通过几个例子从ABC文学。保留字：近似贝叶斯计算，无似然推断，拟蒙特卡罗，随机化拟蒙特卡罗，自适应重要性抽样
2018-05-07 stat.CO
Forward Event-Chain Monte Carlo: Fast sampling by randomness control in irreversible Markov chains
不可逆和无拒绝蒙特卡罗方法，最近在物理学中以事件链的名义开发，在统计学中称为分段确定性蒙特卡罗（PDMC），已被证明比标准蒙特卡罗方法产生明显的加速，这要归功于它们的随机游走行为的减少。然而，当将这样的方案应用于标准统计模型时，为了正确性，通常需要引入额外的随机化。我们在这里提出了一类新的事件链蒙特卡罗方法，减少这种额外的随机化到最低限度。我们比较了这种新方法的效率，标准的PDMC和蒙特卡罗方法。加速到几个数量级和减少尺寸缩放展出。
2020-04-27 stat.CO
Sweave Documentation for "Implementing Markov chain Monte Carlo: Estimating with confidence"
该文件是Flegal，J.M. Jones，G. L.（2010），“Implementing马尔可夫链蒙特卡罗：Estimating with confidence”，in Handbook of马尔可夫链蒙特卡罗，edited by Brooks，S.，Gelman，A.，琼斯，G.，和Meng，X.出版社：Chapman & Hall/CRC Press
2010-06-24 stat.OT
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断，退火顺序蒙特卡罗方法，基于最近的进展，如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数，以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能，通过审查和比较与其他计算贝叶斯系统发育方法，特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中，我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动，因此受益于大量的库存，这种移动在文献中。因此，退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布，主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波，并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现，认为它们在统计中仍然没有得到充分的使用，尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME
The Fundamental Incompatibility of Hamiltonian Monte Carlo and Data Subsampling
利用哈密顿流的相干探索，哈密顿蒙特卡罗产生计算效率高的蒙特卡罗估计，即使对于复杂和高维的目标分布。然而，当遇到数据密集型应用程序时，该算法的实现可能过于昂贵，这让我们需要考虑数据二次采样等近似方法的实用性。在本文中，我演示了如何从根本上妥协的有效探索汉密尔顿流的数据二次采样，因此可扩展性能的哈密顿蒙特卡罗本身。
2015-02-05 stat.ME
Simple rejection Monte Carlo algorithm and its application to multivariate statistical inference
本文针对拒绝蒙特卡洛算法应用较少的问题，提出一种简化版本，并以多元分布抽样和多元积分为例展示其在统计推断中的具体应用。
2024-02-27 stat.CO
Multilevel Monte Carlo simulation of a diffusion with non-smooth drift
我们表明，Lasso和贝叶斯Lasso是非常接近时，稀疏性是大的，噪声是小的。然后我们提出用多值随机微分方程求解贝叶斯套索。给出了三种离散化算法，并给出了计算蒙特卡罗（MC）、多级蒙特卡罗（MLMC）和MCMC算法的代价的方法。
2015-04-24 math.ST stat.TH
Covariance estimation using h-statistics in Monte Carlo and multilevel Monte Carlo methods
本文提出利用 h-statistics 的 MC 与 MLMC 无偏协方差估计方法，以闭式形式构造无偏均方误差，并通过一维随机椭圆 PDE 验证数值效果。
2024-05-08 cs.NA math.NA math.ST
Zero Variance and Hamiltonian Monte Carlo Methods in GARCH Models
在本文中，我们发展了贝叶斯哈密顿蒙特卡罗方法的推断在非对称的Gestival模型在不同的分布的误差项。我们实现了零方差和哈密顿蒙特卡罗计划的参数估计，试图减少标准误的估计，从而获得更有效的结果，在一个小的额外的计算成本的价格。
2017-10-20 stat.CO
Finite Sample Complexity of Sequential Monte Carlo Estimators
本文给出了静态空间上序贯蒙特卡罗采样器的有限样本误差的界。我们的方法明确地将算法的性能与所选分布序列的属性和相关马尔可夫核的混合属性联系起来。这使我们能够给出第一个有限样本比较其他蒙特卡罗计划。我们得到了各种目标分布的序贯蒙特卡罗近似的复杂性的界限，包括有限空间，产品措施，和对数凹分布，包括贝叶斯逻辑斯谛回归。所得到的界限是在一个对数因子内的类似界限可获得马尔可夫链蒙特卡罗。
2022-08-18 math.PR stat.CO stat.ME
Introducing Monte Carlo Methods with R Solutions to Odd-Numbered Exercises
这是我们的书“Introducing蒙特卡罗Methods with R”中奇数练习的解决方案手册，由Springer Verlag于2009年12月10日出版，并免费提供给每个人。
2010-01-17 stat.CO stat.ME
Density Estimation by Monte Carlo and Quasi-Monte Carlo
估计连续随机变量X的密度在统计学中已经被广泛研究，在设置中，X的n个独立观测值被先验地给出，并且人们希望从中估计密度。流行的方法包括直方图和核密度估计。在这篇综述论文中，我们感兴趣的是，而不是在这种情况下，观察产生的蒙特卡罗模拟从一个模型。然后，可以利用方差缩减方法，如分层，条件蒙特卡罗，和随机准蒙特卡罗（RQMC），并获得一个更准确的密度估计比标准的蒙特卡罗对于给定的计算预算。我们讨论了几种方法，在最近的论文中提出，重点是利用RQMC的方法。第一个想法是直接将RQMC与标准核密度估计器相结合。另一种方法是采用基于模拟的导数估计方法，如平滑扰动分析或似然比方法，以获得cdf的连续估计量，其导数是密度的无偏估计量。这可以与RQMC结合使用。我们总结了最近的理论结果与这些方法，并给出了它们如何提高均方积分误差的收敛性的数值例子。
2021-09-07 stat.CO
Likelihood-free Markov chain Monte Carlo
出现在MCMC手册中，S。P. Brooks，A. Gelman，G.琼斯和X L. Meng（eds），Chapman & Hall.
2010-01-13 stat.ME
Multivariate initial sequence estimators in Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种模拟方法，通常用于估计关于给定分布的期望。本文考虑估计样本均值向量的渐近多元正态分布的协方差阵。Geyer（1992）开发了一种用于估计单变量均值的蒙特卡罗误差估计方法。我们提出了一种新的多元版本的Geyer的方法，提供了一个渐近有效的估计的协方差阵和稳定的蒙特卡罗估计的结果。通过仿真实验研究了该方法的有限样本性质。
2017-06-02 stat.ME
A General Metric for Riemannian Manifold Hamiltonian Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种非常有用的复杂模型推理方法，而哈密顿蒙特卡罗，特别是黎曼流形哈密顿蒙特卡罗（RMHMC），在许多具有挑战性的问题上取得了令人瞩目的成功。然而，目前的RMHMC实现依赖于黎曼度量，这限制了其应用于分析方便的模型。在本文中，我提出了一个新的度量RMHMC没有这些限制，并验证其成功的分布，模拟许多层次和潜在的模型。
2013-09-18 physics.data-an stat.ME
On the effective dimension and multilevel Monte Carlo
我考虑在$d$维单位立方体上积分函数$f$的问题。我描述了一个多层次的蒙特卡罗方法，估计在最多$ε^{2}$在$O(d+\ln(d)d_{t}ε^{-2})$时间，为$ε>0$，其中$d_{t}$是截断维数的$f$的积分方差。相比之下，标准蒙特卡罗方法通常在$O(dε^{-2})$时间内实现这种变化。给出了一类多层蒙特卡罗方法$d+d_{t}ε^{-2}$阶数下界。
2021-11-05 cs.NA math.NA stat.CO
Monte Carlo Methods in Statistics
蒙特卡罗方法现在是统计学家工具箱的重要组成部分，对于研究生来说，它比它们所基于的测量理论概念更熟悉！我们在本说明中回顾了蒙特卡罗技术在统计学中的应用设计方面所取得的一些进展，并参考了Robert和Casella（2004，2010）的深入报道。
2009-09-02 stat.CO
