Monte Carlo Inference via Greedy Importance Sampling
University of Waterloo（滑铁卢大学）
本文提出了一种新的图模型蒙特卡罗推理方法，它结合了显式搜索和广义重要性采样。其思想是通过搜索目标分布中的显著点来减小重要性采样的方差。我们证明，它是可以引入搜索，仍然保持无偏性。然后，我们展示了我们的程序在一些简单的推理任务，并表明它可以提高标准MCMC方法，包括吉布斯抽样，大都会抽样，混合蒙特卡罗的推理质量。本文扩展了以往的工作，表明如何贪婪重要性采样可以正确地实现在一维的情况下。
2013-01-16 cs.LG stat.CO stat.ML
Adaptive Importance Sampling and Quasi-Monte Carlo Methods for 6G URLLC Systems
本文提出了一种基于自适应重要性抽样的高效仿真方法，该方法可以根据先前的样本在高斯族中自动找到最优方案，以评估误比特率（BER）或误字率（WER）的概率。这两种测度分别涉及到高维黑箱积分和稀有事件采样，可以用来表征编码调制的性能。我们进一步整合拟蒙特卡罗方法在我们的框架，以提高收敛速度。实验结果表明，在AWGN环境下，所提出的重要性抽样算法比标准的蒙特卡罗方法具有更高的效率.
2023-03-07 eess.SP stat.CO stat.ME
Adaptive Importance Tempering: A flexible approach to improve computational efficiency of Metropolis Coupled Markov Chain Monte Carlo algorithms on binary spaces
University of Toronto（多伦多大学）；Fujitsu Limited（富士通有限公司）；DXR Laboratory Inc.（DXR实验室有限公司）
本文提出自适应重要性退火算法，通过自适应有界平衡函数提升高维二进制空间中MCMC算法的计算效率，并在多个模式情况下优于现有方法。
2026-02-24 stat.CO
Doubly Adaptive Importance Sampling
Agency for Science, Technology and Research（科技研究局）；IE University（IE大学）；National University of Singapore（新加坡国立大学）
提出一种混合自适应重要性采样方法，结合自然梯度变分推断与重要性采样，在固定计算成本下保证有效样本量，利用高斯性加速优化，适用于难以处理的后验近似。
2026-09-09 stat.CO
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断，称为鲁棒贝叶斯分析，允许通过有界（或不精确）概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗（MCMC）抽样的情况，提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样，推导了一个新的表达式的有效样本量的重要性抽样，它考虑了相关性的MCMC样本。为了说明所提出的方法，稳健的贝叶斯分析，迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比，网格搜索方法，并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
Effective Sample Size for Importance Sampling based on discrepancy measures
有效样本容量（ESS）是蒙特卡罗方法（如马尔可夫链蒙特卡罗（MCMC）和重要性抽样（IS）技术）效率的重要度量。在IS上下文中，广泛应用理论ESS定义的近似$\widehat{ESS}$，涉及归一化重要性权重的平方和的倒数。这个公式，$\widehat{ESS}$，已经成为序贯蒙特卡罗（SMC）方法中的一个重要部分，用于评估重新排序步骤的便利性。从另一个角度来看，表达式$\widehat{ESS}$与由归一化权重描述的概率质量和离散均匀概率质量函数（pmf）之间的欧几里得距离有关。在这项工作中，我们推导出其他可能的ESS功能的基础上，这两个pmfs之间的不同的差异措施。提供了几个例子，涉及，例如，几何平均的权重，离散熵（包括thepersperity措施，已经在文献中提出）和基尼系数等。我们列出了五个理论要求，一个通用的ESS功能应该满足，使我们能够分类不同的ESS措施。我们还比较了最有前途的通过数值模拟。
2016-09-25 stat.CO
Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出一种基于深度展开的可训练采样求解器，通过方差估计替代自动微分训练MCMC梯度下降的步长，显著加速了组合优化问题的收敛。
2024-02-21 cond-mat.dis-nn cs.LG stat.ML
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗（MCMC），随后的重要性抽样（IS）校正的马尔可夫链不精确的输出，导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下，近似马尔可夫链是伪边际，需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下，和的情况下，IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链，其中，与一个合适的重新加权，允许提高效率。由于IS类型权重可以假定为负值，因此可以将扩展类的无偏估计量用于IS类型校正，例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器，我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设，不需要扩散可以被精确地模拟。在近似贝叶斯计算（ABC）的背景下，我们建议一个自适应MCMC方法来处理一个适当的大公差的选择，与IS校正可能更精细的公差，并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比，标准的直接MCMC，如伪边际，延迟接受，和ABC-MCMC。我们提供了一个比较标准，概括的协方差排序的IS设置。
2019-04-11 stat.CO
Imprecise Monte Carlo simulation and iterative importance sampling for the estimation of lower previsions
我们开发了一个理论框架，研究数值估计较低的预测，一般适用于两级蒙特卡罗方法，重要性抽样方法，以及广泛的其他抽样方法之一可能会设计。我们将这些估计的一致性链接到Glivenko-Cantelli类，对于亚高斯的情况，我们展示了如何使用此过程的相关结构来约束偏差并证明一致性。我们还提出了一个新的上估计，它可以与标准的下估计一起使用，以提供一个简单的置信区间。作为这个框架的一个案例研究，我们然后讨论如何利用重要性抽样提供准确的数值估计较低的预测。我们提出了一种迭代的重要性抽样方法，以大大提高性能的不精确重要性抽样。我们证明了我们的结果不精确的Dirichlet模型。
2018-06-27 math.PR math.ST stat.CO
Continious-time Importance Sampling: Monte Carlo Methods which Avoid Time-discretisation Error
在本文中，我们开发了一个连续时间顺序重要性抽样（CIS）算法，消除时间离散化误差，并提供在线无偏估计连续时间马尔可夫过程，特别是扩散。我们的工作消除了EA施加的强条件，从而大大扩展了一类离散化无误差MC方法的扩散。CIS可以比EA更普遍地应用的原因是它不再工作在路径空间上。相反，它使用建议分布的扩散的过渡密度，和建议分布是绝对连续的相对于真正的过渡密度存在一般的SDEs。
2017-12-17 math.PR stat.CO stat.ME
GPU acceleration of the particle filter: the Metropolis resampler
我们考虑部署的粒子滤波器的现代大规模并行硬件架构，如图形处理单元（GPU），专注于rescue阶段。虽然标准多项式和分层重采样器需要在线程之间共同计算的重要性权重的总和，但Metropolis重采样器有利地仅需要由线程独立计算的权重之间的成对比率，并且可以通过调整其迭代次数来进一步调整性能。在分层和多项式重采样器取得令人尊敬的结果的同时，我们证明了Metropolis重采样器可以更快，其中重要性权重的方差是适度的，因此值得考虑在性能关键的上下文中，如粒子马尔可夫链蒙特卡罗和实时应用。
2012-02-28 cs.DC stat.CO
Least Squares Importance Sampling for Monte Carlo Security Pricing
我们描述了一个简单的重要性抽样策略的蒙特卡罗模拟的基础上最小二乘优化过程。与几个数值例子，我们表明，这种最小二乘重要性采样（LSIS）提供的效率增益相比，最先进的技术，当后者被称为执行良好。然而，与传统方法相比，LSIS不限于确定高斯采样分布的最佳均值。因此，当调整采样分布的高阶矩或处理非高斯或多模态密度的能力对于实现方差减小至关重要时，它优于其他方法。
2007-03-18 cond-mat.other math.ST physics.comp-ph
Spatial Monte Carlo Integration with Annealed Importance Sampling
Yamagata University（山形大学）
在伊辛模型（或玻尔兹曼机）上评估期望值对于各种应用都是必不可少的，包括统计机器学习。然而，在一般情况下，评估是计算困难的，因为它涉及棘手的多个求和或积分;因此，它需要近似。蒙特卡罗积分（MCI）是一种著名的近似方法，最近提出了一种更有效的类似MCI的近似方法，称为空间蒙特卡罗积分（SMCI）。然而，使用SMCI（和MCI）获得的估计表现出低精度的伊辛模型在低温下，由于采样质量的退化。退火重要性抽样（Annealed Importance Sampling，AIS）是一种基于马尔可夫链蒙特卡罗方法的重要性抽样，它通过重要性权重的作用来抑制低温区域的性能退化。在这项研究中，提出了一种新的方法来评估的期望伊辛模型结合AIS和SMCI。所提出的方法在高温和低温区域都有效地执行，这是理论和数值证明。
2021-04-12 cond-mat.dis-nn cs.LG physics.data-an
Adaptive Importance Sampling via Stochastic Convex Programming
我们证明了从指数族重要抽样的蒙特卡罗估计的方差是分布的自然参数的凸函数。有了这个见解，我们提出了一个自适应重要性抽样算法，同时提高了抽样分布的选择，同时积累了蒙特卡罗估计。利用凸性，我们证明了该方法的无偏估计量的方差是渐近最优的指数家庭。
2015-01-09 math.OC stat.CO stat.ME
Adaptive Monte Carlo Maximum Likelihood
我们考虑了具有难处理的赋范常数的模型中的极大似然估计的蒙特卡罗逼近。本文讨论了自适应蒙特卡罗算法，它在仿真过程中调整控制参数。我们研究了自适应重要性抽样的渐近性和一种新的算法，它使用rescent和MCMC。该算法的目的是减少问题的退化的重要性权重。我们的分析是基于鞅极限定理。我们还描述了如何自适应最大化算法的牛顿-拉夫森型可以结合的reservation技术。本文包括一个小规模的模拟研究，我们比较自适应和非自适应蒙特卡罗极大似然算法的性能的结果。
2014-12-19 stat.CO stat.ME
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析，包括高维度的鲁棒性的保证，明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时，预计将优于标准计划。当应用于贝叶斯变量选择问题时，新算法比现有的替代抽样方案效率高出几个数量级，并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Multilevel Monte Carlo Acceleration of Seismic Wave Propagation under Uncertainty
我们解释了地震波传播模型中的不确定性，通过将模型参数视为随机变量，并应用多级蒙特卡罗（MLMC）方法来降低所选物理相关的感兴趣量（QoI）相对于随机变量的近似期望值的成本。针对震源反演问题，其中地震的震源是从地球表面上的地面运动记录推断的，我们考虑两个测量计算的地震信号和给定的参考信号之间的差异的QoI：一个QoI，$\hbox{QoI}_E$，是根据$L^2$ -失配定义的，它与震源参数的最大似然估计直接相关;另一种是$\hbox{QoI}_W$，它基于概率分布之间的二次Wasserstein距离，并且代表了近年来在解决地震反演中越来越流行的一类这种失配函数中的一种可能选择。我们模拟地震波的传播，包括地震衰减，使用广泛使用的公开代码，基于谱元法。使用随机系数和确定性的初始和边界数据，我们提出了基准数值实验与合成数据在二维物理域和一维速度模型，假设参数的不确定性是由现实的地球模型的动机。在这里，标准蒙特卡罗方法的计算成本降低了高达97%的$\hbox{QoI}_E$，高达78%的$\hbox{QoI}_W$，使用相关的公差范围。转移到三维域是直接的，并将进一步增加相对计算工作的减少。
2019-09-05 cs.NA math.NA stat.AP
Pareto Smoothed Importance Sampling
针对重要性比右尾过重导致蒙特卡洛积分估计方差大的问题，提出用广义帕累托分布拟合重要性比上尾的帕累托平滑重要性采样方法，兼具稳定估计与通用收敛诊断功能，效果优于现有方法。
2024-03-13 stat.CO stat.ME stat.ML
Efficient variance-based reliability sensitivity analysis for Monte Carlo methods
本研究提出一种基于蒙特卡洛的可靠性灵敏度分析方法，借鉴一阶可靠度法α因子思路，结合重要性采样的高效变换方案，仅需单次运行即可估计参数对失效概率的重要性，适用于相关变量与任意边缘分布，并给出了应用实例。
2024-08-13 math.PR stat.CO
BIMC: The Bayesian Inverse Monte Carlo method for goal-oriented uncertainty quantification. Part I
我们考虑的问题估计罕见事件的概率，专注于系统的演化是由微分方程与不确定的输入参数。如果系统动力学的计算成本很高，则标准采样算法（如蒙特卡罗方法）可能需要不可行的运行时间来准确评估这些概率。我们提出了一个重要性抽样计划（我们称之为BIMC），依赖于解决一个辅助，虚构的贝叶斯逆问题。逆问题的解决方案产生后验PDF，一个局部高斯近似，其作为重要性抽样密度。我们应用BIMC的几个问题，并证明它可以导致计算节省了几个数量级的蒙特卡罗方法。我们描绘的条件下，BIMC是最佳的，以及当它不能产生一个有效的IS密度的条件。
2019-11-02 stat.CO stat.ME
Uphill Roads to Variational Tightness: Monotonicity and Monte Carlo Objectives
Université Côte d'Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Technical University of Denmark（丹麦技术大学）
我们重温理论的重要性加权变分推断（IWVI），一个很有前途的策略学习潜变量模型。IWVI使用新的变分界限，称为蒙特卡罗目标（MCO），通过用蒙特卡罗估计值替换难以处理的积分获得-通常简单地通过重要性抽样获得。Burda，Grosse和Salakhutdinov（2016）表明，增加重要性样本的数量可以证明缩小界限和可能性之间的差距。受这个简单的单调性定理的启发，我们提出了一系列的非渐近的结果，链接性能的蒙特卡罗估计的紧MCO。我们挑战的基本原理，较小的蒙特卡罗方差导致更好的界限。我们从理论上证实了最近几篇论文的实证研究结果表明，在一个精确的意义上，负相关减少变差。我们还推广了原来的单调性定理，考虑非均匀权重。我们讨论了我们的理论结果的几个实际后果。我们的工作借鉴了随机序理论的许多思想和结果。
2022-01-26 cs.AI cs.LG stat.CO
Eficient Monte Carlo Simulation of the Left Tail of Positive Gaussian Quadratic Forms
估计高斯随机向量中二次型的左尾在许多应用中具有重要的实际意义。在本文中，我们提出了一个有效的和强大的重要性抽样估计，并赋予有界相对误差性质。与朴素的蒙特卡罗方法相比，该方法显著减少了所需的模拟次数。因此，我们的重要性抽样估计是特别有用的，当感兴趣的概率非常小。选定的模拟结果来说明我们的估计相比，天真的蒙特卡罗在中心和非中心的情况下，以及真实和复杂的设置的效率。
2019-01-26 stat.ME
A population Monte Carlo scheme with transformed weights and its application to stochastic kinetic models
本文讨论了后验概率分布的蒙特卡罗逼近问题。特别是，我们考虑了最近提出的技术称为人口蒙特卡罗（PMC），这是基于迭代重要性抽样的方法。这种方法的一个重要缺点是退化的重要性权重时，无论是观察或感兴趣的变量的维度是高的。为了缓解这一困难，我们提出了一种新的方法，进行非线性变换的重要性权重。这种操作减少了权重变化，因此避免了它们的退化，并提高了重要性抽样方案的效率，特别是当从不适合真实后验的建议函数中提取时。为了便于说明，我们已经应用所提出的算法估计的高斯混合模型的参数。这是一个非常简单的问题，使我们能够清楚地显示和讨论所提出的技术的主要特点。作为一个实际应用，我们还考虑了流行的（和具有挑战性的）问题的随机动力学模型（SKM）的速率参数估计。SKM是高度多变量的系统，其模拟生物和化学问题中的分子相互作用。我们介绍了一个特殊的SKMs算法和目前的数值结果。
2012-08-28 math.ST stat.CO stat.TH
Vertical-likelihood Monte Carlo
在这篇评论中，我们解决了使用蒙特卡罗方法近似定积分的形式$Z = \int L(x) d P(x)$，其中$L$是一个目标函数（通常是一个可能性）和$P$有限的措施。我们提出了垂直似然蒙特卡罗，这是一种设计的重要性函数$g(x)$用于重要性抽样的方法。我们的方法利用了两个随机变量之间的对偶性：随机抽取$X \sim g$，以及抽取的相应随机似然纵坐标$Y\equiv L(X)$。很自然地会指定$g(x)$并询问：$Y$的隐含分布是什么？在本文中，我们采取了相反的问题：$Y$的分布应该是什么，使隐含的重要性函数$g(x)$是好的近似$Z$？我们的答案在垂直似然的视角下统一了七种看似不同的算法：重要性抽样、切片抽样、模拟退火/回火、调和均值估计、垂直密度抽样、嵌套抽样和能级抽样（一套来自统计物理学的相关方法）。特别是，我们给出了一个替代介绍嵌套抽样，特别注意这种方法和垂直可能性的角度之间的连接在这里阐述。作为一种替代嵌套采样，我们描述了MCMC方法的基础上重新加权切片采样。这种方法的收敛性进行了研究，两个例子证明了承诺的整体方法。
2015-06-23 math.ST stat.CO stat.TH
An importance sampling approach for copula models in insurance
提出了一种用于Copula模型抽样的重要性抽样方法。我们提出了两种算法，提高蒙特卡罗估计的功能时，主要取决于基本的随机向量的行为时，至少有一个组件是大的。这类问题通常源于金融和保险中的依赖模型。我们提出的重要性抽样框架是通用的，可以很容易地实现的所有类的Copula模型的采样是可行的。我们展示了如何优化这两种算法的建议分布，以减少采样误差。在一个典型的多变量保险应用程序的启发下的案例研究中，我们得到了10和30之间的标准蒙特卡罗估计相比，方差减少因子。
2015-04-07 q-fin.RM stat.AP stat.CO
Stochastic adaptation of importance sampler
提高重要性抽样器的效率是蒙特卡罗方法研究的核心。自适应方法在马尔可夫链蒙特卡罗框架中通常是困难的，而在重要性抽样中的对应物可以很容易地被证明和验证。提出了一种基于随机逼近的迭代自适应重要采样器建议分布学习方法。随机逼近方法可以招募一般的迭代优化技术，如最小化-最大化算法。使用几个简单的例子证明了该方法在优化建议分布和目标之间的Kullback分歧的有效性。
2007-12-10 stat.ME
Importance Sampling of Word Patterns in DNA and Protein Sequences
蒙特卡罗方法可以提供精确的p值估计的字计数检验统计量，并易于实现。他们是特别有吸引力的渐近理论是缺席时，无论是搜索序列或字模式是太短的渐近公式的应用。朴素的直接蒙特卡罗法不适用于小概率的估计，因为很少产生相关的罕见事件。相反，我们提出了有效的重要性抽样算法，使用控制插入所需的字模式随机生成的序列。实施说明生物学兴趣的单词模式：回文和反向重复，模式产生的位置特定的权重矩阵和共同出现的图案对。
2008-11-26 q-bio.QM stat.AP stat.CO
Consistency of the Adaptive Multiple Importance Sampling
在蒙特卡罗技术中，重要性抽样需要对建议分布进行微调，这现在可以通过迭代方案顺利解决。Cornuet等人（2012）的自适应多重要性抽样（AMIS）由于引入了回收程序，在稳定性和有效样本量方面提供了显著改善。然而，非盟特派团信息系统估计数的一致性在很大程度上仍然没有定论。在这项工作中，我们证明了AMIS的收敛性，在学习过程中略有修改的成本。与Douc et al.（2007 a）相反，这里的结果是在渐近状态下得到的，其中迭代次数趋于无穷大，而每次迭代的绘图次数是固定的，但整数序列不断增长。因此，在最后一个政权的自适应人口蒙特卡罗算法的一些结果揭示了新的光。
2014-05-26 math.ST stat.CO stat.TH
Layered Adaptive Importance Sampling
University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
蒙特卡罗方法代表了用于近似涉及多维目标分布的复杂积分的“事实上的”标准。为了从目标分布生成随机实现，蒙特卡罗技术使用更简单的提议概率密度来绘制候选样本。任何此类方法的性能都与建议分布的规格严格相关，因此不幸的选择很容易对结果估计造成严重破坏。在这项工作中，我们引入了一个分层（即，分层）过程来生成在蒙特卡罗方案内采用样本。这种方法确保总是自动获得适当的等效建议密度（从而消除灾难性性能的风险），尽管代价是复杂性的适度增加。此外，我们提供了一个通用的统一的重要性抽样（IS）框架，其中采用多个建议密度和几个IS计划引入所谓的确定性混合方法。最后，鉴于这些计划，我们还提出了一类新的自适应重要性采样器使用人口的建议，其中的适应是由独立的并行或相互作用的马尔可夫链蒙特卡罗（MCMC）链驱动。由此产生的算法有效地结合了IS和MCMC方法的优点。
2016-11-27 cs.LG stat.CO stat.ML
Gradient Importance Sampling
自适应蒙特卡罗计划在过去几年中发展通常寻求确保遍历性的采样过程符合MCMC的传统。这就限制了适应方面的可能性。在一般情况下，遍历性只有在适应性以一定的速率减少时才能得到保证。重要性抽样方法提供了一种方法来规避这种限制，并设计不断适应的抽样算法。在这里，我提出了一个梯度知情的SMC（及其特殊情况下人口蒙特卡罗）的静态问题的变体。
2015-07-21 stat.ML
Optimality in importance sampling: a gentle survey
Stony Brook University（石溪大学）；Universitá degli Studi di Catania（卡塔尼亚大学）
综述重要性采样中提议密度的最优性概念，涵盖边际似然近似、多提议密度、退火后验序列及噪声场景（如ABC和强化学习）等框架，并提供理论与实证比较。
2026-06-16 cs.CE stat.CO stat.ML
Monte Carlo Variational Auto-Encoders
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊甸伯勒大学）；HSE University（高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Oxford（牛津大学）；Centre de recherche Lagrange en mathematiques et calcul（拉格朗日数学与计算研究中心）
变分自动编码器（VAE）是一种流行的深度潜在变量模型，通过最大化证据下限（ELBO）进行训练。为了获得更紧密的ELBO和更好的变分近似，已经提出使用重要性抽样来获得证据的较低方差估计。然而，已知重要性抽样在高维度中表现不佳。虽然在文献中已经多次建议使用更复杂的算法，如退火重要性抽样（AIS）及其顺序重要性抽样（SIS）扩展，但这些先进技术带来的潜在好处从未实现VAE：AIS估计值无法轻松区分，而SIS需要精心选择的后向马尔可夫核的规范。在本文中，我们解决了这两个问题，并证明了性能的各种应用程序上产生的蒙特卡罗VAE。
2021-06-30 cs.LG stat.ML
Multicanonical Sequential Monte Carlo Sampler for Uncertainty Quantification
在许多实际工程系统中，系统的性能或可靠性由标量参数表征。该性能参数的分布在许多不确定性量化问题中是重要的，从风险管理到效用优化。在实践中，这种分布通常不能解析地导出，并且必须通过模拟来数值地获得。为此，通常使用标准的蒙特卡罗模拟，然而，它们不能有效地重建分布的尾部，这在许多应用中是必不可少的。一种可能的补救方法是使用多规范蒙特卡罗方法，一种自适应重要性抽样方案。在该方法中，在每次迭代中从非标准形式的重要性抽样分布中抽取样本，这通常通过马尔可夫链蒙特卡罗（MCMC）来完成。MCMC本质上是串行的，因此难以并行。在本文中，我们提出了一种新的方法，它使用序贯蒙特卡罗采样器绘制的重要性抽样分布，这是特别适合于并行实现。数学和实际的例子，我们证明了所提出的方法的竞争力的性能。
2022-09-30 stat.ME
Multivariate error modeling and uncertainty quantification using importance (re-)weighting for Monte Carlo simulations in particle transport
快速准确地预测计算剂量中的不确定性对于确定放射治疗中的稳健治疗计划至关重要。这就要求求解具有不确定参数或初始条件的粒子输运问题。蒙特卡罗方法经常被用来解决运输问题，特别是在需要高精度的应用。在这些情况下，涉及在参数空间中的不同点重复模拟问题的常见非侵入式解决方案策略由于其长运行时间而很快变得不可行。然而，侵入式方法限制了与专有仿真引擎组合的可用性。在我们之前的论文[51]中，我们展示了一种新的非侵入性不确定性量化方法在蒙特卡罗模拟质子剂量计算中的应用，该方法在实际患者数据上具有正态分布误差。在本文中，我们介绍了一个广义的配方，并专注于更深入的理论分析，这种方法的偏差，误差和收敛性的估计。所提出的方法的多变量输入模型进一步支持几乎任意的误差相关模型。我们演示了如何使用这个框架来建模和有效地量化复杂的自相关和时间相关的错误。
2022-02-15 physics.med-ph stat.AP
Tensor Monte Carlo: particle methods for the GPU era
Janelia Research Campus（Janelia研究园区）
多样本、重要性加权变分自编码器（IWAE）比用标准单样本目标训练的变分自编码器（VAE）提供更严格的边界和更准确的不确定性估计。然而，IWAE的规模很差：随着潜在维度的增长，它们需要指数级地多的样本来保持重要性加权的益处。虽然序贯蒙特卡罗（SMC）可以解决这个问题，但它非常慢，因为重新排序步骤强加了无法并行的顺序结构，而且，重新排序是不可微的，这在学习近似后验时是有问题的。为了解决这些问题，我们开发了张量蒙特卡罗（TMC），它通过为每个$n$潜在变量分别绘制$K$样本，然后对所有$K^n$可能的组合进行平均，从而以指数方式给出许多重要性样本。虽然对指数级的许多项求和似乎很难处理，但在许多情况下，它可以作为一系列张量内积有效地计算。我们表明，TMC是优于IWAE上的生成模型与多个随机层训练的MNIST手写数字数据库，我们表明，TMC可以结合标准的方差减少技术。
2019-01-17 cs.LG stat.ML
Importance sampling with transformed weights
重要性抽样（IS）方法是许多基于蒙特卡罗技术的核心。IS允许通过从不同于目标的建议（或重要性）分布中抽取样本并计算说明这两个分布之间的差异的重要性权重（IWs）来近似目标概率分布。IS方案的主要缺点是IWs的退化，这显著降低了方法的效率。最近有人提出使用变换的IWs（TIWs），以减轻人口蒙特卡罗，这是一个迭代版本的IS的背景下的退化问题。然而，这种技术的标准IS的有效性还有待研究。在这封信中，我们数值评估的性能时，使用TIWs的IS，并表明，该方法可以达到鲁棒性的重量退化由于偏差/方差权衡。
2017-04-20 stat.AP
Quasi-Monte Carlo and importance sampling methods for Bayesian inverse problems
本文结合重要性采样与随机移位秩1格规则，用于贝叶斯反问题中的后验期望近似，提出新IS方法使误差率接近O(N^{-1})且对噪声水平不敏感。
2024-03-17 cs.NA math.NA math.ST
Is There an Analog of Nesterov Acceleration for MCMC?
University of California, Berkeley（加州大学伯克利分校）
本文将基于梯度的马尔可夫链蒙特卡罗（MCMC）抽样方法描述为概率测度空间上的优化问题，并以KL散度为目标函数。我们表明，欠阻尼形式的Langevin算法在这个度量进行加速梯度下降。为了刻画算法的收敛性，我们构造了一个李雅普诺夫泛函，并利用欠阻尼Langevin算法的假设性。作为应用，我们证明了利用Langevin算法可以得到一类非凸函数的加速率。
2019-10-22 cs.LG cs.NA math.NA
Efficient Importance Sampling for Rare Event Simulation with Applications
重要性抽样已被认为是一个强有力的工具，以减少方差的蒙特卡罗估计的稀有事件模拟。基于参数族内蒙特卡罗估计方差最小的准则，本文给出了寻找最优倾斜测度的一般性说明。为此，当底层分布的矩母函数存在时，我们得到了最优替代分布的简单而显式的表达式。该算法具有很强的通用性，可以覆盖正态分布、非中心$χ^2$分布和复合泊松过程等许多有趣的情形。为了说明我们的方法的广泛适用性，我们研究了金融风险管理中的风险价值（VaR）计算和统计推断中的自举置信区域。
2013-02-04 q-fin.RM stat.ME
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University（斯坦福大学）
针对黑盒安全关键自主系统罕见失效难以估计的问题，提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法，在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
Annealed Flow Transport Monte Carlo
University College London（伦敦大学学院）；DeepMind（深度思维）
退火重要性抽样（AIS）及其序贯蒙特卡罗（SMC）扩展是估计概率分布归一化常数的最新方法。我们在这里提出了一种新的蒙特卡罗算法，退火流传输（AFT），建立在AIS和SMC，并将它们与归一化流（NF），以提高性能。该方法不仅使用重要性抽样（IS）、马尔可夫链蒙特卡罗（MCMC）和重新定位步骤（如SMC中那样）来传输一组粒子，而且还依赖于按顺序学习的NF来将粒子推向连续退火的目标。我们提供极限定理的归一化常数和期望相对于目标分布的蒙特卡罗估计。此外，我们表明，连续时间缩放限制的人口版本的AFT是由费曼-卡茨措施，简化了法律的控制扩散的表达NF。我们通过实验证明了我们的方法在各种应用中的优点和局限性。
2021-07-09 cond-mat.stat-mech cs.LG math.ST
Conservative Hypothesis Tests and Confidence Intervals using Importance Sampling
重要性抽样是蒙特卡罗近似的常用技术，包括p值的蒙特卡罗近似。这里表明，通常的重要性抽样p值的简单校正产生有效的p值，这意味着当p值<= alpha时，通过拒绝空值而产生的假设检验也将具有第一类错误率<= alpha。该校正使用原始观测的重要性权重，其在原假设下给出有价值的诊断信息。使用校正的p值对于多重检验至关重要，在难以评估重要性抽样近似值的准确性的问题中也是如此。反转校正的p值提供了一种有用的方法来创建Monte Carlo置信区间，该置信区间保持标称显著性水平并仅使用单个蒙特卡罗样本。几个应用程序进行了描述，包括加速多重检验的大型神经生理数据集和精确的条件推理的逻辑斯谛回归模型与滋扰参数。
2011-04-08 stat.CO stat.ME
