Scaling Up Bayesian DAG Sampling
针对贝叶斯网络结构推断中DAG采样效率问题，提出基础边操作高效实现与父集剪枝预处理两种技术，显著提升了马尔可夫链采样的效率。
2025-10-29 cs.AI cs.LG
Stochastic Optimization with Importance Sampling
Rutgers University（罗格斯大学）
训练数据的均匀采样通常用于传统的随机最优化算法中，例如近端随机梯度下降（Proximal Stochastic Gradient Descent，简称SGD）和近端随机双坐标上升（Proximal Stochastic Dual Coordinate Ascent，简称SDCA）。虽然均匀采样可以保证采样的随机量是相应真实量的无偏估计，但所得估计量可能具有相当高的方差，这对底层优化过程的收敛性产生负面影响。本文研究了具有重要性抽样的随机最优化问题，通过减小随机方差来提高收敛速度。具体地说，我们研究了具有重要性抽样的随机镜像下降（SGD）和具有重要性抽样的随机镜像下降（SDCA）。对于非线性随机梯度算法，该算法采用重要性抽样来最小化随机梯度的方差，而不是在整个训练过程中采用均匀抽样。对于SDCA算法，提出的重要性抽样方案的目标是在每一个对偶坐标上升步骤获得更高的期望对偶值。我们提供了广泛的理论分析表明，建议的重要性抽样方法的收敛速度可以显着提高在适当的条件下，无论是对EST-SGD和EST-SDCA。实验结果验证了理论分析的正确性。
2015-01-02 cs.LG stat.ML
Improved Sampling for Diagnostic Reasoning in Bayesian Networks
RMIT（皇家墨尔本理工大学）
贝叶斯网络在自动化大规模诊断推理任务中提供了巨大的潜力。吉布斯抽样是在大型的、高度互联的贝叶斯网络中进行诊断推理的主要技术。不幸的是，吉布斯采样可能需要过多的时间来生成代表性样本。在本文中，我们描述并测试了一些启发式策略，以提高采样噪声或贝叶斯网络。这些策略包括蒙特卡洛马尔可夫链抽样技术以外的吉布斯抽样。重点放在可以在分布式系统中实现的策略。
2013-02-20 cs.AI
Parallel Sampling for Efficient High-dimensional Bayesian Network Structure Learning
Queen Mary University of London（伦敦玛丽女王大学）
学习贝叶斯网络结构的基于分数的算法可用于精确和近似解决方案。虽然近似学习随着变量的数量而更好地扩展，但在存在高维数据的情况下，它在计算上可能是昂贵的。本文描述了一个近似算法，执行并行采样的候选父集（CPS），并可以被视为一个扩展的MINOBS，这是一个国家的最先进的算法，从高维数据的结构学习。修改后的算法，我们称之为并行采样MINOBS（PS-MINOBS），构造的图形，通过采样CPS为每个变量。假设CPS的分布按每个变量的贝叶斯评分排序时为半正态分布，平行进行采样。从半正态分布中抽样可确保抽样的CPS可能是产生较高分数的CPS。实证结果表明，在大多数情况下，该算法发现更高的分数结构比MINOBS时，这两种算法被限制到相同的运行时间限制。
2022-02-19 cs.AI cs.LG
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University（斯坦福大学）
针对黑盒安全关键自主系统罕见失效难以估计的问题，提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法，在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna（独立研究者）
针对重要性采样中方差减少评估的计算挑战，本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法，提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University（东北大学）；Google Research（谷歌研究院）
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法，如贝叶斯优化，已被开发来自动化和加快这一过程。然而，调优仍然非常昂贵，因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络，考虑到每个训练样本贡献的相对信息量。为此，我们利用了重要性采样（IS）;这显著提高了黑盒函数计算的质量，但也提高了它们的运行时间，因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题，实现了两全其美：通过学习IS的参数化，权衡评估复杂性和质量，我们改进了贝叶斯优化最先进的运行时间和最终验证错误，跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Bayesian Negative Sampling for Recommendation
Huazhong University of Science and Technology (HUST)（华中科技大学）
如何从未标记的数据中采样高质量的负实例，即，负采样对于训练隐式协同过滤和对比学习模型是非常重要的。虽然以前的研究已经提出了一些方法来样本信息的情况下，很少有人做了区分假阴性和真阴性的无偏阴性抽样。在对负样本得分进行序关系分析的基础上，我们首先推导出真负样本和假负样本的类条件密度。接下来，我们设计了一个贝叶斯分类器的阴性分类，我们定义了一个模型不可知的后验概率估计的实例是真阴性作为一个定量的阴性信号的措施。我们还提出了一个贝叶斯最优抽样规则来抽样高质量的底片。提出的贝叶斯负采样（BNS）算法具有线性时间复杂度。实验研究验证了BNS在更好的采样质量和更好的推荐性能方面优于同行。
2022-07-09 cs.AI cs.IR cs.LG
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University（四川大学）；Huazhong University of Technology（华中理工大学）；New York University（纽约大学）
生成对抗网络（GAN）的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法，这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲，重要性采样通过对训练样本进行优先排序，加快了监督学习中的随机优化。在本文中，我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中，用重要性采样代替均匀采样和高斯采样，用归一化流密度估计逼近潜空间后验分布。从经验上讲，MNIST和Fashion-MNIST的结果表明，我们的方法显着加快了GAN的优化，同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University（斯坦福大学）；Mila - University of Montreal（米拉研究所 - 蒙特利尔大学）
使用重要性采样（IS）的非策略策略估计器可能会在长时间域中遭受高方差，并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是，我们发现在有限时域MDP中，每决策重要性采样或平稳重要性采样与普通重要性采样相比，没有严格的方差减少。然后，我们提供了充分的条件下，每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近（在地平线$T$）的情况下，我们开发的上限和下限的方差的估计产生的充分条件下，存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解，如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Measuring the Hardness of Stochastic Sampling on Bayesian Networks with Deterministic Causalities: the k-Test
Florida State University（佛罗里达州立大学）
近似贝叶斯推理是NP难的。Dagum和Luby定义了局部方差界（Local Variance Bound，LVB）来衡量贝叶斯网络上贝叶斯推理的近似硬度，假设网络模型严格为正的联合概率分布，即不允许零概率。本文介绍了k-检验来衡量贝叶斯网络上的推理的近似硬度与确定性的因果关系的概率分布，即当零条件概率是允许的。通过随机采样的近似是一种广泛使用的推断方法，已知该方法由于样本拒绝而效率低下。k检验预测贝叶斯网络随机抽样的拒绝率何时会低，适度，高，或者当抽样是棘手的。
2012-02-14 cs.AI
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法，并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间，并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Cutset Sampling for Bayesian Networks
本文提出了一种新的抽样方法，贝叶斯网络的样本只有一个子集的变量，并适用于精确推理的休息。割集抽样是Rao-Blackwellisation原理在贝叶斯网络抽样中的网络结构开发应用。它通过利用基于内存的推理算法来提高收敛性。它也可以被看作是一个随时近似的精确割集条件算法开发的珍珠。割集抽样可以有效地实现时，采样变量构成的贝叶斯网络的环割集，更一般地说，当网络图的诱导宽度的条件下观察到的采样变量是有界的常数w。我们实证证明了该计划的好处在一系列的基准。
2011-10-12 cs.AI
Monte Carlo Inference via Greedy Importance Sampling
University of Waterloo（滑铁卢大学）
本文提出了一种新的图模型蒙特卡罗推理方法，它结合了显式搜索和广义重要性采样。其思想是通过搜索目标分布中的显著点来减小重要性采样的方差。我们证明，它是可以引入搜索，仍然保持无偏性。然后，我们展示了我们的程序在一些简单的推理任务，并表明它可以提高标准MCMC方法，包括吉布斯抽样，大都会抽样，混合蒙特卡罗的推理质量。本文扩展了以往的工作，表明如何贪婪重要性采样可以正确地实现在一维的情况下。
2013-01-16 cs.LG stat.CO stat.ML
Rate-Informed Discovery via Bayesian Adaptive Multifidelity Sampling
Waymo, LLC（Waymo有限责任公司）
针对自动驾驶车辆安全性需准确估计性能与高效发现故障案例的问题，本文提出贝叶斯自适应多保真采样（BAMS），其优先探索低性能区域，发现的问题数量是MC和IS的10倍，速率估计方差分别窄15倍和6倍。
2024-11-26 cs.LG cs.RO stat.ML
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO（荷兰应用科学研究组织）；Utrecht University（乌得勒支大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了马尔可夫链蒙特卡罗（MCMC）推理方法Prune Sampling，并对它在离散和确定性贝叶斯网络（BN）中的性能进行了分析。我们开发了一个程序，以获得性能的MCMC采样方法在无限的模拟时间的限制，从相对较短的模拟外推。这种方法被用来进行一项研究，以比较准确性，收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法：吉布斯和大都会采样。我们发现，修剪采样创建的马尔可夫链总是收敛到所需的后验分布，也为传统的吉布斯抽样失败的网络。除此之外，我们证明了修剪优于吉布斯抽样，至少对于某一类BN。不过，这个诱人的功能是有代价的。在Prune Sampling的第一个版本中，对于大BN，统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是，修剪采样是所有类型的小型和中型BN的竞争力的方法，但（现在）标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
Black-box Importance Sampling
重要性抽样被广泛应用于机器学习和统计学中，但它的能力受到使用简单建议的限制，这些建议的重要性权重可以被可追踪地计算。我们通过研究黑盒重要性抽样方法来解决这个问题，该方法计算从任何未知提案或黑盒机制生成的样本的重要性权重。我们的方法使我们能够使用更好和更丰富的建议来解决困难的问题，（有点违反直觉）也有额外的好处，提高估计精度超过典型的重要性抽样。理论和实证分析提供。
2016-10-17 stat.ML
Importance Sampling for Minibatches
School of Mathematics（数学学院）；University of Edinburgh（爱丁堡大学）
Minimetry是监督学习中一种研究得很好且非常流行的技术，由于其通过更好地利用并行处理能力和减少随机方差来加速训练的能力而被从业者使用。另一种流行的技术是重要性采样--一种对更重要的样本进行优先采样的策略，也能够加速训练过程。然而，尽管社区在这些领域做出了相当大的努力，并且由于该问题固有的技术难度，目前还没有将重要性采样的力量与小型化的力量相结合的工作。在本文中，我们提出了第一个{ \em重要性采样的小批量}，并给出了简单而严格的复杂性分析其性能。我们说明了合成问题，对于某些属性的训练数据，我们的采样可以导致几个数量级的改进训练时间。然后，我们在几个流行的数据集上测试了新的采样，并表明改进可以达到一个数量级。
2016-02-06 cs.LG math.OC stat.ML
Regularization by denoising: Bayesian model and Langevin-within-split Gibbs sampling
Institut Denis Poisson, University of Orléans（德尼·泊松研究所，奥尔良大学）；University of Toulouse, IRIT/INP-ENSEEIHT, CNRS（图卢兹大学，法国国家信息与自动化研究所/国立高等电子、电子技术、计算机与机械学院，法国国家科学研究中心）
本文提出一种基于去噪正则化（RED）的图像反演贝叶斯框架，并设计了内含Langevin Monte Carlo步骤的分裂Gibbs采样算法，通过去模糊等任务验证了其有效性。
2024-02-19 cs.CV cs.LG stat.ML
An Empirical Study of w-Cutset Sampling for Bayesian Networks
University Of California Irvine（加州大学尔湾分校）
本文对sl割集抽样算法中抽样与推理的时空权衡进行了实证研究。该算法对贝叶斯网络中的一个节点子集进行采样，并对其余节点进行精确推理。因此，虽然采样空间的大小减小，需要更少的样本用于收敛，但是用于生成每个单个样本的时间增加。w-割集采样选择一个采样集，使得当观察到采样集时网络的诱导宽度由w限定，因此需要复杂度为w的指数的推理。在本文中，我们研究了w-割集抽样在w值范围内的性能，并测量了w-割集抽样的精度作为w的函数。我们的实验表明，割集采样的想法是相当强大的推理和采样之间的最佳平衡的好处大大限制割集的大小，即使在成本更复杂的推理。
2012-10-19 cs.AI
Refractor Importance Sampling
Florida State University（佛罗里达州立大学）
在本文中，我们介绍折射重要性采样（RIS），一种改进，以减少在贝叶斯网络重要性采样传播证据推理的误差方差。我们证明了证据推理下的最佳重要性函数的重要性函数的集合的存在。基于这一理论结果，我们推导出RIS算法。RIS通过应用局部弧变化来最小化证据调整的重要性函数和最优重要性函数之间的分歧来接近最优重要性函数。RIS的有效性和性能进行了实证检验与一个大的合成贝叶斯网络和两个现实世界的网络。
2012-06-13 cs.AI
Importance Sampling in Bayesian Networks: An Influence-Based Approximation Strategy for Importance Functions
贝叶斯网络中重要性采样的主要问题之一是重要性函数的表示，理想情况下，重要性函数应尽可能接近后验联合分布。通常，我们将重要性函数表示为因子分解，即，条件概率表（CPT）。鉴于诊断证据，我们没有明确的形式，在网络中的CPT。我们首先推导出最优重要性函数的CPT的精确形式。由于计算困难，我们通常只使用近似值。我们回顾了几种流行的策略，并指出其局限性。在分析证据影响的基础上，提出了一种通过对证据引入的最重要的附加依赖关系进行显式建模来近似重要性函数的精确形式的方法。我们的实验结果表明，新的近似策略提供了一个立即改善的重要性函数的质量。
2012-07-04 cs.AI
Multilevel rejection sampling for approximate Bayesian computation
无似然方法，如近似贝叶斯计算，是解决具有复杂似然函数的实际推理问题的有力工具。近似贝叶斯计算的马尔可夫链蒙特卡罗和序贯蒙特卡罗变体可以是在近似贝叶斯计算设置中对后验分布进行采样的有效技术。然而，如果不仔细考虑收敛标准和建议内核的选择，这种方法可能会导致非常有偏见的推理或计算效率低下的采样。相比之下，用于近似贝叶斯计算的拒绝抽样尽管计算密集，但会导致来自近似后验的独立的、相同分布的样本。提出了一种加速无似然贝叶斯推断的替代方法，该方法将多级蒙特卡罗方差缩减技术直接应用于拒绝抽样。所得到的方法保留了拒绝抽样的精度优势，同时显着提高了计算效率。
2018-02-28 stat.CO
Bayesian Update with Importance Sampling: Required Sample Size
重要性抽样在贝叶斯逆问题、数据同化和机器学习的许多计算方法中被用来逼近贝叶斯规则。本文回顾并进一步研究了重要性抽样所需的样本量的$χ^2$ -目标和建议之间的分歧。我们发展一般的抽象理论，并通过大量的例子说明尺寸，噪声水平和其他模型参数在近似的贝叶斯更新重要性抽样的作用。我们的例子也方便了一个新的直接比较标准和最佳的粒子滤波的建议。
2020-09-22 stat.CO
Gradient Importance Sampling
自适应蒙特卡罗计划在过去几年中发展通常寻求确保遍历性的采样过程符合MCMC的传统。这就限制了适应方面的可能性。在一般情况下，遍历性只有在适应性以一定的速率减少时才能得到保证。重要性抽样方法提供了一种方法来规避这种限制，并设计不断适应的抽样算法。在这里，我提出了一个梯度知情的SMC（及其特殊情况下人口蒙特卡罗）的静态问题的变体。
2015-07-21 stat.ML
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断，称为鲁棒贝叶斯分析，允许通过有界（或不精确）概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗（MCMC）抽样的情况，提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样，推导了一个新的表达式的有效样本量的重要性抽样，它考虑了相关性的MCMC样本。为了说明所提出的方法，稳健的贝叶斯分析，迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比，网格搜索方法，并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
Stein Variational Adaptive Importance Sampling
提出了一种新的自适应重要性抽样算法，该算法将Stein变分梯度下降算法（SVGD）与重要性抽样（IS）相结合。我们的算法利用SVGD中的非参数变换来迭代地减少我们的重要性建议和目标分布之间的库尔贝克-莱布勒散度。该算法的优点是双重的：首先，我们的算法变成SVGD到一个标准的IS算法，使我们能够使用标准的诊断和分析工具的IS评估和解释的结果;第二，我们不限制我们的重要性建议的选择预定义的分布家庭像传统的（自适应）IS方法。实验结果表明，该算法在求解受限玻尔兹曼机的配分函数和检验变分自动编码器的似然性方面具有良好的性能。
2017-07-25 stat.ML
Using Bayesian Network Representations for Effective Sampling from Generative Network Models
Purdue University（普渡大学）
贝叶斯网络（BN）用于推理和采样，利用随机变量之间的条件独立性。上下文特定独立性（CSI）是图形模型的一个属性，其中在随机变量（RV）的特定值的上下文中出现额外的独立关系。识别和利用CSI属性可以简化推断。一些生成网络模型（从网络分布P（G）生成社交/信息网络样本的模型），在一组RV之间具有复杂的交互，可以用概率图形模型，特别是BN来表示。在目前的工作中，我们展示了一个这样的情况。我们讨论了如何混合克罗内克积图模型可以表示为BN，并研究其BN属性，可用于有效的采样。具体来说，我们表明，而不是表现出CSI属性，该模型具有确定性的上下文相关性（DCSD）。利用此属性可以将采样方法集中在采样空间的一个子集上，从而提高效率。
2015-07-11 cs.AI
Implicitly Adaptive Importance Sampling
自适应重要性抽样是一类用于为重要性抽样找到良好的建议分布的技术。通常，建议分布是标准概率分布，其参数基于当前建议与目标分布之间的失配而被适配。在这项工作中，我们提出了一个隐式自适应重要性抽样方法，适用于复杂的分布，这是不是在封闭的形式。该方法迭代地匹配一组蒙特卡罗绘制的矩到基于重要性权重的加权矩。我们将该方法应用于贝叶斯留一交叉验证，并表明它比许多现有的参数自适应重要性抽样方法，同时计算成本低廉。
2020-05-06 stat.CO stat.ME stat.ML
On Bayesian inference for the M/G/1 queue with efficient MCMC sampling
我们引入了一个有效的MCMC抽样方案来执行贝叶斯推断的M/G/1模型中只给观测值的出发间隔时间。我们的MCMC方案使用了吉布斯抽样和简单的大都会更新的组合，以及三个新的“移位”和“规模”更新。我们表明，我们的新的更新大大提高了采样速度，通过各种模拟数据集的约60至约180倍。
2014-01-22 stat.CO
An Importance Sampling Algorithm Based on Evidence Pre-propagation
University of Pittsburgh（匹兹堡大学）
贝叶斯网络的随机抽样算法实现的精度通常会在极不可能的证据面前恶化。为了解决这个问题，我们提出了证据预传播重要性采样算法（EPIS-BN），一个重要性采样算法，计算一个近似的重要性函数的探试法：循环的信念传播和e-截止。我们在三个大型真实贝叶斯网络上测试了e-cutoff的性能：ANDES，CPCS和PATHFINDER。我们观察到，在这些网络中的每一个上，EPIS-BN算法都比当前最先进的算法AIS-BN算法有了相当大的改进。此外，它避免了代价高昂的学习阶段的AIS-BN算法。
2012-10-19 cs.AI
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven（计算机科学系，鲁汶大学）；Department of Electrical Engineering, ESAT - STADIUS, KU Leuven（电气工程系，ESAT - STADIUS，鲁汶大学）
贝叶斯回归仍然是一个简单而有效的工具，基于贝叶斯推断技术。对于大规模的应用，复杂的后验分布，马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题，提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外，使用相关样本的方差减少，以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试，几乎所有数据集都实现了加速，而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
Importance sampling methods for Bayesian discrimination between embedded models
本文综述了贝叶斯模型选择中使用的贝叶斯因子近似的一些成熟方法，主要是Chen et al.（2000）中的方法。我们的重点是在这里的方法，是基于重要性抽样战略，而不是可变尺寸的技术，如可逆跳MCMC，包括：原油蒙特卡罗，极大似然重要性抽样，桥梁和谐波平均采样，以及Chib的方法的基础上开发的功能平等。我们将在本次调查中展示如何有效地实施这些不同的方法来测试概率单位模型中预测变量的显著性。最后，我们在一个真实的数据集上比较了它们的性能。
2009-10-13 stat.CO stat.ME
Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案，将多重尝试Metropolis算法推广为无需拒绝的通用框架，并拓展至离散空间，证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析，包括高维度的鲁棒性的保证，明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时，预计将优于标准计划。当应用于贝叶斯变量选择问题时，新算法比现有的替代抽样方案效率高出几个数量级，并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Asymptotically Independent Markov Sampling: a new MCMC scheme for Bayesian Inference
在贝叶斯统计中，许多问题都可以表示为关于后验分布的期望值的估计。由于遇到的后验分布不能直接采样，标准蒙特卡罗方法往往不适用。在这种情况下，最流行的策略是重要性抽样方法、马尔可夫链蒙特卡罗和退火。在本文中，我们介绍了一种新的方案，称为渐近独立马尔可夫抽样（AIMS）的贝叶斯推断，这是基于上述方法。我们得到重要的遍历性质的AIMS。特别是，它表明，在一定条件下，AIMS算法产生一个一致遍历的马尔可夫链。的算法的自由参数的选择进行了讨论，并提供了这种选择的建议，无论是理论上和实践上的基础。三个数值例子证明了AIMS的有效性，其中包括多模态和高维目标后验分布。
2011-10-09 stat.CO stat.ML
Computationally Efficient Nonparametric Importance Sampling
由重要性抽样建立的方差减少强烈地依赖于重要性抽样分布的选择。一个好的选择往往很难实现，特别是对于高维集成问题。最优重要性抽样分布的非参数估计（称为非参数重要性抽样）是参数估计的一种合理的替代方法，本文提出并研究了自归一化和非归一化重要性抽样估计的非参数变体。对非参数重要性抽样的一个常见批评是与参数方法相比增加了计算负担。我们解决了这个问题，在很大程度上利用线性混合频率多边形估计，而不是核估计。均方误差收敛特性的影响，导致非参数重要性抽样的有效应用的建议。特别地，我们证明了非参数重要性抽样渐近地达到最佳的重要性抽样方差。非参数重要性抽样算法的效率在很大程度上依赖于所采用的非参数估计量的计算效率。线性混合频率多边形优于核估计在某些标准，如有效的采样和评估。此外，它是兼容的反演方法的样本生成。这使得我们的算法与其他方差减少技术，如分层抽样。通过三个基准集成问题的建议算法的实用性的经验证据。作为一个应用，我们估计了基于实际数据的垃圾邮件过滤器排队系统的队列长度分布。
2008-10-20 stat.CO stat.ME
Importance Sampling via Variational Optimization
Technion（以色列理工学院）
在由数千个顶点组成的大型贝叶斯网络中计算数据的精确可能性通常是一项困难的任务。当这些模型包含许多确定性的条件概率表时，当观测值极不可能时，即使是变分方法和随机抽样等替代算法也常常表现不佳。提出了一种新的基于变分技术的贝叶斯网络重要性抽样算法。我们使用重要性函数的更新来预测随机抽样是否收敛于真实似然之上或之下，并相应地改变提案分布。该方法的有效性和它的贡献，收敛证明了大型遗传连锁分析任务的硬网络。
2012-06-20 cs.AI stat.CO
On Gibbs Sampling for Structured Bayesian Models Discussion of paper by Zanella and Roberts
本文讨论了Zanella和Roberts的论文：多层线性模型、吉布斯采样器和多重网格分解。我们考虑了几个扩展，其中多重网格分解会给我们带来有趣的见解，包括向量层次模型，线性混合效应模型和部分中心参数化。
2021-12-16 math.PR stat.CO
Relaxation-based importance sampling for structural reliability analysis
提出基于自适应松弛指示函数或概率密度函数参数的重要性抽样统一框架，并给出低维与高维两种策略，可一次生成完整易损性曲面。
2023-09-13 stat.AP stat.CO
An attempt to trace the birth of importance sampling
在本文中，我们试图将重要性抽样（IS）的诞生追溯到1949年。我们发现经典的制定是在一份文件中卡恩在1949年6月。至于“重要性抽样”这个词的出现，它可能是在几个月后出现的，也许是在1949年的会议上，但在1950年之前没有发表过这个名字的文章。
2022-06-21 math.HO physics.hist-ph stat.CO
Importance Sampling for rare events and conditioned random walks
本文介绍了一种新的重要性抽样方案，称为自适应扭曲重要性抽样，它适用于在与实际独立同分布经验均值有关的中等偏差范围内改进稀有事件概率的估计。summands。它是基于从随机游动中提取的长游程密度的尖锐近似，该随机游动以其端点值为条件。
2009-10-09 math.PR math.ST stat.CO
Adaptive Multiple Importance Sampling
自适应多重要性抽样（AMIS）算法的目的是在迭代重要性抽样方案中对过去的模拟进行最佳回收。与早期的自适应重要性抽样实现（如人口蒙特卡罗）的区别在于，所有模拟值的重要性权重，过去和现在，在每次迭代时重新计算，遵循Owen和Zhou（2000）的确定性多重混合估计器技术。虽然该算法的收敛性能不能得到充分的研究，我们通过一个具有挑战性的香蕉形状的目标分布和人口遗传学的例子表明，这种技术带来的改善是巨大的。
2011-10-03 stat.AP stat.CO
A layered multiple importance sampling scheme for focused optimal Bayesian experimental design
我们开发了一种新的计算方法“集中”最优贝叶斯试验设计与非线性模型，目标是最大限度地提高预期的信息增益在目标子集的模型参数。我们的方法考虑了整个模型参数集的不确定性，但采用了一个设计目标，可以利用不同的参数子集之间的学习权衡。我们引入了一个新的分层多重要性抽样计划，提供相合估计的预期信息增益在这个集中的设置。这种抽样方案产生显着减少估计偏差和方差为一个给定的计算工作量，使最优设计更易于处理的计算密集型问题的范围广泛。
2019-03-26 stat.CO stat.ME
Adaptive Importance Sampling via Stochastic Convex Programming
我们证明了从指数族重要抽样的蒙特卡罗估计的方差是分布的自然参数的凸函数。有了这个见解，我们提出了一个自适应重要性抽样算法，同时提高了抽样分布的选择，同时积累了蒙特卡罗估计。利用凸性，我们证明了该方法的无偏估计量的方差是渐近最优的指数家庭。
2015-01-09 math.OC stat.CO stat.ME
Niching Importance Sampling for Multi-modal Rare-event Simulation
Clinical Operational Research Unit, Department of Mathematics, UCL（临床运筹学单元，数学系，伦敦大学学院）
本文提出 niching 重要性抽样框架，结合可靠性分析和进化多模态优化技术，提高故障概率估计的鲁棒性，有效应对可靠性问题的几何挑战。
2026-04-07 stat.CO
Risk-neutral limit of adaptive importance sampling of random stopping times
本文研究涉及无界停时的退出问题的重要性抽样，指出方差最小化技术的朴素应用可能导致病态，并提出基于风险敏感最优控制框架的解决方案。
2024-02-13 math.PR stat.CO
Non-asymptotic performance analysis of importance sampling schemes for small noise diffusions
在本说明中，我们开发了一个prelimit分析的性能指标的重要性抽样计划有关的小噪声扩散过程。在重要性抽样中，任何测度变化的表现都是由它的二阶矩来表征的。对于一个给定的变化的措施，我们的特点是相应的估计的二阶矩作为解决方案的偏微分方程，我们分析通过一个完整的渐近展开相对于噪声的大小，并获得一个精确的声明，其准确性。二阶矩衰减率的主要修正项求解了一个可以显式求解的输运方程。我们得到的渐近展开识别的来源，但渐近最优的重要性抽样方案可能表现不佳，并允许更准确的竞争重要性抽样方案之间的比较。
2014-07-29 math.OC math.PR math.ST
Variance-reduced sampling importance resampling
本文将对立抽样和拉丁超立方抽样两种方差缩减技术引入抽样重要性重抽样方法，提出两种改进方法，理论证明其显著减少了估计误差，并通过数值研究和真实数据分析验证了有效性。
2024-06-04 stat.CO
Annealed importance sampling for Ising models with mixed boundary conditions
本文介绍一种对具有混合边界条件的伊辛模型进行抽样的方法。作为退火重要抽样和Swendsen-Wang算法的应用，该方法采用一系列中间分布，保持温度不变，但逐渐打开边界条件。数值结果表明，样本权重的方差相对较小。
2022-05-17 cs.NA math.NA math.ST
Least Squares Importance Sampling for Monte Carlo Security Pricing
我们描述了一个简单的重要性抽样策略的蒙特卡罗模拟的基础上最小二乘优化过程。与几个数值例子，我们表明，这种最小二乘重要性采样（LSIS）提供的效率增益相比，最先进的技术，当后者被称为执行良好。然而，与传统方法相比，LSIS不限于确定高斯采样分布的最佳均值。因此，当调整采样分布的高阶矩或处理非高斯或多模态密度的能力对于实现方差减小至关重要时，它优于其他方法。
2007-03-18 cond-mat.other math.ST physics.comp-ph
Importance sampling for slow-fast diffusions based on moderate deviations
我们考虑系统的慢-快扩散与小噪声的慢组件。基于中偏差原理，我们构造了估计罕见事件的可证对数渐近最优重要性方案。使用子解的方法，我们构造的计划，并确定条件下，该计划将是渐近最优的。当事件不太罕见时，基于中偏差的重要性抽样提供了一种可行的替代大偏差重要性抽样的方法。特别是，在许多情况下的利益之一，确实可以构建所需的变化的措施，在封闭的形式，这是一项任务，这是更复杂的使用大偏差-基于重要性抽样，特别是当它涉及到多尺度动态演变的过程。多尺度的存在和事实上，我们不做任何周期性假设的系数驱动的过程中，复杂的设计和分析有效的重要性抽样方案。仿真研究说明了这一理论。
2020-01-06 math.OC math.PR stat.ME
Bayesian Post-Processing Methods for Jitter Mitigation in Sampling
即使在信号先验分布和加性噪声具有正态分布的情况下，来自被抖动（定时噪声）和加性噪声破坏的样本的信号的最小均方误差（MMSE）估计也是非线性的。本文提出了一种基于吉布斯抽样和切片抽样的随机算法来逼近贝叶斯公式中的最优MMSE估计。仿真结果表明，该非线性算法比线性MMSE估计有明显的改进，同时也比期望最大化算法逼近经典估计中的极大似然（ML）估计有明显的提高。通过有效的片外后处理来缓解抖动，可以容忍更大的抖动，从而潜在地降低片内ADC功耗。
2010-10-08 stat.AP
Adaptive Importance Sampling in General Mixture Classes
在本文中，我们提出了一种自适应算法，迭代更新的权重和组件参数的混合重要性抽样密度，以优化的重要性抽样的性能，作为衡量的熵标准。该方法被证明是适用于广泛的一类重要性抽样密度，其中包括特别是混合物的多元学生t分布。人工和真实的例子，特别强调的好处，一种新的饶Blackwellisation设备，可以很容易地纳入更新计划的建议方案的性能进行了研究。
2008-05-30 stat.CO
