Advanced Interacting Sequential Monte Carlo Sampling for Inverse Scattering
解决了以下电磁(EM)逆问题。它包括在估计当地的无线电性能的材料恢复一个对象从全球电磁散射测量,在各种入射和波频率。这个大规模的不适定逆问题的探索密集利用一个高效的二维麦克斯韦求解器,分布在高性能的计算机器。应用于大型训练数据集,统计分析将问题简化为更简单的概率元模型,可以在其上执行贝叶斯推断。考虑到作为一个隐藏的动态随机过程,演变的频率的函数的无线电特性,它示出了如何先进的马尔可夫链蒙特卡罗方法,称为序贯蒙特卡罗(SMC)或相互作用的粒子,可以利用的结构,并提供本地EM属性估计。
2013-01-21 stat.AP
Black-box Importance Sampling
重要性抽样被广泛应用于机器学习和统计学中,但它的能力受到使用简单建议的限制,这些建议的重要性权重可以被可追踪地计算。我们通过研究黑盒重要性抽样方法来解决这个问题,该方法计算从任何未知提案或黑盒机制生成的样本的重要性权重。我们的方法使我们能够使用更好和更丰富的建议来解决困难的问题,(有点违反直觉)也有额外的好处,提高估计精度超过典型的重要性抽样。理论和实证分析提供。
2016-10-17 stat.ML
Gradient Importance Sampling
自适应蒙特卡罗计划在过去几年中发展通常寻求确保遍历性的采样过程符合MCMC的传统。这就限制了适应方面的可能性。在一般情况下,遍历性只有在适应性以一定的速率减少时才能得到保证。重要性抽样方法提供了一种方法来规避这种限制,并设计不断适应的抽样算法。在这里,我提出了一个梯度知情的SMC(及其特殊情况下人口蒙特卡罗)的静态问题的变体。
2015-07-21 stat.ML
Stein Variational Adaptive Importance Sampling
提出了一种新的自适应重要性抽样算法,该算法将Stein变分梯度下降算法(SVGD)与重要性抽样(IS)相结合。我们的算法利用SVGD中的非参数变换来迭代地减少我们的重要性建议和目标分布之间的库尔贝克-莱布勒散度。该算法的优点是双重的:首先,我们的算法变成SVGD到一个标准的IS算法,使我们能够使用标准的诊断和分析工具的IS评估和解释的结果;第二,我们不限制我们的重要性建议的选择预定义的分布家庭像传统的(自适应)IS方法。实验结果表明,该算法在求解受限玻尔兹曼机的配分函数和检验变分自动编码器的似然性方面具有良好的性能。
2017-07-25 stat.ML
Consistency of Importance Sampling estimates based on dependent sample sets and an application to models with factorizing likelihoods
本文证明了基于相依样本集的重要性抽样估计在一定条件下是相合的。这可以用来减少贝叶斯模型中的方差,使用比可能性评估数量大得多的样本集,这种技术被称为样本膨胀。我评估了一个玩具高斯问题和两个混合模型的样本膨胀。
2015-03-01 stat.ME
Computationally Efficient Nonparametric Importance Sampling
由重要性抽样建立的方差减少强烈地依赖于重要性抽样分布的选择。一个好的选择往往很难实现,特别是对于高维集成问题。最优重要性抽样分布的非参数估计(称为非参数重要性抽样)是参数估计的一种合理的替代方法,本文提出并研究了自归一化和非归一化重要性抽样估计的非参数变体。对非参数重要性抽样的一个常见批评是与参数方法相比增加了计算负担。我们解决了这个问题,在很大程度上利用线性混合频率多边形估计,而不是核估计。均方误差收敛特性的影响,导致非参数重要性抽样的有效应用的建议。特别地,我们证明了非参数重要性抽样渐近地达到最佳的重要性抽样方差。非参数重要性抽样算法的效率在很大程度上依赖于所采用的非参数估计量的计算效率。线性混合频率多边形优于核估计在某些标准,如有效的采样和评估。此外,它是兼容的反演方法的样本生成。这使得我们的算法与其他方差减少技术,如分层抽样。通过三个基准集成问题的建议算法的实用性的经验证据。作为一个应用,我们估计了基于实际数据的垃圾邮件过滤器排队系统的队列长度分布。
2008-10-20 stat.CO stat.ME
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断,称为鲁棒贝叶斯分析,允许通过有界(或不精确)概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗(MCMC)抽样的情况,提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样,推导了一个新的表达式的有效样本量的重要性抽样,它考虑了相关性的MCMC样本。为了说明所提出的方法,稳健的贝叶斯分析,迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比,网格搜索方法,并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
Stochastic Optimization with Importance Sampling
Rutgers University(罗格斯大学)
训练数据的均匀采样通常用于传统的随机最优化算法中,例如近端随机梯度下降(Proximal Stochastic Gradient Descent,简称SGD)和近端随机双坐标上升(Proximal Stochastic Dual Coordinate Ascent,简称SDCA)。虽然均匀采样可以保证采样的随机量是相应真实量的无偏估计,但所得估计量可能具有相当高的方差,这对底层优化过程的收敛性产生负面影响。本文研究了具有重要性抽样的随机最优化问题,通过减小随机方差来提高收敛速度。具体地说,我们研究了具有重要性抽样的随机镜像下降(SGD)和具有重要性抽样的随机镜像下降(SDCA)。对于非线性随机梯度算法,该算法采用重要性抽样来最小化随机梯度的方差,而不是在整个训练过程中采用均匀抽样。对于SDCA算法,提出的重要性抽样方案的目标是在每一个对偶坐标上升步骤获得更高的期望对偶值。我们提供了广泛的理论分析表明,建议的重要性抽样方法的收敛速度可以显着提高在适当的条件下,无论是对EST-SGD和EST-SDCA。实验结果验证了理论分析的正确性。
2015-01-02 cs.LG stat.ML
Importance Sampling with Unequal Support
Carnegie Mellon University(卡内基梅隆大学)
重要性采样常用于机器学习中,当训练和测试数据来自不同的分布时。在本文中,我们提出了一个新的变种的重要性采样,可以减少方差的重要性采样为基础的估计数量级时,支持的训练和测试分布不同。在激励和介绍我们的新的重要性采样估计量,我们提供了一个详细的理论分析,其特点是它的偏差和方差相对于普通的重要性采样估计量(在各种设置,其中包括普通的重要性采样是有偏见的情况下,而我们的新的估计量不是,反之亦然)。我们的结论与我们的新的重要性采样估计如何可以用来改善如何以及一个新的糖尿病治疗策略将工作的个人,使用数据时,个人使用以前的治疗策略的估计的一个例子。
2016-11-10 cs.AI cs.LG stat.ML
Learning Global Sensitivity Indices from Observational Data: A Metamodel-Based Approach
University of Naples Federico II(那不勒斯费德里科二世大学);Polytechnic and Basic Sciences School(理工与基础科学学院);Department of Electrical Engineering and Information Technology(电气与信息工程系)
提出MM-GSA元模型方法,从观测数据估计一阶Sobol'指数和新的结构指数,分别量化输入贡献和预测性能依赖,理论保证与实验验证其互补性。
2026-10-01 stat.ME stat.ML
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna(独立研究者)
针对重要性采样中方差减少评估的计算挑战,本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法,提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University(四川大学);Huazhong University of Technology(华中理工大学);New York University(纽约大学)
生成对抗网络(GAN)的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法,这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲,重要性采样通过对训练样本进行优先排序,加快了监督学习中的随机优化。在本文中,我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中,用重要性采样代替均匀采样和高斯采样,用归一化流密度估计逼近潜空间后验分布。从经验上讲,MNIST和Fashion-MNIST的结果表明,我们的方法显着加快了GAN的优化,同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Importance sampling methods for Bayesian discrimination between embedded models
本文综述了贝叶斯模型选择中使用的贝叶斯因子近似的一些成熟方法,主要是Chen et al.(2000)中的方法。我们的重点是在这里的方法,是基于重要性抽样战略,而不是可变尺寸的技术,如可逆跳MCMC,包括:原油蒙特卡罗,极大似然重要性抽样,桥梁和谐波平均采样,以及Chib的方法的基础上开发的功能平等。我们将在本次调查中展示如何有效地实施这些不同的方法来测试概率单位模型中预测变量的显著性。最后,我们在一个真实的数据集上比较了它们的性能。
2009-10-13 stat.CO stat.ME
Monte Carlo Inference via Greedy Importance Sampling
University of Waterloo(滑铁卢大学)
本文提出了一种新的图模型蒙特卡罗推理方法,它结合了显式搜索和广义重要性采样。其思想是通过搜索目标分布中的显著点来减小重要性采样的方差。我们证明,它是可以引入搜索,仍然保持无偏性。然后,我们展示了我们的程序在一些简单的推理任务,并表明它可以提高标准MCMC方法,包括吉布斯抽样,大都会抽样,混合蒙特卡罗的推理质量。本文扩展了以往的工作,表明如何贪婪重要性采样可以正确地实现在一维的情况下。
2013-01-16 cs.LG stat.CO stat.ML
Adaptive Importance Sampling via Stochastic Convex Programming
我们证明了从指数族重要抽样的蒙特卡罗估计的方差是分布的自然参数的凸函数。有了这个见解,我们提出了一个自适应重要性抽样算法,同时提高了抽样分布的选择,同时积累了蒙特卡罗估计。利用凸性,我们证明了该方法的无偏估计量的方差是渐近最优的指数家庭。
2015-01-09 math.OC stat.CO stat.ME
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法,并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间,并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Importance sampling for slow-fast diffusions based on moderate deviations
我们考虑系统的慢-快扩散与小噪声的慢组件。基于中偏差原理,我们构造了估计罕见事件的可证对数渐近最优重要性方案。使用子解的方法,我们构造的计划,并确定条件下,该计划将是渐近最优的。当事件不太罕见时,基于中偏差的重要性抽样提供了一种可行的替代大偏差重要性抽样的方法。特别是,在许多情况下的利益之一,确实可以构建所需的变化的措施,在封闭的形式,这是一项任务,这是更复杂的使用大偏差-基于重要性抽样,特别是当它涉及到多尺度动态演变的过程。多尺度的存在和事实上,我们不做任何周期性假设的系数驱动的过程中,复杂的设计和分析有效的重要性抽样方案。仿真研究说明了这一理论。
2020-01-06 math.OC math.PR stat.ME
On Exploration, Exploitation and Learning in Adaptive Importance Sampling
University of Oxford(牛津大学);Northeastern University(东北大学)
我们研究自适应重要性抽样(AIS)作为一个在线学习问题,并认为在这种适应的探索和利用之间的权衡的重要性。借鉴土匪文学的思想,我们提出了Daisee,一个基于分区的AIS算法。我们进一步介绍了一个概念的遗憾AIS和Daisee有$\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$累积伪遗憾,其中$T$是迭代次数。然后,我们扩展Daisee自适应学习的样本空间的分层分区更有效的采样和确认这两种算法的性能经验。
2018-10-31 cs.LG stat.ML
MCMC Importance Sampling via Moreau-Yosida Envelopes
本文提出利用Moreau-Yosida包络作为重要性分布进行MCMC重要性采样,以解决不可微先验下基于梯度采样受限的问题,并证明其估计量渐近正态且数值上方差更低。
2025-07-23 stat.CO stat.ME
Importance Sampling and its Optimality for Stochastic Simulation Models
我们考虑的问题,估计一个预期的结果,从随机模拟模型。我们的目标是发展一个理论框架的重要性抽样,这样的估计。通过研究重要性抽样估计量的方差,我们提出了一个两阶段的过程,包括回归阶段和抽样阶段,以构建最终的估计量。我们在第一阶段引入了参数和非参数回归估计,并研究了两个阶段之间的分配如何影响最终估计的性能。我们分析了这两种方法的方差减少率,并推导出它们的预言性质。我们使用两个数值例子和风力涡轮机可靠性评估的案例研究评估的方法的经验性能。
2019-09-25 stat.CO stat.ME
Multiple Importance Sampling for Stochastic Gradient Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Adobe Research(奥多比研究院);University College London(伦敦大学学院)
本文提出一个用于随机梯度估计的重要性采样框架,通过自适应度量动态演化重要性分布,并结合多个针对特定参数梯度的采样分布进行最优加权,从而获得更优的梯度估计并加快训练收敛。
2025-01-28 cs.LG stat.ML
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal(蒙特利尔大学)
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架,其中一组工作人员并行搜索信息量最大的示例,而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新,当采样建议与梯度的L2范数成比例时,该梯度的无偏估计也具有最小方差。我们的实验表明,这种方法降低梯度方差,即使在机器之间的同步成本不能忽略的情况下,其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Active Learning with Importance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们考虑一个主动学习设置,其中算法可以访问一个大的未标记数据池和一个小的标记数据池。在每次迭代中,该算法选择少数未标记的数据点,并从Oracle中获得它们的标签。在本文中,我们考虑一个概率查询过程来选择要标记的点。我们提出了一种主动学习算法与重要性采样(ALIS),并推导出上界的任何概率抽样过程中的算法所产生的真实损失。此外,我们提出了一个最佳的抽样分布,最大限度地减少了上界的真实损失。
2019-10-10 cs.LG stat.ML
Importance Sampling for Minimization of Tail Risks: A Tutorial
本文以教程形式介绍如何将重要性采样用于最小化条件风险价值等尾部风险的随机优化问题,重点阐述测度变换处方的构造及其与优化求解范式的集成方法。
2023-07-10 q-fin.RM stat.ME
Importance Sampling for Minibatches
School of Mathematics(数学学院);University of Edinburgh(爱丁堡大学)
Minimetry是监督学习中一种研究得很好且非常流行的技术,由于其通过更好地利用并行处理能力和减少随机方差来加速训练的能力而被从业者使用。另一种流行的技术是重要性采样--一种对更重要的样本进行优先采样的策略,也能够加速训练过程。然而,尽管社区在这些领域做出了相当大的努力,并且由于该问题固有的技术难度,目前还没有将重要性采样的力量与小型化的力量相结合的工作。在本文中,我们提出了第一个{ \em重要性采样的小批量},并给出了简单而严格的复杂性分析其性能。我们说明了合成问题,对于某些属性的训练数据,我们的采样可以导致几个数量级的改进训练时间。然后,我们在几个流行的数据集上测试了新的采样,并表明改进可以达到一个数量级。
2016-02-06 cs.LG math.OC stat.ML
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的,行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术,该技术重新加权政策外回报,以考虑两个政策之间回报可能性的差异。在本文中,我们研究了重要性采样与估计的行为政策,其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现,这种估计往往降低了均方误差的政策评估相比,重要性采样与真正的行为政策或使用的行为政策,估计从一个单独的数据集。直观地,以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样,并表明,估计一个非马尔可夫行为的政策,可以进一步降低大样本的均方误差,即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Robust Importance Sampling with Adaptive Winsorization
重要性抽样是一种广泛使用的估计分布性质的技术。本文研究了通过自适应温索化重要性抽样估计量来权衡方差的某些偏差。新的winsorizing过程,平衡原则(或Lepskii的方法)的基础上,选择一个阈值水平之间的一个预定义的集合,粗略平衡的偏差和方差的估计时,winsorized在不同的水平。因此,它提供了一种原则性的方法来执行winsorization有限样本最优性保证下最小的假设。在各种示例中,所提出的估计器被示出为具有比领先的替代方案更小的均方误差和平均绝对偏差。
2021-02-08 physics.data-an stat.CO stat.ME
Amortised adaptive importance sampling
University of Edinburgh(爱丁堡大学)
该研究提出一种摊销自适应重要性采样算法,通过轻量级神经网络实现,可高效从训练分布族内的目标采样,性能优于特定目标摊销采样器及无训练自适应重要性采样算法,还探索了其泛化潜力。
2026-10-14 cs.LG stat.ML
A layered multiple importance sampling scheme for focused optimal Bayesian experimental design
我们开发了一种新的计算方法“集中”最优贝叶斯试验设计与非线性模型,目标是最大限度地提高预期的信息增益在目标子集的模型参数。我们的方法考虑了整个模型参数集的不确定性,但采用了一个设计目标,可以利用不同的参数子集之间的学习权衡。我们引入了一个新的分层多重要性抽样计划,提供相合估计的预期信息增益在这个集中的设置。这种抽样方案产生显着减少估计偏差和方差为一个给定的计算工作量,使最优设计更易于处理的计算密集型问题的范围广泛。
2019-03-26 stat.CO stat.ME
The Gibbs Sampler with Particle Efficient Importance Sampling for State-Space Models
我们认为粒子吉布斯(PG)的贝叶斯分析的非线性非高斯状态空间模型的工具。PG是标准吉布斯过程的蒙特卡罗(MC)近似,其在吉布斯过程内部使用顺序MC(SMC)重要性抽样来更新潜在的和潜在的高维状态轨迹。我们建议结合PG与一个通用的和易于实现的SMC方法称为粒子有效的重要性抽样(PEIS)。通过使用SMC重要性抽样密度,其近似地完全全局地适应于状态的目标密度,PEIS可以相对于现有PG实现从状态和参数的后验实质上改善PG抽取的混合和效率。PEIS实现的效率增益说明PG应用程序的一个单变量随机波动模型的资产收益,非高斯非线性局部水平模型的利率,和一个多变量随机波动模型的实现协方差阵的资产收益。
2018-04-17 stat.CO stat.ME
Adaptive Importance Sampling and Quasi-Monte Carlo Methods for 6G URLLC Systems
本文提出了一种基于自适应重要性抽样的高效仿真方法,该方法可以根据先前的样本在高斯族中自动找到最优方案,以评估误比特率(BER)或误字率(WER)的概率。这两种测度分别涉及到高维黑箱积分和稀有事件采样,可以用来表征编码调制的性能。我们进一步整合拟蒙特卡罗方法在我们的框架,以提高收敛速度。实验结果表明,在AWGN环境下,所提出的重要性抽样算法比标准的蒙特卡罗方法具有更高的效率.
2023-03-07 eess.SP stat.CO stat.ME
Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
在现代数据分析中,随机抽样是克服大样本量带来的计算困难的一种有效而广泛使用的策略。在以往的研究中,研究者进行随机抽样,这是根据输入数据,但独立于响应变量,但响应变量也可能是抽样的信息。在本文中,我们提出了一种自适应采样称为基于梯度的采样,这是依赖于输入数据和输出的快速解决最小二乘(LS)问题。我们根据数据点的梯度值从全部数据中随机抽取数据点。这种采样在计算上是节省的,因为计算采样概率的运行时间减少到O(nd),其中n是完整的样本量,d是输入的维数。在理论上,我们建立了一般重要性抽样关于全数据LS解的误差界分析。该结果建立了使用我们的基于梯度的采样的改进的性能。利用合成数据和真实数据进行实证分析,从统计效率和计算量两个方面论证了基于梯度的抽样方法相对于现有抽样方法具有明显的优势。
2018-03-02 cs.LG stat.ML
Scalable Importance Sampling in High Dimensions with Low-Rank Mixture Proposals
Stanford Intelligent Systems Laboratory(斯坦福智能系统实验室);Department of Aeronautics and Astronautics(航空与航天系)
针对高维下全秩高斯混合模型作为重要性采样提议分布存在数值不稳定的问题,提出采用低秩MPPCA作为提议分布,可通过期望最大化快速拟合,在三个仿真系统上实现了样本效率与失效分布刻画质量的稳定提升。
2025-05-19 cs.RO stat.ML
Rare event simulation via importance sampling for linear SPDE's
本文的目的是发展可证明有效的重要抽样蒙特卡罗方法估计的罕见事件类线性随机偏微分方程(SPDE)。我们发现,如果存在一个适当大小的谱隙,那么人们可以确定一个低维流形的罕见事件发生。这允许建立测量的重要性采样变化,其甚至在渐近前(即对于小但非零大小的噪声)也可证明表现良好,而不会由于无限维度或由于长的模拟时间范围而降低性能。仿真研究补充和说明的理论结果。
2017-05-04 math.OC math.PR stat.ME
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University(斯坦福大学)
针对黑盒安全关键自主系统罕见失效难以估计的问题,提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法,在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
Combining Retrospective Approximation with Importance Sampling for Optimising Conditional Value at Risk
本文研究了利用重要性抽样(IS)的回溯近似解范式有效地解决风险规避优化问题。虽然IS作为一个突出的手段来处理大样本的要求,在估计尾部风险的措施,如条件风险价值(CVaR),其使用在优化问题驱动的CVaR是复杂的,需要定制的IS变化的措施不同的优化迭代和循环的结果。所提出的算法克服了这些挑战,采用一个单变量IS变换提供均匀的方差缩减在一个回顾性的近似过程非常适合调整的IS参数的选择。由此产生的基于模拟的近似方案既享有回溯近似所赋予的计算效率,又享有重要性抽样所提供的数学上有效的方差缩减
2022-06-26 q-fin.RM stat.ME
Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff
自适应重要性抽样是一种广泛使用的蒙特卡罗技术,它使用重新加权策略来迭代估计所谓的目标分布。自适应重要性采样的一个主要缺点是权重的大方差,这是已知的严重影响估计的准确性。本文研究了一种正则化策略,其基本原理是以一定的幂来提高重要性权重。该正则化参数在算法期间可能在零和一之间演变,被示出为(i)在偏置和方差之间进行平衡,以及(ii)连接到镜像下降框架。利用核密度估计建立抽样策略,在较弱的条件下证明了算法的一致收敛性。最后,讨论了几种实用的正则化参数选择方法,并通过实验说明了所提出方法的优点。
2021-10-29 math.ST stat.ML stat.TH
Tree pyramidal adaptive importance sampling
Intel Labs, Intel Corporation(英特尔公司英特尔研究院)
本文介绍了树-金字塔自适应重要性抽样(TP-AIS),一种新的迭代抽样方法,它优于确定性混合总体蒙特卡罗(DM-PMC)、混合总体蒙特卡罗(M-PMC)和分层自适应重要性抽样(LAIS)等最先进的方法。TP-AIS迭代地构建由树金字塔参数化的建议分布,其中每个树叶跨越表示其重要性密度的子空间。在每个新的采样操作之后,一组树叶被细分,以改善建议分布对目标密度的近似。与文献中的其他方法不同,TP-AIS是无参数的,不需要调整就能达到最佳性能。我们评估TP-AIS与不同的复杂性随机目标概率密度函数(PDF),并分析其应用到不同的维度。最先进的迭代重要性抽样方法和其他基线MCMC方法使用归一化有效样本量(N-ESS),詹森-香农发散和时间复杂度的结果进行比较。
2020-03-23 cs.LG stat.CO stat.ML
Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes
McGill University(麦吉尔大学)
已知减小梯度估计器的方差以提高基于随机梯度的优化和采样算法的收敛速度。实现方差减小的一种方法是设计重要性采样策略。最近,设计这样的方案的问题被公式化为一个在线学习问题与强盗反馈,和算法与次线性静态遗憾的设计。在这项工作中,我们建立在这个框架,并提出Avare,一个简单而有效的算法,自适应重要性采样有限和优化和采样的步长减小。在标准的技术条件下,我们表明,Avare实现$\mathcal{O}(T^{2/3})$和$\mathcal{O}(T^{5/6})$动态遗憾SGD和SGLD分别运行时,与$\mathcal{O}(1/t)$步长。我们实现这个动态的遗憾约束,利用我们的知识的动态定义的算法,并结合思想从在线学习和方差减少随机优化。我们经验验证我们的算法的性能,并确定设置中,它导致显着的改善。
2021-03-23 cs.LG math.OC stat.ML
Uniform ergodicity and spectral gap of importance-tempered MCMC with heavy-tailed targets
Texas A&M University(德克萨斯农工大学)
本文提出重要性温度化MCMC方法,证明其一致遍历条件,可提高估计精度并消除预热期。
2026-10-26 math.PR stat.CO stat.ML
Personalized Privacy Amplification via Importance Sampling
Elekta(医科达);KTH Royal Institute of Technology(瑞典皇家理工学院);Linköping University(林雪平大学);Uppsala University(乌普萨拉大学)
本文研究重要性采样的隐私属性,提出两种采样分布构建方法以优化隐私-效率权衡或基于核心集效用保证,实验表明在差分隐私k均值问题上优于均匀采样。
2025-03-28 cs.CR cs.LG stat.ML
On importance sampling and independent Metropolis-Hastings with an unbounded weight function
University of Oxford(牛津大学);ESSEC Business School(ESSEC高等商学院);Rutgers University(罗格斯大学)
研究重要性抽样和独立Metropolis-Hastings在权重函数无界时的偏差,通过最大耦合推导链到目标分布的全变差距离的多项式界,并利用耦合实现无偏估计。
2026-07-03 math.ST stat.ME stat.TH
Gradient-free Importance Sampling Scheme for Efficient Reliability Estimation
本文提出基于ASTPA的无梯度重要性采样框架,结合改进的pCN算法与罕见事件域发现机制,高效估计工程系统可靠性中的罕见事件概率。
2025-01-29 stat.AP stat.CO stat.ME
Optimality in Noisy Importance Sampling
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学);École Polytechnique(巴黎综合理工学院)
在这项工作中,我们分析了噪声重要性抽样(IS),即,正在对目标密度进行噪声评估。我们提出的一般框架,并获得最佳的建议密度嘈杂的IS估计。最优建议结合了噪声实现的方差的信息,提出了噪声功率较高的区域中的点。我们还比较了使用的最优建议与以前的最优性的方法,认为在嘈杂的IS框架。
2022-01-07 cs.LG stat.CO stat.ML
Importance sampling for metastable and multiscale dynamical systems
在这篇文章中,我们解决的问题,出现在与随机动力系统的罕见事件的重要性抽样方案的设计。我们重点关注亚稳态问题和多尺度的影响。我们讨论了为什么看似合理的计划,遵循大偏差的最优路径可能在实践中表现不佳,即使他们是渐近最优的。前渐近最优性是很重要的,当一个处理亚稳态动力学,我们讨论了可能的方法,如何解决这个问题。此外,我们还讨论了多尺度(无论是在周期性或随机环境中)对重要性抽样的有效设计的影响。我们讨论了出现的数学和实际问题,如何克服一些问题,并讨论未来的挑战。
2017-07-27 math.OC math.PR stat.ME
Relaxation-based importance sampling for structural reliability analysis
提出基于自适应松弛指示函数或概率密度函数参数的重要性抽样统一框架,并给出低维与高维两种策略,可一次生成完整易损性曲面。
2023-09-13 stat.AP stat.CO
An attempt to trace the birth of importance sampling
在本文中,我们试图将重要性抽样(IS)的诞生追溯到1949年。我们发现经典的制定是在一份文件中卡恩在1949年6月。至于“重要性抽样”这个词的出现,它可能是在几个月后出现的,也许是在1949年的会议上,但在1950年之前没有发表过这个名字的文章。
2022-06-21 math.HO physics.hist-ph stat.CO
Estimating standard errors for importance sampling estimators with multiple Markov chains
朴素的重要性抽样估计,从一个单一的重要性密度的样本的基础上,可以是数字不稳定的。相反,我们考虑广义重要性抽样估计的样本从一个以上的概率分布相结合。我们研究这个问题的马尔可夫链蒙特卡洛的背景下,独立的样本被替换为马尔可夫链样本。如果链以多项式速度收敛到各自的目标分布,那么在两个有限矩条件下,我们证明了广义估计的中心极限定理成立。此外,我们开发了一个易于实现的方法来计算有效的渐近标准误差的基础上批平均值。我们还提供了一个批均值估计量来计算Geyer(1994)的反向Logistic估计量的渐近有效的标准误差。我们使用贝叶斯变量选择过程中的线性回归说明的方法。特别是,广义重要性抽样估计是用来执行经验贝叶斯变量的选择和批均值估计是用来获得标准误差在一个高维设置,目前的方法是不适用的。
2016-08-11 math.ST stat.CO stat.ME
Importance Sampling for rare events and conditioned random walks
本文介绍了一种新的重要性抽样方案,称为自适应扭曲重要性抽样,它适用于在与实际独立同分布经验均值有关的中等偏差范围内改进稀有事件概率的估计。summands。它是基于从随机游动中提取的长游程密度的尖锐近似,该随机游动以其端点值为条件。
2009-10-09 math.PR math.ST stat.CO
Bayesian Update with Importance Sampling: Required Sample Size
重要性抽样在贝叶斯逆问题、数据同化和机器学习的许多计算方法中被用来逼近贝叶斯规则。本文回顾并进一步研究了重要性抽样所需的样本量的$χ^2$ -目标和建议之间的分歧。我们发展一般的抽象理论,并通过大量的例子说明尺寸,噪声水平和其他模型参数在近似的贝叶斯更新重要性抽样的作用。我们的例子也方便了一个新的直接比较标准和最佳的粒子滤波的建议。
2020-09-22 stat.CO
Spatial Monte Carlo Integration with Annealed Importance Sampling
Yamagata University(山形大学)
在伊辛模型(或玻尔兹曼机)上评估期望值对于各种应用都是必不可少的,包括统计机器学习。然而,在一般情况下,评估是计算困难的,因为它涉及棘手的多个求和或积分;因此,它需要近似。蒙特卡罗积分(MCI)是一种著名的近似方法,最近提出了一种更有效的类似MCI的近似方法,称为空间蒙特卡罗积分(SMCI)。然而,使用SMCI(和MCI)获得的估计表现出低精度的伊辛模型在低温下,由于采样质量的退化。退火重要性抽样(Annealed Importance Sampling,AIS)是一种基于马尔可夫链蒙特卡罗方法的重要性抽样,它通过重要性权重的作用来抑制低温区域的性能退化。在这项研究中,提出了一种新的方法来评估的期望伊辛模型结合AIS和SMCI。所提出的方法在高温和低温区域都有效地执行,这是理论和数值证明。
2021-04-12 cond-mat.dis-nn cs.LG physics.data-an
Resampling: an improvement of Importance Sampling in varying population size models
序贯重要性抽样算法已被定义为估计祖先种群过程模型中的似然性。然而,这些算法是基于恒定的总体规模的模型的特征,并且当总体规模随时间变化时变得低效,使得在许多人口统计情况下基于似然性的推断变得困难。在这项工作中,我们修改了以前的序贯重要性抽样算法,以提高效率的似然估计。我们的程序仍然是基于恒定大小的模型的功能,但使用一个新的rescue概率分布取决于成对的复合似然rescue技术。我们测试了我们的算法,称为序列重要性抽样与reservation(SISR)在不同的人口情况下的模拟数据集。在大多数情况下,对于相同的推理精度,我们将计算成本除以2,在某些情况下甚至除以100。这项研究提供了第一次评估的影响,这种rescue技术的参数推断使用序贯重要性抽样,并扩展了范围的情况下,可能性推断可以很容易地进行。
2016-03-23 math.PR math.ST stat.AP
Adaptive Multiple Importance Sampling
自适应多重要性抽样(AMIS)算法的目的是在迭代重要性抽样方案中对过去的模拟进行最佳回收。与早期的自适应重要性抽样实现(如人口蒙特卡罗)的区别在于,所有模拟值的重要性权重,过去和现在,在每次迭代时重新计算,遵循Owen和Zhou(2000)的确定性多重混合估计器技术。虽然该算法的收敛性能不能得到充分的研究,我们通过一个具有挑战性的香蕉形状的目标分布和人口遗传学的例子表明,这种技术带来的改善是巨大的。
2011-10-03 stat.AP stat.CO