Ensemble approximate control variate estimators: Applications to multi-fidelity importance sampling
最近的增长,在多保真度的不确定性量化已经引起了一个大的集合的方差减少技术,利用信息从模型集成提供方差减少估计的高保真模型的统计。在本文中,我们提供了两个贡献:(1)我们利用系综估计占近似控制变量(ACV)的方法的最佳权重的不确定性,并推导出下限所需的样本数量,以保证方差减少;(2)我们扩展了现有的多保真度重要性抽样(MFIS)计划,以利用控制变量。因此,我们取得了重大进展,例如,通过考虑导频样本$-$的影响,并使用多保真度方法更有效地估计低概率事件,从而提高了近似控制变量$-$的实用性。数值结果表明,我们的混合MFIS-ACV估计实现了高达50%的改进,在方差减少现有的国家的最先进的MFIS估计,这已经表现出出色的收敛速度相比,蒙特卡罗方法,对计算力学的几个问题。
2021-01-07 stat.CO stat.ME
Estimation and prediction for spatial generalized linear mixed models with parametric links via reparameterized importance sampling
空间广义线性混合模型是分析非高斯空间数据的常用模型。这些模型假设一个规定的链接功能,涉及潜在的空间场的平均响应。在某些情况下,例如当数据包含离群观测值时,使用规定的链接函数可能会导致拟合不佳,这可以通过使用参数链接函数来改善。一些流行的链接函数,如Box-Cox,是不合适的,因为它们与空间场的高斯假设不一致。我们提出了合理的选择参数连接函数,具有理想的性能。重要的是要估计链接函数的参数,而不是假设一个已知的值。为此,我们提出了一个广义重要性抽样(GIS)估计的基础上,多个马尔可夫链的经验贝叶斯分析的SGL。GIS估计器,虽然比简单的重要性抽样更有效,但在用于估计某些链接函数的参数时可能是高度可变的。使用适当的蒙特卡罗样本重新参数化,我们提出了不受高变异性影响的修改后的GIS估计量。我们使用拉普拉斯近似来选择GIS估计器中的多个重要性密度。最后,我们开发了一种方法来选择模型与适当的链接函数的家庭,它扩展到选择空间相关函数以及。我们提出了一个集合预测的平均响应适当加权不同的模型的估计。使用模拟和真实数据的例子说明了所提出的方法。
2019-01-08 stat.CO
Computationally Efficient Nonparametric Importance Sampling
由重要性抽样建立的方差减少强烈地依赖于重要性抽样分布的选择。一个好的选择往往很难实现,特别是对于高维集成问题。最优重要性抽样分布的非参数估计(称为非参数重要性抽样)是参数估计的一种合理的替代方法,本文提出并研究了自归一化和非归一化重要性抽样估计的非参数变体。对非参数重要性抽样的一个常见批评是与参数方法相比增加了计算负担。我们解决了这个问题,在很大程度上利用线性混合频率多边形估计,而不是核估计。均方误差收敛特性的影响,导致非参数重要性抽样的有效应用的建议。特别地,我们证明了非参数重要性抽样渐近地达到最佳的重要性抽样方差。非参数重要性抽样算法的效率在很大程度上依赖于所采用的非参数估计量的计算效率。线性混合频率多边形优于核估计在某些标准,如有效的采样和评估。此外,它是兼容的反演方法的样本生成。这使得我们的算法与其他方差减少技术,如分层抽样。通过三个基准集成问题的建议算法的实用性的经验证据。作为一个应用,我们估计了基于实际数据的垃圾邮件过滤器排队系统的队列长度分布。
2008-10-20 stat.CO stat.ME
Importance Sampling and its Optimality for Stochastic Simulation Models
我们考虑的问题,估计一个预期的结果,从随机模拟模型。我们的目标是发展一个理论框架的重要性抽样,这样的估计。通过研究重要性抽样估计量的方差,我们提出了一个两阶段的过程,包括回归阶段和抽样阶段,以构建最终的估计量。我们在第一阶段引入了参数和非参数回归估计,并研究了两个阶段之间的分配如何影响最终估计的性能。我们分析了这两种方法的方差减少率,并推导出它们的预言性质。我们使用两个数值例子和风力涡轮机可靠性评估的案例研究评估的方法的经验性能。
2019-09-25 stat.CO stat.ME
Importance sampling type estimators based on approximate marginal MCMC
考虑基于马尔可夫链蒙特卡罗(MCMC)的重要性抽样(IS)型加权估计,目标是目标分布的近似边缘。在贝叶斯潜变量模型的上下文中,MCMC通常对超参数进行操作,并且随后的加权可以基于IS或序贯蒙特卡罗(SMC),但也允许多级技术。IS方法提供了延迟接受(DA)伪边缘/粒子MCMC的一个自然的替代方案,并具有许多优势,DA,包括一个简单的并行化和MCMC实现的额外灵活性。我们详细的最小条件,确保强一致性的建议估计,并提供中心极限定理的渐近方差的表达式。我们演示了我们的方法可以利用SMC的状态空间模型的上下文中,使用拉普拉斯近似和时间离散扩散。我们的实验结果是有希望的,并表明,IS型的方法可以提供大量的收益相对于一个类似的DA计划,往往是有竞争力的,即使没有并行化。
2020-03-09 math.PR stat.CO
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗(MCMC),随后的重要性抽样(IS)校正的马尔可夫链不精确的输出,导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下,近似马尔可夫链是伪边际,需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下,和的情况下,IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链,其中,与一个合适的重新加权,允许提高效率。由于IS类型权重可以假定为负值,因此可以将扩展类的无偏估计量用于IS类型校正,例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器,我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设,不需要扩散可以被精确地模拟。在近似贝叶斯计算(ABC)的背景下,我们建议一个自适应MCMC方法来处理一个适当的大公差的选择,与IS校正可能更精细的公差,并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比,标准的直接MCMC,如伪边际,延迟接受,和ABC-MCMC。我们提供了一个比较标准,概括的协方差排序的IS设置。
2019-04-11 stat.CO
On a Metropolis-Hastings importance sampling estimator
函数期望近似的经典方法。部分已知的分布是计算沿着Metropolis-Hastings(MH)马尔可夫链的轨迹的函数值的平均值。MH算法中的关键部分是对所提出的状态的适当接受/拒绝,这确保了所得到的马尔可夫链的正确平稳分布。然而,拒绝提案会导致高度相关的样本。特别是,当一个状态被拒绝时,它不会被进一步考虑。与此相反,我们考虑一个MH重要性抽样估计,它明确地将所有建议的状态产生的MH算法。估计满足强大数定律以及中心极限定理,并且,除此之外,我们提供了一个明确的均方误差界。值得注意的是,MH重要性抽样估计量的渐近方差不涉及任何相关项,与其经典的对应。此外,虽然分析估计使用相同的信息量的经典MH估计,它可以优于后者的情况下,中等尺寸的数值实验表明。
2020-02-04 cs.NA math.NA math.PR
Robust Importance Sampling with Adaptive Winsorization
重要性抽样是一种广泛使用的估计分布性质的技术。本文研究了通过自适应温索化重要性抽样估计量来权衡方差的某些偏差。新的winsorizing过程,平衡原则(或Lepskii的方法)的基础上,选择一个阈值水平之间的一个预定义的集合,粗略平衡的偏差和方差的估计时,winsorized在不同的水平。因此,它提供了一种原则性的方法来执行winsorization有限样本最优性保证下最小的假设。在各种示例中,所提出的估计器被示出为具有比领先的替代方案更小的均方误差和平均绝对偏差。
2021-02-08 physics.data-an stat.CO stat.ME
Markov Chain Importance Sampling -- a highly efficient estimator for MCMC
Zalando Research, Zalando SE(Zalando研究部,Zalando公司);Zuse Institute Berlin(柏林Zuse研究所)
马尔可夫链(Markov chain,MC)算法在机器学习和统计学等许多学科中普遍存在。通常,这些算法可以被公式化为接受拒绝方法。在这项工作中,我们提出了一种新的估计适用于这些方法,称为马尔可夫链重要性抽样(MCIS),有效地利用被拒绝的建议。对于未调整的Langevin算法,它提供了一种新的方法来校正离散误差。我们的估计满足一个中心极限定理,并提高了每个CPU周期的错误,往往在很大程度上。作为一个副产品,它可以估计归一化常数,这是贝叶斯机器学习和统计学中的一个重要量。
2020-08-06 cs.LG stat.ML
Multilevel Importance Sampling for Rare Events Associated With the McKean--Vlasov Equation
针对McKean-Vlasov方程解的罕见事件估计问题,提出多层双循环蒙特卡洛估计器,结合反演采样器与基于随机最优控制的重要性采样方案,将计算复杂度降低一个数量级。
2024-04-08 cs.NA math.NA stat.CO
Adaptive Importance Sampling via Stochastic Convex Programming
我们证明了从指数族重要抽样的蒙特卡罗估计的方差是分布的自然参数的凸函数。有了这个见解,我们提出了一个自适应重要性抽样算法,同时提高了抽样分布的选择,同时积累了蒙特卡罗估计。利用凸性,我们证明了该方法的无偏估计量的方差是渐近最优的指数家庭。
2015-01-09 math.OC stat.CO stat.ME
Multifidelity probability estimation via fusion of estimators
Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学);Washington University in St. Louis(华盛顿大学圣路易斯分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种多保真度方法,通过信息融合和重要性采样估计昂贵模型的失效概率,核心方法是融合多个概率估计器以降低方差,主要贡献是证明融合估计器在方差上最优。
2019-05-07 cs.CE cs.NA math.NA
Importance sampling correction versus standard averages of reversible MCMCs in terms of the asymptotic variance
我们建立了一个排序准则的渐近方差一致的马尔可夫链蒙特卡罗(MCMC)估计:一个重要性抽样(IS)估计,基于近似可逆链和随后的IS加权,和一个标准的MCMC估计,基于一个精确的可逆链。从本质上讲,我们放宽了标准的Peskun型协方差排序考虑两个不同的不变概率,并获得,在一个严格的顺序的渐近方差,是由直接MCMC的渐近方差的界。简单的例子表明,IS可以有任意更好或更差的渐近方差比大都会黑斯廷斯和延迟接受(DA)MCMC。我们的排序意味着,IS是保证有竞争力的一个因素取决于(边际)IS权重的上确界。我们详细阐述了标准的情况下,无偏估计量作为辅助变量框架的一部分。我们展示了如何标准意味着渐近方差保证IS的伪边缘(PM)和DA校正,基本上如果精确和近似似然比是有界的。我们还表明,IS链的收敛性可以更少地受到无界高方差无偏估计量比PM和DA链。
2020-03-24 math.PR stat.CO
Importance Sampling with Unequal Support
Carnegie Mellon University(卡内基梅隆大学)
重要性采样常用于机器学习中,当训练和测试数据来自不同的分布时。在本文中,我们提出了一个新的变种的重要性采样,可以减少方差的重要性采样为基础的估计数量级时,支持的训练和测试分布不同。在激励和介绍我们的新的重要性采样估计量,我们提供了一个详细的理论分析,其特点是它的偏差和方差相对于普通的重要性采样估计量(在各种设置,其中包括普通的重要性采样是有偏见的情况下,而我们的新的估计量不是,反之亦然)。我们的结论与我们的新的重要性采样估计如何可以用来改善如何以及一个新的糖尿病治疗策略将工作的个人,使用数据时,个人使用以前的治疗策略的估计的一个例子。
2016-11-10 cs.AI cs.LG stat.ML
Selection of proposal distributions for multiple importance sampling
朴素重要性抽样(IS)估计器通常在涉及对多个目标的同时推断的示例中不工作得很好,因为重要性权重可以取任意大的值,使得估计器高度不稳定。在这种情况下,替代的多个IS估计,涉及多个建议分布的样本是首选。就像朴素IS一样,这些多IS估计器的成功关键取决于建议分布的选择。这些提案发行版的选择是本文的重点。我们提出了三种方法:(i)几何空间填充方法,(ii)极小极大方差方法,和(iii)最大熵方法。前两种方法适用于任何IS估计器,而第三种方法在Doss(2010)的两阶段IS估计器的上下文中描述。对于第一种方法,我们提出了一个合适的“接近度”的对称库尔贝克-莱布勒散度的基础上,而第二和第三种方法分别使用Doss(2010年)的IS估计和Geyer(1994年)的反向逻辑斯谛回归估计的渐近方差估计。因此,当样本的建议分布获得运行马尔可夫链,我们提供了一致的谱方差估计这些渐近方差。使用各种详细的例子来说明建议密度的选择方法。
2022-04-18 stat.ME
Logarithmic Accuracy in Importance Sampling via Large Deviations
本研究通过大偏差理论分析了非最优重要性测度下重要性采样的渐近效率与样本需求,提出新的稀有事件模拟诊断方法。
2025-12-31 math.ST stat.TH
Towards Adaptive Self-Normalized Importance Samplers
本文提出首个专门针对SNIS最优提议分布的AIS框架,利用MCMC在迭代中近似该分布,揭示了与自适应RIS的联系,并在数值实验中验证了性能。
2025-05-04 stat.CO
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
A comparative study of counterfactual estimators
Criteo Research(Criteo研究院);ENS Paris Saclay(巴黎萨克雷高等师范学院)
我们提供了一个比较研究的几个广泛使用的政策外估计(经验平均值,基本重要性抽样和归一化重要性抽样),详细介绍了不同的制度,他们是单独的次优。然后,我们表现出最优估计应该具备的属性。在使用多个政策收集的例子的情况下,我们表明,融合估计占主导地位的基本的,但仍然可以改进。
2019-01-29 cs.LG stat.ML
Imprecise Monte Carlo simulation and iterative importance sampling for the estimation of lower previsions
我们开发了一个理论框架,研究数值估计较低的预测,一般适用于两级蒙特卡罗方法,重要性抽样方法,以及广泛的其他抽样方法之一可能会设计。我们将这些估计的一致性链接到Glivenko-Cantelli类,对于亚高斯的情况,我们展示了如何使用此过程的相关结构来约束偏差并证明一致性。我们还提出了一个新的上估计,它可以与标准的下估计一起使用,以提供一个简单的置信区间。作为这个框架的一个案例研究,我们然后讨论如何利用重要性抽样提供准确的数值估计较低的预测。我们提出了一种迭代的重要性抽样方法,以大大提高性能的不精确重要性抽样。我们证明了我们的结果不精确的Dirichlet模型。
2018-06-27 math.PR math.ST stat.CO
A General Framework for Importance Sampling with Markov Random Walks
National Central University(中央大学);The Chinese University of Hong Kong(香港中文大学);Boston University(波士顿大学)
针对潜在马尔可夫过程模型经典重要性采样的局限,提出通过链接函数分别扭曲可观测与潜在过程以直接最小化估计量方差的通用框架,证明其具备对数效率,并成功应用于流行病溢出概率与金融系统性风险度量 CoVaR 的估计。
2026-10-23 q-fin.CP q-fin.RM stat.CO
Niching Importance Sampling for Multi-modal Rare-event Simulation
Clinical Operational Research Unit, Department of Mathematics, UCL(临床运筹学单元,数学系,伦敦大学学院)
本文提出 niching 重要性抽样框架,结合可靠性分析和进化多模态优化技术,提高故障概率估计的鲁棒性,有效应对可靠性问题的几何挑战。
2026-04-07 stat.CO
Multilevel Sequential Importance Sampling for Rare Event Estimation
稀有事件发生概率的估计是可靠性和风险评估中的一项重要任务。我们考虑的故障事件表示的极限状态函数,这取决于一个偏微分方程(PDE)的解决方案。由于偏微分方程的数值计算是昂贵的,估计这样的概率的失败,蒙特卡罗抽样是棘手的。可靠性分析中更有效的抽样方法,如子集模拟,很受欢迎,但如果PDE评估成本很高,则仍然不可行。在这篇文章中,我们开发了一种新的,高效的估计罕见事件的概率。我们的方法是基于序贯重要性采样器使用离散化的PDE为基础的极限状态函数具有不同的精度。一个双重的自适应算法,确保我们得到一个估计的基础上所需的离散化精度。与[Ullmann,Papaioannou 2015; SIAM/ASA J. Uncertain.数量。3(1):922-953],我们的估计克服了嵌套问题。在顺序重要性采样算法中,特别重要的是正确选择MCMC内核。而不是流行的自适应条件采样方法,我们提出了一种新的算法,使用独立的建议,从自适应构造的冯Mises-Fischer-Nakagami分布。该算法分别应用于1D和2D空间中的测试问题,并与多级子集模拟估计量和单级版本的序贯重要性抽样和子集模拟进行比较。
2020-03-29 cs.NA math.NA stat.CO
Efficient Importance Sampling for the Left Tail of Positive Gaussian Quadratic Forms
估计高斯随机向量中二次型的左尾在许多应用中具有重要的实际意义。在这封信中,我们提出了一个有效的重要性抽样估计,并赋予有界相对误差性质。与朴素蒙特卡罗(MC)相比,该属性显著减少了所提出的估计器所需的模拟运行次数,特别是当感兴趣的概率非常小时。选定的模拟结果来说明我们的估计相比,天真MC以及一些众所周知的近似的效率。
2020-09-06 stat.AP
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School(埃塞克高等商学院);The University of Sydney Business School(悉尼大学商学院);Peking University(北京大学)
本文提出了一种改进的VIMCO-$\star$梯度估计器,解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题,提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
A principled stopping rule for importance sampling
重要性抽样(IS)是一种蒙特卡罗技术,它依赖于从建议分布模拟的加权样本来估计难以处理的积分。估计量的质量随着样本数量的增加而提高。然而,为了实现期望的估计质量,所需的样本数量是未知的,并且取决于感兴趣的数量、估计器和所选择的建议。我们提出了一个顺序停止规则,终止模拟时,估计的整体变化是相对较小的。所提出的方法与IS中有效样本量的想法紧密相连,并克服了现有指标的关键缺点,例如,它承认多变量估计问题。我们的停止规则保留了渐近保证,并为用户提供了一个明确的指导方针,何时停止在IS模拟。
2022-07-14 stat.CO stat.ME
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
An importance sampling approach for copula models in insurance
提出了一种用于Copula模型抽样的重要性抽样方法。我们提出了两种算法,提高蒙特卡罗估计的功能时,主要取决于基本的随机向量的行为时,至少有一个组件是大的。这类问题通常源于金融和保险中的依赖模型。我们提出的重要性抽样框架是通用的,可以很容易地实现的所有类的Copula模型的采样是可行的。我们展示了如何优化这两种算法的建议分布,以减少采样误差。在一个典型的多变量保险应用程序的启发下的案例研究中,我们得到了10和30之间的标准蒙特卡罗估计相比,方差减少因子。
2015-04-07 q-fin.RM stat.AP stat.CO
MCMC Importance Sampling via Moreau-Yosida Envelopes
本文提出利用Moreau-Yosida包络作为重要性分布进行MCMC重要性采样,以解决不可微先验下基于梯度采样受限的问题,并证明其估计量渐近正态且数值上方差更低。
2025-07-23 stat.CO stat.ME
Product-form estimators: exploiting independence to scale up Monte Carlo
我们介绍了一类蒙特卡罗估计,旨在克服快速增长的方差与尺寸经常观察到的标准估计,利用目标的独立性结构。我们用一类广义U-统计量确定了这些估计量的最基本的体现,从而建立了它们的无偏性、相合性和渐近正态性。此外,我们表明,他们获得了最小可能的方差之间的广泛的一类估计,我们调查他们的计算成本和划定的设置中,他们是最有效的。我们将这些估计与其他著名的蒙特卡罗估计合并,以使后者更好地适应目标的独立性结构,并提高其性能。我们通过三个简单的合并来实现这一点:一个是重要性抽样,另一个是重要性抽样平方,最后一个是伪边缘Metropolis-Hasting。在所有情况下,我们表明所得估计量都是有根据的,并且比标准估计量实现更低的方差。最后,我们通过几个例子说明了各种方差减少。
2021-11-01 math.PR math.ST stat.CO
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Eficient Monte Carlo Simulation of the Left Tail of Positive Gaussian Quadratic Forms
估计高斯随机向量中二次型的左尾在许多应用中具有重要的实际意义。在本文中,我们提出了一个有效的和强大的重要性抽样估计,并赋予有界相对误差性质。与朴素的蒙特卡罗方法相比,该方法显著减少了所需的模拟次数。因此,我们的重要性抽样估计是特别有用的,当感兴趣的概率非常小。选定的模拟结果来说明我们的估计相比,天真的蒙特卡罗在中心和非中心的情况下,以及真实和复杂的设置的效率。
2019-01-26 stat.ME
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Importance Sampling for multi-constraints rare event probability
改进罕见事件概率的重要抽样估计量需要最佳密度的精确近似,从而得到接近零方差的估计量。本文提出了一种新的方法来处理定义为子集的有限交的罕见事件的概率估计。我们提供了一个尖锐的近似的密度的长期运行的随机游动条件下的倍数的限制,其中每个定义的平均值的函数的被加数,因为它们的数量趋于无穷大。
2014-01-14 math.ST stat.TH
Coupling the reduced-order model and the generative model for an importance sampling estimator
Louisiana State University(路易斯安那州立大学)
本文在不确定性量化中提出耦合降阶模型与生成模型的重要性采样估计器,通过加权经验分布和交叉熵训练生成模型纠正降维偏差并处理冗余数据,提升了估计效率与鲁棒性。
2019-01-23 cs.LG cs.NA math.NA
Importance sampling for a robust and efficient multilevel Monte Carlo estimator for stochastic reaction networks
连续时间马尔可夫链的多层蒙特卡罗(MLMC)方法,首先由Anderson和Higham(SIAM多尺度模型)提出。你好10(1),2012)是一种高效的模拟技术,可用于估计随机反应网络(SRN)的各种统计量,特别是随机生物系统。不幸的是,多层方法的鲁棒性和性能会受到高峰度的影响,高峰度是在MLMC的深层观察到的现象,这导致对样本方差的不准确估计。在这项工作中,我们解决的情况下,高峰度现象是由于\textit {灾难性的耦合(纯跳跃过程的特性,耦合连续路径是相同的,在大多数的模拟,而差异只出现在一个很小的比例),并引入了一个路径依赖的重要性采样(IS)技术,提高了鲁棒性和效率的多层方法。我们的理论结果,以及进行的数值实验表明,我们提出的方法显着降低了峰度的MLMC的深层次,也提高了强收敛速度从$β=1$的标准情况下(没有IS),$β=1+δ$,其中$0<δ<1$是用户选择的参数,在我们的IS算法。由于MLMC的复杂性定理,并且给定预先选择的容差$\text{TOL}$,这导致复杂性从标准情况下的$\mathcal{O}\left(\text{TOL}^{-2} \log(\text{TOL})^2\right)$改进为$\mathcal{O}\left(\text{TOL}^{-2}\right)$,这是MLMC估计器的最佳复杂性。我们实现了所有这些改进,可以忽略不计的额外成本,因为…
2020-06-24 cs.NA math.NA stat.CO
New Bounds and Truncation Boundaries for Importance Sampling
本文针对重要性采样中似然比估计量的集中界与高方差问题,证明了多项式集中界的紧性,并提出新的截断边界,使截断似然比估计量获得指数收敛速率,通过金融和机器学习仿真验证了其有效性。
2025-05-06 stat.ME
Learning with Importance Weighted Variational Inference
ESSEC Business School(ESSEC商学院)
本文通过渐近分析比较了IWAE、VR和VR-IWAE边界下的重参数化和双重重参数化梯度估计器,揭示了偏差-方差权衡并证明了DREP的优越性,同时分析了困难区域中梯度估计器的方向合理性。
2026-05-27 cs.LG stat.ML
BR-SNIS: Bias Reduced Self-Normalized Importance Sampling
Centre de Mathématiques appliquées(应用数学中心);Ecole polytechnique(巴黎综合理工学院);HSE University(高等经济大学);AgroParisTech(巴黎高等农业与食品工业学院);KTH Royal Institute of Technology(KTH皇家理工学院)
重要性抽样(IS)是一种使用来自建议分布的独立样本和相关重要性权重来近似目标分布下的期望的方法。在许多应用中,目标分布仅知道到归一化常数,在这种情况下,可以使用自归一化IS(SNIS)。虽然使用自归一化可以对估计量的分散性产生积极影响,但它会引入偏差。在这项工作中,我们提出了一种新的方法,BR-SNIS,其复杂性基本上是相同的SNIS,并显着减少偏差,而不增加方差。这种方法是一种包装器,因为它使用与SNIS相同的建议样本和重要性权重,但巧妙地使用迭代采样-重要性响应(ISIR)来形成估计器的偏差减少版本。我们提出的算法与严格的理论结果,包括新的偏见,方差和高概率界,这些都是由数值例子说明。
2022-09-13 cs.LG stat.CO stat.ML
Revisiting the balance heuristic for estimating normalising constants
多重重要性抽样估计因其可靠性和鲁棒性而被广泛应用于计算难处理常数。著名的平衡启发式估计属于这一类的方法,并已被证明是非常成功的计算机图形学。计算估计量的基本要素是:一组提案分布,由一些离散标签索引,以及从这些提案中的每个提案中抽取的预定数量。然而,如果可用建议的数量远远大于允许的重要点的数量,则需要选择(可能是随机的)将使用这些分布中的哪一个。这项工作的重点在于在以前的背景下,探索一些改进和变化的平衡启发式通过一种新的扩展空间表示的估计,导致简单的退火方案的方差减少的目的。此外,我们还研究了棘手的情况下,建议密度只能作为一个联合函数与离散标签,可能会遇到的问题,其中实施的排序。在这种情况下,我们看看相关的无偏估计量的组合,也适合扩展空间表示,反过来,将提供其他有趣的解决方案。
2019-09-03 stat.CO stat.ME
Quantile Importance Sampling
Virginia Tech(弗吉尼亚理工大学);University of Chicago(芝加哥大学)
本文提出利用Yakowitz的Riemann求和估计器与嵌套采样结合,实现更高的证据估计收敛速度,并讨论了洛伦兹曲线模拟以避免不可行的Λ函数问题。
2025-08-16 stat.CO stat.ME
Learning Optimal Flows for Non-Equilibrium Importance Sampling
计算科学和统计推断中的许多应用需要计算具有未知归一化常数的复杂高维分布的期望值,以及这些常数的估计。在这里,我们开发了一种方法来执行这些计算的基础上产生的样本从一个简单的基础分布,运输他们的速度场产生的流量,并沿这些流线进行平均。这种非平衡重要性抽样(NEIS)策略易于实现,可用于任意目标分布的计算。在理论方面,我们讨论了如何定制的速度场的目标,并建立一般条件下,所提出的估计是一个完美的估计与零方差。我们还绘制了NEIS和方法之间的连接的基础上映射到一个目标的基础分布通过运输地图。在计算方面,我们展示了如何使用深度学习来通过神经网络表示速度场,并将其训练为零方差最优。这些结果在基准示例(维数高达$10$)上进行了数值说明,其中在训练速度场之后,NEIS估计器的方差比香草估计器的方差减少了高达$6$数量级。我们还比较了NEIS的性能与尼尔的退火重要性抽样(AIS)。
2022-10-24 math.ST stat.ML stat.TH
Bures-Wasserstein Importance-Weighted Evidence Lower Bound: Exposition and Applications
The University of Sydney Business School(悉尼大学商学院);School of Mathematics, The University of Edinburgh(爱丁堡大学数学学院)
研究在布雷斯 - 瓦瑟斯坦空间中优化重要性加权证据下界(IW - ELBO),推导其瓦瑟斯坦梯度并投影到该空间以用于高斯变分推理,证明其梯度估计器稳定性良好,实验显示该框架比其他基线有更优近似性能。
2026-07-14 cs.LG stat.CO stat.ME
On importance sampling and independent Metropolis-Hastings with an unbounded weight function
University of Oxford(牛津大学);ESSEC Business School(ESSEC高等商学院);Rutgers University(罗格斯大学)
研究重要性抽样和独立Metropolis-Hastings在权重函数无界时的偏差,通过最大耦合推导链到目标分布的全变差距离的多项式界,并利用耦合实现无偏估计。
2026-07-03 math.ST stat.ME stat.TH
Adaptive Multiple Importance Sampling
自适应多重要性抽样(AMIS)算法的目的是在迭代重要性抽样方案中对过去的模拟进行最佳回收。与早期的自适应重要性抽样实现(如人口蒙特卡罗)的区别在于,所有模拟值的重要性权重,过去和现在,在每次迭代时重新计算,遵循Owen和Zhou(2000)的确定性多重混合估计器技术。虽然该算法的收敛性能不能得到充分的研究,我们通过一个具有挑战性的香蕉形状的目标分布和人口遗传学的例子表明,这种技术带来的改善是巨大的。
2011-10-03 stat.AP stat.CO
On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators
许多统计应用涉及的模型,很难评估的可能性,但它是相对容易的样本。近似贝叶斯计算是在这种情况下实现贝叶斯推断的无似然方法。我们目前的结果估计的渐近方差使用近似贝叶斯计算在大数据限制。我们的关键假设是,数据是由一个固定维的汇总统计,服从中心极限定理。我们证明了近似贝叶斯计算后验均值的渐近正态性。这个结果还表明,在渐近方差方面,我们应该使用与参数向量p维数相同的汇总统计量;并且任何更高维数的汇总统计量都可以通过线性变换以仅能减少后验均值的渐近方差的方式减少到维数p。我们看看如何蒙特卡罗误差的重要性抽样算法的样本从近似贝叶斯计算后影响估计的准确性。我们给出了重要性抽样建议分布的条件,使得估计量的方差与基于汇总统计量的极大似然估计量的方差为同一阶。这表明了一个迭代的重要性抽样算法,我们经验评估的随机波动率模型。
2017-11-28 math.ST stat.ME stat.TH
Amortized ratio-estimation importance sampling and localized simulation-based calibration for intractable likelihoods
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
针对不可处理似然模型,提出基于高斯混合专家的序贯后验估计与局部摊销比率估计重要性采样校正,并引入局部化基于仿真的校准,在三个案例中验证有效性。
2026-10-15 stat.CO stat.ME stat.ML
Risk-neutral limit of adaptive importance sampling of random stopping times
本文研究涉及无界停时的退出问题的重要性抽样,指出方差最小化技术的朴素应用可能导致病态,并提出基于风险敏感最优控制框架的解决方案。
2024-02-13 math.PR stat.CO
Metamodel-based importance sampling for the simulation of rare events
在结构可靠度领域,蒙特卡罗估计被认为是参考概率估计。然而,对于真实的工程案例来说,它仍然难以处理,因为它需要大量的模型运行。为了减少计算机实验的数量,已经提出了许多称为可靠性方法的其他方法。一种特定的方法是用一个替代品代替原来的实验,这样评估起来要快得多。然而,通常很难(甚至不可能)量化这种替代所造成的误差。在本文中,开发了一种替代方法。它利用克里金元建模和重要性抽样技术。最后,建议的替代估计应用于基于有限元的结构可靠性分析。
2011-04-18 stat.ME stat.ML
Importance Tempering
Statistical Laboratory(统计实验室);University of Cambridge(剑桥大学);CREEM;University of St Andrews(圣安德鲁斯大学)
针对重要性回火(IT)方法因实现粗糙导致估计量方差高的问题,提出组合多个重要性采样估计量的最优方法,证明其具备与有效样本量相关的优良属性,并在可逆跳MCMC场景中验证了有效性。
2008-11-03 stat.AP stat.CO
Efficient estimation of multiple expectations with the same sample by adaptive importance sampling and control variates
一些经典的不确定性量化问题需要估计多个期望。准确地估计所有这些是至关重要的,并且可能对要执行的分析产生重大影响,并且标准的现有蒙特卡罗方法可能成本高昂。本文提出了一种基于重要性抽样和控制变量的新方法,以更有效地估计同一样本的多个期望。我们首先表明,存在一个家庭的最佳估计相结合的重要性抽样和控制变量,但不能在实践中使用,因为他们需要的知识的期望值估计。受这些最优估计的形式和一些有趣的性质的启发,我们提出了一种自适应算法。其总体思想是自适应地更新估计器的参数以接近最优估计器。然后,我们建议一个定量停止标准,利用接近这些最佳参数和有足够的预算之间的权衡。这个左预算然后被用来从最终的抽样分布中抽取一个新的独立样本,从而得到期望的无偏估计量。我们展示了如何将我们的程序应用到敏感性分析中,通过估计Sobol指数和量化输入分布的影响。最后,现实的测试案例表明,所提出的算法的实际利益,其显着的改善,分别估计的期望。
2022-11-30 math.ST stat.ME stat.TH
Doubly Robust Stein-Kernelized Monte Carlo Estimator: Simultaneous Bias-Variance Reduction and Supercanonical Convergence
众所周知,标准蒙特卡罗计算在样本量方面表现出典型的平方根收敛速度。最近的两种技术,一个基于控制变量和重要性抽样,都来自再生核和Stein的身份的整合,已被提出,以减少错误的蒙特卡罗计算超正则收敛。本文提出了一个更一般的框架,以涵盖这两种技术,特别是有益的样本发生器时,有偏见和噪声损坏。我们表明我们的一般估计,我们称之为双鲁棒斯坦核化估计,优于现有的方法在不同的情况下的均方误差率。我们还通过数值例子证明了我们的方法的优越性能。
2023-03-10 stat.CO stat.ME
Uniform ergodicity and spectral gap of importance-tempered MCMC with heavy-tailed targets
Texas A&M University(德克萨斯农工大学)
本文提出重要性温度化MCMC方法,证明其一致遍历条件,可提高估计精度并消除预热期。
2026-10-26 math.PR stat.CO stat.ML
Parameter Estimation of State Space Models Using Particle Importance Sampling
针对状态空间模型参数最大似然估计中SMC得分估计量不一致的问题,提出两种基于重要性采样的离线与半在线SMC算法,提升粒子使用效率并保证一致性。
2025-02-02 stat.CO stat.ME