On a Metropolis-Hastings importance sampling estimator
函数期望近似的经典方法。部分已知的分布是计算沿着Metropolis-Hastings(MH)马尔可夫链的轨迹的函数值的平均值。MH算法中的关键部分是对所提出的状态的适当接受/拒绝,这确保了所得到的马尔可夫链的正确平稳分布。然而,拒绝提案会导致高度相关的样本。特别是,当一个状态被拒绝时,它不会被进一步考虑。与此相反,我们考虑一个MH重要性抽样估计,它明确地将所有建议的状态产生的MH算法。估计满足强大数定律以及中心极限定理,并且,除此之外,我们提供了一个明确的均方误差界。值得注意的是,MH重要性抽样估计量的渐近方差不涉及任何相关项,与其经典的对应。此外,虽然分析估计使用相同的信息量的经典MH估计,它可以优于后者的情况下,中等尺寸的数值实验表明。
2020-02-04 cs.NA math.NA math.PR
Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
学习生成模型通常会产生相对于底层数据分布的有偏统计数据。校正这种偏差的标准技术是重要性抽样,其中来自模型的样本由模型和真实分布下的似然比加权。当似然比未知时,可以通过训练概率分类器来区分来自两种分布的样本来估计它。我们采用这种无似然重要性加权方法来纠正生成模型中的偏差。我们发现,这种技术始终提高了标准拟合优度指标,用于评估最先进的深度生成模型的样本质量,这表明减少了偏差。最后,我们展示了它在以下典型应用中的实用性:a)使用生成对抗网络进行分类的数据增强,以及b)使用非策略数据进行基于模型的策略评估。
2019-11-03 cs.LG cs.NE stat.ML
Estimating standard errors for importance sampling estimators with multiple Markov chains
朴素的重要性抽样估计,从一个单一的重要性密度的样本的基础上,可以是数字不稳定的。相反,我们考虑广义重要性抽样估计的样本从一个以上的概率分布相结合。我们研究这个问题的马尔可夫链蒙特卡洛的背景下,独立的样本被替换为马尔可夫链样本。如果链以多项式速度收敛到各自的目标分布,那么在两个有限矩条件下,我们证明了广义估计的中心极限定理成立。此外,我们开发了一个易于实现的方法来计算有效的渐近标准误差的基础上批平均值。我们还提供了一个批均值估计量来计算Geyer(1994)的反向Logistic估计量的渐近有效的标准误差。我们使用贝叶斯变量选择过程中的线性回归说明的方法。特别是,广义重要性抽样估计是用来执行经验贝叶斯变量的选择和批均值估计是用来获得标准误差在一个高维设置,目前的方法是不适用的。
2016-08-11 math.ST stat.CO stat.ME
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School(埃塞克高等商学院);The University of Sydney Business School(悉尼大学商学院);Peking University(北京大学)
本文提出了一种改进的VIMCO-$\star$梯度估计器,解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题,提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Efficient Generative Prediction for EHR Foundation Models: The SCOPE and REACH Estimators
University of Chicago(芝加哥大学);Columbia University(哥伦比亚大学)
本文提出SCOPE和REACH估计量,通过利用未被标准蒙特卡洛方法利用的下一个令牌概率分布,提高了生成模型在电子健康记录中的临床预测性能,同时显著降低计算成本和方差。
2026-05-12 cs.LG stat.ML
Multilevel Importance Sampling for Rare Events Associated With the McKean--Vlasov Equation
针对McKean-Vlasov方程解的罕见事件估计问题,提出多层双循环蒙特卡洛估计器,结合反演采样器与基于随机最优控制的重要性采样方案,将计算复杂度降低一个数量级。
2024-04-08 cs.NA math.NA stat.CO
Generalizing the Balance Heuristic Estimator in Multiple Importance Sampling
在本文中,我们提出了一个新的和通用的家庭的多重重要性抽样估计。我们首先回顾了著名的平衡启发式估计,广泛使用的蒙特卡罗技术的近似难以处理的积分。然后,我们建立了一个通用的框架,从多个建议模拟样本的组合。我们表明,新的框架包含作为一个特殊情况下的平衡启发式。此外,我们还研究了自由参数的最优选择,使得所得估计量的方差最小。理论方差研究表明,最优解总是优于平衡启发式估计(除了在退化的情况下,两者是相同的)。作为这种分析的一个副作用,我们还提供了新的上界的平衡启发式估计。最后,我们通过五个数值例子显示了这两个估计的方差的差距。
2019-04-06 stat.CO
Multifidelity probability estimation via fusion of estimators
Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学);Washington University in St. Louis(华盛顿大学圣路易斯分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种多保真度方法,通过信息融合和重要性采样估计昂贵模型的失效概率,核心方法是融合多个概率估计器以降低方差,主要贡献是证明融合估计器在方差上最优。
2019-05-07 cs.CE cs.NA math.NA
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Efficient Multiple Importance Sampling Estimators
多重要性抽样(MIS)方法使用一组从中抽取样本的建议分布。然后,每个样本被分配一个重要性权重,可以根据不同的策略获得。这项工作的动机是权衡方差减少和计算复杂性的不同方法(经典与确定性混合)的权重计算。本文介绍了一种新的方法,实现了这两个因素之间的有效折衷。它是基于形成一个分区的建议分布的集合,并相应地计算权重。计算机模拟表明,相关的\mbox { \emph{partial deterministic mixture} MIS估计的优良性能。
2015-05-20 stat.CO
Case-deletion importance sampling estimators: Central limit theorems and related results
实例删除分析是一种评价实例子集对推理影响的常用方法。在复杂的贝叶斯环境中使用蒙特卡罗估计策略自然会导致使用重要性抽样技术来评估全数据和病例删除后验之间的分歧,并提供在病例删除后验下的估计。然而,重要性抽样估计的可靠性严重依赖于删除的情况下的权重的变化。我们提供的理论结果有关的情况下删除重要性抽样估计的可靠性评估在几个贝叶斯模型。特别是,这些结果使我们能够建立是否估计满足中心极限定理。因为我们得到的条件是一个简单的分析性质,评估的可靠性的估计,可以定期进行验证之前,估计。我们说明了使用的结果在几个例子。
2008-09-17 stat.CO
Adaptive importance sampling via minimization of estimators of cross-entropy, mean square, and inefficiency constant
在蒙特卡罗过程中使用无偏估计量的低效率可以使用低效率常数来量化,该常数等于估计量的方差与其平均计算成本的乘积。我们开发的方法获得参数的重要性抽样(IS)的变化的措施,通过单级和多级最小化著名的估计的交叉熵和均方的IS估计,以及新的估计,这样的均方和低效率常数。我们证明了在我们的方法的最小化结果的收敛性和渐近性质。我们表明,如果零方差IS参数存在,然后,在适当的假设下,最小化结果的新的估计收敛到这样一个参数在一个更快的速度比这样的结果的知名估计,和正定渐近协方差阵的最小化结果的交叉熵估计是四倍,这样的矩阵为知名的均方估计。我们引入标准比较渐近有效性的随机最优化方法,适用于最小化方法的估计认为在这项工作中。在我们的数值实验计算的欧拉方案的泛函的期望,新的估计量的最小化导致最低的效率常数和方差的IS估计,其次是最小化的著名的均方估计,和交叉熵的。
2016-01-06 stat.CO
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Selection of proposal distributions for multiple importance sampling
朴素重要性抽样(IS)估计器通常在涉及对多个目标的同时推断的示例中不工作得很好,因为重要性权重可以取任意大的值,使得估计器高度不稳定。在这种情况下,替代的多个IS估计,涉及多个建议分布的样本是首选。就像朴素IS一样,这些多IS估计器的成功关键取决于建议分布的选择。这些提案发行版的选择是本文的重点。我们提出了三种方法:(i)几何空间填充方法,(ii)极小极大方差方法,和(iii)最大熵方法。前两种方法适用于任何IS估计器,而第三种方法在Doss(2010)的两阶段IS估计器的上下文中描述。对于第一种方法,我们提出了一个合适的“接近度”的对称库尔贝克-莱布勒散度的基础上,而第二和第三种方法分别使用Doss(2010年)的IS估计和Geyer(1994年)的反向逻辑斯谛回归估计的渐近方差估计。因此,当样本的建议分布获得运行马尔可夫链,我们提供了一致的谱方差估计这些渐近方差。使用各种详细的例子来说明建议密度的选择方法。
2022-04-18 stat.ME
Learning with Importance Weighted Variational Inference
ESSEC Business School(ESSEC商学院)
本文通过渐近分析比较了IWAE、VR和VR-IWAE边界下的重参数化和双重重参数化梯度估计器,揭示了偏差-方差权衡并证明了DREP的优越性,同时分析了困难区域中梯度估计器的方向合理性。
2026-05-27 cs.LG stat.ML
Logarithmic Accuracy in Importance Sampling via Large Deviations
本研究通过大偏差理论分析了非最优重要性测度下重要性采样的渐近效率与样本需求,提出新的稀有事件模拟诊断方法。
2025-12-31 math.ST stat.TH
Sharp analysis of out-of-distribution error for "importance-weighted" estimators in the overparameterized regime
Georgia Institute of Technology(佐治亚理工学院);School of Electrical & Computer Engineering(电气与计算机工程学院);H. Milton School of Industrial & Systems Engineering(H. Milton工业与系统工程学院)
针对过参数化模型在分布外数据上性能下降的问题,本文通过含虚假特征的高斯混合模型精确分析重要性加权插值解,给出匹配上下界并揭示鲁棒性与平均准确率的新权衡。
2024-05-10 cs.IT cs.LG math.IT
Ensemble approximate control variate estimators: Applications to multi-fidelity importance sampling
最近的增长,在多保真度的不确定性量化已经引起了一个大的集合的方差减少技术,利用信息从模型集成提供方差减少估计的高保真模型的统计。在本文中,我们提供了两个贡献:(1)我们利用系综估计占近似控制变量(ACV)的方法的最佳权重的不确定性,并推导出下限所需的样本数量,以保证方差减少;(2)我们扩展了现有的多保真度重要性抽样(MFIS)计划,以利用控制变量。因此,我们取得了重大进展,例如,通过考虑导频样本$-$的影响,并使用多保真度方法更有效地估计低概率事件,从而提高了近似控制变量$-$的实用性。数值结果表明,我们的混合MFIS-ACV估计实现了高达50%的改进,在方差减少现有的国家的最先进的MFIS估计,这已经表现出出色的收敛速度相比,蒙特卡罗方法,对计算力学的几个问题。
2021-01-07 stat.CO stat.ME
Multilevel Sequential Importance Sampling for Rare Event Estimation
稀有事件发生概率的估计是可靠性和风险评估中的一项重要任务。我们考虑的故障事件表示的极限状态函数,这取决于一个偏微分方程(PDE)的解决方案。由于偏微分方程的数值计算是昂贵的,估计这样的概率的失败,蒙特卡罗抽样是棘手的。可靠性分析中更有效的抽样方法,如子集模拟,很受欢迎,但如果PDE评估成本很高,则仍然不可行。在这篇文章中,我们开发了一种新的,高效的估计罕见事件的概率。我们的方法是基于序贯重要性采样器使用离散化的PDE为基础的极限状态函数具有不同的精度。一个双重的自适应算法,确保我们得到一个估计的基础上所需的离散化精度。与[Ullmann,Papaioannou 2015; SIAM/ASA J. Uncertain.数量。3(1):922-953],我们的估计克服了嵌套问题。在顺序重要性采样算法中,特别重要的是正确选择MCMC内核。而不是流行的自适应条件采样方法,我们提出了一种新的算法,使用独立的建议,从自适应构造的冯Mises-Fischer-Nakagami分布。该算法分别应用于1D和2D空间中的测试问题,并与多级子集模拟估计量和单级版本的序贯重要性抽样和子集模拟进行比较。
2020-03-29 cs.NA math.NA stat.CO
Computationally Efficient Nonparametric Importance Sampling
由重要性抽样建立的方差减少强烈地依赖于重要性抽样分布的选择。一个好的选择往往很难实现,特别是对于高维集成问题。最优重要性抽样分布的非参数估计(称为非参数重要性抽样)是参数估计的一种合理的替代方法,本文提出并研究了自归一化和非归一化重要性抽样估计的非参数变体。对非参数重要性抽样的一个常见批评是与参数方法相比增加了计算负担。我们解决了这个问题,在很大程度上利用线性混合频率多边形估计,而不是核估计。均方误差收敛特性的影响,导致非参数重要性抽样的有效应用的建议。特别地,我们证明了非参数重要性抽样渐近地达到最佳的重要性抽样方差。非参数重要性抽样算法的效率在很大程度上依赖于所采用的非参数估计量的计算效率。线性混合频率多边形优于核估计在某些标准,如有效的采样和评估。此外,它是兼容的反演方法的样本生成。这使得我们的算法与其他方差减少技术,如分层抽样。通过三个基准集成问题的建议算法的实用性的经验证据。作为一个应用,我们估计了基于实际数据的垃圾邮件过滤器排队系统的队列长度分布。
2008-10-20 stat.CO stat.ME
Importance Sampling and its Optimality for Stochastic Simulation Models
我们考虑的问题,估计一个预期的结果,从随机模拟模型。我们的目标是发展一个理论框架的重要性抽样,这样的估计。通过研究重要性抽样估计量的方差,我们提出了一个两阶段的过程,包括回归阶段和抽样阶段,以构建最终的估计量。我们在第一阶段引入了参数和非参数回归估计,并研究了两个阶段之间的分配如何影响最终估计的性能。我们分析了这两种方法的方差减少率,并推导出它们的预言性质。我们使用两个数值例子和风力涡轮机可靠性评估的案例研究评估的方法的经验性能。
2019-09-25 stat.CO stat.ME
Robust Importance Sampling with Adaptive Winsorization
重要性抽样是一种广泛使用的估计分布性质的技术。本文研究了通过自适应温索化重要性抽样估计量来权衡方差的某些偏差。新的winsorizing过程,平衡原则(或Lepskii的方法)的基础上,选择一个阈值水平之间的一个预定义的集合,粗略平衡的偏差和方差的估计时,winsorized在不同的水平。因此,它提供了一种原则性的方法来执行winsorization有限样本最优性保证下最小的假设。在各种示例中,所提出的估计器被示出为具有比领先的替代方案更小的均方误差和平均绝对偏差。
2021-02-08 physics.data-an stat.CO stat.ME
Importance sampling type estimators based on approximate marginal MCMC
考虑基于马尔可夫链蒙特卡罗(MCMC)的重要性抽样(IS)型加权估计,目标是目标分布的近似边缘。在贝叶斯潜变量模型的上下文中,MCMC通常对超参数进行操作,并且随后的加权可以基于IS或序贯蒙特卡罗(SMC),但也允许多级技术。IS方法提供了延迟接受(DA)伪边缘/粒子MCMC的一个自然的替代方案,并具有许多优势,DA,包括一个简单的并行化和MCMC实现的额外灵活性。我们详细的最小条件,确保强一致性的建议估计,并提供中心极限定理的渐近方差的表达式。我们演示了我们的方法可以利用SMC的状态空间模型的上下文中,使用拉普拉斯近似和时间离散扩散。我们的实验结果是有希望的,并表明,IS型的方法可以提供大量的收益相对于一个类似的DA计划,往往是有竞争力的,即使没有并行化。
2020-03-09 math.PR stat.CO
Efficient Importance Sampling for the Left Tail of Positive Gaussian Quadratic Forms
估计高斯随机向量中二次型的左尾在许多应用中具有重要的实际意义。在这封信中,我们提出了一个有效的重要性抽样估计,并赋予有界相对误差性质。与朴素蒙特卡罗(MC)相比,该属性显著减少了所提出的估计器所需的模拟运行次数,特别是当感兴趣的概率非常小时。选定的模拟结果来说明我们的估计相比,天真MC以及一些众所周知的近似的效率。
2020-09-06 stat.AP
U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学)
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是,给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器,通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均,可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少,并提出了新的近似与理论保证,以确保计算效率。我们发现经验,U-统计方差减少可以导致适度的显着改善推理性能的一系列模型,几乎没有计算成本。
2023-02-27 cs.LG stat.ML
Adaptive Importance Sampling via Stochastic Convex Programming
我们证明了从指数族重要抽样的蒙特卡罗估计的方差是分布的自然参数的凸函数。有了这个见解,我们提出了一个自适应重要性抽样算法,同时提高了抽样分布的选择,同时积累了蒙特卡罗估计。利用凸性,我们证明了该方法的无偏估计量的方差是渐近最优的指数家庭。
2015-01-09 math.OC stat.CO stat.ME
Hierarchical Importance Weighted Autoencoders
Mila, University of Montreal(蒙特利尔大学Mila);Element AI;CIFAR(加拿大高等研究院)
重要性加权变分推理(Burda等人,2015)使用多个i.i.d.样本具有更严格的变分下限。我们相信,联合提案有可能减少冗余样本的数量,并引入层次结构,以诱导相关性。希望这些建议能够协调起来,以弥补彼此造成的误差,从而减少重要性估计值的方差。在理论上,我们分析了估计方差的收敛性与下界的收敛性相联系的条件。从经验上讲,我们确认,最大化的下限隐含最小化方差。进一步的分析表明,这是由所提出的分层Meta采样方案引起的负相关的结果,并且随着样本数量的增加,推理性能也有所改善。
2019-05-13 cs.LG stat.ML
Offline A/B testing for Recommender Systems
Criteo Research(科睿唯安研究)
在A/B在线测试推荐系统的新版本之前,通常会对历史数据进行一些离线评估。我们专注于评估方法,计算可能产生这种新技术的潜在收入提升的估计值。它有助于更快地识别错误的政策,避免损失资金。这些估计器被称为反事实或偏离策略估计器。我们发现,传统的反事实估计,如上限重要性抽样和规范化的重要性抽样实验上没有令人满意的偏差方差妥协的情况下,个性化的产品推荐在线广告。我们提出了两个变体的反事实估计与不同的模型的偏见,证明是准确的,在现实世界的条件。我们提供了一个基准,这些估计显示他们的相关性与商业指标上运行在线A/B测试的商业推荐系统。
2018-01-22 cs.LG stat.ML
Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University of Helsinki(赫尔辛基大学);Carnegie-Mellon University(卡内基梅隆大学)
该研究针对退火法估计归一化常数的设计选择缺乏效率理论的问题,通过渐近误差分析对比估计器与分布路径的性能,证明算术路径的最优性并提出高效逼近最优路径的两步估计器。
2023-10-09 cs.LG stat.ML
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto(多伦多大学)
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说,我们删除了一部分的总导数相对于变分参数,对应于得分函数。去除这一项会产生一个无偏的梯度估计,其方差接近零,因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为,并将其推广到更复杂的变分分布,如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
Imprecise Monte Carlo simulation and iterative importance sampling for the estimation of lower previsions
我们开发了一个理论框架,研究数值估计较低的预测,一般适用于两级蒙特卡罗方法,重要性抽样方法,以及广泛的其他抽样方法之一可能会设计。我们将这些估计的一致性链接到Glivenko-Cantelli类,对于亚高斯的情况,我们展示了如何使用此过程的相关结构来约束偏差并证明一致性。我们还提出了一个新的上估计,它可以与标准的下估计一起使用,以提供一个简单的置信区间。作为这个框架的一个案例研究,我们然后讨论如何利用重要性抽样提供准确的数值估计较低的预测。我们提出了一种迭代的重要性抽样方法,以大大提高性能的不精确重要性抽样。我们证明了我们的结果不精确的Dirichlet模型。
2018-06-27 math.PR math.ST stat.CO
Importance sampling for a robust and efficient multilevel Monte Carlo estimator for stochastic reaction networks
连续时间马尔可夫链的多层蒙特卡罗(MLMC)方法,首先由Anderson和Higham(SIAM多尺度模型)提出。你好10(1),2012)是一种高效的模拟技术,可用于估计随机反应网络(SRN)的各种统计量,特别是随机生物系统。不幸的是,多层方法的鲁棒性和性能会受到高峰度的影响,高峰度是在MLMC的深层观察到的现象,这导致对样本方差的不准确估计。在这项工作中,我们解决的情况下,高峰度现象是由于\textit {灾难性的耦合(纯跳跃过程的特性,耦合连续路径是相同的,在大多数的模拟,而差异只出现在一个很小的比例),并引入了一个路径依赖的重要性采样(IS)技术,提高了鲁棒性和效率的多层方法。我们的理论结果,以及进行的数值实验表明,我们提出的方法显着降低了峰度的MLMC的深层次,也提高了强收敛速度从$β=1$的标准情况下(没有IS),$β=1+δ$,其中$0<δ<1$是用户选择的参数,在我们的IS算法。由于MLMC的复杂性定理,并且给定预先选择的容差$\text{TOL}$,这导致复杂性从标准情况下的$\mathcal{O}\left(\text{TOL}^{-2} \log(\text{TOL})^2\right)$改进为$\mathcal{O}\left(\text{TOL}^{-2}\right)$,这是MLMC估计器的最佳复杂性。我们实现了所有这些改进,可以忽略不计的额外成本,因为…
2020-06-24 cs.NA math.NA stat.CO
Learning Optimal Flows for Non-Equilibrium Importance Sampling
计算科学和统计推断中的许多应用需要计算具有未知归一化常数的复杂高维分布的期望值,以及这些常数的估计。在这里,我们开发了一种方法来执行这些计算的基础上产生的样本从一个简单的基础分布,运输他们的速度场产生的流量,并沿这些流线进行平均。这种非平衡重要性抽样(NEIS)策略易于实现,可用于任意目标分布的计算。在理论方面,我们讨论了如何定制的速度场的目标,并建立一般条件下,所提出的估计是一个完美的估计与零方差。我们还绘制了NEIS和方法之间的连接的基础上映射到一个目标的基础分布通过运输地图。在计算方面,我们展示了如何使用深度学习来通过神经网络表示速度场,并将其训练为零方差最优。这些结果在基准示例(维数高达$10$)上进行了数值说明,其中在训练速度场之后,NEIS估计器的方差比香草估计器的方差减少了高达$6$数量级。我们还比较了NEIS的性能与尼尔的退火重要性抽样(AIS)。
2022-10-24 math.ST stat.ML stat.TH
Eficient Monte Carlo Simulation of the Left Tail of Positive Gaussian Quadratic Forms
估计高斯随机向量中二次型的左尾在许多应用中具有重要的实际意义。在本文中,我们提出了一个有效的和强大的重要性抽样估计,并赋予有界相对误差性质。与朴素的蒙特卡罗方法相比,该方法显著减少了所需的模拟次数。因此,我们的重要性抽样估计是特别有用的,当感兴趣的概率非常小。选定的模拟结果来说明我们的估计相比,天真的蒙特卡罗在中心和非中心的情况下,以及真实和复杂的设置的效率。
2019-01-26 stat.ME
Importance Sampling for multi-constraints rare event probability
改进罕见事件概率的重要抽样估计量需要最佳密度的精确近似,从而得到接近零方差的估计量。本文提出了一种新的方法来处理定义为子集的有限交的罕见事件的概率估计。我们提供了一个尖锐的近似的密度的长期运行的随机游动条件下的倍数的限制,其中每个定义的平均值的函数的被加数,因为它们的数量趋于无穷大。
2014-01-14 math.ST stat.TH
Variational inference for Monte Carlo objectives
Google DeepMind(谷歌DeepMind)
最近在深层潜变量模型方面的进展在很大程度上是由灵活和可扩展的变分推理方法的发展推动的。这种类型的变分训练涉及最大化对数似然的下限,使用来自变分后验的样本来计算所需的梯度。最近,Burda et al.(2016)使用多样本重要性采样估计的可能性导出了一个更严格的下限,并表明优化它会产生使用更多容量并实现更高可能性的模型。这一发展表明了这种多样本目标的重要性,并解释了几种相关方法的成功。我们将多样本方法扩展到离散潜变量,并分析了估计所涉及的梯度时遇到的困难。然后,我们开发了为重要性采样目标设计的第一个无偏梯度估计器,并在训练生成和结构化输出预测模型时对其进行评估。由此产生的估计,这是基于低方差的每样本学习信号,是既简单又有效的NVIL估计提出的单样本变分目标,是目前使用的有偏估计的竞争力。
2016-06-01 cs.LG stat.ML
Metamodel-based importance sampling for the simulation of rare events
在结构可靠度领域,蒙特卡罗估计被认为是参考概率估计。然而,对于真实的工程案例来说,它仍然难以处理,因为它需要大量的模型运行。为了减少计算机实验的数量,已经提出了许多称为可靠性方法的其他方法。一种特定的方法是用一个替代品代替原来的实验,这样评估起来要快得多。然而,通常很难(甚至不可能)量化这种替代所造成的误差。在本文中,开发了一种替代方法。它利用克里金元建模和重要性抽样技术。最后,建议的替代估计应用于基于有限元的结构可靠性分析。
2011-04-18 stat.ME stat.ML
BR-SNIS: Bias Reduced Self-Normalized Importance Sampling
Centre de Mathématiques appliquées(应用数学中心);Ecole polytechnique(巴黎综合理工学院);HSE University(高等经济大学);AgroParisTech(巴黎高等农业与食品工业学院);KTH Royal Institute of Technology(KTH皇家理工学院)
重要性抽样(IS)是一种使用来自建议分布的独立样本和相关重要性权重来近似目标分布下的期望的方法。在许多应用中,目标分布仅知道到归一化常数,在这种情况下,可以使用自归一化IS(SNIS)。虽然使用自归一化可以对估计量的分散性产生积极影响,但它会引入偏差。在这项工作中,我们提出了一种新的方法,BR-SNIS,其复杂性基本上是相同的SNIS,并显着减少偏差,而不增加方差。这种方法是一种包装器,因为它使用与SNIS相同的建议样本和重要性权重,但巧妙地使用迭代采样-重要性响应(ISIR)来形成估计器的偏差减少版本。我们提出的算法与严格的理论结果,包括新的偏见,方差和高概率界,这些都是由数值例子说明。
2022-09-13 cs.LG stat.CO stat.ML
Amortized Rejection Sampling in Universal Probabilistic Programming
University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所)
在具有无限循环的概率规划中,摊销推理的朴素方法可以产生具有无穷方差的估计量。这是特别真实的重要性采样推理程序,明确包括拒绝抽样的一部分,用户编程的生成过程。本文提出了一种新的有效的摊余重要性采样估计量。我们证明了我们的估计有限方差和经验证明我们的方法的正确性和效率相比,现有的替代品生成程序包含拒绝采样循环,并讨论如何实现我们的方法在一个通用的概率编程框架。
2022-03-29 cs.AI cs.LG stat.ML
New Bounds and Truncation Boundaries for Importance Sampling
本文针对重要性采样中似然比估计量的集中界与高方差问题,证明了多项式集中界的紧性,并提出新的截断边界,使截断似然比估计量获得指数收敛速率,通过金融和机器学习仿真验证了其有效性。
2025-05-06 stat.ME
Importance sampling correction versus standard averages of reversible MCMCs in terms of the asymptotic variance
我们建立了一个排序准则的渐近方差一致的马尔可夫链蒙特卡罗(MCMC)估计:一个重要性抽样(IS)估计,基于近似可逆链和随后的IS加权,和一个标准的MCMC估计,基于一个精确的可逆链。从本质上讲,我们放宽了标准的Peskun型协方差排序考虑两个不同的不变概率,并获得,在一个严格的顺序的渐近方差,是由直接MCMC的渐近方差的界。简单的例子表明,IS可以有任意更好或更差的渐近方差比大都会黑斯廷斯和延迟接受(DA)MCMC。我们的排序意味着,IS是保证有竞争力的一个因素取决于(边际)IS权重的上确界。我们详细阐述了标准的情况下,无偏估计量作为辅助变量框架的一部分。我们展示了如何标准意味着渐近方差保证IS的伪边缘(PM)和DA校正,基本上如果精确和近似似然比是有界的。我们还表明,IS链的收敛性可以更少地受到无界高方差无偏估计量比PM和DA链。
2020-03-24 math.PR stat.CO
A General Framework for Importance Sampling with Markov Random Walks
National Central University(中央大学);The Chinese University of Hong Kong(香港中文大学);Boston University(波士顿大学)
针对潜在马尔可夫过程模型经典重要性采样的局限,提出通过链接函数分别扭曲可观测与潜在过程以直接最小化估计量方差的通用框架,证明其具备对数效率,并成功应用于流行病溢出概率与金融系统性风险度量 CoVaR 的估计。
2026-10-23 q-fin.CP q-fin.RM stat.CO
Feature Perturbation Augmentation for Reliable Evaluation of Importance Estimators in Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
针对局部事后可解释性方法因扰动样本分布外导致评估困难的问题,提出特征扰动增强(FPA)技术,通过在训练中添加扰动图像提升DNN鲁棒性,从而更可靠地评估重要性估计器。
2023-11-23 cs.CV cs.LG
Robust Importance Sampling for Error Estimation in the Context of Optimal Bayesian Transfer Learning
Texas A&M University(德克萨斯农工大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
分类一直是构建智能系统的主要任务,因为它可以在不确定性下做出决策。分类器设计的目的是从训练数据中构建模型,以显式或隐式地表示特征标签分布。在许多科学或临床环境中,训练数据通常是有限的,这使得设计准确的分类器和评估其分类错误极具挑战性。虽然迁移学习(TL)可以通过合并来自相关源域的数据来改善不同目标域中的学习来缓解这个问题,但它在性能评估方面很少受到关注,特别是在错误估计方面。在本文中,我们填补了这一空白调查的背景下,贝叶斯范式的分类误差估计的知识转移。我们引入了一类新的贝叶斯最小均方误差(MMSE)估计的最优贝叶斯迁移学习(OBTL),这使得严格的分类误差评估下的不确定性在小样本设置。使用蒙特卡罗重要性抽样,我们采用建议的估计,以评估分类器,跨越不同的学习能力的一个广泛的家庭的分类精度。基于合成数据和真实世界RNA测序(RNA-seq)数据的实验结果表明,我们提出的OBTL误差估计方案明显优于标准误估计,特别是在小样本设置中,通过利用其他相关领域的数据。
2021-09-05 cs.LG stat.ML
Efficient importance sampling for copula models
本文提出一种通用的高效重要性采样算法,通过变换似然比方法在copula模型下计算最优替代概率测度,实现了显著的方差缩减,并证明了对数效率和有界相对误差。
2025-04-04 stat.CO
Heretical Multiple Importance Sampling
多重要性抽样方法通过从一组建议分布中抽取样本来逼近复杂分布的矩。最近提出了几种计算分配给每个样本的重要性权重的方法,其中所谓的确定性混合(DM)权重在方差方面提供了最佳性能,但代价是计算成本增加。最近的一项工作表明,它是可能的,以实现方差减少和计算工作量之间的权衡,通过执行一个先验的随机聚类的建议(部分DM算法)。在本文中,我们提出了一种新的“异端”的MIS框架,其中的聚类进行后验的目标是减少方差的重要性抽样的权重。这种方法产生有偏估计量,方差可能大幅减少。数值算例表明,在均方误差(MSE)方面,异方差MIS估计优于标准MIS估计和偏MIS估计,并以较小的计算代价获得了与DM相近的性能.
2016-09-15 stat.CO
Product-form estimators: exploiting independence to scale up Monte Carlo
我们介绍了一类蒙特卡罗估计,旨在克服快速增长的方差与尺寸经常观察到的标准估计,利用目标的独立性结构。我们用一类广义U-统计量确定了这些估计量的最基本的体现,从而建立了它们的无偏性、相合性和渐近正态性。此外,我们表明,他们获得了最小可能的方差之间的广泛的一类估计,我们调查他们的计算成本和划定的设置中,他们是最有效的。我们将这些估计与其他著名的蒙特卡罗估计合并,以使后者更好地适应目标的独立性结构,并提高其性能。我们通过三个简单的合并来实现这一点:一个是重要性抽样,另一个是重要性抽样平方,最后一个是伪边缘Metropolis-Hasting。在所有情况下,我们表明所得估计量都是有根据的,并且比标准估计量实现更低的方差。最后,我们通过几个例子说明了各种方差减少。
2021-11-01 math.PR math.ST stat.CO
On importance sampling and independent Metropolis-Hastings with an unbounded weight function
University of Oxford(牛津大学);ESSEC Business School(ESSEC高等商学院);Rutgers University(罗格斯大学)
研究重要性抽样和独立Metropolis-Hastings在权重函数无界时的偏差,通过最大耦合推导链到目标分布的全变差距离的多项式界,并利用耦合实现无偏估计。
2026-07-03 math.ST stat.ME stat.TH
On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators
许多统计应用涉及的模型,很难评估的可能性,但它是相对容易的样本。近似贝叶斯计算是在这种情况下实现贝叶斯推断的无似然方法。我们目前的结果估计的渐近方差使用近似贝叶斯计算在大数据限制。我们的关键假设是,数据是由一个固定维的汇总统计,服从中心极限定理。我们证明了近似贝叶斯计算后验均值的渐近正态性。这个结果还表明,在渐近方差方面,我们应该使用与参数向量p维数相同的汇总统计量;并且任何更高维数的汇总统计量都可以通过线性变换以仅能减少后验均值的渐近方差的方式减少到维数p。我们看看如何蒙特卡罗误差的重要性抽样算法的样本从近似贝叶斯计算后影响估计的准确性。我们给出了重要性抽样建议分布的条件,使得估计量的方差与基于汇总统计量的极大似然估计量的方差为同一阶。这表明了一个迭代的重要性抽样算法,我们经验评估的随机波动率模型。
2017-11-28 math.ST stat.ME stat.TH
Estimation and prediction for spatial generalized linear mixed models with parametric links via reparameterized importance sampling
空间广义线性混合模型是分析非高斯空间数据的常用模型。这些模型假设一个规定的链接功能,涉及潜在的空间场的平均响应。在某些情况下,例如当数据包含离群观测值时,使用规定的链接函数可能会导致拟合不佳,这可以通过使用参数链接函数来改善。一些流行的链接函数,如Box-Cox,是不合适的,因为它们与空间场的高斯假设不一致。我们提出了合理的选择参数连接函数,具有理想的性能。重要的是要估计链接函数的参数,而不是假设一个已知的值。为此,我们提出了一个广义重要性抽样(GIS)估计的基础上,多个马尔可夫链的经验贝叶斯分析的SGL。GIS估计器,虽然比简单的重要性抽样更有效,但在用于估计某些链接函数的参数时可能是高度可变的。使用适当的蒙特卡罗样本重新参数化,我们提出了不受高变异性影响的修改后的GIS估计量。我们使用拉普拉斯近似来选择GIS估计器中的多个重要性密度。最后,我们开发了一种方法来选择模型与适当的链接函数的家庭,它扩展到选择空间相关函数以及。我们提出了一个集合预测的平均响应适当加权不同的模型的估计。使用模拟和真实数据的例子说明了所提出的方法。
2019-01-08 stat.CO
Error Bounds for Importance Sampling with Estimated Proposal Distributions
FUB(柏林自由大学)
本文研究了使用数据驱动提案分布的重要性和采样方法,通过推导非渐近误差界,分离了蒙特卡洛误差和提案近似误差,并为基于KDE的提案提供了定量保证。
2026-05-19 cs.NA math.NA math.ST
Efficient estimation of multiple expectations with the same sample by adaptive importance sampling and control variates
一些经典的不确定性量化问题需要估计多个期望。准确地估计所有这些是至关重要的,并且可能对要执行的分析产生重大影响,并且标准的现有蒙特卡罗方法可能成本高昂。本文提出了一种基于重要性抽样和控制变量的新方法,以更有效地估计同一样本的多个期望。我们首先表明,存在一个家庭的最佳估计相结合的重要性抽样和控制变量,但不能在实践中使用,因为他们需要的知识的期望值估计。受这些最优估计的形式和一些有趣的性质的启发,我们提出了一种自适应算法。其总体思想是自适应地更新估计器的参数以接近最优估计器。然后,我们建议一个定量停止标准,利用接近这些最佳参数和有足够的预算之间的权衡。这个左预算然后被用来从最终的抽样分布中抽取一个新的独立样本,从而得到期望的无偏估计量。我们展示了如何将我们的程序应用到敏感性分析中,通过估计Sobol指数和量化输入分布的影响。最后,现实的测试案例表明,所提出的算法的实际利益,其显着的改善,分别估计的期望。
2022-11-30 math.ST stat.ME stat.TH
An importance sampling approach for copula models in insurance
提出了一种用于Copula模型抽样的重要性抽样方法。我们提出了两种算法,提高蒙特卡罗估计的功能时,主要取决于基本的随机向量的行为时,至少有一个组件是大的。这类问题通常源于金融和保险中的依赖模型。我们提出的重要性抽样框架是通用的,可以很容易地实现的所有类的Copula模型的采样是可行的。我们展示了如何优化这两种算法的建议分布,以减少采样误差。在一个典型的多变量保险应用程序的启发下的案例研究中,我们得到了10和30之间的标准蒙特卡罗估计相比,方差减少因子。
2015-04-07 q-fin.RM stat.AP stat.CO