Efficient Importance Sampling for Wrong Exit Probabilities over Combinatorially Many Rare Regions
本文研究轻尾随机游走从众多罕见区域错误出口概率的重要性采样估计,提出通过结合少量区域的最优倾斜与控制方差的额外提议来构建分量更少的渐近高效混合方法,解决了高维下指数级区域导致的计算不可行问题。
2025-09-18 math.PR stat.CO
Hamiltonian MCMC methods for estimating rare events probabilities in high-dimensional problems
针对高维复杂工程系统中的稀有事件概率估计问题,提出集成 ASTPA 框架与梯度 HMCMC 的方法,开发高效 QNp-HMCMC 采样方案及逆重要性抽样后处理步骤,性能优于 Subset Simulation。
2023-05-19 stat.AP stat.CO stat.ME
Accelerated Weight Histogram Method for Rare Event Simulations
本文描述了一种自适应的马尔可夫链蒙特卡罗方法,适用于复杂概率模型中罕见失效概率的估计。这种方法,即加速权重直方图(AWH)方法,起源于统计物理学(Lidmar,2012),并已成功应用于生物物理学中的分子动力学模拟。在这里,我们介绍它的背景下,结构可靠性和证明其有用的计算故障概率在一些选定的问题的复杂程度不同,并比较与其他既定的技术,例如,子集模拟
2022-10-26 cond-mat.dis-nn cs.CE physics.comp-ph
Wasserstein Distributionally Robust Rare-Event Simulation
The Chinese University of Hong Kong(香港中文大学);Huawei Hong Kong Research Center(华为香港研究中心)
本文提出了一种基于Wasserstein模糊集的分布鲁棒重要性采样方法,用于高效估计存在分布不确定性下的稀有事件概率,实现了最优的误差收敛性。
2026-01-04 q-fin.CP stat.CO stat.ME
Estimating Tail Probabilities of the Ratio of the Largest Eigenvalue to the Trace of a Wishart Matrix
本文提出了一种有效的蒙特卡罗方法来估计Wishart矩阵的最大特征值与迹之比的尾概率,这在多元数据分析中起着重要的作用。该估计是基于一个改变的测量技术,它被证明是渐近有效的实和复杂的Wishart矩阵。仿真研究进一步表明,所提出的方法优于现有的方法的基础上渐近近似,特别是在估计概率的罕见事件。
2018-03-25 stat.CO stat.ME
Deep importance sampling using tensor trains with application to a priori and a posteriori rare event estimation
Monash University(莫纳什大学);University of Bath(巴斯大学);Heidelberg University(海德堡大学)
本文提出基于平方张量列分解的保序变换复合来构建深度重要性采样方法,用于高维稀有事件概率估计,并通过比率估计器改进方差缩减,在微分方程约束问题上实现了此前无法达到的高维后验稀有事件概率计算。
2023-05-25 cs.LG stat.CO stat.ME
Efficient Rare-Event Simulation for Random Geometric Graphs via Importance Sampling
School of Mathematics and Statistics, University of New South Wales(新南威尔士大学数学与统计学院);Data Science and Statistics, Aarhus University(奥胡斯大学数据科学与统计学);Institute of Stochastics, Ulm University(乌尔姆大学随机过程研究所);School of Mathematics and Physics, The University of Queensland(昆士兰大学数学与物理学院)
本文提出通过重要性采样方法高效估计随机几何图中稀有事件概率,通过渐近分析和数值研究验证了方法的有效性,提升了对Gilbert图的分析能力。
2026-04-22 math.PR stat.CO
Importance Sampling for rare events and conditioned random walks
本文介绍了一种新的重要性抽样方案,称为自适应扭曲重要性抽样,它适用于在与实际独立同分布经验均值有关的中等偏差范围内改进稀有事件概率的估计。summands。它是基于从随机游动中提取的长游程密度的尖锐近似,该随机游动以其端点值为条件。
2009-10-09 math.PR math.ST stat.CO
Cross-entropy-based importance sampling with failure-informed dimension reduction for rare event simulation
在高维空间中,稀有事件或故障概率的估计在许多科学和技术领域都是有意义的。我们考虑的问题,罕见的事件表示在一个计算成本高的数值模型。重要性抽样与交叉熵方法提供了一种有效的方法来解决这些问题,提供了一个合适的偏置密度的参数家庭。虽然一些现有的参数分布族被设计为在高维中有效地执行,但它们在交叉熵方法中的适用性仅限于维数为O(1e2)的问题。在这项工作中,而不是直接在高维中建立采样密度,我们专注于识别罕见事件模拟问题的内在低维结构。为此,我们利用稀有事件模拟和贝叶斯逆问题之间的连接。这使我们能够适应降维技术从贝叶斯推断,以构建新的,有效的低维,偏置分布内的交叉熵方法。特别是,我们采用[47]中的方法,因为它能够控制最佳偏置分布近似中的误差。我们说明我们的方法使用两个标准的高维可靠性基准问题和一个结构力学应用程序涉及随机场。
2020-06-09 stat.CO
Safe cross-entropy-based importance sampling for rare event simulations
针对稀有事件模拟中改进交叉熵方法收敛慢、不稳定及需预设混合成分数的问题,提出Safe-ICE方法,采用加权交叉熵惩罚EM算法自动剪枝,并引入轻重尾两成分混合,加速极小失效概率估计,数值验证更优。
2025-09-08 cs.NA math.NA stat.CO
Rare event simulation for electronic circuit design
在这项工作中,我们提出了一个算法来模拟电子电路设计的罕见事件。我们的方法在很大程度上依赖于重要性抽样的巧妙使用,这使我们能够处理10 - 10级的概率。我们不仅可以计算非常罕见的违约概率,还可以计算与给定违约概率及其预期缺口相关的分位数。我们展示了令人印象深刻的效率的方法对实际电路。
2021-09-17 math.PR stat.AP
Analysis and Simulation of Extremes and Rare Events in Complex Systems
罕见的天气和气候事件,如热浪和洪水,可能带来巨大的社会成本。气候数据的持续时间和空间覆盖范围往往有限,气候预测往往转向气候模型的模拟,以便更好地预测罕见的天气事件。然而,为了获得准确的概率估计,复杂模型的非常长的模拟可能慢得令人望而却步。发展概率和动力学技术,从有限的数据中准确地估计罕见事件的概率是一个重要的科学问题。在本文中,我们比较了四个现代方法估计罕见事件的概率:广义极值(GEV)的方法,从经典极值理论;两个重要性抽样技术,系谱粒子分析(GPA)和Giardina-Kurchan-Lecomte-Taillem(GKLT)算法;以及蛮力蒙特卡罗(MC)。利用这些技术,我们估计了三种动力学模型中罕见事件的概率:Ornstein-Uhlenbeck过程,Lorenz '96系统和PlaSim(气候模型)。我们保持计算工作量不变,看看每种技术的罕见事件概率估计与长期控制提供的黄金标准相比有多好。令人惊讶的是,我们发现经典的极值理论方法优于GPA,GKLT和MC在估计罕见事件。
2020-05-11 stat.ME
Multilevel Sequential Importance Sampling for Rare Event Estimation
稀有事件发生概率的估计是可靠性和风险评估中的一项重要任务。我们考虑的故障事件表示的极限状态函数,这取决于一个偏微分方程(PDE)的解决方案。由于偏微分方程的数值计算是昂贵的,估计这样的概率的失败,蒙特卡罗抽样是棘手的。可靠性分析中更有效的抽样方法,如子集模拟,很受欢迎,但如果PDE评估成本很高,则仍然不可行。在这篇文章中,我们开发了一种新的,高效的估计罕见事件的概率。我们的方法是基于序贯重要性采样器使用离散化的PDE为基础的极限状态函数具有不同的精度。一个双重的自适应算法,确保我们得到一个估计的基础上所需的离散化精度。与[Ullmann,Papaioannou 2015; SIAM/ASA J. Uncertain.数量。3(1):922-953],我们的估计克服了嵌套问题。在顺序重要性采样算法中,特别重要的是正确选择MCMC内核。而不是流行的自适应条件采样方法,我们提出了一种新的算法,使用独立的建议,从自适应构造的冯Mises-Fischer-Nakagami分布。该算法分别应用于1D和2D空间中的测试问题,并与多级子集模拟估计量和单级版本的序贯重要性抽样和子集模拟进行比较。
2020-03-29 cs.NA math.NA stat.CO
Importance Sampling for multi-constraints rare event probability
改进罕见事件概率的重要抽样估计量需要最佳密度的精确近似,从而得到接近零方差的估计量。本文提出了一种新的方法来处理定义为子集的有限交的罕见事件的概率估计。我们提供了一个尖锐的近似的密度的长期运行的随机游动条件下的倍数的限制,其中每个定义的平均值的函数的被加数,因为它们的数量趋于无穷大。
2014-01-14 math.ST stat.TH
A subset multicanonical Monte Carlo method for simulating rare failure events
Jimei University(集美大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种结合子集模拟和多canonical蒙特卡洛方法的算法,用于高效估计极小故障概率,提升采样效率并提供更多信息。
2016-12-21 cs.NA math.NA stat.CO
Exact and efficient simulation of tail probabilities of heavy-tailed infinite series
当随机变量$X_n$是重尾的时,我们提出了一种计算无穷级数$S = \sum_{n \geq 1} a_n X_n$尾概率的有效模拟算法.由于$S$是无限多个随机变量的和,因此任何仅模拟固定的、无限多个随机变量后停止的模拟算法都可能引入偏差。我们克服了这一挑战,通过重写尾概率的利益作为一个随机数的伸缩项的总和,并随后开发条件蒙特卡洛为基础的低方差模拟估计每个伸缩项。由此产生的算法被证明导致估计,a)没有偏见,和b)只需要一个固定的,有限数量的重复,无论如何罕见的尾部概率的兴趣。因此,通过结合传统的方差减少技术,如条件蒙特卡罗与最近使用的辅助随机化,以消除偏见的多级类型表示,我们开发了一个有效的和无偏的模拟算法的尾部概率$S$。这些有许多应用,包括在金融时间序列和随机递归方程的精算风险和人口生物学模型中产生的分析。
2016-09-07 math.PR stat.CO
Rare event probability estimation for groundwater inverse problems with a two-stage Sequential Monte Carlo approach
针对地下水贝叶斯反演后的稀有事件概率估计,本文提出两阶段 PostRisk-SMC,结合后验粒子近似与子集抽样,以更低计算成本获得更稳定准确的十亿分之一级概率估计。
2024-01-24 stat.AP
On Computer-Intensive Simulation and Estimation Methods for Rare Event Analysis in Epidemic Models
本文的重点是,在流行病模型的背景下,从公共卫生的角度来看,可能对应于危机情况的罕见事件。一般来说,没有密切的分析形式,其发生概率是可用的和原油蒙特卡洛程序失败。我们展示了最近密集的计算机模拟技术,如相互作用的分支粒子方法,可以用于估计的目的,以及生成模型路径,对应于实现这样的事件。这些模拟为基础的方法,几个流行病模型的应用程序也被认为是和深入讨论。
2013-08-27 math.ST stat.AP stat.TH
Rare event simulation for processes generated via stochastic fixed point equations
在许多应用中,特别是在金融和精算数学中,人们感兴趣的是表征随机变量$V$满足分布方程$V\stackrel{\mathcal{D}}{=}f(V)$的尾部分布,其中$f(v)=A\max\{v,D\}+B$为$(A,B,D)\in(0,\infty)\times {\mathbb{R}}^2$。本文关注的是计算方法来评估这些尾部概率。我们介绍了一种新的重要性抽样算法,涉及指数移动在一个随机的时间间隔,估计这些罕见的事件概率。我们证明了所提出的估计是:(i)一致的,(ii)强有效的和(iii)最优的一类动态重要性抽样估计。此外,使用扩展的想法,从非线性更新理论,我们提供了一个精确的描述的算法的运行时间。为了建立这些结果,我们开发了新的技术,关于停止的永恒序列的时刻的收敛性,以及相关的马尔可夫链的第一个入口和最后一个出口时间$\mathbb{R}$。我们用各种数值例子说明我们的方法,这些例子证明了实施的容易性和范围。
2014-07-03 math.PR math.ST stat.TH
Rare event simulation for multiscale diffusions in random environments
考虑多尺度小噪声随机微分方程系统,假定方程系数为遍历平稳随机场。我们的目标是构建可证明有效的重要性抽样蒙特卡罗方法,允许有效的计算罕见事件的概率或期望的泛函,可以与罕见事件。标准蒙特卡罗算法在小噪声限制下表现不佳,因此快速模拟算法变得相关。多尺度的存在使有效的重要性抽样方案的设计和分析变得复杂。另一个复杂因素是环境的随机性。我们构造明确的变化的措施,被证明是对数渐近有效的概率为1相对于随机环境(即,在淬火的意义上)。数值模拟支持理论结果。
2015-09-28 math.PR stat.ME
Large deviation theory-based adaptive importance sampling for rare events in high dimensions
我们提出了一种方法,精确估计罕见事件或故障概率昂贵的评估数值模型在高维。该方法结合了大偏差理论和自适应重要性抽样的思想。重要性采样器使用交叉熵方法来找到最佳的高斯偏置分布,并重新使用整个过程中的所有样本,用于目标概率估计和更新偏置分布。大偏差理论用于通过优化问题的解来找到一个好的初始偏置分布。此外,它是用来确定一个低维的子空间,是最有用的罕见事件的概率。该子空间用于交叉熵方法,已知交叉熵方法在高维中会失去效率。所提出的方法不需要平滑的指示函数,也不涉及数值调整参数。我们比较的方法与最先进的交叉熵为基础的重要性抽样计划使用三个例子:高维故障概率估计基准,扩散方程的问题,海啸问题的时间依赖性浅水系统在一个空间维度。
2023-03-26 cs.NA math.NA math.OC
Active Learning with Multifidelity Modeling for Efficient Rare Event Simulation
Idaho National Laboratory(爱达荷国家实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
虽然多保真度建模提供了一种具有成本效益的方法来进行不确定性量化计算昂贵的模型,更大的效率可以通过自适应地决定所需的高保真度(HF)模拟的数量,这取决于问题的类型和复杂性,以及所需的精度的结果。我们提出了一个框架,主动学习与多保真度建模强调稀有事件的有效估计。我们的框架通过将低保真(LF)预测与HF推断的校正融合,过滤校正的LF预测以决定是否调用高保真模型,并为增强后续准确性,在每次HF模型调用后调整LF预测的校正。该框架没有对LF模型类型或其与HF模型的相关性做出任何假设。此外,为了提高鲁棒性时,估计较小的故障概率,我们建议使用动态主动学习功能,决定何时调用HF模型。我们证明了我们的框架,使用几个学术案例研究和两个有限元(FE)模型的案例研究:估计Navier-Stokes速度使用斯托克斯近似和估计应力的横向各向同性模型进行位移通过一个粗网格各向同性模型。在这些案例研究中,所提出的框架不仅准确地估计了故障概率,而且与蒙特卡罗或标准方差缩减方法相比,它只需要调用HF模型的一小部分。
2021-06-25 cs.LG stat.AP stat.ML
Rare Event Probability Learning by Normalizing Flows
Mila – Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
本文提出NOFIS方法,利用归一化流学习嵌套提议分布并结合重要性采样,高效估计稀有事件概率,在10个测试用例上优于基线方法。
2023-10-29 cs.AI cs.LG stat.ML
Analysis of a Splitting Estimator for Rare Event Probabilities in Jackson Networks
我们考虑一个标准的分裂算法的罕见事件模拟的溢出概率在杰克逊网络中的任何子集的站在水平n,从一个固定的初始位置。在DeanDup 09中表明,Isaacs方程的子解保证了函数求值的次指数数量(以n为单位)足以在给定的相对精度内估计这种溢出概率。这里我们的分析表明,实际上O(n^{2β+1})函数求值足以达到给定的相对精度,其中β是网络中瓶颈站的数量。这是第一个严格的分析,允许有利地比较分裂直接计算的溢出概率的利益,这可以通过求解一个线性系方程O(n^{d})变量进行评估。
2010-07-28 cs.CE math.PR stat.CO
Error analysis for probabilities of rare events with approximate models
稀有事件发生概率的估计是可靠性和风险评估中的一项重要任务。我们考虑的故障事件表示的极限状态函数,这取决于一个偏微分方程(PDE)的解决方案。在许多应用中,PDE不能解析求解。我们只能估计精确偏微分方程解的近似值。因此,罕见事件的概率估计相对于极限状态函数的近似。这导致在估计罕见事件的概率时出现近似误差。事实上,我们证明了一个误差界的近似误差的故障概率,这表现得像离散精度的PDE乘以近似的故障概率,一阶可靠性方法(FORM)的估计。这个界限要求失效域的凸性。对于非凸失效域,我们证明了FORM估计的相对误差的误差界。因此,我们推导出罕见事件估计的概率所需的精度和PDE离散化水平之间的关系。这种关系可以用来指导实用的可靠性分析,例如,多层方法。
2021-06-18 cs.NA math.NA stat.CO
Rare event computation in deterministic chaotic systems using genealogical particle analysis
在本文中,我们解决了使用罕见事件计算技术来估计小的超阈值概率的可观测的确定性动力系统。我们证明了系谱粒子分析算法可以成功地应用到玩具模型的大气动力学,洛伦兹'96模式。此外,我们使用Ornstein-Uhlenbeck系统来说明一些实施问题。我们还展示了如何依赖于时间的目标函数的波动路径的基础上的高阈值可以大大提高性能的估计相比,固定的时间目标函数。
2016-06-20 cond-mat.stat-mech stat.CO
Subset Simulation Method for Rare Event Estimation: An Introduction
本文提供了一个详细的介绍性描述子集模拟,一个先进的随机模拟方法估计罕见的故障事件的小概率。给出了该方法的一个简单直观的推导过程,并讨论了其实现方法。用几个易于理解的例子说明了该方法。为了演示的目的,所考虑的例子的MATLAB代码提供。假定读者只熟悉基本的概率论和统计学。
2015-05-13 stat.AP stat.CO
Rare event estimation using stochastic spectral embedding
ETH Zurich(苏黎世联邦理工学院);Technical University Munich(慕尼黑工业大学)
罕见失效事件的概率估计是工程系统可靠性评估中的一个重要步骤。计算这种复杂的非线性系统的故障概率是具有挑战性的,最近刺激了主动学习可靠性方法的发展。这些方法近似的极限状态函数(LSF)使用代理模型训练的模型评估的顺序丰富的集合。最近提出的方法称为随机谱嵌入(SSE)的目的是提高局部逼近精度的全球,光谱替代建模技术,依次嵌入局部残差扩展的输入空间的子域。在这项工作中,我们应用SSE的LSF,从而产生一个随机谱嵌入为基础的可靠性(SSER)方法。由此产生的输入空间的分区分解成一组易于计算的\rev{conditional}故障概率的故障概率。我们提出了一组修改,定制的算法,以有效地解决罕见事件估计问题。这些修改包括专门的细化域选择,分区和富集策略。我们展示了算法的性能在四个基准问题的各种维度和复杂性的LSF。
2022-02-09 cs.LG stat.CO stat.ME