Rare Event Simulation
罕见事件是指预期不经常发生的事件,或者更严格地说,根据概率模型,发生概率较低(例如,$10^{-3}$或更低)的事件。在不确定性量化的背景下,罕见事件通常对应于设计用于高可靠性的系统的故障,这意味着系统性能未能满足某些设计或操作规范。正如本节所述,计算这种罕见事件的概率是具有挑战性的。对于非平凡的问题,通常没有解析解,并且标准的蒙特卡罗模拟在计算上是低效的。因此,许多研究工作都集中在开发先进的随机模拟方法,更有效。在这一节中,我们将讨论通过蒙特卡罗模拟、重要性抽样和子集模拟来估计高可靠动态系统的罕见事件概率的问题。
2015-08-20 stat.AP stat.CO
Markov chain Monte Carlo for computing rare-event probabilities for a heavy-tailed random walk
本文提出了一种基于马尔可夫链蒙特卡罗(MCMC)算法的计算罕见事件概率的方法。给定稀有事件发生的基本过程的条件分布以稀有事件的概率作为其归一化常数。利用MCMC方法模拟了一个马尔可夫链,将该条件分布作为其不变分布,并从其轨迹中提取了关于归一化常数的信息。该算法被描述在充分的一般性和应用的问题计算的概率,一个重尾随机游动超过一个高阈值。构造了倒概率的一个无偏估计,其归一化方差渐近为零。该算法被扩展到随机和其性能的数值说明,并与现有的重要性抽样算法。
2012-11-09 math.PR stat.CO
A Flow-Based Generative Model for Rare-Event Simulation
The University of Queensland(昆士兰大学)
本文提出基于归一化流生成模型的条件采样方法,结合重要性采样,高效模拟稀有事件并精确估计复杂期望,适用于高维场景。
2023-05-13 cs.LG stat.CO stat.ML
Wasserstein Distributionally Robust Rare-Event Simulation
The Chinese University of Hong Kong(香港中文大学);Huawei Hong Kong Research Center(华为香港研究中心)
本文提出了一种基于Wasserstein模糊集的分布鲁棒重要性采样方法,用于高效估计存在分布不确定性下的稀有事件概率,实现了最优的误差收敛性。
2026-01-04 q-fin.CP stat.CO stat.ME
Importance Sampling for rare events and conditioned random walks
本文介绍了一种新的重要性抽样方案,称为自适应扭曲重要性抽样,它适用于在与实际独立同分布经验均值有关的中等偏差范围内改进稀有事件概率的估计。summands。它是基于从随机游动中提取的长游程密度的尖锐近似,该随机游动以其端点值为条件。
2009-10-09 math.PR math.ST stat.CO
Analysis and Simulation of Extremes and Rare Events in Complex Systems
罕见的天气和气候事件,如热浪和洪水,可能带来巨大的社会成本。气候数据的持续时间和空间覆盖范围往往有限,气候预测往往转向气候模型的模拟,以便更好地预测罕见的天气事件。然而,为了获得准确的概率估计,复杂模型的非常长的模拟可能慢得令人望而却步。发展概率和动力学技术,从有限的数据中准确地估计罕见事件的概率是一个重要的科学问题。在本文中,我们比较了四个现代方法估计罕见事件的概率:广义极值(GEV)的方法,从经典极值理论;两个重要性抽样技术,系谱粒子分析(GPA)和Giardina-Kurchan-Lecomte-Taillem(GKLT)算法;以及蛮力蒙特卡罗(MC)。利用这些技术,我们估计了三种动力学模型中罕见事件的概率:Ornstein-Uhlenbeck过程,Lorenz '96系统和PlaSim(气候模型)。我们保持计算工作量不变,看看每种技术的罕见事件概率估计与长期控制提供的黄金标准相比有多好。令人惊讶的是,我们发现经典的极值理论方法优于GPA,GKLT和MC在估计罕见事件。
2020-05-11 stat.ME
Importance sampling the union of rare events with an application to power systems analysis
我们考虑重要性抽样来估计由随机变量$\boldsymbol{x}$定义的$J$罕见事件$H_j$的联合的概率$μ$。我们研究的采样器已经被用于空间统计,基因组学和组合学,至少可以追溯到Karp和Luby(1983)。它的工作原理是随机采样一个事件,然后采样$\boldsymbol{x}$有条件的事件发生,它构建了一个无偏估计$μ$的发生事件的数量乘以联合界的倒数矩。我们证明了该采样器的一些方差界。对于$n$的样本量,其方差不大于$μ(\barμ-μ)/n$,其中$\barμ$为联合界。无论$J$事件之间的重叠模式如何,其变异系数也不大于$\sqrt{(J+J^{-1}-2)/(4n)}$。我们的激励问题来自电力系统的可靠性,其中连接的节点之间的相位差有一个联合高斯分布和$J$罕见的事件产生不可接受的大相位差。在网格可靠性问题中,即使是由$326$维中的$5772$约束定义的概率低于$10^{-22}$的一些事件,也可以用仅具有$n=10{,}000$样本值的约$0.0024$的变异系数来估计。
2018-12-19 cs.NA math.NA stat.CO
Rare event simulation for electronic circuit design
在这项工作中,我们提出了一个算法来模拟电子电路设计的罕见事件。我们的方法在很大程度上依赖于重要性抽样的巧妙使用,这使我们能够处理10 - 10级的概率。我们不仅可以计算非常罕见的违约概率,还可以计算与给定违约概率及其预期缺口相关的分位数。我们展示了令人印象深刻的效率的方法对实际电路。
2021-09-17 math.PR stat.AP
Importance Sampling for multi-constraints rare event probability
改进罕见事件概率的重要抽样估计量需要最佳密度的精确近似,从而得到接近零方差的估计量。本文提出了一种新的方法来处理定义为子集的有限交的罕见事件的概率估计。我们提供了一个尖锐的近似的密度的长期运行的随机游动条件下的倍数的限制,其中每个定义的平均值的函数的被加数,因为它们的数量趋于无穷大。
2014-01-14 math.ST stat.TH
Accelerated Weight Histogram Method for Rare Event Simulations
本文描述了一种自适应的马尔可夫链蒙特卡罗方法,适用于复杂概率模型中罕见失效概率的估计。这种方法,即加速权重直方图(AWH)方法,起源于统计物理学(Lidmar,2012),并已成功应用于生物物理学中的分子动力学模拟。在这里,我们介绍它的背景下,结构可靠性和证明其有用的计算故障概率在一些选定的问题的复杂程度不同,并比较与其他既定的技术,例如,子集模拟
2022-10-26 cond-mat.dis-nn cs.CE physics.comp-ph
Rare event simulation via importance sampling for linear SPDE's
本文的目的是发展可证明有效的重要抽样蒙特卡罗方法估计的罕见事件类线性随机偏微分方程(SPDE)。我们发现,如果存在一个适当大小的谱隙,那么人们可以确定一个低维流形的罕见事件发生。这允许建立测量的重要性采样变化,其甚至在渐近前(即对于小但非零大小的噪声)也可证明表现良好,而不会由于无限维度或由于长的模拟时间范围而降低性能。仿真研究补充和说明的理论结果。
2017-05-04 math.OC math.PR stat.ME
Certifiable Deep Importance Sampling for Rare-Event Simulation of Black-Box Systems
罕见事件模拟技术,如重要性抽样(IS),构成了强大的工具,以加快具有挑战性的估计罕见的灾难性事件。这些技术通常利用对底层系统结构的知识和分析来赋予期望的效率保证。然而,黑盒问题,特别是最近由人工智能驱动的物理系统的安全关键应用所产生的问题,可能从根本上破坏其效率保证,并导致危险的低估而没有诊断检测。我们提出了一个框架,称为深概率加速评估(深PrAE)设计统计保证的是,通过转换黑盒采样器,是通用的,但可能缺乏保证,到一个我们称之为一个宽松的效率证书,允许准确估计的罕见事件概率的界限。我们提出了Deep-PrAE理论,该理论通过深度神经网络分类器将主导点概念与罕见事件集学习相结合,并在包括智能驾驶算法的安全测试在内的数值示例中证明了其有效性。
2021-11-03 stat.ME stat.ML
On Computer-Intensive Simulation and Estimation Methods for Rare Event Analysis in Epidemic Models
本文的重点是,在流行病模型的背景下,从公共卫生的角度来看,可能对应于危机情况的罕见事件。一般来说,没有密切的分析形式,其发生概率是可用的和原油蒙特卡洛程序失败。我们展示了最近密集的计算机模拟技术,如相互作用的分支粒子方法,可以用于估计的目的,以及生成模型路径,对应于实现这样的事件。这些模拟为基础的方法,几个流行病模型的应用程序也被认为是和深入讨论。
2013-08-27 math.ST stat.AP stat.TH
Steering Diffusion Models to Rare Events with Sequential Monte Carlo
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出DireSMC,一种序贯蒙特卡洛方法,引导扩散模型中的加权样本至稀有事件,提供概率校准估计,并在玩具问题和气候模拟器上验证,实现9至1413倍加速。
2026-10-15 cs.LG stat.ML
Deep Probabilistic Accelerated Evaluation: A Robust Certifiable Rare-Event Simulation Methodology for Black-Box Safety-Critical Systems
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
评估智能物理系统对罕见安全关键事件的可靠性对现实世界的应用造成了巨大的测试负担。仿真提供了一个有用的平台,以评估这些系统的极端风险之前,他们的部署。重要性采样(IS),虽然被证明是强大的罕见事件模拟,面临着挑战,在处理这些基于学习的系统,由于其黑盒性质,从根本上破坏了其效率保证,这可能会导致低估没有诊断检测。我们提出了一个框架,称为深概率加速评估(深PrAE)设计统计保证的是,通过转换黑盒采样器,是通用的,但可能缺乏保证,到一个我们称之为一个宽松的效率证书,允许准确估计的安全关键事件概率的界限。我们提出了Deep-PrAE理论,该理论将主导点概念与通过深度神经网络分类器进行的稀有事件集学习相结合,并在包括智能驾驶算法的安全测试在内的数值示例中证明了其有效性。
2021-03-08 cs.LG stat.ML
Rare event simulation for multiscale diffusions in random environments
考虑多尺度小噪声随机微分方程系统,假定方程系数为遍历平稳随机场。我们的目标是构建可证明有效的重要性抽样蒙特卡罗方法,允许有效的计算罕见事件的概率或期望的泛函,可以与罕见事件。标准蒙特卡罗算法在小噪声限制下表现不佳,因此快速模拟算法变得相关。多尺度的存在使有效的重要性抽样方案的设计和分析变得复杂。另一个复杂因素是环境的随机性。我们构造明确的变化的措施,被证明是对数渐近有效的概率为1相对于随机环境(即,在淬火的意义上)。数值模拟支持理论结果。
2015-09-28 math.PR stat.ME
Rare-Event Estimation for Dynamic Fault Trees
文章描述了用于动态故障树估计的稀有事件蒙特卡罗模拟算法的开发和使用结果。对于故障树估计,通常使用分析方法(最小割集、马尔可夫链等),但对于具有动态门的复杂模型,则需要采用重要性抽样法与蒙特卡罗模拟相结合的方法。本文针对动态故障树的特点,提出了解决该问题的方法.假设故障是不可修复的,故障时间服从一般分布函数(可能是指数分布、威布尔分布、正态分布和对数正态分布等)。提出了重要性抽样重算的表达式,并考虑了一些数值结果
2016-01-24 cs.CE stat.AP
Rare event probability estimation for groundwater inverse problems with a two-stage Sequential Monte Carlo approach
针对地下水贝叶斯反演后的稀有事件概率估计,本文提出两阶段 PostRisk-SMC,结合后验粒子近似与子集抽样,以更低计算成本获得更稳定准确的十亿分之一级概率估计。
2024-01-24 stat.AP
Rare Event Probability Learning by Normalizing Flows
Mila – Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
本文提出NOFIS方法,利用归一化流学习嵌套提议分布并结合重要性采样,高效估计稀有事件概率,在10个测试用例上优于基线方法。
2023-10-29 cs.AI cs.LG stat.ML
Rare event computation in deterministic chaotic systems using genealogical particle analysis
在本文中,我们解决了使用罕见事件计算技术来估计小的超阈值概率的可观测的确定性动力系统。我们证明了系谱粒子分析算法可以成功地应用到玩具模型的大气动力学,洛伦兹'96模式。此外,我们使用Ornstein-Uhlenbeck系统来说明一些实施问题。我们还展示了如何依赖于时间的目标函数的波动路径的基础上的高阈值可以大大提高性能的估计相比,固定的时间目标函数。
2016-06-20 cond-mat.stat-mech stat.CO
Unbiased simulation of rare events in continuous time
对于用马尔可夫过程描述的罕见事件,罕见事件概率的真正无偏估计通常需要避免马尔可夫过程的数值逼近。最近的工作,在精确和$\varepsilon$ -强模拟扩散,它可以用来几乎肯定限制样品路径到一个给定的公差,建议一种方法来做到这一点。我们指定如何将这些算法与经典的多级分裂方法结合起来进行稀有事件模拟。这提供了所讨论的概率的无偏估计。我们讨论的实际可行性的算法参考现有的$\varepsilon$强的方法,并提供概念验证的数值例子。
2021-11-05 math.PR math.ST stat.CO
Subset Simulation Method for Rare Event Estimation: An Introduction
本文提供了一个详细的介绍性描述子集模拟,一个先进的随机模拟方法估计罕见的故障事件的小概率。给出了该方法的一个简单直观的推导过程,并讨论了其实现方法。用几个易于理解的例子说明了该方法。为了演示的目的,所考虑的例子的MATLAB代码提供。假定读者只熟悉基本的概率论和统计学。
2015-05-13 stat.AP stat.CO
Error analysis for probabilities of rare events with approximate models
稀有事件发生概率的估计是可靠性和风险评估中的一项重要任务。我们考虑的故障事件表示的极限状态函数,这取决于一个偏微分方程(PDE)的解决方案。在许多应用中,PDE不能解析求解。我们只能估计精确偏微分方程解的近似值。因此,罕见事件的概率估计相对于极限状态函数的近似。这导致在估计罕见事件的概率时出现近似误差。事实上,我们证明了一个误差界的近似误差的故障概率,这表现得像离散精度的PDE乘以近似的故障概率,一阶可靠性方法(FORM)的估计。这个界限要求失效域的凸性。对于非凸失效域,我们证明了FORM估计的相对误差的误差界。因此,我们推导出罕见事件估计的概率所需的精度和PDE离散化水平之间的关系。这种关系可以用来指导实用的可靠性分析,例如,多层方法。
2021-06-18 cs.NA math.NA stat.CO
AI-boosted rare event sampling to characterize extreme weather
LMD/IPSL, CNRS, ENS, Université PSL, École Polytechnique, Institut Polytechnique de Paris, Sorbonne Université(巴黎地球物理研究所/法国国家科学研究中心/巴黎高等师范学院/巴黎文理研究大学/巴黎综合理工学院/巴黎理工学院/索邦大学);Réseau de Transport d’Électricité (RTE)(法国电力电网);Department of the Geophysical Sciences, University of Chicago(芝加哥大学地球科学系);Courant Institute, New York University(纽约大学库朗数学科学研究所)
提出AI+RES框架,结合快速AI天气预报与高保真物理模型及稀有事件算法,高效表征极端事件,以两个数量级更低的计算成本研究千年一遇热浪的统计与物理机制。
2026-07-03 physics.ao-ph stat.CO stat.ML
Consensus-based rare event estimation
本文提出一种基于共识的自适应重要性采样算法用于稀有事件估计,通过McKean-Vlasov随机微分方程驱动的粒子系统近似最优采样密度,并引入自动参数更新与时间步长控制,实验表明其性能与序贯重要性采样和集合卡尔曼滤波等先进方法相当。
2023-04-18 cs.NA math.NA stat.CO