Adaptive reduced tempering For Bayesian inverse problems and rare event simulation
本文提出一种自适应序贯蒙特卡洛算法，通过熵准则将代理模型精度与最大逆温度关联，同时调整似然近似与后验退火方案，用于解决似然评估代价高昂的贝叶斯反问题和稀有事件模拟，实验表明在可比精度下成本降低近10倍。
2025-08-25 stat.CO
A reproducible comparative study of categorical kernels for Gaussian process regression, with new clustering-based nested kernels
Safran Tech, Digital Sciences \& Technologies, 78114 Magny-Les-Hameaux, France；Centre de Mathématiques Appliquées, Ecole polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France；Univ Rennes, Ensai, CNRS, CREST - UMR 9194, F-35000 Rennes, France
该研究针对高斯过程回归中分类核设计难、现有研究缺乏可复现性的问题，开展多测试用例可复现比较，提出新评估指标与基于聚类的嵌套核策略，在多数据集上实现更优性能与低计算成本。
2025-10-02 cs.LG stat.ML
MOOSE ProbML: Parallelized Probabilistic Machine Learning and Uncertainty Quantification for Computational Energy Applications
本文在MOOSE平台中集成多种概率机器学习与不确定性量化算法，实现并行化能力，并通过五个计算能源应用案例验证其有效性。
2025-04-23 stat.AP
Demonstration of the Relationship between Sensitivity and Identifiability for Inverse Uncertainty Quantification
逆不确定性量化（UQ）或贝叶斯校准是基于实验数据量化随机输入参数的不确定性的过程。模型偏差项的引入是有意义的，因为理论上可以避免“过拟合”。但在实际应用中也面临挑战。其中一个最受关注和尚未解决的问题是“缺乏可识别性”问题。由于模型偏差的存在，逆UQ变得“不可识别”，在这个意义上，它是很难精确区分参数的不确定性和模型偏差时估计的校准参数。以前的研究，以减轻不可识别性问题集中在使用信息先验的校准参数和模型的差异，这通常是不可行的解决方案，因为很少有这样的准确和翔实的先验知识。在这项工作中，我们表明，可识别性在很大程度上是相关的灵敏度的校准参数方面所选择的响应。我们采用了一种改进的模块化贝叶斯方法的逆UQ，不需要先验的模型差异项。通过核工程中的一个实例，论证了灵敏度与可辨识性之间的关系。结果表明，为了使某个校准参数是统计上可识别的，它应该是显着的至少一个响应，其数据用于逆UQ。如果某个校准参数对任何响应都不显著，则该校准参数无法实现良好的可识别性。它还表明，“假可识别性”是可能的，如果模型响应没有适当地选择，或不准确，但信息先验指定。
2018-01-31 stat.AP
Sensitivity Analysis on Interaction Effects of Policy-Augmented Bayesian Networks
本文针对策略增强贝叶斯网络提出基于 ShapleyOwen 指数的交互效应度量方法，并开发序贯抽样非嵌套模拟算法以在固定预算下提升估计精度和计算效率。
2024-11-23 stat.CO stat.ME
BIMC: The Bayesian Inverse Monte Carlo method for goal-oriented uncertainty quantification. Part II
在本文的第一部分（arXiv：1911.00619）中，我们提出了一种重要性抽样算法来计算前向不确定性量化问题中的稀有事件概率。该算法，我们称之为“贝叶斯逆蒙特卡罗（BIMC）方法”，被证明是最佳的问题，其中的输入输出算子是近线性的。但是，将原始BIMC应用于高度非线性系统可能会导致几种不同的故障模式。在本文中，我们修改的BIMC方法，以扩大其适用范围更广泛的系统。改进的算法，我们称之为“自适应BIMC（A-BIMC）”，有两个阶段。在第一阶段，我们解决了一系列的优化问题，以粗略地确定那些区域的参数空间触发的罕见事件。在第二阶段中，我们使用第一阶段的结果来构建高斯混合，然后可以在重要性抽样算法中使用该高斯混合来估计罕见事件的概率。我们建议使用本地代理，最大限度地减少昂贵的向前解决。A-BIMC的有效性证明通过几个合成的例子。再一次，修改后的算法容易失败。我们系统地确定条件下，它不能导致一个有效的重要性抽样分布。
2019-11-05 stat.CO
Gaussian process emulation for discontinuous response surfaces with applications for cardiac electrophysiology models
生物系统的数学模型开始用于安全关键应用，其中需要大量重复的模型评估来执行不确定性量化和敏感性分析。这些模型中的大多数在变量和参数/输入方面都是非线性的，这有两个后果。首先，解析解是很少可用的，因此通过数值求解微分方程来重复评估这些模型会带来显着的计算负担。第二，许多模型在参数变化时会发生行为分叉。因此，当我们改变参数值并在参数/输入空间中移动时，仿真输出通常包含不连续性。统计仿真器，如高斯过程，经常被用来减少不确定性量化的计算成本，但不连续性使标准的高斯过程仿真方法不合适，因为这些仿真器假设一个平滑和连续的响应参数值的变化。在这篇文章中，我们提出了一种新的两步方法来建立一个高斯过程仿真模型与不连续的响应面。我们首先使用一个高斯过程分类器来检测边界的不连续性，然后约束这些边界内的响应面的高斯过程仿真。我们引入了一种新的“确定性度量”来指导多类概率分类器的主动学习。我们将新的分类器应用于心脏电生理模型上的药物作用模拟，将药物作用的不确定性传播到心脏动作电位变化的预测。所提出的两步主动学习方法显着降低了仿真模型，经历多个分叉的计算成本。
2018-05-25 stat.CO
Solutions to Multilevel Sparse Matrix Problems
我们定义和解决类的稀疏矩阵的问题，出现在多级建模和数据分析。类的索引的嵌套单元的数量，与两个级别的问题对应的常见情况下，在一个两个水平结构内的数据分组1单位。我们为两级和三级问题提供了完整的解决方案，它们的衍生物为具有挑战性的问题提供了蓝图，尽管在应用程序中更罕见，更高级别的问题版本。虽然我们的线性系的解决方案是一个简洁的重铸现有的结果，我们的矩阵逆子块的结果是新颖的，便于简化计算的标准误差在频率推断，以及允许精简的平均场变分贝叶斯推断模型包含更高级别的随机效应。
2020-03-12 math.ST stat.TH
Split Sampling: Expectations, Normalisation and Rare Events
在本文中，我们开发了一种方法，我们称之为分裂抽样方法来估计高维期望和罕见事件的概率。分裂抽样使用辅助变量MCMC模拟，并将感兴趣的期望表达为一组完整的罕见事件概率。我们从一个边缘辅助变量分布的Rao-Blackwellised估计得到我们的估计。我们说明我们的方法与两个应用程序。首先，我们计算一个最短的网络路径罕见事件的概率，并比较我们的方法估计交叉熵的方法。然后，我们计算一个高维高斯混合的归一化常数，并将我们的估计值与基于嵌套采样的估计值进行比较。我们讨论了我们的方法和其他替代品，如产品的条件概率估计和重要性抽样之间的关系。这里开发的方法在R包中可用：SplitSampling。
2013-10-31 stat.CO
A Unifying Perspective on Non-Stationary Kernels for Deeper Gaussian Processes
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Rice University（莱斯大学）
本文从统一视角系统梳理高斯过程非平稳核的常见形式，通过代表性数据集比较其性质与性能，并提出一种融合现有核优势的新核。
2024-09-30 cs.LG math.PR stat.ML
A Direct Importance Sampling-based Framework for Rare Event Uncertainty Quantification in Non-Gaussian Spaces
本文提出基于 ASTPA 与 QNp-HMCMC 的直接重要性采样框架，用于高维非高斯空间的罕见事件概率估计，并证明估计量无偏及采样收敛性。
2025-01-08 stat.AP stat.CO stat.ME
Disentangling Latent Risk Pathways via Bayesian Hypergraph Inference
University of Science and Technology of China（中国科学技术大学）
提出贝叶斯超图推断框架，通过风险因子调节的潜在疾病路径建模多疾病，实现可解释的高阶结构、校准的不确定性估计和罕见病改进预测。
2026-06-04 cs.LG stat.AP stat.ME
The Role of Uncertainty in Assessing the Fairness of Machine Learning Models
Università della Svizzera Italiana (USI)（瑞士意大利语区大学）
本文探讨机器学习模型公平性评估中的不确定性量化，提出频率派和贝叶斯方法，并通过模拟和真实数据示例展示其应用与影响。
2026-09-09 cs.LG stat.ME stat.ML
HiBayES: A Hierarchical Bayesian Modeling Framework for AI Evaluation Statistics
UK AI Security Institute（英国人工智能安全研究所）
针对AI评估的高成本与分层复杂性，提出分层贝叶斯建模框架HiBayES，基于广义线性模型实现稳健的不确定性量化与参数估计，尤其适用于低数据场景，并提供配套软件包。
2025-07-13 cs.AI stat.AP
Rare Event Simulation
罕见事件是指预期不经常发生的事件，或者更严格地说，根据概率模型，发生概率较低（例如，$10^{-3}$或更低）的事件。在不确定性量化的背景下，罕见事件通常对应于设计用于高可靠性的系统的故障，这意味着系统性能未能满足某些设计或操作规范。正如本节所述，计算这种罕见事件的概率是具有挑战性的。对于非平凡的问题，通常没有解析解，并且标准的蒙特卡罗模拟在计算上是低效的。因此，许多研究工作都集中在开发先进的随机模拟方法，更有效。在这一节中，我们将讨论通过蒙特卡罗模拟、重要性抽样和子集模拟来估计高可靠动态系统的罕见事件概率的问题。
2015-08-20 stat.AP stat.CO
BIMC: The Bayesian Inverse Monte Carlo method for goal-oriented uncertainty quantification. Part I
我们考虑的问题估计罕见事件的概率，专注于系统的演化是由微分方程与不确定的输入参数。如果系统动力学的计算成本很高，则标准采样算法（如蒙特卡罗方法）可能需要不可行的运行时间来准确评估这些概率。我们提出了一个重要性抽样计划（我们称之为BIMC），依赖于解决一个辅助，虚构的贝叶斯逆问题。逆问题的解决方案产生后验PDF，一个局部高斯近似，其作为重要性抽样密度。我们应用BIMC的几个问题，并证明它可以导致计算节省了几个数量级的蒙特卡罗方法。我们描绘的条件下，BIMC是最佳的，以及当它不能产生一个有效的IS密度的条件。
2019-11-02 stat.CO stat.ME
Moving Particles: a parallel optimal Multilevel Splitting method with application in quantiles estimation and meta-model based algorithms
考虑估计小概率p的问题，即。测量稀有域F = {x| g（x）> q}，多级分裂策略（也称为子集模拟）旨在将F写为不太罕见的事件（嵌套子集）的交集，使得它们的度量有条件地容易计算。然而，嵌套子集的适当序列的定义仍然是一个悬而未决的问题。我们在这里介绍一种新的方法来多级分裂方法的粒子在输入空间中的移动。这使我们能够得到两个主要结果：（1）在F中实现X所需的样本数量大大减少，遵循参数为log 1/p的泊松定律（与朴素蒙特卡罗的1/p相比）;（2）我们得到了一个并行的最佳多级分裂算法，其中确实没有更多的子集可以定义。我们还将结果（1）应用于分位数估计中，产生了一个新的并行算法，并导出了一个新的策略，用于构建基于元模型的算法中的第一次实验设计。
2014-05-12 stat.CO
Point Process-based Monte Carlo estimation
本文讨论了估计实值随机变量$X = g(\mathbf{U})$的期望值的问题，其中$g$是一个确定性的功能和$\mathbf{U}$可以是一个随机的有限或无限维向量。利用最近的研究成果，罕见事件模拟，我们提出了一个统一的框架来处理这类随机变量的概率和均值估计，\emph{i.e.}链接算法，如Tootsie Pop算法（TPA）或最后粒子算法与嵌套采样。特别地，它扩展了嵌套抽样如下：首先随机变量$X$不再需要有界：它给出了具有无限项的理想估计量的原理，该估计量是无偏的，并且总是优于经典的Monte Carlo估计量-特别地，只要存在$k \in \mathbb{R} > 1$使得$\operatorname{E}[X^k] < \infty$，它就具有有限方差。此外，我们解决的嵌套采样终止的问题，并表明，随机截断的总和可以保持无偏性，而增加的方差只有一个因素，最多2相比，理想的情况下。我们还建立了一个无偏估计与固定的计算预算，它支持一个中心极限定理，并讨论了嵌套抽样的并行实现，这可以显着降低其计算成本。最后，我们深入研究了$X$是重尾的情况。
2015-09-09 cs.CE stat.CO
Multilevel Sequential Importance Sampling for Rare Event Estimation
稀有事件发生概率的估计是可靠性和风险评估中的一项重要任务。我们考虑的故障事件表示的极限状态函数，这取决于一个偏微分方程（PDE）的解决方案。由于偏微分方程的数值计算是昂贵的，估计这样的概率的失败，蒙特卡罗抽样是棘手的。可靠性分析中更有效的抽样方法，如子集模拟，很受欢迎，但如果PDE评估成本很高，则仍然不可行。在这篇文章中，我们开发了一种新的，高效的估计罕见事件的概率。我们的方法是基于序贯重要性采样器使用离散化的PDE为基础的极限状态函数具有不同的精度。一个双重的自适应算法，确保我们得到一个估计的基础上所需的离散化精度。与[Ullmann，Papaioannou 2015; SIAM/ASA J. Uncertain.数量。3（1）：922-953]，我们的估计克服了嵌套问题。在顺序重要性采样算法中，特别重要的是正确选择MCMC内核。而不是流行的自适应条件采样方法，我们提出了一种新的算法，使用独立的建议，从自适应构造的冯Mises-Fischer-Nakagami分布。该算法分别应用于1D和2D空间中的测试问题，并与多级子集模拟估计量和单级版本的序贯重要性抽样和子集模拟进行比较。
2020-03-29 cs.NA math.NA stat.CO
