Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay(巴黎萨克雷大学);CEA LIST(法国原子能和替代能源委员会LIST研究所);CEA(法国原子能和替代能源委员会)
本文提出了一种多变量回归中的贝叶斯最后层模型,通过EM算法实现参数学习,能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Using Uncertainty Quantification to Characterize and Improve Out-of-Domain Learning for PDEs
Purdue Univ.(普渡大学);AWS AI Labs(AWS AI实验室);Caltech(加州理工学院);Amazon Search(亚马逊搜索部门);Amazon Supply Chain Optimization Technologies(亚马逊供应链优化技术部门)
针对神经算子在域外输入下不确定性量化失效的问题,本文提出DiverseNO与Operator-ProbConserv,利用多样化预测和校准的不确定性估计更新模型,提升PDE域外性能并满足物理守恒约束。
2024-06-12 cs.LG cs.NA math.NA
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech(弗吉尼亚理工大学)
本文研究具有可信不确定性量化的贝叶斯回归问题,提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes,刻画了概率下界与样本复杂度,并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
Bayesian Deep Convolutional Encoder-Decoder Networks for Surrogate Modeling and Uncertainty Quantification
University of Notre Dame(圣母大学)
我们感兴趣的是开发代理模型,用于不确定性量化和随机偏微分方程控制的问题的传播,使用深度卷积编码器-解码器网络,其方式与深度学习中考虑的图像到图像回归任务的方法类似。由于普通神经网络是数据密集型的,不能提供预测的不确定性,我们提出了一种卷积神经网络的贝叶斯方法。最近引入的基于Stein方法的变分梯度下降算法被扩展到深度卷积网络,以对数百万个不确定的网络参数执行近似贝叶斯推断。与贝叶斯神经网络中的其他方法以及包括高斯过程和集成方法的技术相比,即使当训练数据大小相对较小时,该方法也在预测准确性和不确定性量化方面实现了最先进的性能。为了评估这种方法的性能,我们考虑标准的不确定性量化基准问题,包括在有限的数据驱动的渗透率实现方面定义的非均匀介质中的流动。代理模型开发的性能是非常好的,即使有没有基本的结构之间共享的输入(渗透率)和输出(流量/压力)字段,通常是在计算机视觉问题中使用的图像到图像的回归模型的情况下。研究的基础随机输入维数高达$4,225$,其中大多数其他不确定性量化方法失败。不确定性传播任务被认为是预测输出贝叶斯统计相比,与蒙特卡洛估计。
2018-01-21 cs.CV cs.LG physics.comp-ph
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
提出了一种基于贝叶斯神经网络(BNN)和哈密顿蒙特卡罗(HMC)的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样,以量化系统中的不确定性。数值算例表明,在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果,计算成本几乎是独立的维度的问题,展示了潜在的方法,用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads
School of Engineering, Zurich University of Applied Sciences ZHAW(苏黎世应用科技大学工程学院);Faculty of Engineering and Physical Sciences, University of Southampton(南安普顿大学工程与物理科学学院);Federal Institute of Technology Zurich ETHZ(苏黎世联邦理工学院)
本文提出一种结合迁移学习的多保真贝叶斯神经网络,用于融合不同保真度气动数据并量化预测不确定性,实验表明其在跨音速气动载荷预测中优于 Co-Kriging。
2024-07-08 cs.CE cs.LG
Ensemble-based Uncertainty Quantification: Bayesian versus Credal Inference
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学)
区分和量化两种重要类型的不确定性(通常称为任意性和认知性)的想法在过去几年的机器学习研究中受到了越来越多的关注。在本文中,我们考虑基于集成的方法来量化不确定性。区分不同类型的不确定性感知的学习算法,我们特别关注贝叶斯方法和基于所谓的信任集的方法,这自然会从集成学习的角度提出自己。对于这两种方法,我们都解决了如何量化任意和认识不确定性的问题。在一个带有拒绝选项的分类问题的实证研究中,对相应措施的有效性进行了评估和比较。
2021-12-10 cs.LG
A Bayesian Multiscale Deep Learning Framework for Flows in Random Media
University of Notre Dame(圣母大学)
由多尺度偏微分方程(PDE)控制的复杂系统的细尺度模拟计算量很大,已经开发了各种多尺度方法来解决这些问题。此外,它是具有挑战性的开发精确的代理和不确定性量化模型的随机多尺度偏微分方程使用有限的训练数据的高维问题。在这项工作中,为了解决这些挑战,我们引入了一种新的混合深度学习和多尺度方法,用于训练数据有限的随机多尺度偏微分方程。为了演示的目的,我们专注于多孔介质流动问题。我们使用图像到图像的监督深度学习模型来学习输入渗透率场和多尺度基函数之间的映射。我们引入贝叶斯方法,这个混合框架,使我们能够执行不确定性量化和传播任务。这种混合方法的性能进行了评估与不同的固有维数的渗透率场。数值结果表明,混合网络可以有效地预测高维输入。
2021-06-22 cs.LG physics.comp-ph
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系,提出蒙特卡洛噪声注入方法,在训练时注入噪声、推断时多次前向传播,实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University(哈佛大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
贝叶斯神经网络(BNN)在神经网络中的参数上放置先验。然而,BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中,我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明,常用的指标(例如测试对数似然)可能会产生误导。我们的实验还表明,设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian Metric Learning for Uncertainty Quantification in Image Retrieval
Technical University of Denmark(丹麦技术大学)
我们提出了第一个贝叶斯编码器的度量学习。我们不像以前的工作那样依赖于神经摊销,而是使用拉普拉斯近似来学习网络权重的分布。我们实现这一点,首先证明对比损失是一个有效的对数后验。然后,我们提出了三种方法,以确保一个正定的海森。最后,我们提出了一种新的广义高斯-牛顿近似的分解。从经验上讲,我们表明,我们的拉普拉斯度量学习器(LAM)估计校准良好的不确定性,可靠地检测出分布的例子,并产生最先进的预测性能。
2023-02-04 cs.CV cs.LG
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London(帝国学院伦敦分校);University of Copenhagen(哥本哈根大学)
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能,结合新颖的数据增强方案和高效变分算法,在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
Output-Weighted Optimal Sampling for Bayesian Experimental Design and Uncertainty Quantification
Massachusetts Institute of Technology(麻省理工学院)
我们介绍了一类采集功能的样本选择,导致更快的收敛,贝叶斯试验设计和不确定性量化相关的应用程序。该方法遵循主动学习的范式,即利用黑盒函数的现有样本来优化下一个信息量最大的样本。所提出的方法旨在利用黑盒函数的某些输入方向对输出的影响比其他方向更大的事实,这对于表现出罕见和极端事件的系统尤其重要。在这项工作中引入的采集函数利用了似然比的属性,该似然比是一个充当概率采样权重并将主动学习算法引导到被认为最相关的输入空间区域的量。我们证明了所提出的方法在水文系统的不确定性量化以及动力系统中罕见事件的概率量化及其前兆识别方面的优越性。
2021-04-08 cs.IT cs.LG math.IT
Uncertainty Quantification with Bayesian Higher Order ReLU KANs
William & Mary(威廉玛丽学院)
本文首次在Kolmogorov-Arnold网络领域提出基于高阶ReLUKAN的贝叶斯不确定性量化方法,可同时获取认知与偶然不确定性,并通过闭包测试及随机偏微分方程应用验证其有效性。
2024-10-03 cs.AI cs.LG physics.data-an
Uncertainty quantification of molecular property prediction using Bayesian neural network models
KAIST(韩国科学技术院);Seoul National University(首尔国立大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
在化学领域,深度神经网络模型越来越多地用于各种应用,如分子性质预测、新型分子设计和规划化学反应。尽管最先进的模型和算法的使用迅速增加,但深度神经网络模型在实际应用中的预测效果往往很差,因为模型性能高度依赖于训练数据的质量。在分子分析领域,数据大多来自复杂的化学实验或近似的数学方程,数据的质量可能受到质疑,本文将贝叶斯神经网络用于分子性质预测,量化预测的不确定性。我们估计模型驱动和数据驱动的不确定性,证明了有用的不确定性量化作为质量检查和置信度指标与三个实验。我们的研究结果表明,不确定性量化是必要的,更可靠的分子应用和贝叶斯神经网络模型可以是一个实用的方法。
2018-11-19 cs.LG physics.chem-ph stat.ML
Inferring Structural Parameters of Low-Surface-Brightness-Galaxies with Uncertainty Quantification using Bayesian Neural Networks
University of Chicago(芝加哥大学);Kavli Institute for Cosmological Physics(卡夫利宇宙物理研究所);Fermi National Accelerator Laboratory(费米国家加速器实验室)
测量结构参数(尺寸、总亮度、光密度等)是对不同星系群进行定量描述的重要的第一步。在这项工作中,我们证明了贝叶斯神经网络(BNN)可以用于推理,与不确定性量化,这样的形态参数从模拟低表面亮度星系图像。与传统的轮廓拟合方法相比,我们表明,使用BNN获得的不确定性在幅度上是相当的,校准良好,参数的点估计更接近真实值。我们的方法也明显更快,随着大星系调查和天体物理学大数据时代的到来,这一点非常重要。
2022-07-07 astro-ph.GA astro-ph.IM cs.LG
Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data
GE Research(通用电气研究中心)
关于物理学,数据告诉了我们什么,它们没有告诉我们什么?人们对使用机器学习模型从数据中发现微分方程等支配性物理定律的兴趣激增,但目前的方法缺乏不确定性量化来传达其可信度。这项工作从贝叶斯的角度解决了这个缺点。我们介绍了一种新的模型,包括“叶”模块,学习代表不同的实验的时空功能数据作为神经网络和一个单一的“根”模块,表示其管理的非线性微分算子作为高斯过程的非参数分布。自动微分用于从叶函数计算所需的偏导数作为根的输入。我们的方法量化的可靠性的学习物理学的后验分布在运营商和传播这种不确定性的解决方案的新的初边值问题的实例。数值实验证明了该方法对几个非线性偏微分方程。
2020-06-07 cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge(剑桥大学)
尽管针对无监督异常检测的深度自动编码器(AE)进行了大量研究,但AE仍然缺乏表达其预测不确定性的方法,这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此,在这项工作中,贝叶斯自动编码器(BAE)的制定采用量化的总异常的不确定性,包括认知和任意的不确定性。为了评估不确定性的质量,我们考虑了异常分类的任务,并附加了拒绝高不确定性预测的选项。此外,我们使用的精度拒绝曲线,并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性:一个用于状态监测,另一个用于质量检测。
2022-02-25 cs.LG stat.ML
Constraint-Aware Neurosymbolic Uncertainty Quantification with Bayesian Deep Learning for Scientific Discovery
Department of Computer Science and Engineering Muffakham Jah College of Engineering and Technology (MJCET)(计算机科学与工程系穆法卡姆·贾赫工程与技术学院)
CANUF通过结合贝叶斯深度学习与可微符号推理,首次实现科学预测中的不确定性量化、约束满足和可解释性解释。
2026-01-18 cs.AI cs.CV cs.LG
A deep-learning based Bayesian approach to seismic imaging and uncertainty quantification
Georgia Institute of Technology(佐治亚理工学院)
不确定性量化是必不可少的,当处理病态的反问题,由于固有的非唯一性的解决方案。贝叶斯方法允许我们通过公式化后验分布来确定未知参数的估计的可能性。不幸的是,通常不可能用公式表示一个先验分布,它精确地编码了我们关于未知的先验知识。此外,坚持手工制作的先验可能会极大地偏倚贝叶斯分析的结果。为了解决这个问题,我们建议使用随机初始化的卷积神经网络的函数形式作为隐式结构化先验,这被证明可以促进自然图像并排除具有非自然噪声的图像。为了将模型的不确定性纳入最终估计,我们使用随机梯度Langevin动力学对后验分布进行采样,并对获得的样本进行贝叶斯模型平均。我们的合成数值实验验证了深度先验与贝叶斯模型平均相结合能够部分规避成像伪影并降低极端噪声存在下过拟合的风险。最后,我们提出了逐点方差的估计作为衡量的不确定性,这与更难以成像的区域相吻合。
2020-01-15 cs.LG physics.geo-ph stat.ML
Homodyned K-distribution: parameter estimation and uncertainty quantification using Bayesian neural networks
Concordia University(康考迪亚大学);University of Wisconsin(威斯康星大学)
定量超声(QUS)允许估计内在组织特性。斑点统计量是描述超声(US)包络数据的一阶统计量的QUS参数。均匀K分布(HK分布)的参数是散斑统计量,可以模拟各种散射条件下的包络数据。然而,它们需要大量的数据来可靠地估计。因此,找出估计参数的内在不确定性,可以帮助我们有一个更好的理解估计参数。在本文中,我们提出了一个贝叶斯神经网络(BNN)来估计HK-分布的参数和量化的估计的不确定性。
2022-10-31 cs.LG eess.IV eess.SP
Density Regression and Uncertainty Quantification with Bayesian Deep Noise Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学);University of Michigan(密歇根大学)
深度神经网络(DNN)模型在广泛的监督学习应用中实现了最先进的预测精度。然而,准确量化DNN预测中的不确定性仍然是一项具有挑战性的任务。对于连续的结果变量,一个更困难的问题是估计预测密度函数,它不仅提供了预测不确定性的自然量化,而且还完全捕获了结果中的随机变化。在这项工作中,我们提出了贝叶斯深度噪声神经网络(B-DeepNoise),它通过将随机噪声变量从输出层扩展到所有隐藏层来推广标准贝叶斯DNN。潜在的随机噪声使B-DeepNoise能够灵活地近似高度复杂的预测分布,并准确量化预测的不确定性。对于后验计算,B-DeepNoise的独特结构导致了一种封闭形式的Gibbs采样算法,该算法从模型参数的后验全条件分布迭代模拟,从而规避了计算密集型Metropolis-Hastings方法。B-DeepNoise的理论分析建立了预测分布的递归表示,并分解了关于潜在参数的预测方差。我们在基准回归数据集上对B-DeepNoise与现有方法进行了评估,证明了其在预测精度、不确定性量化精度和不确定性量化效率方面的卓越性能。为了说明我们的方法在科学研究中的有用性,我们在青少年大脑认知发展(ABCD)项目中应用B-DeepNoise来预测神经成像特征的一般智力。
2022-06-12 cs.LG stat.ML
Improved uncertainty quantification for neural networks with Bayesian last layer
TU Dortmund University(多特蒙德工业大学)
针对标准神经网络不确定性量化能力不足的问题,提出一种改进的贝叶斯最后一层神经网络方法,通过重写对数边际似然实现高效反向传播训练,并引入外推度量改进外推点的不确定性量化,在测试数据上取得最高对数预测密度。
2024-01-03 cs.LG cs.SY eess.SY
A Deep Bayesian Convolutional Spiking Neural Network-based CAD system with Uncertainty Quantification for Medical Images Classification
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
针对深度SNN在医学图像分类中缺乏不确定性量化导致的不可靠问题,提出一种基于贝叶斯卷积SNN的CAD系统,采用蒙特卡洛Dropout量化不确定性,实验证明其准确可靠,可替代传统深度学习方法。
2025-04-23 cs.CV cs.LG eess.IV
Bayesian Nonlocal Operator Regression (BNOR): A Data-Driven Learning Framework of Nonlocal Models with Uncertainty Quantification
Lehigh University(理海大学);Sandia National Laboratories(桑迪亚国家实验室)
我们考虑的问题建模异质材料的微尺度动力学和相互作用影响的全球行为。在材料微观结构中存在非均匀性的情况下,提供材料响应的定量表征通常是不切实际的,如果不是不可能的话。这项工作的目标是开发一个贝叶斯框架的不确定性量化(UQ)在材料响应预测时,使用非局部模型。我们的方法结合了非局部算子回归(NOR)技术和贝叶斯推断。具体而言,我们使用马尔可夫链蒙特卡罗(MCMC)方法来采样的后验概率分布的参数参与的非局部本构律,以及相关的建模差异相对于更高的保真度计算。作为一个应用,我们考虑了应力波通过一个随机产生的微观结构的一维非均匀杆的传播。几个数值试验说明了建设,使UQ在非局部模型预测。虽然非局部模型已成为流行的手段,同质化,其统计校准相对于高保真模型尚未提出。这项工作是第一步的非局部模型差异的统计特性的均匀化的背景下。
2022-10-06 cond-mat.mtrl-sci cs.LG
Uncertainty quantification of molecular property prediction with Bayesian neural networks
KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
深度神经网络在各种分子应用中的表现优于现有的机器学习模型。在实际应用中,由于训练数据的质量和数量不足,导致预测的不确定性,仍然很难做出有信心的决策。在这里,我们表明,贝叶斯神经网络是有用的量化的分子性质预测的不确定性与三个数值实验。特别是,它使我们能够将预测方差分解为模型和数据驱动的不确定性,这有助于阐明错误的来源。在logP预测中,我们发现数据噪声对数据驱动的不确定性的影响比模型驱动的更显著。基于这种分析,我们能够在哈佛清洁能源项目数据集中发现意想不到的错误。最后,我们通过对生物活性和毒性分类问题的研究表明,预测的置信度与预测的不确定性密切相关。
2019-03-20 cs.LG stat.ML
FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification
School of Computing, Macquarie University(麦考瑞大学计算机学院);Aalborg University(奥尔堡大学);University of Technology Sydney(悉尼科技大学)
FedSI提出基于贝叶斯子网络推断的个性化联邦学习框架,仅对高方差参数进行后验推断以降低计算成本,在异质场景下优于现有联邦学习基线。
2024-04-24 cs.AI cs.LG
Uncertainty Quantification and Propagation in Surrogate-based Bayesian Inference
University of Stuttgart(斯图加特大学);TU Dortmund University(多特蒙德工业大学)
本文提出了一种可扩展的贝叶斯框架,用于代理建模中的不确定性量化与传播,通过三种方法提升对现实世界建模任务中参数估计的可靠性。
2025-02-05 cs.LG stat.ML
Conformalized Generative Bayesian Imaging: An Uncertainty Quantification Framework for Computational Imaging
Department of Electrical and Computer Engineering, University of Rochester(电气与计算机工程系,罗切斯特大学);Goergen Institute for Data Science & AI, University of Rochester(数据科学与人工智能研究院,罗切斯特大学)
针对计算成像中难以联合量化偶然与认知不确定性的问题,提出结合生成后验采样、带潜变量贝叶斯网络与深度集成的可扩展框架,引入共形预测实现校准,在多成像任务中验证了不确定性估计的有效性与边际覆盖保证。
2025-10-06 cs.LG eess.IV
Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously
Michigan Technological University(密歇根理工大学);Johns Hopkins University(约翰霍普金斯大学);The Center for Artificial Intelligence at the Institute of Computing and Cybersystems, Michigan Technological University(密歇根理工大学计算与网络系统研究所人工智能中心)
提出贝叶斯可转向CNN,通过后验分布赋予核随机性同时保持SE(3)-等变性,实现不确定性分解,在分类精度和分布偏移下鲁棒性优于确定性模型。
2026-06-16 cs.AI cs.LG math.PR
Bayesian Quantification with Black-Box Estimators
ETH AI Center and Department of Biosystems Science and Engineering, ETH Zürich(苏黎世联邦理工学院人工智能中心及生物系统科学与工程系)
针对无标签数据类别分布估计问题,提出一种关联现有黑盒估计器的贝叶斯模型,设计高效MCMC采样方案并证明渐近一致性,实验显示其性能具竞争力且部分场景更优。
2023-02-17 cs.LG stat.ML
Bayesian Parametric Matrix Models: Principled Uncertainty Quantification for Spectral Learning
提出贝叶斯参数矩阵模型(B-PMMs),通过自适应谱分解和流形感知变分推断解决标准贝叶斯方法在矩阵特征值问题中的失效问题,在保持计算效率的同时实现了卓越的不确定性校准。
2025-09-15 cs.LG stat.ML
On Uncertainty Quantification for Near-Bayes Optimal Algorithms
University of Oxford(牛津大学)
本文提出一种基于鞅后验的通用不确定性量化方法,利用常用机器学习算法接近贝叶斯最优的特性,在未知任务分布下恢复贝叶斯后验,并通过多种非神经网络和神经网络算法实验验证其有效性。
2024-10-21 cs.LG stat.ML
Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学系和Maxwell数学科学研究所,爱丁堡大学)
针对贝叶斯神经网络后验近似的准确率与不确定性量化权衡问题,本文对比MCMC与变分推理的特性及架构影响,验证了变分近似堆叠与集成可低成本实现与MCMC相当的准确率,且不确定性量化更优。
2025-06-17 cs.LG stat.ME stat.ML
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh(数学学院爱丁堡大学)
针对贝叶斯神经网络计算成本高的问题,提出三种部分迹类贝叶斯神经网络架构,通过减少贝叶斯参数数量,在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification
Department of Applied Mechanics(应用力学系);Indian Institute of Technology Delhi(印度理工学院德里);Department of Mechanical Engineering(机械工程系);Northern Arizona University(北亚利桑那大学)
Alpha-VI DeepONet通过引入Rényi的α-分歧改进DeepONet,提升不确定性量化能力,在机械系统中表现出更高的预测准确性和鲁棒性。
2025-12-06 cs.LG stat.ML
Deep Operator Networks for Bayesian Parameter Estimation in PDEs
Department of Computer Engineering and Computer Science(计算机工程与计算机科学系)
该研究提出一种结合DeepONets与PINNs的贝叶斯框架,通过变分推断量化不确定性,高效求解PDE正逆问题并估计未知参数。
2025-08-01 cs.CE cs.LG stat.ML
Non-parametric Inference for Diffusion Processes: A Computational Approach via Bayesian Inversion for PDEs
该研究提出基于偏微分方程贝叶斯反演的扩散过程非参数推断工作流,依托过程无穷小生成元构建无穷维问题,探讨优化与采样求解方法,初步实现单/多尺度过程的轨迹数据推断。
2024-11-04 cs.CE stat.CO
Uncertainty Quantification in Friction Model for Earthquakes using Bayesian inference
这项工作提出了一个框架,通过贝叶斯推理,利用地震数据来反向量化摩擦模型的模型参数的不确定性。前向模型是流行的速率和状态摩擦(RSF)模型以及弹簧滑块阻尼器理想化。逆模型是利用地震资料作为RSF模型的响应来确定模型参数。逆问题的传统解决方案是确定性参数值,其可能不代表真实值,并且量化模型参数中的不确定性增加了估计的置信度。通过贝叶斯反演得到的后验分布估计模型参数的不确定性。
2021-04-19 cs.CE
Multi-fidelity machine-learning with uncertainty quantification and Bayesian optimization for materials design: Application to ternary random alloys
我们提出了一种基于多保真度(MF)机器学习(ML)框架的尺度桥接方法,该框架利用高斯过程(GP)在多个保真度级别上融合原子计算模型预测。通过MFGP的后验方差,我们的框架自然能够实现不确定性量化,提供预测置信度的估计。我们使用密度泛函理论作为高保真度预测,而ML原子间相互作用势被用作高保真度预测。实际材料的设计效率证明通过复制的三元组合物的依赖性的量的兴趣(体积模量)在整个铝-铌-钛三元随机合金组合物空间。MFGP,然后耦合到贝叶斯优化程序和这种方法的计算效率证明了通过执行在飞行中搜索的整体最佳的体积模量在三元组合物空间。在这篇手稿中提出的框架是MFGP的第一个应用到原子材料模拟融合之间的预测密度泛函理论和经典的原子间的潜力计算。
2020-08-05 cs.CE physics.atom-ph physics.comp-ph
An Efficient Bayesian Framework for Inverse Problems via Optimization and Inversion: Surrogate Modeling, Parameter Inference, and Uncertainty Quantification
University of Pavia(帕维亚大学);TU Dresden(德累斯顿工业大学);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
本文提出了一种结合贝叶斯优化与反演的高效框架,用于解决反问题,通过替代建模、参数推断和不确定性量化提升工程应用的效率与可靠性。
2026-02-04 cs.CE
Bayeslands: A Bayesian inference approach for parameter uncertainty quantification in Badlands
University of Sydney(悉尼大学)
贝叶斯推断为地球物理正演模型中参数的估计和不确定性量化提供了一种严格的方法。荒地(盆地和景观动力学模型)是一种模拟不同时空尺度地形演变的景观演化模型。荒地由许多地球物理参数组成,这些参数需要通过适当的不确定性量化进行估计;考虑到目前观察到的地面实况,如表面地形和沉积物沉积的地层学。未知参数的推断是具有挑战性的,由于数据的稀缺性,参数设置的敏感性和荒地模型的复杂性。在本文中,我们采取贝叶斯方法,使用马尔可夫链蒙特卡罗抽样(MCMC)提供推理。我们提出了\textit{Bayeslands} ;荒地的贝叶斯框架,融合了从复杂的前向模型与观测数据和先验知识获得的信息。作为一个概念验证,我们认为一个合成的和现实世界的地形与贝叶斯推断,即降水和可蚀性的两个参数。实验结果表明,贝叶斯方法得到了一个很好的参数分布。此外,我们证明了使用具有一系列次优模式的似然曲面对不规则和多模态后验分布进行采样的挑战。
2021-07-05 cs.AI cs.CE physics.geo-ph
SPUX Framework: a Scalable Package for Bayesian Uncertainty Quantification and Propagation
我们提出SPUX -一个模块化的框架,贝叶斯推断,使不确定性量化和传播的线性和非线性,确定性和随机模型,并支持贝叶斯模型选择。SPUX可以耦合到以任何编程语言编写的任何串行或并行应用程序(例如,包括Python,R,Julia,C/C++,Fortran,Java或二进制可执行文件),可以轻松地从个人计算机上的串行运行扩展到并行高性能计算集群,并旨在提供一个特别适合支持和促进计算科学可重复性的平台。我们说明了SPUX的功能,一个简单而有代表性的随机游动模型,描述了如何耦合不同类型的用户应用程序,并展示了几个现成的例子,从环境科学。除了现有的最先进的数值推理算法,包括EMCEE,PMCMC(PF)和SABC,SPUX框架的开源性质和层次并行SPUX执行器的明确描述也应该大大简化其他推理和优化技术的实现和使用。
2021-05-12 cs.CE cs.MS stat.CO
Uncertainty quantification in mechanistic epidemic models via cross-entropy approximate Bayesian computation
本文提出一种数据驱动的近似贝叶斯计算框架,通过识别初始条件与交叉熵方法学习先验分布,结合广义SEIR模型在巴西COVID-19数据上实现了参数估计与不确定性量化,能准确外推预测,适用于实时流行病建模。
2023-02-02 cs.CE math.DS q-bio.PE
Quantum Approximate Bayesian Optimization Algorithms with Two Mixers and Uncertainty Quantification
本文提出QABOA的扩展算法,通过交替使用探索与利用两个混合器,并引入基于基态分布峰度的新量子Matérn核进行不确定性量化,显著提升了量子近似优化算法的搜索效率,在多个测试问题中表现最佳。
2023-10-23 cs.CE quant-ph