A Bayesian Nonparametric approach to Reconstruction and Prediction of Random Dynamical Systems
基于马尔可夫链蒙特卡罗方法（MCMC），提出了一种贝叶斯非参数混合模型，用于离散随机动力系统的时间序列重构和预测.我们的研究结果可以用于物理建模的研究人员感兴趣的快速和准确的估计低维随机模型时，所观察到的时间序列的大小是小的，噪声过程（也许）是非高斯的。特别是在多项式映射的情况下，证明了推理过程的任意程度，当几何棒打破混合物的过程之前，在空间的密度，适用于添加剂的错误。我们的方法是简约的贝叶斯非参数技术的基础上Dirichlet过程的混合物，灵活和一般。基于合成时间序列的仿真。
2017-09-30 stat.AP stat.ME
Comments on "Bayesian Solution Uncertainty Quantification for Differential Equations" by Chkrebtii, Campbell, Calderhead & Girolami
本文探讨了用于ODE和PDE的概率求解器，提出了一种新的不确定性量化方法，提升了数值解的可靠性。
2016-10-25 cs.NA math.NA stat.CO
An Improved Bayesian Semiparametric Model for Palaeoclimate Reconstruction: Cross-validation Based Model Assessment
基于化石的古气候重建是生态科学的一个重要领域，在全球气候变化辩论的背景下获得了动力。层次贝叶斯范式为研究这样重要的科学问题提供了一个有趣的平台。然而，我们的交叉验证为基础的评估现有的贝叶斯分层模型相对于两个现代的代理数据集的基础上摇蚊和花粉，分别显示，该模型是不够的数据集。在本文中，我们模拟的物种组合（组成数据）的零膨胀多项分布，而模拟的物种响应函数，基于Dirichlet过程的高斯混合。这种建模策略显着提高了性能，最近开发的模型充分性的正式贝叶斯测试表明，我们的新模型适用于两个现代数据集。此外，结合零膨胀假设，重要性恢复马尔可夫链蒙特卡罗（IRMCMC）和最近发展的基于变换的马尔可夫链蒙特卡罗（TMCMC），我们开发了一个强大的和有效的计算方法。
2013-12-12 stat.AP
Robust and Guided Bayesian Reconstruction of Single-Photon 3D Lidar Data: Application to Multispectral and Underwater Imaging
当使用多个波长时，或者当在高噪声环境（例如，通过遮光剂成像）。本文提出了一种分层贝叶斯算法的多光谱单光子激光雷达数据在这样的环境中的鲁棒重建。该算法利用多尺度信息来提供稳健的深度和反射率估计及其不确定性，以帮助决策。所提出的基于权重的策略允许使用可用的引导信息，该信息可以通过使用最先进的基于学习的算法来获得。所提出的贝叶斯模型及其估计算法的合成和真实图像上进行了验证，显示竞争力的结果相比，国家的最先进的算法的质量的推断和计算复杂性。
2021-03-18 eess.IV stat.AP
Bayesian hierarchical modeling for temperature reconstruction from geothermal data
提出了一种利用钻孔温度剖面重建古气候的贝叶斯分层建模方法。该方法依赖于通过具有阶跃函数和表面边界条件的热方程来模拟固体中的热传导。我们的分析包括模型误差，并假设边界条件是随机过程。该公式还能够分离测量误差和模型误差。我们将分析应用于犹他州圣拉斐尔地区的9个钻孔温度记录的数据。我们产生地表温度的历史与不确定性估计在过去的400年。我们特别注意使用的先验参数模型，说明借款强度的综合分析，所有九个钻孔。此外，我们回顾了选定的敏感性分析。
2011-07-25 stat.AP
Bayesian Reconstruction of Magnetic Resonance Images using Gaussian Processes
现代磁共振成像（MRI）的中心目标是减少产生高质量图像所需的时间。努力包括硬件和软件创新，如并行成像，压缩传感和基于深度学习的重建。在这里，我们提出并证明了贝叶斯方法来建立统计库的磁共振（MR）图像在k空间，并使用这些库来确定最佳的子采样路径和重建过程。具体来说，我们计算一个多元正态分布的基础上高斯过程使用一个公开的图书馆的T1加权图像的健康大脑。我们将这个库与物理信息包络函数相结合，只保留k空间中有意义的相关性。然后，该协方差函数用于使用贝叶斯优化来选择一系列环形子采样路径，使得它们最佳地探索空间，同时在商业MRI系统中保持实际可实现。结合针对一系列图像找到的优化的子采样路径，我们计算出一个广义的采样路径，当用于新图像时，与先前报道的重建过程相比，该采样路径产生最高的结构相似性和误差（即，仅采样12.5%的k空间数据，结构相似性为96.3%，归一化均方误差<0.003）。最后，我们使用这个重建过程的病理数据，而无需重新训练，表明重建图像是临床上有用的中风识别。
2023-03-23 physics.med-ph stat.AP
Bayesian Rain Field Reconstruction using Commercial Microwave Links and Diffusion Model Priors
School of Electrical and Computer Engineering, Tel Aviv University, Tel Aviv, Israel（电气与计算机工程学院，特拉维夫大学，特拉维夫，以色列）
提出将雨场重建视为贝叶斯逆问题，利用扩散模型作为高保真空间先验，通过无需训练的后验采样方法（如即插即用、序贯蒙特卡洛和副本交换）实现优于传统方法的性能。
2026-05-28 cs.LG stat.AP stat.ML
Trustworthy MRI Reconstruction via Bayesian Uncertainty Quantification with Sparsity Prior Models
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；UCL Hawkes Institute, Department of Computer Science, University College London（伦敦大学学院计算机科学系霍克斯研究所）
提出一种基于压缩感知磁共振图像重建的不确定性量化框架，采用贝叶斯线性逆问题建模，利用稀疏先验（总变分或小波变换）和分裂增广吉布斯采样器进行MCMC采样，在单线圈和多线圈数据集上验证了优于优化方法和深度学习方法的图像重建与不确定性量化性能。
2026-06-23 cs.CV stat.AP
A Bayesian spatiotemporal model for reconstructing climate from multiple pollen records
全新世（过去12，000年）的温度变化，包括从最后一个冰河时代到温暖气候的过渡，在芬兰南部，瑞典和爱沙尼亚的多个地点根据湖泊沉积物岩心的花粉化石数据进行重建。提出了一种新的贝叶斯统计方法，允许重建的温度历史，通过共享的环境响应参数和空间依赖性进行交互。过去温度的先验分布部分基于数值气候模拟。重建中的特征与基于更常用的重建技术的定量气候重建一致。结果表明，新的时空方法可以提供更平滑，更少的不确定性和更真实的比特定地点的个人重建的定量重建。
2015-11-05 stat.AP
EEG reconstruction and skull conductivity estimation using a Bayesian model promoting structured sparsity
M/EEG源定位是一个开放的研究课题。为了解决这个问题，重要的是要有良好的知识的几个物理参数，建立一个可靠的头操作。其中，人类头骨的导电性的价值一直存在争议。本报告介绍了一种新的分层贝叶斯框架，估计头骨电导率联合从M/EEG测量的大脑活动，以提高重建质量。一个部分崩溃的吉布斯抽样器被用来绘制样本渐近分布根据相关的后验。然后，生成的样本用于在完全无监督的框架中联合估计大脑活动和模型超参数。我们使用合成和真实数据来说明重建的改进。我们的方法的性能还比较了两个优化算法引入Vallaghé \textit{et al.}和Gutierrez \textit{et al.}分别，表明我们的方法是能够提供类似或更好的质量，同时在更广泛的情况下仍然适用的结果。
2017-01-04 stat.AP stat.ME
Bayesian sparse reconstruction: a brute-force approach to astronomical imaging and machine learning
我们提出了一个原则性的贝叶斯信号重建框架，其中信号由基函数建模，基函数的数量（和形式，如果需要的话）由数据本身确定。这种方法是基于传统的稀疏重建和正则化技术的贝叶斯解释，其中稀疏性是通过先验贝叶斯模型选择。我们证明了我们的方法的噪声1-和2维信号，包括天文图像。此外，通过使用乘积空间方法，基函数的数量和类型可以被视为整数参数，其后验分布直接采样。我们表明，数量级的增加，计算效率是可能的，从这种技术相比，分别计算贝叶斯证据，进一步的计算收益是可能的，使用它与动态嵌套抽样相结合。我们的方法也可以很容易地应用于神经网络，它允许网络架构由数据确定的原则贝叶斯的方式，通过处理节点和隐藏层的数量作为参数。
2018-11-25 astro-ph.IM stat.ME stat.ML
Structure-Based Bayesian Sparse Reconstruction
稀疏信号重构算法因其在各个领域的广泛应用而受到研究者的关注。在本文中，我们提出了一个简单的贝叶斯方法，利用稀疏约束和先验统计信息（高斯或其他），以获得接近最优的估计。此外，我们利用在许多信号处理应用中遇到的感测矩阵的丰富结构来开发一个快速稀疏恢复算法。该算法的计算复杂性相对较低，与广泛使用的凸松弛法以及贪婪匹配追踪技术相比，特别是在低稀疏率。
2012-07-16 math.ST stat.TH
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Bayesian Uncertainty Directed Trial Designs
大多数贝叶斯反应适应性设计使随机化率向最有希望的组失衡，目的是增加研究期间阳性治疗结局的数量，即使试验的主要目的不同。我们讨论贝叶斯不确定性导向设计（BUD），一类贝叶斯设计中，调查人员指定的信息量身定制的实验。选择试验期间的所有决策，以优化研究结束时的可用信息。该方法可应用于多种设计，从早期多组试验到生物标志物驱动的多终点研究。我们讨论了患者分配比例的渐近极限治疗，并说明有限样本BUD设计的操作特性，通过例子，包括多组试验，生物标志物分层试验，并与多个共同主要终点的试验。
2018-06-29 stat.AP
Sparse-Group Bayesian Feature Selection Using Expectation Propagation for Signal Recovery and Network Reconstruction
Max Planck Institute for Molecular Genetics（马克斯·普朗克分子遗传学研究所）
我们提出了一种贝叶斯方法的特征选择中存在的分组信息之间和组内水平的稀疏性。而不是使用随机算法的参数推断，我们采用期望传播，这是一个确定性和快速的算法。在存在分组信息的情况下，用于特征选择的可用方法具有许多简短的描述：一方面，Lasso方法虽然快速，但低估了回归系数，并且没有很好地利用分组信息，另一方面，贝叶斯方法虽然在参数估计中准确，但通常依赖于随机且缓慢的吉布斯抽样过程来恢复参数，使得它们例如对于基因网络重建是不可行的。我们的方法的贝叶斯稀疏组框架与期望传播，使我们不仅能够恢复准确的参数估计信号恢复问题，但也使得有可能将此贝叶斯框架的大规模网络重建问题。所提出的方法是通用的，但在应用方面，我们专注于基因调控网络。我们的模拟和实验数据表明，该方法构成了一个很好的选择网络重建的正确选择的功能，预测新的数据和合理的计算时间的数量。
2018-09-25 cs.LG stat.CO stat.ML
Comment on: "Model uncertainty and missing data: An Objective Bayesian Perspective"
本文对客观贝叶斯方法处理模型不确定性与缺失数据的论文进行评论，重点从频率学派视角讨论其方法。
2025-11-05 stat.ME
An unsupervised bayesian approach for the joint reconstruction and classification of cutaneous reflectance confocal microscopy images
本文研究了一种新的贝叶斯算法，用于反射共焦显微镜（RCM）图像的联合重建和分类，并将其应用于人体皮肤雀斑的识别。所提出的贝叶斯方法利用乘性散斑噪声的分布影响这些图像的真实反射率和适当的先验未知的模型参数。提出了一种马尔可夫链蒙特卡罗（MCMC）算法，在根据图像的反射率分布对图像进行分类的同时，联合估计模型参数和图像的真实反射率。准确地说，Metropolis-whitin-Gibbs采样器进行了研究，以采样与RCM图像相关的贝叶斯模型的后验分布，并建立其参数的估计，包括指示每个RCM图像的类的标签。所得到的算法被应用到合成数据和包含健康和雀斑患者的临床研究的真实图像。
2017-03-04 stat.ML
On PAC-Bayesian reconstruction guarantees for VAEs
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
尽管它的广泛使用和经验的成功，理论上的理解和研究的行为和性能的变分自编码器（VAE）只是在过去的几年中才出现。我们通过分析VAE对看不见的测试数据的重建能力，利用PAC贝叶斯理论的参数，为最近的工作做出贡献。我们提供的理论重建误差的泛化范围，并提供VAE目标的正则化效果的见解。我们说明了我们的理论结果与支持经典基准数据集上的实验。
2022-02-23 cs.CV cs.LG math.ST
Hierarchical Bayesian sparse image reconstruction with application to MRFM
本文提出了一种分层贝叶斯模型，当观测值由线性变换获得并被加性高斯白噪声破坏时，重建稀疏图像。我们的分层贝叶斯模型非常适合于这种自然稀疏的图像应用，因为它无缝地通过适当的贝叶斯先验解释了图像的稀疏性和积极性等属性。我们提出了一个先验，是基于一个加权的混合正指数分布和质量为零。先验具有通过分层贝叶斯模型的边缘化自动调整的超参数。为了克服后验分布的复杂性，提出了一种Gibbs抽样策略。吉布斯样本可以用于估计要恢复的图像，例如通过最大化估计的后验分布。在我们的完全贝叶斯方法中，所有参数的后验均可用。因此，我们的算法提供了更多的信息比其他以前提出的稀疏重建方法，只给一个点估计。我们的分层贝叶斯稀疏重建方法的性能说明合成和真实的数据从烟草病毒样本使用原型MRFM仪器。
2009-09-23 cs.IT math.IT physics.data-an
Recent advances in Bayesian optimization with applications to parameter reconstruction in optical nano-metrology
参数重构是光学纳米计量中的一个常见问题。它通常涉及一组测量，人们试图拟合测量过程的数值模型。模型评估通常涉及求解麦克斯韦方程组，因此是耗时的。这使得重建需要计算。有几种方法可以将模型拟合到测量值。一方面，用于昂贵的黑盒优化的贝叶斯优化方法通过训练偏差平方和的机器学习模型来实现有效的重建。另一方面，诸如Levenberg-Marquardt方法的曲线拟合算法考虑了所有模型输出与对应的测量值之间的偏差，这使得能够快速局部收敛。在本文中，我们提出了一个贝叶斯目标向量优化方案，结合这两种方法。我们比较所提出的方法对标准的Levenberg-Marquardt算法，传统的贝叶斯优化方案，和L-BFGS-B和Nelder-Mead单纯形算法的性能。作为纳米计量学问题的替代，我们采用了NIST标准参考数据库中的非线性最小二乘问题。我们发现，所提出的方法通常使用较少的调用的模型函数比任何竞争计划，以实现类似的重建性能。
2021-07-12 physics.comp-ph physics.optics stat.ML
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP，即使当信号先验是非高斯或未知时，也执行稀疏信号的贝叶斯估计。它是不可知的信号统计，并利用先验统计的加性噪声和稀疏率的信号，这是很容易估计的数据，如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量，找到最主要的稀疏支持，以确定近似的最小均方误差（MMSE）估计的稀疏信号。仿真结果表明，我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
On the underestimation of model uncertainty by Bayesian K-nearest neighbors
当使用K-最近邻方法时，人们经常忽略K的选择中的不确定性。为了解释这种不确定性，Holmes和Adams（2002）提出了一个贝叶斯框架，用于K-最近邻（KNN）。他们的贝叶斯KNN（BKNN）方法使用伪似然函数和标准的马尔可夫链蒙特卡罗（MCMC）技术来绘制后验样本。Holmes和Adams（2002）关注BKNN在误分类错误方面的性能，但没有评估其量化不确定性的能力。我们提出了一些证据表明，BKNN仍然显着低估了模型的不确定性。
2008-04-08 stat.ML
Asymptotic guarantees for Bayesian phylogenetic tree reconstruction
该研究推导了贝叶斯系统发育树重建一致性的易处理准则，无需分支长度离散化或有界性假设，适配多种算法与模型，且收敛速率接近频率派结果。
2025-08-01 math.ST stat.ME stat.TH
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Bayesian palaeoclimate reconstruction from zero-inflated count-compositional pollen data: A case study of Lago Grande di Monticchio in southern Italy
Hamilton Institute and Department of Mathematics and Statistics, Maynooth University（梅努斯大学汉密尔顿研究所与数学统计系）；School of Mathematics and Statistics, University College Dublin（都柏林大学学院数学统计学院）；Department of Biosciences, Durham University（杜伦大学生物科学系）
提出贝叶斯模块化框架，利用零膨胀计数成分花粉数据和贝叶斯加性回归树，结合切割后验分布与采样重要性重采样，实现古气候重建并量化不确定性。
2026-09-09 stat.AP stat.CO stat.ME
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich（慕尼黑大学统计系）
本文从优化视角质疑贝叶斯不确定性量化的有效性，提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks
我们推导出一种新的敏感性分析的输入变量预测认知和任意的不确定性。我们使用贝叶斯神经网络作为一个模型类的潜在变量，并说明我们的敏感性分析对现实世界的数据集的有用性。我们的方法增加了复杂的黑盒概率模型的可解释性。
2017-12-10 stat.ML
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
由于可扩展的近似贝叶斯推断技术的发展，贝叶斯神经网络（BNN）最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点：参数和预测的不确定性变得容易获得，便于严格的统计分析。此外，还可以纳入先前的知识。然而，到目前为止，还没有可扩展的技术能够结合模型（结构）和参数的不确定性。本文在BNN中引入模型不确定性的概念，从而在模型和参数的联合空间中进行推理。此外，我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率，将模型空间的约束。最后，我们表明，通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性，允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Bayesian Target-Vector Optimization for Efficient Parameter Reconstruction
参数重建是计量学中不可缺少的一部分。这里，目的是通过拟合测量过程的参数化模型来解释$K$实验测量。通过最小二乘法定期确定模型参数，即，通过最小化$K$模型预测值和$K$实验观测值之间的残差平方和$χ^2$。模型函数通常涉及计算要求高的数值模拟。贝叶斯优化方法特别适合于最小化昂贵的模型函数。然而，与诸如Levenberg-Marquardt算法的最小二乘法相比，它们仅考虑$χ^2$的值，而忽略$K$个体模型输出。我们提出了一个贝叶斯目标向量优化方案，其性能比以前的发展有所改进，考虑了模型函数的所有$K$贡献，并且特别适合于通常基于数百个观测的参数重建问题。它的性能相比，光学计量重建问题和两个合成最小二乘问题的方法。所提出的方法优于已建立的优化方法。它还可以通过在经过训练的代理模型上使用马尔可夫链蒙特卡罗抽样，用很少的实际模型函数观测值来确定准确的不确定性估计。
2022-05-24 physics.comp-ph physics.data-an stat.ML
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Bayesian methods and Markov chain Monte Carlo algorithms for curve reconstruction and point cloud data analysis
University of Tennessee（田纳西大学）
本文针对点云数据量大、含噪声及缺失信息，现有重建无不确定性量化的问题，提出全贝叶斯框架与适配的MCMC采样器，经合成及LiDAR数据实验，实现精确曲线重建与不确定性量化。
2026-08-28 cs.LG stat.ML
Uncertainty Quantification for Bayesian Optimization
针对贝叶斯优化输出不确定性量化研究不足的问题，本文提出通过构建目标函数极值的置信域评估不确定性的方法，依托新推导的序贯高斯过程回归一致误差界保证置信水平，为各类采样策略和停止准则提供统一量化框架。
2023-05-05 math.ST stat.ML stat.TH
Bayesian ECG reconstruction using denoising diffusion generative models
本文提出用健康心电图数据训练的去噪扩散生成模型（DDGM）进行贝叶斯心电图重建，实现逼真心电信号生成，并应用于QTc计算、噪声抑制、缺失导联恢复和异常识别等临床任务。
2023-12-18 cs.LG eess.SP stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
A Robust Multi-Objective Bayesian Optimization Framework Considering Input Uncertainty
Ghent University（根特大学）；imec（比利时微电子研究中心）
贝叶斯优化是一种流行的工具，用于对昂贵的目标函数进行数据有效的优化。在工程设计等实际应用中，设计人员通常希望考虑多个目标以及输入的不确定性，以找到一组鲁棒的解决方案。虽然这在单目标贝叶斯优化中是一个活跃的话题，但在多目标情况下研究较少。我们引入了一种新的贝叶斯优化框架，有效地执行多目标优化考虑输入的不确定性。我们提出了一个强大的高斯过程模型来推断贝叶斯风险标准来量化鲁棒性，我们开发了一个两阶段的贝叶斯优化过程来搜索一个强大的帕累托前沿。完整的框架支持各种分布的输入不确定性，并充分利用并行计算。我们证明了框架的有效性，通过数值基准。
2022-02-25 cs.AI cs.CE stat.ML
Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart（斯图加特大学）；Heidelberg University（海德堡大学）
贝叶斯模型比较（BMC）提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中，我们在可能的模型集合上构造离散概率分布，条件是观察到的感兴趣的数据。这些后验模型概率（PMP）是不确定性的度量，但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中，我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架，量化元不确定性，从而在一个应用的方法，以提高任何BMC的工作流程。利用贝叶斯和频率论技术，我们通过元模型表示不确定PMP的不确定性，该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归，似然推理与马尔可夫链蒙特卡罗，和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
Optimal design of large-scale Bayesian linear inverse problems under reducible model uncertainty: good to know what you don't know
我们考虑最优设计的无限维贝叶斯线性反问题所管辖的偏微分方程，包含二级可约模型的不确定性，除了反演参数的不确定性。通过可减少的不确定性，我们指的是可以通过参数推断减少的参数不确定性。我们寻求试验设计，使主要参数的后验不确定性最小化，同时考虑次要参数的不确定性。我们通过推导出一个边缘化的A-最优性标准，并开发了一个有效的计算方法，其优化。我们说明了我们的方法来估计一个不确定的时间依赖的污染物传输模型与不确定的初态作为次要的不确定性源。我们的结果表明，在试验设计过程中考虑额外的模型不确定性至关重要。
2020-06-21 math.OC stat.CO
Comparing Nonparametric Bayesian Tree Priors for Clonal Reconstruction of Tumors
University of Toronto（多伦多大学）
统计机器学习方法，特别是非参数贝叶斯方法，已经变得越来越流行，以推断肿瘤的克隆群体结构。在这里，我们描述了treeCRP，中国餐馆过程（CRP），一个流行的建设中使用的非参数混合模型的扩展，以推断癌细胞的人口中所代表的主要亚克隆谱系的遗传和基因型。我们还提出了新的分裂合并更新量身定制的亚克隆重建问题，提高混合时间的马尔可夫链。与PhyloSub中使用的树结构棒断裂之前相比，我们使用treeCRP与我们新的拆分-合并程序展示了优越的混合和运行时间。我们还表明，给定相同数量的样本，TSSB和treeCRP具有相似的恢复肿瘤亚克隆结构的能力。
2014-08-11 cs.LG q-bio.PE stat.ML
Propagating Uncertainty in Multi-Stage Bayesian Convolutional Neural Networks with Application to Pulmonary Nodule Detection
Draper（德雷珀实验室）
受肺结节计算机辅助检测（CAD）问题的启发，我们引入了在多级贝叶斯卷积神经网络（CNN）架构中传播和融合不确定性信息的方法。我们试图回答的问题是“我们能否利用一个深度学习模型提供的模型不确定性来提高后续深度学习模型的性能，并最终提高多级贝叶斯深度学习架构的整体性能？".我们的实验表明，通过管道传播不确定性使我们能够提高最终预测精度和模型置信度方面的整体性能。
2017-12-01 cs.CV stat.ML
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University（哈佛大学）
传统的深度分类器训练会产生过度自信的模型，这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架，以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”，用于使用位于训练数据边界上的额外一类点来增强数据，然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University（纽约大学）
随机不确定性捕获数据的固有随机性，例如测量噪声。在贝叶斯回归中，我们经常使用高斯观测模型，其中我们用噪声方差参数控制任意不确定性的水平。相比之下，对于贝叶斯分类，我们使用分类分布，没有机制来表示我们对任意不确定性的信念。我们的工作表明，明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准，例如CIFAR，基本上没有任意的不确定性。此外，我们表明，近似推理中的数据增强具有软化可能性的效果，导致信心不足，并深刻地歪曲了我们对任意不确定性的诚实信念。因此，我们发现，一个冷后验，由一个权力大于1，往往更诚实地反映了我们的信念，任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明，我们可以匹配或超过后回火的性能，通过使用狄利克雷观测模型，在那里我们明确地控制任意的不确定性的水平，而不需要任何回火。
2022-03-30 cs.LG stat.ML
Uncertainty Quantification for Bayesian CART
这项工作提供了新的见解贝叶斯CART的背景下，结构化小波收缩。主要的主旨是开发一个正式的推理框架贝叶斯树为基础的回归。我们重新构建贝叶斯CART作为一个g-型先验，从典型的小波产品先验利用相关引起的树拓扑结构。在回归模型中，实际使用的贝叶斯CART先验在上确界范数下可获得自适应的近率极大极小后验集中。针对不确定性量化的基本目标，在自相似条件下，构造了具有均匀覆盖的回归函数的自适应置信带。此外，我们表明，树后验使最佳推理的形式，有效的信心集光滑的回归函数。
2021-05-24 math.ST stat.TH
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan（密歇根大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；BI Norwegian Business School（BI挪威商学院）；University of Brescia（布雷西亚大学）
在二阶不确定贝叶斯网络中，条件概率仅在分布内已知，即，概率大于概率Delta方法已被应用于扩展精确的一阶推理方法，通过贝叶斯网络派生的和-积网络传播均值和方差，从而表征认知不确定性或模型本身的不确定性。或者，二阶信念传播已被证明为多树，但不是一般的有向无环图结构。在这项工作中，我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置，从而产生二阶Loopy Belief Propagation（SOLBP）。对于二阶贝叶斯网络，SOLBP生成的推理与和积网络生成的推理一致，同时计算效率更高，可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
提出了一种基于贝叶斯神经网络（BNN）和哈密顿蒙特卡罗（HMC）的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样，以量化系统中的不确定性。数值算例表明，在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果，计算成本几乎是独立的维度的问题，展示了潜在的方法，用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge（剑桥大学）
尽管针对无监督异常检测的深度自动编码器（AE）进行了大量研究，但AE仍然缺乏表达其预测不确定性的方法，这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此，在这项工作中，贝叶斯自动编码器（BAE）的制定采用量化的总异常的不确定性，包括认知和任意的不确定性。为了评估不确定性的质量，我们考虑了异常分类的任务，并附加了拒绝高不确定性预测的选项。此外，我们使用的精度拒绝曲线，并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性：一个用于状态监测，另一个用于质量检测。
2022-02-25 cs.LG stat.ML
