Diffeomorphic registration distances for Bayesian calibration of infinite-dimensional computer models
CEA, DAM, DIF(法国原子能和替代能源委员会,核能部,核研究与发展局)
本文提出利用LDDMM框架中的diffeomorphic距离进行贝叶斯校准,以处理无限维输出空间中的参数不确定性,提供可解释的校准方法。
2026-07-03 stat.ME
Bayesian Projected Calibration of Computer Models
我们开发了一种贝叶斯方法,称为贝叶斯投影校准,以解决校准一个不完美的计算机模型,使用观测数据从一个复杂的物理系统的问题。校准参数和物理系统通过$L_2$投影以可识别的方式参数化。物理过程被分配一个高斯过程先验,这自然会导致通过$L_2$投影约束的校准参数的先验分布。通过校正参数的后验分布估计校正参数,为不确定度的量化提供了一种自然的、非渐近的方法。我们提供了一个严格的大样本的理由,所提出的方法,通过建立有效的协方差阵的校准参数的后验的渐近正态性。此外,设计了两种基于随机逼近的有效计算算法,并给出了理论保证。通过广泛的模拟研究和两个真实世界的数据集分析,我们表明,贝叶斯投影校准可以准确地估计校准参数,适当地校准计算机模型,并与其他方法相比。
2019-02-07 math.ST stat.ME stat.TH
Nonparametric Bayesian Calibration of Computer Models
Simon Fraser University(西蒙菲莎大学);Colorado State University(科罗拉多州立大学);Sanofi(赛诺菲);University of Colorado at Denver(科罗拉多大学丹佛分校)
本文提出非参数贝叶斯方法校准计算机模型参数分布,通过场观测建立后验分布,证明其最大熵性质和连续性,并进行统计分析。
2026-06-27 math.ST stat.CO stat.ME
Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs
MIT(麻省理工学院);Siberian Federal University(西伯利亚联邦大学)
计算机视觉作为计算机图形学的贝叶斯逆问题的想法有着悠久的历史和吸引人的优雅,但它已被证明难以直接实现。相反,大多数视觉任务是通过复杂的自下而上的处理管道来完成的。在这里,我们表明,它是可以编写简短,简单的概率图形程序,定义灵活的生成模型,并自动反转它们来解释现实世界的图像。生成概率图形程序包括一个随机场景生成器,基于图形软件的渲染器,连接渲染器的输出和数据的随机似然模型,以及调整渲染器的保真度和似然模型的容限的潜变量。计算机图形学的表示和算法最初是为了产生高质量的图像而设计的,现在被用作高度近似和随机生成模型的确定性支柱。该公式结合了概率编程、计算机图形学和近似贝叶斯计算,并且仅依赖于通用的自动推理技术。我们描述两个应用程序:读取退化和不利模糊的字母数字字符序列,并从车载摄像机图像推断3D道路模型。我们提出的每一个概率图形程序都依赖于不到20行的概率代码,并支持对模糊的真实世界图像进行准确的近似贝叶斯推断。
2013-06-29 cs.AI cs.CV stat.ML
Bayesian Variable Selection via Hierarchical Gaussian Process Model in Computer Experiments
针对计算机实验中活跃因子识别难题,本文提出嵌入潜在指示变量的贝叶斯分层高斯过程模型,利用Metropolis-within-Gibbs采样器联合完成参数估计与变量选择,并通过模拟和实际应用验证其优于竞争方法。
2024-06-17 stat.ME
Bayesian treed Gaussian process models with an application to computer modeling
受火箭助推器设计的计算机实验的启发,本文探讨了耦合平稳高斯过程与树划分的非平稳建模方法。划分是处理非平稳性的一种简单而有效的方法。方法的发展和统计计算的细节,使这种方法的效率进行了详细描述。除了提供火箭助推器模拟器的分析,我们的方法被证明是有效的,在其他领域。
2009-03-17 stat.AP stat.CO stat.ME
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research Cambridge(微软研究院剑桥实验室)
计算机视觉是困难的,因为在照明,形状和纹理的大的可变性;此外,图像信号是非加性的,由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人,但由于后验推理的困难,计算机视觉的生成模型在很大程度上未能实现这一承诺。因此,社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性,但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”,并在仔细的实验中证明它具有挑战性的生成模型,其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题,一种方法,可以被理解为“逆图形”。知情的采样器,使用简单的判别建议的基础上现有的计算机视觉技术,实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University(斯坦福大学);NVIDIA(英伟达)
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题,但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置,并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现,我们可以充分捕捉模型的不确定性,只需使用几个贝叶斯层附近的网络输出,结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Bayesian Calibration of Computer Models with Informative Failures
将计算机模型与实验数据进行校准有许多实际困难。一个这样的复杂性是校准输入的某些组合可能导致代码输出缺乏基本属性的数据,甚至根本不产生输出。在许多情况下,研究人员希望或需要在他们的分析中排除这些“失败”的可能性。我们提出了一个贝叶斯(Meta)模型,其中校准参数的后验分布自然排除了对应于失败运行的输入空间区域。也就是说,我们定义了一个统计选择模型来严格耦合二进制分类和计算机模型校准的不相交问题。我们证明了我们的方法使用的数据从碳捕获实验中的计算流体动力学的数值容易不稳定。
2020-06-13 stat.AP stat.ME
Bayesian Emulation for Computer Models with Multiple Partial Discontinuities
计算机模型被广泛用于一系列科学学科来描述各种复杂的物理系统,但是要执行完全的不确定性量化,我们通常需要使用仿真器。仿真器是一种快速的统计结构,它模仿了评估计算机模型的缓慢过程,并极大地帮助了重要科学分析经常需要的计算密集型不确定性量化计算。我们研究的问题,具有多个,部分不连续性发生在已知的非线性位置的仿真计算机模型。我们引入时态框架,基于精心设计的相关结构,尊重不连续性,同时充分利用任何其他地方的平滑性/连续性。这导致了一个单一的模拟器对象,可以由所有运行同时更新,也用于有效的设计。这种方法避免了必须将输入空间分割成多个子区域。我们将TENSE框架应用于TNO挑战II,模拟奥林巴斯水库模型,该模型具有多个这样的不连续性。
2022-10-19 stat.AP stat.ME stat.ML
Bayesian averaging of computer models with domain discrepancies: a nuclear physics perspective
本文研究贝叶斯模型平均(BMA)的背景下,竞争昂贵的计算机模型在一个典型的核物理设置。虽然这是众所周知的,BMA帐户的模型本身的额外的不确定性,我们表明,它也通过显式分解减少预测误差的后验方差。我们将BMA扩展到竞争模型定义在不同研究区域的情况。任何模型的局部预测困难都可以通过从平均模型获得的预测来抵消,从而将单个模型扩展到整个域。我们通过教学模拟和应用程序来说明我们的方法,预测核观测值,表现出令人信服的改进BMA预测误差和经验覆盖概率。
2019-08-22 nucl-th physics.data-an stat.AP
Deep Ensembles from a Bayesian Perspective
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院)
深度集成可以被认为是深度学习中不确定性量化的当前最先进技术。虽然这种方法最初是作为一种非贝叶斯技术提出的,但也提出了支持其贝叶斯基础的论点。我们表明,深合奏可以被看作是一个近似的贝叶斯方法,通过指定相应的假设。我们的研究结果导致一个改进的近似结果在扩大的认知部分的不确定性。数值算例表明,改进的近似可以导致更可靠的不确定性。分析推导确保结果的简单计算。
2021-11-18 cs.AI cs.LG stat.ML
Probabilistic Models for Computerized Adaptive Testing: Experiments
Institute of Information Theory and Automation(信息理论与自动化研究所);Academy of Sciences of the Czech Republic(捷克科学院)
本文遵循以前的研究,我们已经在该地区的贝叶斯网络模型CAT。我们提出的模型,使用项目反应理论(IRT -标准CAT方法),贝叶斯网络,和神经网络。我们对经验数据进行了模拟CAT测试。这些测试的结果分别为每个模型和比较。
2016-02-01 cs.AI
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University(清华大学);University of Toronto(多伦多大学)
在本文中,我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan,它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同,ZhuSuan的特点是它深深植根于贝叶斯推断,从而支持各种概率模型,包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划,包括贝叶斯逻辑斯谛回归,变分自动编码器,深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE
Generalized Bayesian MARS: Tools for Emulating Stochastic Computer Models
针对随机计算机模型仿真,提出广义贝叶斯MARS框架,采用广义双曲分布作为似然,实现稳健、分位数及正态-瓦尔德回归,兼具简约、可扩展和强预测能力。
2023-06-02 stat.ME
Bayesian Statistical Inversion for High-Dimensional Computer Model Output and Spatially Distributed Counts
Virginia Tech(弗吉尼亚理工大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Alabama in Huntsville(亨茨维尔阿拉巴马大学)
本文提出了一种结合泊松响应与稀疏高斯过程替代模型的贝叶斯反问题方法,用于处理高维计算机模型输出和空间分布计数数据,通过模拟示例验证了其在参数恢复和预测准确性上的优势。
2025-12-01 stat.AP stat.CO
Evaluating Scalable Bayesian Deep Learning Methods for Robust Computer Vision
Uppsala University(乌普萨拉大学);ETH Zurich(苏黎世联邦理工学院)
虽然深度神经网络已经成为计算机视觉的首选方法,但绝大多数这些模型都无法正确捕捉其预测中固有的不确定性。估计这种预测不确定性可能至关重要,例如在汽车应用中。在贝叶斯深度学习中,预测不确定性通常被分解为不同类型的任意不确定性和认知不确定性。前者可以通过让神经网络输出某一概率分布的参数来估计。认知不确定性估计是一个更具挑战性的问题,虽然最近出现了不同的可扩展的方法,没有广泛的比较已经在现实世界的设置。因此,我们接受这一任务,并提出了一个全面的评估框架,可扩展的认知不确定性估计方法在深度学习。我们提出的框架是专门设计来测试在现实世界中的计算机视觉应用所需的鲁棒性。我们还应用这个框架提供了第一个适当的广泛和结论性的比较,目前两个国家的最先进的可扩展的方法:集成和MC辍学。我们的比较表明,集成始终提供更可靠和实用的不确定性估计。代码可在https://github.com/fregu856/evaluating_bdl上获得。
2020-04-07 cs.CV cs.LG stat.ML
Response probability distribution estimation of expensive computer simulators: A Bayesian active learning perspective using Gaussian process regression
本文提出基于高斯过程回归的贝叶斯主动学习方法,通过后验统计量设计停止准则和学习函数,高效且高精度地估计昂贵计算机模拟器的响应概率分布。
2024-08-31 stat.CO
Bayesian Calibration of Imperfect Computer Models using Physics-Informed Priors
NTNU(挪威科技大学)
我们介绍了一个计算效率的数据驱动的框架,适用于量化的物理参数和模型制定的计算机模型,微分方程表示的不确定性。我们构建物理信息先验,这是多输出GP先验,编码模型的结构在协方差函数。这是扩展到一个完全贝叶斯框架,量化的物理参数和模型预测的不确定性。由于物理模型往往是不完美的描述真实的过程中,我们允许模型偏离观察到的数据,考虑差异函数。对于推断,使用哈密顿蒙特卡罗。此外,开发了大数据的近似,将计算复杂度从$\mathcal{O}(N^3)$降低到$\mathcal{O}(N\cdot m^2),$,其中$m \ll N.$我们的方法在模拟和真实数据案例研究中得到证明,其中物理学由时间相关的ODE描述(心血管模型)和时空相关的PDE(热方程)。研究表明,在以下情况下,我们的建模框架可以恢复物理模型的真实参数:1)现实比我们的建模选择更复杂; 2)数据采集过程存在偏差,同时也能产生准确的预测。此外,它表明,我们的方法是计算速度比传统的贝叶斯校准方法。
2023-01-31 cs.LG stat.ME stat.ML
Selecting Data Adaptive Learner from Multiple Deep Learners using Bayesian Networks
Chiba University(千叶大学);The University of Tokyo(东京大学)
提出了一种使用多个深度学习器和贝叶斯网络来预测时间序列的方法。在这项研究中,输入的解释变量是贝叶斯网络节点与学习者。训练数据使用K-means聚类进行划分,并根据聚类训练多个深度学习器。贝叶斯网络用于确定哪个深度学习器负责预测时间序列。我们确定一个阈值,并选择后验概率等于或大于阈值的学习器,这可以促进更鲁棒的预测。将该方法应用于金融时间序列数据,并对日经225指数进行了预测。
2020-08-18 cs.AI cs.LG stat.ML
Variational Calibration of Computer Models
EURECOM(欧洲通信研究院)
黑盒计算机模型的贝叶斯校准提供了一个既定的框架,以获得模型参数的后验分布。传统的贝叶斯校准涉及计算机模型的仿真和使用高斯过程的加性模型差异项;然后使用MCMC进行推断。这些选择提出了计算和统计的挑战和限制,我们克服了提出使用近似深高斯过程和变分推断技术。其结果是一个实用的和可扩展的框架校准,获得竞争力的性能相比,国家的最先进的。
2018-10-29 cs.LG stat.AP stat.ME
Variational Inference with Vine Copulas: An efficient Approach for Bayesian Computer Model Calibration
随着计算机体系结构的进步,计算模型的使用激增,以解决许多科学应用中的复杂问题,如核物理和气候研究。然而,这种模型的潜力往往受到阻碍,因为它们往往是计算昂贵的,因此不适合不确定性量化。此外,它们通常没有用实时观测进行校准。我们开发了一个计算效率高的算法的基础上变分贝叶斯推断(VBI)的计算机模型与高斯过程的校准。不幸的是,VBI的速度和可扩展性降低时,适用于校准框架与依赖的数据。为了保持VBI的效率,我们采用了一个成对的数据似然分解,使用藤连接分离的信息依赖结构的数据从他们的边缘分布。我们提供了理论和经验证据,我们的方法的计算可扩展性,并描述了所提出的算法的有效实施的所有必要的细节。我们还展示了我们的方法为从业者提供的机会,通过校准核结合能的液滴模型的真实数据的例子。
2021-07-02 stat.AP stat.CO stat.ML
Improving Cancer Imaging Diagnosis with Bayesian Networks and Deep Learning: A Bayesian Deep Learning Approach
Faculty of Mathematics University of Waterloo Waterloo, Canada
本文研究结合贝叶斯网络与深度学习构建贝叶斯深度学习模型,以融合两者优势并减少不足,并分析其在医疗影像分类中的准确率与应用价值。
2024-03-28 cs.AI cs.LG eess.IV
Priors in Bayesian Deep Learning: A Review
ETH Zürich(苏黎世联邦理工学院)
虽然先验的选择是贝叶斯推断工作流程中最关键的部分之一,但最近的贝叶斯深度学习模型往往依赖于模糊的先验,例如标准高斯。在这篇综述中,我们强调了贝叶斯深度学习先验选择的重要性,并概述了(深度)高斯过程,变分自编码器和贝叶斯神经网络提出的不同先验。我们还概述了从数据中学习这些模型的先验知识的不同方法。我们希望激励贝叶斯深度学习的从业者更仔细地思考他们模型的先验规范,并在这方面为他们提供一些启发。
2022-03-18 cs.LG stat.ML
Bayesian Classification with Probit-link Split-and-merge Gaussian Process Prior in EEG-based Brain-Computer Interfaces
Indiana University(印第安纳大学);University of Michigan(密歇根大学);Emory University(埃默里大学)
提出一种基于Probit-link分裂合并高斯过程先验的贝叶斯生成模型,用于脑电图响应二元分类,实现时空特征选择并降低计算复杂度,同时保持预测精度。
2026-07-31 stat.AP stat.ML
Bayesian Computation in Deep Learning
Imperial College London(伦敦帝国学院);Purdue University(普渡大学)
本章综述SG-MCMC与VI两类近似贝叶斯计算方法,介绍其在贝叶斯神经网络和深度生成模型中的后验推理挑战及解决方案。
2025-10-19 cs.LG stat.ML
Bayesian sequential design of computer experiments for quantile set inversion
Université Paris-Saclay, CNRS, CentraleSupélec(巴黎萨克雷大学,法国国家科学研究中心,中央理工-高等电力学院);EDF R&D(法国电力集团研发部)
本文提出了一种基于贝叶斯方法和逐步不确定性降低原理的策略,用于高效近似分位数集反演问题中的目标集合。
2024-12-06 stat.AP stat.ML
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
提出了一种基于贝叶斯神经网络(BNN)和哈密顿蒙特卡罗(HMC)的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样,以量化系统中的不确定性。数值算例表明,在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果,计算成本几乎是独立的维度的问题,展示了潜在的方法,用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
A Bayesian approach for global sensitivity analysis of (multi-fidelity) computer codes
复杂的计算机代码被广泛用于科学和工程中,以模拟物理现象。此外,它们通常具有大量的输入参数。全球灵敏度分析旨在识别对产出有最重要影响的因素。Sobol指数是执行此类分析的流行工具。然而,他们的估计需要大量的模拟,往往不能在合理的时间限制下处理。为了解决这个问题,本文建立了一个高斯过程回归模型来替代计算机代码,并通过它来估计Sobol指数,目的是提供一种通过替代模型来估计Sobol指数的方法,该方法同时考虑了估计误差和替代模型误差。特别是,它使我们能够获得非渐近的置信区间的Sobol指数估计。此外,我们将建议的策略扩展到可以以不同准确度运行的多保真度计算机代码的情况。对于这样的模拟器,我们使用高斯过程回归模型的多元输出的扩展。
2013-07-08 math.ST stat.TH
Prior distributions for Gaussian processes in computer model emulation and calibration
针对计算机模型仿真与校准中高斯过程参数的MLE在小样本下不稳定的问题,本文提出适用于标量和向量输出的默认贝叶斯先验,并综述相关校准先验进展与软件工具。
2025-03-15 stat.AP stat.ME
A Survey on Bayesian Deep Learning
Massachusetts Institute of Technology(麻省理工学院);Hong Kong University of Science and Technology(香港科技大学)
一个全面的人工智能系统不仅需要用不同的“感官”感知环境(例如,视觉和听觉),但也推断世界的条件(甚至因果)关系和相应的不确定性。在过去的十年中,许多感知任务取得了重大进展,例如使用深度学习模型的视觉对象识别和语音识别。然而,对于更高级别的推理,具有贝叶斯性质的概率图模型仍然更强大和灵活。近年来,贝叶斯深度学习已经成为一个统一的概率框架,将深度学习和贝叶斯模型紧密集成。在这个一般框架中,使用深度学习感知文本或图像可以提高更高级别推理的性能,反过来,推理过程的反馈能够增强文本或图像的感知。本综述全面介绍了贝叶斯深度学习,并回顾了其在推荐系统、主题模型、控制等方面的最新应用。此外,我们还讨论了贝叶斯深度学习与其他相关主题(如神经网络的贝叶斯处理)之间的联系和区别。有关不断更新的项目页面,请参阅https://github.com/js05212/BayesianDeepLearning-Survey。
2021-01-06 cs.AI cs.CV cs.LG
Profile Bayesian Optimization for Expensive Computer Experiments
Virginia Tech(弗吉尼亚理工大学);NC State University(北卡罗来纳州立大学)
提出一种新型贝叶斯优化方法,通过两阶段采集策略和深度/浅层高斯过程代理,在控制参数范围内高效识别轮廓最优解,应用于旋转爆震发动机扩散器设计。
2026-06-11 stat.ME
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明,这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计,而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量,我们的方法得到了彻底验证。它的表现优于基线,具有很强的统计意义,并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Bayesian State Estimation for Unobservable Distribution Systems via Deep Learning
Cornell University(康奈尔大学)
研究了不可观测配电系统的状态估计问题。提出了一种用于实时应用的贝叶斯状态估计的深度学习方法。所提出的技术包括随机功率注入的分布学习、用于训练用于状态估计的深度神经网络的蒙特卡罗技术以及贝叶斯坏数据检测和过滤算法。研究了深层神经网络的结构特征。仿真说明了贝叶斯状态估计对不可观测系统的准确性,并证明了采用深度神经网络的好处。数值结果表明,贝叶斯状态估计对建模和估计误差的鲁棒性和坏数据和缺失数据的存在。与伪测量技术相比,通过深度学习神经网络的直接贝叶斯状态估计优于现有的基准。
2019-02-25 cs.LG stat.AP stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University(清华大学)
贝叶斯神经网络(BNN)通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而,这样的模型面临的挑战,贝叶斯推理在一个高维的,通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构,而是从神经架构搜索中获得灵感来表示网络结构。然后,我们开发了一个有效的随机变分推理方法,它统一了网络结构和权重的学习。从经验上讲,我们的方法表现出有竞争力的预测性能,同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由,我们的建模选择。
2021-03-27 cs.LG stat.ML
On the Bayesian calibration of expensive computer models with input dependent parameters
计算机模型旨在模拟复杂的真实系统,通常根据数据进行校准以提高性能。标准校准方法假设校准参数的最优值对模型输入是不变的。在一些现实世界的应用中,模型涉及复杂的参数化,其最佳值取决于模型的输入,这样的假设可能过于限制,并可能导致误导性的结果。我们提出了一个完全贝叶斯方法,产生输入相关的校准参数的最佳值,以及它的特点通过后验分布的相关不确定性。方法的核心是将校准参数制定为阶跃函数的思想,该阶跃函数的不确定结构通过二叉树过程适当地建模。我们的方法是特别适合于解决问题的计算机模型需要选择一个子模型从一组竞争的,但选择的“最好的”子模型可能会改变与输入值。该方法为给定输入的每个子模型产生选择概率。我们提出了合适的可逆跳跃操作,以方便具有挑战性的计算。我们评估了我们的方法对基准示例的性能,并用它来分析一个现实世界的应用程序与大规模的气候模型。
2017-08-31 stat.ME
Bayesian Inference on Brain-Computer Interfaces via GLASS
提出一种全贝叶斯框架下的高斯潜在通道稀疏时变模型(GLASS),通过潜在通道分解和软阈值高斯过程先验解决脑电信号低信噪比和时空相关性问题,显著提升了 ALS 患者的 P300 脑机接口分类性能。
2024-02-15 stat.AP stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain(谷歌大脑)
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而,在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法,只需访问模型的后验样本。与此同时,近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此,在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响,我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现,许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是,我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Bayesian Neural Networks: Essentials
IBM(国际商业机器公司)
贝叶斯神经网络利用概率层来捕获权重和激活的不确定性,并使用贝叶斯推理进行训练。由于这些概率层被设计成其确定性对应部分的直接替代,贝叶斯神经网络提供了一种直接和自然的方式来扩展传统的深度神经网络以支持概率深度学习。然而,由于贝叶斯神经网络的复杂性,理解、设计和训练贝叶斯神经网络是非常重要的。我们讨论了贝叶斯神经网络的本质,包括对偶(深度神经网络,概率模型),近似贝叶斯推理,贝叶斯先验,贝叶斯后验和深度变分学习。我们使用TensorFlow Probability API和代码示例进行说明。贝叶斯神经网络的主要问题是,深度神经网络的架构使得考虑大量连续层的不确定性变得非常冗余和昂贵。混合贝叶斯神经网络,它使用很少的概率层,公正地定位在网络中,提供了一个实用的解决方案。
2021-06-22 cs.AI cs.LG
Bayesian Deep Learning for Graphs
University of Pisa(比萨大学)
结构化数据的自适应处理是机器学习中的一个长期研究课题,其研究如何自动学习从结构化输入到各种性质的输出的映射。近年来,人们对图形的自适应处理越来越感兴趣,这导致了不同的基于神经网络的方法的发展。在这篇论文中,我们采取了不同的路线,开发了一个用于图学习的贝叶斯深度学习框架。本文首先回顾了该领域中大多数方法的原理,然后研究了图分类的可重复性问题。然后,我们继续通过以增量方式构建我们的深度架构,将图的深度学习的基本思想与贝叶斯世界联系起来。这个框架允许我们考虑具有离散和连续边缘特征的图,产生足够丰富的无监督嵌入,以达到几个分类任务的最新水平。我们的方法也服从贝叶斯非参数扩展,自动化几乎所有模型的超参数的选择。两个真实世界的应用程序展示了深度学习对图形的有效性。第一个问题是用监督神经模型预测分子模拟的信息理论量。之后,我们利用我们的贝叶斯模型来解决恶意软件分类任务,同时对过程内代码混淆技术具有鲁棒性。最后,我们试图将神经和贝叶斯世界中最好的融合在一起。由此产生的混合模型是能够预测多峰分布的输入图的条件下,随之而来的能力,建模的随机性和不确定性比大多数作品。总的来说,我们的目标是为图的深度学习的研究领域提供贝叶斯视角。
2022-02-24 cs.AI cs.LG stat.ML
High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models
使用贝叶斯方法在深度模型中进行学习最近引起了极大的关注。这在很大程度上是因为现代贝叶斯方法的可行性,可以产生可扩展的学习和推理,同时保持模型参数的不确定性。随机梯度MCMC算法(SG-MCMC)是一系列用于大规模贝叶斯学习的基于扩散的采样方法。在SG-MCMC中,多变量随机梯度恒温器(mSGNHT)增加每个感兴趣的参数,动量和恒温器变量,以保持稳定的分布作为目标后验分布。随着连续时间扩散中变量数目的增加,其数值逼近误差成为实际的瓶颈,因此需要更好地使用数值积分器。为此,我们建议使用一个有效的对称分裂积分mSGNHT,而不是传统的欧拉积分。我们证明,该计划是更准确,鲁棒性,收敛速度更快。这些属性在贝叶斯深度学习中被证明是可取的。在两个典型模型及其深度扩展上的大量实验表明,该方案改进了一般贝叶斯后验抽样,特别是对于深度模型。
2015-12-23 stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Fixed Inducing Points Online Bayesian Calibration for Computer Models with an Application to a Scale-Resolving CFD Simulation
提出了一种新的固定诱导点在线贝叶斯校准(FIPO-BC)算法,使用基准数据库有效地学习模型参数。标准贝叶斯校准(STD-BC)算法提供了一种统计方法来校准计算昂贵的模型的参数。然而,STD-BC算法的规模非常糟糕的数据点的数量和缺乏在线学习能力。提出的FIPO-BC算法大大提高了计算效率,并通过在一组预定义的诱导点上执行校准来实现在线校准。为了演示FIPO-BC算法的过程,进行了两个测试,找到最佳值并探索1)简单函数中的参数和2)尺度分辨湍流模型(SAS-SST)中的高波数阻尼因子的后验分布。将不同诱导点的FIPO-BC与STD-BC的结果(如校准的模型参数及其后验分布)进行了比较。发现一旦FIPO-BC中的诱导点的预定义集合足够精细,则FIPO-BC和STD-BC可以提供非常相似的结果。但是,FIPO-BC算法至少比STD-BC算法快十倍。同时,FIPO-BC的在线功能允许持续更新校准输出,并可能减少生成数据库的工作量。
2020-09-15 physics.comp-ph physics.data-an stat.ML
Computer code validation via mixture model estimation
当计算机代码用于对复杂物理系统建模时,其未知参数通过校准技术进行调整。可以将差异函数添加到计算机代码,以便捕获其与真实物理过程的差异。通过将计算机代码的验证问题视为贝叶斯选择模型问题,Damblin等人(2016)通过使用基于内在贝叶斯因子的贝叶斯测试程序,强调了代码差异和线性计算机代码之间在某些配置中可能存在的混淆效应。在本文中,我们通过应用Kamary等人(2014)最近开发的另一种贝叶斯模型选择技术来研究代码错误可识别性问题。通过将竞争模型嵌入到一个包含的混合模型中,Kamary等人(2014)的方法允许每个观察属于不同的混合分量,提供更灵活的推理,同时在计算成本方面与内在贝叶斯方法保持竞争力。通过使用Kamary等人(2014)中提到的共享参数技术,可以将不适当的无信息先验用于某些计算机代码参数,并且我们证明了所得的后验分布是正确的。然后,我们检查我们的后验估计的参数先验分布的选择的敏感性。我们说明了差异高斯过程先验的相关长度的值影响混合模型参数的贝叶斯推断,并且当相关长度不太小时,可以通过应用Kamary et al.(2014)方法来识别模型差异。最后,所提出的方法被应用在工业环境中的液压代码。
2019-03-08 stat.ME
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia(西澳大学);Murdoch University(莫道克大学);Monash University(莫纳什大学)
现代深度学习方法是解决无数挑战性问题的强大工具。然而,由于深度学习方法作为黑箱运行,因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集,用于设计,实施,训练,使用和评估贝叶斯神经网络,即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
Explicitly Bayesian Regularizations in Deep Learning
University of Delaware(特拉华大学)
泛化对于深度学习至关重要。与之前声称深度神经网络(DNN)具有由随机梯度下降实现的隐式正则化的作品相比,我们明确展示了特定类别DNN中的贝叶斯正则化,即,卷积神经网络(CNN)。首先,我们介绍了一种新的概率表示的CNN的隐藏层,并证明CNN对应于贝叶斯网络的串行连接。此外,我们还证明了接近输入的隐藏层形成先验分布,因此CNN具有基于贝叶斯正则化理论的显式贝叶斯正则化。此外,我们澄清了两个最近观察到的经验现象,是不符合传统的理论的泛化。最后,我们在一个合成数据集上验证了所提出的理论
2019-10-22 cs.LG stat.ML
Deep Bayesian Nonparametric Factor Analysis
Columbia University(哥伦比亚大学)
我们提出了一个深度生成因子分析模型与beta过程之前,可以近似复杂的非阶乘分布的潜在代码。我们概述了一个随机的期望最大化算法可扩展的推理在这个模型的一个特定的实例,并提出了一些初步的结果。
2020-11-09 cs.LG stat.ML
The Case for Bayesian Deep Learning
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Center for Data Science(数据科学中心);New York University(纽约大学)
贝叶斯方法的关键区别属性是边缘化而不是优化,而不是先验或贝叶斯规则。贝叶斯推理对于深度神经网络尤其引人注目。(1)神经网络通常被数据低估,并且可以表示对应于不同参数设置的许多不同但高性能的模型,这正是边缘化将对校准和准确性产生最大差异的时候。(2)深度集成被误认为是贝叶斯方法的竞争方法,但可以被视为近似贝叶斯边缘化。(3)神经网络的结构在函数空间中产生了结构化的先验,这反映了神经网络的归纳偏差,有助于它们的推广。(4)所观察到的损失的平坦区域中的参数与提供良好泛化的解的多样性之间的相关性进一步有助于贝叶斯边缘化,因为平坦区域在高维空间中占据大体积,并且每个不同的解将对贝叶斯模型平均值做出良好贡献。(5)与标准训练相比,贝叶斯深度学习的最新实践进展在准确性和校准方面有所改进,同时保持了可扩展性。
2020-01-29 cs.LG stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology(太原理工大学);Beihang University(北京航空航天大学)
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明,深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布,具有较高的精度。与传统的近似方法似然加权抽样算法相比,该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是,我们的方法可以在GPU上并行更容易,无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明,我们的模型饱和的训练样本的数量增长,我们不需要很多的训练样本,以获得合理的好结果。我们工作的另一个贡献是,我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
我们提出了一个全面的研究多层神经网络与二进制激活,依赖于PAC贝叶斯理论。我们的贡献是双重的:(i)我们开发了一个端到端的框架来训练二进制激活的深度神经网络,(ii)我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估,在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Adversarial Phenomenon in the Eyes of Bayesian Deep Learning
IBM Research AI(IBM研究院人工智能)
深度学习模型容易受到对抗性示例的影响,即通过故意的不可察觉的扰动获得的图像,使得模型以高置信度错误地分类它们。然而,阶级信心本身是不确定性的一个不完整的画面。因此,我们使用原则贝叶斯方法来捕获预测中的模型不确定性,以观察对抗性错误分类。我们提供了一个广泛的研究与不同的贝叶斯神经网络攻击的白盒和黑盒设置。比较了网络在噪声、攻击和干净测试数据下的行为。我们观察到贝叶斯神经网络在预测对抗性扰动时是不确定的,这种行为类似于随机高斯扰动。因此,我们得出结论,贝叶斯神经网络可以被认为是检测敌对的例子。
2017-11-22 cs.LG stat.ML
Towards Bayesian Deep Learning: A Framework and Some Existing Methods
Hong Kong University of Science and Technology(香港科技大学)
虽然视觉对象识别和文本理解等感知任务在人类智能中发挥着重要作用,但涉及推理,推理和规划的后续任务需要更高水平的智能。在过去的几年里,使用深度学习模型的许多感知任务取得了重大进展。然而,对于更高级别的推理,具有贝叶斯性质的概率图模型仍然更强大和灵活。为了实现涉及感知和推理的集成智能,自然需要在一个有原则的概率框架内紧密集成深度学习和贝叶斯模型,我们称之为贝叶斯深度学习。在这个统一的框架中,使用深度学习对文本或图像的感知可以提高高级推理的性能,反过来,推理过程的反馈能够增强对文本或图像的感知。本文提出了贝叶斯深度学习的一般框架,并回顾了其最近在推荐系统,主题模型和控制方面的应用。在本文中,我们还讨论了贝叶斯深度学习与其他相关主题(如神经网络的贝叶斯处理)之间的关系和区别。
2016-09-03 cs.CV cs.LG cs.NE
Bayesian Signal Matching for Transfer Learning in ERP-Based Brain Computer Interface
Emory University(埃默里大学);University of Michigan(密歇根大学)
本文提出贝叶斯信号匹配框架,用于ERP脑机接口中的迁移学习,通过分层混合模型提升EEG信号校准的准确性和泛化能力。
2025-10-16 stat.AP stat.CO