B-PINNs: Bayesian Physics-Informed Neural Networks for Forward and Inverse PDE Problems with Noisy Data
Brown University(布朗大学);Pacific Northwest National Laboratory(西北太平洋国家实验室)
提出了一种贝叶斯物理信息神经网络(B-PINN)来解决由偏微分方程(PDE)和噪声数据描述的正、逆非线性问题。在这个贝叶斯框架中,贝叶斯神经网络(BNN)结合PINN的偏微分方程作为前,而哈密顿蒙特卡罗(HMC)或变分推断(VI)可以作为后验的估计。B-PINN利用物理定律和分散的噪声测量来提供预测,并量化贝叶斯框架中噪声数据所产生的任意不确定性。与PINN相比,B-PINN除了量化不确定性外,由于其避免过拟合的能力,在大噪声场景中获得更准确的预测。我们对B-PINN后验估计的两种不同方法进行了系统的比较(即,HMC或VI),以及用于量化深度神经网络中的不确定性的dropout。我们的实验表明,HMC比VI更适合于B-PINNs的后验估计,而PINNs中采用的dropout很难提供具有合理不确定性的准确预测。最后,我们用截断的Karhunen-Loève(KL)展开与HMC或深度归一化流(DNF)模型相结合作为后验估计来替换先验中的BNN。KL是准确的BNN和更快,但这个框架不能很容易地扩展到高维问题,不像基于BNN的框架。
2020-03-13 cs.LG stat.ML
Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement
Facebook(脸书);University of Oxford(牛津大学)
优化多个竞争的黑箱目标在许多领域都是一个具有挑战性的问题,包括科学,工程和机器学习。多目标贝叶斯优化(MOBO)是一种样本有效的方法,用于确定目标之间的最佳权衡。然而,许多现有的方法表现不佳时,观测被噪声破坏。我们提出了一种新的采集功能,NEHVI,克服了这一重要的实际限制,通过应用贝叶斯处理流行的预期超体积改进(EHVI)标准,并整合在帕累托前沿的不确定性。我们认为,即使在无噪声的设置,并行生成多个候选人是一个化身的EHVI与帕累托前沿的不确定性,因此可以使用相同的底层技术来解决。通过这个镜头,我们得到一个自然的并行变量,$q$ NEHVI,减少计算复杂性的并行EHVI从指数多项式的批量大小。$q$ NEHVI是一步贝叶斯最优的超体积最大化在噪声和无噪声的环境中,我们表明,它可以有效地优化与基于梯度的方法,通过样本平均近似。从经验上讲,我们不仅证明了$q$ NEHVI比现有的MOBO方法对观测噪声的鲁棒性更强,而且还证明了它在大批量环境中实现了最先进的优化性能和有竞争力的墙时间。
2021-10-26 cs.AI cs.LG stat.ML
Bayesian leave-one-out cross-validation for large data
Aalto University(阿尔托大学);Technical University of Denmark(丹麦技术大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
模型推理,如模型比较、模型检查和模型选择,是模型开发的重要组成部分。留一交叉验证(LOO)是评估模型泛化能力的一种通用方法,但不幸的是,LOO不能很好地扩展到大型数据集。我们提出了一种使用近似推理技术和概率比例大小采样(PPS)的组合,用于大型数据集的快速LOO模型评估。我们提供了理论和经验的结果,显示出良好的性能,大数据。
2019-04-24 cs.LG stat.ML
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research(百度研究院)
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分,在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理,允许变分参数估计没有疾病后验或先验,使推理速度更快,其计算可回收。此外,我们提出了一个转换排名算法,是非常稳定的网络先验概率,在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中,我们对一个大型的现实生活中的医疗网络进行了比较研究,并对一个更大的(36,000倍)合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Accurate Bayesian Data Classification without Hyperparameter Cross-validation
King’s College London(伦敦国王学院)
我们扩展了标准的贝叶斯多变量高斯生成数据分类器考虑的共轭,正常的Wishart先验分布的推广,并推导出的超参数分析通过证据最大化。在高维数据制度的最佳超参数的行为进行了探讨。所得到的广义模型的分类精度是有竞争力的国家的最先进的贝叶斯判别分析方法,但没有通常的交叉验证的计算负担。
2017-12-28 cs.LG math.ST stat.ME
Variational Bayesian Monte Carlo with Noisy Likelihoods
Department of Basic Neuroscience, University of Geneva(日内瓦大学基础神经科学系)
变分贝叶斯蒙特卡罗(VBMC)是最近引入的框架,其使用高斯过程代理在具有黑盒、非廉价似然的模型中执行近似贝叶斯推断。在这项工作中,我们扩展VBMC来处理噪声对数似然评估,如那些基于模拟的模型。我们引入了新的“全球”采集功能,如预期的信息增益(EIG)和变分位数范围(VIQR),这是强大的噪声,可以有效地评估内的VBMC设置。在一个新颖的,具有挑战性的,噪声推理基准,包括各种模型与来自计算和认知神经科学的真实数据集,VBMC+VIQR实现了最先进的性能恢复地面真理后验和模型证据。特别是,我们的方法大大优于“本地”采集功能和其他代理为基础的推理方法,同时保持一个小的算法成本。我们的基准测试证实了VBMC作为一种通用的技术,用于样本高效的黑盒贝叶斯推断,也与噪声模型。
2020-10-19 cs.LG q-bio.NC q-bio.QM
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Edinburgh(爱丁堡大学)
我们考虑贝叶斯推断时,只有有限数量的噪声对数似然评价可以得到。例如,当将复杂的基于模拟器的统计模型拟合到数据时,会发生这种情况,并且使用合成似然(SL)方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题,其中的对数似然函数建模与分层高斯过程(GP)代理模型,这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机,我们开发了各种批量顺序的设计策略,允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明,我们的方法是强大的,高度并行化,样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Bayesian learning of noisy Markov decision processes
University of Cambridge(剑桥大学);CREST—ENSAE(法国国家统计与经济研究所-国立统计与经济管理学院);HEC Paris(巴黎高等商学院);University of Bristol(布里斯托大学)
我们考虑逆强化学习问题,也就是说,学习的问题,然后预测或模仿基于状态/动作数据的控制器。我们提出了一个统计模型,这样的数据,来自结构的马尔可夫决策过程。采用贝叶斯推理方法,我们展示了如何估计模型的潜在变量,以及如何在一个统一的框架中预测行动。设计了一种新的基于后验分布的马尔可夫链蒙特卡罗(MCMC)采样器。这一步包括一个参数扩展步骤,这是必不可少的良好的收敛性能的MCMC采样器。作为示例,该方法被应用于学习人类控制器。
2012-11-26 cs.LG stat.CO stat.ML
Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models
贝叶斯模型的未来预测性能可以使用贝叶斯交叉验证来估计。在这篇文章中,我们考虑高斯潜变量模型,其中使用拉普拉斯方法或期望传播(EP)来近似潜值的积分。我们研究了几个贝叶斯留一法(LOO)交叉验证近似的性质,在大多数情况下,可以计算出一个小的额外成本后形成的后验近似给定的全部数据。我们的主要目标是评估近似LOO交叉验证估计的准确性。也就是说,对于每种方法(拉普拉斯和EP),我们将近似快速计算与精确的蛮力LOO计算进行比较。其次,我们评估的拉普拉斯和EP近似本身对地面真理建立通过广泛的马尔可夫链蒙特卡罗模拟的准确性。我们的经验结果表明,基于LOO边缘分布(所谓的空腔分布)高斯近似的方法在快速方法中给出了最准确和可靠的结果。
2016-05-23 stat.CO stat.ML
On the convergence rate of noisy Bayesian Optimization with Expected Improvement
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室应用科学计算中心);National University of Singapore(新加坡国立大学)
针对贝叶斯优化中期望改进(EI)的理论收敛问题,本文在高斯过程(GP)先验假设下,首次建立带噪声观测的GP-EI渐近误差界及速率,并通过分析EI函数的探索利用性质,改进了无噪声和有噪声场景下的误差界。
2025-02-12 cs.LG math.OC stat.ML
Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"
本文是Gronau和Wagenmakers(2018)的文章的邀请讨论,可以在https://dx.doi.org/10.1007/s42113-018-0011-7上找到。
2018-10-12 math.ST stat.CO stat.ME
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而,灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法,噪声自然梯度,是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例,其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而,矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中,我们扩展噪声K-FAC,以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲,我们的方法始终优于现有的算法(例如,噪声K-FAC)的回归和分类任务。
2018-11-30 cs.LG stat.ML
Gaussian processes meet NeuralODEs: A Bayesian framework for learning the dynamics of partially observed systems from scarce and noisy data
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一个机器学习框架(GP-NODE),用于从非线性动态系统的部分、噪声和不规则观测中识别贝叶斯系统。该方法利用微分编程的最新发展,通过常微分方程求解器传播梯度信息,并使用Hamilton Monte Carlo采样和高斯过程先验对所观察到的系统状态进行贝叶斯推断。这使我们能够利用观测数据中的时间相关性,并有效地推断具有量化不确定性的合理模型的后验分布。此外,使用稀疏促进先验,如芬兰马蹄免费模型参数,使潜在的潜在动态的可解释和简约的表示发现。一系列的数值研究表明,建议的GP-NODE方法的有效性,包括捕食系统,系统生物学,和50维人体运动动力系统。总之,我们的研究结果提出了一种新的,灵活的和强大的工作流程,数据驱动的模型发现下的不确定性。本手稿随附的所有代码和数据可在\url{https://github.com/PredictiveIntelligenceLab/GP-NODEs}在线获取。
2021-03-04 cs.LG physics.data-an stat.ML
Bayesian model selection and misspecification testing in imaging inverse problems only from noisy and partial measurements
Heriot-Watt University, MACS \& Maxwell Institute for Mathematical Sciences, EH14 4AS, Edinburgh, United Kingdom
提出一种结合贝叶斯交叉验证与数据分裂的通用方法,用于在无真实数据情况下对成像逆模型进行选择与误设定检测,兼容扩散采样器等贝叶斯成像采样器,计算成本低且准确率高。
2026-05-28 cs.LG eess.IV stat.ME
Determination of hysteresis in finite-state random walks using Bayesian cross validation
考虑使用高阶马尔可夫链对有限状态随机游动的滞后建模问题。这封信介绍了一个贝叶斯框架,以确定,从数据中,在最近的历史上,一个轨迹是统计依赖的先前状态的数量。一般的建议是使用留一交叉验证,使用以封闭形式提供的易于计算的公式。重要的是,当存在大量数据时,使用平面模型先验的贝叶斯因子偏向于过于复杂的模型(更多滞后),而赤池信息准则(AIC)偏向于过于稀疏的模型(较少滞后)。
2018-07-20 cs.LG physics.data-an q-bio.QM
Strengthening the Case for a Bayesian Approach to Car-following Model Calibration and Validation using Probabilistic Programming
计算和存储器的限制历来阻碍交通模拟软件用户充分利用其基础的预测模型。特别地,当校准车辆跟随模型时,调节包括1)使用敏感性分析来限制要校准的参数的数量,以及2)使用从跨多个驾驶员的多个车辆跟随实例收集的数据来仅识别一组参数值。快捷方式还受到数据集大小不足的激励,对于这些数据集大小,驾驶员可能具有太少的实例以完全考虑其驾驶行为的变化。在本文中,我们证明了最新的技术进步可以使交通研究人员和工程师克服这些限制,并产生校准结果,1)优于行业标准方法,2)允许为数据集中的每个驱动程序估计一组独特的参数,即使给定少量的数据。我们提出了一种新的校准过程的基础上贝叶斯机器学习和概率规划的汽车跟驰模型,并将其应用到现实世界的数据从自然驾驶研究。我们还讨论了数学和软件工具的这种组合如何提供额外的好处,如更多的信息模型验证和将真实数据的不确定性纳入模拟轨迹。
2019-08-07 cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham(伯明翰大学);Iowa State University(爱荷华州立大学)
针对带噪声上下文的随机线性老虎机问题,提出一种基于贝叶斯框架的Thompson Sampling算法,并通过信息论分析证明其贝叶斯遗憾,发现延迟观测真实上下文可降低遗憾,实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Bayesian deep learning with hierarchical prior: Predictions from limited and noisy data
University of Notre Dame(圣母大学)
工程应用中的数据集往往是有限的和污染的,主要是由于不可避免的测量噪声和信号失真。因此,使用传统的数据驱动的方法来建立一个可靠的判别模型,并进一步将此确定的替代不确定性分析仍然是非常具有挑战性的。提出了一种深度学习方法,以提供基于有限和噪声数据的预测。为了解决噪声扰动,贝叶斯学习方法,自然有利于自动更新机制被认为是量化和传播模型的不确定性到预测量。具体而言,层次贝叶斯模型(HBM),首先采用描述模型的不确定性,这使得先验假设是不那么主观的,同时也使建议的替代更强大。接下来,贝叶斯推理被无缝地集成到DL框架中,DL框架又通过产生感兴趣的数量的概率分布而不是它们的点估计来支持概率编程。变分推理(VI)用于后验分布分析,其中参数空间上的似然函数的难以处理的边缘化问题以优化形式被框定,并且随机梯度下降方法被应用于解决该优化问题。最后,使用蒙特卡罗模拟在贝叶斯推断的预测阶段获得无偏估计,其中所提出的贝叶斯深度学习(BDL)方案能够通过分析传播的不确定性来提供输出估计的置信界。贝叶斯收缩的有效性证明在提高预测性能,使用污染的数据,并提供各种例子来说明概念,方法和算法,提出的BDL建模技术。
2019-07-08 cs.LG eess.SP physics.comp-ph
Bayesian Deployment Approval for Learned Landing Controllers under Finite Rollout Validation
Independent Researcher(独立研究者)
针对学习型自主控制器在有限仿真验证下的部署不确定性,提出基于贝叶斯后验推断的部署批准框架,通过后验批准概率和部署风险进行不确定性校准评估。
2026-05-26 cs.LG stat.AP
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago(芝加哥大学);The University of Illinois at Chicago(伊利诺伊大学香槟分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文研究了PAC-Bayes类型学习规则在二分类中的应用,通过平衡随机后验预测的训练误差与KL散度,提出了一种在噪声环境下改进泛化的学习方法,揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Rapid Bayesian identification of sparse nonlinear dynamics from scarce and noisy data
提出一种基于贝叶斯框架的快速概率方法 Bayesian-SINDy,通过高斯近似加速计算,在稀缺和含噪声数据下高效识别非线性动力学微分方程并量化不确定性,为生物数据分析和实时控制中的主动学习奠定基础。
2024-09-23 nlin.CD stat.ME stat.ML
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架,在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Bayesian Topological Learning for Brain State Classification
University of Tennessee(田纳西大学);US Army Research Laboratory(美国陆军研究实验室)
通过脑电信号研究人脑状态是人机通信的关键步骤。然而,由于脑电信号的噪声、非线性和非平稳性,其分类和分析具有挑战性。目前用于分析这些信号的方法往往不足,因为它们有几个规律性假设。这项工作提供了一个有效的,灵活的和抗噪声的方案来分析EEG提取相关的信息,同时遵守3N(噪声,非线性和非平稳)的数据的性质。我们实现了一个拓扑工具,即持久的同源性,跟踪拓扑特征随时间间隔的演变,并结合个人的期望作为先验知识,通过贝叶斯框架计算后验分布。依靠这些后验分布,我们应用贝叶斯因子分类噪声EEG测量。这种贝叶斯分类方案的性能,然后与其他现有的方法进行比较EEG信号。
2019-12-18 cs.LG stat.ME stat.ML
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University(俄亥俄州立大学)
针对噪声观测下昂贵混合模型的约束全局优化问题,提出约束上分位数界(CUQB)方法,利用复合结构与可微近似提升采样效率,提供次线性收敛保证与不可行性检测,数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
A Generalization of the Noisy-Or Model
Stanford University(斯坦福大学);Rockwell International Science Center(罗克韦尔国际科学中心)
Noisy-Or模型便于描述贝叶斯网络中的一类不确定关系[Pearl 1988]。Pearl描述了布尔变量的Noisy-Or模型。在这里,我们将模型推广到nary输入和输出变量和任意函数以外的布尔或功能。这种推广是一个有用的建模辅助贝叶斯网络的建设。我们举例说明,包括数字电路诊断和网络的可靠性分析。
2013-03-06 cs.AI
Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems
Xwing
本文将黑盒安全验证建模为贝叶斯优化问题,通过概率代理模型与三种采集函数高效搜索失效并估计失效概率,以极少样本实现高精度验证,并已应用于FAA自主货运飞机认证。
2024-06-29 cs.LG stat.AP
Efficient leave-one-out cross-validation for Bayesian non-factorized normal and Student-t models
交叉验证可用于测量模型的预测准确性,以进行模型比较、平均或选择。标准的留一交叉验证(LOO-CV)要求观测模型可以分解为简单的项,但时间和空间统计学中的许多重要模型不具备这一特性,或者在强制分解为简单项时效率低下或不稳定。我们推导出如何有效地计算和验证任何贝叶斯非因子分解模型的精确和近似LOO-CV,其结果值为多元正态分布或Student- t分布。我们演示的方法使用滞后同时自回归(SAR)模型作为案例研究。
2020-10-01 stat.ME
Bayesian uncertainty-aware deep learning with noisy labels: Tackling annotation ambiguity in EEG seizure detection
Department of Electrical and Computer Engineering, Johns Hopkins University(约翰霍普金斯大学电气与计算机工程系);Department of Electrical and Computer Engineering, Boston University(波士顿大学电气与计算机工程系)
本文提出BUNDL算法,通过整合领域知识和贝叶斯框架,设计基于KL散度的损失函数,提升EEG癫痫检测的鲁棒性,验证了其在噪声标签下的有效性及跨机构泛化能力。
2026-01-05 cs.LG eess.SP stat.ML
Focused econometric estimation for noisy and small datasets: A Bayesian Minimum Expected Loss estimator approach
许多推理情形的中心是参数的有理函数的估计。统计学和计量经济学的主流估计这些数量的基础上插件的方法,而不考虑的主要目标的推理情况。我们提出了贝叶斯最小预期损失(MELO)的方法,明确关注的功能,并计算其频率变异。MELO估计量的渐近性质类似于插入式方法。然而,模拟实验表明,我们的建议是更好的情况下,其特征在于小样本量和噪声模型。此外,我们在应用程序中观察到,当数据集信息量不是很大时,我们的方法比常用的替代方法提供更低的标准误差。
2018-09-19 econ.EM stat.ME
Joint Bayesian estimation of close subspaces from noisy measurements
在这封信中,我们考虑两组定义为嵌入在噪声中的子空间信号的观测,我们希望分析这两个子空间之间的距离。后者需要评估子空间之间的角度,这个问题让人想起著名的Procrustes问题。贝叶斯方法的研究,其中感兴趣的子空间被认为是随机的联合先验分布(即宾汉分布),这使得两个子空间的接近程度进行调整。在这个框架内,最小均方距离估计的两个子空间制定和实施通过吉布斯采样器。本文还提出了一种基于交替最大后验估计的简单方案。新的计划,以提供更准确的估计的角度之间的子空间,相比基于奇异值分解的独立估计的两个子空间。
2013-10-01 stat.ME stat.ML
A Surrogate-Assisted Uncertainty-Aware Bayesian Validation Framework and its Application to Coupling Free Flow and Porous-Medium Flow
现有的地球科学模型验证研究往往忽视或部分考虑到观测、模型选择和输入参数的不确定性。在这项工作中,我们开发了一个统计框架,采用完全贝叶斯方法进行定量不确定性感知验证的概率建模技术。验证任务的贝叶斯观点产生了对参考数据的最佳偏差-方差权衡。它为模型验证提供了一个综合的度量标准,其中包括参数和概念的不确定性。此外,代理建模技术,即贝叶斯稀疏多项式混沌扩展,是用来加速计算要求的贝叶斯校准和验证。我们应用这个验证框架进行比较评估模型耦合自由流与多孔介质流。对于这种耦合流动系统,正确选择界面条件和适当的模型参数对于物理上一致的建模和精确的应用数值模拟至关重要。我们开发了一个基准的情况下,使用斯托克斯方程来描述的自由流动,并考虑不同的模型的多孔介质隔室和耦合在流体-多孔界面。这些模型包括一个多孔介质模型,使用达西定律在代表性的基本体积尺度与经典或广义的接口条件和孔隙网络模型与其相关的耦合方法。我们研究了耦合流问题的行为考虑一个基准情况下,孔隙尺度解决模型提供了参考解决方案。与建议的框架,我们进行敏感性分析,量化参数的不确定性,证明每个模型的预测能力,并进行概率模型比较。
2022-06-14 stat.AP
Unbiased estimation of log normalizing constants with applications to Bayesian cross-validation
后验分布通常具有难以处理的归一化常数,称为边缘似然或证据,这对于通过贝叶斯因子进行模型比较很有用。这激发了许多方法来估计统计学中归一化常数的比率。在计算物理学中,这些比率的对数对应于自由能差。结合无偏马尔可夫链蒙特卡罗估计与路径抽样,也称为热力学积分,我们提出了新的无偏估计量的比值归一化常数的对数。作为副产品,我们提出了贝叶斯交叉验证准则的无偏估计量。所提出的估计是一致的,渐近正态的,可以很容易地受益于并行处理设备。考虑各种示例用于说明。
2018-10-02 stat.CO stat.ME
Robust leave-one-out cross-validation for high-dimensional Bayesian models
针对贝叶斯 LOO-CV 中经典重要性采样估计量渐近方差可能无限的问题,提出一种有限方差的新型混合估计量,兼具稳健性、高效率与近单次拟合成本。
2023-09-27 stat.CO stat.ME stat.ML
Bayesian Optimization of Hyperparameters from Noisy Marginal Likelihood Estimates
贝叶斯模型通常涉及通过最大化边际似然来确定的一小组超参数。贝叶斯优化是一种流行的迭代方法,其中底层函数的高斯过程后验通过新的函数评估顺序地更新。获取策略使用该后验分布来决定在何处放置下一个函数评估。我们提出了一种新的贝叶斯优化框架的情况下,用户控制的计算工作量,因此精度的功能评估。这是计量经济学中常见的情况,通常通过马尔可夫链蒙特卡罗(MCMC)或重要性抽样方法计算边际似然,边际似然估计量的精度由样本数量决定。新的获取策略使优化器可以选择使用廉价的噪声评估来探索函数,从而更快地找到最佳值。该方法被应用于估计先验超参数在两个流行的模型对美国宏观经济时间序列数据:稳态贝叶斯向量自回归(BVAR)和随机波动率的时变参数BVAR。该方法比传统的贝叶斯优化或网格搜索更快地找到最优解。
2022-08-17 econ.EM stat.CO
Online Optimization with Costly and Noisy Measurements using Random Fourier Expansions
Delft University of Technology(代尔夫特理工大学)
本文分析了DONE,在线优化算法,迭代最小化一个未知的功能的基础上昂贵和嘈杂的测量。该算法以随机傅立叶展开(RFE)的形式维护未知函数的代理。每当有新的测量值可用时,替代值就会更新,然后用于确定下一个测量点。该算法与贝叶斯优化算法相当,但其每次迭代的计算复杂性不依赖于测量的数量。我们得出了几个理论结果,提供洞察力的超参数的算法应该如何选择。该算法相比,贝叶斯优化算法的基准问题和三个应用程序,即,光学相干断层扫描,光学波束形成网络调整,和机器人手臂控制。结果发现,DONE算法是明显快于贝叶斯优化在讨论的问题,同时实现类似或更好的性能。
2016-09-29 cs.LG math.OC stat.ML
An Improved Bayesian Semiparametric Model for Palaeoclimate Reconstruction: Cross-validation Based Model Assessment
基于化石的古气候重建是生态科学的一个重要领域,在全球气候变化辩论的背景下获得了动力。层次贝叶斯范式为研究这样重要的科学问题提供了一个有趣的平台。然而,我们的交叉验证为基础的评估现有的贝叶斯分层模型相对于两个现代的代理数据集的基础上摇蚊和花粉,分别显示,该模型是不够的数据集。在本文中,我们模拟的物种组合(组成数据)的零膨胀多项分布,而模拟的物种响应函数,基于Dirichlet过程的高斯混合。这种建模策略显着提高了性能,最近开发的模型充分性的正式贝叶斯测试表明,我们的新模型适用于两个现代数据集。此外,结合零膨胀假设,重要性恢复马尔可夫链蒙特卡罗(IRMCMC)和最近发展的基于变换的马尔可夫链蒙特卡罗(TMCMC),我们开发了一个强大的和有效的计算方法。
2013-12-12 stat.AP
Bayesian estimate of the degree of a polynomial given a noisy data sample
回归分析是一种广泛使用的对离散数据集进行连续表示的方法.当回归模型不是基于对数据背后的物理学的数学描述时,启发式技术起着至关重要的作用,模型的选择可能对结果产生重大影响。在本文中,确定最合适的模型的问题制定和解决贝叶斯选择。此外,概率演算是在不同方案中进行选择的最佳方法。所得结果适用于一元和二元多项式作为热力学偏微分方程系统的试探解的情况。
2013-07-17 math.PR math.ST physics.data-an
Semiparametric Bayesian Networks
Universidad Politécnica de Madrid(马德里理工大学)
我们介绍半参数贝叶斯网络,结合参数和非参数条件概率分布。他们的目标是结合两个组件的优点:参数模型的有限复杂性和非参数模型的灵活性。我们证明了半参数贝叶斯网络推广了两种著名的贝叶斯网络:高斯贝叶斯网络和核密度估计贝叶斯网络。为此,我们考虑两个不同的条件概率分布所需的半参数贝叶斯网络。此外,我们提出了修改的两个著名的算法(贪婪爬山和PC)学习的半参数贝叶斯网络的结构数据。为了实现这一点,我们采用了基于交叉验证的评分函数。此外,使用验证数据集,我们应用早期停止标准来避免过拟合。为了评估所提出的算法的适用性,我们进行了详尽的实验合成数据采样混合线性和非线性函数,多元正态数据采样高斯贝叶斯网络,真实数据从UCI存储库,轴承退化数据。作为这个实验的结果,我们得出结论,该算法准确地学习参数和非参数组件的组合,同时实现与最先进的方法所提供的性能相媲美。
2021-09-07 cs.LG stat.ML
A Generalized Bayesian Approach to Model Calibration
在模型开发中,模型校准和验证在学习可靠模型方面发挥着互补作用。在这篇文章中,我们通过将验证数学转化为用于模型校准和回归的广义贝叶斯方法,将贝叶斯验证度量框架扩展为通用校准和验证框架。我们根据用户对模型数据一致性的定义执行贝叶斯回归。这允许对任何类型的数据分布进行模型选择,不像贝叶斯和标准回归技术,在某些情况下“失败”。我们表明,我们的工具能够在一个框架中表示和组合最小二乘法,基于似然的,贝叶斯校准技术,同时能够概括这些方法的各个方面。该工具还提供了对预测包络(也称为置信带)的解释的新见解,同时使分析师能够对这些包络进行更多的控制。我们证明了我们的方法的有效性,通过提供三个数值例子来校准不同的模型,包括冲击载荷下的搭接接头的能量耗散模型。通过相对于验证度量校准模型,期望模型最终通过,可靠性和安全性度量可以在校准阶段被集成到模型中并被模型自动采用。
2020-07-31 stat.ME
Statistical comparison of classifiers through Bayesian hierarchical modelling
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所 (IDSIA));University of Ljubljana(卢布尔雅那大学)
通常人们通过零假设显著性检验(nhst)来比较两个竞争分类器的准确性。然而,nhst测试遭受的重要缺点,这可以通过切换到贝叶斯假设检验克服。我们提出了一个贝叶斯分层模型,共同分析交叉验证结果,由两个分类器在多个数据集。它返回两个分类器的准确度实际上相等或显著不同的后验概率。分层模型的另一个优点是,通过联合分析所有数据集上获得的结果,与对给定数据集上获得的交叉验证结果进行平均的通常方法相比,它减少了估计误差。
2016-11-22 cs.LG stat.ME stat.ML
Leave-One-Out Cross-Validation for Bayesian Model Comparison in Large Data
最近,新的模型评估方法,基于二次抽样和后验近似,已被提出用于缩放留一交叉验证(LOO)到大数据集。虽然这些方法在估计单个模型的预测性能方面效果很好,但在模型比较中功能较弱。我们提出了一种有效的方法,通过结合快速近似LOO代理人与精确LOO子采样使用的差异估计器和供应的缩放特性方面的证据来估计预测性能的差异。由此产生的方法可以比以前的方法更有效的数量级,以及更适合于模型比较。
2020-01-03 stat.ME
Closed-form Bayesian homography estimation from noisy point correspondences
Technische Hochschule Augsburg(奥格斯堡应用技术大学);TTZ Landsberg am Lech(兰茨贝格技术转化中心)
本文提出一种闭式贝叶斯单应性估计方法,融合测量不确定性与先验知识,提供后验分布,在合成和真实实验中优于DLT并输出不确定性。
2026-09-15 cs.CV stat.ME
Noisy Bayesian Active Learning
我们考虑噪声贝叶斯主动学习的问题,其中我们给出了一个有限的功能集$\mathcal{H}$,一个样本空间$\mathcal{X}$,和一个标签集$\mathcal{L}$。$\mathcal{H}$中的一个函数为$\mathcal{X}$中的样本分配标签。目标是识别生成标签的函数,即使样本上的标签查询结果被独立噪声破坏。更确切地说,目标是通过自适应地和以策略性方式选择查询,使用尽可能少的标签查询,将$\mathcal{H}$中的函数之一声明为具有高置信度的真实标签生成函数。贝叶斯主动学习中以前的工作考虑了广义二进制搜索及其在噪声情况下的变体,并分析了这些采样策略所需的查询数量。在本文中,我们表明,这些计划是,在一般情况下,次优。相反,我们提出并分析了一种替代策略的样本收集。我们的抽样策略是出于贝叶斯主动学习和主动假设检验之间的连接,是基于查询标签的样本,最大限度地提高外在的詹森-香农分歧在每一步。我们提供了上界和下界的性能,这种采样策略,并表明,这些界限优于以前的界限。
2013-12-09 cs.IT math.IT math.OC
Bayesian Optimization with Expensive Integrands
Cornell University(康奈尔大学);School of Operations Research & Information Engineering(运筹学与信息工程学院)
我们提出了一个贝叶斯优化算法的目标函数是昂贵的评估功能的总和或积分,允许嘈杂的评价。这些目标函数出现在用于调整机器学习超参数的多任务贝叶斯优化、通过模拟进行的优化以及具有随机环境条件的实验的顺序设计中。我们的方法是平均情况下最优的建设时,一个单一的评估被积保持在我们的评估预算。实现这种一步最优性需要解决一个具有挑战性的价值的信息优化问题,为此,我们提供了一种新的有效的离散化的计算方法。我们还提供了一致性证明,我们的方法在连续和离散有限域的目标函数的总和。在数值实验中,与以前的最先进的方法相比,包括那些也利用总和或积分结构,我们的方法在广泛的问题中表现良好或更好,并且在评估有噪声或被积函数在积分变量中平滑变化时提供了显着的改进。
2018-03-23 cs.LG stat.ML
Towards Improving the Predictive Capability of Computer Simulations by Integrating Inverse Uncertainty Quantification and Quantitative Validation with Bayesian Hypothesis Testing
核系统建模与仿真的最佳估计加不确定性(BEPU)方法要求必须量化预测不确定性,以证明所研究的设计保持在验收标准范围内。严格的不确定性量化(UQ)过程应同时考虑可量化不确定性的多个来源:(1)由于随机性或缺乏知识而导致的参数不确定性;(2)由于测量噪声而导致的实验不确定性;(3)由于缺失/不完整的物理和数值近似误差而导致的模型不确定性,以及(4)使用替代模型时的代码不确定性。在本文中,我们提出了一个全面的框架来整合逆UQ和定量验证的结果,以提供强大的预测,使所有这些来源的不确定性都可以考虑在内。逆UQ是基于实验数据量化参数不确定性,同时考虑模型、规范和测量的不确定性。在验证步骤中,我们使用基于贝叶斯假设检验的定量验证度量。然后,使用生成的度量(称为贝叶斯因子)来形成加权因子,以结合贝叶斯模型平均过程中参数不确定性的先验知识和后验知识。通过这种方式,模型预测将能够整合来自逆UQ和验证的结果,以考虑所有可用的不确定性来源。该框架是通过弥合模型和数据之间的差距,朝着解决ANS核“模拟/实验”大挑战迈出的一步。
2021-05-02 stat.CO
Bayesian cross-validation of geostatistical models
验证或批评地理参考数据的模型的问题是具有挑战性的,因为结论可能会根据验证集的位置而显着变化。这项工作提出了使用交叉验证技术来评估空间模型在不同区域的空间域中的拟合优度,以考虑验证集的选择中的不确定性。基本交叉验证方案的一个明显问题是,它基于仅从样本位置中选择几个来验证模型,可能使结论对将数据划分为训练和验证案例的情况敏感。这个问题的一个可能的解决方案是考虑所有可能的数据配置,分为训练和验证观察。从贝叶斯的角度来看,这可能需要计算,因为参数的估计通常需要蒙特卡罗马尔可夫链方法。为了解决这个问题,我们提出了使用估计的差异函数,考虑到所有配置的数据分区在一个计算效率高的方式的基础上采样的重要性响应。特别是,我们考虑的不确定性的位置分配给他们的先验分布。此外,我们提出了一个分层的交叉验证计划,考虑到空间异质性,减少模型评估考虑的估计预测差异措施的总方差。我们说明了我们的建议的优点,均匀和非均匀的空间过程的模拟例子,调查我们的建议在方案中的优惠抽样设计的影响。该方法与应用程序的降雨数据集。
2018-02-16 stat.CO
Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
我们调查最佳后验最近推出的\cite{begin2016pac}卡方发散PAC贝叶斯边界的性质,他们的分布,计算的可扩展性和测试集的性能。对于一个有限的分类器集,我们推导出三个距离函数的界限:KL-发散,线性和平方距离。最优后验权重与经验风险的偏差成比例,通常具有子集支持。对于均匀先验,在按这些风险排序的分类器子集上的后验中搜索就足够了。我们将线性距离的界最小化作为凸规划,并得到其最优后验的封闭形式的表达式。而平方距离问题在一定条件下是一个拟凸规划,KL-发散问题是一个非凸优化(一个凸函数的差)问题。为了计算这样的最佳后验,我们得到快速收敛的不动点(FP)方程。我们将这些方法应用于SVM正则化参数值的有限集,以产生具有紧边界的随机SVM。我们在各种UCI数据集上对我们的最佳后验和已知的基于KL发散的后验进行了全面的性能比较,这些数据集具有不同的风险值范围和方差等。基于卡方发散的后验具有较弱的边界和更差的测试误差,暗示了基于KL发散的后验的潜在正则化。我们的研究突出了发散函数对PAC-Bayesian分类器性能的影响。我们比较我们的随机分类器与基于交叉验证的确定性分类器。后者具有更好的测试误差,但我们的样本更稳健,具有可量化的泛化保证,并且计算速度更快。
2020-08-14 cs.LG math.ST stat.ML
Bayesian nonparametric analysis for the detection of spikes in noisy calcium imaging data
最近在小型化荧光显微镜的进步,使人们有可能通过分析细胞内的钙信号,在清醒的行为动物的神经元对外部刺激的反应。一个持续的挑战是去卷积的时间信号,以提取尖峰列车从嘈杂的钙信号的时间序列。在这篇手稿中,我们提出了一个嵌套贝叶斯有限混合规范,允许尖峰活动的估计,同时,重建在不同的实验条件下的钙瞬态尖峰的幅度分布。该模型利用两个嵌套层的随机离散混合先验借用实验之间的信息,并发现神经元对不同刺激的反应的分布模式的相似性。此外,尖峰的强度值也在实验条件内和实验条件之间聚类,以确定共同(重现)响应幅度的存在。仿真研究和艾伦脑天文台的数据集的分析表明,该方法在聚类和检测神经元活动的有效性。
2022-01-27 stat.AP
Unbiased estimator for the variance of the leave-one-out cross-validation estimator for a Bayesian normal model with fixed variance
当使用留一交叉验证(LOO-CV)评估和比较模型时,估计值的不确定性通常使用抽样分布的方差进行评估。考虑不确定性很重要,因为在某些情况下估计值的变异性可能很高。Bengio和Grandvalet(2004)的一个重要结果指出,没有一般的无偏方差估计可以构建,这将适用于任何效用或损失度量和任何模型。我们表明,它是可能的,以构建一个无偏估计量考虑一个特定的预测性能的措施和模型。我们证明了一个无偏的抽样分布方差估计的贝叶斯正态模型与固定的模型方差使用预期对数逐点预测密度(elpd)效用得分。这个例子表明,它是可能的,以获得改进的,特定于问题的,无偏估计量评估LOO-CV估计的不确定性。
2022-02-15 stat.ME
Perturbative adaptive importance sampling for Bayesian LOO cross-validation
NIH Clinical Center Rehabilitation Medicine Epidemiology and Biostatistics Section(NIH临床中心康复医学流行病学与生物统计学部门);UCLA Department of Computational Medicine(UCLA计算医学系);UCLA Department of Statistics(UCLA统计学系);Data Science Research Center(数据科学研究中心);Duke Kunshan University(杜克-昆山大学);NIH NIDDK
本文提出扰动自适应重要性采样方法,通过变换实现高方差问题的解决,结合多种变换策略降低LOO交叉验证的重拟合需求。
2026-03-25 cs.AI cs.LG math.SP
Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC
留一法交叉验证(LOO)和广泛适用的信息准则(WAIC)是使用在参数值的后验模拟中评估的对数似然估计拟合贝叶斯模型的逐点样本外预测准确度的方法。LOO和WAIC相对于AIC和DIC等简单的预测误差估计具有各种优势,但在实践中使用较少,因为它们涉及额外的计算步骤。在这里,我们为LOO和WAIC提供了快速稳定的计算,可以使用现有的模拟绘制来执行。我们引入了一个有效的计算LOO使用帕累托平滑重要性抽样(PSIS),一个新的程序,正则化的重要性权重。虽然WAIC是渐近等于LOO,我们证明了PSIS-LOO是更强大的有限的情况下,弱先验或有影响力的意见。作为我们计算的副产品,我们还获得了近似的标准误估计的预测误差和两个模型之间的预测误差的比较。我们实现了一个R包中的计算称为“厕所”,并证明使用模型适合与贝叶斯推断包斯坦。
2016-09-12 stat.CO stat.ME
Slamming the sham: A Bayesian model for adaptive adjustment with noisy control data
本文提出一种基于贝叶斯层次建模的自适应调整方法,在重复实验中利用数据决定调整程度,相比差异估计提高统计效率,并在真实和模拟数据上验证其实际影响。
2025-01-21 stat.AP stat.ME
A Bayesian Programming Approach to Car-following Model Calibration and Validation using Limited Data
College of Engineering and Computing(工程与计算学院)
针对工作区场景下跟驰模型标定困难的问题,采用贝叶斯方法评估数据集充足性、对比不同标定方法、探索分层建模优势,并将成果应用于沃尔普跟驰模型的概率建模与验证。
2023-07-19 cs.LG stat.ME stat.ML
Bayesian model selection in the $\mathcal{M}$-open setting -- Approximate posterior inference and probability-proportional-to-size subsampling for efficient large-scale leave-one-out cross-validation
竞争性统计模型的比较是心理学研究的重要组成部分。从贝叶斯的角度来看,在文献中已经提出了各种方法来模型比较和选择。然而,这些方法的适用性很大程度上取决于关于模型空间$\mathcal{M}$的假设,即所谓的模型视图。此外,传统的方法,如留一交叉验证(LOO-CV)估计预期的对数预测密度(ELPD)的模型,以研究如何推广的样本外,这很快变得计算效率低下时,样本量变得很大。在这里,我们提供了一个关于近似帕累托平滑重要性抽样留一交叉验证(PSIS-LOO)的教程,这是一种计算效率高的贝叶斯模型比较方法。首先,我们讨论了几个模型视图和每个视图中可用的贝叶斯模型比较方法。然后,我们使用贝叶斯逻辑斯谛回归作为一个运行的例子,如何在实践中应用该方法,并表明它优于其他方法,如LOO-CV或信息标准的计算工作量,同时提供类似的准确ELPD估计。在第二步中,我们展示了如何通过使用后验近似结合概率比例大小子采样来有效地比较大规模模型。我们展示了如何根据所提供的ELPD估计值比较竞争模型,以及如何进行后验预测检查以防止在考虑中的模型中过度自信。我们的结论是,该方法是有吸引力的数学心理学家谁的目的是比较几个竞争的统计模型,这可能是高维和大数据制度。
2020-05-27 stat.AP stat.CO