On Bayesian Estimation of Densities and Sampling Distributions: the Posterior Predictive Distribution as the Bayes Estimator
本文给出了两个突出的贝叶斯估计问题的最优性结果:平方全变差函数的抽样分布估计和$L^1$ -平方损失函数的密度估计.后验预测分布为这些问题提供了解决方案。文中给出了一些例子,并讨论了分布函数的贝叶斯估计问题。证明了密度估计的相合性。
2021-08-21 math.ST stat.TH
Double Bayesian Smoothing as Message Passing
最近,提出了一种基于两个贝叶斯过滤器互连的过滤算法开发新方法,称为双贝叶斯过滤。在这篇手稿中,我们表明,同样的概念方法可以用来设计一种新的平滑方法,称为双贝叶斯平滑。双贝叶斯平滑器将在其前向传递中使用的双贝叶斯滤波器与在其后向传递中使用的两个后向信息滤波器的互连相结合。作为一般方法的一个具体应用,给出了条件线性高斯系统的双贝叶斯平滑算法的详细推导。两个特定的动态系统的数值结果表明,这些算法可以实现更好的复杂性,精度的权衡和跟踪能力比其他平滑技术最近出现在文献中。
2019-07-25 math.ST stat.TH
Consistent non-parametric Bayesian estimation for a time-inhomogeneous Brownian motion
建立了非时齐布朗运动离散系数非参数贝叶斯估计的后验相合性。
2013-04-24 math.ST stat.TH
Bayesian Lasso : Concentration and MCMC Diagnosis
利用Bayesian LASSO的后验分布,构造了参数空间上的半范数。我们证明了分拆函数依赖于l 1和l 2范数的比值,并提出了三种制度。推导了贝叶斯LASSO算法的收敛性,并给出了MCMC算法的收敛性诊断.关键词:LASSO,贝叶斯,MCMC,对数凹,几何,不完全Γ函数
2018-02-22 math.ST stat.TH
Harmonic Bayesian prediction under alpha-divergence
我们研究贝叶斯收缩方法构建预测分布。我们考虑多元正态模型与已知的协方差阵,并表明贝叶斯预测密度相对于Stein的调和先验占主导地位的最佳不变贝叶斯预测密度,当维数是大于3。从真实分布到预测分布的α-发散被采用作为损失函数。
2017-07-28 math.ST stat.TH
Why bother with Bayesian t-tests?
鉴于通过经典(点形式)显着性检验进行假设检验的众所周知的基本问题,人们普遍转向替代方法,通常集中在贝叶斯t检验上。我们发现贝叶斯t检验方法并不能解决经典显著性检验所观察到的问题,贝叶斯和经典t检验在数学上是等价的,并且在数量级上线性相关(因此贝叶斯t检验除了点式显着性检验所提供的信息外,不提供进一步的信息),贝叶斯t检验存在严重的误解风险,在某些情况下,比经典检验更有问题(例如,在实验中,负样本均值给出了支持正总体均值的强贝叶斯t检验证据)。我们不建议回到经典的、点形式的显著性方法来进行假设检验。相反,我们认为一种替代的分布方法的显着性检验,解决了观察到的问题与经典的假设检验,并提供了一个自然的贝叶斯和频率论的方法之间的联系。
2022-11-04 math.ST stat.TH
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性(Bhattacharya(2013))相关联,以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法,以及足够的模拟实验。
2020-05-01 math.ST stat.TH
A note on Bayesian convergence rates under local prior support conditions
贝叶斯后收敛速度的界限,假设先验满足局部和全局支持条件,现在很容易获得。在本文中,我们探讨,在密度估计的背景下,贝叶斯收敛速度假设只有当地的先验支持条件。我们的研究结果给出了最优利率在最小条件下使用非常简单的参数。
2013-12-24 math.ST stat.TH
Shrinkage priors for nonparametric Bayesian prediction of nonhomogeneous Poisson processes
研究强度函数未知的非齐次泊松过程模型的非参数贝叶斯估计和预测问题。我们提出了一类强度函数的非正常先验。非参数贝叶斯推理与核混合的基础上类不当的先验被证明是有用的,虽然不当的先验还没有被广泛用于非参数贝叶斯问题。与有限维独立泊松模型相应的几个定理对具有无限维参数空间的非齐次泊松过程模型也成立。在Kullback-Leibler损失下证明了基于不适当先验的贝叶斯估计和预测是可容许的。研究了基于先验信息的贝叶斯推理的数值方法。
2021-05-08 math.ST stat.TH
Bayesian Conformal Prediction via the Bayesian Bootstrap
针对贝叶斯方法预测区间频率派校准效果差的问题,提出基于影响函数贝叶斯自助法、数据驱动调优狄利克雷参数α的贝叶斯共形方法,可构建校准性好且锐利的预测区间与分布,性能优于标准贝叶斯后验,且实现简便灵活。
2025-08-02 math.ST stat.ME stat.TH
Non-Bayesian Learning in Misspecified Models
Aix-Marseille Univ.(艾克斯-马赛大学);CNRS(法国国家科学研究中心);AMSE(经济与社会方法论中心);ASU(亚利桑那州立大学);QMUL(伦敦国王学院);CEPR(欧洲经济政策研究中心)
该研究挑战了将偏离贝叶斯更新视为次优的传统观点,证明在模型误设的学习场景中,非贝叶斯更新的表现能够优于贝叶斯更新。
2025-10-03 econ.TH math.ST stat.TH
On Bayesian Estimation via Divergences
在本说明中,我们介绍了一种新的方法,贝叶斯推理通过使用$ϕ$ -分歧和对偶技术。建立了估计的渐近律。
2011-12-26 math.ST stat.ME stat.TH
Probabilistic morphisms and Bayesian supervised learning
本文通过发展马尔可夫核的范畴论研究贝叶斯反演,提出涵盖贝叶斯密度估计的统一监督学习模型,并用高斯过程回归加以说明。
2025-07-07 math.CT math.ST stat.TH
Holes in Bayesian Statistics
每一种哲学都有漏洞,指出这些问题是哲学支持者的责任。以下是贝叶斯数据分析中的一些漏洞:(1)条件概率的通常规则在量子领域失败,(2)平坦或弱先验导致对我们关心的事情的可怕推断,(3)主观先验是不连贯的,(4)贝叶斯决策选择了错误的模型,(5)贝叶斯因子在平坦或弱先验存在的情况下失败,(6)由于Cantorian的原因,我们需要检查我们的模型,但这破坏了贝叶斯推理的一致性。贝叶斯统计的一些问题是由于人们试图做他们不应该做的事情而产生的,但其他漏洞并不那么容易修补。特别是,避免平坦的、弱的或传统的先验可能是一个好主意,但如果遵循这样的建议,将违背绝大多数贝叶斯实践,并要求我们面对贝叶斯推理的基本不一致性。这并不意味着我们认为贝叶斯推理是一个坏主意,但它确实意味着贝叶斯逻辑和贝叶斯工作流之间存在紧张关系,我们认为只有将贝叶斯逻辑视为一种工具,一种揭示模型假设中不可避免的不匹配和不连贯性的方式,而不是将其本身视为目的,才能解决这一问题。
2020-11-10 math.ST stat.ME stat.TH
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型,并表明,各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索,贝叶斯组套索,和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在,并确保可靠的输出分析。我们的几何遍历性的结果,使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
The E-Bayesian Estimation and its E-MSE of Lomax distribution under different loss functions
研究了Lomax分布参数在不同损失函数下的E-Bayes估计。在不同的损失函数下,计算参数的贝叶斯估计,然后计算估计值的期望,得到E-Bayes估计。为了度量估计误差,引入了期望均方误差(E-MSE)。并给出了E-Bayes估计和E-MSE的计算公式。通过应用马尔可夫链蒙特卡罗技术,我们分析了所提出的方法的性能。结果进行了比较的基础上E-MSE。然后,在实际数据集的样本的情况下,为了说明。为了检验Lomax分布是否可以用于分析数据集,进行了Kolmogorov Smirnov检验。利用实际数据,我们可以同时得到极大似然估计,并与E-Bayes估计进行比较。最后,在三种不同的损失函数下,对贝叶斯和E-Bayesian估计方法进行了比较。
2022-09-02 math.ST stat.ME stat.TH
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
"Not only defended but also applied": The perceived absurdity of Bayesian inference
在另一个方向上,许多贝叶斯主义者的传教热情与一些理论家的观点相匹配,他们认为贝叶斯方法是荒谬的,不仅是被误导,而且在原则上显然是错误的。我们考虑几个例子,开始与费勒的经典文本的概率论,并继续与最近的情况下,如感知贝叶斯性质的所谓世界末日的论点。我们在这篇文章中分析了对贝叶斯统计的各种误解背后的知识背景,而不是针对这种解雇的原因进行完整的历史报道。
2012-06-09 math.ST stat.OT stat.TH
Toric and non-toric Bayesian networks
该研究从交换代数角度研究贝叶斯网络,刻画有向环面贝叶斯网络类,给出首个非有向环面贝叶斯网络实例,证明相关猜想并给出二次关系的图必要条件。
2023-06-27 math.AC math.ST stat.TH
A path integral approach to Bayesian inference in Markov processes
我们利用路径积分技术在马尔可夫过程中建立贝叶斯更新,并推导出具有似然的时间薛定谔方程,以指导作为后验概率分布势的推理
2017-10-21 cond-mat.stat-mech math.ST stat.TH
Dependent Bayesian Lenses: Categories of Bidirectional Markov Kernels with Canonical Bayesian Inversion
我们概括了现有的贝叶斯透镜的结构,以允许在向后的对象依赖于向前的对象的状态(解释为概率分布)的对象对之间的透镜。这给了一个自然的设置,研究随机地图与贝叶斯逆限制在一个给定的先验支持的点。为了正式说明这一点,我们提出了一个定义弗里茨的支持对象在马尔可夫范畴,并表明,这些产生了一个部分到类别的依赖贝叶斯镜头编码一个更规范的概念贝叶斯反演。
2022-09-29 cs.LO math.CT math.PR
Bayesian Posteriors Without Bayes' Theorem
经典的贝叶斯后验作为几个不同最优化问题的唯一解自然出现,而不需要将数据解释为条件概率,然后使用贝叶斯定理。例如,经典的贝叶斯后验是唯一的后验,它最大限度地减少了在结合先验分布和似然分布时香农信息的损失。这些结果,最近的结果合并的概率分布的直接推论,加强使用贝叶斯后验,并可能有助于部分调和经典和贝叶斯统计之间的一些差异。
2012-03-01 cs.IT math.IT math.PR
Compositional Active Inference I: Bayesian Lenses. Statistical Games
我们引入了贝叶斯透镜的概念,描述了精确贝叶斯推理的双向结构,以及统计博弈,形式化了近似推理问题的优化目标。我们证明了贝叶斯反演是根据组合透镜模式进行组合的,并将统计博弈与一些经典的统计概念结合起来,从极大似然估计到广义变分贝叶斯方法。本文是第一个系列奠定了基础的积极推理理论的组成帐户,因此,我们特别注意统计游戏的自由能目标。
2022-06-08 math.CT math.ST nlin.AO
Markov Equivalence of Max-Linear Bayesian Networks
最大线性贝叶斯网络已经成为高度适用的模型,因果推理通过极值数据。然而,条件独立性(CI)的最大线性贝叶斯网络的行为不同于经典的高斯贝叶斯网络。我们通过热带化建立了两种理论之间的平行关系,并建立了令人惊讶的结果,即最大线性贝叶斯网络的马尔可夫等价类与常规CI所获得的等价类相一致。我们的论文在极值统计、因果推理和热带几何的交叉点上提出了许多问题。
2021-06-15 math.AG math.CO math.ST
Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions
University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院);Bocconi University(博科尼大学)
研究泊松复合决策问题中贝叶斯与拟贝叶斯经验贝叶斯策略的融合,建立边际概率质量函数的集中速率并证明频率学派融合结果,数值实验显示拟贝叶斯策略在保持精度的同时大幅降低计算成本。
2026-07-07 math.ST stat.ME stat.OT
Coherent Information Deletion: Bayesian, Generalized Bayesian and Possibilistic Unlearning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文从信息删除的角度重新审视贝叶斯定理,提出最优信息删除规则,并证明其与留出数据后验一致。
2026-10-14 cs.IT math.IT math.ST
On the Differential Privacy of Bayesian Inference
The University of Melbourne(墨尔本大学);Univ-Lille-3(里尔第三大学);Chalmers University of Technology(查尔姆斯理工大学)
我们研究了如何将贝叶斯推理的结果传达给第三方,同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制,用于将噪声添加到贝叶斯更新,或者直接添加到后验参数,或者添加到其傅立叶变换,以保持更新一致性。我们还利用最近推出的后验抽样机制,我们证明了离散贝叶斯网络的具体但一般情况下的界限,我们引入了最大后验私有机制。我们的分析包括效用和隐私边界,一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
A Bayesian Statistics Course for Undergraduates: Bayesian Thinking, Computing, and Research
我们提出了一个学期的贝叶斯统计过程中,微积分和概率背景的本科生。通过将贝叶斯方法应用于实际数据问题,培养学生的贝叶斯思维。我们利用现代贝叶斯计算技术,不仅实现贝叶斯方法,而且加深学生对方法的理解。合作案例研究进一步丰富了学生的学习,并提供解决开放式应用问题的经验。本课程强调本科生的研究,在课堂上阅读,讨论和评论可访问的学术期刊文章。随着信心和熟悉程度的提高,学生们接受阅读,实施,有时扩展期刊文章中的方法的挑战,以完成他们的课程项目。
2020-08-28 stat.OT
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University(爱荷华州立大学)
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集,并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术,如贝叶斯套索和贝叶斯马蹄估计,最近在统计文献中受到了大量的关注。然而,在通用马尔可夫链蒙特卡罗平台(如STAN)之外,实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg,用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的,开源的,可用于MATLAB和R数值平台。
2016-12-20 stat.CO
PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure(法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院);Google(谷歌)
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说,对于负对数似然损失函数,我们表明,PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释,假设数据是由i.i.d分布生成的。此外,由于负对数似然是一个无界的损失函数,我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭,我们表明,我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University(斯坦福大学);NVIDIA(英伟达)
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题,但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置,并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现,我们可以充分捕捉模型的不确定性,只需使用几个贝叶斯层附近的网络输出,结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Some Case Studies Using Bayesian Statistical Models
我们提供了四个案例研究,使用贝叶斯机器进行归纳推理。我们的主要动机在于提供几个实例,其中贝叶斯数据分析方法被最好地利用来执行复杂的任务,例如描述,测试,估计和预测。这项工作并不意味着是一个参考文本或调查在贝叶斯统计推断。我们的目标只是提供几个使用贝叶斯方法来解决数据驱动问题的例子。我们在这里涉及的主题,包括贝叶斯非参数,时间序列的贝叶斯分析和空间数据的贝叶斯分析的问题。
2021-11-17 stat.AP stat.ME
Bayesian and empirical Bayesian forests
我们通过非参数贝叶斯模型获得决策树的集合,使我们能够将随机森林视为来自后验分布的样本。这种见解提供了大量的收益,在可解释性,并激励一类贝叶斯森林(BF)算法,产生小,但可靠的性能增益。基于BF框架,我们能够证明,高层次树层次结构是稳定的大样本。这导致了一个经验贝叶斯森林(EBF)算法建立近似的BF上的大规模分布式数据集,我们表明,EBF优于子采样为基础的替代品的大幅度。
2015-05-15 stat.AP
A Bayesian Approach to Clustering via the Proper Bayesian Bootstrap: the Bayesian Bagged Clustering (BBC) algorithm
University of Pavia(帕维亚大学)
本文提出贝叶斯袋装聚类(BBC)算法,结合k-means先验引出与恰当贝叶斯自助法重采样的集成聚类思路,提升聚类的鲁棒性与可解释性,还可通过香农熵不确定性度量确定最优聚类数,模拟实验验证了其方法与实证优势。
2024-09-13 cs.LG stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research(微软研究院)
最近,一些研究人员研究了使用数据来学习贝叶斯网络的技术,该网络包含存储在每个节点处的条件概率分布(CPD)的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外,研究人员通常应用非贝叶斯(或渐近贝叶斯)评分函数(如MDL)来评估网络对数据的拟合优度。在本文中,我们研究了贝叶斯方法来学习贝叶斯网络,包含更一般的决策图表示的CPD。首先,我们描述了如何评估后验概率,也就是这样一个网络的贝叶斯得分,给定一个数据库的观察情况。其次,我们描述了各种搜索空间,可以使用,结合评分函数和搜索过程,以确定一个或多个高分网络。最后,我们提出了一个实验评估的搜索空间,使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
BayesAdapter: Being Bayesian, Inexpensively and Reliably, via Bayesian Fine-tuning
Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Tsinghua University(清华大学)
尽管贝叶斯神经网络(BNN)在理论上很有吸引力,但在现实世界中却被甩在了后面,这主要是因为人们一直担心它的可扩展性、可访问性和可靠性。在这项工作中,我们开发的贝叶斯适配器框架,以减轻这些问题。特别是,我们建议通过具有成本效益的贝叶斯微调将预先训练的确定性NN调整为变分BNN。从技术上讲,我们开发了一个模块化的实现变分BNN的学习,并通过样本并行化来简化普遍适用的样本重新参数化技巧,以有效地减少随机变分推理中的梯度方差。基于轻量级贝叶斯学习范式,我们在各种基准上进行了广泛的实验,并表明我们的方法可以始终如一地诱导比竞争基线质量更高的后验,同时显着降低训练开销。代码可在https://github.com/thudzj/ScalableBDL上获得。
2022-10-12 cs.LG stat.ML
Bayesian Adversarial Spheres: Bayesian Inference and Adversarial Examples in a Noiseless Setting
University of Edinburgh(爱丁堡大学)
现代深度神经网络模型遭受对抗性示例的影响,即在输入空间中自信地错误分类点。已经表明,贝叶斯神经网络是一种很有前途的方法来检测敌对点,但仔细分析是有问题的,由于这些模型的复杂性。最近,Gilmer等人(2018)介绍了对抗球体,这是一种简化问题的实际和理论分析的玩具设置。在这项工作中,我们使用对抗球设置来理解无噪声设置中线性模型的近似贝叶斯推断方法的属性。我们比较了贝叶斯和非贝叶斯方法的预测,展示了前者的优势,但也揭示了深度学习应用面临的挑战。
2018-11-29 cs.LG stat.ML
A Bayesian computer model analysis of Robust Bayesian analyses
我们利用贝叶斯仿真技术的力量,旨在帮助复杂的计算机模型的分析,检查复杂的贝叶斯分析本身的结构。这些技术有助于对复杂问题进行稳健的贝叶斯分析和/或敏感性分析,从而允许在可能性和先验规范中对选择的影响进行全局探索。我们展示了如何在鲁棒性研究中以前棘手的问题可以克服使用仿真技术,以及这些方法如何让其他科学家快速提取近似后的结果对应于自己的特定的主观规范。我们的方法的实用性和灵活性证明了一个真正的应用程序,贝叶斯方法被用来捕捉河流流量的信念的重新分析。我们讨论了这种方法开辟的未来研究的明显扩展和方向。
2017-03-03 stat.AP stat.CO stat.ME
The two envelopes paradox in non-Bayesian and Bayesian statistics
本文的目的是澄清(非贝叶斯和贝叶斯)双信封问题的量子语言(或测量理论),这是最近提出的量子力学的语言转向(哥本哈根解释)。两个信封悖论只是一种高中生的概率难题,说这是一个未解之谜可能有些夸张。然而,由于我们确信量子语言只是未来的统计,我们相信没有量子语言的描述就没有明确的答案。从这个意义上说,读者会发现量子语言提供了最终的答案(即,最简单和最深刻的理解)的两个问题,在非贝叶斯和贝叶斯统计。此外,我们还增加了对圣彼得堡双信封悖论的讨论。
2014-09-15 quant-ph stat.OT
Bayesian task embedding for few-shot Bayesian optimization
GE Research(通用电气研究院)
我们描述了一种贝叶斯优化的方法,其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般(非实值)特征都与连续潜变量相关联,这些变量作为输入进入一个元模型,该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务,并展示了它的实现在各种合成和现实世界的例子,比较其性能下零,一,和Few-Shot设置对传统的贝叶斯优化,这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Bayesian Computing in the Undergraduate Statistics Curriculum
自20世纪90年代计算发展以来,贝叶斯统计获得了巨大的发展势头。逐渐地,贝叶斯方法和软件的进步使得贝叶斯技术更容易被应用统计学家所使用,反过来,也可能改变本科阶段的贝叶斯教育。本文概述了实现贝叶斯计算方法的各种选择,以实现特定的学习成果。根据作者在课堂上使用这些方法的经验,描述了每种计算方法的优点和缺点。我们的目标是目前的指导计算的教师谁是介绍贝叶斯方法在他们的本科统计课程的选择。
2020-11-03 stat.CO
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包,用于执行变分贝叶斯推断。它基于变分消息传递框架,支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务,用户可以更快地构建模型,并且不易出错。简单的语法,灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法,如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法,用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的,一个昂贵,一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型,允许复杂的,非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量,一个家庭的合成玩具问题,以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
Adjusted Bayesian inference for selected parameters
我们解决的问题,从贝叶斯的角度来看,查看数据后选择的参数提供推断。我们提出了一个贝叶斯框架,为选定的参数提供推断,根据观察,为选定的参数提供贝叶斯推断是一个截断数据的问题。我们表明,如果参数的先验是非信息的,或者如果参数是一个“固定的”未知常数,那么有必要调整选择的贝叶斯推断。我们的第二个贡献是引入了贝叶斯错误发现率控制方法,它推广了现有的贝叶斯FDR方法,这些方法只定义在两组混合模型中,我们将这些结果应用于模拟数据和来自微阵列实验的数据。
2011-09-15 stat.CO stat.ME
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法,通过应用核技巧的推断参数贝叶斯模型。例如,可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功,但在贝叶斯文献中很少明确考虑内核技巧。在本文中,我们的目标是填补这一空白,并展示了在更广泛的背景下,而不仅仅是回归,将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子,我们提出了一个直观的贝叶斯核机的密度估计,是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
A Bayesian approach to modeling mortgage default and prepayment
在本文中,我们提出了一个贝叶斯竞争风险比例风险模型来描述抵押贷款违约和提前还款。我们使用马尔可夫链蒙特卡罗方法对模型进行贝叶斯推断。该模型的实施说明使用实际违约/提前还款数据和其他见解,可以从贝叶斯分析进行了讨论。
2017-06-23 stat.AP
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Big Learning with Bayesian Methods
Tsinghua University(清华大学)
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣,大学习是一个新兴的子领域,研究可扩展的机器学习算法,系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法,在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展,包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理,以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Learning and Optimization with Bayesian Hybrid Models
贝叶斯混合模型将基于物理的见解与机器学习结构融合在一起,以纠正系统偏差。在本文中,我们比较贝叶斯混合模型对基于物理的玻璃盒和高斯过程黑箱代理模型。我们认为弹道射击作为一个说明性的案例研究贝叶斯决策工作流程。首先,进行贝叶斯校准以估计模型参数。然后,我们使用从贝叶斯分析的后验分布计算最佳的射击条件,通过一个单阶段的随机程序击中目标。该案例研究证明了贝叶斯混合模型克服系统偏差的能力,该系统偏差来自于与纯机器学习方法相比更少的数据。最后,我们认为贝叶斯混合模型是一个新兴的范例,数据知情的决策下参数和认知的不确定性。
2019-12-12 cs.SY eess.SY math.OC
Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?
Rensselaer Polytechnic Institute(伦斯勒理工学院)
元学习的目标是学习一个能够快速适应看不见的任务的模型。广泛使用的元学习方法包括模型不可知元学习(MAML)、隐式MAML、贝叶斯MAML。由于其建模不确定性的能力,贝叶斯MAML往往具有优越的经验性能。然而,对贝叶斯MAML的理论理解仍然有限,特别是在贝叶斯MAML是否以及何时具有比MAML更好的性能等问题上。在本文中,我们的目的是提供理论上的理由贝叶斯MAML的优势性能比较MAML和贝叶斯MAML的Meta测试风险。在Meta线性回归中,在分布不可知和线性质心的情况下,我们已经建立了贝叶斯MAML确实具有可证明的较低的Meta测试风险比MAML。我们通过实验验证了我们的理论结果。
2022-03-06 cs.LG stat.ML
On Bayesian Data Analysis
这介绍贝叶斯统计提出的主要概念,以及主张的主要原因,有利于贝叶斯建模。我们涵盖了各种方法事先确定以及基础渐近参数有利于使用贝叶斯估计。对贝叶斯推断的测试方面也作了详细的研究。
2010-02-09 stat.ME
Bayesian Reconstruction of Missing Observations
本文重点研究了一种基于贝叶斯重建的插值方法。在标准插值方法中,缺失数据是确定性插值的,而在贝叶斯重建中,缺失数据是使用贝叶斯处理概率性插值的。在本文中,我们将讨论贝叶斯重建的框架和它的应用在交通工程领域的交通数据重建问题。在本文的后半部分,我们描述了我们的贝叶斯流量重建模型的统计性能的评估,使用统计机械的方法,并澄清其统计行为。
2015-03-26 stat.ML