Bayesian Inference Forgetting
University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
被遗忘的权利在许多国家已经立法,但在机器学习中的执行将导致无法承受的成本:由于单个请求,公司可能需要删除从大量资源中学习的整个模型。现有的工作建议通过其影响函数,这不再是自然定义的贝叶斯推理从所请求的数据中删除的知识。提出了一种{ \it贝叶斯推理遗忘}(BIF)框架,实现贝叶斯推理中的被遗忘权。在BIF框架中,我们开发了变分推理和马尔可夫链蒙特卡罗的遗忘算法。我们表明,我们的算法可以证明消除单一数据的学习模型的影响。理论分析表明,我们的算法有保证的推广性。在合成数据集上的高斯混合模型和在真实数据集上的贝叶斯神经网络实验验证了该方法的可行性。源代码包可从\url{https://github.com/fshp971/BIF}获得。
2021-02-18 cs.AI cs.LG stat.ML
Adjusted Bayesian inference for selected parameters
我们解决的问题,从贝叶斯的角度来看,查看数据后选择的参数提供推断。我们提出了一个贝叶斯框架,为选定的参数提供推断,根据观察,为选定的参数提供贝叶斯推断是一个截断数据的问题。我们表明,如果参数的先验是非信息的,或者如果参数是一个“固定的”未知常数,那么有必要调整选择的贝叶斯推断。我们的第二个贡献是引入了贝叶斯错误发现率控制方法,它推广了现有的贝叶斯FDR方法,这些方法只定义在两组混合模型中,我们将这些结果应用于模拟数据和来自微阵列实验的数据。
2011-09-15 stat.CO stat.ME
Some cautionary tales about Bayesian predictive inference
Università di Firenze(佛罗伦萨大学);Accademia Navale(海军学院);Università di Bologna(博洛尼亚大学)
探讨贝叶斯预测推断中的两种误解,即数据生成机制和渐近可交换性作用的误解,借例子强调误解后果。
2026-07-22 math.ST stat.ME stat.ML
Bayesian inference for the learning rate in Generalised Bayesian inference
University of Oxford(牛津大学);University of Auckland(奥克兰大学)
本文提出在广义贝叶斯推断中通过贝叶斯方法推断学习率和超参数,定义两种超参数后验分布,并在多个数据集上验证了该方法的有效性。
2026-09-24 stat.ME
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中,所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中,我们回顾了VL方法的主要变体,这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant,我们还得出了一些新的理论成果,完成现有的变分贝叶斯方法的分析组合,包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法,包括(例如,精度)超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断,涵盖模型、推导及MATLAB/Octave实现,并作为教程与示例文档,提供免费在线函数。
2019-06-29 stat.ML
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Quasi-Bayesian Inference for Production Frontiers
我们提出了一个准贝叶斯方法进行推断的生产前沿。该方法通过拟贝叶斯方法将多个第一阶段极值分位数估计组合起来,得到生产前沿的点估计和置信区间。我们证明了所提出的估计量的渐近性质和推断过程的有效性。我们的方法的有限样本性能通过模拟和实证应用说明。
2020-11-30 stat.ME
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包,用于执行变分贝叶斯推断。它基于变分消息传递框架,支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务,用户可以更快地构建模型,并且不易出错。简单的语法,灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法,如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
Targeting functional parameters with semiparametric Bayesian inference
典型的贝叶斯推断需要通过似然参数化进行参数识别,这招致了批评,因为它比频率论框架灵活性差,并且容易出现错误。虽然在非参数模型空间下可以通过函数参数推断来避免误指定,但是不存在允许完全控制任何一般函数参数的边缘先验的灵活的贝叶斯半参数模型。我们提出了$θ$ -增强技术,它可以帮助我们将非参数模型操作成直接针对任何功能参数的半参数模型。该方法允许贝叶斯概率报表被定义为一个功能的经验分布的任何估计,而不需要一个似然函数,从而提供了一个路径贝叶斯分析的问题,如因果推断和审查,其中不存在公认的似然函数。
2022-11-25 stat.ME
Adaptive Inference through Bayesian and Inverse Bayesian Inference with Symmetry-Bias in Nonstationary Environments
Tokyo Denki University(东京电机大学);The University of Tokyo(东京大学);SoftBank Robotics Group Corp.(软银机器人集团);Shinshu University(信州大学);Osaka Metropolitan University(大阪公立大学);Waseda University(早稻田大学)
本研究提出贝叶斯与逆贝叶斯(BIB)推断框架,通过引入对称性偏差和动态调节学习率,解决了传统贝叶斯推断中适应性与准确性的权衡,并在非平稳环境中实现了临界动力学与计算效率的共存。
2025-10-31 cs.MA stat.ME
On finite-population Bayesian inferences for $2^K$ factorial designs with binary outcomes
受Rubin(1978)的开创性工作的启发,我们采用潜在结果框架为医学研究中常见的具有二元结果的随机对照$2^K$析因设计开发了一个有限总体贝叶斯因果推断框架。模拟和实证的例子表明,所提出的框架纠正了著名的方差高估问题的经典的“奈曼”推理框架,在各种设置。
2019-01-24 stat.ME
Bayesian inference under model misspecification
Monash University(莫纳什大学)
本文针对贝叶斯分析中似然与数据生成不匹配的模型误设问题,通过回顾后验的变分解释提供替代依据,并介绍相关广义贝叶斯推断技术以解决该问题。
2026-10-09 stat.ME
The Population Posterior and Bayesian Inference on Streams
许多现代数据分析问题涉及从流数据的推断。然而,流数据不容易服从标准的概率建模方法,它假设我们的条件是有限的数据。我们开发人口变分贝叶斯,一种新的方法,使用贝叶斯建模来分析数据流。它近似于一种新型的分布,即人口后验分布,它将数据的总体分布的概念与概率模型中的贝叶斯推断相结合。我们研究了我们的方法与潜在的Dirichlet分配和Dirichlet过程的混合物在几个大规模的数据集。
2015-07-21 stat.ML
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法,基于混合模型,侧重于引入潜变量,使我们有可能处理模型对离群值的敏感性,并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理,并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Bayesian Inference for Latent Chain Graphs
在这篇文章中,我们考虑部分观察Anderson-Madigan-Perlman(AMP)高斯链图(CG)模型的贝叶斯推断。这种模型在生物网络和金融时间序列等应用中特别有意义。该模型本身具有各种约束,这使得先验建模和计算推理都具有挑战性。我们开发了一个框架,上述挑战,使用序贯蒙特卡罗(SMC)方法的统计推断。我们的方法说明了模拟数据以及从大学毕业率和药代动力学研究的真实案例研究。
2019-08-12 stat.ME
Patterns of Scalable Bayesian Inference
数据集不仅在规模上而且在复杂性上都在增长,这就产生了对丰富模型和量化不确定性的需求。贝叶斯方法非常适合这种需求,但扩展贝叶斯推断是一个挑战。为了应对这一挑战,最近有相当多的工作基于对模型结构、底层计算资源和渐近正确性的重要性的不同假设。因此,有一个动物园的想法,几乎没有明确的总体原则。在本文中,我们试图确定统一的原则,模式和直觉的缩放贝叶斯推断。我们回顾现有的工作,利用现代计算资源与MCMC和变分逼近技术。从这个分类的想法,我们的特点,已被证明是成功的设计可扩展的推理程序和评论的前进道路上的一般原则。
2016-03-22 stat.ML
Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference
提出了一种新的算法来解决连续变量图模型的贝叶斯推断的期望传播松弛问题。与以往的算法相比,我们的方法是可证明收敛的。通过将来自(Opper&Winther 05)的收敛EP思想与协方差解耦技术(Wipf&Nagarajan 08,Nickisch&Seeger 09)相结合,它比最常用的EP求解器至少快一个数量级。
2010-12-16 stat.ML
Bayesian Inference on Mixtures of Distributions
本调查涵盖了最先进的贝叶斯技术估计的混合物。它通过研究新类型的分布,多项分布,潜在类分布和t分布,补充了早期的Marin,Mengersen和Robert(2005)。它还展示了封闭形式的解决方案,贝叶斯推断在一些离散的设置。最后,通过Chib(1995)的近似,给出了Bayes因子的计算方法。
2008-04-15 stat.CO stat.ME
Robust Bayesian inference in complex models with possibility theory
我们提出了一个通用的解决方案,强大的贝叶斯推断在复杂的设置,可能存在异常值的问题。在实践中,鲁棒贝叶斯分析的自动化在涉及大型和复杂数据集的许多应用中是重要的。所提出的解决方案依赖于重新制定的贝叶斯推断的基础上的可能性理论,并利用观察,在这种情况下,边际似然数据评估先验和似然之间的一致性,而不是模型的适应性。我们的方法不需要额外的参数,在其最简单的形式,并有一个有限的影响,计算复杂性相比,非鲁棒性的解决方案。我们的解决方案的一般性是通过模拟和真实数据,包括矩阵估计和变点检测的应用程序。
2022-04-14 stat.ME
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London(伦敦大学学院威康人类神经影像中心);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
主动推理是自由能原理的一个推论,是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中,我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则,在一个单一的命令,以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时,主动推理简化为最优贝叶斯设计,即,信息增益最大化相反,在没有歧义和相对风险的情况下,主动推理简化为贝叶斯决策理论,即,期望效用最大化使用这些限制的情况下,我们说明了如何不同的行为时,代理选择的行动,优化预期的效用,预期的信息增益,和预期的自由能。我们的T型迷宫模拟表明,优化预期的自由能产生目标导向的信息寻求行为,而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Model Criticism for Bayesian Causal Inference
因果推断的目标是理解不同行动方案的结果。然而,所有的因果推断都需要假设。这些假设可能比概率建模的典型任务更有影响力,并且测试这些假设对于评估因果推断的有效性很重要。我们开发了贝叶斯因果推断的模型批评,建立在后验预测检查的想法,以评估模型拟合。我们的方法包括分解问题,分别批评治疗分配模型和结果模型。条件的假设unconfoundedness-治疗是独立的潜在结果分配-我们展示了如何检查任何额外的建模假设。我们的方法为诊断基于模型的因果推断提供了基础。
2016-10-27 stat.ME
Bayesian Adversarial Spheres: Bayesian Inference and Adversarial Examples in a Noiseless Setting
University of Edinburgh(爱丁堡大学)
现代深度神经网络模型遭受对抗性示例的影响,即在输入空间中自信地错误分类点。已经表明,贝叶斯神经网络是一种很有前途的方法来检测敌对点,但仔细分析是有问题的,由于这些模型的复杂性。最近,Gilmer等人(2018)介绍了对抗球体,这是一种简化问题的实际和理论分析的玩具设置。在这项工作中,我们使用对抗球设置来理解无噪声设置中线性模型的近似贝叶斯推断方法的属性。我们比较了贝叶斯和非贝叶斯方法的预测,展示了前者的优势,但也揭示了深度学习应用面临的挑战。
2018-11-29 cs.LG stat.ML
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
On the Differential Privacy of Bayesian Inference
The University of Melbourne(墨尔本大学);Univ-Lille-3(里尔第三大学);Chalmers University of Technology(查尔姆斯理工大学)
我们研究了如何将贝叶斯推理的结果传达给第三方,同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制,用于将噪声添加到贝叶斯更新,或者直接添加到后验参数,或者添加到其傅立叶变换,以保持更新一致性。我们还利用最近推出的后验抽样机制,我们证明了离散贝叶斯网络的具体但一般情况下的界限,我们引入了最大后验私有机制。我们的分析包括效用和隐私边界,一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
Composite Bayesian inference
我们重新审视和概括的概念,复合似然作为一种方法,使概率推理聚合多个贝叶斯代理,从而定义了一类预测模型,我们称之为复合贝叶斯。这种观点提供了选择与复合似然相关的权重的见解,无论是先验的还是通过学习;在后一种情况下,它们可以被调整,以最小化预测交叉熵,从而产生易于解决的凸问题。我们认为,复合贝叶斯推断是生成模型和判别模型之间的中间道路,在可解释性和预测性能之间进行权衡,这两者对许多人工智能任务都至关重要。
2019-04-17 stat.CO stat.ME
Validating Bayesian Inference Algorithms with Simulation-Based Calibration
贝叶斯计算的正确性是具有挑战性的。对于实践中常见的复杂模型尤其如此,因为这些模型需要复杂的模型实现和算法。在本文中,我们介绍了\emph{simulation-based calibration}(SBC),一个通用的过程,验证推理贝叶斯算法能够产生后验样本。此过程不仅可以识别模型实现中的不准确计算和不一致性,还可以提供图形摘要,以指示出现的问题的性质。我们认为,SBC是一个强大的贝叶斯工作流程的重要组成部分,以及为那些开发计算算法和统计软件的有用工具。
2020-10-21 stat.ME
Some comments about A. Ronald Gallant's "Reflections on the Probability Space Induced by Moment Conditions with Implications for Bayesian Inference"
本文评论了Ronald Gallant(2015)关于从矩条件构建贝叶斯先验分布的思考。主要结论是,该文件没有提供一个工作原理,可以证明基于这种先验的推理。
2015-02-05 stat.CO stat.ME
Robust Bayesian inference via coarsening
贝叶斯推断的标准方法是基于数据分布属于所选模型类的假设。然而,即使是对这一假设的一个小的违反也会对贝叶斯过程的结果产生很大的影响。我们引入一个简单的,连贯的方法来贝叶斯推断,提高鲁棒性的扰动模型:而不是条件的数据完全,一个条件的经验分布的邻域。当使用基于相对熵估计的邻域时,所得到的“粗化”后验可以通过简单地调整可能性来近似-也就是说,通过将其提高到分数幂-因此,推断通常很容易用标准方法实现,并且当使用共轭先验时,甚至可以获得解析解。一些理论性质的推导,我们说明的方法与真实和模拟数据,使用混合模型,自回归模型的未知顺序,变量选择线性回归。
2015-06-19 stat.ME
Generalized Bayesian Inference using the Bayesian Bootstrap for Survival Models
The University of Sydney(悉尼大学);Kids Research Institute, The Children’s Hospital at Westmead(西梅德儿童医院儿童研究所)
本文提出结合贝叶斯自助法与广义贝叶斯更新的生存分析贝叶斯方法,可稳健量化不确定性、整合先验信息,已开发Cox比例风险模型框架并通过模拟与实际数据验证,对应开源R包为BayesBoots。
2026-09-09 stat.AP stat.ME
A review of Approximate Bayesian Computation methods via density estimation: inference for simulator-models
本文通过密度估计的视角,综述了进行贝叶斯后验推理的近似贝叶斯计算(ABC)方法。我们描述了几个最近的算法,并与传统的方法。我们展示了基于参数化方法的模型的优点和局限性,然后我们提请注意机器学习的发展,我们认为这有可能使ABC可扩展到更高的维度,并可能是未来的研究方向在这一领域。
2019-09-06 stat.CO stat.ME
Scalable Bayesian Inference for Detection and Deblending in Astronomical Images
我们提出了一种新的概率方法检测,去混合,和编目的天文来源称为贝叶斯光源分离器(BLISS)。BLISS基于深度生成模型,将神经网络嵌入贝叶斯模型。对于后验推理,BLISS使用一种新的变分推理形式,称为前向摊销变分推理。BLISS推理例程速度很快,一旦编码器网络被训练,就需要在GPU上对编码器网络进行单次正向传递。BLISS可以在几秒钟内对百万像素的图像进行完全的贝叶斯推断,并产生高度准确的目录。BLISS具有高度可扩展性,除了生成概率目录外,还具有直接回答下游科学问题的潜力。
2022-07-12 astro-ph.IM stat.AP stat.ML
Bayesian Inference Under Differential Privacy With Bounded Data
本文研究受差分隐私保护的有界数据高斯模型的贝叶斯推断,证明分析师在指定先验分布时应考虑边界约束,并提供了默认先验在缺乏先验信息时产生有效推断的理论与实证结果,最后探讨了其在差分隐私数据回归推断中的应用。
2024-10-16 cs.CR stat.ME
A computationally-tractable measure of global sensitivity for sampling-based Bayesian inference
University College London(伦敦大学学院)
提出基于Fisher散度的全局敏感性分析方法,仅需参考后验样本和得分函数评估,计算可行且适用于高维问题。
2026-10-07 stat.CO stat.ME
Comparative Study of Inference Methods for Bayesian Nonnegative Matrix Factorisation
University of Cambridge(剑桥大学);IT University of Copenhagen(哥本哈根信息技术大学)
在本文中,我们研究了贝叶斯矩阵分解方法的不同推理方法的权衡,这些方法通常用于预测缺失值,并在数据中查找模式。特别是,我们考虑贝叶斯非负变量的矩阵分解和三因子分解,并比较非概率推理,吉布斯抽样,变分贝叶斯推断,和最大后验方法。变分方法是贝叶斯非负模型的一种新方法。我们比较了它们的收敛性,对噪声和稀疏数据的鲁棒性,在合成和真实世界的数据集。此外,我们扩展的模型与贝叶斯自动相关性确定先验,允许模型执行自动模型选择,并证明其效率。
2017-07-13 cs.LG stat.ML
Understanding Approximation for Bayesian Inference in Neural Networks
Balliol College(贝利奥尔学院);University of Oxford(牛津大学)
贝叶斯推断作为一个推理信念的原则框架具有理论吸引力。然而,贝叶斯推断的动机,声称它是唯一的“理性”的推理不适用于实践。他们创造了一个二元分裂,其中所有近似推理都是同样的“无理”。相反,我们应该问问自己,如何定义一系列理性程度更高和更低的推理,以解释为什么我们可能更喜欢一种贝叶斯近似。我探讨了贝叶斯神经网络中的近似推理,并考虑了概率模型、近似分布、优化算法和数据集之间的非预期相互作用。这些相互作用的复杂性突出了评估贝叶斯近似的任何策略的难度,该策略完全集中在特定数据集和决策问题的背景之外的方法上。对于给定的应用,近似后验的期望效用可以衡量推理质量。为了评估模型结合贝叶斯框架不同部分的能力,我们可以识别贝叶斯推理的理想特征行为,并选择大量使用这些行为的决策问题。在这里,我们使用持续学习(测试按顺序更新的能力)和主动学习(测试表示信任的能力)。但是,现有的持续和主动学习设置带来了挑战,这些挑战与后验质量无关,这可能会扭曲他们评估贝叶斯近似的能力。这些不相关的挑战可以被移除或减少,从而更好地评估近似推理方法。
2022-11-11 cs.LG stat.ML
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Inherent Difficulties of Non-Bayesian Likelihood-based Inference, as Revealed by an Examination of a Recent Book by Aitkin
几十年来,统计学家一直试图在不打破贝叶斯鸡蛋的情况下准备贝叶斯煎蛋卷;也就是说,在不依赖信息丰富的先验分布的情况下获得基于概率似然的推断。最近的一个例子是Murray Aitkin的新书《{ \em统计推断}》,其中提出了一种基于竞争模型下可能性的后验分布比较的统计假设检验方法。Aitkin通过一些简单的例子,从iid数据和双向独立性测试中推断出他的方法。我们在这份说明中分析了其中采用的推理范式的一些后果,讨论了为什么这种方法是不兼容的贝叶斯的角度来看,为什么我们不认为它相关的应用工作。
2011-11-06 stat.ME stat.OT
Density Estimation via Bayesian Inference Engines
University of Technology Sydney(悉尼科技大学)
我们解释如何有效的自动概率密度函数估计可以使用当代贝叶斯推断引擎,如那些基于无掉头采样和期望传播。广泛的模拟研究表明,建议的密度估计有很好的比较性能和规模非常大的样本量由于分箱策略。此外,该方法是完全贝叶斯和所有的估计都伴随着逐点可信区间。随附的R语言包便于使用新的密度估计。
2021-09-26 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University(哈佛大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
贝叶斯神经网络(BNN)在神经网络中的参数上放置先验。然而,BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中,我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明,常用的指标(例如测试对数似然)可能会产生误导。我们的实验还表明,设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian Inference under Cluster Sampling with Probability Proportional to Size
整群抽样在调查实践中很常见,相应的推断主要是基于设计的。我们开发了一个贝叶斯框架的整群抽样和帐户的设计效果的结果建模。我们考虑一个两阶段的群集抽样设计,首先选择的群集与概率成正比的群集大小,然后在选定的群集内随机抽样的单位。当非抽样簇的大小未知时,挑战就出现了。我们提出了非参数和参数贝叶斯方法来预测未知的集群大小,同时进行这种推断与模型的调查结果。仿真研究表明,集成贝叶斯方法优于经典方法的效率增益。我们使用斯坦的计算和应用的建议,脆弱的家庭和儿童福利的研究作为一个例子,复杂的调查推断在健康调查。
2017-10-03 stat.CO stat.ME
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Adversarial robustness of amortized Bayesian inference
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
研究摊销贝叶斯推断的对抗鲁棒性,发现微小观测扰动会导致后验剧烈变化,提出基于Fisher信息惩罚的高效正则化方案以提升鲁棒性。
2023-05-24 cs.LG stat.ML
A Note on Bayesian Inference for the Bivariate Pseudo-Exponential Data
本文研究了二元伪指数分布的贝叶斯推断,在独立Gamma和伪Gamma先验下推导后验均值并与最大似然估计量比较,最后通过模拟和实际应用验证了方法。
2023-06-26 stat.AP stat.ME
On the relationship between a Gamma distributed precision parameter and the associated standard deviation in the context of Bayesian parameter inference
University of Warwick(华威大学)
在贝叶斯推断中,未知的测量不确定度通常根据伽马分布精度参数来量化,当在推断期间应利用关于测量不确定度的标准差的先验信息时,这是不切实际的。因此,本文介绍了一种伽马分布精度参数和相关的标准差分布之间的转换方法。所提出的方法是基于数值优化,并显示出足够的结果,为广泛的场景。
2021-01-15 cs.LG stat.ME
Inconsistency and Acausality in Bayesian Inference for Physical Problems
该研究指出贝叶斯推理中条件密度概念存在不一致性,结合分层方法的非因果性,会导致多种常用贝叶斯方法应用于物理问题时失效,贝叶斯定理本身需重新构建。
2025-03-22 physics.data-an stat.ME
PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure(法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院);Google(谷歌)
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说,对于负对数似然损失函数,我们表明,PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释,假设数据是由i.i.d分布生成的。此外,由于负对数似然是一个无界的损失函数,我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭,我们表明,我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学)
贝叶斯模型量化不确定性,并促进下游应用的最佳决策。然而,对于大多数模型,从业者被迫使用近似推理技术,由于不正确的后验预测分布,导致次优决策。我们提出了一种新的方法,通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型,使最佳决策下的近似后验,结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序,无论后验推理策略。我们证明了经验的方法在几个问题,确认其潜力。
2019-09-11 cs.LG stat.ML
Bridging Bayesian, frequentist and fiducial (BFF) inferences using confidence distribution
贝叶斯、频率论和基准(BFF)推理比科学界历史上所感知的要一致得多(参见,Reid and Cox 2015; Kass 2011; Efron 1998)。大多数从业者可能更熟悉两种占主导地位的统计推断范式,贝叶斯推断和频率论推断。第三种,不太为人所知的信念推断范式是由R.A.费雪试图定义一个反演过程的推理作为替代贝叶斯定理。虽然每一种范式都有其自身的优势和局限性,受制于其不同的哲学基础,本文旨在通过置信分布理论和蒙特卡罗模拟程序的镜头,这些不同的推理方法。本文试图了解这三种不同的范式,贝叶斯,频率论,和信念推断,可以统一和比较的基础水平,从而增加了可能的技术范围,可供统计理论家和从业人员在所有领域。
2022-06-15 math.ST stat.ME stat.TH
Bayesian Nonparametric Inference for Panel Count Data with an Informative Observation Process
本文考虑了重复事件的面板计数数据分析。这种分析对于在临床试验和观察性研究中研究肿瘤或感染复发是有用的。提出了一个双变量高斯Cox过程模型,用于联合建模观测过程和复发事件过程。贝叶斯非参数推断提出了同时估计回归参数,二元脆弱性效应和基线强度函数。推理是通过马尔可夫链蒙特卡罗,充分发展的计算技术。预测推理下的贝叶斯设置也进行了讨论。通过仿真研究表明,该方法是有效的。皮肤癌患者的临床试验数据集进行了分析,以说明所提出的方法。
2017-12-11 stat.AP stat.ME
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性,通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示,然后将一种高效,快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计,无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度,如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
A path integral approach to Bayesian inference in Markov processes
我们利用路径积分技术在马尔可夫过程中建立贝叶斯更新,并推导出具有似然的时间薛定谔方程,以指导作为后验概率分布势的推理
2017-10-21 cond-mat.stat-mech math.ST stat.TH
Conservative Software Reliability Assessments Using Collections of Bayesian Inference Problems
City St. George’s, University of London(伦敦城市圣乔治大学)
本文通过贝叶斯推断问题集合确定软件无故障运行的最坏情况后验预测概率,推导其渐近性质并应用于安全关键软件评估,扩展了稳健与保守贝叶斯推断方法。
2025-11-10 cs.SE stat.AP