Bayesian Nonparametric Inference for Panel Count Data with an Informative Observation Process
本文考虑了重复事件的面板计数数据分析。这种分析对于在临床试验和观察性研究中研究肿瘤或感染复发是有用的。提出了一个双变量高斯Cox过程模型,用于联合建模观测过程和复发事件过程。贝叶斯非参数推断提出了同时估计回归参数,二元脆弱性效应和基线强度函数。推理是通过马尔可夫链蒙特卡罗,充分发展的计算技术。预测推理下的贝叶斯设置也进行了讨论。通过仿真研究表明,该方法是有效的。皮肤癌患者的临床试验数据集进行了分析,以说明所提出的方法。
2017-12-11 stat.AP stat.ME
Practical Guidance for Bayesian Inference in Astronomy
在过去的二十年里,贝叶斯推断在天文学中已经变得司空见惯。与此同时,算法的选择,术语,符号和贝叶斯推断的解释从天文学的一个子领域到下一个子领域是不同的,这可能会导致那些学习和熟悉贝叶斯统计的人感到困惑。此外,天文学和统计学文献之间的选择也各不相同。在本文中,我们的目标是双重的:(1)提供一个参考,巩固和澄清跨学科的术语和符号,(2)概述了天文学中的贝叶斯推断的实践指导。突出天文学和统计学文献,我们涵盖的主题,如符号,规范的可能性和先验分布,使用后验分布的推断,和后验预测检查。我们并不打算介绍贝叶斯数据分析的整个领域--相反,我们为已经了解贝叶斯“螺母和螺栓”并希望增加其专业知识和扩展其知识的天文学家提供了一系列有用的实践。此外,随着天体统计学和天体信息学领域的不断发展,我们希望本文将作为一个有用的参考,并作为一个跳跃点,更深入地研究统计学和天体统计学文献。
2023-02-09 astro-ph.IM stat.AP
Bayesian Inference of a Dependent Competing Risk Data
竞争风险数据的分析在寿命数据分析中起着重要的作用。最近,Feizjavadian和Hashemi(计算统计和数据分析,第82卷,第19-34页,2015年)使用四参数Marshall-Olkin双变量韦布尔分布提供了一种竞争风险数据集的经典推断,当一个单元在特定时间点的失效可能是由于多个原因而发生时。本文的目的是提供贝叶斯分析的基础上,一个非常灵活的Gamma-Dirichlet先验的尺度参数相同的模型。观察到,在这种情况下,贝叶斯推断具有一定的优势,比经典的推理。基于吉布斯抽样技术,给出了未知参数的贝叶斯估计和相应的最大后验密度可信区间。我们进一步考虑当一个原因比另一个原因更严重时,假设尺度参数上的部分有序Gamma-Dirichlet先验,模型参数的贝叶斯推断。我们还推广了不同删失方案的结果。
2021-05-01 stat.AP stat.ME
Adjusted Bayesian inference for selected parameters
我们解决的问题,从贝叶斯的角度来看,查看数据后选择的参数提供推断。我们提出了一个贝叶斯框架,为选定的参数提供推断,根据观察,为选定的参数提供贝叶斯推断是一个截断数据的问题。我们表明,如果参数的先验是非信息的,或者如果参数是一个“固定的”未知常数,那么有必要调整选择的贝叶斯推断。我们的第二个贡献是引入了贝叶斯错误发现率控制方法,它推广了现有的贝叶斯FDR方法,这些方法只定义在两组混合模型中,我们将这些结果应用于模拟数据和来自微阵列实验的数据。
2011-09-15 stat.CO stat.ME
Bayesian hierarchical weighting adjustment and survey inference
我们结合贝叶斯预测和加权推理作为一个统一的方法来调查推理。贝叶斯分析的一般原则意味着,调查结果的模型应取决于影响纳入概率的所有变量。我们将加权变量的框架下的多级回归和后分层,作为一个副产品生成基于模型的权重平滑后。我们研究了深层的相互作用,并引入了结构化的先验分布的平滑和稳定的估计。计算通过Stan完成,并在开源R包“rstanarm”中实现,可供公众使用。仿真研究表明,基于模型的预测和加权推理优于经典加权。我们将该建议应用于纽约幸福纵向研究。新方法产生强大的权重,并提高有限人口推断的效率,特别是对人口的子集。
2020-06-23 stat.AP stat.CO stat.ME
Robust Approximate Bayesian Inference with Synthetic Likelihood
贝叶斯合成似然(BSL)是一种用于在模型中进行近似贝叶斯推断的成熟方法,其中,由于似然函数的棘手性,精确贝叶斯方法要么是不可行的,要么是计算量太大。BSL应用中隐含的假设是,数据生成过程(DGP)可以生成模拟汇总统计量,以捕获观察到的汇总统计量的行为。我们证明,如果实际和假设的DGP之间的兼容性不满足,即,如果模型被错误指定,BSL会产生不可靠的参数推断。为了规避这个问题,我们提出了一个新的BSL方法,可以检测模型的误指定的存在,并同时提供有用的推论,即使在显着的模型误指定。两个模拟和两个真实数据的例子证明了这种新的方法BSL的性能,并证明其优越的精度比标准BSL时,假设的模型是错误的。
2020-06-11 stat.AP stat.CO stat.ME
Bayesian Inference Methods for Univariate and Multivariate GARCH Models: a Survey
本调查回顾了现有的文献中最相关的贝叶斯推断方法的单变量和多变量Gestival模型。每个程序的优点和缺点,以及贝叶斯方法与经典程序的优点。本文重点介绍了最近的贝叶斯非参数方法,避免强加任意的参数分布假设的Gestival模型。这些新方法隐含地假设了标准化收益率的高斯分布的无限混合,这已被证明是更灵活的,更好地描述了未来波动的不确定性。最后,调查提出了一个例子,使用真实的数据显示的灵活性和实用性的非参数方法。
2014-02-03 math.ST stat.AP stat.TH
A path integral approach to Bayesian inference in Markov processes
我们利用路径积分技术在马尔可夫过程中建立贝叶斯更新,并推导出具有似然的时间薛定谔方程,以指导作为后验概率分布势的推理
2017-10-21 cond-mat.stat-mech math.ST stat.TH
Estimating meteor rates using Bayesian inference
本文导出了一种由少量观测流星数n估算流星真率λ的方法。我们采用贝叶斯推断与泊松似然函数。我们讨论了一个合适的先验的选择,并建议采用Jeffreys先验,P(λ)=λ^{-0.5},这产生了一个期望值E(λ)= n+0.5对于任何n \geq 0。我们相应地更新了ZHR流星活动公式,并解释了如何计算68%和95%的置信区间。
2011-12-19 astro-ph.EP astro-ph.IM stat.AP
Compositional Active Inference I: Bayesian Lenses. Statistical Games
我们引入了贝叶斯透镜的概念,描述了精确贝叶斯推理的双向结构,以及统计博弈,形式化了近似推理问题的优化目标。我们证明了贝叶斯反演是根据组合透镜模式进行组合的,并将统计博弈与一些经典的统计概念结合起来,从极大似然估计到广义变分贝叶斯方法。本文是第一个系列奠定了基础的积极推理理论的组成帐户,因此,我们特别注意统计游戏的自由能目标。
2022-06-08 math.CT math.ST nlin.AO
Exact Inference Techniques for the Analysis of Bayesian Attack Graphs
攻击图是一种强大的安全风险评估工具,通过分析网络漏洞和攻击者可以用来危害网络资源的路径。攻击者行为的不确定性使得贝叶斯网络适合于对攻击图进行建模以执行静态和动态分析。以前的方法都集中在形式化的攻击图到贝叶斯模型,而不是提出他们的分析机制。在本文中,我们建议使用有效的算法,使贝叶斯攻击图的准确推理,使静态和动态网络风险评估。为了支持我们的方法的有效性,我们已经进行了广泛的实验评估合成贝叶斯攻击图与不同的拓扑结构,所提出的技术相比,现有的方法在时间和内存使用方面的计算优势。
2016-11-04 cs.CR stat.AP stat.ML
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包,用于执行变分贝叶斯推断。它基于变分消息传递框架,支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务,用户可以更快地构建模型,并且不易出错。简单的语法,灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法,如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
Adaptive Inference through Bayesian and Inverse Bayesian Inference with Symmetry-Bias in Nonstationary Environments
Tokyo Denki University(东京电机大学);The University of Tokyo(东京大学);SoftBank Robotics Group Corp.(软银机器人集团);Shinshu University(信州大学);Osaka Metropolitan University(大阪公立大学);Waseda University(早稻田大学)
本研究提出贝叶斯与逆贝叶斯(BIB)推断框架,通过引入对称性偏差和动态调节学习率,解决了传统贝叶斯推断中适应性与准确性的权衡,并在非平稳环境中实现了临界动力学与计算效率的共存。
2025-10-31 cs.MA stat.ME
Bayesian inference for the learning rate in Generalised Bayesian inference
University of Oxford(牛津大学);University of Auckland(奥克兰大学)
本文提出在广义贝叶斯推断中通过贝叶斯方法推断学习率和超参数,定义两种超参数后验分布,并在多个数据集上验证了该方法的有效性。
2026-09-24 stat.ME
Bayesian Interpolants as Explanations for Neural Inferences
Microsoft Research(微软研究院)
克雷格插值的概念,作为自动推理中的一种解释形式,适用于从逻辑推理到统计推理,并用于解释由神经网络进行的推理。这种方法产生的解释同时是简洁的,可理解的和准确的。
2020-04-08 cs.AI cs.LG stat.ML
Two- and Multi-dimensional Curve Fitting using Bayesian Inference
使用贝叶斯推断将模型拟合到数据是非常常见的,但是当参数空间中的每个点给出曲线时,将曲线拟合到数据集需要新的讨厌参数,这些参数指定将一维曲线嵌入到数据所占据的高维空间中的度量。一个通用的形式主义曲线拟合的背景下,贝叶斯推断的开发,显示如何出现上述度量。其结果是一个自然的概括以前的作品,并经常使用的频率论的方法和类似的贝叶斯技术进行比较。
2018-02-22 astro-ph.IM math.ST physics.data-an
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式,在此形式下,精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用,我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题,制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断,涵盖模型、推导及MATLAB/Octave实现,并作为教程与示例文档,提供免费在线函数。
2019-06-29 stat.ML
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
Bayesian Selective Inference: Non-informative Priors
我们讨论贝叶斯推断的参数选择使用的数据。首先,我们提供了一个批判性的分析,在文献中的正确的贝叶斯方法下选择的现有位置。其次,我们提出了两种类型的选择模型的非信息先验。这些先验可用于在没有先验信息的情况下产生后验分布,以及为所选参数提供良好校准的频率论推断。我们在几种情况下测试所提出的先验经验。
2021-05-11 math.ST stat.TH
Bayesian Inference on Mixtures of Distributions
本调查涵盖了最先进的贝叶斯技术估计的混合物。它通过研究新类型的分布,多项分布,潜在类分布和t分布,补充了早期的Marin,Mengersen和Robert(2005)。它还展示了封闭形式的解决方案,贝叶斯推断在一些离散的设置。最后,通过Chib(1995)的近似,给出了Bayes因子的计算方法。
2008-04-15 stat.CO stat.ME
Quasi-Bayesian Inference for Production Frontiers
我们提出了一个准贝叶斯方法进行推断的生产前沿。该方法通过拟贝叶斯方法将多个第一阶段极值分位数估计组合起来,得到生产前沿的点估计和置信区间。我们证明了所提出的估计量的渐近性质和推断过程的有效性。我们的方法的有限样本性能通过模拟和实证应用说明。
2020-11-30 stat.ME
Inference in Graded Bayesian Networks
Hamburg University of Technology(汉堡工业大学)
机器学习提供了可以从数据中学习并对数据进行推断或预测的算法。贝叶斯网络是一类图形模型,它允许通过有向无环图来表示随机变量的集合及其条件依赖关系。本文利用观测变量边际分布的热带化,给出了贝叶斯网络隐随机变量的一种推断算法。通过限制分级网络的拓扑结构,将建立分级贝叶斯网络的推理算法,该算法逐级评估隐随机变量,并以这种方式产生隐变量的最可能状态。该算法可以看作是分级贝叶斯网络的Viterbi算法的推广版本。
2018-12-23 cs.AI stat.ML
Some cautionary tales about Bayesian predictive inference
Università di Firenze(佛罗伦萨大学);Accademia Navale(海军学院);Università di Bologna(博洛尼亚大学)
探讨贝叶斯预测推断中的两种误解,即数据生成机制和渐近可交换性作用的误解,借例子强调误解后果。
2026-07-22 math.ST stat.ME stat.ML
Targeting functional parameters with semiparametric Bayesian inference
典型的贝叶斯推断需要通过似然参数化进行参数识别,这招致了批评,因为它比频率论框架灵活性差,并且容易出现错误。虽然在非参数模型空间下可以通过函数参数推断来避免误指定,但是不存在允许完全控制任何一般函数参数的边缘先验的灵活的贝叶斯半参数模型。我们提出了$θ$ -增强技术,它可以帮助我们将非参数模型操作成直接针对任何功能参数的半参数模型。该方法允许贝叶斯概率报表被定义为一个功能的经验分布的任何估计,而不需要一个似然函数,从而提供了一个路径贝叶斯分析的问题,如因果推断和审查,其中不存在公认的似然函数。
2022-11-25 stat.ME
On finite-population Bayesian inferences for $2^K$ factorial designs with binary outcomes
受Rubin(1978)的开创性工作的启发,我们采用潜在结果框架为医学研究中常见的具有二元结果的随机对照$2^K$析因设计开发了一个有限总体贝叶斯因果推断框架。模拟和实证的例子表明,所提出的框架纠正了著名的方差高估问题的经典的“奈曼”推理框架,在各种设置。
2019-01-24 stat.ME
Bayesian Adversarial Spheres: Bayesian Inference and Adversarial Examples in a Noiseless Setting
University of Edinburgh(爱丁堡大学)
现代深度神经网络模型遭受对抗性示例的影响,即在输入空间中自信地错误分类点。已经表明,贝叶斯神经网络是一种很有前途的方法来检测敌对点,但仔细分析是有问题的,由于这些模型的复杂性。最近,Gilmer等人(2018)介绍了对抗球体,这是一种简化问题的实际和理论分析的玩具设置。在这项工作中,我们使用对抗球设置来理解无噪声设置中线性模型的近似贝叶斯推断方法的属性。我们比较了贝叶斯和非贝叶斯方法的预测,展示了前者的优势,但也揭示了深度学习应用面临的挑战。
2018-11-29 cs.LG stat.ML
Bayesian inference under model misspecification
Monash University(莫纳什大学)
本文针对贝叶斯分析中似然与数据生成不匹配的模型误设问题,通过回顾后验的变分解释提供替代依据,并介绍相关广义贝叶斯推断技术以解决该问题。
2026-10-09 stat.ME
Composite Bayesian inference
我们重新审视和概括的概念,复合似然作为一种方法,使概率推理聚合多个贝叶斯代理,从而定义了一类预测模型,我们称之为复合贝叶斯。这种观点提供了选择与复合似然相关的权重的见解,无论是先验的还是通过学习;在后一种情况下,它们可以被调整,以最小化预测交叉熵,从而产生易于解决的凸问题。我们认为,复合贝叶斯推断是生成模型和判别模型之间的中间道路,在可解释性和预测性能之间进行权衡,这两者对许多人工智能任务都至关重要。
2019-04-17 stat.CO stat.ME
The Population Posterior and Bayesian Inference on Streams
许多现代数据分析问题涉及从流数据的推断。然而,流数据不容易服从标准的概率建模方法,它假设我们的条件是有限的数据。我们开发人口变分贝叶斯,一种新的方法,使用贝叶斯建模来分析数据流。它近似于一种新型的分布,即人口后验分布,它将数据的总体分布的概念与概率模型中的贝叶斯推断相结合。我们研究了我们的方法与潜在的Dirichlet分配和Dirichlet过程的混合物在几个大规模的数据集。
2015-07-21 stat.ML
Some comments about A. Ronald Gallant's "Reflections on the Probability Space Induced by Moment Conditions with Implications for Bayesian Inference"
本文评论了Ronald Gallant(2015)关于从矩条件构建贝叶斯先验分布的思考。主要结论是,该文件没有提供一个工作原理,可以证明基于这种先验的推理。
2015-02-05 stat.CO stat.ME
A review of Approximate Bayesian Computation methods via density estimation: inference for simulator-models
本文通过密度估计的视角,综述了进行贝叶斯后验推理的近似贝叶斯计算(ABC)方法。我们描述了几个最近的算法,并与传统的方法。我们展示了基于参数化方法的模型的优点和局限性,然后我们提请注意机器学习的发展,我们认为这有可能使ABC可扩展到更高的维度,并可能是未来的研究方向在这一领域。
2019-09-06 stat.CO stat.ME
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Bayesian Inference Under Differential Privacy With Bounded Data
本文研究受差分隐私保护的有界数据高斯模型的贝叶斯推断,证明分析师在指定先验分布时应考虑边界约束,并提供了默认先验在缺乏先验信息时产生有效推断的理论与实证结果,最后探讨了其在差分隐私数据回归推断中的应用。
2024-10-16 cs.CR stat.ME
Bridging Bayesian, frequentist and fiducial (BFF) inferences using confidence distribution
贝叶斯、频率论和基准(BFF)推理比科学界历史上所感知的要一致得多(参见,Reid and Cox 2015; Kass 2011; Efron 1998)。大多数从业者可能更熟悉两种占主导地位的统计推断范式,贝叶斯推断和频率论推断。第三种,不太为人所知的信念推断范式是由R.A.费雪试图定义一个反演过程的推理作为替代贝叶斯定理。虽然每一种范式都有其自身的优势和局限性,受制于其不同的哲学基础,本文旨在通过置信分布理论和蒙特卡罗模拟程序的镜头,这些不同的推理方法。本文试图了解这三种不同的范式,贝叶斯,频率论,和信念推断,可以统一和比较的基础水平,从而增加了可能的技术范围,可供统计理论家和从业人员在所有领域。
2022-06-15 math.ST stat.ME stat.TH
A computationally-tractable measure of global sensitivity for sampling-based Bayesian inference
University College London(伦敦大学学院)
提出基于Fisher散度的全局敏感性分析方法,仅需参考后验样本和得分函数评估,计算可行且适用于高维问题。
2026-10-07 stat.CO stat.ME
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法,基于混合模型,侧重于引入潜变量,使我们有可能处理模型对离群值的敏感性,并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理,并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Comparative Study of Inference Methods for Bayesian Nonnegative Matrix Factorisation
University of Cambridge(剑桥大学);IT University of Copenhagen(哥本哈根信息技术大学)
在本文中,我们研究了贝叶斯矩阵分解方法的不同推理方法的权衡,这些方法通常用于预测缺失值,并在数据中查找模式。特别是,我们考虑贝叶斯非负变量的矩阵分解和三因子分解,并比较非概率推理,吉布斯抽样,变分贝叶斯推断,和最大后验方法。变分方法是贝叶斯非负模型的一种新方法。我们比较了它们的收敛性,对噪声和稀疏数据的鲁棒性,在合成和真实世界的数据集。此外,我们扩展的模型与贝叶斯自动相关性确定先验,允许模型执行自动模型选择,并证明其效率。
2017-07-13 cs.LG stat.ML
Bayesian Inference for Latent Chain Graphs
在这篇文章中,我们考虑部分观察Anderson-Madigan-Perlman(AMP)高斯链图(CG)模型的贝叶斯推断。这种模型在生物网络和金融时间序列等应用中特别有意义。该模型本身具有各种约束,这使得先验建模和计算推理都具有挑战性。我们开发了一个框架,上述挑战,使用序贯蒙特卡罗(SMC)方法的统计推断。我们的方法说明了模拟数据以及从大学毕业率和药代动力学研究的真实案例研究。
2019-08-12 stat.ME
Patterns of Scalable Bayesian Inference
数据集不仅在规模上而且在复杂性上都在增长,这就产生了对丰富模型和量化不确定性的需求。贝叶斯方法非常适合这种需求,但扩展贝叶斯推断是一个挑战。为了应对这一挑战,最近有相当多的工作基于对模型结构、底层计算资源和渐近正确性的重要性的不同假设。因此,有一个动物园的想法,几乎没有明确的总体原则。在本文中,我们试图确定统一的原则,模式和直觉的缩放贝叶斯推断。我们回顾现有的工作,利用现代计算资源与MCMC和变分逼近技术。从这个分类的想法,我们的特点,已被证明是成功的设计可扩展的推理程序和评论的前进道路上的一般原则。
2016-03-22 stat.ML
Understanding Approximation for Bayesian Inference in Neural Networks
Balliol College(贝利奥尔学院);University of Oxford(牛津大学)
贝叶斯推断作为一个推理信念的原则框架具有理论吸引力。然而,贝叶斯推断的动机,声称它是唯一的“理性”的推理不适用于实践。他们创造了一个二元分裂,其中所有近似推理都是同样的“无理”。相反,我们应该问问自己,如何定义一系列理性程度更高和更低的推理,以解释为什么我们可能更喜欢一种贝叶斯近似。我探讨了贝叶斯神经网络中的近似推理,并考虑了概率模型、近似分布、优化算法和数据集之间的非预期相互作用。这些相互作用的复杂性突出了评估贝叶斯近似的任何策略的难度,该策略完全集中在特定数据集和决策问题的背景之外的方法上。对于给定的应用,近似后验的期望效用可以衡量推理质量。为了评估模型结合贝叶斯框架不同部分的能力,我们可以识别贝叶斯推理的理想特征行为,并选择大量使用这些行为的决策问题。在这里,我们使用持续学习(测试按顺序更新的能力)和主动学习(测试表示信任的能力)。但是,现有的持续和主动学习设置带来了挑战,这些挑战与后验质量无关,这可能会扭曲他们评估贝叶斯近似的能力。这些不相关的挑战可以被移除或减少,从而更好地评估近似推理方法。
2022-11-11 cs.LG stat.ML
On the Differential Privacy of Bayesian Inference
The University of Melbourne(墨尔本大学);Univ-Lille-3(里尔第三大学);Chalmers University of Technology(查尔姆斯理工大学)
我们研究了如何将贝叶斯推理的结果传达给第三方,同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制,用于将噪声添加到贝叶斯更新,或者直接添加到后验参数,或者添加到其傅立叶变换,以保持更新一致性。我们还利用最近推出的后验抽样机制,我们证明了离散贝叶斯网络的具体但一般情况下的界限,我们引入了最大后验私有机制。我们的分析包括效用和隐私边界,一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性,通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示,然后将一种高效,快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计,无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度,如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference
提出了一种新的算法来解决连续变量图模型的贝叶斯推断的期望传播松弛问题。与以往的算法相比,我们的方法是可证明收敛的。通过将来自(Opper&Winther 05)的收敛EP思想与协方差解耦技术(Wipf&Nagarajan 08,Nickisch&Seeger 09)相结合,它比最常用的EP求解器至少快一个数量级。
2010-12-16 stat.ML
Inherent Difficulties of Non-Bayesian Likelihood-based Inference, as Revealed by an Examination of a Recent Book by Aitkin
几十年来,统计学家一直试图在不打破贝叶斯鸡蛋的情况下准备贝叶斯煎蛋卷;也就是说,在不依赖信息丰富的先验分布的情况下获得基于概率似然的推断。最近的一个例子是Murray Aitkin的新书《{ \em统计推断}》,其中提出了一种基于竞争模型下可能性的后验分布比较的统计假设检验方法。Aitkin通过一些简单的例子,从iid数据和双向独立性测试中推断出他的方法。我们在这份说明中分析了其中采用的推理范式的一些后果,讨论了为什么这种方法是不兼容的贝叶斯的角度来看,为什么我们不认为它相关的应用工作。
2011-11-06 stat.ME stat.OT
Density Estimation via Bayesian Inference Engines
University of Technology Sydney(悉尼科技大学)
我们解释如何有效的自动概率密度函数估计可以使用当代贝叶斯推断引擎,如那些基于无掉头采样和期望传播。广泛的模拟研究表明,建议的密度估计有很好的比较性能和规模非常大的样本量由于分箱策略。此外,该方法是完全贝叶斯和所有的估计都伴随着逐点可信区间。随附的R语言包便于使用新的密度估计。
2021-09-26 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University(哈佛大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
贝叶斯神经网络(BNN)在神经网络中的参数上放置先验。然而,BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中,我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明,常用的指标(例如测试对数似然)可能会产生误导。我们的实验还表明,设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Non-parametric Inference for Diffusion Processes: A Computational Approach via Bayesian Inversion for PDEs
该研究提出基于偏微分方程贝叶斯反演的扩散过程非参数推断工作流,依托过程无穷小生成元构建无穷维问题,探讨优化与采样求解方法,初步实现单/多尺度过程的轨迹数据推断。
2024-11-04 cs.CE stat.CO
Bayesian Inference Forgetting
University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
被遗忘的权利在许多国家已经立法,但在机器学习中的执行将导致无法承受的成本:由于单个请求,公司可能需要删除从大量资源中学习的整个模型。现有的工作建议通过其影响函数,这不再是自然定义的贝叶斯推理从所请求的数据中删除的知识。提出了一种{ \it贝叶斯推理遗忘}(BIF)框架,实现贝叶斯推理中的被遗忘权。在BIF框架中,我们开发了变分推理和马尔可夫链蒙特卡罗的遗忘算法。我们表明,我们的算法可以证明消除单一数据的学习模型的影响。理论分析表明,我们的算法有保证的推广性。在合成数据集上的高斯混合模型和在真实数据集上的贝叶斯神经网络实验验证了该方法的可行性。源代码包可从\url{https://github.com/fshp971/BIF}获得。
2021-02-18 cs.AI cs.LG stat.ML
Bayesian Inference under Cluster Sampling with Probability Proportional to Size
整群抽样在调查实践中很常见,相应的推断主要是基于设计的。我们开发了一个贝叶斯框架的整群抽样和帐户的设计效果的结果建模。我们考虑一个两阶段的群集抽样设计,首先选择的群集与概率成正比的群集大小,然后在选定的群集内随机抽样的单位。当非抽样簇的大小未知时,挑战就出现了。我们提出了非参数和参数贝叶斯方法来预测未知的集群大小,同时进行这种推断与模型的调查结果。仿真研究表明,集成贝叶斯方法优于经典方法的效率增益。我们使用斯坦的计算和应用的建议,脆弱的家庭和儿童福利的研究作为一个例子,复杂的调查推断在健康调查。
2017-10-03 stat.CO stat.ME
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Robust Bayesian inference in complex models with possibility theory
我们提出了一个通用的解决方案,强大的贝叶斯推断在复杂的设置,可能存在异常值的问题。在实践中,鲁棒贝叶斯分析的自动化在涉及大型和复杂数据集的许多应用中是重要的。所提出的解决方案依赖于重新制定的贝叶斯推断的基础上的可能性理论,并利用观察,在这种情况下,边际似然数据评估先验和似然之间的一致性,而不是模型的适应性。我们的方法不需要额外的参数,在其最简单的形式,并有一个有限的影响,计算复杂性相比,非鲁棒性的解决方案。我们的解决方案的一般性是通过模拟和真实数据,包括矩阵估计和变点检测的应用程序。
2022-04-14 stat.ME
Adversarial robustness of amortized Bayesian inference
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
研究摊销贝叶斯推断的对抗鲁棒性,发现微小观测扰动会导致后验剧烈变化,提出基于Fisher信息惩罚的高效正则化方案以提升鲁棒性。
2023-05-24 cs.LG stat.ML