Quantifying Evidential Rigor in Meta-Analytic Corpora: A Simulation-Characterized, Bias-Robust Bayesian Workflow with a Nutrition Case Study
University of Arkansas at Little Rock(阿肯色大学小石城分校)
提出一个语料库规模的贝叶斯证据审计工作流,通过联合贝叶斯因子综合效应/无效应证据和偏差成分缺失来量化证据严谨性,并使用ADEMP框架的模拟/重采样设计进行表征,以营养干预语料库作为案例研究。
2026-05-31 stat.AP stat.ME
BayesFlow: Amortized Bayesian Workflows With Neural Networks
Heidelberg University(海德堡大学);University of Stuttgart(斯图加特大学);University of Bonn(波恩大学);TU Dortmund University(多特蒙德工业大学)
本文提出 Python 库 BayesFlow,通过基于模拟训练神经网络实现摊销贝叶斯推断,使用户能快速近似后验分布并比较竞争模型。
2023-07-10 cs.AI cs.LG stat.ML
Supporting Bayesian modelling workflows with iterative filtering for multiverse analysis
本文提出用于多宇宙分析的迭代筛选方法,将贝叶斯建模工作流与多宇宙分析结合,通过评估预测能力和处理计算问题,从大量候选模型中高效筛选出更少且质量更高的模型,并用真实数据示例验证其有效性。
2024-04-02 stat.CO stat.ME
Recommendations for visual predictive checks in Bayesian workflow
本文针对贝叶斯工作流中的视觉预测检验提出建议与诊断工具,旨在减少临时决策,提高模型批评的稳健性与可解释性,涵盖连续、离散及混合数据,并提供数据离散性、边界及密度图拟合优度等诊断方法。
2025-03-03 stat.CO stat.ME
Amortized Bayesian Workflow
University of Helsinki(赫尔辛基大学);ELLIS Institute Finland, Aalto University(芬兰埃利斯研究所、阿尔托大学);TU Dortmund University(多特蒙德技术大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Independent Scientist(独立研究者)
本文提出了一种结合快速近似推断与MCMC技术的自适应工作流,通过在处理大量数据集时平衡速度与精度,提升推断效率并保持高质量后验结果。
2026-02-17 cs.LG stat.ML
Detecting and diagnosing prior and likelihood sensitivity with power-scaling
本文提出了一种基于重要性采样的幂缩放敏感性分析方法,用于高效估计先验或似然扰动对后验的影响,并提供诊断先验-数据冲突或似然无信息性的工具,已实现于R包priorsense。
2023-05-26 stat.ME
Some models are useful, but how do we know which ones? Towards a unified Bayesian model taxonomy
针对贝叶斯模型定义与评估问题,提出PAD分类法定义四类模型,并给出十个效用维度及决策树以全面评估模型。
2023-09-25 stat.ME
Implementation and Workflows for INLA-Based Approximate Bayesian Structural Equation Modelling
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Universiti Brunei Darussalam(文莱达鲁萨兰国大学)
本文提出INLAvaan包,通过集成嵌套拉普拉斯近似框架实现快速近似贝叶斯结构方程建模,展示了其在复杂模型中的高效性能。
2026-11-02 stat.CO
Bayesian Model Robustness via Disparities
本文提出了一种方法,通过使用的差距强大的贝叶斯推断。Hellinger距离和负指数视差等参数在频率论推断的稳健估计中有着悠久的历史。我们证明了一个等价的鲁棒性可以在贝叶斯推断通过取代一个适当的缩放的差距的对数可能性,其中标准的蒙特卡罗马尔可夫链方法可以应用。最小差异方法的一个特别吸引人的特性是,虽然它们在1/2的崩溃点下产生鲁棒性,但当假设的概率模型正确时,所得参数估计也是有效的。我们证明了一个类似的属性持有基于概率的贝叶斯推断。我们进一步表明,在贝叶斯设置,它也可以扩展这些方法,以robustify回归模型,随机效应分布和其他层次模型。这些方法在真实世界的数据上得到了证明。
2012-11-26 stat.ME
Bayesian workflow for disease transmission modeling in Stan
本教程展示了如何在Stan中构建、拟合和评价疾病传播模型,对于有兴趣在贝叶斯框架中建模SARS-CoV-2大流行病和其他传染病的研究人员来说,这应该是有用的。贝叶斯建模提供了一种原则性的方法来量化不确定性,并将数据和先验知识结合到模型估计中。Stan是一种表达概率的编程语言,它抽象了推理,并允许用户专注于建模。因此,Stan代码是可读的,并且易于扩展,这使得建模者的工作更加透明。此外,Stan的主要推理引擎,哈密顿蒙特卡罗采样,是友好的诊断,这意味着用户可以验证所获得的推理是否可靠。在本教程中,我们将演示如何在Stan中制定、拟合和诊断房室传播模型,首先使用简单的易感-感染-传播(SIR)模型,然后使用SARS-CoV-2大流行期间使用的更详细的传播模型。我们还涵盖了高级主题,可以进一步帮助从业者适应复杂的模型;特别是,如何使用模拟来探测模型和先验,以及基于常微分方程的计算技术来放大模型。
2021-09-30 q-bio.QM stat.AP stat.CO
On default priors for robust Bayesian estimation with divergences
本文提出了基于分歧的抗野值贝叶斯估计的客观先验。最小$γ$ -散度估计是众所周知的工作,以及对严重污染的估计。近年来,基于分歧的准后验分布的稳健贝叶斯方法也被提出。在客观贝叶斯框架下,在这种准后验分布下,违约先验分布的选择是一个重要问题。本文基于$γ$ -散度,给出了准后验分布下参考先验和矩匹配先验的一些性质。特别是,我们表明,所提出的先验近似鲁棒的污染分布的条件下,不假设任何条件的污染率。一些模拟研究也被提出。
2020-12-18 stat.ME
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具,但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法,但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法,它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法,发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用,说明了所提出的方法的性能。
2020-05-26 stat.ME
Robust Bayesian inference in complex models with possibility theory
我们提出了一个通用的解决方案,强大的贝叶斯推断在复杂的设置,可能存在异常值的问题。在实践中,鲁棒贝叶斯分析的自动化在涉及大型和复杂数据集的许多应用中是重要的。所提出的解决方案依赖于重新制定的贝叶斯推断的基础上的可能性理论,并利用观察,在这种情况下,边际似然数据评估先验和似然之间的一致性,而不是模型的适应性。我们的方法不需要额外的参数,在其最简单的形式,并有一个有限的影响,计算复杂性相比,非鲁棒性的解决方案。我们的解决方案的一般性是通过模拟和真实数据,包括矩阵估计和变点检测的应用程序。
2022-04-14 stat.ME
Robust Empirical Bayes Small Area Estimation with Density Power Divergence
一个两阶段的正常层次模型称为费伊-赫里奥特模型和经验贝叶斯估计被广泛用于提供间接和基于模型的估计手段在小面积。然而,当假设的正态分布被错误指定时,经验贝叶斯估计的性能可能很差。在这篇文章中,我们提出了一个简单的修改,通过使用密度功率发散,并提出了一个新的鲁棒经验贝叶斯小区域估计。基于模型参数鲁棒估计的渐近性质,推导出了估计量的均方误差和估计的均方误差。我们调查所提出的方法,通过模拟和应用调查数据的数值性能。
2019-08-23 stat.ME
Hellinger Distance and Bayesian Non-Parametrics: Hierarchical Models for Robust and Efficient Bayesian Inference
本文介绍了一个层次化的框架,将Hellinger距离方法贝叶斯分析。我们建议修改先验的非参数密度的指数的两倍之间的候选人和参数密度的Hellinger距离。通过将先验的第二密度的参数,我们到达一个层次模型,其中的非参数模型之间的参数和数据。族的参数然后可以被估计为模型中的超参数。在频率估计中,最小化核密度估计和参数族之间的Hellinger距离已被证明可以产生对离群值具有鲁棒性的估计量,并且在参数模型正确时具有统计效率。在本文中,我们证明了同样的结果是适用时,非参数贝叶斯密度估计取代核密度估计。然后,我们证明了所提出的分层模型的鲁棒性和效率。有限样本的估计行为进行了研究,通过模拟和现实世界的数据。
2013-09-26 stat.ME
Robust approximate Bayesian inference
我们讨论了一种方法来获得强大的后验分布的$M$估计功能,使用近似贝叶斯计算(ABC)的方法。特别是,我们使用$M$ -估计函数来构建合适的汇总统计量在ABC算法。讨论了稳健后验分布的理论性质。特别注意的是线性混合模型的方法的应用。仿真结果和临床研究的应用证明了该方法的实用性。在robustBLME包中还提供了一个R实现。
2019-06-12 stat.ME
Robust estimation in controlled branching processes: Bayesian estimators via disparities
本文关注的是贝叶斯推理方法的数据控制分支过程,占模型的鲁棒性,通过使用的差异。在正则条件下,我们证明了在假设模型下,基于概率的后验估计,如期望和最大后验估计,是相容的和有效的。此外,我们表明,估计是强大的模型误设定和存在异常离群值。为此,我们开发了几个基本的想法,最小差异估计贝叶斯估计建立在基于可靠性的后验,依赖树结构的数据。我们通过一个模拟的例子来说明我们的方法,并将我们的方法应用到一个真实的数据集从细胞动力学。
2018-02-16 stat.ME
Limiting the Shrinkage for the Exceptional by Objective Robust Bayesian Analysis: the `Clemente Problem'
针对统计学中的克莱门特问题(借强度分析中异常案例的处理难题),提出采用重尾先验的稳健贝叶斯方法,可复现两类经典估计量,经验贝叶斯与全贝叶斯方法均能缓解该问题且平方误差优于James-Stein估计量。
2025-06-11 stat.ME
Bayesian Robustness to Outliers in Linear Regression and Ratio Estimation
整体鲁棒性是统计模型的一个很好的属性。这意味着当离群值接近正负无穷大时,其影响逐渐消失。到目前为止,贝叶斯文献提供的结果,确保整体的鲁棒性的位置-尺度模型。在本文中,我们做了两个贡献。首先,我们推广的结果,以达到整个鲁棒性在简单的线性回归通过原点,这是一个必要的步骤,一般的线性回归模型的结果。我们允许误差项的方差依赖于解释变量。这种灵活性导致的第二个贡献:我们提供了一个简单的贝叶斯方法来鲁棒地估计有限的人口手段和比率。由于采用了超重尾分布假设代替了传统的误差项正态假设,因此获得全局鲁棒性的策略很简单。因此,用户可以像往常一样使用后验分布估计参数。
2018-08-12 stat.ME
Robust local empirical Bayes correction for Bayesian modeling
本文提出一种稳健的局部经验贝叶斯校正方法,用于贝叶斯建模,以区分并消除收入中的暂时性与永久性冲击,并在英国数据上验证了其效果。
2025-06-22 stat.AP stat.ME
Some comments about James Watson's and Chris Holmes' "Approximate Models and Robust Decisions": Nonparametric Bayesian clay for robust decision bricks
本文讨论了Watson和Holmes(2016)以及他们对更稳健的贝叶斯决策的支持。虽然我们承认并赞扬作者为贝叶斯鲁棒性设定了新的和包罗万象的原则,我们也欣赏这些原则在决策理论参考中的强大锚定,但我们仍然不确定这些原则在多大程度上可以应用于二元决策之外。我们还想知道Kullback-Leibler邻域的最终相关性,以增强鲁棒性,并有利于沿非参数轴的扩展。
2016-04-09 stat.CO stat.ME
Bayesian Modeling via Goodness-of-fit
现代贝叶斯统计的两个关键问题是:(i)建立从初始可信的科学先验中提取与给定数据一致的统计先验的原则性方法;(ii)开发比两者中的任何一个都更有效的贝叶斯-频率主义统一数据分析工作流程。在本文中,我们提出了“贝叶斯通过拟合优度”的想法作为探索这些基本问题的框架,在某种程度上,是一般足以涵盖几乎所有的熟悉的概率模型。几个说明性的例子显示了这种新的观点作为一种实用的数据分析工具的好处。与其他贝叶斯文化的关系也进行了讨论。
2018-04-16 math.ST stat.ME stat.ML
Robust Bayesian FDR Control using Bayes Factors, with Applications to Multi-tissue eQTL Discovery
基于基因组学在表达量性状基因座(eQTL)定位中的应用,本文提出了一种新的方法,以贝叶斯因子作为输入检验统计量进行多个假设的同时检验。该方法的一个最显著的特点是它的鲁棒性,即使在参数替代模型的误指定下,也能控制目标错误发现率(FDR)。此外,所提出的程序是高度计算效率,这是理想的处理复杂系统和大数据的基因组应用。我们讨论了新的程序的理论特性,并证明了它的权力和计算效率在单组织和多组织eQTL定位的应用。
2016-06-08 stat.AP stat.ME
De-Linearizing Agent Traces: Bayesian Inference of Latent Partial Orders for Efficient Execution
Department of Statistics, University of Oxford(牛津大学统计系);Zhejiang University(浙江大学)
提出BPOP贝叶斯框架,从噪声线性化轨迹中推断潜在依赖偏序,通过可处理的边界-softmax似然实现高效MCMC推理,在云基础设施任务和科学工作流上显著减少令牌使用和执行时间。
2026-05-24 stat.AP
An Efficient Workflow for Modelling High-Dimensional Spatial Extremes
一个成功的模型,高维空间的极端,原则上,应该能够描述两个削弱极端依赖在增加的水平和极端依赖类的类型的变化作为位置之间的距离的函数。此外,该模型应允许使用推理方法进行计算上易处理的推理,该推理方法有效地从数据中提取信息并且对模型错误指定具有鲁棒性。在本文中,我们演示了如何通过开发一个全面的方法流程来满足所有这些要求,该流程使用空间条件极值模型对高维空间极值进行高效贝叶斯建模,同时使用R-INLA进行快速推理。然后,我们提出了一种事后调整方法,通过适当考虑可能的模型误定,从而产生更强大的推理。所开发的方法适用于模拟极端小时降水量在挪威的高分辨率雷达数据。推断在计算上是有效的,并且所得到的模型拟合成功地捕获了数据的极值依赖结构中的主要趋势。通过调整可能的误指定来对模型拟合进行鲁棒化,进一步提高了模型性能。
2022-12-13 stat.CO stat.ME
BayesFlow 2: Multi-Backend Amortized Bayesian Inference in Python
TU Dortmund University(图卢兹-多特蒙德大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Heidelberg University(海德堡大学);University of Bonn(波恩大学)
本文介绍BayesFlow 2.0,通过训练神经网络实现快速推断,支持多种深度学习后端和生成网络,提供定制化接口和超参数优化等功能,展示其在动态系统参数估计中的应用潜力。
2026-03-23 cs.LG stat.CO stat.ML
Robust Bayesian approach for reliability prognosis of nondestructive one-shot devices under cumulative risk model
本文针对非破坏性一次性装置在步进应力加速寿命试验下的寿命预测问题,提出基于密度幂散度的稳健贝叶斯方法,并结合哈密顿蒙特卡罗进行估计,通过模拟与实证验证了方法的稳健性。
2025-03-11 stat.AP stat.ME
Bayesian nonparametric strategies for power maximization in rare variants association studies
罕见的变异被认为是人类遗传性和疾病易感性的主要原因。因此,罕见变异关联研究为理解疾病提供了希望。相反,变异的稀有性带来了实际挑战;由于这些变异存在于少数个体中,因此很难开发有效利用其稀疏信息的数据收集和统计方法。在这项工作中,我们开发了一种新的贝叶斯非参数模型,以捕捉罕见变异关联研究中的设计选择如何影响其有用性。然后,我们展示了如何使用我们的模型来指导设计选择在实践中固定的实验预算。特别是,我们提供了一个实用的工作流程和模拟数据的说明性实验。
2021-12-03 q-bio.GN q-bio.QM stat.ME
Priors in Bayesian Deep Learning: A Review
ETH Zürich(苏黎世联邦理工学院)
虽然先验的选择是贝叶斯推断工作流程中最关键的部分之一,但最近的贝叶斯深度学习模型往往依赖于模糊的先验,例如标准高斯。在这篇综述中,我们强调了贝叶斯深度学习先验选择的重要性,并概述了(深度)高斯过程,变分自编码器和贝叶斯神经网络提出的不同先验。我们还概述了从数据中学习这些模型的先验知识的不同方法。我们希望激励贝叶斯深度学习的从业者更仔细地思考他们模型的先验规范,并在这方面为他们提供一些启发。
2022-03-18 cs.LG stat.ML
Adaptation of the Tuning Parameter in General Bayesian Inference with Robust Divergence
我们介绍了一种具有鲁棒发散的鲁棒贝叶斯估计方法(例如,密度功率发散或γ发散),由单个调谐参数索引。众所周知,稳健发散引起的后验密度给出了对离群值高度稳健的估计,如果调整参数是适当的,仔细选择。在贝叶斯框架中,找到最佳调优参数的一种方法是使用证据(边际似然)。然而,我们数值说明,密度功率发散诱导的证据不工作,以选择最佳的调谐参数,因为强大的分歧不被视为一个统计模型。为了克服这些问题,我们把鲁棒发散指数作为一个非归一化的统计模型,我们通过最小化Hyvarinen得分来估计调谐参数。我们还提供了自适应计算方法的基础上序贯蒙特卡罗(SMC)采样器,这使我们能够获得最佳的调谐参数和样本的后验分布同时。还提供了所提出的方法,通过模拟和应用到实际数据的经验性能。
2022-07-01 stat.CO stat.ME
A Bayesian computer model analysis of Robust Bayesian analyses
我们利用贝叶斯仿真技术的力量,旨在帮助复杂的计算机模型的分析,检查复杂的贝叶斯分析本身的结构。这些技术有助于对复杂问题进行稳健的贝叶斯分析和/或敏感性分析,从而允许在可能性和先验规范中对选择的影响进行全局探索。我们展示了如何在鲁棒性研究中以前棘手的问题可以克服使用仿真技术,以及这些方法如何让其他科学家快速提取近似后的结果对应于自己的特定的主观规范。我们的方法的实用性和灵活性证明了一个真正的应用程序,贝叶斯方法被用来捕捉河流流量的信念的重新分析。我们讨论了这种方法开辟的未来研究的明显扩展和方向。
2017-03-03 stat.AP stat.CO stat.ME
General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications
虽然贝叶斯推理在包括统计学家在内的很大一部分科学家中是一种非常流行的范式,但大多数应用都考虑了客观的先验知识,需要进行严格的调查(Efron,2013,Science)。虽然它有几个最佳的属性,贝叶斯推理的一个主要缺点是缺乏对数据污染和模型错误指定的鲁棒性,这在使用客观先验时变得有害。本文给出了一种能产生稳健推断的Bayes伪后验分布的一般形式。在一般的参数设置下建立了与新的伪后验估计和相应的Bayes估计相关的指数收敛结果,并对独立平稳和非齐次模型进行了说明.几个额外的细节和属性的过程中描述,包括固定设计回归模型下的估计。
2020-09-10 math.ST stat.ME stat.TH
Robust Inference and Model Criticism Using Bagged Posteriors
已知标准贝叶斯推断对模型错误指定敏感,导致不可靠的不确定性量化和较差的预测性能。然而,找到普遍适用的和计算上可行的方法,鲁棒的贝叶斯推断下的误指定已被证明是一个困难的挑战。一个有趣的、易于使用的、广泛适用的方法是在贝叶斯后验(BayesBag)上使用装袋;也就是说,使用以自举数据集为条件的后验分布的平均值。在本文中,我们发展的渐近理论贝叶斯袋,提出了一个模型-数据失配指数的模型批评使用贝叶斯袋,并实证验证我们的理论和方法的合成和真实世界的数据在线性回归,稀疏逻辑斯谛回归,分层混合效应模型。我们发现,在存在显着的错误指定,贝叶斯袋产生更多的可重复的推论,并具有更好的预测精度比标准的贝叶斯后验;另一方面,当模型被正确指定,贝叶斯袋产生优越或同样好的结果。总的来说,我们的研究结果表明,贝叶斯袋结合了有吸引力的建模功能的标准贝叶斯推断与分布鲁棒性的频率论方法,提供的好处超过单独的贝叶斯和单独的引导。
2020-07-30 math.ST stat.ME stat.TH
A Practitioner's Guide to Bayesian Inference in Pharmacometrics using Pumas
Pumas-AI Inc.(Pumas-AI公司);University of Sydney(悉尼大学);Universidade Nove de Julho - UNINOVE(七月九日大学);Gilead Sciences Inc.(吉利德科学公司);JuliaHub (formerly JuliaComputing) Inc.(JuliaHub(原JuliaComputing)公司);Massachusetts Institute of Technology(麻省理工学院);University of Maryland Baltimore(马里兰大学巴尔的摩分校)
本文为药动学-药效学从业者提供基于Pumas的贝叶斯推断完整教程,涵盖模型定义、先验选择、后验采样、诊断与模型比较等全流程,并通俗解释高级贝叶斯概念。
2023-03-31 cs.LG cs.MS stat.AP
Bayesian decision theory for wildlife management under uncertainty: from inference to action
CEFE, Univ Montpellier, CNRS, EPHE, IRD(法国国家科学研究中心生态与功能演化中心);University of California, Berkeley(加州大学伯克利分校)
本文提出基于贝叶斯决策理论的实用工作流程,通过两个案例展示如何在不确定性下平衡生态、经济和社会目标,提升管理决策的透明度和可重复性。
2026-08-26 stat.AP
Non-parametric Inference for Diffusion Processes: A Computational Approach via Bayesian Inversion for PDEs
该研究提出基于偏微分方程贝叶斯反演的扩散过程非参数推断工作流,依托过程无穷小生成元构建无穷维问题,探讨优化与采样求解方法,初步实现单/多尺度过程的轨迹数据推断。
2024-11-04 cs.CE stat.CO
Robust Bayesian variable selection with sub-harmonic priors
本文研究了一般球对称误差分布线性模型中的贝叶斯变量选择问题。我们提出了次谐波先验出现的Zellner的g-先验的贝叶斯因子是独立的基本误差分布的混合物的一类,只要它是在球对称类。由于这种不变性球对称误差分布,我们把我们的方法作为一个强大的贝叶斯变量选择方法。我们证明了我们的贝叶斯因子具有模型选择的一致性和连贯性。我们还开发了拉普拉斯近似贝叶斯因子的一些最近研究的混合物的g先验最近出现在文献中(包括我们自己的)的高斯误差。在每种情况下,这些近似值都由基于BIC的高斯贝叶斯因子乘以先验超参数的简单有理函数和相应模型的R^2给出。我们还扩展了模型选择的一致性为几个g先验贝叶斯因子方法高斯误差的整个类的球对称误差分布。此外,我们证明了我们的类的次谐波先验是唯一的在一个大类的混合物的g-先验在文献中研究的是强大的,在我们的意义上。模拟研究和两个真实数据集的分析表明,我们的鲁棒贝叶斯因子相对于BIC和其他混合的g先验方法的良好性能。
2013-03-11 math.ST stat.ME stat.TH
Attacking Bayes: On the Adversarial Robustness of Bayesian Neural Networks
New York University(纽约大学)
本文通过三类任务上的攻击实验,证明贝叶斯神经网络及其不确定性预测流程并不天然具备对抗鲁棒性,并纠正了先前工作中的概念与实验错误。
2024-04-27 cs.AI cs.CV cs.LG
On Bayesian robust regression with diverging number of predictors
研究了预测变量数与观测变量数以相似速率增长时的稳健回归模型。最近,几位作者开发了这种状态下的M估计量理论[El Karoui等人,2013,Bean等人,2013,Donoho and Montanari,2013].由于M-估计无法成功地估计系数向量的欧氏范数,我们考虑了这个模型的贝叶斯框架。我们建议一个两个组件的混合物的正常的系数之前,并开发一个吉布斯采样程序从相关的后验分布采样,同时利用一个规模的混合正态表示的误差分布。不同于M-估计,建议的贝叶斯估计是一致的,在欧几里德范数意义。仿真结果表明,贝叶斯估计优于传统的估计方法。
2016-04-04 math.ST stat.ME stat.TH
A General Method for Robust Bayesian Modeling
鲁棒贝叶斯模型是标准模型的有吸引力的替代品,提供保护,使其免受包含离群值或其他偏离模型假设的数据的影响。从历史上看,鲁棒模型大多是根据具体情况开发的;示例包括鲁棒线性回归、鲁棒混合模型和突发主题模型。在本文中,我们开发了一种通用的方法来鲁棒贝叶斯建模。我们展示了如何把现有的贝叶斯模型变成一个强大的模型,然后开发一个通用的策略计算it. We使用我们的方法来研究几个模型,包括线性回归,泊松回归,逻辑斯谛回归,概率主题模型的强大的变种。我们讨论了我们的方法和现有的方法,特别是经验贝叶斯和詹姆斯-斯坦估计之间的联系。
2016-09-07 stat.ML
A Robust Multi-Objective Bayesian Optimization Framework Considering Input Uncertainty
Ghent University(根特大学);imec(比利时微电子研究中心)
贝叶斯优化是一种流行的工具,用于对昂贵的目标函数进行数据有效的优化。在工程设计等实际应用中,设计人员通常希望考虑多个目标以及输入的不确定性,以找到一组鲁棒的解决方案。虽然这在单目标贝叶斯优化中是一个活跃的话题,但在多目标情况下研究较少。我们引入了一种新的贝叶斯优化框架,有效地执行多目标优化考虑输入的不确定性。我们提出了一个强大的高斯过程模型来推断贝叶斯风险标准来量化鲁棒性,我们开发了一个两阶段的贝叶斯优化过程来搜索一个强大的帕累托前沿。完整的框架支持各种分布的输入不确定性,并充分利用并行计算。我们证明了框架的有效性,通过数值基准。
2022-02-25 cs.AI cs.CE stat.ML
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen(哥廷根乔治-奥古斯特大学);University of Tübingen(图宾根大学)
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络(BNN)的主题,并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里,我分析了拟议的防御,并建议需要调整对抗攻击,以纳入贝叶斯网络的随机性,以执行其鲁棒性的准确评估。使用这种新型的攻击,我表明,似乎没有强有力的证据,更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Robust Generalised Bayesian Inference for Intractable Likelihoods
广义贝叶斯推断使用损失函数而不是似然更新先验信念,因此可以用于赋予针对可能的似然错误指定的鲁棒性。在这里,我们认为广义贝叶斯推断与斯坦差异作为一个损失函数,动机的应用程序中的可能性包含一个棘手的归一化常数。在这种情况下,斯坦差异规避评价的归一化常数,并产生广义后验,要么是封闭的形式或使用标准的马尔可夫链蒙特卡罗访问。在理论层面上,我们表现出一致性,渐近正态性和偏置鲁棒性的广义后验,突出这些属性是如何影响的选择斯坦差异。然后,我们提供了一系列的棘手的分布,包括应用基于核的指数族模型和非高斯图形模型的数值实验。
2022-01-11 math.ST stat.CO stat.ME
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然(BSL)的正态分布假设偏差及统计量兼容性需求,结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯,提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
在某些错误指定的设置中,贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题,已经建议用伪似然代替似然,伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中,我们建立了一个伪似然最大均值离散的基础上,定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明,这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的,我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明,我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Robust learning Bayesian networks for prior belief
Graduate School of Information Systems, University of Electro-Communications(电气通信大学信息系统研究生院)
最近的报告描述了学习贝叶斯网络是高度敏感的选择等效样本容量(ESS)的贝叶斯狄利克雷等价均匀(BDeu)。这种敏感性往往会产生一些不稳定或不希望的结果。本文描述了BDeu的一些渐近分析,以解释敏感性及其影响的原因。此外,本文提出了一个强大的ESS学习分数的建议,通过消除从log-BDeu近似的敏感因素。
2012-02-14 cs.LG stat.ML
Robust and Scalable Bayesian Online Changepoint Detection
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
提出一种在线、可证明鲁棒且可扩展的贝叶斯变点检测算法,利用广义贝叶斯和扩散分数匹配实现闭式共轭后验,速度比最接近方法快10倍以上。
2023-05-12 cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一个机器学习框架,用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展,通过常微分方程求解器传播梯度信息,并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型,而稀疏促进先验的使用,使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明,所提出的方法的有效性,包括非线性振子,捕食-食饵系统,混沌动力学和系统生物学。总之,我们的研究结果提出了一个新的,灵活的和强大的工作流程,数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML
Distributionally Robust Bayesian Optimization
ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院)
对分布变化的鲁棒性是当代机器学习的关键挑战之一。获得这样的鲁棒性是分布鲁棒优化的目标,其寻求在不受控制的协变量的指定分布偏移下最坏情况鲁棒的优化问题的解决方案。在本文中,我们研究了这样一个问题时,通过最大平均差异(MMD)测量的分布偏移。针对零阶噪声优化问题,提出了一种新的分布鲁棒贝叶斯优化算法(DRBO)。我们的算法可证明获得次线性鲁棒遗憾在不同的设置,不同的不确定协变量是如何观察。我们证明了我们的方法在合成和现实世界的基准上的鲁棒性能。
2020-03-22 cs.LG stat.ML
Robust Bayes-Like Estimation: Rho-Bayes estimation
本文从非渐近的角度考虑了贝叶斯范式下$n$独立随机变量的联合分布$P$的估计问题。假设$P$承认一些密度$s$相对于一个给定的参考措施,我们考虑一个密度模型$\overline S$的$s$,我们赋予一个先验分布$π$(支持$\overline S$),我们建立一个强大的替代经典的贝叶斯后验分布,具有类似的浓度属性周围$s$时,它属于模型$\overline S$。此外,在密度估计中,经典后验分布和稳健后验分布之间的Hellinger距离趋于0,因为在对模型和先验的适当假设下,观测值的数量趋于无穷大,只要模型$\overline S$包含真密度$s$。然而,与经典的贝叶斯后验分布发生的情况不同,我们表明,这种新的后验分布的浓度属性仍然保留在模型的错误指定的情况下,即当$s$不属于$\overline S$,但足够接近它相对于Hellinger距离。
2020-03-27 math.ST stat.TH
UltraNest -- a robust, general purpose Bayesian inference engine
UltraNest是一个用于参数估计和模型比较的通用贝叶斯推断包。它允许拟合指定为用Python、C、C++、Fortran、Julia或R编写的似然函数的任意模型。UltraNest专注于正确性和速度(按此顺序),特别适用于多模态或非高斯参数空间,计算昂贵的模型,在强大的管道中。可对计算集群进行并行化并恢复未完成的运行。
2021-04-07 astro-ph.IM stat.CO
Robust Bayesian estimation in conditionally heteroscedastic time series models
Department of Statistics, Kyungpook National University(庆北国立大学统计系)
本文提出了一种基于密度幂分歧框架的鲁棒贝叶斯估计方法,用于条件异方差时间序列模型,通过调节参数在效率和鲁棒性之间取得平衡,并在实证中展示了其在金融数据分析中的有效性。
2026-02-06 math.ST stat.TH
Robust Bayesian reinforcement learning through tight lower bounds
EPFL(洛桑联邦理工学院)
在贝叶斯序贯决策方法中,(主观)效用的精确计算是困难的。这扩展到大多数感兴趣的特殊情况,例如强化学习问题。虽然这个问题的效用边界是已知的,但到目前为止,没有一个是特别紧的。在本文中,我们将展示如何有效地计算一个下界,这对应于一个接近最优的无记忆政策的决策问题,这是一般不同的贝叶斯最优的政策和政策,这是最佳的预期MDP下的当前信念的效用。然后,我们将展示如何将这些应用于贝叶斯强化学习设置中获得强大的探索策略。
2011-11-11 cs.LG stat.ML
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO(联邦科学与工业研究组织数据61研究院);Monash University(莫纳什大学)
本文研究分布式预测器的对抗鲁棒性,提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验,并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML