A comparison of score-based methods for estimating Bayesian networks using the Kullback-Leibler divergence
在本文中，我们比较了两种方法的性能估计贝叶斯网络的数据包含外生变量和随机效应。第一种方法是完全贝叶斯的先验分布是放置在外生变量，而第二种方法，我们称之为残差法，占外生变量的影响，通过使用限制极大似然的概念。我们回顾了这两个基于分数的指标，然后通过测量两个后验密度函数之间的库尔贝克-莱布勒散度或距离来研究它们的性能。库尔贝克-莱布勒散度为比较分布提供了一个自然的框架。残差的方法是相当简单的应用在实践中，我们证明了它的实用性，理论上和通过模拟。特别是，在应用程序中的外生变量是不是主要的利益，我们表明，潜在的损失的相关性的参数和诱导组件的信息，一般是小的。
2011-12-01 stat.ME
Assessment of mortgage default risk via Bayesian state space models
按照《巴塞尔协议三》框架的要求，管理总体风险对银行和金融机构至关重要。在本文中，我们引入离散时间贝叶斯状态空间模型的泊松测量模型的总体抵押贷款违约率。讨论了用马尔可夫链蒙特卡罗方法进行参数更新、滤波、平滑、预测和估计。此外，我们研究了违约率的动态行为和宏观经济变量的影响。我们说明了使用实际的美国住宅抵押贷款数据，并讨论从贝叶斯分析中获得的见解所提出的模型。
2013-11-28 stat.AP
Generalization of Jeffreys' divergence based priors for Bayesian hypothesis testing
在本文中，我们介绍了客观正确的先验分布的假设检验和模型选择的竞争模型之间的分歧的措施的基础上，我们称之为基于分歧（DB）先验。DB先验具有简单的形式和理想的属性，如信息（有限样本）的一致性;通常，它们类似于其他现有的建议，如内在先验;此外，在正常的线性模型的情况下，他们完全重现Jeffreys-Zellner-Siow先验。最重要的是，在具有挑战性的情况下，如不规则模型和混合模型，DB先验是定义良好，非常合理的，而替代方案不是。我们推导出近似DB先验以及MCMC和渐近表达式的相关贝叶斯因素。
2008-01-28 stat.ME
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法，通过贝叶斯图形套索实现后验稳健性，并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
An Empirical Comparison of Multiple Imputation Methods for Categorical Data
多重插补是处理统计数据库中缺失值的常用方法。插补者使用从观察数据估计的预测模型中提取的数据填充缺失值，从而产生多个完整版本的数据库。研究人员已经开发了各种默认例程来实现多重插补;然而，比较这些方法的性能的研究有限，特别是对于分类数据。我们使用模拟研究来比较三种默认多重插补方法的重复抽样特性，包括使用广义线性模型的链式方程，使用分类和回归树的链式方程，以及基于Dirichlet过程混合模型的完全贝叶斯联合分布。我们基于美国社区调查的分类数据进行模拟。在本研究的情况下，结果表明，默认链式方程的方法的基础上广义线性模型的默认回归树和贝叶斯混合模型的方法占主导地位。他们还提出了回归树和贝叶斯混合模型方法的竞争优势，使两个合理的默认引擎的多重插补的分类数据。本文的补充材料可在网上查阅。
2016-12-23 stat.CO stat.ME
On Bayesian Estimation via Divergences
在本说明中，我们介绍了一种新的方法，贝叶斯推理通过使用$ϕ$ -分歧和对偶技术。建立了估计的渐近律。
2011-12-26 math.ST stat.ME stat.TH
Robust Bayesian Predictive Model Selection using Bregman Divergence
Harvard University（哈佛大学）；University of Connecticut（康涅狄格大学）
针对基于对数得分的ELPD对异常值和尾部不匹配敏感的问题，提出基于Bregman散度的广义ELPD框架，通过β-散度族控制低密度观测影响，实现稳健模型选择。
2026-06-09 stat.ME
A tutorial on generalizing the default Bayesian t-test via posterior sampling and encompassing priors
随着所谓的默认贝叶斯假设检验的出现，应用领域的科学家们已经获得了一个强大的和原则性的方法来测试假设。然而，这样的默认检验通常都有一个折衷方案，要求分析师接受一种通用的假设检验方法。此外，这样的测试可能没有灵活性来测试科学家真正关心的问题。在本教程中，我演示了一种灵活的方法来概括一个特定的默认测试（JZS t检验; Rouder等人，2009年），这是越来越流行的社会和行为科学。该方法使用两个理论结果，Savage-Dickey密度比（Dickey和Lientz，1980）和包含先验的技术（Klugkist等人，2005）结合MCMC抽样，通过一个易于使用的概率建模包R称为Greta。通过对这些技术的全面数学描述以及说明性示例，向读者呈现了一个通用的、灵活的工作流程，该工作流程可以扩展以解决与他或她自己的工作相关的问题。
2019-02-05 stat.CO
Default Bayesian analysis for multi-way tables: a data-augmentation approach
针对Meta分析和多中心临床试验中常见的多元列联表，提出了一种正则化估计策略。我们的方法是基于数据增强，并呼吁大量的一类新的Polya-Γ分布。我们的主要贡献是建立相关的分布理论，并证明了这种数据增强计划的三个有用的功能。首先，它导致简单的EM和吉布斯采样算法的后验推理，规避解析近似，数值积分，大都市-黑斯廷斯，或变分方法的需要。其次，它允许建模者在选择先验时有更大的灵活性，而先验传统上来自狄利克雷或逻辑正态族。例如，我们的方法允许用户将经典惩罚似然技术（例如套索或桥）的贝叶斯模拟用于计算对数比值比的正则化估计。最后，我们的数据增强方案自然地提出了一个默认的策略，事先选择的基础上的逻辑-Z模型，这是密切相关的杰弗里斯先验的二项式比例。为了说明该方法，我们主要关注荟萃分析/多中心研究（或JxKxN表）的特定情况。但是，一般的方法包括许多其他常见的情况，我们将提供一些例子。
2011-09-19 math.ST stat.CO stat.ME
Automatic Relevance Determination Bayesian Neural Networks for Credit Card Default Modelling
University of Johannesburg（约翰内斯堡大学）
信用风险建模是全球金融体系的一个组成部分。虽然用于信用违约预测的神经网络模型受到了极大的关注，但此类模型往往缺乏所需的解释机制和对其预测不确定性的测量。这项工作的发展和比较贝叶斯神经网络（BNN）的信用卡违约建模。这包括高斯近似训练的BNN和混合蒙特卡罗（HMC）训练的BNN在信用风险建模中的首次实现。在台湾信用数据集上的结果表明，具有自动相关性确定（ARD）的BNN优于没有ARD的正常BNN。结果还表明，高斯近似训练的BNN显示出与HMC训练的BNN相似的预测性能。结果进一步表明，BNN与ARD可以用来推断不同功能的相对重要性，从而至关重要地帮助决策者解释模型输出给消费者。使用两种不同的方法训练BNN，识别为重要的特征之间的高度一致性加强了这一结果的鲁棒性。
2019-06-14 cs.LG stat.AP stat.ML
Adaptation of the Tuning Parameter in General Bayesian Inference with Robust Divergence
我们介绍了一种具有鲁棒发散的鲁棒贝叶斯估计方法（例如，密度功率发散或γ发散），由单个调谐参数索引。众所周知，稳健发散引起的后验密度给出了对离群值高度稳健的估计，如果调整参数是适当的，仔细选择。在贝叶斯框架中，找到最佳调优参数的一种方法是使用证据（边际似然）。然而，我们数值说明，密度功率发散诱导的证据不工作，以选择最佳的调谐参数，因为强大的分歧不被视为一个统计模型。为了克服这些问题，我们把鲁棒发散指数作为一个非归一化的统计模型，我们通过最小化Hyvarinen得分来估计调谐参数。我们还提供了自适应计算方法的基础上序贯蒙特卡罗（SMC）采样器，这使我们能够获得最佳的调谐参数和样本的后验分布同时。还提供了所提出的方法，通过模拟和应用到实际数据的经验性能。
2022-07-01 stat.CO stat.ME
Moment-based Bayesian Poisson Mixtures for inferring unobserved units
我们利用一个合适的矩为基础的表征混合泊松分布的发展贝叶斯推断为未知大小的有限人口的单位是受到多次发生在枚举抽样阶段。这是一个特别具有挑战性的设置，许多其他的尝试已经作出推断的未知特性的人口。在这里，我们把特别强调的混合分布的特征的默认先验启发的建设。我们评估我们的方法在实际数据应用和模拟研究中的比较性能。
2018-06-18 stat.ME
On Reparameterization Invariant Bayesian Point Estimates and Credible Regions
本文考虑了用于科学推理和交流的模型参数的重参数化不变贝叶斯点估计和可信区域。研究了贝叶斯内在估计和区域中内在损失函数选择的影响，发现如下。使用从完整模型到限制模型的库尔贝克-莱布勒散度的特定固有损失函数与贝叶斯预测准则有很强的联系，贝叶斯预测准则产生具有最佳预测性能的点估计。另一种内在损失函数，使用从限制模型到完整模型的库尔贝克-莱布勒散度，产生至少一些常用分布的具有有趣频率特性的估计，即位置和尺度参数的无偏最小方差估计。
2021-09-22 stat.ME
Approximate Reference Prior for Gaussian Random Fields
参考先验理论对于地统计数据的分析是有吸引力的，因为它们能够进行自动贝叶斯分析，并且具有理想的贝叶斯和频率属性。但它们的使用受到计算障碍的阻碍，这使得它们在实践中的应用具有挑战性。在这项工作中，我们推导出一类新的默认先验近似的参考先验的一些高斯随机场的参数。它是基于从平稳随机场的谱近似导出的协方差参数的积分似然的近似。该先验依赖于平均函数的结构和在与辅助规则网格相关联的一组谱点处评估的模型的谱密度。除了保持理想的贝叶斯和频率属性，这些近似的参考先验更稳定，它们的计算比精确的参考先验要简单得多。与精确参考先验不同，相关参数的边缘近似参考先验总是适当的，无论相关函数的均值函数或光滑性如何。此属性对协方差模型选择有重要影响。一个例子比较默认贝叶斯分析提供了一个数据集的铅污染在加利西亚，西班牙。
2022-01-26 stat.ME
BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability
Meta
BONSAI是一种具有默认配置意识的贝叶斯优化策略，通过修剪低影响的偏离并控制获取价值损失，实现更精确的参数优化，同时在多个实际应用中表现出更高效的候选生成性能。
2026-10-08 cs.AI cs.LG stat.ML
A Geometric Variational Approach to Bayesian Inference
基于概率密度函数流形上的非参数Fisher-Rao度量，提出了一种新的贝叶斯模型变分推断的黎曼几何框架.在平方根密度表示下，流形可以用L2中单位超球面的正正交线来标识，并且Fisher-Rao度量约化为标准的L2度量。利用这样一个黎曼结构，我们制定的任务，近似的后验分布作为一个变分问题的超球的基础上的α-散度。与基于库尔贝克-莱布勒散度的方法相比，这提供了关于边缘分布的更严格的下限，以及相应的不可用的上限。我们提出了一种新的基于梯度的算法的变分问题的基础上的Frechet导数算子的希尔伯特球的几何形状，并检查其性质。通过模拟和实际数据的应用，我们证明了建议的几何框架和算法上的几个贝叶斯模型的效用。
2019-03-27 stat.ME
Harmonic Bayesian prediction under alpha-divergence
我们研究贝叶斯收缩方法构建预测分布。我们考虑多元正态模型与已知的协方差阵，并表明贝叶斯预测密度相对于Stein的调和先验占主导地位的最佳不变贝叶斯预测密度，当维数是大于3。从真实分布到预测分布的α-发散被采用作为损失函数。
2017-07-28 math.ST stat.TH
Generalized Geographically Weighted Regression Model within a Modularized Bayesian Framework
MRC Biostatistics Unit（MRC生物统计单元）；University of Cambridge（剑桥大学）
本文提出基于模块化贝叶斯框架的广义地理加权回归模型，解决传统GWR模型在处理部分模型不规范性时的局限性，通过地理加权核和KL散度优化实现空间数据的高效处理。
2022-02-21 stat.ME
Lower-bounds on the Bayesian Risk in Estimation Procedures via $f$-Divergences
我们认为在贝叶斯设置的参数估计的问题，并提出了一个一般的下限，包括家庭的$f$分歧的一部分。然后将结果应用于感兴趣的特定设置，并与文献中的其他显著结果进行比较。特别是，我们表明，使用互信息的已知界限可以通过使用，例如，最大泄漏，海林格发散，或广义的曲棍球棒发散。
2022-05-18 cs.IT math.IT math.PR
Bayesian estimation of the Kullback-Leibler divergence for categorical sytems using mixtures of Dirichlet priors
本文提出基于狄利克雷先验混合的贝叶斯方法估计Kullback-Leibler散度，并扩展至平方Hellinger散度，在类别多和散度值高时优于其他估计技术。
2023-07-09 cs.IT math.IT physics.data-an
Why optional stopping can be a problem for Bayesians
最近，选择性停止一直是贝叶斯心理学界争论的话题。Rouder（2014）认为，选择性停止对贝叶斯人来说没有问题，甚至建议在实践中使用选择性停止，Wagenmakers et al.（2012）。这篇文章解决了这个问题是否可选停止贝叶斯方法是有问题的，并指定在何种情况下，在何种意义上，它是和不是。通过稍微改变和扩展Rouder（2014）的实验，我们说明，一旦感兴趣的参数配备了默认或务实的先验-这意味着，在贝叶斯因子假设检验的大多数实际应用中-对可选停止的弹性可能会崩溃。我们区分了三种类型的默认先验，每一种都有自己的特定问题，从根本没有问题（0型先验）到非常严重（II型先验）。
2021-03-25 math.ST stat.ME stat.TH
Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines
我们提出了一个客观的贝叶斯方法来选择协变量和惩罚样条变换广义加性模型。为模型参数指定一个合理的默认先验，并结合模型本身的多重性校正先验，对于这项任务至关重要。在这里，我们使用了良好的研究和良好的行为连续混合的g先验作为默认先验。我们在正态模型中引入该方法，并将其推广到非正态指数族。仿真研究和文献中的应用说明了所提出的方法。一个有效的实现是在R-包“hypergsplines”。
2012-08-20 stat.ME
Checking for prior-data conflict using prior to posterior divergences
当使用复杂的贝叶斯模型组合信息时，检查组合信息的一致性是良好的统计实践。在这里，一个新的方法来检测先验数据冲突的贝叶斯模型的基础上比较的观察值的先验后验分歧，其分布下的先验预测分布的数据。在我们的模型检查中使用的发散度量是一个度量，用于度量信念从先验到后验发生了多大的变化，并且可以被认为是相对信念函数的整体大小的度量。结果表明，该方法是直观的，具有理想的性质，可以扩展到分层设置，并渐近相关的Jeffreys'和参考先验分布。在计算困难的情况下，建议使用变分近似作为减轻计算负担的一种方式。该方法进行了比较，在一些例子中的替代，但密切相关的方法在文献中的基础上，事先预测分布的最小充分统计量。
2016-11-28 stat.ME
Learning rate selection via weighted Fisher divergence
Graduate School of Social Sciences, Chiba University（千叶大学社会科学研究生院）
提出基于加权Fisher散度选择学习率的方法，校准一般贝叶斯后验，得到闭式解，数值实验验证有效性。
2026-09-22 stat.ME
Measuring Bayesian Robustness Using Rényi Divergence
本文讨论了污染先验类的贝叶斯鲁棒性度量问题。被认为是两个不同的类的先验在附近的引发事先。第一个是众所周知的$ε$污染类，而第二个是几何混合类。所提出的鲁棒性度量是基于计算后验分布之间的Rényi散度的曲率。通过模拟和真实数据集的例子来说明结果。
2021-02-17 math.ST stat.TH
A default prior for regression coefficients
当样本量不太小时，回归系数的M-估计量是近似正态且无偏的。这导致了熟悉的基于正态性的置信区间和p值的频率论推断。从贝叶斯的角度来看，使用（不适当的）均匀先验会产生匹配结果，在这个意义上，后验分位数与单侧置信界限一致。由于这个原因和其他各种原因，统一先验通常被认为是客观的或非信息性的。尽管如此，我们认为，统一的先验是不适合作为一个默认的先验推断的回归系数的背景下，生物医学和社会科学。我们建议更合适的缺省选择是均值为零且标准差等于M-估计量的标准误的正态分布。我们的建议基于两个论点。首先，我们表明，这种先验是非信息的回归系数的符号的推断。其次，我们表明，这一先验与MEDLINE数据库中50篇文章的荟萃分析一致。
2018-10-18 stat.AP stat.ME
Variational Bayesian Sparse Negative Binomial Regression
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德费尔多西大学）
针对高维计数数据回归难题，开发变分贝叶斯框架，用马蹄形和连续收缩先验实现稀疏负二项回归，相比MCMC方法计算量大幅减少，在过度离散和泊松数据中都有良好表现，为高维稀疏计数回归提供实用工具。
2026-07-30 stat.ME
Generalised Bayes Updates with $f$-divergences through Probabilistic Classifiers
一系列算法的进步已经稳步增加了贝叶斯方法作为推理范式的普及，无论是从理论还是应用的角度来看。即使在许多应用领域取得了明显的成功，一个日益关注的问题是贝叶斯推断的鲁棒性存在的模型误设定，这可能会导致不良的极端行为的后验分布的大样本量。广义信念更新与损失函数的核心原则，使贝叶斯推断更强大，更容易受到偏离假设的模型。在这里，我们考虑这样的更新与$f$ -分歧，以量化之间的差异假设的统计模型和概率分布，产生的观察数据。由于后者通常是未知的，估计的分歧可能被视为一个棘手的问题。我们表明，分歧变得可以通过使用概率分类器，可以利用两个概率分布的比率的估计，即使当其中一个或两个是未知的。我们证明了广义信念更新的行为下的$f$ -分歧家庭的各种具体的选择。我们表明，对于特定的发散函数，这种方法甚至可以提高正确的模型似然函数分析评估的方法。
2020-07-08 stat.CO stat.ME
Principles of Bayesian Inference using General Divergence Criteria
当认识到所有候选参数化统计模型相对于数据生成过程被错误指定时，决策者（DM）当前必须关注参数值的推断，以最大限度地减少模型和过程之间的KL分歧（Walker，2013）。然而，人们早就知道，最小化KL发散对正确捕获样本分布的尾部有很大的影响。因此，DM需要担心他们的模型的鲁棒性尾部错误规范，如果他们想进行原则性推理。在本文中，我们减轻这些问题的DM。我们推进了一般贝叶斯更新（Bissiri，Holmes和Walker，2016）的最新方法学发展，提出了一个统计上很好的贝叶斯信念更新，目标是最小化更一般的分歧标准。我们改进了现有贝叶斯最小散度估计的动机和统计基础（Hooker和Vidyashankar，2014; Ghosh和Basu，2016），允许原则性很好的贝叶斯从模型中定位预测，这些预测在KL散度的一些替代散度度量方面接近真正的模型。我们的原则性表述使我们能够考虑比以前所考虑的更广泛的分歧。事实上，我们认为定义的分歧措施形式的任何统计分析的一个重要的，主观的一部分，并旨在提供一些决策理论的合理选择。我们说明了如何瞄准替代分歧措施可以影响简单的推理任务的结论，然后讨论我们的方法可能适用于更复杂的，高维模型。
2018-05-17 math.ST stat.TH
Characterising variation of nonparametric random probability measures using the Kullback-Leibler divergence
本文研究了一些常用的非参数过程的随机抽取与其基线测度之间的库尔贝克-莱布勒散度的变化。特别是，我们专注于狄利克雷过程，波利亚树和频率和贝叶斯引导。结果揭示了这些非参数过程的支持。特别值得注意的是有限波利亚树，用于模拟连续随机概率测度的结果。我们的研究结果提供了指导，指定参数化的波利亚树过程，允许更好的理解，同时突出的标准规范选择的参数设置的限制。
2014-11-24 stat.ME
Kullback-Leibler Divergence for Bayesian Nonparametric Model Checking
贝叶斯非参数统计是一个相当大的研究兴趣的领域。虽然最近有一个广泛的浓度在发展贝叶斯非参数程序的模型检验，使用狄利克雷过程，在其最简单的形式，随着Kullback-Leibler分歧仍然是一个悬而未决的问题。这主要归因于Dirichlet过程的离散性以及任何离散分布与任何连续分布之间的Kullback-Leibler散度是无穷大。本文提出的方法，这是基于将狄利克雷过程，Kullback-Leibler分歧和相对置信比，被认为是第一个具体的解决方案，这个问题。应用该方法是简单的，并且不需要获得相对置信比的封闭形式。蒙特卡洛研究和实际数据的例子表明，开发的方法具有良好的性能。
2019-03-14 math.ST stat.TH
co-BPM: a Bayesian Model for Divergence Estimation
发散度不仅是信息论中一个重要的数学概念，而且广泛应用于低维嵌入、流形学习、聚类、分类、异常检测等机器学习问题。我们提出了一种新的模型co-BPM来描述两个样本集的差异，即，来估计它们潜在分布的差异。为了避免独立估计每个密度的插件方法的陷阱，我们的baidom模型试图学习样本空间的耦合二进制分区，最好地捕捉两个分布的景观，然后直接推断它们的分歧。先验是通过利用耦合二进制分区的顺序建立来构建的，后验是通过我们专门的MCMC来采样的。我们的模型提供了一个统一的方法来估计各种类型的分歧，并享有令人信服的精度。通过仿真、与\emph{state-of-the-art}的比较和一个实际数据的例子，证明了该方法的有效性.
2016-11-20 stat.CO
Model Selection for SLOPE Models: A Bayesian Perspective
Imperial College London（帝国理工学院）
提出贝叶斯方法BGSLOPE和BSGS，通过嵌入spike-and-slab框架控制FDR，并引入两步正交变换TSO，在合成和真实数据中优于交叉验证等方法。
2026-06-07 stat.ME
Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提出了第一个强大的贝叶斯在线变点检测算法，通过一般贝叶斯推断（GBI）与$β$ -分歧。由此产生的推理过程是双重强大的参数和变点（CP）后，线性时间和恒定的空间复杂度。我们提供了一个指数模型的构造，并在贝叶斯线性回归模型上进行了演示。在这样做时，我们做了两个额外的贡献：首先，我们使GBI可扩展的结构变分近似是精确的$β\to 0$。其次，我们给出了一个原则性的方法来选择的分歧参数$β$的期望预测损失最小的在线。将CP的错误发现率从超过90%降低到真实世界数据的0%，这提供了最先进的技术。
2018-11-27 cs.LG stat.ML
Divergence-based Robust Generalised Bayesian Inference for Directional Data via von Mises-Fisher models
School of Data Science, Meisei University（明成大学数据科学学院）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；School of Business Administration, Meiji University（明治大学商学院）；Department of Information Sciences, Tokyo University of Science（东京科学技术大学信息科学系）
本文提出基于密度幂发散和γ-发散的贝叶斯推断方法，用于稳健估计方向数据的参数，通过模拟和真实数据验证其有效性。
2025-12-24 math.ST stat.CO stat.ME
Robustness of Bayesian ordinal response model against outliers via divergence approach
针对有序响应模型受异常值影响的问题，提出基于密度幂散度和γ-散度的一般后验方法，实现稳健贝叶斯推断，并通过实验验证其优于普通贝叶斯方法。
2023-05-12 math.ST stat.ME stat.TH
Simple Bayesian testing of scientific expectations in linear regression models
科学理论通常可以使用线性回归模型中相对效应的等式和顺序约束来制定。例如，可以预期第一预测器的效果大于第二预测器的效果，并且预期第二预测器大于第三预测器。然后，我们的目标是将这些期望与竞争性的科学期望或理论进行测试。本文提出了一种简单的默认贝叶斯因子检验，用于检验具有等式和顺序约束的多个假设对兴趣效应的影响。所提出的测试标准可以计算，而不需要外部先验信息的预期效果之前，观察数据。该方法在名为“{ \tt lmhyp}”的R包中实现，该包可免费下载并随时可用。使用社会和行为科学的实证应用程序的方法和软件的可用性进行说明。
2019-01-29 stat.ME
Bayesian Inference Under Differential Privacy With Bounded Data
本文研究受差分隐私保护的有界数据高斯模型的贝叶斯推断，证明分析师在指定先验分布时应考虑边界约束，并提供了默认先验在缺乏先验信息时产生有效推断的理论与实证结果，最后探讨了其在差分隐私数据回归推断中的应用。
2024-10-16 cs.CR stat.ME
Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Romanian Institute of Science and Technology（罗马尼亚科学技术研究院）
贝叶斯神经网络（BNN）在训练后往往会导致未校准，通常倾向于过度自信。因此，设计在计算复杂性方面具有低影响的有效校准方法是中心兴趣。在本文中，我们提出了校准方法的BNN的基础上的α发散信息几何。我们比较了在训练和校准中使用alpha发散，并展示了如何在校准中使用alpha发散为特定的alpha选择提供更好的校准不确定性估计，并且特别是对于复杂的网络架构更有效。我们经验证明的优势，阿尔法校准回归问题，涉及参数估计和推断输出不确定性之间的相关性。
2020-08-15 cs.LG stat.ML
Bayesian model selection on linear mixed-effects models for comparisons between multiple treatments and a control
我们提出了一种新的贝叶斯模型选择技术的线性混合效应模型比较多个治疗与控制。采用完全贝叶斯方法来估计边际纳入概率，该概率提供治疗和对照之间差异的直接测量，以及模型平均后验分布。缺省先验提出了结合领域知识的模型选择，并开发了一种有效的后验计算的组件式吉布斯采样器。我们证明了所提出的方法的基础上模拟数据和实验数据集从小鼠寿命和体重轨迹的纵向研究。
2015-09-24 stat.AP stat.ME
Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
我们调查最佳后验最近推出的\cite{begin2016pac}卡方发散PAC贝叶斯边界的性质，他们的分布，计算的可扩展性和测试集的性能。对于一个有限的分类器集，我们推导出三个距离函数的界限：KL-发散，线性和平方距离。最优后验权重与经验风险的偏差成比例，通常具有子集支持。对于均匀先验，在按这些风险排序的分类器子集上的后验中搜索就足够了。我们将线性距离的界最小化作为凸规划，并得到其最优后验的封闭形式的表达式。而平方距离问题在一定条件下是一个拟凸规划，KL-发散问题是一个非凸优化（一个凸函数的差）问题。为了计算这样的最佳后验，我们得到快速收敛的不动点（FP）方程。我们将这些方法应用于SVM正则化参数值的有限集，以产生具有紧边界的随机SVM。我们在各种UCI数据集上对我们的最佳后验和已知的基于KL发散的后验进行了全面的性能比较，这些数据集具有不同的风险值范围和方差等。基于卡方发散的后验具有较弱的边界和更差的测试误差，暗示了基于KL发散的后验的潜在正则化。我们的研究突出了发散函数对PAC-Bayesian分类器性能的影响。我们比较我们的随机分类器与基于交叉验证的确定性分类器。后者具有更好的测试误差，但我们的样本更稳健，具有可量化的泛化保证，并且计算速度更快。
2020-08-14 cs.LG math.ST stat.ML
Dropout Inference in Bayesian Neural Networks with Alpha-divergences
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
为了使用真实世界的贝叶斯深度学习模型获得不确定性估计，需要实际的推理近似。例如，丢弃变分推理（VI）已用于机器视觉和医学应用，但VI可能严重低估模型的不确定性。α-发散是VI KL目标的替代发散，它能够避免VI的不确定性低估。但这些方法在实际应用中存在一定的困难：现有的方法只能使用高斯近似分布，并且需要对现有模型进行根本性的修改，因此对实践者的应用受到限制。我们提出了一个重新参数化的α发散目标，推导出一个简单的推理技术，连同辍学，可以很容易地实现与现有的模型，只需改变损失的模型。我们证明了改进的不确定性估计和精度相比，VI在辍学网络。我们研究我们的模型的认知不确定性远离使用对抗图像的数据，表明这些可以通过检查我们的模型的不确定性从非对抗图像区分。
2017-03-08 cs.LG stat.ML
Bayesian influence diagnostics using normalizing functional Bregman divergence
理想情况下，任何统计推断都应该对局部影响具有鲁棒性。虽然有简单的方法来检查独立和线性问题中的杠杆点，但更复杂的模型需要更复杂的方法。Kullback-Leiber和Bregman分歧已经应用于贝叶斯推断中，以衡量模型中每个观察结果的孤立影响。我们将这些想法扩展到相关数据和非正态概率分布的模型，如时间序列，空间模型和广义线性模型。我们还提出了一个策略，重新调整功能Bregman分歧在于（0，1）的间隔，从而方便解释和比较。这是用最小的计算工作量和保持所有的理论性质来完成的。为了提高计算效率，我们利用哈密顿蒙特卡罗方法从模型参数的后验分布中抽取样本。由此产生的马尔可夫链，然后直接与布雷格曼演算，这导致快速计算。我们检查的命题在模拟和实证研究。
2019-04-07 stat.AP
Scalable Bayesian divergence time estimation with ratio transformations
分歧时间估计是至关重要的，以提供时间信号的约会生物学上的重要事件，从物种分歧，病毒传播的空间和时间。随着高通量测序的出现，最近的贝叶斯系统发育研究已经分析了数百到数千个序列。这种大规模的分析挑战发散时间重建，需要高度相关的内部节点高度的推理，往往成为计算上不可行的。为了克服这一限制，我们探索了一种比率变换，将原始N - 1个内部节点高度映射到一个高度参数和N - 2个比率参数的空间中。为了使分析可扩展，我们开发了一系列线性时间算法来计算这些比率的对数似然的梯度和雅可比相关项。然后，我们在贝叶斯框架下应用Hamilton Monte Carlo抽样与比率变换来学习四种致病性病毒的发散时间：西尼罗河病毒，狂犬病病毒，拉沙病毒和埃博拉病毒。我们的方法既解决了西尼罗河病毒的例子中的混合问题，并提高了至少5倍的拉沙和狂犬病病毒的例子的推理效率。我们的方法也使得它现在计算上是可行的，将混合效应的分子时钟模型的埃博拉病毒的例子，证实了从原来的研究结果，并揭示了更清晰的多峰分布的分歧时间的一些分支的利益。
2021-10-25 q-bio.PE stat.CO
Multiple Imputation of Missing Categorical and Continuous Values via Bayesian Mixture Models with Local Dependence
我们提出了一个非参数贝叶斯联合模型的多变量连续和分类变量，目的是开发一个灵活的引擎，多重插补的缺失值。该模型融合了分类变量多项分布的Dirichlet过程混合和连续变量多元正态分布的Dirichlet过程混合。我们将连续和分类变量之间的依赖性（i）建模的正态分布的平均值作为组件特定的功能的分类变量和（ii）形成不同的混合成分的分类和连续数据的概率，通过分层模型。这种结构允许模型捕获分类数据和连续数据之间的复杂依赖关系，而分析人员只需进行最小的调整。我们应用该模型来填补缺失值，由于项目无应答的收入和计划参与调查（SIPP）的重新设计的评价。目标是将新设计的现场测试估计值与旧设计下收集的面板中选定个体的估计值进行比较。我们表明，占缺失数据改变了一些结论的可比性分布在两个数据集。我们还进行了广泛的重复抽样模拟使用类似的数据，从完整的情况下，在现有的SIPP面板，比较我们提出的模型的默认应用程序的多重插补链式方程。在这种现实环境中，基于所提出的模型的插补往往比链式方程的默认应用具有更好的重复采样特性。
2015-10-13 stat.AP stat.ME
Bayesian Hypothesis Testing: Redux
贝叶斯假设检验重新审查的角度来看，先验评估的检验统计量分布下的替代。通过评估可观察的检验统计量的分布，而不是先验参数值，我们提供了一个实用的默认贝叶斯因子，这是直接解释。为了说明我们的方法，我们提供的例子中，贝叶斯证据惊人地支持空，但导致拒绝下一个经典的测试。最后，我们总结了未来研究的方向。
2018-08-26 math.ST stat.TH
Is non-informative Bayesian analysis appropriate for wildlife management: survival of San Joaquin Kit Fox and declines in amphibian populations
计算上的便利使得贝叶斯推断在生态学中被广泛应用于分析状态空间模型。模糊的先验被认为是客观的，让数据说话。这两种说法都不成立。统计学家批评了模糊先验的使用，从哲学到计算到实用主义的原因。然而，生态学家认为这些批评是空洞的哲学思考，没有实际意义。我们说明，在人口生存能力分析和占用模型中使用模糊先验可以对分析产生重大影响，并可能导致截然不同的管理决策。鉴于广泛的适用性的层次模型和非信息贝叶斯分析在生态学中的不加批判的使用，研究人员应该谨慎使用模糊的先验知识作为默认选择在实际情况下。
2015-02-02 q-bio.QM stat.ME
Bayesian predictive densities for linear regression models under alpha-divergence loss: some results and open problems
本文考虑方差未知的正态线性模型在α-散度损失下的预测密度估计，其中α-1 <= α <= 1。我们首先给出了问题的一般标准型，然后给出了广义贝叶斯解在上述损失下的一般表达式。对于Maruyama和Strawderman（2005，2006）研究的一类特殊的分层广义先验，分别针对均值向量和方差的估计问题，给出了广义Bayes预测密度.此外，我们表明，对于这些先验的一个子类，当alpha=1时，所得估计量相对于右不变先验支配广义贝叶斯估计量，即，最佳（完全）等变极大极小估计量。
2010-02-19 math.ST stat.TH
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Entropy and the Kullback-Leibler Divergence for Bayesian Networks: Computational Complexity and Efficient Implementation
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
本文针对贝叶斯网络缺乏熵与KL散度计算方法的问题，利用其图结构提出高效算法，并将高斯贝叶斯网络的KL散度计算复杂度从三次方降至二次方。
2024-01-15 cs.AI cs.LG stat.CO
Bayesian Optimization of Pythia8 Tunes
本研究用贝叶斯优化得到Pythia8末态部分子簇射与强子化模型6个关键参数的新调优集，拟合ALEPH的LEPI数据效果优于默认调优，是该领域目前最全面的贝叶斯优化调优应用。
2025-05-16 hep-ex hep-ph stat.AP
Simpler PAC-Bayesian Bounds for Hostile Data
PAC-Bayesian学习边界是学习社区最感兴趣的。它们的作用是将聚合分布$ρ$的泛化能力与其经验风险以及相对于某些先验分布$π$的库尔贝克-莱布勒散度联系起来。不幸的是，大多数可用的边界通常依赖于沉重的假设，如有界性和独立的观察。本文旨在放松这些限制，并提供PAC贝叶斯学习边界，持有依赖，重尾观测（以下简称为\emph{hostile data}）。在这些界限中，Kullack-Leibler发散被Csiszár的$f$ -发散的一般形式所取代。我们证明了一个一般的PAC贝叶斯界，并展示了如何使用它在各种敌对的设置。
2019-05-23 math.ST stat.ML stat.TH
Beyond Global Divergences: A Local-Mass Perspective on Bayesian Inference
UNSW Sydney（新南威尔士大学悉尼分校）；University of Edinburgh（爱丁堡大学）
本文引入质量指数和正则化扩展KL散度，从局部质量角度分析贝叶斯推断中全局散度未捕捉的行为，并证明局部质量比较的不等式。
2026-10-05 cs.AI cs.LG stat.ML
A Semiparametric Bayesian Approach for Extreme Values Using Dirichlet Process Mixture of Gamma and Generalized Pareto Densities
对于极值估计，我们建议使用一个Dirichlet过程混合的伽玛密度的中心和广义帕累托密度的尾部模型。由于中心的随机性和尾部的重尾密度，高分位数的密度估计和后验推断是可能的。该方法可以在正实数上以“默认”方式使用，因为它在先验信息不可用时有效。该模型易于实现，并进行了敏感性分析。我们将所提出的模型应用于模拟和真实数据集。
2013-03-28 math.ST stat.ME stat.TH
