Weakly informative priors and prior-data conflict checking for likelihood-free inference
贝叶斯无似然推理(Bayesian likelihood free inference)是一种在似然性难以处理的情况下进行贝叶斯推断的方法,具有越来越多的重要科学应用。然而,贝叶斯分析的许多方面在无可能性设置中变得更具挑战性。其中一个例子是先验数据冲突检查,其目标是评估数据中的信息和先验信息是否不一致。这种冲突是重要的检测,因为它们可能会揭示问题,在调查人员的理解是什么相关的参数值,并可能导致贝叶斯推断的灵敏度的先验。在这里,我们考虑的方法是适用的,无论可能性是否是易处理的或没有的先验数据冲突检查。在构造我们的检查时,我们考虑基于先验到后验库尔贝克-莱布勒散度的检查统计量。使用混合物近似的后验分布和封闭形式的近似库尔贝克-莱布勒散度的混合物,这使得蒙特卡罗近似的参考分布校准计算可行的检查。当先验数据发生冲突时,在备选分析中考虑弱信息先验规范是有用的,作为敏感性分析的一部分。作为我们的方法的一个主要应用,我们开发了一种技术,用于搜索弱信息先验的似然自由推理,弱信息先验的概念是正式使用先验数据冲突检查。该方法在三个例子中证明。
2022-02-21 stat.CO stat.ME
Quantification of observed prior and likelihood information in parametric Bayesian modeling
本文提出了两种与数据相关的信息度量来量化参数贝叶斯模型中先验和似然函数的信息,其中一种与Berger,Bernardo和Sun提出的参考先验和Lindley提出的信息度量密切相关.理论,经验和计算支持的组合提供的证据表明,这些信息理论指标可能是有用的诊断工具时,执行贝叶斯分析。
2017-09-07 cs.IT math.IT stat.AP
On the safe use of prior densities for Bayesian model selection
贝叶斯推断在模型选择中的应用是当前研究的热点。在这个框架中,模型通过它们的边际似然性或它们的相似性进行比较,称为贝叶斯因子。然而,边际可能性取决于先前的选择。对于模型选择,甚至扩散先验实际上可以提供非常多的信息,这与参数估计问题不同。此外,当先验不适当时,相应模型的边际似然是不确定的。在这项工作中,我们讨论了边际似然的先验灵敏度问题及其在模型选择中的作用。我们还评论使用无信息先验,这是非常常见的选择在实践中。几个实际的建议进行了讨论,许多可能的解决方案,在文献中提出,设计目标先验模型选择进行了说明。其中一些还允许使用不适当的先验。边际似然法和众所周知的信息标准之间的连接也被提出。我们描述的主要问题和可能的解决方案说明数值例子,也提供了一些相关的代码。其中一个涉及到系外行星探测的实际应用。
2022-06-10 stat.CO stat.ME stat.ML
Amortized Causal Discovery with Prior-Fitted Networks
University of Cambridge(剑桥大学);University of Warsaw(华沙大学);Poznan University of Technology(波兹南技术大学)
本文提出了一种基于先验拟合网络的因果发现方法,通过改进似然估计来提升结构学习的可靠性。
2025-12-03 cs.LG stat.ME stat.ML
Prior sample size extensions for assessing prior impact and prior--likelihood discordance
本文概述了一个框架,用于量化先验的贡献后的推理存在先验似然不一致,一个更广泛的概念比通常的概念先验似然冲突。我们通过在三个方向上扩展\textit{prior sample size},$M$的经典概念来实现这个双重目的:(I)估计超出共轭族的$M$;(II)将$M$公式化为相对概念,即,作为可能性样本量$k, M(k),$的函数,其也自然地导致图形诊断;以及(III)允许负的$M$,作为先验可能性冲突的量度,即,有害的不和谐我们的渐近制度允许前样本量增长的可能性数据的大小,从而使渐近参数有意义的调查的影响,相对于可能性。它导致了一个简单的渐近公式,用于量化适当的先验的影响,只涉及计算先验和后验的中心性和扩散度量。我们使用模拟和真实的数据来说明所提出的框架的潜力,包括量化如何弱是一个“弱信息”的研究中采用的狼疮肾炎之前。虽然我们采取务实的角度来评估一个特定的评价指标下的先验对给定的推理问题的影响,我们也触及概念和理论问题,如使用不当的先验和允许先验渐近非零的影响。
2021-01-07 stat.ME
Introducing prior information in Weighted Likelihood Bootstrap with applications to model misspecification
我们提出后验Bootstrap,一组算法扩展加权Likestive Bootstrap,适当地将先验信息和解决问题的模型误指定贝叶斯推断。我们考虑两种方法来结合先验知识:第一种是基于惩罚的加权Likestival Bootstrap目标函数,第二种是使用伪样本的先验预测分布。我们还提出了分层模型的方法,这是以前不知道的方法的基础上加权Likestival Bootstrap。Edgeworth展开指导我们的方法的发展,并使我们能够提供更深入的了解加权Likestrant Bootstrap的属性比以前已知的。我们的实验证实了理论结果,并显示在错误指定的设置对贝叶斯推断的模型误指定的影响减少。
2021-04-16 math.ST stat.ME stat.TH
Restricted type II maximum likelihood priors on regression coefficients
在贝叶斯假设检验和模型选择中,先验分布的选择必须慎重。例如,为位置参数设置任意大的先验尺度,这是估计问题中的常见做法,可能会导致测试中的不良行为(林德利悖论)。本文研究了一类约束Ⅱ型极大似然先验关于回归系数的性质。在II型ML中,超参数通过最大化模型的边际似然来“估计”。在这篇文章中,我们通过估计它们的方差或协方差阵来定义先验,增加限制,以确保所得先验至少与传统的模型不确定性的适当先验一样模糊。我们发现,这些II型ML先验通常会产生接近贝叶斯信息准则(BIC)获得的答案的结果。
2019-11-21 math.ST stat.TH
The prior can generally only be understood in the context of the likelihood
贝叶斯分析的一个关键点是先验分布的选择,并且有大量关于潜在缺省的文献,包括均匀先验、Jeffreys先验、参考先验、最大熵先验和弱信息先验。然而,这些方法,往往表现出一个关键的概念紧张在先验建模:一个模型编码真实的先验信息应选择不参考模型的测量过程中,但几乎所有常见的先验建模技术隐含的参考可能性的动机。在本文中,我们解决了这个明显的悖论,把先验的选择到整个贝叶斯分析的背景下,从推理预测模型评估。
2017-08-31 stat.ME
The empirical likelihood prior applied to bias reduction of general estimating equations
在现代统计文献中,在贝叶斯型过程的构造中采用经验似然(EL)分量代替参数似然函数的做法已经得到了很好的解决。我们严格推导出EL先验,杰弗里斯型先验,渐近最大化数据和参数之间的香农互信息。我们的方法的重点是基于EL的后验和先验密度函数之间的集成Kullback-Leibler距离。EL先验密度是对应的后验形式与EL的差异渐近可忽略的密度函数。我们表明,所提出的结果可以用来开发一种方法,用于减少一般估计方程和M-估计方案的解决方案的渐近偏差,通过删除一阶项。这种技术是以类似的方式开发的方法,用于减少渐近偏差的最大似然估计,通过惩罚其Jeffreys不变先验的基本参数似然。一个与心肌梗死研究相关的真实数据示例说明了所提出的技术在实际方面的吸引力。保留字:渐近偏差,有偏估计方程,经验似然,期望Kullback-Leibler距离,惩罚似然,参考先验。
2018-08-19 stat.ME
Information Theoretic Lower Bounds on Negative Log Likelihood
IBM Research AI(IBM研究院AI)
在这篇文章中,我们使用率失真理论,信息论的一个分支,致力于有损压缩的问题,揭示了一个重要的问题,在潜变量建模的数据:有空间来改善模型?解决这个问题的一种方法是找到一个概率的上限(相当于负对数似然的下限),当人们改变潜变量模型中的先验和/或似然函数时,模型可以分配给一些数据。我们的贡献的核心是正式表明,在潜变量模型中优化先验的问题正是信息理论家在计算率失真函数时解决的变分优化问题的一个实例,然后用它来推导负对数似然的下界。此外,我们将表明,如果改变先验可以提高对数似然,那么有一种方法来改变似然函数,而不是获得相同的对数似然,因此率失真理论是相关的优化先验以及优化似然函数。我们将通过实验论证从率失真理论导出的量在潜变量建模中的有用性,并将其应用于图像建模中的问题。
2019-04-12 cs.IT cs.LG math.IT
Encoding Domain Information with Sparse Priors for Inferring Explainable Latent Variables
German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Goethe University Frankfurt(法兰克福歌德大学);Frankfurt Cancer Insititute(法兰克福癌症研究所)
潜变量模型是一种强大的统计工具,可以通过从可观察的高维数据中推断未观察到的隐藏状态来揭示患者或细胞之间的相关变化。然而,目前的方法的一个主要缺点是,他们无法学习稀疏和可解释的隐藏状态。此外,在容易获得关于数据潜在结构的部分知识的设置中,将先验信息统计上合理地整合到当前方法中是具有挑战性的。为了解决这些问题,我们提出了spex-LVM,一个阶乘的潜在变量模型与稀疏先验,以鼓励推理领域相关的信息驱动的可解释的因素。spex-LVM利用现有的策划生物医学途径的知识,自动分配注释属性的潜在因素,产生可解释的结果,适合相应的领域的兴趣。对模拟和真实单细胞RNA-seq数据集的评估表明,我们的模型以内在可解释的方式稳健地识别相关结构,区分技术噪声与生物医学变异来源,并提供对现有途径注释的特定适应性调整。可在https://github.com/MLO-lab/spexlvm上获得实现。
2022-04-11 cs.LG stat.ML
Detecting and diagnosing prior and likelihood sensitivity with power-scaling
本文提出了一种基于重要性采样的幂缩放敏感性分析方法,用于高效估计先验或似然扰动对后验的影响,并提供诊断先验-数据冲突或似然无信息性的工具,已实现于R包priorsense。
2023-05-26 stat.ME
Marginal Likelihood Integrals for Mixtures of Independence Models
贝叶斯统计中的推断涉及边缘似然积分的评估。我们提出了代数算法计算这样的积分正是离散数据的小样本量。我们的方法适用于均匀先验和狄利克雷先验。基本的统计模型是独立分布的混合,或者用几何语言来说,是Segre-Veronese变量的割线变量。
2009-02-13 stat.CO
Posterior Adaptation With New Priors
Ohio State University(俄亥俄州立大学)
基于后验概率的直接估计和分析的分类方法,如果原始的类先验开始改变,将降低。我们证明了一个独特的(规模)的解决方案是可能的,以恢复数据的似然测试示例从其原始类后验和数据集先验。给定恢复的似然和一组新的先验,可以使用贝叶斯规则重新计算后验,以反映新的先验的影响。该方法计算简单,并允许动态更新的原始后验。
2022-01-25 cs.CV cs.LG stat.ML
The experiment is just as important as the likelihood in understanding the prior: A cautionary note on robust cognitive modelling
认知建模与统计建模有许多共同的特征,这使得借用稳健贝叶斯统计的实践来保护稳健认知建模的实践显得微不足道。我们采取的一个方面的统计工作流程事先预测检查,并探讨如何将其应用于认知建模任务。我们发现,它不仅是需要解释先验的可能性,我们还需要将实验信息以及。这表明,虽然认知建模可能借鉴统计实践,特别是工作流程,但必须注意进行必要的调整。
2019-07-10 stat.AP
Bayesian Model Selection, the Marginal Likelihood, and Generalization
New York University(纽约大学)
该研究针对边际似然作为模型选择泛化代理的局限展开分析,揭示其与泛化负相关、易引发欠过拟合等问题,结合PAC-贝叶斯界阐明缺陷,并提出条件边际似然作为部分改进方案,可提升大规模超参数学习效果。
2023-05-02 cs.LG stat.ML
Approximate Integrated Likelihood via ABC methods
我们提出了一种新的使用最近的新的计算工具贝叶斯推断,即近似贝叶斯计算(ABC)的方法。ABC是一种方法来处理模型的似然函数可能是棘手的,甚至不可用和/或太昂贵的评估,特别是,我们考虑的问题,消除滋扰参数从一个复杂的统计模型,以产生一个似然函数只取决于感兴趣的数量。给定一个适当的先验的整个向量参数,我们建议近似的边缘后验和先验的感兴趣的数量的核估计的比率的综合似然。我们提出了几个例子。
2014-03-03 stat.CO
A note on the area under the likelihood and the fake evidence for model selection
Universita’ di Catania(卡塔尼亚大学);Stony Brook University(石溪大学)
本文指出在模型选择中可使用不恰当先验分布,提出“假证据”概念,并通过实验验证了其有效性。
2026-02-26 cs.CE eess.SP stat.CO
Learning networks determined by the ratio of prior and data
Graduate School of Information Systems, University of Electro-Communications(电气通信大学信息系统研究生院)
最近的报告描述了Dirichlet先验中的等效样本容量(ESS)在贝叶斯网络学习中起着重要作用。本文对贝叶斯网络的边际似然得分进行了渐近分析。结果表明,在贝叶斯网络学习中,ESS和样本容量的比例决定了增加弧的代价。弧的数量随着ESS的增加而单调增加;弧的数量随着ESS的减少而单调减少。此外,边际似然分数通过改变先验知识提供了各种分数度量的统一表达。
2012-03-15 cs.LG stat.ML
Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona School of Economics(巴塞罗那经济学院)
本文分析高维下高斯精度矩阵惩罚似然估计的存在性,给出确保其存在的惩罚函数条件,并拓展至贝叶斯场景,给出确保后验正则的可分离先验分布条件。
2026-08-21 math.ST stat.ME stat.TH
Learning Gaussian Graphical Models With Fractional Marginal Pseudo-likelihood
University of Helsinki(赫尔辛基大学);Åbo Akademi University(奥博学术大学)
我们提出了一个贝叶斯近似推理方法来学习高斯图模型的依赖结构。使用伪似然,我们推导出一个分析表达式来近似的边缘可能性为任意的图形结构,而不调用任何假设的可分解性。大多数用于学习高斯图形模型的现有方法要么限于可分解的图,要么需要指定可能对学习结构产生重大影响的调谐参数。通过结合一个简单的稀疏诱导先验的图形结构与一个默认的参考先验的模型参数,我们得到了一个快速,易于应用的评分功能,即使是高维数据也能很好地工作。我们证明了我们的方法的良好性能,通过大规模的比较,对学习不可分解的高斯图形模型的领先方法。我们的方法提供了一个理论上的理由表明,它会产生一个相合估计量的图结构。
2016-02-25 cs.LG stat.ML
Maximum Likelihood Learning of Unnormalized Models for Simulation-Based Inference
University College London(伦敦大学学院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Deepmind(深度思维)
本文提出两种基于条件能量基模型和KL损失最小化的合成似然方法,用于基于模拟的推断,在多个合成数据集及螃蟹幽门网络神经科学模型上以更低模拟预算取得优于现有方法的效果。
2023-04-18 cs.LG stat.ML
Maximum Entropy competes with Maximum Likelihood
A. Alikhanyan National Laboratory (Yerevan Physics Institute)(A·阿利哈尼扬国家实验室(埃里温物理研究所))
最大熵(MAXENT)方法在机器学习的理论和应用中有着广泛的应用,因为它提供了一个方便的非参数工具来估计未知的概率。该方法是统计物理学对概率推理的一个重要贡献。然而,目前缺乏对其有效性限度的系统方法。在这里,我们研究MAXENT在贝叶斯决策理论设置,即假设存在一个定义良好的先验Dirichlet密度未知的概率,平均Kullback-Leibler(KL)距离可以用于决定各种估计的质量和适用性。这些允许评估各种MAXENT约束的相关性,检查其普遍适用性,并将MAXENT与具有不同程度的依赖于先验的估计量进行比较,即正则化的极大似然(ML)和贝叶斯估计量。我们表明,MAXENT适用于稀疏数据制度,但需要特定类型的先验信息。特别是,MAXENT可以优于最优正则化ML提供的估计的随机量和它的概率之间的先验秩相关性。
2020-12-17 cond-mat.stat-mech cs.LG physics.data-an
Relations Between the Conditional Normalized Maximum Likelihood Distributions and the Latent Information Priors
我们揭示了条件归一化最大似然(CNML)分布和贝叶斯预测密度的基础上的潜在信息先验(LIPs)之间的关系。特别地,CNML 3,这是一种类型的CNML分布,进行了研究。预测密度的贝叶斯投影,这是一个信息投影的预测密度的贝叶斯预测密度的集合,被认为是。我们证明了CNML 3的Bayes投影散度与条件互信息之和是渐近常数。这一结果意味着CNML 3的贝叶斯投影(BPCNML 3)与基于LIP的贝叶斯预测密度渐近相同。此外,在一些更强的假设下,我们证明了BPCNML 3与基于LIP的贝叶斯预测密度完全一致。
2014-12-25 math.ST stat.TH
"Best-of-Many-Samples" Distribution Matching
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
生成对抗网络(GANs)可以在生成建模任务中实现最先进的样本质量,但存在模式坍塌问题。另一方面,变分自编码器(VAE)明确地最大化基于重建的数据对数似然,迫使其覆盖所有模式,但遭受较差的样本质量。最近的工作提出了混合VAE-GAN框架,该框架将基于GAN的合成似然性集成到VAE目标,以解决模式坍塌和样本质量问题,但成功有限。这是因为VAE目标强制在数据对数似然性和对潜在先验的发散之间进行权衡。合成似然比项在训练过程中也表现出不稳定性。我们提出了一个新的目标与“最佳的多样本”重建成本和稳定的直接估计的合成似然。这使得我们的混合VAE-GAN框架能够同时实现高数据对数似然和低对潜在先验的发散,并且在模式覆盖和质量方面比混合VAE-GANs和普通GANs都有显着改善。
2019-09-27 cs.LG stat.ML
The Impact of Likelihood Tempering on the Limiting Predictive Moments of Variational Bayesian Linear Neural Networks
University of Toronto(多伦多大学);Dunlap Institute for Astronomy and Astrophysics(邓拉普天文学与天体物理研究所)
本文研究变分贝叶斯线性神经网络中似然温度调节对极限预测矩的影响,发现预测期望和方差在不同温度衰减尺度下发生相变,并可通过调节温度参数恢复NNGP后验的期望或方差。
2026-10-08 cs.LG stat.ML
Mixed Likelihood Variational Gaussian Processes
University of Pennsylvania(宾夕法尼亚大学);Meta Reality Labs;Meta
提出混合似然变分高斯过程,在单个证据下界中结合多个似然以联合建模多种类型数据,有效利用先验知识和用户置信度等辅助信息,提升了人在回路实验中的主动学习与偏好学习性能。
2025-03-06 cs.LG stat.ML
Bayesian empirical likelihood for quantile regression
贝叶斯推理提供了一种将数据与先验信息相结合的灵活方法。然而,分位数回归不具备参数似然性,因此,分位数回归的贝叶斯推断需要仔细研究。本文考虑分位数回归的贝叶斯经验似然方法。将经验似然性纳入贝叶斯框架,我们证明了任何固定先验的后验概率是渐近正态的;其均值向真实参数值收缩,其方差接近最大经验似然估计量。一个更有趣的情况下,可以为贝叶斯经验似然信息先验被用来探索跨分位数的共性。在每个百分位数水平上单独计算的回归分位数往往在数据稀疏区域(例如,高或低百分位数水平)。通过经验的可能性,所提出的方法使我们能够探索各种形式的共性跨分位数的效率增益。通过在计算中使用MCMC算法,我们避免了直接最大化经验可能性的艰巨任务。经验研究所提出的方法的有限样本性能,其中大量的效率增益证明了在几个百分点水平上的共同特征的信息先验。收缩先验的理论框架中使用的文件,以更好地理解所提出的方法的力量。
2012-07-23 math.ST stat.TH
Empirical Likelihood with Generative AI
Booth School of Business, University of Chicago(芝加哥大学布斯商学院)
提出一种基于指数倾斜经验似然的非参数贝叶斯框架,通过将狄利克雷过程的后验投影到矩约束模型上,实现高效并行推断,并建立Bernstein-von Mises定理和一致性定理,应用于新闻标题预测股票收益。
2026-05-29 stat.ME stat.ML
Encoding Categorical Variables with Conjugate Bayesian Models for WeWork Lead Scoring Engine
WeWork Companies, Inc.(WeWork公司)
各行各业的应用数据科学家通常面临着将高基数分类特征编码为机器学习算法的可消化输入的挑战性任务。本文描述了一种为WeWork的潜在客户评分引擎开发的贝叶斯编码技术,该引擎基于交互、丰富和地理空间数据输出一个人访问我们的一个办公空间的概率。我们提出了一个集成建模的范例,减轻了需要建立复杂的预处理和编码方案的分类变量。特别是,特定于域的共轭贝叶斯模型被用作堆叠集成模型中的特征的基本学习者。对于分类特征矩阵的每一列,我们拟合特定于问题的先验分布,例如,二元分类问题的Beta分布。为了解析推导后验分布的矩,我们用给定分类特征的每个唯一值的相应目标变量的共轭似然来更新先验。这个列和值的函数对分类特征矩阵进行编码,以便集成模型中的最终学习器摄取低维数值输入。在策划和真实世界数据集上的实验结果表明,在各种问题原型上都具有令人印象深刻的准确性和计算效率。特别是,对于WeWork的领先评分引擎-其中一些分类特征具有多达30万个级别-我们已经看到通过实施共轭贝叶斯模型编码将AUC从0.87提高到0.97。
2019-04-30 cs.LG stat.ML
Empirical Likelihood Based Bayesian Variable Selection
经验似然是一种流行的非参数统计工具,不需要任何分布假设。在本文中,我们探讨了通过贝叶斯经验似然进行变量选择的可能性。从理论上证明了当先验分布满足一定的温和条件时,相应的贝叶斯经验似然估计是后验相合的,并且是变量选择相合的。作为特例,我们证明了贝叶斯经验似然LASSO和SCAD的先验满足这样的条件,从而可以以概率趋于1的方式识别参数的非零元素。此外,它是很容易验证,这些条件满足其他广泛使用的先验,如脊,弹性网和自适应LASSO。经验似然取决于需要通过数值求解非线性方程获得的参数。因此,后验分布不存在共轭先验,导致MCMC抽样算法在某些情况下收敛缓慢。为了解决这个问题,我们提出了一种新的方法,它使用一个近似分布的建议。计算结果表明,本文所用的例子快速收敛。我们使用模拟和真实数据分析来说明所提出的方法的优点。
2022-06-10 stat.ME
Incorporating functional summary information in Bayesian neural networks using a Dirichlet process likelihood approach
Aalto University(阿尔托大学)
贝叶斯神经网络(BNN)可以解释任意和认知的不确定性。然而,在BNN的先验知识往往是指定的权重,很少反映真正的先验知识,在大型和复杂的神经网络架构。我们提出了一种简单的方法,将先验知识的BNN的基础上外部汇总信息的预测分类概率为一个给定的数据集。可用的摘要信息被纳入增强数据和建模的狄利克雷过程,我们推导出相应的\emph{Summary Evidence Lower BOund}。该方法基于贝叶斯原理,所有超参数都有适当的概率解释。我们展示了该方法如何告知模型任务难度和类不平衡。大量的实验表明,可以忽略不计的计算开销,我们的方法平行,并在许多情况下优于流行的替代品的准确性,不确定性校准,并对腐败的鲁棒性与平衡和不平衡的数据。
2023-01-24 cs.AI cs.LG stat.ML
Bayesian Spatial Inversion and Conjugate Selection Gaussian Prior Models
本文在贝叶斯空间反演中引入了对给定似然函数的共轭先验模型的概念。先验模型的共轭类可以选择扩展,并且仍然保持共轭。我们证明了选择高斯先验模型的一般性,代表多模态,偏态和重尾。对于高斯线性似然函数,后验模型也是选择高斯的。后验概率密度函数的模型参数是似然模型和先验模型的模型参数的显函数,当然还有实际观测值。有效的算法模拟和预测的选择高斯后验概率密度函数的定义。基于空间变量的一个训练图像,通过极大似然准则和数值优化,可以可靠地推断选择高斯先验概率密度函数中的模型参数。最后,给出了一个地震反演实例,并发现了$ 20$ - $40\%$相对于传统高斯反演在预测均方误差方面的改进。
2018-12-05 stat.ME
Posteriors, conjugacy, and exponential families for completely random measures
我们演示了如何计算后验一般CRM为基础的先验和似然贝叶斯非参数模型。我们进一步展示了如何表示贝叶斯非参数先验作为一个序列的有限提请使用大小偏置的方法-以及如何表示完整的贝叶斯非参数模型通过有限的边际。出于共轭先验的基础上指数族表示的可能性,我们引入了一个概念的指数族标准物质,我们称之为指数标准物质。这种结构使我们能够指定自动贝叶斯非参数共轭先验指数CRM似然。我们证明,我们的指数标准物质允许特别简单的配方贝叶斯非参数模型的大小偏置和边际表示。一路上,我们证明了伽玛过程是一个共轭先验的泊松似然过程和β素数过程是一个共轭先验的过程,我们称之为赔率伯努利过程。我们提供了一个大小偏置的伽玛过程和伽玛过程的边缘表示加上泊松似然过程。
2016-04-22 math.ST stat.ME stat.TH
Likelihood distortion and Bayesian local robustness
ETH Zurich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学);National Research Council of Italy(意大利国家研究委员会);University of Insubria(因斯布鲁克大学)
提出新的贝叶斯局部稳健性方法,先聚焦似然函数稳健性,后扩展到先验及二者联合,基于扭曲函数概念,该度量易处理计算,推导渐近性质并通过数值实验验证其理论及建模适用性。
2026-07-28 math.ST stat.ME stat.TH
Comparing Scale Parameter Estimators for Gaussian Process Interpolation with the Brownian Motion Prior: Leave-One-Out Cross Validation and Maximum Likelihood
本文从理论上比较了高斯过程回归中留一交叉验证与最大似然估计在布朗运动核尺度参数估计上的表现,证明交叉验证对更广泛的真实函数具有渐近良好校准的置信区间,并提出适应性更强的内部交叉验证方法。
2025-08-21 math.ST stat.TH
Conjugate priors and bias reduction for logistic regression models
统计实践中通常使用二项响应的逻辑斯谛回归模型。然而,由于数据可分性,最大似然估计可能不存在。我们解决这个问题,通过考虑共轭先验惩罚,总是产生有限的估计。这样的规范有一个明确的贝叶斯解释,并享有几个不变性属性,使其成为一个有吸引力的优先选择。我们表明,所提出的方法导致Firth(1993)的减少偏差的方法的准确近似,从而导致具有比最大似然更小的渐近偏差的估计量,并且其存在性总是有保证的。此外,所考虑的惩罚似然可以表示为真实似然,其中原始数据被伪计数的集合替换。因此,我们的方法可以利用完善的和可扩展的算法用于逻辑斯谛回归。我们比较我们的估计与其他减少偏差的方法,大大提高了计算性能,并取得了吸引人的推理结果。
2022-02-17 stat.ME
Likelihood-informed dimension reduction for nonlinear inverse problems
Lappeenranta University of Technology(拉彭兰塔理工大学)
本文提出一种基于似然信息的降维方法,用于非线性反问题中的参数空间降维,通过识别似然主导子空间提高贝叶斯推断效率。
2014-07-15 cs.NA math.NA stat.CO
The Exponentially Tilted Gaussian Prior for Variational Autoencoders
University of Guelph(圭尔夫大学)
深度神经网络的一个重要特性是能够对以前看不见的数据执行鲁棒的分布外检测。在为真实世界的应用程序部署模型时,此属性对于安全目的至关重要。最近的研究表明,概率生成模型在这项任务上的表现很差,这是令人惊讶的,因为它们试图估计训练数据的可能性。为了缓解这个问题,我们提出了指数倾斜高斯先验分布的变分自编码器(VAE),拉点到表面上的超球在潜在的空间。这仅使用VAE自然分配的对数似然来实现关于曲线下面积-接收器操作者特征度量的最新结果。由于这种先验是对传统VAE先验的简单修改,因此它比竞争性方法更快,更容易实现。
2022-04-13 cs.CV cs.LG stat.ML
Robust Bayesian methods using amortized simulation-based inference
National University of Singapore(新加坡国立大学);University of Toronto(多伦多大学)
针对贝叶斯模拟推理(SBI)中先验指定不当的问题,本研究提出基于摊销神经方法的鲁棒贝叶斯SBI,考虑先验密度比类,计算后验并分析其对先验不精确性的敏感性,还提出冲突检查方法,通过示例验证有效性。
2026-10-08 stat.CO stat.ME
On the marginal likelihood and cross-validation
在贝叶斯统计中,边际似然(也称为证据)用于评估模型拟合,因为它量化了先验数据的联合概率。相比之下,非贝叶斯模型通常使用交叉验证对保留数据进行比较,通过$k$ -倍分区或保留- $p$ -out子采样。我们表明,边际似然是正式等同于详尽的离开$p$交叉验证平均在所有值的$p$和所有举行了测试集时,使用的日志后验预测概率的评分规则。此外,对数后验预测是数据交换下唯一一致的评分规则。这为边际似然和交叉验证提供了新的见解,并突出了边际似然对先验选择的潜在敏感性。我们提出了一种替代方法,使用累积交叉验证后的准备培训阶段。我们的工作与先决分析和内在贝叶斯因素有关,但动机是通过不同的课程。
2019-09-20 stat.ME stat.ML
A Variant of AIC based on the Bayesian Marginal Likelihood
我们提出的信息标准,衡量预测密度的预测风险的贝叶斯边际似然从频率论的角度来看。假设回归系数具有先验分布,我们推导出了线性回归模型中变量的选择准则。然后,我们讨论了所提出的标准和相关标准之间的关系。我们的方法有三个优点。首先,这是频率论和贝叶斯观点之间的妥协,因为它评估了贝叶斯模型的频率论风险。因此,它受先前错误指定的影响较小。其次,在选择真实模型时,标准具有一致性。第三,当为回归系数假设均匀先验时,得到的准则等价于Shi和Tsai(2002)的残差信息准则(RIC)。
2017-10-19 stat.ME
Normalized Power Prior Bayesian Analysis
在历史数据可用性的基础上,通过将历史数据的似然函数提升到分数次幂δ,量化了用当前数据进行推理时对历史信息的折扣程度,实现了幂先验的提取。当δ未预先指定并被视为随机时,可以使用贝叶斯更新范式从数据中估计δ。然而,在联合功效先验贝叶斯方法的原始形式中,当采用不同的充分统计量设置时,历史数据的似然性之前的某些正常数可以相乘。这将改变具有不同常数的功率先验,因此违反了似然原理。在这篇文章中,我们研究了一个归一化的功率先验方法,它遵守似然原理,是一个修改形式的联合功率先验。研究了归一化幂先验在极小化加权库尔贝克-莱布勒散度意义下的最优性。通过研究几种常用分布的后验,我们表明,历史和当前数据之间的差异可以很好地量化的归一化功率先验设置下的功率参数。还提出了计算比例因子的有效算法。此外,我们用三个数据例子说明了归一化功率先验贝叶斯分析的使用,并提供了一个R包NPP的实现。
2022-04-12 stat.AP stat.ME
Denoising Criterion for Variational Auto-Encoding Framework
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学)
去噪自编码器(DAE)被训练为在输入级注入噪声来重建其干净输入,而变分自编码器(VAE)被训练为在其随机隐藏层中注入噪声,并具有鼓励这种噪声注入的正则化器。在本文中,我们表明,在输入和随机隐藏层注入噪声可以是有利的,我们提出了一个修改后的变分下限作为改进的目标函数在此设置。当输入被破坏时,则标准VAE下限涉及在输入噪声上边缘化编码器条件分布,这使得训练准则难以处理。相反,我们提出了一个修改后的训练标准,对应于一个易于处理的界限时,输入损坏。实验上,我们发现,建议的去噪变分自编码器(DVAE)产生更好的平均对数似然比VAE和重要性加权的自动编码器上的MNIST和Frey脸数据集。
2016-01-04 cs.LG
Dirichlet Posterior Sampling with Truncated Multinomial Likelihoods
我们考虑的问题,从后验分布下形成的Dirichlet先验和截断多项式似然,我们的意思是一个多项式似然函数,我们的条件下,一个或多个计数为零的先验。对该后验分布进行采样在基于狄利克雷分布或狄利克雷过程的分层贝叶斯模型的推理算法中是有意义的,特别是分层狄利克雷过程隐半马尔可夫模型的吉布斯抽样算法。我们提供了一个数据增强采样算法,易于实现,快速混合和执行,并易于扩展到许多维度。我们证明了该算法的优势,一个通用的大都市黑斯廷斯抽样算法在几个数值实验。
2012-09-03 stat.ME
Latent Diffusion Posterior Sampling with Surrogate Likelihood Guidance for PDE Inverse Problems
Department of Civil and Environmental Engineering(土木与环境工程系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出L-DPS框架,结合VAE、潜扩散模型和可微代理,高效求解PDE逆问题,在达西流逆问题中优于现有方法。
2026-06-26 cs.CE cs.LG
An effective likelihood-free approximate computing method with statistical inferential guarantees
近似贝叶斯计算是一种强大的无似然方法,自早期在群体遗传学中的应用以来越来越受欢迎。然而,复杂化出现在理论上的理由进行贝叶斯推断从这种方法与不充分的汇总统计。在本文中,我们试图重新框架内的频率论的上下文中的近似贝叶斯计算,并证明其性能的标准设置的频率覆盖率。在这样做的过程中,我们开发了一种新的计算技术,称为近似置信分布计算,产生的理论支持使用不充分的汇总统计的似然自由的方法。此外,我们证明了近似置信分布计算扩展了近似贝叶斯计算的范围,包括数据相关的先验,而不损害推理的完整性。这种数据依赖的先验可以被看作是目标参数的初始“分布估计”,其用近似置信分布计算方法的结果更新。还讨论了一个一般的策略,用于构建一个适当的数据相关的先验,并显示出往往增加计算速度,同时保持统计推断的保证。我们补充的理论与模拟研究说明所提出的方法的好处,即更广泛的应用和增加的计算速度相比,标准的近似贝叶斯计算方法的潜力。
2018-11-30 math.ST stat.CO stat.TH
Bayesian inference on Cox regression models using catalytic prior distributions
针对小样本下Cox模型最大偏似然推断的问题,提出Cox催化先验分布,推导正则化对数偏似然估计,证明其一致性,实验显示其性能优于标准方法且与现有收缩方法相当。
2024-12-14 stat.ME
A Study on the Power Parameter in Power Prior Bayesian Analysis
功率先验及其变化已被证明是贝叶斯推断中有用的一类信息先验,因为它们通过将历史数据的似然性提高到分数幂δ而在合并历史信息方面具有灵活性。基于原始幂先验及其变体归一化幂先验的边际似然的推导引入了具有幂似然的先验预测分布形式的缩放因子C(δ)。在本文中,我们证明了,对于一些积极的δ与常规使用的初始先验的比例因子可能是无限的,这将改变的容许集的功率参数。这一结果在文献中几乎被完全忽略了。然后,我们说明了这种现象可能会危及后验推理下的权力先验模型参数的初始先验是不适当的。本文的主要研究结果表明,当建议的借款水平接近于0时,应特别注意,而实际的最佳水平可能低于建议值。为了说明的目的,我们使用正常的线性模型作为示例。
2022-04-13 stat.ME
On the geometry of Bayesian inference
我们提供了一个几何解释贝叶斯推断,使我们能够引入一个自然的措施之间的协议水平先验,似然,和后验。我们构造几何的出发点是简单的观察,即边际似然可以被视为先验和似然之间的内积。在我们的几何学的一个关键概念是兼容性,这是基于相同的建设原则,皮尔逊相关性的措施,但它可以用来评估有多少事先同意的可能性,以衡量敏感性的后验前,并量化的一致性的意见,两个专家。我们的几何设置中所涉及的所有数量的估计进行了讨论,这可以直接从后验模拟输出计算。一些例子被用来说明我们的方法,包括数据相关的在职药物使用,蠓翅长,前列腺癌。
2018-05-23 stat.ME
Duality between Approximate Bayesian Methods and Prior Robustness
在本文中,我们表明,有一个近似贝叶斯方法和先验鲁棒性之间的联系。我们表明,通常被认为是近似的可能性,无论是由于模拟数据的近似贝叶斯计算(ABC)方法或由于功能近似的可能性,而不是也可以被视为一个隐含的演习之前的鲁棒性。我们首先定义两个新的类的先验的情况下,有足够的统计数据,建立其数学性质和显示,一个简单的说明性的例子,这些类的先验也可以用来获得后验分布,将通过实施ABC。然后,我们概括和定义两个进一步类的先验,适用于非常一般的情况下,一个充分统计量是不可用的,另一个地方的可能性近似使用函数逼近。然后,我们讨论的解释和启发方面提出的类,以及它们的潜在应用和可能的计算效益。这些类建立了近似贝叶斯推断和先验鲁棒性之间的对偶性,用于广泛的贝叶斯推断方法。
2020-04-02 stat.ME
Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features
The University of Manchester, UK(英国曼彻斯特大学);University of Pisa, Italy(意大利比萨大学);Nanyang Technological University, Singapore(新加坡南洋理工大学);Max Planck Institute for Mathematics in the Sciences, Germany(德国马克斯·普朗克数学研究所)
提出一种鲁棒贝叶斯随机特征回归方法,通过Huber污染集处理先验和似然误设,推导出后验预测密度的上下界,并引入不精确最高密度区域进行鲁棒不确定性量化,证明预测不确定性保持计算可行性并继承经典双重下降相位结构。
2026-06-01 cs.LG math.PR math.ST
Mixture representations and Bayesian nonparametric inference for likelihood ratio ordered distributions
本文利用混合表示刻画似然比有序分布,提出基于Dirichlet过程混合的非参数贝叶斯密度估计方法,首次证明有序约束下的后验相合性,并给出MCMC算法及生物医学应用。
2023-10-26 math.ST stat.ME stat.TH
Retrospective-prospective symmetry in the likelihood and Bayesian analysis of case-control studies
Prentice和Pyke(1979)确定,病例对照研究中比值比的最大似然估计与通过运行逻辑斯谛回归得到的结果相同:换句话说,对于这个特定目标,不正确的前瞻性模型必然等同于正确的回顾性模型。其他模型也得到了类似的结果,并且也确定了相应的贝叶斯性质成立的条件,即比值比的后验分布是相同的,无论是使用前瞻性或回顾性似然计算。在这里,我们展示了这些结果如何直接遵循某些参数的独立属性的模型和先验,并确定先验的法律,支持这种反向分析,标准和分层设计。
2013-09-27 stat.ME