Bayesian inference through encompassing priors and importance sampling for a class of marginal models for categorical data
我们开发了一种贝叶斯方法来选择模型，这是最支持的一类边际模型的分类变量制定通过平等和/或不等式约束广义logits（本地，全球，连续或反向延续），广义对数比值比和类似的高阶相互作用的数据。对于每个约束模型，模型参数的先验分布按照包含先验方法来制定。然后，通过使用贝叶斯因子进行模型选择，贝叶斯因子由重要性抽样方法估计。该方法通过涉及一些数据集，其中还包括解释变量的三个应用程序来说明。结合其中一个示例，还考虑了对先前规范的灵敏度分析。
2012-02-18 math.ST stat.TH
An approach to large-scale Quasi-Bayesian inference with spike-and-slab priors
我们提出了一个通用的框架，使用尖峰和板先验分布，以帮助发展高维贝叶斯推理。我们的框架允许一般的准似然函数的推理。我们表明，高效和可扩展的马尔可夫链蒙特卡罗（MCMC）算法可以很容易地构建从所产生的准后验分布的样本。我们研究了所得到的拟后验分布随参数空间维数的增长的大尺度行为，并建立了几个收敛结果。在计算速度非常重要的大规模应用中，变分近似方法经常被用来近似后验分布。我们表明，压缩行为的准后验分布可以利用其变分近似提供理论保证。我们用高斯图形模型和稀疏主成分分析的模拟结果来说明这一理论。
2019-08-19 math.ST stat.TH
Frameworks for prior-free posterior probabilistic inference
在没有先验分布的情况下进行有效和高效的概率推理的统计方法的发展有着悠久的历史。费雪的信念推断可能是这些尝试中最著名的。我们认为，尽管其表面上的先验自由制定，基准和它的各种扩展不是先验自由，因此，不符合先验自由概率推理的要求。相比之下，推理模型（IM）框架是真正的先验自由，并被证明是一个有前途的新方法，生成有效和高效的概率推理。在简要介绍IM的两个基本原则，即有效性原则和效率原则的基础上，讨论了IM基本框架的三步构建。有效的IM方法，条件和边缘化的基础上，说明了两个基准的例子，即，二元正态与未知的相关系数和贝伦斯-费舍尔问题。
2014-07-30 math.ST stat.ME stat.TH
The Lindley paradox: The loss of resolution in Bayesian inference
统计学有三种主要范式：贝叶斯、频率论和基于信息的推理。虽然这些范式在某些情况下是一致的，林德利悖论描述了一类问题，未知维度的模型，其中相互矛盾的结论是由频率论和贝叶斯推理产生的。这种冲突会对科学结论产生实质性影响。因此，理解林德利悖论-它适用于何处，为什么会发生，以及如何避免-对于理解统计分析至关重要。在本文中，我们重温林德利悖论的背景下，一个简单的生物物理应用。我们描述了如何预测和postdictive模型性能的措施提供了一个自然的框架，理解林德利悖论。然后，我们确定的方法，导致最佳的实验分辨率的发现。
2017-08-16 math.ST stat.TH
Objective priors for the bivariate normal model
对二元正态分布的研究提出了涉及客观贝叶斯推断的全部问题，包括不同类型的客观先验（例如，Jeffreys，不变量，参考，匹配），不同的推理模式（例如，贝叶斯，频率论，基准）和决定最佳客观先验的标准（例如，易于计算、频率论性能、边缘化悖论）。摘要建议，以最佳的客观先验的各种推论，涉及二元正态分布。在调查过程中，发现了各种令人惊讶的结果，包括客观先验的可用性，这些先验对二元正态参数的许多函数（包括相关系数）产生精确的频率论推断。
2008-04-07 math.ST stat.TH
Deep Gaussian Process Priors for Bayesian Inference in Nonlinear Inverse Problems
本研究证明深度高斯过程先验在非线性反问题中能适应未知组合结构，后验收缩速度快于忽略组合结构的典型高斯先验。
2023-12-21 math.ST stat.TH
Bayesian inference with Besov-Laplace priors for spatially inhomogeneous binary classification surfaces
本文针对空间非齐次二分类问题，提出使用贝索夫-拉普拉斯先验的非参数贝叶斯方法，并证明其后验收缩率在频率学派假设下达到极小极大最优。
2025-09-09 math.ST stat.TH
Properly constrained reference priors decay rates for efficient and robust posterior inference
本文提出两种约束纳入策略，构建可处理的参考先验，调和客观性与可计算性，强调Jeffreys先验衰减率的核心作用，并用文献示例验证其实际适用性。
2024-09-19 math.ST stat.ME stat.TH
Bayesian nonparametric inference for discovery probabilities: credible intervals and large sample asymptotics
给定一个样本大小$n$属于不同物种的人口与未知比例的个人，一个流行的问题，实际利益在于作出的概率$D_{n}(l)$的推断，$(n+1)$第一次抽奖与一个物种的频率$l$在样本中，任何$l=0,1,\ldots,n$。本文研究了$D_{n}(l)$的贝叶斯非参数推断方法。具体而言，吉布斯型先验的一般框架下，我们展示了如何获得可信区间的贝叶斯非参数估计的$D_{n}(l)$，我们调查大$n$这样的估计渐近行为。特别感兴趣的是我们的结果的特殊情况下得到的两个参数Poisson-Dirichlet先验和归一化的广义Gamma先验，这是两个最常用的吉布斯型先验的规格。相对于这两个先前的规范，所提出的结果说明通过模拟研究和基准表达序列标签数据集。据我们所知，这个例子提供了第一个比较研究的两个参数泊松-Dirichlet先验和规范化的广义Gamma先验的上下文中的贝叶斯非参数推断$D_{n}(l)$。
2016-07-02 math.ST stat.ME stat.TH
Inferential models: A framework for prior-free posterior probabilistic inference
没有先验信息的后验概率统计推断是一个重要但至今难以实现的目标。Fisher的信念推断、Dempster-Shafer信念函数理论和具有默认先验的贝叶斯推理都试图实现这一目标，但迄今为止，没有一个给出完全令人满意的画面。本文提出了一种新的概率推理框架，推理模型（IMs）的基础上，它不仅提供了数据相关的概率测量的未知参数的不确定性，但这样做的自动长期运行的频率校准属性。这种新方法的关键是识别与可观测数据和未知参数相关联的不可观测辅助变量，并在对数据进行调节之前用随机集预测该辅助变量。在这里，我们提出了一个三步IM建设，并证明了IM的信度函数在温和的条件下的频率校准属性。相应的最优性理论的发展，这有助于解决的非唯一性问题。几个例子来说明这种新的方法。
2013-03-23 math.ST stat.ME stat.TH
Conditional inferential models: combining information for prior-free probabilistic inference
推理模型（IM）框架提供了有效的无先验概率推理，专注于预测未观察到的辅助变量。但是，当辅助变量具有比参数更高的维度时，有效的基于IM的推断可能是具有挑战性的。在这里，我们表明，辅助变量的功能往往是完全观察到的，在这种情况下，同时降维和信息聚合可以通过调节来实现。这一建议的条件策略导致有效的IM推理，并投下新的光费舍尔的概念，充分性，条件，贝叶斯推理。提出了一种微分方程驱动的条件关联选择方法，并在一定条件下证明了条件关联的有效性。对于不承认一个有效的条件IM的标准式的问题，我们提出了一个更灵活的类的条件IM本地化的基础上。文中还给出了二元正态模型和正态方差分量模型中局部条件内模的例子。
2014-02-11 math.ST stat.ME stat.TH
Bayesian Inference for Initial Heat States with Gaussian Series Priors
针对从热方程含噪内部测量恢复初始热状态的逆问题，提出采用Dirichlet-Laplacian特征基上的高斯序列先验的非参数贝叶斯方法，推导共轭后验，回顾渐近理论保证并给出实现与数值验证。
2025-06-17 math.ST stat.ME stat.TH
Bayesian inference on hierarchical nonlocal priors in generalized linear models
具有非局部先验的变量选择方法在线性回归模型中得到了广泛的研究，其理论和经验性能都有报道。然而，在高维广义线性回归中，对于分层非局部先验的关键模型选择性质却很少被研究。本文考虑了高维逻辑斯谛回归模型的分层非局部先验分布，并研究了其后验分布的理论性质。具体地说，一个产品的时刻（pmoment）的非局部先验施加在回归系数与逆伽玛先验的调谐参数。在标准的规律性假设下，我们在高维环境中建立了强模型选择一致性，其中允许协变量的数量随着样本量以亚指数速率增加。我们实现了拉普拉斯近似计算的后验概率，并提出了一种改进的鸟枪随机搜索过程，有效地探索模型空间。我们证明了所提出的方法的有效性，通过模拟研究和RNA测序数据集分层疾病风险。
2022-03-14 math.ST stat.ME stat.TH
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Bayesian inference in high-dimensional linear models using an empirical correlation-adaptive prior
在高维线性回归模型的背景下，我们提出了使用经验相关自适应先验，利用观察到的预测变量矩阵中的信息来自适应地解决高共线性，确定与相关预测变量相关的参数是否应该收缩在一起或保持分开。在适当的条件下，我们证明了这种经验贝叶斯后验以最优速率渐近地集中在真实稀疏参数周围。采用霰弹枪随机搜索算法的简化版本来实现变量选择过程，通过不同设置和真实数据应用的模拟实验，我们表明，与现有方法相比，所提出的方法具有良好的性能。
2018-10-01 math.ST stat.ME stat.TH
Post-Inference Prior Swapping
Carnegie Mellon University（卡内基梅隆大学）
虽然贝叶斯方法因其结合有用的先验知识的能力而受到称赞，但在实践中，通常使用方便的先验，允许计算成本低或易于处理的推理。在本文中，我们研究了以下问题：对于一个给定的模型，是否有可能计算一个推理结果与任何方便的假先验，然后，给定任何目标先验的利益，迅速将此结果转换为目标后验？一种潜在的解决方案是使用重要性抽样（IS）。然而，我们证明，IS将失败的目标先验的许多选择，这取决于它的参数形式和相似性的假先验。相反，我们提出了先验交换，这种方法利用预先推断的假后验有效地生成准确的后验样本下任意目标先验。先验交换允许我们将成本较低的推理算法应用于某些模型，并在“后推理”中包含新的或更新的先验信息。我们给我们的方法的理论保证，并证明它的经验上的一些模型和先验。
2017-07-12 cs.AI cs.LG stat.CO
Controlling the degree of caution in statistical inference with the Bayesian and frequentist approaches as opposite extremes
在统计实践中，是否使用贝叶斯或频率论方法进行推断不仅取决于先验信息的可用性，而且还取决于对部分先验信息的态度，频率论倾向于比贝叶斯更谨慎。拟议的框架以具体的谨慎程度界定了这种态度，从而能够在所需的谨慎程度上并根据任何先前的信息进行数据分析。谨慎参数表示对部分先验信息的态度，其方式与损失函数表示对风险的态度大致相同。当先验信息非常少且非零谨慎时，所得到的推断对应于与指定贝叶斯后验的可信区间和假设概率最相似的候选置信区间和p值。另一方面，在参数的已知物理分布的存在下，推断仅基于相应的物理后验。在先验信息可忽略或完全先验信息的极端情况下，推理不依赖于谨慎程度。在这两个极端之间的部分先验信息导致中间推理，在谨慎性高的情况下，中间推理更频繁，在谨慎性低的情况下，中间推理更贝叶斯。
2011-09-24 cs.IT math.IT math.ST
Linearity-Inducing Priors for Poisson Parameter Estimation Under $L^{1}$ Loss
本文构造了一类新的先验分布族，使泊松参数估计在$L^{1}$损失下的最优贝叶斯估计量（条件中位数）可为任意满足正则条件的递增函数，并首次给出除共轭先验外的显式描述。
2025-05-27 cs.IT math.IT math.ST
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程，它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察，贝叶斯过程是基于吉布斯后验推理，一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下，证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的，并推广了K。McGoff，S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性，而不是连接。
2022-01-13 math.DS math.PR math.ST
Bayesian Inference for the Multinomial Probit Model under Gaussian Prior Distribution
多项概率模型是分类数据的基本回归模型，应用广泛。Fasano和Durante（2022）证明了统一偏正态分布类与几个mnp抽样模型共轭。这允许开发蒙特卡罗采样器和精确的变分方法来执行贝叶斯推断。在本文中，我们适应上述结果的一个流行的特殊情况下：零均值和独立高斯先验下的离散选择mnp模型。这允许获得后验分布的参数的简化表达式和变分算法的另一种推导，其给出了对Fasano和Durante（2022）中的基本结果的新理解以及在我们的特殊设置中的计算优势。
2022-06-01 math.ST stat.CO stat.ME
Fast Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据，我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率，这将导致在无限（许多）树上的先验。我们推导出一个精确的，快速的，简单的推理算法，这样的先验，数据证据，预测分布，有效的模型维数，和其他数量。
2004-11-23 cs.LG math.PR math.ST
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型，其中包括先验约束，每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验，如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难，并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Weakly informative priors and prior-data conflict checking for likelihood-free inference
贝叶斯无似然推理（Bayesian likelihood free inference）是一种在似然性难以处理的情况下进行贝叶斯推断的方法，具有越来越多的重要科学应用。然而，贝叶斯分析的许多方面在无可能性设置中变得更具挑战性。其中一个例子是先验数据冲突检查，其目标是评估数据中的信息和先验信息是否不一致。这种冲突是重要的检测，因为它们可能会揭示问题，在调查人员的理解是什么相关的参数值，并可能导致贝叶斯推断的灵敏度的先验。在这里，我们考虑的方法是适用的，无论可能性是否是易处理的或没有的先验数据冲突检查。在构造我们的检查时，我们考虑基于先验到后验库尔贝克-莱布勒散度的检查统计量。使用混合物近似的后验分布和封闭形式的近似库尔贝克-莱布勒散度的混合物，这使得蒙特卡罗近似的参考分布校准计算可行的检查。当先验数据发生冲突时，在备选分析中考虑弱信息先验规范是有用的，作为敏感性分析的一部分。作为我们的方法的一个主要应用，我们开发了一种技术，用于搜索弱信息先验的似然自由推理，弱信息先验的概念是正式使用先验数据冲突检查。该方法在三个例子中证明。
2022-02-21 stat.CO stat.ME
Exact Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据，我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率，这将导致在无限（许多）树上的先验。我们推导出一个精确的，快速的，简单的推理算法，这样的先验，数据证据，预测分布，有效的模型维数，矩，和其他数量。我们证明了渐近收敛和一致性结果，并说明了我们的模型在一些原型函数上的行为。
2009-03-30 cs.LG math.PR math.ST
PriorGuide: Test-Time Prior Adaptation for Simulation-Based Inference
Department of Computer Science, University of Helsinki, Finland（赫尔辛基大学计算机科学系，芬兰）；ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）
PriorGuide通过在测试阶段灵活调整训练好的扩散模型先验分布，提升模拟推理的适应性与实用性。
2026-04-20 cs.LG stat.ML
Bayesian inference under small sample size -- A noninformative prior approach
本文提出了一种适用于小样本、稀疏数据问题的贝叶斯推断方法。提出了一种一般的先验（$\propto 1/σ^{q}$），用于小样本量下的贝叶斯后验推理问题。它表明，这种类型的先验可以代表广泛的先验，如经典的无信息先验和渐近局部不变的先验。它进一步表明，在这项研究中，这样的先验可以推导出的正态-逆-伽玛共轭先验的极限状态，允许贝叶斯后验和预测的分析评估。在小样本量条件下，利用全局似然法比较了不同无信息先验的性能。采用拉普拉斯近似的方法来估计全局似然。数值线性回归问题和实际的疲劳可靠性问题被用来证明该方法和确定最佳的无信息先验。结果表明，使用Jeffreys的先验的预测优于其他人。在小样本量条件下，证明了无信息贝叶斯估计量优于常规最小二乘估计量。
2020-10-13 stat.AP stat.ME
Positive-definiteness in separable priors: effects on prior interpretability and inference
Dept. of Business and Economics, Universitat Pompeu Fabra（巴塞罗那自治大学商业与经济系）；Data Science Center, Barcelona School of Economics（巴塞罗那经济学院数据科学中心）
本文研究了在对称正定矩阵中使用可分离先验时，截断对先验可解释性和推断的影响，探讨了如何设置先验参数以减少截断带来的影响。
2026-06-18 stat.ME
PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling
University of Oxford（牛津大学）；Aalto University（阿尔托大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）；University of Copenhagen（哥本哈根大学）；Imperial College London（伦敦帝国学院）
PriorCVAE通过以随机过程超参数为条件编码GP先验，实现超参数联合估计与可扩展MCMC推断，且适用于ODE解等模型，具有广泛实用性。
2023-11-10 cs.LG stat.ML
Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
Mind Foundry Ltd（Mind Foundry有限公司）
本文提出分布变换器，一种能够学习任意分布到分布映射的新型架构，通过实时先验适应实现快速近似贝叶斯推断，显著降低计算时间并达到与现有方法相当或更优的对数似然性能。
2026-05-18 cs.LG stat.ML
Variational Prior Replacement in Bayesian Inference and Inversion
针对贝叶斯推理中先验信息变更需重算、成本高昂的问题，提出变分先验替换（VPR）方法，可在不重算原推理的情况下替换后验中的先验信息，经二维地震全波形反演验证，精度与独立重算相当且计算效率大幅提升。
2024-09-15 math-ph math.MP physics.geo-ph
Loss-based Objective and Penalizing Priors for Model Selection Problems
提出风险均衡先验和风险惩罚先验，作为贝叶斯模型选择中仅依赖模型空间和损失函数的客观先验，揭示了损失函数对先验属性的影响，并通过变量选择和聚类分析验证。
2023-11-22 stat.ME
Minimum message length inference of the Poisson and geometric models using heavy-tailed prior distributions
最小消息长度是贝叶斯模型选择和参数估计的一个普遍原则，它是基于信息论的。本文将最小信息长度原则应用于一个涉及泊松和几何数据模型的小样本模型选择问题。由于MML是贝叶斯原理，它需要所有模型参数的先验分布。我们引入三个候选先验分布的未知模型参数的轻尾和重尾。的MML方法的性能进行了比较，客观的贝叶斯推断和最小描述长度技术的基础上规范化的极大似然码。仿真结果表明，我们的重尾先验分布的MML方法在所有的测试提供了一个很好的性能。
2018-02-11 stat.ME
Supercharging Bayesian Inference with Reliable AI-Informed Priors
Department of Statistics, University of Connecticut（康涅狄格大学统计系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文提出一种AI引导先验 elicitation框架，通过修正生成合成数据的AI诱导法则，减少推断偏差，提升可信区间覆盖率，并在真实皮肤疾病分类任务中验证了其提升预测性能的效果。
2026-05-11 cs.LG stat.ML
Spectra: Exact Component Transport for Test-Time Prior Adaptation in Simulation-Based Inference
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；International Max Planck Research School on Cognitive NeuroImaging（马克斯·普朗克国际认知神经影像研究学院）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））；Leipzig University（莱比锡大学）；University College London（伦敦大学学院）
本文提出Spectra，一种用于基于扩散的模拟推断的测试时先验适应方法，通过精确分数传输恒等式实现闭式适应，无需额外模拟或训练，在六个基准上实现强先验偏移下的准确适应，使预训练模型能利用更新先验。
2026-10-07 cs.LG stat.ML
Auxiliary Variables for Multi-Dirichlet Priors
混合多个狄利克雷先验参数的贝叶斯模型，本文称为多狄利克雷先验（MD），越来越受欢迎。推断混合先验分布的混合权重和参数似乎很棘手，因为Dirichlet参数的总和使模型参数的联合分布复杂化。本文提出了一种新的辅助变量方案，它有助于简化涉及层次MD和MDP模型的推理。使用该方案，很容易推导出完全折叠的推理方案，从而实现有效的推理。
2017-08-17 stat.ML
On a Loss-based prior for the number of components in mixture models
我们提出了一个有限混合模型的分量数的先验分布。新颖的是，先验分布是通过考虑的损失，如果没有考虑代表组件的数量的真实值将招致。先验具有优雅且易于实现的结构，其允许自然地包括可能具有的任何先验信息，以及在该信息不可用的情况下选择默认解决方案。通过对实际数据和模拟数据的分析，研究了先验知识的性能，并与现有的替代方案进行了比较。
2018-09-04 stat.ME
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
完整的贝叶斯后验概率很少可以分析处理，这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验，需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理：近似不匹配是由于在电感偏置的变化，通过处理的近似准确和逆向工程相应的先验。我们表明，这个问题比乍一看似乎更复杂，因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题，我们得到了一个自然的解决方案：吉布斯先验。诊断结果是基于伪吉布斯抽样，这是广泛适用，易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
BNNpriors: A library for Bayesian neural network inference with different prior distributions
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Bristol（布里斯托大学）
贝叶斯神经网络在许多应用中显示出巨大的前景，其中校准的不确定性估计是至关重要的，并且通常还可以导致更高的预测性能。然而，它仍然具有挑战性的选择一个良好的先验分布的权重。虽然各向同性高斯先验由于其简单性而在实践中经常被选择，但它们不能很好地反映我们真实的先验信念，并且可能导致次优性能。我们的新库BNN priors可以在贝叶斯神经网络上进行最先进的马尔可夫链蒙特卡罗推理，并具有广泛的预定义先验，包括重尾先验，分层先验和混合先验。此外，它遵循模块化的方法，简化了新的自定义先验的设计和实现。它促进了贝叶斯神经网络中冷后验效应性质的基础性发现，并有望促进该领域未来的研究和实际应用。
2021-05-14 cs.LG stat.ML
Bayesian inference for spatio-temporal spike-and-slab priors
在这项工作中，我们解决的问题，解决了一系列欠定线性反问题的稀疏约束。我们推广的尖峰和板先验分布编码先验相关的支持的解决方案在空间和时间上施加一个变换的高斯过程的尖峰和板的概率。在此模型下，给出了一种后验推理的期望传播算法。对于大规模问题，标准EP算法可能非常慢。因此，我们引入三种不同的近似方案，以减少计算复杂度。最后，我们证明了所提出的模型使用数值实验的基础上合成和真实的数据集。
2017-12-01 stat.CO stat.ME stat.ML
Building Population-Informed Priors for Bayesian Inference Using Data-Consistent Stochastic Inversion
本文提出利用数据一致性反演（DCI）技术，从群体级数据中构建群体信息先验，以在观测数据有限时有效约束贝叶斯推断的不确定性，并从理论和数值实验上证明了该方法能显著提升个体化推断的信息增益。
2025-06-24 stat.ME
Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family
Linköping University（林雪平大学）；Middle East Technical University（中东技术大学）
本文提出了一种基于似然函数对数的泰勒级数逼近的贝叶斯推理方法。建议的近似设计的情况下，先验分布属于指数分布族。将似然函数的对数关于指数族先验分布的充分统计量进行线性化，使得后验分布与先验分布具有相同的指数族形式。该方法与非线性滤波的扩展卡尔曼滤波器的相似之处。此外，推导出用于目标模型的扩展目标测量更新，其中目标范围由具有逆Wishart分布的随机矩阵表示。近似更新涵盖了测量扩展是由于目标范围以及传感器中的测量噪声引起的重要情况。
2015-10-05 cs.LG stat.ML
Bayesian Inference for Latent Biologic Structure with Determinantal Point Processes (DPP)
我们讨论了使用的行列式点过程（DPP）作为一个潜在的结构在生物医学应用中，推理往往集中在解释潜在的功能，生物或临床上有意义的结构之前。典型的例子包括混合模型，当混合物的术语旨在代表临床上有意义的亚群（患者，基因等）时。另一类示例是特征分配模型。我们提出的DPP先验作为一个排斥前的潜在的混合物成分在第一个例子中，并在第二种情况下，作为先验的特征特定的参数。我们认为，在一般情况下，民进党是一个有吸引力的潜在结构模型时，生物相关的解释，这种结构是必要的。我们在三个案例研究中说明了DPP先验的优势，包括磁共振图像（MRI）和蛋白质表达的混合模型中的推断，以及使用癌症基因组图谱数据的基因表达特征分配模型。我们的论点的一个重要组成部分是有效和简单的后验模拟方法。我们实现了一个可逆跳跃马尔可夫链蒙特卡罗模拟下的DPP先验推理的变化，使用相对于单位速率泊松过程的密度。
2015-11-16 stat.AP stat.ME
Valid belief updates for prequentially additive loss functions arising in Semi-Modular Inference
基于模型的贝叶斯证据组合导致模型具有多个参数模块。在这种情况下，在某些情况下，可以通过切断来自错误指定模块的信息流来改善其中一个模块中的模型错误指定的影响。半模块化推理（SMI）是一个允许部分切割的框架，它调节但不完全切割模块之间的信息流。我们表明，SMI是一个家庭的推理程序，实现部分削减的一部分。它已被证明，添加剂损失确定一个最佳的，有效的和顺序一致的信念更新。在切割模型和SMI中出现的损失不是累加的。然而，像前置得分函数一样，它们具有我们定义的前置可加性。我们发现，先决条件的可加性是足以确定最佳的有效和顺序一致的信念更新，这种信念更新与我们的SMI计划中的信念更新相吻合。
2022-01-24 stat.ME
Bayesian inference on Cox regression models using catalytic prior distributions
针对小样本下Cox模型最大偏似然推断的问题，提出Cox催化先验分布，推导正则化对数偏似然估计，证明其一致性，实验显示其性能优于标准方法且与现有收缩方法相当。
2024-12-14 stat.ME
Robust Bayesian high-dimensional variable selection and inference with the horseshoe family of priors
针对重尾误差下高维稳健回归的推断难题，本文构建采用 horseshoe 先验族和高效 Gibbs 抽样的贝叶斯层次模型，证明其在选择、估计与可信区间推断上优于替代方法。
2025-07-22 stat.ME
Pathologies in priors and inference for Bayesian transformers
ETH Zürich（苏黎世联邦理工学院）
近年来，Transformer已经成为从自然语言处理到强化学习的许多应用中的主力。同样，贝叶斯深度学习已成为安全关键型应用中不确定性估计的黄金标准，其中鲁棒性和校准至关重要。令人惊讶的是，不存在使用贝叶斯推理在预测不确定性方面改进Transformer模型的成功尝试。在这项工作中，我们研究这个奇怪的人口稀少的地区贝叶斯Transformers。我们发现，在Transformers的重量空间推断不工作，无论近似后验。我们还发现，先验至少部分是错误的，但这是很难找到这些模型的指定的权重先验。我们假设，这些问题源于复杂的获得一个有意义的映射，从重量空间到功能空间分布的Transformer。因此，移动更接近功能空间，我们提出了一种新的方法的基础上的隐式重新参数化的狄利克雷分布直接应用变分推理的注意力权重。我们发现，该方法与我们的基线竞争。
2021-10-15 cs.LG stat.ML
Bayesian Inference of Local Projections with Roughness Penalty Priors
局部预测是一个统计框架，说明在不同时间点测量的外生变量和内生变量之间的关系。在脉冲响应分析和直接预报中，常常采用局部预测。虽然局部预测由于其对错误指定的鲁棒性和灵活性而变得越来越受欢迎，但它们在统计上不如标准方法（如向量自回归）有效。在这项研究中，我们试图提高统计效率的局部预测，通过开发一个完全贝叶斯方法，可用于估计局部预测粗糙度惩罚先验。通过结合这种先验诱导的平滑性，我们可以使用连续观测中包含的信息来提高推理的统计效率。我们应用所提出的方法在美国的货币政策分析，粗糙惩罚先验成功地估计脉冲响应函数，提高预测精度的本地预测。
2019-07-13 stat.ME
How Well Do Prior-Data Fitted Networks Amortize Bayesian Inference?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究针对先验数据拟合网络（PFNs）的贝叶斯推理摊销效果，分解其部署误差并开展实验，发现PFNs在罕见场景中存在残余摊销误差，采用贝叶斯模型平均可降低不确定性并提升预测性能。
2026-10-19 cs.LG stat.ML
An adaptive truncation method for inference in Bayesian nonparametric models
对于含有无穷维先验信息的贝叶斯非参数模型的后验推理，已有许多精确的马尔可夫链蒙特卡罗算法。然而，这些方法不是通用的，必须为不同类别的先验或不同的模型开发特殊的方法。或者，可以截断无限维先验，并使用标准的马尔可夫链蒙特卡罗方法进行推断。然而，对于许多模型来说，近似无限维后验的误差可能难以控制。本文提出了一种自适应截断方法，它允许截断的水平由算法决定，从而可以避免在逼近后验时出现较大的误差。截断先验序列的构建是使用嵌入在序贯蒙特卡罗算法中的马尔可夫链蒙特卡罗方法进行采样。讨论了具有棒断裂先验和具有独立增量先验的归一化随机测度的无限混合模型的实现细节。无限混合模型，半参数线性混合模型和非参数时间序列模型的方法进行了说明。
2014-05-21 stat.CO
Loss-based prior for CART and BART models
Duke Kunshan University（昆山杜克大学）；University of Bristol（布里斯托大学）；Kings College London（伦敦国王学院）；Newcastle Univeristy（纽卡斯尔大学）
提出一种基于信息损失和复杂度损失的树拓扑先验，通过两个参数控制树的深度和左右分支平衡，并给出默认校准，有效抑制BART过拟合。
2026-07-01 stat.AP stat.ME
Objective Bayesian inference for the Dhillon distribution
本文为Dhillon分布提出目标贝叶斯框架，推导三种目标先验，证明后验性质，通过MCMC进行推断，并模拟与实证验证其有效性。
2025-09-08 stat.ME
Gaussian Process Priors for View-Aware Inference
Aalto University（阿尔托大学）；GenMind Ltd.（GenMind有限公司）
虽然使用深度神经网络的帧无关预测已经成为许多计算机视觉任务的突出解决方案，但利用帧之间的相关性的潜在好处却很少受到关注。尽管概率机器学习提供了将相关性编码为推理的先验知识的能力，但将概率方法应用于现代视觉问题的理论和实践之间存在明显的差距。为此，我们推导出一个原则框架，将相机姿态（平移和方向）与深度模型之间的信息耦合结合起来。我们提出了一种新的视图核，推广了$\mathrm{SO}(3)$中的标准周期核。我们展示了这种软先验知识如何帮助几个姿势相关的视觉任务，如新颖的视图合成和预测生成模型的潜在空间中的任意点，指向帧间推理的一系列新应用。
2021-03-03 cs.CV cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
