Combinatorial and algebraic perspectives on the marginal independence structure of Bayesian networks
本文刻画Bayes网络无条件依赖图，利用Gröbner基与二项式关系构建图空间上的MCMC搜索方法GrUES，在合成Gaussian数据上提升真实边际独立结构恢复率并给出可靠后验可信集。
2024-01-31 math.AG math.CO math.ST
Bayesian model selection consistency and oracle inequality with intractable marginal likelihood
在这篇文章中，我们研究了大样本性质的模型选择过程中的一般贝叶斯框架时，封闭形式的表达的边缘似然函数是不可用的或局部渐近二次近似的对数似然函数不存在。在真实模型的适当可辨识性假设下，我们提供了贝叶斯模型选择过程是一致的并服从奥卡姆剃刀现象的充分条件，即，当样本量趋于无穷大时，选择包含真值的“最小”模型的概率趋于1。为了表明贝叶斯模型选择过程选择包含真理的最小模型，我们施加了先验反集中条件，要求由大模型分配给真理邻域的先验质量足够小。在一个更一般的设置，强模型可识别性假设可能不成立，我们引入了局部贝叶斯复杂性的概念，并开发贝叶斯模型选择过程的预言不等式。我们的贝叶斯预言不等式的特点之间的权衡近似误差和贝叶斯表征的局部复杂性的模型，说明了自适应性质的平均为基础的贝叶斯程序实现最佳的后验收敛率。模型选择理论的具体应用进行了讨论的背景下，高维非参数回归和密度回归的回归函数或条件密度被假定为依赖于一个固定的子集的预测。作为独立兴趣的结果，我们提出了一种获得平稳高斯过程小球概率上界的一般方法。
2017-01-09 math.ST stat.ME stat.ML
Maximum Margin Bayesian Networks
University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
我们考虑学习贝叶斯网络分类器的问题，最大限度地提高了marginover一组分类变量。我们发现，这个问题是贝叶斯网络比无向图形模型，如最大利润马尔可夫网络更难。主要的困难是贝叶斯网络中的参数必须满足无向图模型不需要遵守的附加规范化约束。这些额外的约束使优化任务复杂化。尽管如此，我们得到了一个有效的训练算法，解决了贝叶斯网络拓扑结构的范围内的最大保证金训练问题，并收敛到任意网络拓扑结构的近似解。实验结果表明，当有向图结构编码相关知识时，该方法可以在马尔可夫网络上表现出更好的泛化性能。在实践中，训练技术允许将表示为定向（因果）模型的先验知识与最先进的判别学习方法相结合。
2012-07-04 cs.LG stat.ML
An approximate Bayesian marginal likelihood approach for estimating finite mixtures
当混合分布的支持未知时，有限混合模型的估计是一个重要的问题。本文提出了一种新的基于边际似然的未知支持度估计方法。受贝叶斯Dirichlet先验模型的启发，提出了一种计算效率高的边际似然随机逼近形式，并给出了大样本理论。通过将支持度限制在有限网格上，采用模拟退火方法来最大化边际似然并估计支持度。实际和模拟数据的例子表明，这种新的随机逼近-模拟退火过程优于现有的方法。
2012-02-13 stat.CO stat.ME
A subsampling approach for Bayesian model selection
在广义线性模型（GLM）的贝叶斯版本中，通常使用拉普拉斯近似来计算边际似然。边缘似然结合模型先验，然后在不同的搜索算法中使用，以计算模型和个体协变量的后验边缘概率。这允许执行贝叶斯模型选择和模型平均。对于大样本量，即使是拉普拉斯近似在计算上也变得具有挑战性，因为所涉及的优化例程需要在多次迭代中评估完整数据集的可能性。因此，该算法对于大型数据集是不可扩展的。为了解决这个问题，我们建议使用一个版本的流行的批量随机梯度下降（BSGD）算法估计的GLM的边际似然从数据的二次抽样。我们进一步结合该算法与马尔可夫链蒙特卡罗（MCMC）为基础的贝叶斯模型选择的方法，并提供了一些理论结果的收敛性估计。最后，我们报告的实验结果说明所提出的算法的性能。
2022-01-31 math.ST stat.CO stat.ME
Marginalising over Stationary Kernels with Bayesian Quadrature
University of Oxford（牛津大学）
边缘化高斯过程内核的家庭产生灵活的模型类与良好校准的不确定性估计。现有的方法需要对许多内核进行似然评估，这使得它们对于较大的数据集来说过于昂贵。我们提出了一个贝叶斯正交方案，使这种边缘化更有效，从而更实用。通过使用分布之间的最大平均差异，我们定义了一个内核，捕获光谱混合（SM）内核之间的不变性。核样本的选择通过概括的信息理论的收购函数扭曲贝叶斯正交。我们表明，我们的框架实现了更准确的预测，具有更好的校准不确定性比最先进的基线，特别是在有限的（挂钟）时间预算。
2023-03-15 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology（浦项科技大学）；BARO AI
我们提出了一个实用的贝叶斯优化方法，使用高斯过程回归，其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间，我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明，该方法在大多数情况下都能有效地减少执行时间，且优化质量损失较小。
2020-10-16 cs.LG stat.ML
Margins of discrete Bayesian networks
具有潜在变量的贝叶斯网络模型在统计学和机器学习中有着广泛的应用。在本文中，我们提供了一个完整的代数特征的贝叶斯网络模型的潜变量时，观察变量是离散的，没有假设的状态空间的潜变量。我们表明，它是代数等价的所谓的嵌套马尔可夫模型，这意味着这两个是相同的不等式约束的联合概率。特别是这两个模型具有相同的尺寸。因此，嵌套马尔可夫模型是潜在变量模型的最佳可能描述，避免了考虑一般极其复杂的不等式。其结果是Tian和Pearl（UAI 2002，pp 519 -527）的约束发现算法对于发现等式约束是完备的。潜变量模型存在参数不可识别和非正则渐近的困难;相反，嵌套马尔可夫模型是完全可识别的，表示已知维度的弯曲指数族，并且可以很容易地使用显式参数化进行拟合。
2017-01-30 math.ST stat.ML stat.TH
The marginalization paradox does not imply inconsistency for improper priors
边缘化悖论涉及两个贝叶斯主义者之间的分歧，他们使用两种不同的程序来计算不适当的先验存在的后验。我们表明，用于证明贝叶斯程序之一的参数是不适用的。因此，没有理由期待一致，没有悖论，也没有证据表明不适当的先验本质上是不一致的。我们进一步表明，该程序中的问题可以解释为取消无穷的正式后。我们认为，这种正式程序的隐含使用是所观察到的分歧的来源。
2003-10-09 math.ST stat.TH
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义，因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则，这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用，这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
Bayesian Optimization of Hyperparameters from Noisy Marginal Likelihood Estimates
贝叶斯模型通常涉及通过最大化边际似然来确定的一小组超参数。贝叶斯优化是一种流行的迭代方法，其中底层函数的高斯过程后验通过新的函数评估顺序地更新。获取策略使用该后验分布来决定在何处放置下一个函数评估。我们提出了一种新的贝叶斯优化框架的情况下，用户控制的计算工作量，因此精度的功能评估。这是计量经济学中常见的情况，通常通过马尔可夫链蒙特卡罗（MCMC）或重要性抽样方法计算边际似然，边际似然估计量的精度由样本数量决定。新的获取策略使优化器可以选择使用廉价的噪声评估来探索函数，从而更快地找到最佳值。该方法被应用于估计先验超参数在两个流行的模型对美国宏观经济时间序列数据：稳态贝叶斯向量自回归（BVAR）和随机波动率的时变参数BVAR。该方法比传统的贝叶斯优化或网格搜索更快地找到最优解。
2022-08-17 econ.EM stat.CO
On the overestimation of widely applicable Bayesian information criterion
广泛适用的贝叶斯信息准则（Watanabe，2013）适用于模型选择问题中的正则和奇异模型。这个标准往往会高估对数边际似然。我们确定了一个广泛适用的贝叶斯信息标准的高估。调整的长期提供了一个渐进的无偏估计量的领先的两项渐近展开的对数边际似然。在规则和奇异模式的数值试验中，调整导致比原来的标准更小的偏差。
2019-08-28 math.ST stat.ME stat.ML
An asymptotic approximation of the marginal likelihood for general Markov models
标准的贝叶斯信息准则（BIC）的规则性条件下，并不总是满足的图形模型的隐变量。在本文中，我们推导了贝叶斯网络的BIC分数的情况下，二进制数据和底层图是一个有根树和所有的内部节点表示隐藏变量。这为朴素贝叶斯模型提供了一个由Rusakov和Geiger给出的类似公式的直接推广。本文使用的主要工具是拉普拉斯积分的渐近逼近和真正的对数正则阈值之间的连接。
2010-12-03 math.ST stat.TH
Bayesian Estimation and Comparison of Moment Condition Models
在本文中，我们考虑的推断问题，统计模型的特点是矩限制铸造的问题内的指数倾斜的经验似然（ETEL）的框架。由于ETEL函数具有定义良好的概率解释，并且扮演非参数似然的角色，因此可以开发完全贝叶斯半参数框架。我们建立了一些强大的结果，围绕贝叶斯ETEL框架在这样的模型。推动我们工作的一个主要问题是错误指定的可能性。为了适应这种可能性，我们展示了如何的时刻条件可以重新表示在额外的滋扰参数，即使在误指定，贝叶斯ETEL后验分布满足伯恩斯坦冯米塞斯的结果。本文的第二个主要贡献是开发了一个基于边际似然和贝叶斯因子的框架，以比较由不同矩条件定义的模型。边缘似然的计算是通过Chib（1995）的方法进行的，该方法被扩展到Chib和Jeliazkov（2001）的Metropolis-Hastings采样器。我们建立了边际似然的模型选择一致性，并证明了边际似然有利于具有最少参数和最大有效矩约束的模型。当模型被错误指定时，边际似然模型选择程序根据库尔贝克-莱布勒散度选择更接近（未知）真实数据生成过程的模型。本文的思想和结果提供了进一步拓宽的理论基础和价值的贝叶斯ETEL框架可能具有深远的实际影响。通过几个例子说明了讨论。
2017-04-07 math.ST stat.ME stat.TH
A Variant of AIC based on the Bayesian Marginal Likelihood
我们提出的信息标准，衡量预测密度的预测风险的贝叶斯边际似然从频率论的角度来看。假设回归系数具有先验分布，我们推导出了线性回归模型中变量的选择准则。然后，我们讨论了所提出的标准和相关标准之间的关系。我们的方法有三个优点。首先，这是频率论和贝叶斯观点之间的妥协，因为它评估了贝叶斯模型的频率论风险。因此，它受先前错误指定的影响较小。其次，在选择真实模型时，标准具有一致性。第三，当为回归系数假设均匀先验时，得到的准则等价于Shi和Tsai（2002）的残差信息准则（RIC）。
2017-10-19 stat.ME
Bayesian Multinomial Logistic Normal Models through Marginally Latent Matrix-T Processes
贝叶斯多项逻辑正态（MLN）模型对于序列计数数据的分析是流行的（例如，微生物组或基因表达数据），这是由于它们能够对具有复杂协方差结构的多变量计数数据进行建模。然而，MLN模型的现有实现限于处理小数据集，由于多项式和逻辑正态分布的非共轭性。我们介绍MLN模型，可以写为边际潜在矩阵-t过程（LTP）模型。边际LTP模型描述了一类灵活的广义线性回归、非线性回归和时间序列模型。我们开发的推理方案边际LTP模型，并通过应用到MLN模型，表明我们的推理方案是高度准确的，往往比MCMC快4-5个数量级。
2019-04-01 stat.ME
Appropriate reduction of the posterior distribution in fully Bayesian inversions
贝叶斯反演从观测方程和先验信息生成模型参数的后验分布，两者都由超参数加权。先验也被引入到完全贝叶斯反演中的超参数中，使我们能够通过联合后验概率地评估模型参数和超参数。然而，即使在线性逆问题中，如何从联合后验中提取模型参数的有用信息也是一个未解决的问题。本文对全贝叶斯反演中联合后验数据的适当降维问题进行了理论探讨。我们将概率约简的方法分为以下三类，重点关注联合后验的边缘化：（1）使用无边缘化的联合后验，（2）使用模型参数的边缘后验和（3）使用超参数的边缘后验。首先，我们得出几个分析结果，这些类别的。一个是一套半解析表示的概率最大化估计的线性逆问题中的各个类别。对于大量的数据和模型参数，发现（1）和（2）类的模式估计量是渐近相同的。我们还证明了第（2）和第（3）类的渐近分布δ函数集中在它们的概率峰值上，这预示着模型参数的两个不同的最优估计。其次，我们进行了一个综合测试，发现一个适当的减少是实现了类别（3），赤池的贝叶斯信息准则（ABIC）为代表。其他减少类别的情况下，许多模型参数，发现模型参数的边缘后验的概率集中不再意味着中心极限定理不合适。
2022-05-16 math.ST physics.geo-ph stat.TH
Probability Based Independence Sampler for Bayesian Quantitative Learning in Graphical Log-Linear Marginal Models
贝叶斯方法的图形对数线性边际模型还没有发展到与传统的频率论方法相同的程度。在这项工作中，我们引入了一种新的贝叶斯方法，用于此类模型的定量学习。这些模型属于弯曲指数族，从贝叶斯的角度来看很难处理。此外，可能性不能解析地表示为边际对数线性相互作用的函数，而只能用细胞计数或概率表示。后验分布不能直接得到，需要MCMC方法。最后，一个定义良好的模型需要参数值，导致兼容的边际概率。因此，任何MCMC都应该考虑到这一重要限制。我们构建了一个全自动和高效的MCMC策略，用于处理这些问题的图形对数线性边际模型的定量学习。虽然先验表示的边际对数线性相互作用，我们建立了一个MCMC算法，采用概率参数空间的建议。通过参数变换，得到了关于边际对数线性相互作用的相应建议。通过这种策略，我们实现了在期望的目标空间内移动。在每一步中，我们直接使用定义良好的概率分布。此外，我们可以利用条件共轭设置来建立关于概率参数的有效建议。所提出的方法说明了模拟研究和真实的数据集。
2018-07-03 stat.ME
Mixed Laplace approximation for marginal posterior and Bayesian inference in error-in-operator model
本文针对算子误差模型，提出混合拉普拉斯近似方法，在目标低维、干扰参数高维时放宽维度条件，以高斯混合近似边际后验，精度仅依赖目标维度，并在特定条件下退化为经典拉普拉斯结果。
2023-05-16 math.ST stat.TH
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology（卡弗里宇宙学研究所）；University of Cambridge（剑桥大学）；University of Sussex（萨塞克斯大学）
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的，但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具，完全边缘化所有后验模式，我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性，我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子，这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Efficient Approximations for the Marginal Likelihood of Incomplete Data Given a Bayesian Network
Microsoft Research（微软研究院）；University of California（加利福尼亚大学）
我们讨论了当数据集不完整时学习贝叶斯网络的贝叶斯方法。特别是，我们研究贝叶斯网络的不完整数据的边际似然的渐近近似。我们考虑拉普拉斯近似和精度较低，但更有效的BIC/MDL近似。我们还考虑了Draper（1993）和Cheeseman和Stutz（1995）提出的近似。这些近似与BIC/MDL一样有效，但其精度尚未进行任何深入研究。我们比较这些近似的准确性的假设下，拉普拉斯近似是最准确的。在实验中使用的合成数据产生的离散朴素贝叶斯模型具有一个隐藏的根结点，我们发现，CS措施是最准确的。
2015-05-17 cs.AI cs.LG stat.ML
Marginal likelihood based model comparison in Fuzzy Bayesian Learning
Imperial College London（伦敦帝国学院）；Sciemus Ltd（Sciemus有限公司）；University of Oxford（牛津大学）
在最近的一篇论文[1]中，我们介绍了模糊贝叶斯学习（FBL）范式，其中专家意见可以以模糊规则库的形式编码，模糊集的超参数可以使用贝叶斯方法从数据中学习。本文扩展了这项工作，选择最合适的规则库之间的一组竞争的替代品，最好的解释数据，通过计算模型的证据或边际似然。我们解释了为什么这是一个有吸引力的替代简单地最小化预测的均方误差度量，并显示了使用合成的例子和现实世界的案例研究在金融服务部门的命题的有效性。
2017-03-29 cs.LG stat.ML
Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)
边际似然是贝叶斯统计学中一个公认的模型选择准则。它还允许有效地计算边缘后验模型概率，该概率可用于对感兴趣的量进行贝叶斯模型平均。然而，对于许多复杂的模型，包括潜在建模方法，边缘似然性难以计算。最近一个有前途的方法近似的边缘可能性是集成嵌套拉普拉斯近似（INLA），设计的模型与潜在的高斯结构。在这项研究中，我们比较了近似与INLA获得一些不同复杂性的例子上的替代方法。特别是，我们讨论了简单的线性潜在模型、贝叶斯线性回归模型、具有probit和logit链接的逻辑贝叶斯回归模型以及Poisson纵向广义线性混合模型。
2016-11-04 stat.CO
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
本文提出了一种最大间隔非参数潜在特征模型，该模型结合最大间隔学习和贝叶斯非参数化的思想，发现了用于链接预测的有鉴别力的潜在特征，并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失，我们可以有效地执行后验推理，而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式，我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Automated Analytic Asymptotic Evaluation of the Marginal Likelihood for Latent Models
Technion - Israel Institute of Technology（以色列理工学院）
我们提出并实现了两个算法的分析渐近估计的边际似然数据的贝叶斯网络与隐藏节点。如以前的工作所示，这种评估对于潜在贝叶斯网络模型特别困难，即包含隐藏变量的网络，其中渐近近似偏离标准BIC分数。我们的算法解决了两个中心的边缘似然积分的渐近评估的困难，即，定期降维潜贝叶斯网络模型和计算这些模型的奇异统计的非标准近似公式的评估。所提出的算法在Matlab和Maple中实现，并证明了其使用的隐变量贝叶斯网络的边缘似然近似。
2012-10-19 cs.LG stat.ML
Laplace Approximation in High-dimensional Bayesian Regression
我们考虑稀疏高维回归中的贝叶斯变量选择，其中协变量$p$的数量相对于样本量$n$可能很大，但至多有中等数量的协变量$q$是活跃的。具体来说，我们处理广义线性模型。经典理论证明，对于具有良好先验分布的单一固定稀疏模型，当样本量足够大时，模型的边缘似然的Laplace近似是精确的$n$。我们扩展了这个理论，给出结果的拉普拉斯近似在所有模型的统一精度在一个高维的情况下，其中$p$和$q$，因此也考虑模型的数量，可能会增加与$n$。此外，我们展示了如何边际似然和拉普拉斯近似之间的连接可以用来获得一致性的结果贝叶斯方法在高维回归变量选择。
2015-03-28 math.ST stat.TH
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Mathematical Theory of Bayesian Statistics for Unknown Information Source
Tokyo Institute of Technology（东京工业大学）
在统计推断中，不确定性是未知的，所有模型都是错误的。也就是说，一个建立统计模型和先验分布的人同时意识到两者都是虚构的候选人。为了研究这种情况，统计措施，如交叉验证，信息标准，和边际似然，然而，他们的数学性质尚未完全澄清时，统计模型的参数不足和过度。我们介绍了一个地方的数学理论贝叶斯统计的未知的不确定性，它澄清了一般属性的交叉验证，信息标准，和边际似然，即使一个未知的数据生成过程是无法实现的模型，或者即使后验分布不能近似的任何正态分布。因此，它为一个不能相信任何特定模型和先验的人提供了一个有用的观点。本文共分三个部分。第一个是新的结果，而第二个和第三个是众所周知的新实验的结果。我们证明了存在比留一交叉验证更精确的泛化损失估计，存在比BIC更精确的边缘似然近似，并且泛化损失和边缘似然的最佳超参数是不同的。
2023-02-10 cs.LG math.ST stat.TH
Exact Maximum Margin Structure Learning of Bayesian Networks
Graz University of Technology（格拉茨工业大学）
最近，人们对寻找全局最优贝叶斯网络结构产生了很大的兴趣。这些技术是为生成分数而开发的，不能直接扩展到分类所需的判别分数。在本文中，我们提出了一个精确的方法来寻找网络结构最大化的概率软余量，一个成功应用的判别得分。我们的方法是基于线性规划框架内的分支定界技术，并保持一个任何时间的解决方案，连同最坏情况下的次最优界。我们应用一组顺序约束，强制网络结构是无环的，这允许一个紧凑的问题表示和使用通用的优化技术。在分类实验中，我们的方法明显优于生成训练的网络结构，并与支持向量机竞争。
2012-06-27 cs.LG stat.ML
Exact Dimensionality Selection for Bayesian PCA
我们提出了一种贝叶斯模型选择方法来估计高维数据集的内在维数。为此，我们引入了一种新的制剂的概率主成分分析模型的基础上正常的伽玛先验分布。在这种情况下，我们展示了一个封闭形式的表达的边际可能性，允许推断出最佳数量的组件。我们还提出了一个启发式的边缘似然曲线的预期形状的基础上，以选择超参数。在非渐近框架中，我们在模拟数据上表明，这种精确的维度选择方法与贝叶斯和频率论的最先进方法都具有竞争力。
2019-05-21 math.ST stat.ME stat.ML
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Risk Margin Quantile Function Via Parametric and Non-Parametric Bayesian Quantile Regression
我们开发了分位数回归模型，以获得风险边际和评估资本在非寿险应用。通过利用整个范围的条件分位数函数，特别是较高的分位数水平，我们详细介绍了分位数回归是如何能够提供一个准确的估计的风险保证金和概述的基础上的历史波动性的一般保险公司的损失组合的隐含资本。两个建模框架被认为是基于参数和非参数分位数回归模型，我们专门在这个保险设置。在参数分位数回归框架中，我们在贝叶斯回归框架下考虑了弹性广义贝塔分布族、非对称Laplace（AL）分布和幂Pareto分布等模型。通过马尔可夫链蒙特卡罗（MCMC）抽样策略研究了每种情况下的贝叶斯后验分位数回归模型。在非参数分位数回归框架中，我们与参数贝叶斯模型形成对比，我们采用AL分布作为代理，并与参数AL模型一起，将解决方案表示为均匀分布的尺度混合以便于实现。该模型扩展到采用动态均值，方差和偏度，并应用于分析两个真实的损失准备金数据集进行推理和讨论有趣的功能分位数回归的风险保证金计算。
2014-02-11 q-fin.RM stat.AP stat.CO
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
链接预测是统计网络分析中的一项基本任务。最近的进展已经取得了学习灵活的非参数贝叶斯潜在特征模型的链接预测。在本文中，我们提出了一个最大间距学习方法，这种非参数的潜在特征关系模型。我们的方法试图将最大间隔学习和贝叶斯非参数的思想结合起来，发现链接预测的潜在特征。它继承了非参数贝叶斯方法的先进性，以推断未知的潜在社会维度，而对于判别式链接预测，它采用最大余量学习原则，通过使用线性期望算子最小化铰链损失，而不处理高度非线性的链接似然函数。对于后验推理，我们开发了一个有效的随机变分推理算法截断平均场假设下。我们的方法可以扩展到具有数百万个实体和数千万个正链接的大规模真实网络。我们还提供了一个完整的贝叶斯公式，可以避免调整正则化超参数。在不同的真实数据集上的实验结果表明了最大间隔学习和贝叶斯非参数推理的优点。
2016-02-24 cs.LG cs.SI stat.ME
Bayes-raking: Bayesian Finite Population Inference with Known Margins
分类挖掘广泛应用于分类数据建模和调查实践中，但面临着方法和计算上的挑战。我们开发了一个贝叶斯范式，通过将边际约束作为一个先验分布通过两个主要的策略：1）通过基函数或投影矩阵构建的解决方案的子空间和2）建模软约束。建议贝叶斯耙估计集成的利润率，样本选择和响应机制，和结果的模型，传播所有来源的不确定性的能力。计算通过Stan完成，代码可供公众使用。仿真研究表明，贝叶斯排序可以执行以及大样本的排序，并在有效性和效率增益方面表现出色，特别是在稀疏列联表或相关的排序因子。我们将新方法应用于幸福感的纵向研究，并证明基于模型的方法作为一个统一的调查推理框架，显着提高了推理的可靠性和实质性的发现。
2019-09-05 stat.CO stat.ME
Marginally Constrained Nonparametric Bayesian Inference through Gaussian Processes
非参数贝叶斯模型通常用作复杂数据的灵活和强大的模型。很多时候，统计学家可能对感兴趣的数据分布有额外的信息信念，例如，它的均值或子集分量，不是非参数先验的一部分，甚至与非参数先验不相容。一个重要的挑战是将这种部分先验信念纳入非参数贝叶斯模型。在本文中，我们的动机设置从业者有额外的分布信息的一个子集的坐标的观测建模。我们的方法将这个问题与条件密度模型联系起来。我们的主要思想是一种新的约束贝叶斯模型，基于一个扰动的参数分布与变换高斯过程之前的扰动函数。我们还开发了相应的后验抽样方法的基础上的数据增强。我们说明了我们提出的约束非参数贝叶斯模型在各种现实世界的情况下，包括建模环境和地震数据的有效性。
2022-11-05 stat.CO stat.ME
Posteriors, conjugacy, and exponential families for completely random measures
我们演示了如何计算后验一般CRM为基础的先验和似然贝叶斯非参数模型。我们进一步展示了如何表示贝叶斯非参数先验作为一个序列的有限提请使用大小偏置的方法-以及如何表示完整的贝叶斯非参数模型通过有限的边际。出于共轭先验的基础上指数族表示的可能性，我们引入了一个概念的指数族标准物质，我们称之为指数标准物质。这种结构使我们能够指定自动贝叶斯非参数共轭先验指数CRM似然。我们证明，我们的指数标准物质允许特别简单的配方贝叶斯非参数模型的大小偏置和边际表示。一路上，我们证明了伽玛过程是一个共轭先验的泊松似然过程和β素数过程是一个共轭先验的过程，我们称之为赔率伯努利过程。我们提供了一个大小偏置的伽玛过程和伽玛过程的边缘表示加上泊松似然过程。
2016-04-22 math.ST stat.ME stat.TH
Bayesian Model Selection, the Marginal Likelihood, and Generalization
New York University（纽约大学）
该研究针对边际似然作为模型选择泛化代理的局限展开分析，揭示其与泛化负相关、易引发欠过拟合等问题，结合PAC-贝叶斯界阐明缺陷，并提出条件边际似然作为部分改进方案，可提升大规模超参数学习效果。
2023-05-02 cs.LG stat.ML
The Case for Bayesian Deep Learning
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）
贝叶斯方法的关键区别属性是边缘化而不是优化，而不是先验或贝叶斯规则。贝叶斯推理对于深度神经网络尤其引人注目。(1)神经网络通常被数据低估，并且可以表示对应于不同参数设置的许多不同但高性能的模型，这正是边缘化将对校准和准确性产生最大差异的时候。(2)深度集成被误认为是贝叶斯方法的竞争方法，但可以被视为近似贝叶斯边缘化。(3)神经网络的结构在函数空间中产生了结构化的先验，这反映了神经网络的归纳偏差，有助于它们的推广。(4)所观察到的损失的平坦区域中的参数与提供良好泛化的解的多样性之间的相关性进一步有助于贝叶斯边缘化，因为平坦区域在高维空间中占据大体积，并且每个不同的解将对贝叶斯模型平均值做出良好贡献。(5)与标准训练相比，贝叶斯深度学习的最新实践进展在准确性和校准方面有所改进，同时保持了可扩展性。
2020-01-29 cs.LG stat.ML
A Bayesian GED-Gamma stochastic volatility model for return data: a marginal likelihood approach
几项研究探讨了基于随机波动率（SV）模型的推断，同时考虑到回报数据的程式化事实。常见的问题是，许多波动率模型的潜在参数是高维的，并且在分析上难以处理，这意味着推断需要使用例如马尔可夫链蒙特卡罗或拉普拉斯方法进行近似。一些SV模型被表示为线性高斯状态空间模型，其导致边际似然，从而降低问题的维度。其他的不线性化，并且潜在参数被整合出来。然而，这些提出了一个相当严格的演化方程。因此，我们提出了一个贝叶斯GED-Gamma SV模型，其直接边际似然是广义学生t分布的产物，其中潜在状态通过平稳高斯演化方程随时间变化。然后，对对数精度/波动率的先验分布进行近似，而不需要模型线性化。这也允许计算边缘似然函数，其中高维潜在状态被整合出来，并且使用平滑过程容易地在块中采样。此外，我们的GED伽马模型的扩展很容易将斜重尾分布。我们使用贝叶斯估计的静态参数的推断，并进行了模拟研究的估计的几个性质。我们的结果表明，所提出的模型可以合理地估计。此外，我们还提供了巴西资产和英镑/美元汇率的案例研究，以显示我们的方法在拟合和预测方面的性能。关键词：SV模型，新的序列和平滑程序，广义学生t分布，非高斯误差，重尾，偏度
2018-08-23 q-fin.ST stat.OT
Bayesian Inference for Gaussian Process Classifiers with Annealing and Pseudo-Marginal MCMC
核方法已经彻底改变了模式识别和机器学习领域。然而，他们的成功，关键取决于内核参数的选择。以高斯过程（GP）分类为例，研究了基于马尔可夫链蒙特卡罗（MCMC）方法的协方差（核）参数的贝叶斯推断。其动机是，与核参数的标准优化相比，它们已被系统地证明在量化预测中的不确定性方面具有优越性。最近，伪边缘MCMC方法已被提出作为GP模型的实用推理工具。特别是，它的金额在替代分析棘手的边际似然由近似方法和重要性抽样获得的无偏估计。在讨论了重要性抽样的潜在缺陷后，本文提出了退火重要性抽样的应用。实验结果表明，与重要性抽样相比，退火重要性抽样能以多项式的计算代价指数地减小边缘似然估计的方差.实际数据的结果表明，采用退火重要性抽样的伪边缘MCMC方法代表了一个步骤，在GP模型的全自动精确推理引擎的发展。
2014-05-26 stat.ME stat.ML
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
New York University（纽约大学）
贝叶斯方法的关键区别属性是边缘化，而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准，这些网络通常被数据低估，并且可以代表许多引人注目但不同的解决方案。我们发现，深合奏提供了一个有效的机制近似贝叶斯边缘化，并提出了一个相关的方法，进一步提高了预测分布的边缘化盆地内的吸引力，没有显着的开销。我们还研究了先验函数隐含的模糊分布在神经网络权重，解释了这样的模型的泛化性能从概率的角度来看。从这个角度来看，我们解释了神经网络泛化的神秘和独特的结果，例如用随机标签拟合图像的能力，并表明这些结果可以用高斯过程再现。我们还表明，贝叶斯模型的平均简化了双下降，从而在单调的性能改善，增加了灵活性。最后，我们提供了一个贝叶斯的角度来看，回火校准预测分布。
2022-03-30 cs.LG stat.ML
Semi-parametric Bayesian inference under Neyman orthogonality
McGill University（麦吉尔大学）
本文提出了一种基于奈曼正交性的贝叶斯推断方法，通过非参数模型和狄利克雷过程实现，展示了在因果推断中有效且稳健的边缘后验推断。
2026-02-23 math.ST stat.ME stat.TH
Investigating the efficiency of marginalising over discrete parameters in Bayesian computations
贝叶斯分析方法通常使用某种形式的迭代模拟，如蒙特卡罗计算。涉及离散变量的模型有时会带来挑战，因为所使用的方法不支持此类变量（例如哈密顿蒙特卡罗），或者因为此类变量的存在会减慢计算速度。一个常见的解决方法是将离散变量边缘化。虽然可以合理地预期这种边缘化也会导致更节省时间的计算，但据我们所知，除了一些专门的模型之外，这还没有得到证明。我们探讨了边际化对几个简单的统计模型的计算效率的影响。具体来说，我们考虑了两个和三个组成部分的高斯混合模型，以及Dawid-Skene模型的分类评级。我们用两种马尔可夫链蒙特卡罗技术的软件实现：JAGS和Stan对每种方法进行了探索。我们使用同一软件上的采样器直接比较了同一模型的边缘化和非边缘化版本。我们的研究结果表明，边缘化本身并不一定会提高性能。尽管如此，最好的表现通常是与斯坦，这需要边缘化。我们的结论是，没有简单的答案是否边缘化是有益的。这并不一定是这样的情况，即当“打开”时，可以确保该技术提供独立于其他因素的计算益处，也不可能是对计算效率具有最大影响的模型组件。
2022-09-13 stat.CO stat.ME
Exact marginal prior distributions of finite Bayesian neural networks
Harvard University（哈佛大学）
贝叶斯神经网络理论上仅在无限宽度限制下才被很好地理解，其中网络权重的高斯先验产生网络输出的高斯先验。最近的工作表明，有限贝叶斯网络可能优于他们的无限同行，但他们的非高斯函数空间先验的特点，只有通过微扰的方法。在这里，我们推导出精确的解决方案的函数空间先验的一类有限的全连接前馈贝叶斯神经网络的个人输入的例子。对于深度线性网络，先验知识有一个简单的Meijer $G$函数表达式。有限ReLU网络的先验是较小宽度的线性网络的先验的混合，对应于每层中不同数量的活动单元。我们的研究结果统一了以前的描述有限网络先验的尾部衰减和大宽度的行为。
2021-10-18 cond-mat.dis-nn cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK（华威大学工程学院，英国）；Warwick Center for Predictive Modelling, University of Warwick, UK（华威大学预测建模中心，英国）；Department of Statistics, University of Warwick, UK（华威大学统计系，英国）；Division of Translational Medicine, Warwick Medical School, UK（华威医学院转化医学部，英国）；Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK（考文垂和华威郡大学医院病理学部临床生物化学系，考文垂，英国）
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性，通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链，探索超参数的后验。我们演示了模拟和真实的例子，显示其捕获的超参数和改进的不确定性量化预测相比，变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Pseudo-Marginal Bayesian Inference for Gaussian Processes
University of Glasgow（格拉斯哥大学）；University of Warwick（华威大学）
在概率建模中采用高斯过程先验时出现的主要挑战是如何执行精确的贝叶斯推断以及如何在对样本外数据进行基于模型的预测时考虑模型参数的不确定性。使用概率单位回归作为一个说明性的工作例子，本文提出了一种通用的和有效的方法的基础上的伪边缘的方法，有效地解决了这两个问题的马尔可夫链蒙特卡罗。本文提出的结果表明，改进现有的采样方法来模拟从后验分布的参数定义的协方差函数的高斯过程先验。这是特别重要的，因为它提供了一个强大的工具来执行基于高斯过程的分层统计模型的全面贝叶斯推断。结果还表明，蒙特卡罗为基础的集成的所有模型参数实际上是可行的，在这类模型提供了一个优越的量化预测的不确定性。与最先进的概率分类器的广泛比较证实了这一论断。
2014-04-07 cs.LG stat.ME stat.ML
Adaptive empirical Bayesian smoothing splines
在本文中，我们开发和研究自适应经验贝叶斯光滑样条。这些都是平滑样条函数，平滑参数和惩罚顺序都是通过经验贝叶斯方法从模型的边际似然确定的。选择的阶数和平滑参数用于构造具有良好频率覆盖的底层回归函数的自适应可信集。我们使用这些可信的集合作为代理，以显示自适应经验贝叶斯平滑样条相比，频率平滑样条的优越性能。
2015-11-17 math.ST stat.TH
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
虽然不确定性估计是深度学习中一个研究得很好的主题，但大多数此类工作都集中在边际不确定性估计上，即各个输入位置的预测均值和方差。但是，估计不同输入位置处的函数值之间的预测相关性通常更有用。在本文中，我们考虑的问题，基准如何准确贝叶斯模型可以估计预测相关性。我们首先考虑一个依赖于后验预测相关性的下游任务：转导主动学习（TAL）。我们发现TAL比普通的主动学习更好地利用了模型的不确定性估计，并推荐将其作为评估贝叶斯模型的基准。由于TAL太昂贵和间接的指导算法的开发，我们引入了两个指标，更直接地评估预测相关性，可以有效地计算：元相关性（即模型相关性估计和真实值之间的相关性），和交叉归一化似然（XLL）。我们通过证明它们与TAL性能的一致性来验证这些指标，并了解当前贝叶斯神经网络和高斯过程模型的相对性能。
2021-03-01 cs.LG stat.ML
Bayesian comparison of latent variable models: Conditional vs marginal likelihoods
具有潜在变量（或随机效应）的模型的典型贝叶斯方法涉及直接对潜在变量以及模型参数进行采样。在用于模型定义的高级软件代码中（例如，BUGS，JAGS，Stan），因此将可能性指定为以潜在变量为条件。这可能会导致研究人员通过条件似然进行模型比较，其中潜变量被认为是模型参数。然而，在其他设置中，典型的模型比较涉及潜在变量被整合出来的边缘似然性。这种区别往往被忽视，尽管事实上，它可以有很大的影响比较的利益。在本文中，我们澄清和说明这些问题，侧重于比较的条件和边际偏差信息标准（DIC）和渡边赤池信息标准（WAIC）在心理测量建模。条件/边际区别对应于模型是否应该预测数据中的聚类或新聚类（其中“聚类”通常对应于更高级别的单位，如人或学校）。相应地，我们表明，边际WAIC对应于留一簇（LOcO）交叉验证，而条件WAIC对应于留一个单元（LOuO）。这些结果导致建议的一般应用的标准模型与潜变量。
2019-07-25 stat.CO
Bayesian Non-parametric Quantile Process Regression and Estimation of Marginal Quantile Effects
多个条件分位数的灵活估计在许多应用中是令人感兴趣的，例如研究妊娠相关因素对低出生体重和高出生体重的影响。我们提出了一个贝叶斯非参数方法，同时估计非交叉，非线性分位数曲线。我们扩展了响应的条件分布函数在I-样条基函数的协变量依赖系数建模使用神经网络。通过利用样条函数和神经网络的逼近能力，我们的模型可以逼近任何连续的分位数函数。与现有的模型相比，我们的模型估计所有的分位数，而不是一个有限的子集，规模以及高维，估计的不确定性。虽然该模型是任意灵活的，可解释的边际分位数效应估计使用累积局部效应图和变量的重要性措施。仿真研究表明，当数据稀疏时，我们的模型可以更好地恢复响应分布的分位数，并对出生体重数据进行了分析。
2021-08-29 stat.ME
Marginal Data Augmentation for Efficient Bayesian Modeling of Counts and Rates with a Demographic Application
International Institute for Applied Systems Analysis（国际应用系统分析研究所）；Institute for Statistics and Mathematics, WU Vienna University of Economics and Business（维也纳经济与商业大学统计与数学研究所）
针对计数数据模型贝叶斯数据增强算法的效率问题，提出边际数据增强方法，通过重新缩放零计数观测的潜在结果减轻后验依赖性，经合成数据、模拟研究及人口统计应用验证了该方法能提高采样效率及具有广泛适用性。
2026-07-28 stat.CO stat.ME
Reclaiming the "frequentist" role of marginal likelihood in Bayesian belief revision
Anhui University（安徽大学）
本研究指出贝叶斯计算中常将边缘似然视为静态常数的疏漏，提出将其恢复为实时正则项，引入诊断指标与混合概率，为非平稳场景下的序贯估计与风险管理提供正则化机制。
2026-07-30 stat.ME
Identifiable Bayesian Deep Generative Copulas with Unknown Layer Widths for Data with Arbitrary Marginal Distributions
Department of Statistics and Data Science（统计与数据科学系）；Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Statistics（统计系）；Columbia University（哥伦比亚大学）
提出Deep Discrete Encoder (DDE) Copula模型，通过二元潜变量的分层有向网络与Copula框架结合，实现任意边缘分布数据的可识别与可解释生成建模，并基于秩似然进行估计与后验推断。
2026-05-26 cs.LG stat.ML
Bayesian Nonparametric Factor Analysis via Marginalized Dirichlet Process Column Clustering with Spike-and-Slab Sparsity
St. Xavier’s College (Autonomous), Kolkata（加尔各答圣泽维尔学院（自治））；Indian Statistical Institute（印度统计研究所）
提出一种边缘化狄利克雷过程列聚类与尖峰- slab稀疏性的贝叶斯非参数因子模型，自适应推断因子数并合并冗余字典，实现最优收缩率，在模拟和乳腺癌数据中优于基线。
2026-09-29 math.ST stat.AP stat.ME
