Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
我们提出了一个下界的高斯过程回归模型的对数边际似然，可以计算没有矩阵分解的完整的内核矩阵。我们表明，近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处，同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项，以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化（例如变分法）和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中，与其他基于共轭梯度的方法相比，我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Conjugate priors and bias reduction for logistic regression models
统计实践中通常使用二项响应的逻辑斯谛回归模型。然而，由于数据可分性，最大似然估计可能不存在。我们解决这个问题，通过考虑共轭先验惩罚，总是产生有限的估计。这样的规范有一个明确的贝叶斯解释，并享有几个不变性属性，使其成为一个有吸引力的优先选择。我们表明，所提出的方法导致Firth（1993）的减少偏差的方法的准确近似，从而导致具有比最大似然更小的渐近偏差的估计量，并且其存在性总是有保证的。此外，所考虑的惩罚似然可以表示为真实似然，其中原始数据被伪计数的集合替换。因此，我们的方法可以利用完善的和可扩展的算法用于逻辑斯谛回归。我们比较我们的估计与其他减少偏差的方法，大大提高了计算性能，并取得了吸引人的推理结果。
2022-02-17 stat.ME
Bayes factors and the geometry of discrete hierarchical loglinear models
贝叶斯框架中模型选择的标准工具是贝叶斯因子，它比较两个给定不同模型下数据的边际似然性。本文研究了一类以列联表形式给出的多项抽样的离散数据的分层对数线性模型。我们假设Diaconis-Ylvisaker共轭先验是对数线性参数的先验分布，均匀先验是模型空间上的先验分布。在这些条件下，两个模型之间的贝叶斯因子是它们的先验和后验归一化常数的函数。这些常数是超参数$(m,α)$的函数，它们可以分别解释为虚拟列联表的边际计数和总计数。我们研究了当$α$趋于零时贝叶斯因子的行为。在这项研究中，两个数学对象起着最重要的作用。它们是，第一，内部$C$的凸包$\bar{C}$的支持的多项式分布的一个给定的分层对数线性模型连同它的脸，第二，这个凸集$C$的特征函数$\mathbb{J}_C$。我们表明，当$α$趋于0，如果数据位于一个面$F_i$的$\bar{C_i},i=1,2$的尺寸$k_i$，贝叶斯因子的行为像$α^{k_1-k_2}$。这特别意味着当数据在$C_1$和$C_2$中时，即当$k_i$等于模型$J_i$的维数时，更稀疏的模型更受欢迎，从而证实了贝叶斯正则化的思想。
2011-10-20 math.ST stat.TH
Hierarchical Random Measures without Tables
Luiss University（卢伊斯大学）；University of Milano-Bicocca（米兰比可卡大学）
提出一种层次狄利克雷过程的新先验，消除潜在表格变量，实现后验的准共轭分布和高效采样算法，并推广至归一化层次随机测度框架。
2026-06-11 math.PR math.ST stat.ME
Gradient conjugate priors and multi-layer neural networks
Free University of Berlin（柏林自由大学）；RUDN University（俄罗斯人民友谊大学）
本文讨论用人工神经网络学习观测数据的概率分布。我们提出了一个所谓的梯度共轭先验（GCP）更新适合神经网络，这是一个修改的经典贝叶斯更新共轭先验。我们建立了梯度共轭先验更新和预测分布的对数似然最大化之间的联系。与贝叶斯神经网络不同，我们使用神经网络的确定性权重，而是假设地面真值分布是正态的，具有未知的均值和方差，并通过神经网络学习这些未知均值和方差的先验（正态-Γ分布）的参数。使用梯度完成参数的更新，该梯度在每一步都指向最小化从之前到后验分布的Kullback-Leibler发散（两者都是正态伽马）。我们得到了一个相应的动力系统的先验参数，并分析其性质。特别是，我们研究的限制行为的所有先验的参数，并显示它是如何不同于经典的全贝叶斯更新的情况下。合成和真实世界的数据集的结果进行了验证。
2019-03-26 cs.LG math.ST stat.ML
Efficient non-conjugate Gaussian process factor models for spike count data using polynomial approximations
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Center for Visual Science（视觉科学中心）；University of Rochester（罗切斯特大学）
高斯过程因子分析（GPFA）已被广泛应用于识别大规模神经记录下的平滑、低维时间结构的问题。然而，尖峰序列是非高斯的，这促使将GPFA与离散观测模型相结合以用于分箱尖峰计数数据。这种方法的缺点是GPFA先验不与计算模型似然性共轭，这使得推理具有挑战性。在这里，我们通过引入一个快速的，非共轭GPFA模型的近似推理方法来解决这个障碍。我们的方法使用正交二阶多项式来近似非共轭对数似然的非线性项，从而产生一种我们称为\textit{polynomial approximate log-likelihood}（PAL）估计量的方法。这种近似允许对边缘似然性进行精确的闭合形式评估，并对参数和超参数进行快速数值优化。我们推导出具有二项式、泊松和负二项式观测值的GPFA模型的PAL估计，发现PAL估计具有高度准确性，并且与现有的最先进的推断方法相比，收敛时间更快。我们还发现PAL超参数可以为黑盒变分推断（BBVI）提供合理的初始化，从而提高BBVI的精度。我们证明，PAL估计实现快速，准确地提取潜在的结构，从多神经元尖峰训练数据。
2020-10-05 cs.LG stat.ML
Optimal Gaussian approximations to the posterior for log-linear models with Diaconis-Ylvisaker priors
在列联表分析中，即使是少量变量也经常遇到稀疏数据，导致不存在最大似然估计。一种常见的解决方案是获得对数线性模型的参数的正则化估计。贝叶斯方法为正则化提供了一种连贯的方法，但通常是计算密集型的。共轭先验简化了计算需求，但对数线性模型参数的共轭Diaconis-Ylvisaker先验不会产生封闭形式的可信区域，从而使后验推理复杂化。在这里，我们得到了最佳高斯近似的后验的对数-线性模型与Diaconis-Ylvisaker先验，并提供收敛速度和有限样本界之间的库尔贝克-莱布勒散度的确切后验和最佳高斯近似。我们在模拟和实际数据应用中的经验表明，即使在相对较小的样本中，近似也是高度准确的。所提出的近似提供了一个计算上可扩展的和原则性的方法来正则化估计和近似贝叶斯推断的对数线性模型。
2015-11-03 stat.ME
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology（浦项科技大学）
贝叶斯层次聚类（Bayesian hierarchical clustering，BHC）是一种凝聚聚类方法，它定义了一个概率模型，并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势，传统的基于距离的凝聚聚类算法，连续的边缘似然评估和仔细的超参数调整是繁琐的，限制了可扩展性。在本文中，我们放松BHC到一个非概率制定，探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法，被称为放松BHC（RBHC），从BHC模型的渐近极限，表现出基于距离的凝聚聚类算法的可扩展性，以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少，使我们能够使用可扩展的算法，如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Hierarchical Inducing Point Gaussian Process for Inter-domain Observations
Columbia University（哥伦比亚大学）；The Observatories of the Carnegie Institution for Science（卡内基科学研究所天文台）
我们研究了域间高斯过程（GP）的一般问题：GP实现和该实现的噪声观测位于不同域的问题。当这些域之间的映射是线性的，如积分或微分，推理仍然是封闭形式。然而，我们社区开发的许多缩放和近似技术并不适用于此设置。在这项工作中，我们引入了层次诱导点GP（HIP-GP），一个可扩展的域间GP推理方法，使我们能够提高近似精度，通过增加诱导点的数量以百万计。HIP-GP依赖于具有网格结构的诱导点和稳定的核假设，适用于低维问题。在开发HIP-GP中，我们引入了（1）一个快速白化策略，以及（2）一个新的共轭梯度预处理器，它可以在一般的GP设置中有所帮助。我们的代码可以在https：//github.com/cunningham-lab/hipgp上找到。
2021-06-24 cs.LG stat.ML
Conjugate Nearest Neighbor Gaussian Process Models for Efficient Statistical Interpolation of Large Spatial Data
空间统计学的一个关键挑战是对大量空间参考数据集的分析。这样的分析通常从高斯过程规范出发，该规范可以产生丰富和鲁棒的推断，但是涉及缺乏计算上可利用的结构的密集的协方差阵。拟合这种模型所需的矩阵计算涉及空间位置数量的立方阶的浮点运算和二阶的动态存储器存储。空间统计学的最新发展提供了各种大规模可扩展的方法。特别是贝叶斯推断和层次模型，由于其在适应空间过程方面的丰富性和灵活性而受到欢迎。我们目前的贡献是提供计算效率高的精确算法的空间插值的海量数据集使用可扩展的空间过程。我们将低秩高斯过程与有效的稀疏近似相结合。根据[1]的最近工作，我们使用高斯预测过程（GPP）和残差过程作为稀疏诱导最近邻高斯过程（NNGP）来建模低秩过程。这里的一个关键贡献是使用精确共轭贝叶斯建模来实现这些模型，以避免昂贵的迭代算法。通过仿真研究，我们评估所提出的方法的性能和我们的模型的鲁棒性，特别是对于长期预测。我们实现我们的方法，遥感光探测和测距（LiDAR）的数据收集在美国林务局塔纳纳库存单位（TIU）在阿拉斯加内陆的偏远地区。
2019-07-23 stat.AP stat.CO stat.ME
Forecasting Oncology Demand Trends with Boosting-Based Bayesian Conjugate Models
Universidade Federal do Cariri (UFCA)（联邦大学卡拉里（UFCA））；Universidade Federal Rural de Pernambuco (UFRPE)（联邦农村佩纳布卢克大学（UFRPE））
本文提出了一种贝叶斯框架，用于预测癌症需求趋势，通过伽马-对数正态共轭结构增强模型的适应性，实验证明其在趋势检测准确率上优于传统方法。
2026-05-06 cs.LG stat.AP stat.ML
Sparsity enforcing priors in inverse problems via Normal variance mixtures: model selection, algorithms and applications
当考虑贝叶斯方法时，反问题的解的稀疏结构可以使用不同的稀疏性执行先验来建模。模型未知量的解析表达式可以通过构建基于稀疏性强制分布的分层模型来获得，该稀疏性强制分布通过共轭先验来表示。我们考虑具有此性质的重尾分布：t分布，表示为正态尺度混合，混合分布为逆Gamma分布，拉普拉斯分布，也可以表示为正态尺度混合，混合分布为指数分布，或者可以表示为正态逆尺度混合，混合分布为逆Γ分布，双曲分布、方差-Γ分布、正态-逆高斯分布，所有这三种分布都使用广义双曲分布通过共轭分布表示。对于所有的分布迭代算法推导出分层模型的基础上，考虑到正向模型的不确定性。对于估计，使用通过变分贝叶斯近似（Vibration Bayesian Approximation，Vibration Bayesian Approximation）的最大后验（Maximum A Posterior，MAP）和后验均值（Posterior Mean，PM）。在三维计算机断层扫描（3D-CT）和时间生物学的应用中，所得到的算法的性能进行了比较。最后，一个理论研究的稀疏执行算法之间的比较，通过贝叶斯方法和稀疏执行算法发出的正则化技术，如LASSO和其他一些。
2017-05-29 stat.AP
Sampling hyperparameters in hierarchical models: improving on Gibbs for high-dimensional latent fields and large data sets
我们考虑在非常常见的贝叶斯分层模型中的后验抽样，在该模型中，观察到的数据取决于高维潜变量，而高维潜变量又取决于相对较少的超参数。当隐变量上的完全条件具有已知形式时，超参数上的边缘后验分布是可访问的，并且可以在低维参数空间上使用马尔可夫链蒙特卡罗（MCMC）方法进行采样。这可以提高标准吉布斯抽样的计算效率，因为计算不在潜在变量的高维空间上，并且超参数和潜在变量之间的相关性变得无关紧要。当超参数上的边际后验依赖于一个固定维的充分统计量时，预先计算该充分统计量使得低维MCMC的代价与数据大小无关.然后，当超参数是感兴趣的主要变量时，可以以适度的成本在大数据设置中执行推断。此外，由于潜变量的完全条件的形式不依赖于超先验分布的形式，因此该方法不对超先验施加限制，这与通常需要共轭分布的吉布斯抽样不同。我们证明了这些效率的提高在四个计算的例子。
2016-10-21 stat.CO
High-dimensional Feature Selection Using Hierarchical Bayesian Logistic Regression with Heavy-tailed Priors
在现代科学的许多领域中，从大量（例如，数千个）候选特征中选择最有用的特征的问题都出现了。基因组研究中一个有趣的问题是，从数千个在某些组织细胞中活跃（表达）的基因中，我们希望找到可用于分离不同类别组织的基因（例如，基因组）。癌症和正常）。本文报道了我们在小自由度（如1）和极小尺度下，使用基于重尾先验的贝叶斯逻辑斯谛回归，并使用哈密顿蒙特卡罗进行计算的经验。我们讨论了这种方法的优点和局限性，并说明了尚未解决的困难。该方法应用于与前列腺癌相关的真实微阵列数据集。该方法仅识别出6033个候选基因中的3个非冗余基因，但比许多其他方法实现了更好的留一交叉验证预测精度。
2018-05-12 stat.AP stat.CO
Bayesian Estimation of Negative Binomial Parameters with Applications to RNA-Seq Data
RNA-Seq数据通常表现出较大的方差，需要在模型中适当考虑。我们首先探讨这种变异性对负二项分布的过度分散参数的极大似然估计（MLE）的影响，并建议使用通过最大化共轭贝叶斯框架中的边际似然获得的估计。我们表明，通过模拟研究，边际极大似然估计可以更好地控制这种变化，并产生一个更稳定和可靠的估计。然后，我们制定了一个共轭贝叶斯分层模型，其中过度分散的估计是一个边缘化的估计，并使用此估计提出了贝叶斯检验，以检测差异表达的基因与RNA-Seq数据。我们使用数值研究表明，我们更简单的方法是有竞争力的与其他负二项式为基础的程序，我们使用一个真实的数据集来说明该程序的实施和灵活性。
2015-12-01 stat.ME
smoothbp: Fast Bayesian Hierarchical Piecewise Regression with Smoothed Transitions and Spike-and-Slab Model Selection
Wicking Dementia Research & Education Centre, College of Health & Medicine, University of Tasmania（塔斯马尼亚大学健康与医学院温金痴呆症研究与教育中心）
提出R包smoothbp，利用Rust实现的Metropolis-within-Gibbs采样器和HMC，实现具有逻辑平滑转换的贝叶斯分层分段回归，支持多断点、随机效应和自动断点选择。
2026-06-18 stat.AP stat.CO stat.ME
Population counts along elliptical habitat contours: hierarchical modelling using Poisson-lognormal mixtures with nonstationary spatial structure
生态学家经常解释种群空间分布的变化对环境特征的反应，但如果潜在的影响和空间和时间的相关性没有得到适当的解释，那么很难解开个体变量的影响。在这里，我们使用层次模型的基础上泊松对数正态混合，以了解空间变化的相对丰度（每标准化单位的努力计数）的黄鲈鱼，鲈鱼，最丰富的鱼类物种在圣皮埃尔湖，魁北克省，加拿大。该混合物采用了空间变化的环境协变量，代表当地的栖息地特征，和随机的时间和空间效应，捕捉未观察到的生态过程的影响。采样设计覆盖了湖的边缘，但没有覆盖湖的中心区域。我们适合空间广义线性混合模型的基础上三个不同的先验协方差结构的本地潜在的影响：一个单一的高斯过程（GP）的湖泊，一个GP在一个圆圈，和独立的GP为每个岸边。这些模型允许独立性、各向同性或非平稳空间效应。非平稳性处理使用两种不同的方法，几何各向异性，并列入协变量的潜在空间过程的相关结构。所提出的空间域的规范和选择的高斯过程先验的方法可能会被证明是有用的，在其他应用中，涉及沿不规则轮廓或在不连续的空间域的空间相关性。
2015-05-16 stat.AP
Hierarchical Bayesian Nearest Neighbor Co-Kriging Gaussian Process Models; An Application to Intersatellite Calibration
由于遥感技术的最新进展和卫星星座的日益扩大，每天都可以通过许多不同保真度的平台在全球范围内收集大量地球物理信息。自回归协同克里金模型是分析这类数据集的一个适当框架，因为它考虑到了不同保真度卫星输出之间的相互依存关系。然而，它的实现在多保真度的大型空间数据集实际上是不可行的，因为它的计算复杂性增加的观察总数的立方。在本文中，我们提出了一个最近邻协克立格高斯过程，耦合的自回归模型和最近邻GP通过使用增广的思想，减少计算复杂度是线性的空间观测位置的总数。最近的邻居GP的潜在过程中增加的方式，允许半共轭先验的规格。这有利于设计一个高效的MCMC采样器，涉及主要是直接采样更新，可以在并行计算环境中实现。仿真研究表明，该方法具有良好的预测性能。我们使用所提出的方法来分析从两个NOAA极轨卫星收集的高分辨率红外辐射探测器数据。
2021-05-09 stat.AP stat.CO
Polyhedral conditions for the nonexistence of the MLE for hierarchical log-linear models
我们提供了一个多面体描述的条件存在的最大似然估计（MLE）的分层对数线性模型。MLE存在当且仅当观察到的边缘位于边缘锥的相对内部。利用这种描述，我们给出了一个算法，用于确定是否存在的MLE。如果树的宽度是有界的，则算法在多项式时间内运行。我们还进行了计算研究的情况下，三个随机变量的无三因素效应模型。
2004-05-04 math.CO math.ST stat.TH
Exponential Hilbert series and hierarchical log-linear models
考虑一个分层对数线性模型，由单纯复形$Γ$和整数矩阵$A_Γ$给出.通过对$Γ$的指数Hilbert级数进行对数变换，给出了$A_Γ$秩的一个新的刻画.我们表明，如果$X$中的每个随机变量具有相同数量的可能结果，那么这个公式就简化为$Γ$的面向量的简单描述。如果$Γ$进一步满足Dehn-Sommerville关系，那么我们给出一个非常简单的公式来计算$A_Γ$的秩，从而计算模型的维数和自由度.
2022-11-15 math.CO math.ST stat.TH
