Fast Power Curve Approximation for Posterior Analyses
本文提出一种基于Bernstein-von Mises定理的快速功效曲线近似框架，利用后验概率抽样分布区段构建各类贝叶斯后验分析的功效曲线，速度比传统方法快数个数量级，并证明了功效估计与样本量建议的一致性。
2024-05-27 stat.ME
A priori truncation method for posterior sampling from homogeneous normalized completely random measure mixture models
本文采用贝叶斯非参数混合模型，其中混合分布属于广义的归一化齐次完全随机测度。我们提出了一种截断混合分布的方法，通过丢弃未归一化的测量小于小于阈值的权重。我们证明了我们的逼近律的收敛性，给出了一些理论性质，并描述了它的后验分布，从而设计了一个分块Gibbs采样器。近似的多功能性说明了两个不同的应用程序。首先介绍了包含Dirichlet过程的归一化Bessel随机测度，拟合优度指标显示了其作为混合测度用于密度估计的良好性能。第二个描述了如何将协变量纳入标准化测量的支持中，从而得到用于回归和聚类的线性相关模型。
2015-07-16 math.ST stat.CO stat.ME
Fast Approximate Bayesian Computation for discretely observed Markov models using a factorised posterior distribution
许多现代统计应用涉及复杂随机模型的推断，对于这些随机模型，似然函数很难甚至不可能计算，因此不能使用传统的基于似然的推断技术。在这样的设置中，可以使用近似贝叶斯计算（ABC）来执行贝叶斯推断。然而，尽管ABC方法最近取得了许多进展，但在许多应用中，ABC的计算成本需要选择汇总统计量和公差，这可能会严重影响后验估计。我们提出了一种新的“分段”ABC方法适用于离散观测马尔可夫模型，涉及到写作的后验密度的参数作为一个产品的因素，每个功能的数据的一个子集，然后使用ABC内的每个因素。该方法的优点是不需要选择汇总统计量，并且可以设置严格的公差，使后验“不那么近似”。我们研究两种方法来估计后验密度的基础上ABC样本的每个因素：第一个是使用高斯近似的每个因素，第二个是使用核密度估计。两种方法各有优点。高斯近似是简单、快速的，并且可能适合于许多应用。另一方面，使用核密度估计具有一致地估计真实ABC后验的好处，因为ABC样本的数量趋于无穷大。我们举例说明了分段ABC方法的三个例子，在每种情况下，该方法使模拟和数据之间的“精确匹配”，并提供快速，准确的推理。
2013-05-28 stat.AP stat.CO stat.ME
Variations of Power-Expected-Posterior Priors in Normal Regression Models
功率期望后验（PEP）先验是高斯线性模型的一种客观先验，在M-闭情形下，PEP先验导致一致的模型选择推理，并倾向于简约模型.最近，提出了两种新形式的PEP先验，将其适用性推广到更广泛的模型。这两个PEP变量的正常线性模型的上下文中的属性进行了彻底的检查，集中在先前的分散和诱导模型选择过程的一致性。结果表明，这两个PEP的变种有更大的方差比单位信息g先验，他们是M-封闭一致的限制行为的相应的边际似然匹配的BIC。在M-开的情况下，使用三种不同的模型误设定的情况下的一致性进一步研究。
2019-11-21 stat.ME
Computational methods for fast Bayesian model assessment via calibrated posterior p-values
针对校准后验预测p值（cppps）计算成本高的问题，提出高效近似方法，通过短MCMC链优化计算权衡、设计方差估计量，在NIMBLE框架实现快速贝叶斯模型评估。
2024-01-30 stat.CO stat.ME
Bayesian finite mixtures: a note on prior specification and posterior computation
本文提出了一种计算有限混合物组分数k的后验分布的新方法。本文还研究了先验规范的两个方面：论证了使用Poisson（1）分布作为k的先验;给出了在混合正态模型中选择超参数值的方法，其中分量参数具有自然共轭先验。
2007-11-03 stat.CO stat.ME
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型，称为扩展的潜在高斯模型，允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型，包括多分辨率空间过程，部分基于似然的生存模型，和多变量测量误差模型。由于精确的后验分布的计算是不可行的，我们开发了一个快速的，可扩展的近似贝叶斯推断方法，这一类的基础上嵌套高斯，拉普拉斯，自适应正交近似。我们证明了在标准条件下，这些近似后验的误差是op（1），并提供了数值证据表明，我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快，可扩展到更大的数据集，具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据，映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型，并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Fast Bayesian whole-brain fMRI analysis with spatial 3D priors
任务相关功能磁共振成像（fMRI）的空间全脑贝叶斯建模是一个巨大的计算挑战。因此，目前提出的大多数方法分别在大脑的子区域中进行推断，或者在不与真实的后验分布进行比较的情况下进行近似推断。Penny等人（2005 b）介绍了一种流行的方法，现在是SPM软件中贝叶斯单受试者分析的标准方法。该方法处理的数据切片的切片，并使用近似变分贝叶斯（VB）估计算法，强制后验独立的活动系数在不同的体素之间。我们引入了一个快速和实用的马尔可夫链蒙特卡罗（MCMC）计划在同一模型中的精确推理，无论是切片和整个大脑使用的3D活动系数的先验。该算法利用稀疏性，并使用现代技术从高维高斯分布中进行有效采样，从而加快速度，否则MCMC将不是一个实用的选择。使用MCMC，我们是第一次能够评估近似VB后对确切的MCMC后，并表明，VB可以导致虚假激活。此外，我们开发了一种改进的VB方法，放弃了独立体素的假设后验。对于大型数据集，该算法比MCMC和原始VB快得多，与MCMC后验相比误差可以忽略不计。
2016-09-29 stat.AP stat.CO stat.ME
Comparison of Azzalini and Geometric Skew Normal Distributions Under Bayesian Paradigm
正态分布的偏态推广由于其在多个领域的广泛应用，一直是统计学界非常感兴趣的话题。由于其直观的吸引力，最流行的偏正态分布之一是Azzalini的偏正态分布。然而，由于分布的性质，它遭受严重的推理问题。有趣的是，贝叶斯方法已被证明可以缓解这些问题。最近，另一种偏态正态分布，几何偏态正态分布，这是结构上不同于Azzalini的偏态正态分布，已被提出作为一种替代建模偏态数据。尽管在偏态正态分布的兴趣，有限数量的文章处理比较不同的偏态分布的性能，特别是在贝叶斯上下文中。为了解决这一差距，本文试图比较这两个偏态正态分布的贝叶斯模型的数据与不同的偏态。利用混合Gibbs-Metropolis算法得到了几何偏态正态分布参数的后验估计，并得到了数据的后验预测拟合。类似地，对于Azzalini的偏态正态分布，使用吉布斯抽样算法导出后验预测拟合。为了比较性能，利用后验预测分布和原始数据之间的Kolmogorov-Smirnov距离来测量两种模型的拟合优度。分类的真实和模拟数据集，具有广泛的偏度，使用这两种模型进行了分析，并讨论了这两种模型的优点和缺点。最后，提出了一种更快的变分贝叶斯方法来逼近几何斜正态模型的后验分布，并讨论了它的性能。
2023-01-04 stat.ME
Limiting behavior of the Jeffreys Power-Expected-Posterior Bayes Factor in Gaussian Linear Models
期望-后验先验（EPP）已被证明是非常有用的检验假设的正态线性模型的回归系数。使用EPP的优点之一是基线先验的不适当不会导致不确定性。然而，在回归问题中，他们基于一个或多个\textit{training samples}，这可能会影响得到的后验分布。功率期望后验先验是最小信息先验，通过结合功率先验和单位信息先验方法的思想，减少了训练样本对EPP方法的影响。在本文中，我们显示的一致性时，使用功率期望后验先验，独立Jeffreys（或参考）作为基线，正常的线性模型在设计矩阵上非常温和的条件下。
2014-11-30 stat.CO
Empirical priors and coverage of posterior credible sets in a sparse normal mean model
贝叶斯方法为不确定性量化提供了一种自然的手段，即可信集可以很容易地从后验分布中获得。但是，在后验可信集达到名义频率覆盖概率的意义上，这种不确定性量化是有效的吗？研究了稀疏正态均值模型中基于一类经验先验的后验不确定性量化的频率论有效性。特别是，我们证明了我们的边际后验可信区间实现标称频率覆盖概率的条件下略弱于所需的选择一致性和伯恩斯坦-冯米塞斯定理的完整后验，和数值研究表明，我们的经验贝叶斯方法具有优越的频率覆盖概率属性相比，其他完全贝叶斯方法。
2019-08-08 math.ST stat.TH
Fast rates in Bayesian online learning with approximate posteriors
Inha University（仁荷大学）
该研究探讨贝叶斯在线学习中近似后验的快速速率，证明满足精度要求的近似后验方法可继承精确贝叶斯预测的快速遗憾界，并通过三个实例验证了相关方法的有效性。
2026-08-27 cs.LG stat.ML
Maximum likelihood multiple imputation: Faster imputations and consistent standard errors without posterior draws
多重插补（MI）是一种对缺失数据进行修复和分析的方法。MI用从插补模型中抽取的随机值样本替换缺失值。最流行的MI形式，我们称之为后验抽取多重插补（Pestrian），从贝叶斯后验分布中抽取插补模型的参数。我们称之为最大似然多重插补（MLMI）的替代方法使用极大似然（或等效方法）估计插补模型的参数。与PINK相比，MLMI的计算强度更低，速度更快，并且产生的点估计效率略高。过去使用MLMI的障碍是难以估计MLMI点估计值的标准误。我们推导、实现和评估了三个一致的标准误公式：（1）一个公式结合了插补数据集内和插补数据集之间的方差，（2）一个公式使用得分函数，（3）一个公式使用自举法来估计由于采样和插补而产生的方差分量。对于MLMI，公式（1）修改了长期以来在PIMI下使用的公式，而公式（2）和（3）可以在PIMI或MLMI下使用而无需修改。我们已经在R的mlmi和bootImpute包中实现了MLMI和标准误估计器。
2019-11-14 stat.ME
Quantification of empirical determinacy: the impact of likelihood weighting on posterior location and spread in Bayesian meta-analysis estimated with JAGS and INLA
贝叶斯正态-正态分层模型（Bayesian normal-normal hierarchical model，NNHM）是一种流行的贝叶斯元分析方法，它综合了多项研究的知识，具有较高的实用价值。此外，NNHM是最简单的贝叶斯分层模型（BHM），它说明了更复杂的BHM中的典型问题。到目前为止，它一直不清楚在何种程度上的数据决定的边缘后验分布的参数在NNHM。为了解决这个问题，我们计算了Bhattacharyya系数相对于加权似然的二阶导数，定义了总经验确定性（TED），位置的经验确定性与TED的比例（pEDL），以及传播的经验确定性与TED的比例（pEDS）。我们在R软件包\texttt{ed4bhm}中实现了这种方法，并考虑了两个案例研究和一个模拟研究。我们量化TED，pEDL和pEDS在不同的建模条件下，如模型参数化，主要结果，和先验。这阐明了参数的边缘后验分布的位置和分布在多大程度上由数据决定。虽然这些调查集中在贝叶斯NNHM，所提出的方法更普遍地适用于复杂的BHM。
2021-09-24 stat.CO stat.ME
Power-Expected-Posterior Priors as Mixtures of g-Priors
构造客观贝叶斯方法的先验分布的主要方法之一是随机虚观测值的概念。在这种设置下，期望后验先验（EPP）提供了几个优点，其中它具有很好的和简单的解释，并提供了一种有效的方法来建立模型之间的先验的兼容性。本文研究了正态线性模型下客观贝叶斯模型选择中幂期望后验先验的推广。我们证明，它可以表示为混合物的$g$先验，像一个广泛的先验分布下的正态线性模型，从而后验分布和贝叶斯因子推导出封闭的形式，因此保持计算易处理。比较与其他混合物的$g$先验和重点是在后验分布的g和它的效果贝叶斯模型选择和模型平均。
2020-10-08 stat.ME
Iterative Posterior Inference for Bayesian Kriging
提出了一种估计标准地质统计模型的后验分布的方法。在选择模型公式并指定先验之后，我们使用正态混合密度来近似后验分布。迭代地改进近似。讨论了正常混合密度估计中的一些困难，包括确定带宽和局部化的调谐参数。该方法适用于其他模型公式，只要所有的参数，或其变换，被定义在整个实数线，$(-\infty, \infty)$。避免了后验推理中的特殊处理，如对无界参数施加边界或离散连续参数。通过两个实例说明了该方法，一个使用数字高程数据，另一个使用历史土壤湿度数据。这些例子特别考察了迭代中近似后验分布的收敛性。
2014-09-09 stat.ME
Log-Regularly Varying Scale Mixture of Normals for Robust Regression
由于潜在的离群值，对误差分布采用经典正态假设的线性回归可能导致回归系数的不良后验推断。本文将具有薄尾和重尾的两个分量的有限混合作为误差分布，这在应用统计学中是经常使用的。对于重尾分量，我们引入了一类新的分布;它们的密度是对数规则变化的，并且比柯西分布具有更重的尾部，但它们表示为正态分布的尺度混合，并且能够通过Gibbs采样器进行有效的后验推断。我们证明了鲁棒性的离群值的后验分布在所提出的模型与最小的一组假设，这证明了使用收缩先验与无界密度的系数向量存在离群值。通过仿真研究与现有方法进行了广泛的比较，结果表明，该模型在点估计和区间估计方面的性能以及计算效率都有所提高。此外，我们证实了我们的方法的后验稳健性的实证研究与收缩先验的回归系数。
2021-01-09 stat.ME
Exact Posterior Mean and Covariance for Generalized Linear Mixed Models
针对非正态响应GLMM随机效应后验含难处理积分的问题，提出SIC方法，通过优化而非Monte Carlo或后验分布计算精确后验均值与协方差。
2024-09-14 stat.ME
Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程（GP）是贝叶斯非参数模型，在无数的应用中非常有用。尽管它们很受欢迎，但GP预测的成本（相对于训练点数量的二次存储和三次复杂度）仍然是将GP应用于大数据的障碍。我们提出了一种快速后验均值预测算法FastMuyGPs来解决这个缺点。FastMuyGPs基于MuyGPs超参数估计算法，并利用留一交叉验证、预处理、最近邻稀疏化和预计算的组合来提供可扩展的快速GP预测。我们展示了几个基准，其中FastMuyGPs预测达到了卓越的准确性和竞争力或优越的运行时间，深度神经网络和最先进的可扩展GP算法。
2022-05-22 cs.LG cs.NA math.NA
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；Google Deepmind（谷歌DeepMind）
本文提出基于鞅后验的预测优先神经网络算法，通过卡尔曼滤波式递推在线更新后验预测，实现快速贝叶斯序贯决策，在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
Posterior propriety and admissibility of hyperpriors in normal hierarchical models
分层建模是美妙的，并在这里停留，但超参数先验往往是在一个休闲的方式选择。不幸的是，随着超参数数量的增加，随意选择的影响会成倍增加，导致性能大幅下降。作为一个极端但并不罕见的例子，使用错误的超参数先验甚至会导致不恰当的后验。对于可交换的层次多元正态模型，我们首先确定当一个标准类的层次先验结果在适当或不适当的后验。接下来，我们确定这类元素导致二次损失下的平均值的可接受估计，这样的考虑提供了一个有用的指导方针，分层先验之间的选择。最后，计算问题与所得的后验分布得到解决。
2005-05-27 math.ST stat.TH
Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods
Flatiron Institute（熨斗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Stanford University（斯坦福大学）；Courant Institute, New York University（纽约大学柯朗研究所）
规范化流可以生成复杂的目标分布，因此在贝叶斯统计的许多应用中显示出希望，作为MCMC的替代或补充。由于事先没有来自目标后验分布的数据集可用，因此通常使用仅需要来自基础分布的样本的反向Kullback-Leibler（KL）发散来训练流程。当后验复杂且难以用未经训练的归一化流进行采样时，该策略可能表现不佳。在这里，我们探索了一种独特的训练策略，使用直接库尔贝克-莱布勒散度作为损失，其中来自后验的样本通过以下方式生成：（i）在后验上使用归一化流来辅助局部MCMC算法以加速其混合速率，以及（ii）使用以这种方式生成的数据来训练流。该方法只需要有限数量的\textit{a~priori}输入后验，并可用于估计模型验证所需的证据，我们举例说明。
2021-07-16 cs.LG physics.data-an stat.ML
Structured variational approximations with skew normal decomposable graphical models
虽然有很多最近的工作发展灵活的变分方法贝叶斯计算，高斯近似结构协方差阵往往是首选的计算在高维设置。本文考虑复杂潜变量模型的近似推理方法，其中后验接近高斯，但后验边缘存在一定的偏斜。我们考虑斜可分解的图形模型（SDGM），这是基于封闭的斜正态分布族，作为变分逼近。这些近似能反映真实的后验条件独立性结构并捕捉后验偏度。不同的参数化探索这个变分家庭，收敛速度和质量的近似可以取决于所使用的参数化。为了增加灵活性，还开发了隐式copula SDGM近似，其中考虑了近似标准化SDGM随机向量的逐元素变换。我们的隐式Copula近似的参数化是新颖的，即使在高斯近似的特殊情况下。在一些涉及广义线性混合模型和状态空间模型的实际例子中检查的方法的性能，我们的结论是，我们的Copula方法是最准确的，但SDGM方法往往几乎一样好，具有较低的计算需求。
2023-02-07 stat.CO
Conditions for Posterior Contraction in the Sparse Normal Means Problem
稀疏正态均值问题的第一个贝叶斯结果被证明为尖峰和厚板先验。然而，从计算的角度来看，这些先验不太方便。同时，大量的连续收缩先验被提出。许多收缩先验可以写成法线的比例混合，这使得它们特别容易实现。我们提出了一般的条件上的先验的局部方差的规模混合的法线，这样，后收缩在极大极小率是有保证的。这些条件要求尾翼至少和拉普拉斯一样重，但不能太重，并且相对于尾翼有大量的质量在零附近，随着稀疏度的增加，质量越大。这些条件给出了在近似黑色稀疏假设下选择收缩先验估计的一些一般准则。我们验证了Ghosh和Chakrabarti（2015）所考虑的先验类的这些条件，其中包括马蹄和正态指数伽玛先验，以及马蹄+，逆高斯先验，正态伽玛先验和尖峰和平板Lasso，从而扩展了收缩先验的数量，已知这些先验会导致极小极大估计率的后验收缩。
2015-10-13 math.ST stat.TH
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
本文提出用条件流匹配替代MCMC进行贝叶斯逆问题后验采样，实现摊销快速推断，并给出可计算的精度估计及渐近精确的混合采样器，在数值示例中验证了效果。
2026-10-30 cs.LG cs.NA math.NA
Asymptotics for power posterior mean estimation
本文研究幂后验的渐近矩性质，证明其矩收敛于 Bernstein-von Mises 极限正态分布，并据此说明幂后验均值与最大似然估计量渐近等价。
2024-01-18 math.ST stat.TH
Concentration of posterior probabilities and normalized L0 criteria
我们研究贝叶斯和$L_0$模型选择的频率属性，重点是（潜在的非线性）高维回归。我们提出了一个建设，研究如何后验概率和规范化的$L_0$标准集中在（Kullback-Leibler）最优模型和其他子集的模型空间。当这种集中发生时，也限制了选择正确模型的频率论概率，即I型和II型错误。这些结果总体上成立，并有助于验证使用后验概率和$L_0$标准来控制与模型选择和假设检验相关的频率论错误概率。关于回归，我们帮助理解先验或$L_0$惩罚所施加的稀疏性的影响，以及问题特征，如样本量，信噪比，维数和真实稀疏性。一个特别的发现是，人们可以使用更少的稀疏配方比渐近最优，但仍然达到一致性，往往也显着更好的有限样本性能。我们还证明了新的结果有关的错误指定的平均值或协方差结构，并给出更严格的某些非局部先验比目前可用的利率。
2021-03-02 math.ST stat.TH
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型（GAM）是一种成熟的统计工具，用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中，P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间，通过考虑一个确定性的基于网格的策略或马尔可夫链采样器，根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量，这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算，即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验，建议的方法具有良好的统计特性。通过不同的模拟场景，拉普拉斯P样条模型的性能得到证实，并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Bridged Posterior: Optimization, Profile Likelihood and a New Approach to Generalized Bayes
本文提出桥接后验这一广义贝叶斯框架，将优化子问题嵌入似然以保留计算效率与约束结构，并证明其参数后验渐近等价于积分后验，从而消除部分优化会低估不确定性的传统顾虑。
2025-07-22 stat.ME
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh（爱丁堡大学）
许多统计模型可以向前模拟，但具有难以处理的可能性。近似贝叶斯计算（ABC）的方法来推断这些模型的属性从数据。传统上，这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数，这仅在极限$ε\!\rightarrow\!0$中是正确的。然后，蒙特卡罗方法可以从近似后验中抽取样本，以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢，并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下，学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
DPGLM: A Semiparametric Bayesian GLM with Inhomogeneous Normalized Random Measures
提出一种变权重相依狄利克雷过程模型，扩展半参数广义线性模型，通过非参数先验和指数倾斜实现非齐次随机测度，并验证其有效性与应用。
2025-03-28 stat.ME
Fast Learning of Clusters and Topics via Sparse Posteriors
Brown University（布朗大学）
混合模型和主题模型从单个聚类中生成每个观察结果，但每个观察结果的标准变分后验为所有可能的聚类分配正概率。这需要密集的存储和运行时成本，这些成本随着集群的总数而扩展，即使通常只有少数集群对任何数据点具有显著的后验质量。我们提出了一个稀疏变分分布的约束族，最多允许$L$非零条目，其中可调阈值$L$在速度和准确性之间进行权衡。以前的稀疏近似使用硬分配（$L=1$），但我们发现，中等值的$L>1$提供优越的性能。我们的方法很容易与随机或增量优化算法集成，以扩展到数百万个示例。实验训练混合模型的图像补丁和主题模型的新闻文章表明，我们的方法产生更好的质量模型在更少的时间比基线方法。
2016-09-23 cs.AI cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集通过构建数据点的小加权子集来近似后验分布。任何在计算上过于昂贵而不能在完整后验上运行的推理过程都可以在核心集上廉价地运行，其结果近似于完整数据上的结果。然而，目前的方法是有限的，无论是一个显着的运行时间或需要用户指定一个低成本的近似完整的后验。我们提出了一个贝叶斯核心集的构造算法，首先选择一个均匀随机的数据子集，然后使用一种新的拟牛顿法优化的权重。我们的算法是一个简单的实现，黑盒方法，不需要用户指定一个低成本的后验近似。这是第一个来与一般的高概率界的库尔贝克-莱布勒散度的输出coreset后。实验表明，我们的方法提供了显着的改善coreset质量与可比的建设时间的替代品，存储成本和用户输入所需的少得多。
2023-01-15 cs.LG stat.CO stat.ML
Hierarchical inference of evidence using posterior samples
针对贝叶斯证据难以计算的问题，本文提出利用任意抽样所得后验样本和多元归一化后验密度近似，以分层方式推断模型证据。
2024-05-13 stat.ME
Gaussbock: Fast parallel-iterative cosmological parameter estimation with Bayesian nonparametrics
我们提出并应用Gaussbock，一个新的并行迭代算法宇宙学参数估计设计的廉价的并行计算资源的时代。Gaussbock使用贝叶斯非参数和截断重要性抽样准确地从后验分布中提取样本，与其他方法相比，壁时间的数量级加速。在这方面的当代问题往往遭受由于高维参数空间和随之而来的过多的时间要求，以及需要微调的建议分布或采样参数的计算成本增加。Gaussbock是专门针对这些问题而设计的。我们探索和验证的性能和收敛性的算法上的快速近似的暗能量调查1年（DES Y1）后，发现合理的缩放行为与参数的数量。然后，我们使用大规模超级计算设施对完整的DES Y1后验进行测试，并恢复与以前的链的合理一致性，尽管该算法可能低估了约束不良参数的尾部。此外，我们讨论和演示高斯博克如何恢复复杂的后验形状很好地在较低的维度，但面临的挑战，在更高的维度上这样的分布表现良好。此外，我们提供了一个用户友好的软件工具，加速宇宙学参数估计的基础上本文所述的方法。
2020-05-16 astro-ph.CO astro-ph.IM stat.CO
A Class of Conjugate Priors for Multinomial Probit Models which Includes the Multivariate Normal One
多项概率单位模型是学习分类响应数据的类概率如何随p个观察到的预测变量而变化的灵活实现的表示。虽然已经开发了几种频率论方法用于这类模型的估计、推断和分类，但贝叶斯推断仍然落后。这是由于明显缺乏一个听话的共轭先验类，这可能有助于后验推断多项式概率系数。这样的问题促使越来越多的努力发展有效的马尔可夫链蒙特卡罗方法，但国家的最先进的解决方案仍然面临严重的计算瓶颈，特别是在高维。在这篇文章中，我们证明了整个类的统一偏态（SUN）分布是共轭的几个多项式概率模型。利用这一结果和SUN属性，我们改进了后验推理和分类的最先进的解决方案，包括几个感兴趣的泛函的封闭形式结果，以及开发新的计算方法，依赖于独立和相同分布的样本从精确的后验或可扩展的和准确的变分近似的基础上块部分因式分解表示。如模拟和胃肠道病变应用中所示，在实践中，当重点放在高维研究时，相对于当前方法的改进幅度特别明显。
2022-01-25 stat.CO stat.ME stat.ML
Bayesian evidence estimation from posterior samples with normalizing flows
SISSA（国际高等研究学院）；INFN Sezione di Trieste（的里雅斯特国家核物理研究所）；IFPU - Institute for Fundamental Physics of the Universe（宇宙基础物理研究所）；TAPIR, Division of Physics, Mathematics, and Astronomy, California Institute of Technology（加州理工学院）；Dipartimento di Fisica, Università di Pisa（比萨大学）；Department of Physics, Imperial College London（帝国理工学院）；Italian Research Center on High Performance Computing, Big Data and Quantum Computing（意大利高性能计算、大数据与量子计算研究中心）
提出基于归一化流的$floZ$方法，从已有未归一化后验样本估计贝叶斯证据及不确定性，在高维尖锐后验上更鲁棒，并成功用于GW150914铃宕泛音分析。
2024-12-05 astro-ph.CO cs.LG gr-qc
Posterior exploration for computationally intensive forward models
本文研究计算密集型正演模型下贝叶斯反问题的后验探索，比较多元提议分布与单点 Metropolis 更新，并提出利用快速近似模型提升 MCMC 采样效率。
2024-05-01 stat.CO
A note on marginal posterior simulation via higher-order tail area approximations
我们探讨使用高阶尾面积近似贝叶斯模拟。这些近似产生了一个替代的模拟计划MCMC的贝叶斯计算的边际后验分布的标量参数的利益，在滋扰参数的存在。与MCMC方法相比，它的优点是样本是独立抽取的，计算时间较短，并且只需要标准的极大似然例程即可实现。该方法是由遗传连锁模型，正态回归与删失数据和逻辑斯谛回归模型说明。
2012-12-05 stat.CO
Normalized Latent Measure Factor Models
我们提出了一种方法来建模和比较概率分布内的贝叶斯非参数框架。建立在相关的归一化随机措施，我们认为一个先验分布的离散随机措施，其中每个措施是一组潜在的措施，解释为特征性状共享不同的分布，正随机权重的线性组合。该模型是不可识别的，并开发了一种用于后处理后验样本以实现识别推理的方法。这使用黎曼优化来解决李群矩阵上的非平凡优化问题。我们的方法的有效性进行了验证模拟数据和两个应用程序的两个现实世界的数据集：学校学生的考试成绩和个人收入在加利福尼亚州。我们的方法导致有趣的见解人口和易于解释的后验推理
2022-05-31 stat.ME
A Normal Approximation Method for Statistics in Knockouts
给出了竞技场模型中贝叶斯推断的一种近似方法，重点讨论了消元和分歧的配对比较。该方法利用正态随机变量的一个重要性质，通过减少参数和在后验分布的计算中引入正态分布函数，简化了推断过程。然后使用最大后验概率（MAP）和贝叶斯预测来从过去的成对比较数据中挖掘信息，例如个人的实力或波动性以及他可能的未来结果。我们进行了模拟，以显示近似方法的准确性和稳定性，并证明了算法的非线性参数推断以及预测问题中出现的FIFA世界杯。
2019-11-19 stat.AP stat.ME
Improving Variational Auto-Encoders using Householder Flow
University of Amsterdam（阿姆斯特丹大学）
变分自动编码器（VAE）是可扩展的和强大的生成模型。然而，变分后验的选择决定了VAE的易处理性和灵活性。通常，潜变量使用具有对角协方差矩阵的正态分布建模。这导致计算效率，但通常它不够灵活，无法匹配真实的后验分布。丰富变分后验分布的一种方式是应用归一化流，即，一系列可逆的变换到一个简单的后验的潜在变量。在本文中，我们遵循这一思路，并提出了一个体积保持流，使用一系列的Householder变换。我们在MNIST数据集和组织病理学数据上的经验表明，与其他归一化流相比，所提出的流可以获得更灵活的变分后验和竞争结果。
2017-01-27 cs.LG stat.ML
A theoretical framework for M-posteriors: frequentist guarantees and robustness properties
本研究提出M-后验的理论框架，证明其在温和条件下的渐近正态性与频率论一致性，通过新定义的后验影响函数和崩溃点刻画其鲁棒性，并在多类模型与数值实验中验证了理论的适用性与实证价值。
2025-10-01 math.ST stat.ML stat.TH
Normal approximation for the posterior in exponential families
本文利用精细的 Stein 算子比较方法，为非共轭指数族模型的一维和多维后验建立定量、非渐近、数据依赖的 Bernstein-von Mises 型正态逼近界，并刻画先验、充分统计量、标准化及维度的影响。
2025-01-11 math.PR math.ST stat.TH
Fast sampling and model selection for Bayesian mixture models
Center for the Study of Complex Systems, University of Michigan（密歇根大学复杂系统研究中心）
我们研究贝叶斯估计的混合模型，并认为有利于拟合的边缘后验分布组件分配直接，而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢，但我们证明，如果正确实现，它可以实现出色的性能。特别是，我们描述了一种新的蒙特卡罗算法，从边缘后采样的一般可积混合，利用拒绝免费抽样从以前的组件分配，以实现优良的混合时间在典型的应用程序中，优于标准的吉布斯抽样，在某些情况下，由一个很宽的利润率。我们展示了高斯，泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
Bayesian Analysis of AR(1) Model
一阶自回归过程AR（1）在时间序列分析中得到了广泛的应用。为了估计自回归参数，采用了不同的估计方法。这篇文章的重点是主观贝叶斯估计，而不是客观贝叶斯估计和频率程序。截断的正态分布被认为是先验的，以施加平稳性。导出了后验分布和Bayes估计。新推导的估计和其他现有的估计方法（频率论）之间的比较研究采用的模拟和实际数据。此外，后敏感性分析进行基于四种不同的先验：g先验，自然共轭先验，Jeffreys'先验和截断的正常先验和性能进行比较的最高后验密度区域的标准。
2016-11-26 stat.ME
On the propriety of the posterior of hierarchical linear mixed models with flexible random effects distributions
在随机效应正态性假设下，研究了贝叶斯分层线性混合模型中不适当先验的使用。我们研究了更灵活的分布假设和一般不适当的先验结构下的后验的适当性。
2014-09-23 math.ST stat.TH
Generalised Bayesian Inference for Discrete Intractable Likelihood
针对离散不可处理似然，提出基于离散Fisher散度的一般化贝叶斯推断方法，绕过归一化常数，实现低计算成本的后验采样与校准。
2023-09-01 math.ST stat.CO stat.ME
Dirichlet Posterior Sampling with Truncated Multinomial Likelihoods
我们考虑的问题，从后验分布下形成的Dirichlet先验和截断多项式似然，我们的意思是一个多项式似然函数，我们的条件下，一个或多个计数为零的先验。对该后验分布进行采样在基于狄利克雷分布或狄利克雷过程的分层贝叶斯模型的推理算法中是有意义的，特别是分层狄利克雷过程隐半马尔可夫模型的吉布斯抽样算法。我们提供了一个数据增强采样算法，易于实现，快速混合和执行，并易于扩展到许多维度。我们证明了该算法的优势，一个通用的大都市黑斯廷斯抽样算法在几个数值实验。
2012-09-03 stat.ME
Fast and Reliable Probabilistic Reflectometry Inversion with Prior-Amortized Neural Posterior Estimation
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对反射测量反演计算成本高且仅得单一解的不可靠问题，提出概率深度学习方法PANPE，结合基于模拟的推断与自适应先验，在几秒内识别所有现实结构，支持高通量表征等场景，为反问题提供快速可靠的推断。
2024-07-26 cond-mat.soft cs.LG physics.app-ph
A Geometric View of Posterior Approximation
虽然贝叶斯方法是鲁棒的和有原则的，但是它们在实践中的应用可能是有限的，因为它们通常依赖于计算密集的马尔可夫链蒙特卡罗算法来实现它们。一种可能的解决方案是找到后验分布的快速近似，并将其用于统计推断。对于常用的近似方法，如拉普拉斯和变分自由能，目标主要是定义在计算方便，而不是一个真正的距离测量之间的目标和近似分布。在本文中，我们提供了一个几何视图的后验近似基于一个有效的距离测量来自周围的Fisher几何。我们提出的框架是很容易推广的，可以启发一类新的方法近似贝叶斯推断。
2015-10-03 stat.CO
