Reweighted Expectation Maximization
Columbia University(哥伦比亚大学)
用极大似然训练深度生成模型仍然是一个挑战。典型的解决方法是使用变分推断(VI)并最大化数据的对数边际似然的下限。变分自动编码器(VAE)采用这种方法。他们进一步摊销成本的推理使用识别网络参数化的变分家庭。摊销的VI尺度近似于深度生成模型到大型数据集的后验推理。然而,它引入了一个摊销差距,并导致近似后验的表达能力降低,由于被称为后崩溃的问题。在本文中,我们将期望最大化(EM)视为拟合深度生成模型的范例。与VI不同,EM直接最大化数据的对数边际似然。我们重新发现重要性加权自动编码器(IWAE)作为EM的一个实例,并提出了一种新的基于EM的算法,用于拟合深度生成模型,称为重新加权期望最大化(REM)。REM学习更好的生成模型比IWAE通过解耦的生成模型和识别网络的学习动态使用一个单独的表达的建议发现矩匹配。我们比较了REM的VAE和IWAE的几个密度估计基准,发现它会导致显着更好的性能,如测量的对数似然。
2019-08-10 cs.LG stat.ME stat.ML
Posterior Sampling for Competitive RL: Function Approximation and Partial Observation
Hong Kong University of Science and Technology(香港科技大学);New York University(纽约大学);Peking University(北京大学);Northwestern University(西北大学);Yale University(耶鲁大学)
本文针对零和马尔可夫博弈提出基于自博弈与对抗广义eluder系数的模型化后验采样算法,首次在完全及部分可观测场景下实现竞争性强化学习的通用低遗憾学习。
2023-10-30 cs.GT cs.LG stat.ML
Closing the Approximation Gap in Simulation-free Latent SDEs
Stanford University(斯坦福大学)
针对现有无模拟变分推断算法因参数化限制导致后验推断和参数学习性能下降的问题,提出Helmholtz-SDE算法,通过优化与指定边际分布兼容的路径律来弥合近似差距,在保持高效的同时恢复更准确的动力学。
2026-11-10 cs.LG stat.ML
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型,在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式,表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现,这使得收敛到后验非常快。
2014-01-30 stat.ML
Efficient Prior Sensitivity and Tipping-point Analysis for Medical Research: Revisiting Sampling Importance Resampling
Tokyo University of Science(东京科学大学);Keio University(庆应义塾大学)
研究医学研究中先验分布敏感性分析计算成本高的问题,采用重要性重采样(SIR)方法,通过两个案例研究表明,SIR能显著减少计算时间,且产生与MCMC重新拟合相似的后验摘要。
2026-07-21 stat.CO stat.ME
Bayesian Variational Autoencoders for Unsupervised Out-of-Distribution Detection
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);Microsoft Research(微软研究院)
尽管它们取得了成功,但当面对来自与训练数据不同的分布的测试数据时,深度神经网络可能会做出不可靠的预测,这构成了AI安全的主要问题。虽然这最近激发了检测这种分布外(OoD)输入的方法的开发,但仍然缺乏鲁棒的解决方案。我们提出了一个新的概率,无监督的方法来解决这个问题的基础上贝叶斯变分自编码器模型,估计一个完整的后验分布的解码器参数使用随机梯度马尔可夫链蒙特卡罗,而不是拟合点估计。我们描述了如何基于此后验的信息理论的措施,然后可以用来检测OoD输入在输入空间和模型的潜在空间。我们实证证明了我们提出的方法的有效性。
2020-07-15 cs.LG stat.ML
Adaptive tempered reversible jump algorithm for Bayesian curve fitting
本文提出自适应回火可逆跳跃MCMC算法,通过自动调整建议分布并结合辅助回火策略,显著提升贝叶斯曲线拟合在高维复杂后验下的采样效率与收敛性能。
2024-02-27 stat.AP stat.CO
Dual-space posterior sampling for Bayesian inference in constrained inverse problems
Department of Computer Science(计算机科学系);University of Central Florida(中央佛罗里达大学);Institute of Geophysics Polish Academy of Sciences(波兰科学院地球物理研究所)
本文提出在双空间中使用增强拉格朗日方法进行后验采样,以解决受约束反问题的贝叶斯推断问题,通过结合ADMM和SVGD实现约束条件的精确满足和高效采样。
2026-08-07 cs.LG physics.geo-ph stat.ML
Bayesian Optimization Sequential Surrogate (BOSS) Algorithm: Fast Bayesian Inference for a Broad Class of Bayesian Hierarchical Models
本文提出BOSS算法,结合贝叶斯优化与近似贝叶斯推断,大幅减少拟合条件潜在高斯模型的计算开销,并通过模拟及多领域实际应用验证其高效性与准确性。
2024-03-18 stat.AP stat.CO stat.ME
BNSP: an R Package for Fitting Bayesian Semiparametric Regression Models and Variable Selection
R包BNSP为半参数位置-尺度回归和随机搜索变量选择提供了一个统一的框架。该软件包所基于的统计方法学利用基函数展开来表示均值和方差函数中的半参数协变量效应,并利用尖峰-平板先验来执行估计效应的选择和正则化。除了执行后验采样的主函数外,该软件包还包括用于评估采样器收敛性、汇总模型拟合、可视化协变量效应以及获得给定特征/协变量向量的新响应或其均值的预测的函数。
2018-10-08 stat.OT
Large Data and (Not Even Very) Complex Ecological Models: When Worlds Collide
我们认为,当复杂的生态模型拟合“大”的数据集时出现的挑战。特别是,我们专注于随机效应模型,通常用于描述个体异质性,经常出现在生态种群的研究。在一般情况下,这些模型导致的可能性,是表达为一个分析棘手的积分。用于将这种模型拟合到数据的常见技术包括例如使用积分的数值近似或贝叶斯数据增强方法。然而,随着数据集的大小增加(即个体的数量增加),这些计算工具可能在计算上变得不可行。我们提出了一种有效的贝叶斯模型拟合方法,即我们最初从数据的较小子样本的后验分布中采样,然后使用重要性抽样方法校正该样本以获得完整数据集的后验分布的估计。我们考虑了几个实际问题,包括二次抽样机制,计算效率(包括并行算法的能力),并结合使用多个二次抽样数据集的二次抽样估计。我们展示了与个体异质性捕获-再捕获模型相关的方法。我们首先通过模拟数据证明了该方法的可行性,然后再考虑一个具有挑战性的约30,000只海鸠的真实数据集,并在大幅减少的计算时间内获得后验估计。
2022-05-15 stat.ME
Bayesian Fitting of Dirichlet Type I and II Distributions
艾奇逊在他1986年的书中解释说,成分数据在统计分析中经常被错误处理,这种模式一直持续到今天。狄利克雷I型分布是一种多变量分布,通常用于对一组总和为1的比例进行建模。艾金森继续哀叹狄利克雷模型的困难和替代品的稀缺。当他谈到第二个问题时,我们谈到第一个问题。狄利克雷II型分布是狄利克雷I型分布的变换,并且是正实数上的多变量分布,其中仅比维数多一个参数。狄利克雷分布的这一性质意味着随着维数的增加,它比普通分布更有优势。虽然并非所有数据都适合狄利克雷模型,但在许多情况下,狄利克雷族是显而易见的选择。我们描述了狄利克雷分布,并展示了如何使用频率论和贝叶斯方法拟合它们(我们推导并应用两个客观先验)。β分布作为一种特殊情况进行了讨论。我们报告了一个小的模拟研究,比较拟合方法。我们推导出条件分布和后验预测条件分布。这个分布族的灵活性通过例子说明,最后讨论插补(使用后验预测条件分布)。
2018-04-05 math.ST stat.TH
Compositional uncertainty in deep Gaussian processes
University of Tübingen(图宾根大学);University of Bath(巴斯大学);Electronic Arts(艺电公司);Siemens AG(西门子股份公司);TU Munich(慕尼黑工业大学);University of Bristol(布里斯托尔大学);Royal Society(皇家学会)
高斯过程(GP)是函数的非参数先验。拟合GP意味着计算与观测数据一致的函数的后验分布。类似地,深度高斯过程(DGP)应该允许我们计算引起观察的多个函数的组合的后验分布。然而,精确的贝叶斯推断对于DGP是难以处理的,从而激发了各种近似的使用。我们表明,应用简化的平均场假设的层次结构导致层的DGP崩溃到近确定性的变换。我们认为,这样的推理方案是次优的,没有利用模型的潜力来发现数据中的组成结构。为了解决这个问题,我们研究替代变分推断计划允许跨不同层的依赖关系,并讨论其优点和局限性。
2020-02-25 cs.LG stat.ML
Analyzing Relevance Vector Machines using a single penalty approach
Iowa State University(爱荷华州立大学)
相关向量机(RVM)是一种流行的稀疏贝叶斯学习模型,通常用于预测。最近的研究表明,在RVM中对多个惩罚参数假设不正确的先验可能会导致不正确的后验概率。目前在文献中,RVM的后验适当性的充分条件不允许在多个惩罚参数的不适当的先验。在这篇文章中,我们提出了一个单一的惩罚相关向量机(SPRVM)模型,其中多个惩罚参数被替换为一个单一的惩罚,我们认为一个半贝叶斯方法来拟合SPRVM。SPRVM的后验适当性的充分必要条件比RVM的更自由,并允许几个不适当的先验的惩罚参数。此外,我们还证明了用于分析SPRVM模型的Gibbs采样器的几何遍历性,从而可以估计与后验预测分布的平均值的蒙特卡罗估计相关的渐近标准误。这样的蒙特卡罗标准误不能在RVM的情况下计算,因为用于分析RVM的吉布斯采样器的收敛速率是未知的。通过对三个真实数据集的分析,比较了RVM和SPRVM的预测性能。
2021-07-05 cs.LG stat.ME stat.ML
Data-driven informative priors for Bayesian inference with quasi-periodic data
Universidad Carlos III de Madrid, Department of Signal Theory and Communications(西班牙马德里卡洛斯三世大学信号理论与通信系)
本文提出了一种数据驱动的方法,通过拟合高斯过程的周期核来构建先验分布,以提高具有准周期数据的贝叶斯推断效率。
2025-11-27 astro-ph.IM astro-ph.SR cs.LG
Streamlined Empirical Bayes Fitting of Linear Mixed Models in Mobile Health
Harvard University(哈佛大学);Stanford University(斯坦福大学)
为了实现行为改变,成功的算法必须实时做出高质量的决策。例如,旨在增加身体活动的移动健康(mHealth)应用程序必须提供与上下文相关的建议以激励用户。虽然机器学习为某些程式化的设置提供了解决方案,例如当批量数据可以离线处理时,但缺乏可以在mHealth的特定约束下提供高质量解决方案的方法。我们提出了一种算法,为用户提供上下文和个性化的身体活动建议。该算法能够克服对mHealth至关重要的挑战,即有效地训练复杂的模型。我们提出了一个易于处理的精简经验贝叶斯过程,适合在大数据设置的线性混合效应模型。我们的过程利用分层随机效应引入的稀疏性来有效地学习线性混合效应模型的后验分布。这项工作的一个关键贡献是,我们提供了明确的更新,以学习固定效应,随机效应和超参数值。我们证明了这种方法在移动健康(mHealth)强化学习应用程序中的成功,在这个领域中,快速计算对于实时干预至关重要。我们的方法不仅计算效率高,它也很容易实现与封闭形式的矩阵代数更新,我们表现出的速度和精度分别高达99%和56%的最先进的方法的改进。
2020-03-28 cs.LG stat.ML
Likelihood-free Posterior Density Learning for Uncertainty Quantification in Inference Problems
The Ohio State University(俄亥俄州立大学)
KASPE通过深度学习直接重建观测数据与后验分布映射,提升复杂推断问题中的不确定性量化效率。
2026-11-06 stat.ME
Posterior model probabilities computed from model-specific Gibbs output
可逆跳马尔可夫链蒙特卡罗(RJMCMC)扩展了普通MCMC方法用于贝叶斯多模型推理。我们表明,RJMCMC可以实现为吉布斯采样与交替更新的模型指标和矢量值的"调色板"的参数表示$\bm ψ$。就像艺术家使用调色板混合特定需求的颜色一样,我们从$\bm ψ$中可用的集合中创建模型特定的参数。这种描述不仅消除了RJMCMC的一些神秘性,而且还为使用普通MCMC一次一个地拟合模型和通过后处理蒙特卡罗输出来计算模型权重或贝叶斯因子提供了基础。我们用几个例子来说明我们的程序。
2011-05-26 stat.AP stat.CO stat.ME
Residual Overfit Method of Exploration
Netflix;Cornell University(康奈尔大学);Cornell University & Netflix(康奈尔大学 & Netflix)
探索是bandit和强化学习算法的一个重要方面。探索所需的不确定性量化通常来自基于简单模型的封闭形式表达式或计算密集型的后验和后验近似。相反,我们提出了一个近似的探索方法的基础上拟合只有两个点估计,一个调整和一个过拟合。这种方法,我们称之为剩余过拟合探索方法(ROME),驱动探索行动,其中过拟合模型与调整模型相比表现出最大的过拟合。直觉是,过度拟合在没有足够数据来形成对奖励的准确预测的行为和上下文中发生得最多。我们证明这种直觉正式从频率论和贝叶斯信息理论的角度来看。其结果是一种方法,推广到各种各样的模型,并避免了计算开销的resternation或后验近似。我们比较罗马对一组既定的上下文强盗方法在三个数据集,并发现它是最好的表现之一。
2021-10-06 cs.LG stat.ML
Noncrossing simultaneous Bayesian quantile curve fitting
贝叶斯同时估计非参数分位数曲线是一个具有挑战性的问题,需要一个灵活和强大的数据模型,同时满足单调性或非交叉约束的分位数。本文介绍了金字塔分位数回归方法在样条回归中的应用。在高维问题中,金字塔位置的选择对于稳健的参数估计变得至关重要。在这项工作中,我们推导出最佳的{金字塔的位置,然后允许我们提出一个有效的}自适应块更新MCMC计划的后验计算。仿真研究表明,所提出的方法提供了显着更小的误差和更好的经验覆盖概率相比,现有的替代方法的估计。我们用三个实际应用说明了该方法。
2017-11-26 stat.ME
Effective Bayesian Modeling of Large Spatiotemporal Count Data Using Autoregressive Gamma Processes
针对大型时空计数数据,本文提出平稳时空自回归 Gamma 过程,利用 Poisson 变量分解实现全共轭 Gibbs 抽样和线性复杂度,并验证其估计、拟合与预测能力。
2025-07-26 stat.AP stat.CO stat.ME
Multiclass Classification without Labels via Posterior Simplex Geometry
Università degli Studi di Milano(米兰大学);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所)
研究从多个无标签混合物进行多类学习的问题,利用后验单纯形几何结构,提出无先验程序,通过训练标准分类器区分混合物身份并提取潜在类结构,实验证明能恢复潜在类及其比例,缩小弱监督与全监督性能差距。
2026-07-29 astro-ph.GA cs.AI cs.LG
Fast sampling and model selection for Bayesian mixture models
Center for the Study of Complex Systems, University of Michigan(密歇根大学复杂系统研究中心)
我们研究贝叶斯估计的混合模型,并认为有利于拟合的边缘后验分布组件分配直接,而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢,但我们证明,如果正确实现,它可以实现出色的性能。特别是,我们描述了一种新的蒙特卡罗算法,从边缘后采样的一般可积混合,利用拒绝免费抽样从以前的组件分配,以实现优良的混合时间在典型的应用程序中,优于标准的吉布斯抽样,在某些情况下,由一个很宽的利润率。我们展示了高斯,泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
Inverse Uncertainty Quantification by Hierarchical Bayesian Modeling and Application in Nuclear System Thermal-Hydraulics Codes
本文提出一种新颖的分层贝叶斯模型,有效缓解了核热工水力系统逆向不确定性量化中物理模型参数高变异性和过拟合问题,提供更优的后验分布估计并具备推广至大型数据库的潜力。
2024-03-26 physics.data-an stat.CO
Robust Semiparametric Inference for Bayesian Additive Regression Trees
University of Bonn(波恩大学);Chinese University of Hong Kong(香港中文大学);University of Osaka(大阪大学)
针对随机缺失数据的半参数推断问题,该研究结合BART与贝叶斯自助法提出RoBART方法,建立相关定理并验证其在有限样本下的稳健性能,可用于不确定性量化。
2026-09-22 econ.EM math.ST stat.ME
Posterior Inference for Sparse Hierarchical Non-stationary Models
高斯过程是用于非参数建模的有价值的工具,其中通常采用平稳性假设。虽然去除这一假设可以改善预测,但拟合此类模型具有挑战性。在这项工作中,分层模型的基础上构建的高斯马尔可夫随机场随机空间变化的参数。重要的是,这允许非平稳性,同时还通过精度矩阵的稀疏带状表示来解决计算负担。在这种情况下,有效的马尔可夫链蒙特卡罗(MCMC)采样是具有挑战性的,由于强耦合的参数和超参数的后验。我们开发和比较三个自适应MCMC计划,并利用带状矩阵运算更快的推理。此外,提出了一种新的多维设置的扩展,通过添加剂结构,保留了模型的灵活性和可扩展性,同时还继承了可解释性的添加剂的方法。在非平稳设置的方法的效率和准确性的一个彻底的评估模拟实验和计算机仿真问题。
2019-05-01 stat.CO
An Approach to Efficient Fitting of Univariate and Multivariate Stochastic Volatility Models
随机波动率模型是一个流行的工具,用于建模资产的波动性。该模型是一个非线性和非高斯状态空间模型,因此很难拟合。许多方法,无论是经典的和贝叶斯,已经开发出依赖于数值密集型技术,如准极大似然估计和马尔可夫链蒙特卡罗(MCMC)。当从后验分布中顺序抽取样本时,收敛和混合问题仍然困扰着MCMC算法。虽然粒子吉布斯方法在一般情况下应用于非线性或非高斯状态空间模型时已经取得了成功,但当专门应用于随机波动率模型时,缓慢的收敛仍然困扰着该技术。我们提出了一种方法,耦合粒子吉布斯与祖先采样和联合参数采样,改善了慢收敛和混合问题时,拟合单变量和多变量随机波动率模型。我们证明了各种数值例子的增强方法。
2019-07-19 stat.CO stat.ME
Implicit Modeling with Uncertainty Estimation for Intravoxel Incoherent Motion Imaging
ETH Zurich(苏黎世联邦理工学院);University Children's Hospital Zurich(苏黎世大学儿童医院)
体素内非相干运动(IVIM)成像允许使用磁共振成像(MRI)进行无造影剂的体内灌注定量。然而,由于大梯度编码幅度下的低信噪比(SNR)以及受试者运动引起的失相伪影(这在胎儿MRI中尤其具有挑战性),其使用受到通常较低准确度的限制。为了缓解这个问题,我们提出了一个隐式IVIM信号采集模型,我们学习全后验分布的灌注参数使用人工神经网络。然后,这个后验封装的不确定性推断的参数估计,我们在这里验证通过数值实验与拒绝为基础的贝叶斯抽样。与最先进的分段最小二乘拟合IVIM估计方法相比,我们所提出的方法在合成各向异性灌注数据上的参数估计精度提高了65%。在体内胎儿MRI的配对重新扫描,我们的方法增加了46%的胎盘参数估计的可重复性。
2018-10-22 cs.CV cs.LG stat.ML
Robust Inference-Time Steering of Protein Diffusion Models via Embedding Optimization
Flatiron Institute(Flatiron研究所)
本文提出EmbedOpt框架,通过优化嵌入空间使蛋白质结构先验与实验约束对齐,在稀疏距离约束和冷冻电镜图匹配中表现更优,且对超参数更鲁棒。
2026-05-14 cs.LG
A Bayesian approach for fitting semi-Markov mixture models of cancer latency to individual-level data
本文提出一种基于数据增广MCMC的完全贝叶斯方法,将半马尔可夫混合模型拟合至个体水平数据,用于量化不确定性、模型选择及估计癌症筛查过度诊断率,并在模拟数据与美国乳腺癌监测联盟数据上验证了有效性。
2025-08-13 stat.AP stat.CO stat.ME
A Flexible Empirical Bayes Approach to Generalized Linear Models, with Applications to Sparse Logistic Regression
Department of Statistics The University of Chicago(统计学系芝加哥大学);Department of Statistics University of California, Irvine(统计学系加州大学伊文斯顿分校);Department of Statistics and Department of Human Genetics The University of Chicago(统计学系和人类遗传学系芝加哥大学)
本文提出了一种灵活的经验贝叶斯方法,用于广义线性模型,适用于稀疏逻辑回归,通过优化后验均值和先验参数提升预测性能。
2026-08-28 cs.LG stat.CO stat.ME
Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation
UCLA(加州大学洛杉矶分校)
本文提出利用高斯过程在模型依赖、重叠差和外推情况下建模和推断,通过后验分布保留模型范围以提高不确定性估计。
2025-12-30 stat.ME stat.ML
A Scalable Exponential Random Graph Model: Amortised Hierarchical Sequential Neural Posterior Estimation with Applications in Neuroscience
本文提出摊销式分层序列神经后验估计(AHS-NPE),以可扩展方式解决多网络指数随机图模型的贝叶斯推断难题,并在 Cam-CAN 脑成像数据上验证了其拟合效果与更大规模应用能力。
2025-06-05 stat.AP stat.ME
Challenges and Considerations in the Evaluation of Bayesian Causal Discovery
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Oxford(牛津大学);Digital Futures(数字未来机构);Helmholtz AI(亥姆霍兹人工智能研究所);TU Munich(慕尼黑工业大学)
本文重新审视贝叶斯因果发现(BCD)的评估指标,通过实证发现现有指标在低样本量和高熵设置下与近似真实后验质量相关性弱,强调需考虑真实后验性质以改进评估方法。
2024-06-05 cs.AI cs.LG
MCMC for a hyperbolic Bayesian inverse problem in traffic flow modelling
由于贝叶斯方法来拟合高速公路交通流模型在文献中仍然很少见,我们经验性地探索了这种方法提供的采样挑战,这些挑战与后验分布的强相关性和多模态有关。特别是,我们提供了一个统一的统计模型,估计使用高速公路数据的边界条件和基本图参数LWR,一个著名的高速公路交通流模型。这使我们能够提供一个交通流密度估计方法,被证明是优于交通流文献中发现的两种方法。为了从这个具有挑战性的后验分布中进行采样,我们使用了一个最先进的无梯度函数空间采样器,并使用了并行回火。
2021-08-10 stat.CO
Adaptive quadrature schemes for Bayesian inference via active learning
The University of Edinburgh(爱丁堡大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos I(胡安卡洛斯国王大学)
数值积分和仿真是跨科学领域的基本课题。我们提出了新的自适应正交计划的基础上的主动学习过程。我们考虑一种插值方法来建立一个替代后验密度,结合蒙特卡罗采样方法和其他正交规则。通过最大化合适的采集函数来顺序地选择正交的节点,该采集函数考虑了节点的后验和位置的当前近似。这种最大化不需要对真实后验进行额外的评估。我们介绍了两个具体的计划的基础上高斯和最近邻(NN)基地。对于高斯的情况下,我们还提供了一个新的过程来拟合带宽参数,以建立一个合适的仿真器的密度函数。使用这两种技术,我们总是获得边际似然的正估计(也称为,贝叶斯证据)。一个等效的重要性抽样的解释也被描述,它允许扩展计划的设计。几个理论结果提供和讨论。数值结果表明,所提出的方法的优点,包括一个具有挑战性的推理问题,在天文动力学模型,揭示了绕恒星运行的行星的数量的目标。
2021-01-19 cs.LG eess.SP stat.CO
Posterior Concentration for Bayesian Regression Trees and Forests
自20世纪80年代以来,回归树一直是使用最广泛的非参数预测方法之一。树结构的方法产生回归表面的直方图重建,其中箱对应于递归分区的终端节点。树是强大的,但容易过度拟合。反对过度拟合的策略传统上依赖于修剪绿色生长的树木。贝叶斯框架提供了一种替代的补救措施,通过先验过度拟合。粗略地说,一个好的先验对不发生过拟合的小树收费。虽然随机直方图、树及其集合的一致性已经被广泛研究,但对贝叶斯对应物的理论理解一直缺失。在本文中,我们采取了一个步骤来理解为什么/什么时候贝叶斯树和他们的合奏不过拟合。为了解决这个问题,我们研究的速度后集中在真正的光滑回归函数。我们提出了流行的贝叶斯CART先验的尖峰和树变体,并建立了新的理论结果,表明回归树(及其集合)(a)能够恢复光滑的回归表面,实现最佳速率高达对数因子,(b)可以适应未知的平滑程度,(c)当p>n时可以进行有效的降维。这些结果提供了一个缺失的理论证据,解释了为什么贝叶斯树(及其附加变体)在实践中工作得如此之好。
2019-06-13 math.ST stat.TH
A sequential algorithm for fast fitting of Dirichlet process mixture models
本文提出了一种改进的顺序更新和贪婪搜索(SUGS)算法,用于快速拟合Dirichlet过程混合模型。SUGS算法为混合数据提供了一种非常快速的近似贝叶斯推断的方法,当数据集如此之大,以至于许多标准的马尔可夫链蒙特卡罗(MCMC)算法不能有效地应用,或者需要非常长的时间才能收敛时,该方法特别有用。特别是,这些想法被用来最初询问的数据,并细化模型,使人们可以潜在地应用精确的数据分析later on.SUGS依赖于按顺序分配数据的集群,并进行后续的分配和参数,假设这个分配是正确的更新后验。我们的修改软化这种方法,通过提供一个概率分布分配,具有类似的计算成本,这种方法有一个解释为变分贝叶斯过程,因此我们称之为变分SUGS(VSUGS)。仿真结果表明,VSUGS算法在密度估计和分类方面优于原SUGS算法。此外,我们提出了一个数据分析流式细胞术数据,SNP数据,通过三类dirichlet过程混合物模型说明了明显的改善SUGS。
2013-01-14 stat.CO
Fitting sparse high-dimensional varying-coefficient models with Bayesian regression tree ensembles
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出稀疏贝叶斯回归树集成模型sparseVCBART,用于高维变系数模型,通过收缩先验实现稀疏性,后验收缩率接近最优,预测精度高且不确定性区间更窄,应用于偏见研究。
2025-10-09 math.ST stat.ME stat.TH
dsp: An R Package for Bayesian Time Series Modeling with the Dynamic Shrinkage Process
Cornell University(康奈尔大学);Headlands Technologies LLC(Headlands科技有限公司);Texas A&M University(德克萨斯农工大学)
该研究开发了R包dsp,基于动态收缩过程(DSP)构建统一状态空间框架,支持多种非平稳时间序列分析功能,核心用C++实现以提升效率。
2026-11-06 stat.CO stat.ME
On Naive Mean-Field Approximation for high-dimensional canonical GLMs
该研究利用非线性大偏差理论,推导了高维典范GLM中NMF近似后验对数归一化常数紧性的充分条件,刻画了NMF优化器结构并提出拟合算法,还证明了分离良好的最大化器决定后验概率性质。
2024-06-21 cs.IT math.IT math.PR
Scalable Gaussian Process Regression Via Median Posterior Inference for Estimating Multi-Pollutant Mixture Health Effects
Google Research(谷歌研究);Department of Statistics University of California Davis(加州大学戴维斯分校统计系);Department of Environmental Health Harvard University(哈佛大学环境健康系);Department of Biostatistics Harvard University(哈佛大学生物统计学系)
本文提出基于中位数后验推断的分治策略,解决大规模数据下高斯过程回归的计算瓶颈,应用于估计环境污染物混合物对出生体重的影响。
2026-04-07 stat.ME
Making Recursive Bayesian Inference Accessible
贝叶斯模型自然地提供递归推理,因为它们可以正式地协调新数据和现有的科学信息。然而,贝叶斯方法的普遍使用通常避免了基于先前研究得出的精确后验分布的先验。两种现有的递归贝叶斯方法是:先验递归贝叶斯和建议递归贝叶斯。先验递归贝叶斯使用贝叶斯更新,拟合模型顺序地划分数据,并提供一种方法来适应新数据,因为它们可以使用前一阶段的后验作为基于最新数据的新阶段的先验。Proposal-Recursive Bayes旨在与分层贝叶斯模型一起使用,并在数据分区的第一阶段独立分析中使用一组瞬时先验。Proposal-Recursive Bayes的第二阶段使用第一阶段的后验作为MCMC算法中的建议来拟合完整模型。我们结合先验递归和建议递归概念来拟合任何贝叶斯模型,并且通常具有计算改进。我们证明了我们的方法与两个案例研究。我们的方法对大数据,流数据和最佳自适应设计情况有影响。
2019-04-26 stat.ME
Dependent Dirichlet Processes for Analysis of a Generalized Shared Frailty Model
与频率论范式相比,贝叶斯范式由于在处理复杂删失方案方面的优势,在生存分析中具有拟合复杂生存模型和计算可行的优点。在本章中,我们的目的是显示贝叶斯计算的最新趋势,在自动化的后验抽样的意义上,通过贝叶斯分析的生存建模的多变量生存结果与复杂的数据结构。出于放松强比例假设和共同基线人群的限制,我们提出了一个广义的共享虚弱模型,其中包括参数和非参数虚弱随机效应,以便将多个事件的治疗方式和时间变化。我们开发了一个生存函数版本的方差分析依赖Dirichlet过程来模拟基线生存函数之间的依赖性。后验抽样由现代贝叶斯计算工具Stan中的No-U-Turn抽样器自动实现。通过对膀胱癌复发数据的分析,验证了该模型的有效性。该估计与现有结果一致。我们的模型和贝叶斯推断提供的证据表明,贝叶斯范式促进复杂的建模和可行的计算在生存分析和斯坦放松后验推理。
2021-09-09 stat.CO stat.ME
Bayesian bandwidth estimation for local linear fitting in nonparametric regression models
本文给出了非参数回归模型中回归函数的局部线性估计的带宽估计的贝叶斯抽样方法。在贝叶斯抽样方法中,误差密度近似为高斯密度的位置混合密度,其中平均值为个体误差,方差为常数参数。该混合密度具有误差的核密度估计器的形式,并且被称为核形式误差密度(参见,Zhang等人,2014年)。虽然Zhang等人。(2014)使用局部常数(也称为Nadaraya-Watson)估计量来估计回归函数,但我们将其扩展到局部线性估计量,从而产生更准确的估计。所提出的调查的动机是缺乏数据驱动的方法,同时选择带宽的局部线性估计的回归函数和核形式的误差密度。处理带宽作为参数,我们得到一个近似(伪)的可能性和后验。仿真研究表明,在综合平方误差准则下,该方法的带宽估计性能优于经验法则和交叉验证方法。通过一个包含公司股权集中度的非参数回归模型和一个包含国家价格密度估计的模型对所提出的带宽估计方法进行了验证。
2020-11-09 stat.CO stat.ME
Calibrated Bayesian Inference for Stochastic Intervention Effects
University of Iowa(爱荷华大学)
本研究针对随机干预效应的贝叶斯推断,提出一种不改变先验或拟合算法的后处理校正方法,经理论与模拟验证可提升推断的校准度与性能,并通过他汀类药物对LDL胆固醇影响的实例说明其应用。
2026-08-05 math.ST stat.ME stat.ML
A Bayesian Approach Toward Robust Multidimensional Ellipsoid-Specific Fitting
Hong Kong Institute of Science & Innovation Chinese Academy of Sciences(中国科学院香港创新研究院);Academy of Mathematics and Systems Science, CAS(中国科学院数学与系统科学研究院);BAAI(北京智源人工智能研究院);Peking University(北京大学);School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Institute of Automation, CAS(中国科学院自动化研究所)
本文提出一种基于贝叶斯框架的多维椭球特定拟合方法,通过均匀先验约束和预测分布上的均匀分布增强对噪声与异常值的鲁棒性,并引入ε加速技术提升EM收敛速度,在多维空间及多种实际应用中验证了其有效性。
2024-07-27 cs.CV stat.ME
Bayesian Analysis of High-dimensional Discrete Graphical Models
这项工作介绍了一种贝叶斯方法来拟合大型离散图形模型与尖峰和板先验编码稀疏。我们考虑一个准似然方法,使节点并行计算,从而降低计算复杂度。我们引入了一个可扩展的Langevin MCMC算法的采样从准后验分布,使变量的选择和估计同时进行。我们提出了广泛的仿真结果,以证明该方法的可扩展性和准确性。我们还分析了16个人格因素(PF)数据集,以说明该方法的性能。
2019-10-17 stat.CO stat.ME
TraitLab: a Matlab package for fitting and simulating binary tree-like data
本文介绍 Matlab 软件包 TraitLab,它基于随机 Dollo 模型,利用 MCMC 对含灾变和借用机制的二元树状数据进行贝叶斯拟合、模拟与诊断分析。
2023-08-17 stat.CO
Bayesian linear regression with skew-symmetric error distributions with applications to survival analysis
研究了正态误差分布具有斜对称尺度混合的贝叶斯线性回归模型。这些类型的模型可以用来捕捉偏离通常的假设,即重尾和不对称方面的误差正态性。我们为这些回归模型提出了一个一般的无信息先验结构,并证明了相应的后验分布在温和的条件下是适当的。我们扩展这些适当的结果的情况下,响应变量被删失。后一种情况是感兴趣的加速失效时间模型,这是相关的生存分析的上下文中。我们提出了一个模拟研究,表现出良好的频率属性的后可信区间相关的建议先验。这项研究还揭示了一些之间的权衡增加模型的灵活性和过度拟合的风险。我们用实际数据说明了所提出的模型的性能。虽然我们关注的是单变量响应变量的模型,但我们也在支持网络材料中对多变量情况进行了一些扩展。
2016-01-10 stat.AP
Scalable Estimation of Multinomial Response Models with Random Consideration Sets
针对考虑集随受试者变化的多项响应模型,提出基于包含-排除概率混合表示的可扩展MCMC估计方法,并在101个品牌的纵向购买数据上验证其一致性。
2025-09-08 econ.EM stat.AP stat.CO
Hierarchical Bayesian Modeling for Time-Dependent Inverse Uncertainty Quantification
本文提出一种新型分层贝叶斯模型,结合高斯过程、主成分分析与神经网络构建代理模型,利用NUTS实现高效后验采样,有效解决了核热工水力系统时变反问题不确定性量化,显著提升了参数估计精度并降低了过拟合倾向。
2024-03-26 stat.AP
Comparison and Bayesian Estimation of Feature Allocations
特征分配模型假定一个抽样分布,其参数来自共享特征。贝叶斯模型在特征分配上放置先验分布,并且马尔可夫链蒙特卡罗通常用于模型拟合,这导致从后验分布采样的数千个特征分配。基于这些样本,我们提出了一种方法来提供一个潜在的特征分配的点估计。首先,我们引入FARO损失,这是特征分配之间的一个函数,它满足准度量属性,并允许比较具有不同特征数量的特征分配。损失涉及在所有可能的特征排序中找到最佳特征排序,但计算可行性是通过将此任务框定为线性分配问题来实现的。我们还引入了FANGS算法,通过使用可用样本最小化后验预期FARO损失的蒙特卡罗估计来获得贝叶斯估计。FANGS可以产生不同于在马尔可夫链中访问的估计。我们提供了现有的方法和我们提出的方法的调查。我们的损失函数和搜索算法在R中的fangs包中实现。
2022-07-27 stat.CO stat.ME
Fitting stochastic epidemic models to gene genealogies using linear noise approximation
系统动力学是一套群体遗传学工具,旨在根据从感兴趣的群体中取样的个体的分子序列重建群体的人口统计学历史。种群动力学的一个重要任务是估计(有效)种群规模的变化。当应用于传染病序列时,对群体大小轨迹的这种估计可以提供关于感染数量变化的信息。为了对感染个体数量的变化进行建模,当前的随机动态方法使用非参数方法、参数方法和结合无似然贝叶斯方法的随机建模。第一类方法产生的结果很难从流行病学上解释。第二类方法提供了重要的流行病学参数的估计数,如感染率和清除/恢复率,但忽略了传染病传播动态的变化。第三类方法在统计上是最有利的,但依赖于计算密集型粒子滤波技术,限制了其应用。我们提出了一个贝叶斯模型,结合了随机动态推理和随机流行病模型,并实现了计算的易处理性,通过使用线性噪声近似(LNA)-一种技术,使我们能够近似随机流行病模型轨迹的概率密度。LNA打开了使用现代马尔可夫链蒙特卡罗工具来近似疾病传播参数和描述随机流行病模型隔室大小中未观察到的变化的高维向量的联合后验分布的大门(例如,感染和易感个体的数量)。我们将我们的估计技术应用于使用2014年塞拉利昂和利比里亚疫情的病毒遗传数据估计的埃博拉系谱。
2019-02-24 q-bio.PE stat.ME