Dimension-free Mixing for High-dimensional Bayesian Variable Selection
Yang等人(2016)证明了贝叶斯变量选择的对称随机游动梅特罗波利斯-黑斯廷斯算法在温和的高维假设下快速混合。我们提出了一种新的MCMC采样器使用知情的建议计划,我们证明实现了更快的混合时间,是独立的协变量的数量,在相同的假设下。据我们所知,这是第一个高维结果,严格表明,知情MCMC方法的混合速度可以足够快,以抵消局部后验评估的计算成本。基于对采样器的理论分析,我们进一步提出了一种新的方法--“两阶段漂移条件”来研究一般状态空间上的马尔可夫链的收敛速度,这对于在高维环境下获得严格的复杂性界是有用的.仿真研究和实际数据分析表明,我们的算法的实际优势。
2022-04-23 stat.CO stat.ME
Sampling for Bayesian Mixture Models: MCMC with Polynomial-Time Mixing
UC Berkeley(加州大学伯克利分校);Voleon Group(沃利恩集团)
本文研究了贝叶斯高斯混合模型中的幂后验分布抽样问题。这种幂后验被认为是非对数凹和多模态的,这导致了一些标准MCMC算法的指数混合时间。我们介绍并研究了用于采样的反射大都会-黑斯廷斯随机游动(RMRW)算法。对于对称的两组分高斯混合模型,只要样本量$n$为$d (d + \Vert θ_{0} \Vert^2)$阶,我们证明了其混合时间有界为$d^{1.5}(d + \Vert θ_{0} \Vert^2)^{4.5}$.值得注意的是,该结果不需要对两个平均值的分离有任何条件。途中证明这个界限,我们建立了一些新的结果可能独立的利益,允许结合庞加莱不等式的条件和边际密度。
2019-12-11 cs.DS cs.LG math.PR
Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors
当处理多模态贝叶斯后验分布时,马尔可夫链蒙特卡罗(MCMC)算法在模式之间移动有困难,并且默认的变分或基于模式的近似推断会低估后验不确定性。而且,即使可以找到最重要的模式,也很难在后验中评估它们的相对权重。在这里,我们提出了一种方法,使用并行运行的MCMC,变分,或基于模式的推理,尽可能多的模式或分离的区域,然后结合这些使用贝叶斯堆叠,一个可扩展的方法,用于构建一个加权平均分布。叠加的结果有效地从多峰后验分布中采样,最小化交叉验证预测误差,并且比变分推断更好地表示后验不确定性,但它不一定等同于完全贝叶斯推断,甚至是渐进的。我们提出了理论上的一致性与一个例子,堆叠推理近似的真实数据生成过程中的错误指定的模型和非混合采样器,从它的预测性能优于完全贝叶斯推断,因此,多模态可以被认为是一个祝福,而不是一个诅咒下的模型错误指定。我们展示了几个模型家族的实际实现:潜在狄利克雷分配,高斯过程回归,分层回归,马蹄形变量选择,和神经网络。
2021-11-18 stat.ME stat.ML
Model Mixing Using Bayesian Additive Regression Trees
针对计算机实验中多物理系统模拟器的预测推断选择问题,提出基于贝叶斯加性回归树的贝叶斯模型混合方法,通过输入依赖的非参数权重捕捉各模拟器局部特性,并应用于核物理有效场论预测组合。
2023-05-05 stat.ME
Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules
University of Ferrara(费拉拉大学)
深度学习技术由于其出色的效果,在工业和研究环境中发挥着越来越重要的作用。然而,要设置的大量超参数如果手动设置则可能导致错误。最先进的超参数调整方法是网格搜索,随机搜索和贝叶斯优化。前两种方法是昂贵的,因为它们分别尝试超参数的所有可能组合和随机组合。相反,贝叶斯优化构建目标函数的代理模型,使用高斯过程回归量化代理中的不确定性,并使用获取函数来决定在何处对新的超参数集进行采样。该工作面向超参数优化领域。目的是改进贝叶斯优化应用于深度神经网络。为此,我们建立了一个新的算法来评估和分析网络的训练和验证集的结果,并使用一组调整规则来添加新的超参数和/或减少超参数搜索空间,以选择一个更好的组合。
2020-06-03 cs.CV cs.LG stat.ML
Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring
UC Irvine(加州大学尔湾分校)
在本文中,我们解决了以下问题:如果我们只允许接触我们生成的每个样本的一小部分数据项,我们可以近似地从贝叶斯后验分布中采样吗?以前提出了一种基于随机梯度的Langevin方程(SGLD)的算法来解决这个问题,但其混合速度很慢。通过利用贝叶斯中心极限定理,我们扩展了SGLD算法,以便在高混合速率下,它将从后验的正态近似进行采样,而对于低混合速率,它将用预处理矩阵模仿SGLD的行为。作为奖励,所提出的算法是让人想起费舍尔评分(随机梯度),并作为这样一个有效的优化器在老化。
2012-06-27 cs.LG stat.CO stat.ML
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley(加州大学伯克利分校)
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗(MCMC)方法的计算复杂性。我们首先表明,贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后,我们证明,后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前,我们提供了一组条件,保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系,直至对数因子。我们的证明控制的马尔可夫链的频谱间隙,通过构建一个典型的路径合奏,启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
Summarizing Bayesian Nonparametric Mixture Posterior -- Sliced Optimal Transport Metrics for Gaussian Mixtures
本文提出一种模型无关的贝叶斯非参数混合模型后验总结方法,以混合测度估计为核心目标,通过最小化基于切片 Wasserstein 距离的后验期望损失,并针对高斯混合设计了两种高效变体。
2025-05-08 stat.AP stat.CO stat.ME
Dis-entangling Mixture of Interventions on a Causal Bayesian Network Using Aggregate Observations
Adobe Research(奥多比研究院);IIT Kharagpur(印度理工学院卡哈拉格普尔分校);IIT Guwahati(印度理工学院古瓦哈提分校);IIT Delhi(印度理工学院德里分校)
我们研究的问题,分离的混合分布,所有这些都来自一个已知的因果贝叶斯网络的干预。给定oracle访问网络上干预产生的所有分布的边缘,以及混合分布的边缘估计,我们希望恢复不同混合成分的混合比例。我们表明,在最坏的情况下,混合比例不能确定仅使用边缘。如果确切的边际的混合分布是已知的,在一个简单的假设下,排除一些分布的混合,我们表明,混合比例变得可识别。我们的可识别性证明是建设性的,并给出了一个有效的算法恢复混合比例准确。当精确的边缘不可用时,我们设计了一个优化框架来估计混合比例。我们的问题是从电子商务业务的真实场景中激发出来的,在给定的时间内发生多个干预,导致预期指标的偏差。我们进行实验,众所周知的公开可用的报警网络和专有数据集从一个大型电子商务公司验证我们的方法的性能。
2020-01-15 cs.AI cs.LG stat.ML
Bayesian Inference of Mixing and Transmission Heterogeneity in Stratified Disease Surveillance Models
Oregon State University(俄勒冈州立大学)
提出一种贝叶斯潜变量扩展的内生-流行病模型,用于从分层疾病监测数据中推断未观测的个体传播性、疾病发生率与流行率的分离以及人口组间混合结构。
2026-05-27 stat.ME
Fast Mixing of Data Augmentation Algorithms: Bayesian Probit, Logit, and Lasso Regression
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出使用改进的导电性方法研究数据增强算法的混合时间,证明了三种重要算法的非渐近多项式上界,展示了在设计矩阵和先验协方差矩阵上的紧界。
2026-04-21 math.PR math.ST stat.ML
Bayesian Predictive Synthesis with Outcome-Dependent Pools
本文研究贝叶斯预测合成(BPS)方法,聚焦结果依赖型模型混合框架,提出动态BPS新方法并通过金融时间序列分析验证,拓展了多模型预测密度融合的理论与应用。
2023-05-03 stat.ME
Bayesian Inference in High-Dimensional Time-Serieswith the Orthogonal Stochastic Linear Mixing Model
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
许多现代时间序列数据集包含大量长时间采样的输出响应变量。例如,在神经科学中,在行为期间和对感官刺激的反应中记录100 -1000个神经元的活动。多输出高斯过程模型利用高斯过程的非参数性质来捕获多个输出之间的结构。然而,这类模型通常假设输出响应变量之间的相关性在输入空间中是不变的。随机线性混合模型(SLMM)假设混合系数依赖于输入,使其更灵活和有效地捕捉复杂的输出依赖。然而,目前,SLNN的推理是棘手的大型数据集,使他们不适用于一些现代的时间序列问题。在本文中,我们提出了一个新的回归框架,正交随机线性混合模型(OSLMM),在混合系数之间引入了正交约束。这种约束减少了推理的计算负担,同时保留了处理复杂输出依赖的能力。我们提供了马尔可夫链蒙特卡罗推理过程SLMM和OSLMM和表现出优越的模型的可扩展性和减少预测误差的OSLMM相比,国家的最先进的方法在几个现实世界的应用。在神经生理学记录,我们使用推断的潜在功能紧凑的可视化人口对听觉刺激的反应,并表现出优越的结果相比,竞争的方法(GPFA)。总之,这些结果表明,OSLMM将是有用的,不同的,大规模的时间序列数据集的分析。
2022-03-12 cs.LG stat.ME stat.ML
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间,观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先,未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性,提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗(MCMC)方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器,根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后,这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告,以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Optimal approximating Markov chains for Bayesian inference
马尔可夫链蒙特卡罗方法是贝叶斯分析中后验计算的主要范例。通常通过对马尔可夫转移核进行近似来控制计算时间。相对较少的注意力已经支付给这些近似马尔可夫链的计算最优性,或者当这样的近似是合理的相对于获得更短的路径从确切的内核。我们给出了一致混合马尔可夫链的一致逼近的简单、精确的界。然后,我们提出了一个最优性的概念,将计算时间和近似误差,并使用我们的界限,使泛化的均匀混合设置中的良好近似的属性。这些属性的相关性证明在应用程序的一个小批量为基础的近似MCMC算法的大$n$逻辑斯谛回归和低秩近似高斯过程。
2017-08-29 math.ST stat.CO stat.TH
Complexity analysis of Bayesian learning of high-dimensional DAG models and their equivalence classes
本文证明了高维稀疏等价类贝叶斯结构学习的多项式复杂性及快速混合性,通过推导有限状态空间混合时间界限和构建高概率搜索路径,为MCMC结构学习提供了理论保证。
2023-04-06 math.ST stat.CO stat.TH
Monte Carlo Approximation of Bayes Factors via Mixing with Surrogate Distributions
通过将目标后验分布与一个归一化常数易处理的替代分布混合,提出了一种利用Wang-Landau算法估计边缘似然的方法。我们表明,所提出的方法可以通过动量加速实现更快的收敛。详细介绍了两种实现策略:(i)通过Multiple-try Metropolis促进后验分布和代理分布之间的全局跳跃;(ii)通过变分近似构造代理。在代理难以获得的情况下,提出了一种新的一般可逆跳马尔可夫链蒙特卡罗算法的跳机制,该机制结合了多尝试Metropolis算法和方向采样算法.我们说明了几个统计模型,包括对数高斯Cox过程,贝叶斯套索,逻辑斯谛回归,和g-先验贝叶斯变量选择所提出的方法。
2020-12-16 stat.CO stat.ME
On the Computational Complexity of Metropolis-Adjusted Langevin Algorithms for Bayesian Posterior Sampling
本文通过引入基于s-电导剖面的新技术,在贝叶斯后验接近高斯分布的标准设定下,建立了MALA采样混合时间的最优上界(维度依赖性d^{1/3}、条件数依赖性κ)及匹配下界。
2024-05-09 math.ST stat.TH
Estimation and selection for high-order Markov chains with Bayesian mixture transition distribution models
我们开发了两个模型的贝叶斯估计和选择高阶,离散状态马尔可夫链。两者都是基于混合转移分布,它构造了一个转移概率张量与一阶转移矩阵的概率的加法混合。我们证明了所提出的模型的两个用途:通过混合低阶过渡模型来近似高阶动态,以及通过稀疏概率向量的先验过规范和收缩来选择顺序/滞后。先验进一步将所有模型缩小到可识别和可解释的参数化,这对数据分析很有用。我们讨论了模型的属性,并通过仿真研究证明了它们的实用性。我们进一步应用该方法的数据分析,从高阶马尔可夫链文献和时间序列的粉红色鲑鱼在美国阿拉斯加州的小溪丰富。
2019-06-25 stat.ME
cosimmr: an R package for fast fitting of Stable Isotope Mixing Models with covariates
本文提出R包cosimmr,在稳定同位素混合模型中引入协变量,并采用固定形式变分贝叶斯替代传统MCMC,在保持精度的同时将拟合速度提升一个数量级。
2024-08-30 stat.AP stat.ME