Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge(剑桥大学)
提出了一种利用贝叶斯优化来调整分布式随机梯度下降(SGD)系统参数的优化器。给定特定的上下文,我们的目标是快速找到有效的配置,适当地平衡可用机器之间的负载,以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型,不太适合这种高维域。为了减少收敛时间,我们利用现有的结构。我们设计了一个概率模型,模拟分布式SGD的行为,并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明,该优化算法在10次迭代内收敛到有效的配置,优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心)
本研究提出泊松SGD变体,利用随机学习率处理退化更新方向,证明其在弱假设下收敛至平稳分布,并找到非凸优化的全局最小值,同时评估泛化误差。
2025-09-06 cs.LG stat.ML
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol(布里斯托大学)
我们将神经网络优化问题表述为贝叶斯滤波,其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究,但他们无法使用均方根梯度归一化器恢复标准优化器,如Adam和RMSprop,而是得到均方归一化器。为了恢复均方根归一化,我们发现有必要考虑所有其他参数的时间动态,因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换,自动恢复AdamW,这是Adam的最新变体,具有解耦的权重衰减,并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型,并表明,各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索,贝叶斯组套索,和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在,并确保可靠的输出分析。我们的几何遍历性的结果,使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research Cambridge(微软研究院剑桥实验室)
计算机视觉是困难的,因为在照明,形状和纹理的大的可变性;此外,图像信号是非加性的,由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人,但由于后验推理的困难,计算机视觉的生成模型在很大程度上未能实现这一承诺。因此,社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性,但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”,并在仔细的实验中证明它具有挑战性的生成模型,其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题,一种方法,可以被理解为“逆图形”。知情的采样器,使用简单的判别建议的基础上现有的计算机视觉技术,实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中,我们使用Polson等人(2013)的数据增强技术,在适当的先验条件下,使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外,我们证明了这种Gibbs抽样的一致遍历性,这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间,在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果,并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Active Sampler: Light-weight Accelerator for Complex Data Analytics at Scale
National University of Singapore(新加坡国立大学);University of Michigan(密歇根大学)
近年来,“大数据”训练的“大模型”取得了惊人的成果。大多数流行的模型训练算法都是迭代的。由于数据量激增,我们通常只能在每次迭代中处理一小部分训练数据。通常,数据被均匀地采样或顺序地访问。在本文中,我们研究了数据访问模式如何影响模型训练。我们提出了一个主动采样算法,其中训练数据与更多的“学习价值”的模型更频繁地采样。目标是将训练工作集中在分类边界附近的有价值的实例上,而不是明显的案例,噪声数据或离群值。我们从理论上证明了主动采样器的正确性和最优性,并在此基础上设计了一个轻量级的矢量化实现。主动采样器与大多数优化大规模数据分析效率的方法正交,并且可以应用于大多数由随机梯度下降(SGD)算法训练的分析模型。广泛的实验评估表明,Active Sampler可以加快SVM、特征选择和深度学习的训练过程,使训练质量提高1.6- 2.2倍。
2015-12-12 cs.DB cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Balls-and-Bins Sampling for DP-SGD
Google(谷歌公司)
本文提出用于DP-SGD的球与箱采样方法,实现类似Shuffling的便捷实现,同时在实际参数范围内享有与Poisson子采样相似或更优的隐私放大效果与模型效用。
2025-03-31 cs.CR cs.DS cs.LG
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge(剑桥大学)
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题,提出一种变复杂度采样器,在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Particle Gibbs for Bayesian Additive Regression Trees
University College London(伦敦大学学院);University of Toronto(多伦多大学);University of Oxford(牛津大学)
加法回归树是一种灵活的非参数模型,也是现实世界中非线性回归的常用工具。在应用领域,如生物信息学,也有需求的概率预测与不确定性的措施,贝叶斯加性回归树(BART)模型,介绍了Chipman等人。(2010),越来越受欢迎。然而,随着数据集规模的增长,用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地,这些马尔可夫链对树进行局部改变,并且当数据是高维的或者最佳拟合树超过几层深度时,遭受缓慢混合。我们提出了一种基于粒子吉布斯(PG)算法的BART新采样器(Andrieu等人,2010)和用于贝叶斯决策树的自上而下的粒子滤波算法(Lakshminarayanan等人,2013年)。PG采样器不是对单个树进行局部更改,而是提出一个完整的树来拟合残差。实验表明,PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
Brown University(布朗大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
该研究拓展了Cole-Hopf变换的抽象理论框架,提出HJ-sampler算法,通过求解粘性HJ偏微分方程和随机最优控制采样求解带终端观测的随机微分方程贝叶斯逆问题,还给出两种求解器变体并验证了有效性与灵活性。
2024-10-08 cs.LG math.OC stat.CO
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
研究揭示随机梯度下降在分形景观上扩散的行为与贝叶斯统计的关系,提出SGD可视为一种考虑分形结构访问限制的修改贝叶斯采样器。
2026-03-16 cs.AI cs.LG math.OC
An Asymptotically Efficient Metropolis-Hastings Sampler for Bayesian Inference in Large-Scale Educational Measuremen
本文讨论了由\citeA{MarsmanIsing}提出的梅特罗波利斯-黑斯廷斯算法。该算法是从第一性原理推导出来的,并证明了该算法随着数据量的增加而变得更有效,并满足大规模教育测量日益增长的需求。
2018-08-12 stat.CO
Geometric ergodicity of Gibbs samplers for Bayesian error-in-variable regression
针对含经典与Berkson误差的多元Bayesian EIV回归,提出三变量确定性扫描Gibbs采样器,证明其始终几何遍历,并通过模拟和天体物理数据验证性能。
2023-04-20 math.ST stat.TH
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology(大连理工大学);University College London(伦敦大学学院)
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能,然后我们提供了几个其他联合对角化算法,这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品,吉布斯采样器的输出可以用来估计对数边际似然,但是我们采用基于贝叶斯信息准则(BIC)的近似,在合成的例子中,它被认为正确地定位了公共特征向量的数量。然后,我们成功地应用采样器的源分离问题,以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
Stability of the Gibbs Sampler for Bayesian Hierarchical Models
本文证明了在具有任意对称误差分布的分层线性模型中,从参数和缺失数据的联合后验分布中采样的Gibbs采样器的收敛性。我们表明,收敛可以是均匀的,几何或亚几何依赖于相对尾部行为的误差分布,并选择的参数化。我们的理论被用来证明潜在高斯过程模型上Gibbs抽样器的收敛性。我们指出,我们介绍的理论框架将是有用的,在分析更复杂的模型。
2007-10-23 stat.CO stat.ME
Parallel hierarchical sampling: a practical multiple-chains sampler for Bayesian model selection
本文介绍了并行分层采样器(PHS),一种同时使用多个链的马尔可夫链蒙特卡罗算法。说明了PHS与并行回火(PT)算法之间的联系,证明了PHS联合转移核的收敛性,强调了PHS联合转移核的实用优势。我们说明了使用PHS,并行回火和梅特罗波利斯-黑斯廷斯算法的贝叶斯模型选择问题,即高斯聚类,协变量的选择线性回归模型和选择的结构树生存模型的推断。
2008-12-08 stat.CO stat.ME
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化,但相应的后验分布可能对离群值敏感。为了克服这一问题,近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似,它是可能的,以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
A fast non-reversible sampler for Bayesian mixture models
Duke University(杜克大学);University of Padua(帕多瓦大学);Bocconi University(博科尼大学)
针对贝叶斯有限混合模型后验采样收敛慢的问题,提出一种新型不可逆采样方案,理论证明其渐近方差性能不劣于标准方法四倍,可将大样本下收敛时间从O(n²)降至O(n),在多场景下性能显著优于经典采样器。
2026-10-05 stat.CO stat.ME stat.ML
Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler
Central South University(中南大学);Tongji University(同济大学)
本文提出SA-Roundtrip深度生成先验,结合自注意力双向GAN学习数据内在维度,并在低维潜在空间用HMC-pCN算法进行贝叶斯推断,在CT重建实验中优于现有方法并实现精确不确定性量化。
2023-10-24 cs.AI cs.LG math.PR
On the Computational Efficiency of Bayesian Additive Regression Trees: An Asymptotic Analysis
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学);Department of Statistics, UC Berkeley(统计系,加州大学伯克利分校);Department of Electrical Engineering and Computer Sciences, UC Berkeley(电气工程与计算机科学系,加州大学伯克利分校);Center for Computational Biology, UC Berkeley(计算生物学中心,加州大学伯克利分校)
本文分析了BART采样器在大规模数据下的计算效率,发现其收敛时间随样本量增加而增加,但通过增加树数量或提高温度可有效缓解这一问题。
2026-02-07 cs.LG math.ST stat.ML
Distributed, partially collapsed MCMC for Bayesian Nonparametrics
Princeton University(普林斯顿大学)
贝叶斯非参数(BNP)模型提供了用于发现数据集中潜在特征的优雅方法,但此类模型中的推理可能很慢。我们利用的事实,完全随机措施,常用的模型,如狄利克雷过程和β-伯努利过程可以表示为,可分解成独立的子措施。我们使用这种分解的潜在措施划分成一个有限的措施,只包含实例化的组件,和一个无限的措施,包含所有其他组件。然后,我们选择不同的推理算法的两个组件:未塌陷的采样器混合以及有限的措施,而塌陷的采样器混合以及无限的,稀疏占用的尾巴。由此产生的混合算法可以应用于广泛的一类模型,并可以很容易地分布,以允许可扩展的推理,而不牺牲渐近收敛保证。
2020-03-04 cs.LG stat.ML
Adaptive Scan Gibbs Sampler for Large Scale Inference Problems
对于大规模的在线推理问题,更新策略是性能的关键。我们推导出一个自适应扫描吉布斯采样器,通过选择一个最佳的小批量大小的更新频率进行优化。我们证明了我们的自适应批量吉布斯采样器的性能,通过比较它对贝叶斯套索,狄利克雷过程混合模型(DPMM)和潜在狄利克雷分配(LDA)图形模型的崩溃吉布斯采样器。
2018-01-27 stat.ML
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣,收敛复杂性分析是研究蒙特卡罗马尔可夫链(对于难以处理的贝叶斯后验分布)的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题,而且很少有成功的分析。秦和霍伯特(2021 b)最近提出了一个富有成效的分析,他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明,在规则性条件下,随着数据集大小的增加,该吉布斯采样器的几何收敛速度收敛到零。本文表明,吉布斯采样器表现出类似的行为,更一般的贝叶斯模型,具有随机效应和传统的连续协变量,所谓的混合模型。该分析采用了Qin和Hobert(2021 b)介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Vanderbilt University(范德堡大学)
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题,提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS,并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
Graph_sampler: a simple tool for fully Bayesian analyses of DAG-models
贝叶斯网络(BN)是广泛使用的图形模型,可用于绘制关于有向无环图(DAG)的统计推断。本文介绍了一个快速、免费的C语言软件Graph_sampler,用于BN的结构推理. Graph_sampler使用完全贝叶斯方法,其中考虑了数据的边际似然性和有关网络结构的先验信息。这种新的软件可以处理连续和离散数据,并根据数据类型制定两种不同的模型。该软件还提供了各种各样的结构先验,可以是信息性的或非信息性的。在梅特罗波利斯-黑斯廷斯算法中提出了一种新的、速度更快的核跳跃策略。本源码C代码分布非常紧凑,速度快,占用内存和磁盘存储量低.我们基于不同的模拟数据集和合成以及真实网络进行了几次分析,以讨论Graph_sampler的性能。
2016-02-04 stat.CO
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University(普渡大学);Indiana University(印第安纳大学);Peking University(北京大学)
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降(XOR-SGD)提供了一个收敛速度保证解决约束的版本的问题,利用XOR-采样。然而,当需要满足额外的等式和不等式约束时,任务变得更加困难。本文提出了一种基于投影梯度下降(PGD)和异或采样器相结合的新算法XOR-PGD,通过选择合适的步长,保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明,在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明,改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核,通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit(盖比计算神经科学单元);University College London(伦敦大学学院)
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中,我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想,并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间,然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers
Department of Biostatistics, Columbia University(哥伦比亚大学生物统计学系)
该研究提出AI4BayesCode系统,通过自然语言描述生成可运行且验证过的MCMC采样器,采用模块化设计和递归状态性编码范式,提升了贝叶斯模型的可靠性和扩展性。
2026-11-17 cs.AI cs.LG stat.CO
Fast Gibbs sampling for the local and global trend Bayesian exponential smoothing model
针对局部与全局趋势贝叶斯指数平滑模型依赖 NUTS 导致拟合过慢的问题,本文改进模型并提出定制 Gibbs 采样器,在 M3 上保持或提升精度且速度显著加快。
2024-06-29 cs.LG stat.CO stat.ML
Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference
IRIT/INP-ENSEEIHT(图卢兹信息学研究所/国立图卢兹综合理工学院-ENSEEIHT);University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学)
提出一种结合变量分裂与深度生成先验的随机 PnP-SGS 后验采样算法,无需显式先验即可提供贝叶斯估计及置信区间,并在图像处理任务中验证有效性。
2023-04-21 cs.CV cs.LG stat.ML
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法,可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本:系统扫描(SS)版本,其中所有变量在每次迭代时更新,以及随机扫描(RS)版本,其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查,并介绍了一种替代的混合扫描吉布斯采样器,这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实,即在该算法中使用的扫描具有系统和随机元两者。事实上,在每次迭代中,我们都会更新整个潜在变量集,以及随机选择的剩余变量块。混合扫描(HS)Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先,HS算法通常更容易从理论角度进行分析。特别地,建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次,在Hobert和Marchev(2008)中开发的三明治方法,也被审查,可以应用于HS吉布斯算法(但不适用于标准扫描吉布斯采样器)。结果表明,在弱正则性条件下,添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布,这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Bayesian Deep Convolutional Networks with Many Channels are Gaussian Processes
Google Brain(谷歌大脑);Microsoft Research AI(微软人工智能研究院);University of Cambridge(剑桥大学)
在宽全连接神经网络(FCN)和高斯过程(GP)之间存在先前确定的等价性。例如,这种等价性使得能够计算由完全贝叶斯的无限宽训练的FCN产生的测试集预测,而无需实例化FCN,而是通过评估相应的GP。在这项工作中,我们推导出具有和不具有池化层的多层卷积神经网络(CNN)的类似等价性,并在CIFAR 10上实现了不具有可训练内核的GP的最新结果。我们还介绍了蒙特卡罗方法来估计GP对应于一个给定的神经网络架构,即使在情况下,分析形式有太多的条款是计算上可行的。令人惊讶的是,在没有池化层的情况下,对应于具有和不具有权重共享的CNN的GP是相同的。因此,平移等方差,在用随机梯度下降(SGD)训练的有限通道CNN中是有益的,保证在无限通道限制的贝叶斯处理中不起作用-这是两种机制之间的定性差异,在FCN情况下不存在。我们通过实验证实,虽然在某些情况下,随着信道数量的增加,SGD训练的有限CNN的性能接近相应的GP,但仔细调整SGD训练的CNN可以显着优于其相应的GP,这表明SGD训练与完全贝叶斯参数估计相比具有优势。
2020-08-21 cs.AI cs.LG cs.NE
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中,我们考虑马尔可夫链蒙特卡罗(MCMC)算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是,我们构造的两块吉布斯采样器使用的数据增强(DA)技术。此外,我们证明了Gibbs抽样的几何遍历性,这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时,我们也提供了后适当的条件。一般而言,用于DA的Haar参数展开(PX- DA)算法是DA算法的改进,并且已经表明,它在理论上至少与DA算法一样好。在这里,我们构建了一个Haar PX DA算法,它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
A positive-definiteness-assured block Gibbs sampler for Bayesian graphical models with shrinkage priors
尽管Wang(2012)提出的贝叶斯图LASSO的块Gibbs采样器近年来已被广泛应用并扩展到各种收缩先验,但它具有不太明显但可能严重的缺点,即在Gibbs采样器的每个循环中不能保证高斯图模型中精度矩阵的正定性。具体地说,如果精度矩阵的维数超过样本量,精度矩阵的正定性将难以满足,吉布斯采样器几乎肯定会失败。在本文中,我们建议修改原来的块吉布斯采样器,使精度矩阵永远不会失败,是正定的采样,正是从域的正定性。正如我们在蒙特卡罗实验中所示,这种修改不仅稳定了采样过程,而且显着提高了参数估计和图形结构学习的性能。我们还将我们提出的算法应用于股票数量超过样本周期的月度回报数据的图形模型,证明了其稳定性和可扩展性。
2022-04-14 stat.CO
A Simple Baseline for Bayesian Uncertainty in Deep Learning
New York University(纽约大学);Samsung AI Center Moscow(三星莫斯科人工智能中心);National Research University Higher School of Economics(国立研究型大学高等经济学院)
我们提出了SWA-Gaussian(SWAG),这是一种简单,可扩展和通用的方法,用于深度学习中的不确定性表示和校准。随机权重平均(SWA),它计算随机梯度下降(SGD)迭代的一阶矩,具有修改的学习率调度,最近已被证明可以提高深度学习的泛化能力。使用SWAG,我们使用SWA解决方案作为一阶矩和低秩加对角协方差来拟合高斯,也来自SGD迭代,形成神经网络权重的近似后验分布;然后我们从该高斯分布中采样以执行贝叶斯模型平均。我们根据经验发现,SWAG近似的形状的真实后验,根据描述平稳分布的SGD迭代的结果。此外,我们证明了SWAG在各种各样的任务上表现良好,包括样本检测,校准和迁移学习,与许多流行的替代方案相比,包括MC dropout,KFAC Laplace,SGLD和温度缩放。
2019-12-31 cs.AI cs.CV cs.LG
An integer grid bridge sampler for the Bayesian inference of incomplete birth-death records
在生灭过程的桥路空间与单形和整数网格的乘积空间的排他并之间建立了一一对应。导出了上跳次数固定的整数格桥的精确计数公式。然后构造了一个在这种有限桥路空间上的均匀采样器。这导致了一个蒙特卡罗计划,整数网格桥采样器,IGBS,以评估的转移概率的生灭过程。即使是概率接近于零的罕见事件,现在也可以用受控的相对误差进行评估。基于IGBS的不完全出生-死亡观测值的贝叶斯推断可方便地用于实例演示和对一个真实的严重不完全数据集的分析。与基本的自举滤波器,一个基本的顺序重要性恢复算法进行比较。在新计划中,挥之不去的过滤失败没有找到任何位置。
2022-08-08 math.ST stat.CO stat.ME
Bayesian learning of noisy Markov decision processes
University of Cambridge(剑桥大学);CREST—ENSAE(法国国家统计与经济研究所-国立统计与经济管理学院);HEC Paris(巴黎高等商学院);University of Bristol(布里斯托大学)
我们考虑逆强化学习问题,也就是说,学习的问题,然后预测或模仿基于状态/动作数据的控制器。我们提出了一个统计模型,这样的数据,来自结构的马尔可夫决策过程。采用贝叶斯推理方法,我们展示了如何估计模型的潜在变量,以及如何在一个统一的框架中预测行动。设计了一种新的基于后验分布的马尔可夫链蒙特卡罗(MCMC)采样器。这一步包括一个参数扩展步骤,这是必不可少的良好的收敛性能的MCMC采样器。作为示例,该方法被应用于学习人类控制器。
2012-11-26 cs.LG stat.CO stat.ML
Piecewise Deterministic Markov Processes for Bayesian Inference of PDE Coefficients
Delft University of Technology(代尔夫特理工大学)
本文提出了一种基于分段确定性马尔可夫过程的框架,利用代理模型提升贝叶斯推断效率,特别适用于PDE系数的非线性反问题。
2026-02-05 math.ST stat.AP stat.CO
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的,而与向量自回归的阶数和维数无关,并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言,几何收敛速度被证明是有界的渐近远离团结,几乎肯定或概率趋于一,这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$(Madigan and York,1995)和Gibbs(George and McCulloch,1997)采样器是线性回归模型中贝叶斯模型平均(BMA)最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量,然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的,则这在计算上可能是低效的。在这项工作中,我们引入自适应版本的这些采样器,保持其简单的实施,并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Efficiency Ordering of Stochastic Gradient Descent
North Carolina State University(北卡罗来纳州立大学);IQVIA(艾昆纬)
我们认为随机梯度下降(SGD)算法驱动的一般随机序列,包括独立同分布噪声和随机游走的任意图,等等,并分析它的渐近意义。具体而言,我们采用的概念“效率排序”,一个良好的分析工具,用于比较性能的马尔可夫链蒙特卡罗(MCMC)采样器,SGD算法的Loewner排序的协方差矩阵的形式与缩放的误差在长期内。使用这种顺序,我们表明,更有效的MCMC采样的输入序列也导致较小的协方差的SGD算法的误差在极限。这也表明,当由更有效的链驱动时,SGD迭代在极限中的任意加权MSE变得更小。我们的发现在分散优化和群学习等应用中特别感兴趣,其中SGD在底层通信图上以随机游走的方式实现,以解决成本问题和/或数据隐私问题。我们演示了如何某些非马尔可夫过程,其中典型的混合时间为基础的非渐近界是棘手的,可以超越他们的马尔可夫同行的意义上的效率订购SGD。我们将其应用到梯度下降与洗牌和小批量梯度下降,重申现有文献的关键结果在一个统一的框架下,我们的方法的实用性。经验上,我们还观察到效率排序的SGD的变种,如加速SGD和亚当,打开扩展我们的概念的效率排序到更广泛的随机优化算法的可能性。
2022-09-15 cs.LG
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中,在没有先验信息的情况下,回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的(2013)数据增强(DA)算法。在本文中,我们建立了马尔可夫链的基础上Polson等人。的(2013)DA算法是几何遍历的。证明这一理论结果具有重要的实际意义,因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Dynamical versus Bayesian Phase Transitions in a Toy Model of Superposition
University of Melbourne(墨尔本大学)
利用奇异学习理论研究叠加玩具模型中的相变,推导理论损失闭式公式,发现正k边形临界点,其局部学习系数决定贝叶斯与SGD训练的相变,学习过程表现为从高损失低复杂度到低损失高复杂度的参数空间之旅。
2023-10-10 cs.AI cs.LG
The Ray Tracing Sampler: Bayesian Sampling of Neural Networks for Everyone
University of Arizona(亚利桑那大学)
研究基于光线追踪推导MCMC采样方法,其对随机梯度加热恢复力强且能跨似然障碍。用此方法在单消费级GPU上对多种神经网络架构输出后验分布采样,还证明多种先验采样器是广义光线追踪框架特殊情况,且提供相关代码文档。
2026-07-29 astro-ph.IM stat.ML
SOMA: A Novel Sampler for Bayesian Inference from Privatized Data
Purdue University(普渡大学);Dartmouth College(达特茅斯学院)
本文提出SOMA采样器,通过单个提议同时评估替换所有分量来提高接受率,解决私有化数据贝叶斯推断中DAMCMC混合缓慢的问题,并给出理论保证与实验验证。
2025-11-06 stat.ME
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析,这是研究马尔可夫链蒙特卡罗(MCMC)算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的,部分原因是固定的$n$和$p$的现有结果根本不够尖锐,不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal(2019)提出的,他们为Rosenthal(1996)引入和研究的Gibbs采样器(用于简单的贝叶斯随机效应模型)建立了混合时间结果。然而,这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术(秦等。例如,2019)以提供实质性的数值证据,即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果,两个不同的吉布斯采样器与Rosenthal(1996)考虑的随机效应模型的推广。我们的结果表明,在强正则性条件下,这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
Eryn : A multi-purpose sampler for Bayesian inference
本研究提出整合多种贝叶斯推断进展的MCMC算法,构建了多用途工具箱Eryn,可处理从简单推断到跨维度的参数估计与模型选择问题,并通过多类用例验证其功能。
2023-10-10 astro-ph.CO astro-ph.IM gr-qc
Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference
Universität Heidelberg(海德堡大学);University of Tübingen(蒂宾根大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);Zuse School ELIZA(祖塞ELIZA学院)
本文提出马尔可夫链蒙特卡洛循环类比热机循环,通过自适应集成调度器实现参数调整,发现非高斯模型可产生非零净功,并作为非高斯性度量应用于超新星宇宙学。
2026-09-09 cond-mat.stat-mech cs.AI stat.CO
Stochastic Gradient Line Bayesian Optimization for Efficient Noise-Robust Optimization of Parameterized Quantum Circuits
The University of Tokyo(东京大学);Austrian Academy of Sciences(奥地利科学院);Technische Universität Wien(维也纳工业大学)
优化参数化量子线路是使用近期量子器件的关键步骤。然而,现有的算法,这样的优化需要大量的量子测量拍摄估计的期望值的可观测量和重复多次迭代,其成本已经成为一个关键的障碍,实际使用。我们开发了一个有效的替代优化算法,随机梯度线贝叶斯优化(SGLBO),来解决这个问题。SGLBO通过基于随机梯度下降(SGD)估计更新电路参数的适当方向并进一步利用贝叶斯优化(BO)来估计SGD中每次迭代的最佳步长来降低测量发射成本。此外,我们制定了一个自适应的测量拍摄策略,并介绍了后缀平均技术,以减少统计和硬件噪声的影响。我们的数值模拟表明,与这些技术增强的SGLBO可以大大减少测量拍摄成本,提高精度,并使优化噪声鲁棒性。
2022-08-03 cs.LG quant-ph stat.ML
A marginal sampler for $σ$-Stable Poisson-Kingman mixture models
在贝叶斯非参数混合模型的背景下,研究了一类$σ$稳定的Poisson-Kingman随机概率测度(RPM).这是一个大类的离散RPM,其中包括大多数流行的离散RPM中使用的贝叶斯非参数,如Dirichlet过程,Pitman-Yor过程,归一化逆高斯过程和归一化广义Gamma过程。我们展示了如何某些采样特性和边缘特性的$σ$稳定的泊松-金曼RPM可以有效地利用设计一个马尔可夫链蒙特卡罗(MCMC)算法进行推断贝叶斯非参数混合建模。具体来说,我们引入了一种新的和有效的MCMC采样方案在增广空间,有一个固定数量的辅助变量每次迭代。我们应用我们的抽样方案的密度估计和聚类任务的一维和多维数据集,我们比较它对竞争的抽样方案。
2015-09-24 stat.CO stat.ML
Low Rank Independence Samplers in Bayesian Inverse Problems
Clemson University(克莱姆森大学);North Carolina State University(北卡罗来纳州立大学);Statistical and Applied Mathematical Sciences Institute(统计与应用数学科学研究所)
本文提出一种高效采样方法,用于高维高斯分布的贝叶斯线性逆问题,利用低秩近似先验预条件Hessian进行Metropolis-Hastings独立采样,提升计算效率。
2018-03-12 cs.NA math.NA stat.CO