Partial Order MCMC for Structure Discovery in Bayesian Networks
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）；University of Helsinki（赫尔辛基大学）
提出了一种新的估计贝叶斯网络结构特征后验概率的马尔可夫链蒙特卡罗方法。该方法从节点上的偏序的后验分布中抽取样本;对于每个采样的偏序，精确计算感兴趣的条件概率。我们给出的分析和实证结果表明，新方法的优越性相比，以前的方法，样本无论是有向无环图或线性订单的节点。
2012-02-14 cs.LG stat.ML
MCMC for Bayesian estimation of Differential Privacy from Membership Inference Attacks
Sabancı University（萨班哲大学）
提出MCMC-DP-Est框架，通过MCMC算法结合多种成员推理攻击证据，联合估计攻击强度与训练算法隐私参数的完整后验分布，实现更谨慎的差分隐私贝叶斯估计。
2025-04-23 cs.LG stat.ML
Bayesian Learning in Undirected Graphical Models: Approximate MCMC algorithms
无向图模型中的贝叶斯学习|计算参数和预测量的后验分布是非常困难的。我们猜想，对于一般的无向模型，有没有听话的MCMC（马尔可夫链蒙特卡罗）计划给出正确的平衡分布参数。虽然这种棘手性，由于分区函数，是熟悉的那些执行参数优化，贝叶斯学习的后验分布在无向模型参数尚未探索，并提出了新的挑战。我们提出了几个近似MCMC计划和测试充分观察的二元模型（玻尔兹曼机）的一个小的冠心病数据集和较大的人工系统。虽然近似必须在模型上表现良好，但它们与抽样方案的相互作用也很重要。基于变分平均场近似的采样器通常表现不佳，使用循环传播、简短采样和随机动力学的更先进的方法导致可接受的参数后验。最后，我们展示了这些技术上的马尔可夫随机场的隐变量。
2012-07-11 cs.LG stat.ML
Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC
University of California, Irvine（加州大学尔湾分校）；Google（谷歌）；Yahoo Labs（雅虎实验室）；University of Amsterdam（阿姆斯特丹大学）
尽管具有各种吸引人的品质，如高预测精度和量化不确定性和避免过拟合的能力，但由于推理成本过高，贝叶斯矩阵分解尚未被广泛采用。在本文中，我们提出了一个可扩展的分布式贝叶斯矩阵分解算法使用随机梯度MCMC。我们的算法，基于分布随机梯度Langevin动力学，不仅可以匹配标准MCMC方法，如吉布斯抽样的预测精度，但同时是快速和简单的随机梯度下降。在我们的实验中，我们表明，我们的算法可以达到相同水平的预测精度吉布斯采样一个数量级更快。我们还表明，我们的方法降低了预测误差的速度与分布式随机梯度下降一样快，Netflix数据集的RMSE提高了4.1%，Yahoo音乐数据集的RMSE提高了1.8%。
2015-03-10 cs.LG stat.ML
Efficient MCMC Sampling for Bayesian Matrix Factorization by Breaking Posterior Symmetries
University of Michigan（密歇根大学）
贝叶斯低秩矩阵分解技术已成为关系数据分析和矩阵补全的重要工具。标准的方法是在因子矩阵的列或行上分配零均值高斯先验以创建共轭系统。这种先验的选择导致简单的实现;然而，它也会导致后验分布的对称性，这会严重降低马尔可夫链蒙特卡罗（MCMC）采样方法的效率。在本文中，我们提出了一个简单的修改先验选择，可证明打破这些对称性，并保持/提高精度。具体来说，我们提供的条件，高斯先验均值和协方差必须满足，使后验不表现出不变性，产生采样困难。例如，我们表明，使用非零线性独立的先验均值显着降低了MCMC样本的自相关性，也可以导致较低的重建误差。
2020-11-10 cs.LG stat.ML
Knowledge Removal in Sampling-based Bayesian Inference
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
被遗忘的权利在许多国家都有立法，但在人工智能行业实施将造成无法承受的成本。当单个数据删除请求到来时，公司可能需要删除使用大量资源学习的整个模型。现有的工作提出了从显式参数化模型的数据中去除知识的方法，然而，这些方法不适用于基于采样的贝叶斯推理，即，马尔可夫链蒙特卡罗（MCMC），因为MCMC只能推断隐式分布。在本文中，我们提出了第一个机器遗忘算法MCMC。我们首先将MCMC学习问题转化为一个显式优化问题。在此基础上，设计了一个{ \it MCMC影响函数}来可证明地表征从数据中学习到的知识，从而实现MCMC去学习算法。理论分析表明，MCMC unlearning不会损害MCMC模型的泛化能力。在高斯混合模型和贝叶斯神经网络上的实验验证了该算法的有效性。代码可在\url{https://github.com/fshp971/mcmc-unlearning}上获得。
2022-03-24 cs.AI cs.LG stat.ML
A Unified Particle-Optimization Framework for Scalable Bayesian Sampling
University at Buffalo（布法罗大学）；Duke University（杜克大学）
最近人们对开发可扩展的贝叶斯采样方法感兴趣，例如用于大数据分析的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）。标准SG-MCMC算法模拟来自离散时间马尔可夫链的样本以近似目标分布，因此样本可能是高度相关的，这是SG-MCMC的不期望的属性。相反，SVGD直接优化一组粒子来近似目标分布，因此能够用相对少得多的样本获得良好的近似。在本文中，我们提出了一个原则粒子优化框架的基础上Wasserstein梯度流统一SG-MCMC和SVGD，并允许开发新的算法。我们的框架将SG-MCMC解释为概率测度空间上的粒子优化，揭示了SG-MCMC和SVGD之间的紧密联系。我们的框架的关键组成部分是几个粒子近似技术，有效地解决了原来的偏微分方程的空间上的概率测度。在合成数据和深度神经网络上的大量实验证明了我们的可扩展贝叶斯采样框架的有效性和效率。
2018-07-10 cs.LG stat.ML
A Bayesian Approach To Graph Partitioning
提出了一种基于高斯过程（GP）的局部图电导学习算法，该算法利用MCMC的收敛思想，构造了一种可扩展的、快速收敛到平稳分布的算法，用于学习无向加权图中电导的最小值.第一个度量嵌入用于表示图的顶点。然后，计算训练点的均匀诱导电导。最后，在学习步骤中，使用高斯过程来近似均匀诱导电导。MCMC用于度量估计超参数的不确定性。
2022-04-24 cs.LG
Meta-Learning for Stochastic Gradient MCMC
University of Cambridge（剑桥大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法在大规模贝叶斯建模中被广泛应用于后验样本的模拟。然而，现有的SG-MCMC计划并不适合任何特定的概率模型，即使是一个简单的修改的基础动力系统需要显着的物理直觉。本文提出了第一个元学习算法，允许自动设计的基础连续动态的SG-MCMC采样器。学习的采样器通过状态依赖的漂移和扩散来概括哈密顿动力学，从而实现神经网络能量景观的快速遍历和有效探索。实验验证了贝叶斯全连接神经网络和贝叶斯递归神经网络任务的方法，学习采样器优于通用的，手工设计的SG-MCMC算法，并推广到不同的数据集和更大的架构。
2018-06-12 cs.LG stat.ML
Revisiting Bayesian Autoencoders with MCMC
自动编码器在深度学习革命中获得了普及，因为它们能够压缩数据并提供降维。尽管已经使用了突出的深度学习方法来增强自动编码器，但提供鲁棒的不确定性量化的需求仍然是一个挑战。到目前为止，这已经用变分自编码器解决了。贝叶斯推理通过马尔可夫链蒙特卡罗（MCMC）抽样面临着一些限制，大型模型，但是，最近的进步，并行计算和先进的建议方案开辟了路线少走。本文提出了贝叶斯自动编码器的MCMC采样实现使用并行计算和Langevin梯度建议分布。结果表明，所提出的贝叶斯自动编码器提供类似的性能精度相比，在文献中的相关方法。此外，它提供了减少数据表示的不确定性量化。这促使贝叶斯自动编码器框架进一步应用于其他深度学习模型。
2022-04-28 cs.AI cs.LG stat.AP
Accelerating MCMC algorithms through Bayesian Deep Networks
Universidad Nacional de Colombia（哥伦比亚国立大学）；Romanian Institute of Science and Technology (RIST)（罗马尼亚科学技术研究院（RIST））；Munich Re Markets（慕尼黑再保险市场部）
马尔可夫链蒙特卡罗（MCMC）算法由于其在复杂概率分布采样中的通用性而被广泛使用。然而，随着分布的维度变得更大，令人满意的采样空间探索的计算成本变得具有挑战性。自适应MCMC方法采用的建议分布的选择，可以解决这个问题，加快收敛。在本文中，我们展示了另一种方法来执行自适应MCMC，通过使用贝叶斯神经网络的结果作为马尔可夫链的初始建议。这种组合方法提高了Metropolis-Hasting算法的接受率，并在达到相同最终精度的同时加速了MCMC的收敛。最后，我们通过直接从宇宙微波背景图中约束宇宙学参数来证明这种方法的主要优点。
2020-11-29 astro-ph.CO cs.AI cs.LG
Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；New York University（纽约大学）
神经网络权值的后验是高维多模态的。每种模式通常表征数据的有意义的不同表示。我们开发了循环随机梯度MCMC（SG-MCMC）来自动探索这种分布。特别是，我们提出了一个周期性的步长时间表，其中较大的步骤发现新的模式，和较小的步骤表征每个模式。我们还证明了我们提出的算法的非渐近收敛性。此外，我们提供了广泛的实验结果，包括ImageNet，以证明循环SG-MCMC在学习复杂多模态分布方面的可扩展性和有效性，特别是对于现代深度神经网络的完全贝叶斯推理。
2020-05-11 cs.AI cs.CV cs.LG
Bayesian structure learning using dynamic programming and MCMC
MCMC方法从DAG的空间采样可以混合不良，由于当地的性质，通常使用的建议。已经表明，从节点阶数空间采样会产生更好的结果[FK 03，EW 06]。最近，Koivisto和Sood展示了如何使用动态规划（DP）[KS 04，Koi06]分析边际化订单。他们的方法计算精确的边际后边缘概率，从而避免了对MCMC的需要。不幸的是，DP技术有四个缺点：它只能使用模块化先验，它只能计算模块化特征的后验，难以计算预测密度，并且需要指数时间和空间。我们将展示如何克服前三个问题，通过使用DP算法作为建议分布MCMC在DAG空间。我们表明，这种混合技术比其他方法更快地收敛到后验，从而在测试数据上实现更准确的结构学习和更高的预测可能性。
2012-06-20 cs.LG stat.ML
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit（盖比计算神经科学单元）；University College London（伦敦大学学院）
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中，我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想，并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间，然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO（荷兰应用科学研究组织）；Utrecht University（乌得勒支大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了马尔可夫链蒙特卡罗（MCMC）推理方法Prune Sampling，并对它在离散和确定性贝叶斯网络（BN）中的性能进行了分析。我们开发了一个程序，以获得性能的MCMC采样方法在无限的模拟时间的限制，从相对较短的模拟外推。这种方法被用来进行一项研究，以比较准确性，收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法：吉布斯和大都会采样。我们发现，修剪采样创建的马尔可夫链总是收敛到所需的后验分布，也为传统的吉布斯抽样失败的网络。除此之外，我们证明了修剪优于吉布斯抽样，至少对于某一类BN。不过，这个诱人的功能是有代价的。在Prune Sampling的第一个版本中，对于大BN，统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是，修剪采样是所有类型的小型和中型BN的竞争力的方法，但（现在）标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ（巴黎萨克雷大学，凡尔赛大学校区）；Sorbonne Paris Nord University（索邦巴黎北大学）；LIPN（巴黎北部科学实验室）
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法，通过潜在多元高斯块分布实现非参数联合聚类，经实验验证在聚类准确率和效率上表现良好，还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML
Distributed, partially collapsed MCMC for Bayesian Nonparametrics
Princeton University（普林斯顿大学）
贝叶斯非参数（BNP）模型提供了用于发现数据集中潜在特征的优雅方法，但此类模型中的推理可能很慢。我们利用的事实，完全随机措施，常用的模型，如狄利克雷过程和β-伯努利过程可以表示为，可分解成独立的子措施。我们使用这种分解的潜在措施划分成一个有限的措施，只包含实例化的组件，和一个无限的措施，包含所有其他组件。然后，我们选择不同的推理算法的两个组件：未塌陷的采样器混合以及有限的措施，而塌陷的采样器混合以及无限的，稀疏占用的尾巴。由此产生的混合算法可以应用于广泛的一类模型，并可以很容易地分布，以允许可扩展的推理，而不牺牲渐近收敛保证。
2020-03-04 cs.LG stat.ML
Parallel Approaches to Accelerate Bayesian Decision Trees
University of Liverpool（利物浦大学）
马尔可夫链蒙特卡罗（MCMC）是一个成熟的算法家族，主要用于贝叶斯统计，当直接采样具有挑战性时，从目标分布中进行采样。贝叶斯决策树的现有工作使用MCMC。不幸的是，这可能很慢，特别是在考虑大量数据时。很难并行化MCMC的接受-拒绝组件。然而，我们提出了两种方法，利用并行MCMC：在第一，我们取代MCMC与另一个数值贝叶斯方法，序贯蒙特卡罗（SMC）采样器，它具有吸引力的属性，它是一个固有的并行算法;在第二，我们考虑数据分区。这两种方法都使用具有高性能计算（HPC）资源的多核处理。我们在各种研究环境中测试这两种方法，以确定哪种方法对每个测试用例最有利。实验表明，数据分区在我们考虑的设置中具有有限的实用性，并且使用SMC采样器可以提高运行时间（与顺序实现相比）高达343倍。
2023-01-22 cs.AI cs.DC cs.LG
Course Project Report: Comparing MCMC and Variational Inference for Bayesian Probabilistic Matrix Factorization on the MovieLens Dataset
The Chinese University of Hong Kong（香港中文大学）
本项目针对贝叶斯概率矩阵分解后验计算难解的问题，采用MCMC和VI两种方法近似后验，在MovieLens数据集上对比发现VI收敛更快，MCMC后验估计更准确。
2025-06-12 cs.LG stat.ML
Continuous-Time Birth-Death MCMC for Bayesian Regression Tree Models
Amsterdam Business School（阿姆斯特丹商学院）；University of Amsterdam（阿姆斯特丹大学）；The Ohio State University（俄亥俄州立大学）；University of Tilburg（蒂尔堡大学）
决策树是一种灵活的模型，非常适合于许多统计回归问题。在回归树的贝叶斯框架中，需要马尔可夫链蒙特卡罗（MCMC）搜索算法根据树模型的后验概率来生成树模型的样本。这样的MCMC算法的关键组成部分是构建良好的Metropolis-Hastings步骤更新树拓扑结构。然而，这样的算法经常遭受局部模式粘性和差的混合。因此，算法收敛缓慢。目前，作者主要使用离散时间出生/死亡机制的贝叶斯（总和）回归树模型来探索模型空间。这些算法是有效的，只有当接受率是高的，这并不总是这种情况。在这里，我们克服了这个问题，开发了一种新的搜索算法，这是基于连续时间的出生-死亡马尔可夫过程。该搜索算法通过在对应于不同树结构的参数空间之间跳跃来探索模型空间。在该算法中，模型之间的移动总是可以接受的，可以显着改善MCMC算法的收敛性和混合性能。我们为贝叶斯回归树模型的算法提供了理论支持，并证明了它的性能。
2020-10-26 cs.LG stat.CO stat.ME
Tree-Guided MCMC Inference for Normalized Random Measure Mixture Models
Pohang University of Science and Technology（浦项科技大学）
标准化随机测度（Normalized Random Measures，NRM）是一类离散随机测度，通常用作贝叶斯非参数模型的先验。Dirichlet过程是NRM的一个众所周知的例子。大多数NRM混合模型的后验推理方法依赖于MCMC方法，因为它们易于实现并且其收敛性已经得到了很好的研究。然而，MCMC经常遭受缓慢的收敛时，接受率低。基于树的推理是另一种确定性后验推理方法，其中贝叶斯层次聚类（BHC）或增量贝叶斯层次聚类（IBHC）已分别为DP或NRM混合（NRMM）模型开发。虽然IBHC是NRMM模型后验推理的一种很有前途的方法，因为它的效率和在线推理的适用性，但它的收敛性不能保证，因为它使用了在多次试验后简单地选择最佳解决方案的算法。本文结合MCMC和IBHC的优点，提出了一种NRMM模型的混合推理算法。IBHC构建的树概述了数据的分区，这指导了Metropolis-Hastings程序采用适当的建议。继承MCMC的性质，我们的树引导MCMC（tgMCMC）是保证收敛，并享受快速收敛由于有效的建议指导树。在合成数据集和真实数据集上的实验证明了我们方法的优点。
2015-11-18 cs.LG stat.ML
Stochastic Gradient MCMC with Stale Gradients
Duke University（杜克大学）；Google Inc.（谷歌公司）
随机梯度MCMC（SG-MCMC）在大规模贝叶斯学习中发挥了重要作用，具有良好的理论收敛性。在SG-MCMC的这种应用中，采用分布式系统变得越来越流行，其中基于一些过时的参数计算随机梯度，产生所谓的陈旧梯度。虽然陈旧的梯度可以直接用于SG-MCMC，其对收敛性能的影响还没有得到很好的研究。在本文中，我们发展的理论表明，虽然SG-MCMC算法的偏差和MSE取决于随机梯度的陈旧性，其估计方差在具有SG-MCMC的简单贝叶斯分布式系统中，其中陈旧梯度由一组工作者异步计算，我们的理论表明估计方差w.r.t.的减小的线性加速。工人的数量。在合成数据和深度神经网络上的实验验证了我们的理论，证明了具有陈旧梯度的SG-MCMC的有效性和可扩展性。
2016-10-21 cs.LG stat.ML
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题，涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法，聚焦数据量与维度可扩展性，推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Differentially Private Distributed Bayesian Linear Regression with MCMC
Sabancı University（萨班哲大学）；University of Amsterdam（阿姆斯特丹大学）
面向多方共享含噪汇总统计量的分布式场景，提出差分隐私 Bayesian 线性回归框架，利用 MCMC 及单轮快速算法实现兼具计算优势、估计与预测性能的隐私推断。
2023-06-07 cs.LG stat.CO stat.ML
Sampling for Bayesian Mixture Models: MCMC with Polynomial-Time Mixing
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
本文研究了贝叶斯高斯混合模型中的幂后验分布抽样问题。这种幂后验被认为是非对数凹和多模态的，这导致了一些标准MCMC算法的指数混合时间。我们介绍并研究了用于采样的反射大都会-黑斯廷斯随机游动（RMRW）算法。对于对称的两组分高斯混合模型，只要样本量$n$为$d (d + \Vert θ_{0} \Vert^2)$阶，我们证明了其混合时间有界为$d^{1.5}(d + \Vert θ_{0} \Vert^2)^{4.5}$.值得注意的是，该结果不需要对两个平均值的分离有任何条件。途中证明这个界限，我们建立了一些新的结果可能独立的利益，允许结合庞加莱不等式的条件和边际密度。
2019-12-11 cs.DS cs.LG math.PR
PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling
University of Oxford（牛津大学）；Aalto University（阿尔托大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）；University of Copenhagen（哥本哈根大学）；Imperial College London（伦敦帝国学院）
PriorCVAE通过以随机过程超参数为条件编码GP先验，实现超参数联合估计与可扩展MCMC推断，且适用于ODE解等模型，具有广泛实用性。
2023-11-10 cs.LG stat.ML
Online, Informative MCMC Thinning with Kernelized Stein Discrepancy
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Supply Chain Optimization Technologies（亚马逊供应链优化技术部门）
贝叶斯推理中的一个基本挑战是目标分布的有效表示。许多非参数方法通过使用马尔可夫链蒙特卡罗（MCMC）的变体对大量点进行采样来实现。我们提出了一个MCMC变体，它只保留那些超过KSD阈值的后验样本，我们称之为KSD细化。我们建立的收敛性和复杂性权衡的几个设置KSD细化KSD阈值参数，样本大小，和其他问题的参数的函数。最后，我们提供了对其他在线非参数贝叶斯方法，生成低复杂性的后验表示，并观察优越的一致性/复杂性权衡实验比较。代码可在github.com/colehawkins/KSD-Thinning上获得。
2022-04-21 cs.LG stat.ML
Improving sample efficiency of high dimensional Bayesian optimization with MCMC
Tsinghua University（清华大学）；California Institute of Technology（加州理工学院）
针对高维贝叶斯优化中的维数灾难和计算复杂度问题，提出基于马尔可夫链蒙特卡洛的高效采样方法，在高斯过程汤普森采样下具备理论收敛保证，并在高维序贯优化与强化学习基准中超越现有最先进方法。
2024-01-05 cs.LG stat.ML
Novel Deep neural networks for solving Bayesian statistical inverse
George Mason University（乔治梅森大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文研究了大规模线性和非线性偏微分方程（PDE）的贝叶斯统计反问题的模拟。马尔可夫链蒙特卡罗（MCMC）算法是解决此类问题的标准技术。然而，MCMC技术在计算上具有挑战性，因为它们需要数千个正向PDE解。本文的目标是介绍一种基于分数深度神经网络的方法，用于MCMC例程中的正向求解。此外，我们讨论了一些近似误差估计，并通过几个数值例子说明我们的方法的效率。
2021-02-08 cs.LG cs.NA math.NA
Statistic Selection and MCMC for Differentially Private Bayesian Estimation
Sabancı University（萨班哲大学）
本文研究了当一个样本的统计量在噪声中被共享以提供差分隐私时，总体分布参数的差分隐私贝叶斯估计。本文主要解决两个问题：（1）样本的哪些统计量应该私下共享？对于第一个问题，即，关于统计量选择的问题，我们提出了利用费舍尔信息的方法。我们发现，在非隐私设置中信息量最大的统计量可能不是隐私限制下的最佳选择。我们提供了几个例子来支持这一点。我们考虑了几种类型的数据共享设置，并提出了几种基于蒙特卡罗的数值估计方法来计算这些设置的费舍尔信息。第二个问题涉及推理：（2）基于共享统计量，我们如何进行有效的贝叶斯推断？我们提出了几个马尔可夫链蒙特卡罗（MCMC）算法的采样从后验分布的参数给定的噪声统计。建议的MCMC算法可以优先于另一个取决于问题。例如，当共享统计是加性的并且添加了高斯噪声时，利用中心极限定理的简单Metropolis-Hasting算法是一个不错的选择。我们提出了更先进的MCMC算法的其他几种情况下的实际相关性。我们的数值示例涉及比较几个要私下共享的候选统计量。对于每个统计量，我们执行贝叶斯估计的基础上的后验分布条件的私有化版本的统计。我们证明，相对性能的统计量，在贝叶斯估计的均方误差的基础上相应的私有化统计量，充分预测私有化统计的费舍尔信息。
2022-03-28 cs.LG stat.CO stat.ME
Function-Space MCMC for Bayesian Wide Neural Networks
ETH AI Center（ETH人工智能中心）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；Sakana AI（Sakana人工智能公司）
本文研究宽贝叶斯神经网络中利用预条件Crank-Nicolson及其Langevin版本对重参数化后验分布进行采样，证明其接受概率随宽度增大趋近于1，并展示其采样效率和可扩展性优于其他算法。
2025-03-09 cs.LG stat.ML
Comparison of parallel SMC and MCMC for Bayesian deep learning
Mathematics Department, University of Manchester（曼彻斯特大学数学系）；Department of Electrical and Computer Engineering, Southern Methodist University（南方 Methodist 大学电气与计算机工程系）；DEVCOM US Army Research Laboratory（美国陆军研发实验室）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Cognizant AI Labs（Cognizant AI 实验室）；Quantum Information Science Section, Oak Ridge National Laboratory（橡树岭国家实验室量子信息科学部）；Tulane University（Tulane 大学）
本研究系统比较贝叶斯深度学习中并行SMC（SMC∥）与并行MCMC（MCMC∥），证明SMC∥收敛性与单SMC一致且通信更少，发现两者并行实现性能和成本与非并行及彼此相近，但运行不足会灾难性不收敛。
2025-08-20 cs.LG stat.CO stat.ML
$π$VAE: a stochastic process prior for Bayesian deep learning with MCMC
Imperial College London（帝国理工学院）；University of Copenhagen（哥本哈根大学）；University of Oxford（牛津大学）
随机过程提供了一种数学上优雅的方法来模拟复杂的数据。从理论上讲，它们提供了函数类的灵活先验，可以编码各种有趣的假设。然而，在实践中，通过优化或边缘化进行有效推理是困难的，大数据和高维输入空间进一步加剧了这个问题。我们提出了一种新的变分自编码器（VAE）称为先验编码变分自编码器（$π$ VAE）。该$π$ VAE是可交换的和Kolmogorov相容的，因此是一个连续的随机过程。我们使用$π$ VAE来学习函数类的低维嵌入。我们表明，我们的框架可以准确地学习表达函数类，如高斯过程，但也可以学习函数的属性，以实现统计推断（如对数高斯过程的积分）。对于常见的任务，如空间插值，$π$ VAE在精度和计算效率方面都达到了最先进的性能。也许最有用的是，我们证明了低维独立分布的潜在空间表示学习提供了一个优雅的和可扩展的手段进行贝叶斯推理的概率程序设计语言，如斯坦的随机过程。
2022-09-13 cs.LG stat.ML
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Nanjing University（南京大学）
最近，在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注，这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的，但通常难以平衡隐私和实用性之间的权衡。我们表明，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析，并表明标准的SG-MCMC采样器在没有任何修改的情况下（在默认设置下）可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
Compact Bayesian Neural Networks via pruned MCMC sampling
ITTC ARC Centre for Data Analytics for Resources and Environment（ITTC ARC资源与环境数据分析中心）；University of Sydney（悉尼大学）；UNSW Data Science Hub（新南威尔士大学数据科学中心）；University of New South Wales（新南威尔士大学）；Geocoastal Research Group（地理海岸研究组）；Transitional Artificial Intelligence Research Group（过渡人工智能研究组）
针对贝叶斯神经网络训练计算成本高、参数冗余的问题，提出结合MCMC采样与网络剪枝及剪枝后重采样的方法，可在网络规模缩减75%以上时保留泛化与不确定性估计能力，经基准和真实数据集验证有效。
2025-01-12 cs.AI cs.LG
Bayesian learning of forest and tree graphical models
University of Bristol（布里斯托大学）
在高斯图模型结构的贝叶斯学习中，通常将注意力限制在某些类别的图上，并通过使用MCMC或诸如随机鸟枪搜索（SSS）的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布，特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木，和系统存储这些图，以便很容易选择移动到相邻的图形。实验表明，当真实图是树或稀疏图时，带有树的SSS表现良好。在某些情况下，树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测，但需要大范围的概率。森林上的MCMC不能很好地混合，树木上的MCMC比SSS慢。(For更长的摘要见论文。）
2021-08-31 cs.LG stat.ML
Derivative-informed neural operator acceleration of geometric MCMC for infinite-dimensional Bayesian inverse problems
California Institute of Technology（加州理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对无限维贝叶斯反问题中几何MCMC计算成本高的问题，提出融合PtO映射与雅可比样本的导数信息神经算子代理模型，结合延迟接受框架实现3-9倍加速，训练成本仅需10-25个有效样本即可回本。
2024-05-20 cs.LG cs.NA math.NA
Bayesian Structure Learning with Generative Flow Networks
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Technical University of Munich（慕尼黑工业大学）；KTH Stockholm（斯德哥尔摩KTH皇家理工学院）
在贝叶斯结构学习中，我们感兴趣的是从数据中推断贝叶斯网络的有向无环图（DAG）结构上的分布。定义这样的分布是非常具有挑战性的，由于组合大的样本空间，并且通常需要基于MCMC的近似。最近，一类新的概率模型，称为生成流网络（GFlowNets），已被引入作为离散和复合对象（如图）的生成建模的一般框架。在这项工作中，我们建议使用GFlowNet作为MCMC的替代方案，用于近似贝叶斯网络结构上的后验分布，给定观测数据集。从这个近似分布生成样本DAG被视为顺序决策问题，其中基于学习的转移概率，一次构造一个边。通过对模拟数据和真实数据的评估，我们表明，我们的方法，称为DAG-GFlowNet，提供了一个准确的近似后验的DAG，它优于基于MCMC或变分推理的其他方法相比。
2022-06-28 cs.LG stat.ML
Amortized Bayesian Workflow
University of Helsinki（赫尔辛基大学）；ELLIS Institute Finland, Aalto University（芬兰埃利斯研究所、阿尔托大学）；TU Dortmund University（多特蒙德技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Independent Scientist（独立研究者）
本文提出了一种结合快速近似推断与MCMC技术的自适应工作流，通过在处理大量数据集时平衡速度与精度，提升推断效率并保持高质量后验结果。
2026-02-17 cs.LG stat.ML
Towards Efficient MCMC Sampling in Bayesian Neural Networks by Exploiting Symmetry
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；The University of Manchester（曼彻斯特大学）
针对贝叶斯神经网络中MCMC采样成本高且后验多模态的难题，提出利用神经元可互换性等对称性将后验限制在无对称参数集，并推导出所需链数上限，实现了高效且准确的贝叶斯推断。
2023-04-06 cs.LG stat.ML
Segment Parameter Labelling in MCMC Mean-Shift Change Detection
University of Surrey（萨里大学）
本文提出一种基于贝叶斯均值迁移的分段变化检测算法，利用分段参数重复性提升性能。
2017-10-26 cs.LG cs.SY eess.SY
Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC
University of Cambridge（剑桥大学）；Uppsala University（乌普萨拉大学）
本文提出一种全贝叶斯方法，用于非线性非参数状态空间模型中的推断与学习，通过高斯过程先验建模状态转移动态，并利用粒子MCMC进行高效推断。
2013-12-17 cs.LG cs.SY eess.SY
Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications
Purdue University（普渡大学）
在这项工作中，我们提出了一种贝叶斯类型的稀疏深度学习算法。该算法利用一组尖峰和厚板先验作为深度神经网络中的参数。分层贝叶斯混合将使用自适应经验方法进行训练。也就是说，人们将交替地使用预处理的随机梯度朗之万动力学（PSGLD）从后验中采样，并通过随机逼近优化潜变量。通过自适应搜索和惩罚优化超参数，实现了网络的稀疏性。一种流行的SG-MCMC方法是随机梯度朗之万动力学（SGLD）。然而，考虑到非凸学习中模型参数空间中的复杂几何形状，如在SGLD中那样在每个分量中使用通用步长来更新参数可能导致缓慢混合。为了解决这个问题，我们在更新规则中应用了一个计算上可管理的预条件子，它提供了一个步长参数来适应局部几何特性。此外，通过平滑地优化预处理矩阵中的超参数，我们提出的算法确保了减小的偏差，这是通过忽略预处理SGLD中的校正项而引入的。根据现有的理论框架，我们证明了所提出的算法可以渐近收敛到正确的分布在温和的条件下，具有可控的偏差。通过对合成回归问题和椭圆型偏微分方程解的学习，验证了本文方法的正确性和有效性。
2020-06-29 cs.LG cs.NA math.NA
Bayesian Estimation of Mixed Multinomial Logit Models: Advances and Simulation-Based Evaluations
Cornell University（康奈尔大学）；UNSW Australia（澳大利亚新南威尔士大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
变分贝叶斯（VB）方法已成为马尔可夫链蒙特卡罗（MCMC）方法的一种快速且计算效率高的替代方法，用于混合多项logit（MMNL）模型的可扩展贝叶斯估计。已经确定的是，VB比MCMC快得多，几乎不影响预测精度。在本文中，我们解决两个关键的差距有关的使用和理解VB的MMNL。首先，现存的VB方法仅限于涉及个人特定的口味参数的实用程序规范。其次，VB估计的有限样本性质以及VB、MCMC和最大模拟似然估计（MSLE）的相对性能尚不清楚。为了解决前者，本研究扩展了几个VB方法MMNL承认效用规格，包括固定和随机效用参数。为了解决后者，我们进行了广泛的模拟为基础的评估基准的扩展VB方法对MCMC和MSLE的估计时间，参数恢复和预测精度。结果表明，所有的VB变体，除了依赖于一个替代的变分下界的帮助下，修改的詹森不等式的执行以及MCMC和MSLE在预测和参数恢复。特别是，VB与非共轭变分消息传递和增量方法（VB-NCVMP-Delta）比MCMC和MSLE快16倍。因此，VB-NCVMP-Delta可以是MCMC和MSLE的一个有吸引力的替代方案，用于MMNL模型的快速，可扩展和准确的估计。
2019-12-12 cs.LG econ.EM stat.ME
AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计学系）
该研究提出AI4BayesCode系统，通过自然语言描述生成可运行且验证过的MCMC采样器，采用模块化设计和递归状态性编码范式，提升了贝叶斯模型的可靠性和扩展性。
2026-08-03 cs.AI cs.LG stat.CO
Improved Neuronal Ensemble Inference with Generative Model and MCMC
Ibaraki University（茨城大学）
神经元集成推理是生物神经网络研究中的一个重要问题。已经提出了各种方法从神经元活动的实验数据进行集成推断。其中，最近提出了基于生成模型的贝叶斯推断方法。然而，这种方法需要大量的计算成本进行适当的推断。本文通过修改马尔可夫链蒙特卡罗方法中的更新规则，引入模拟退火的思想，提出了一种改进的贝叶斯推断算法。我们比较了我们的算法和原算法的集成推理性能，并讨论了我们的方法的优势。
2021-05-20 cond-mat.dis-nn cs.LG q-bio.NC
