MCMC for GLMMs
广义线性混合模型（GLS-Model）常用于分析相关的非高斯数据。GLMM中的似然函数仅作为高维积分可用，因此对于GLMM不可能进行闭合形式的推断和预测。由于在封闭形式中没有可用的可能性，因此贝叶斯GLSTs中的相关后验密度也是难以处理的。一般来说，马尔可夫链蒙特卡罗（MCMC）算法用于条件模拟的GLP-C和探索这些后验密度。在这篇文章中，我们提出了不同的国家最先进的MCMC算法拟合GLCLT。这些MCMC算法包括有效的数据增强策略，以及基于扩散和基于Hamilton动力学的方法。这里提出的朗之万和哈密顿蒙特卡罗方法适用于任何GLMM，并说明使用三个最流行的GLMM，即二项数据的逻辑和概率GLMM和计数数据的泊松对数GLMM。我们还提出了有效的数据增强算法的概率单位和逻辑GLP-S。一些这些算法进行了比较，使用一个数值例子。
2022-06-24 stat.AP stat.CO stat.ME
Error-guided likelihood-free MCMC
University of Vienna（维也纳大学）；CERN（欧洲核子研究中心）
本文提出了一种新的后验推理方法，适用于具有难处理证据和似然函数的模型。错误引导的似然无MCMC，或简称EG-LF-MCMC，已被开发用于科学应用，其中研究人员感兴趣的是获得模型参数的近似后验密度，同时避免需要在完整的观测数据上进行昂贵的分量估计量训练或相关方法中表达性汇总统计量的繁琐设计。我们的技术基于两个阶段。在第一阶段中，我们从先验中抽取样本，模拟相应的观测值，并记录它们相对于真实观测值的误差$ε$。我们训练分类器来区分对应和非对应的$(ε, \boldsymbolθ)$元组。在第二阶段，所述分类器以来自训练集的最小记录$ε$值为条件，并用于在马尔可夫链蒙特卡罗采样过程中计算转移概率。通过将MCMC调节到特定的$ε$值，我们的方法也可以以摊销的方式用于推断观测的后验密度，这些观测位于距观测数据给定距离处。我们评估所提出的方法在语义和结构上不同的数据的基准问题，并比较其性能对最先进的近似贝叶斯计算（ABC）。
2021-04-23 cs.LG stat.ML
On the Anatomy of MCMC-Based Maximum Likelihood Learning of Energy-Based Models
UCLA（加州大学洛杉矶分校）
本文研究了马尔可夫链蒙特卡罗（MCMC）抽样在无监督极大似然（ML）学习中的作用。我们的注意力仅限于非归一化概率密度族，其负对数密度（或能量函数）是ConvNet。我们发现，在以前的研究中用于稳定训练的许多技术是不必要的。具有ConvNet潜力的ML学习只需要几个超参数，不需要正则化。使用这个最小框架，我们确定了各种ML学习结果，这些结果完全取决于MCMC采样的实现。一方面，我们表明，这是很容易训练的能量为基础的模型，可以采样现实的图像与短期朗之万。即使MCMC样本在整个训练过程中具有比真正的稳态样本高得多的能量，ML也可以有效且稳定。基于这一见解，我们引入了一种ML方法，该方法具有纯粹的噪声初始化MCMC，高质量的短期合成，以及与具有信息MCMC初始化（如CD或PCD）的ML相同的预算。与以前的模型不同，我们的能量模型可以在训练后从噪声信号中获得真实的高多样性样本。另一方面，使用非收敛MCMC学习的ConvNet势不具有有效的稳态，并且不能被认为是训练数据的近似非归一化密度，因为长期MCMC样本与观察到的图像有很大差异。我们表明，这是很难训练一个ConvNet的潜力，学习一个稳定的状态超过现实的图像。据我们所知，所有以前的模型的长期MCMC样本失去了短期样本的真实性。通过正确调整朗之万噪声，我们训练了第一个ConvNet势，长期运行和稳态MCMC样本是真实的图像。
2019-11-27 cs.CV cs.LG stat.ML
Approximate Inference with Amortised MCMC
University of Cambridge（剑桥大学）；Dartmouth College（达特茅斯学院）
我们提出了一种新的近似推理算法，通过摊销用户选择的MCMC采样器的动态来近似目标分布。其思想是使用近似网络的样本初始化MCMC，应用MCMC算子来改进这些样本，最后使用样本更新近似网络，从而提高其质量。这为近似推理提供了一个新的通用框架，使我们能够部署高度复杂的或隐式定义的具有难以处理的密度的近似族，包括通过深度神经网络扭曲随机源产生的近似。实验将使用深度生成模型的图像建模视为对该方法的挑战性测试。使用摊销MCMC训练的深度模型可以生成逼真的样本，并为具有缺失像素区域的图像产生不同的估算。
2017-05-22 cs.LG stat.ML
Quasi Markov Chain Monte Carlo Methods
用于估计积分的拟蒙特卡罗方法（QMC）是有吸引力的，因为所得估计量通常以比伪随机蒙特卡罗更快的速率收敛。然而，它们可能很难在贝叶斯框架内建立任意后验密度，特别是对于逆问题。我们引入了一个通用的并行马尔可夫链蒙特卡罗（MCMC）框架，我们证明了一个大数定律和一个中心极限定理。在这种情况下，不可逆的过渡进行了研究。然后，我们将这种方法扩展到使用自适应内核和状态条件，遍历性。作为进一步的推广，导出了一个重要抽样估计量，证明了它的渐近无偏性。我们考虑在上述算法中使用完全均匀分布（CUD）数，这导致了一般的并行准MCMC（QMCMC）方法。我们证明了所得到的估计的一致性，并证明了数值，这种方法的规模接近$n^{-2}$，因为我们增加并行化，而不是通常的$n^{-1}$，这是典型的标准MCMC算法。在实际的统计模型中，我们观察到多个数量级的改善相比，伪随机方法。
2018-10-02 math.PR math.ST stat.TH
Parallelizing MCMC Sampling via Space Partitioning
多维和多峰密度函数的有效采样是许多研究领域的一个重要课题。我们描述了一种算法，它允许并行化固有的串行马尔可夫链蒙特卡罗（MCMC）的功能参数的空间划分成多个子空间和采样每个独立的采样。然后，不同子空间的样本通过其积分值重新加权并缝合在一起。这种方法允许通过并行操作来减少采样挂钟时间。它还改进了多模态目标密度的采样，并导致相关性较低的样本。最后，该方法产生的目标密度函数的积分的估计。
2020-08-07 physics.data-an stat.CO
MCMC using Hamiltonian dynamics
哈密顿动力学可以用来产生Metropolis算法的远程建议，从而避免了简单随机行走建议的扩散行为导致的状态空间的缓慢探索。虽然起源于物理学，但哈密顿动力学可以通过简单地引入虚拟的“动量”变量来应用于大多数连续状态空间的问题。其有用性的关键在于，哈密顿动力学保持体积，因此其轨迹可以用于定义复杂的映射，而无需考虑难以计算的雅可比因子-即使通过离散时间近似动力学时，也可以精确保持这一特性。在这篇评论中，我讨论了理论和实践方面的哈密顿蒙特卡罗，并提出了一些变化，包括使用窗口的状态决定接受或拒绝，计算轨迹使用快速近似，回火过程中的轨迹处理孤立的模式，和捷径的方法，防止无用的轨迹需要太多的计算时间。
2012-06-09 physics.comp-ph stat.CO
Divide and Recombine for Large and Complex Data: Model Likelihood Functions using MCMC
在Divide & Recombine（D&R）中，大数据被划分为子集，每种分析方法都被应用于子集，并重新组合输出。这使得深入的分析和实际的计算性能。提出了一种新的D\&R方法来计算大数据的数据模型（DM）参数的似然函数。似然模型（LM）是DM参数的参数概率密度函数。通过将密度拟合到由每个子集的DM似然函数绘制的MCMC中来估计密度参数，然后将拟合的密度重新组合。该程序说明使用正常和偏正态LM的逻辑斯谛回归DM。
2018-01-15 stat.ME stat.ML
Broadly Applicable Approximate MCMC for Switching Stochastic Differential Equations Using Uniformization and Time-Conditioned Factorized Neural Likelihood Estimation
Waseda University（早稻田大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Nippon Medical School（日本医科大学）
本研究提出一种基于均匀化和时间条件化因子化神经似然估计的近似MCMC采样器，用于切换随机微分方程的贝叶斯推断，无需解析转移密度，并在合成与真实数据上验证了其广泛适用性。
2026-10-08 cs.LG stat.ML
Higher-Order Hit-&-Run Samplers for Linearly Constrained Densities
Forschungszentrum Jülich（于利希研究中心）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出一种结合高阶信息与Hit-&-Run机制的约束采样算法，提升复杂约束密度下的采样效率。
2026-07-17 q-bio.QM stat.AP stat.CO
Fourier transform MCMC, heavy tailed distributions and geometric ergodicity
马尔可夫链蒙特卡罗方法在应用数学中作为一种对复杂和高维分布进行数值积分的工具变得越来越流行。然而，MCMC方法的应用重尾分布和分布的分析棘手的密度证明是相当成问题的。在本文中，我们提出了一种新的方法对使用MCMC算法的分布与分析已知的傅立叶变换，特别是重尾分布。该方法的主要思想是在傅立叶域中使用MCMC方法，从与底层特征函数的绝对值成比例的密度中采样。随后的应用程序的Parseval的公式导致一个有效的算法计算积分的基础密度。我们证明了即使在重尾原始分布的情况下，所得到的傅立叶域中的马尔可夫链也可能是几何遍历的。我们说明了我们的方法，包括多变量椭圆轮廓稳定分布的几个数值例子。
2019-12-31 cs.NA math.NA q-fin.CP
A geometric approach to informed MCMC sampling
本文提出一种基于黎曼几何和Fisher-Rao度量的MCMC采样方法，利用平方根表示构造有信息的提议密度，在多种模型上优于传统MH算法，并附带R包。
2024-11-07 stat.CO stat.ME
Multilevel Delayed Acceptance MCMC with an Adaptive Error Model in PyMC3
通过马尔可夫链蒙特卡罗（MCMC）的不确定性量化对于具有昂贵的似然函数的目标概率密度来说可能是极其昂贵的，例如当评估涉及求解偏微分方程（PDE）时，如在广泛的工程应用中的情况。多级延迟接受（MLDA）与自适应误差模型（AEM）是一种新的方法，它通过利用层次化的模型来解决这个问题，增加了复杂性和成本，并在运行中纠正廉价的模型。该方法已集成在开源概率编程包PyMC 3中，并在最新的开发版本中可用。在本文中，该算法是随着一个说明性的例子。
2020-12-10 stat.CO
Unadjusted Hamiltonian MCMC with Stratified Monte Carlo Time Integration
一个随机时间积分建议未调整的哈密顿蒙特卡罗（uHMC），其中涉及一个非常小的修改，通常的Verlet时间积分，因此，很容易实现。对于$μ(dx) \propto e^{-U(x)} dx$形式的目标分布（其中$U: \mathbb{R}^d \to \mathbb{R}_{\ge 0}$是$K$ -强凸的但仅是$L$ -梯度Lipschitz）和具有有限二阶矩的初始分布$ν$，耦合证明表明，利用$O\left((d/K)^{1/3} (L/K)^{5/3} \varepsilon^{-2/3} \log( \boldsymbol{\mathcal{W}}^2(μ, ν) / \varepsilon)^+\right)$梯度估计的随机时间积分的uHMC算法可以实现$μ(dx) \propto e^{-U(x)} dx$-Wasserstein距离$\boldsymbol{\mathcal{W}}^2$中目标分布的$\varepsilon$ -精确近似;而对于这样的粗略目标密度，具有Verlet时间积分的uHMC算法的相应复杂度通常为$O\left((d/K)^{1/2} (L/K)^2 \varepsilon^{-1} \log( \boldsymbol{\mathcal{W}}^2(μ, ν) / \varepsilon)^+ \right)$。还提供了都市可调随机化时间积分器。
2024-10-04 cs.NA math.NA math.PR
Efficient adaptive MCMC through precision estimation
提出了一种新的自适应马尔可夫链蒙特卡罗算法。该算法利用密度偏相关结构的稀疏性，通过精度矩阵的Cholesky因子有效地估计协方差阵。该算法还利用稀疏性从MALA和Metropolis Hasting随机游动建议中有效地采样。此外，提出了一种估计密度的部分相关结构的算法。将其与Cholesky因子估计算法相结合，得到一种有效的黑盒AMCMC方法，该方法可用于具有未知依赖结构的一般密度。两个例子的方法进行了比较，定期经验协方差适应。在这两个例子中，所提出的方法的协方差估计收敛到真正的协方差阵的速度更快，每次迭代的计算成本更低。
2016-02-06 stat.CO
Adaptive Independent Sticky MCMC algorithms
本文提出自适应独立粘性MCMC算法，通过迭代构建基于支持点的非参数提议密度并控制其演化，实现从单变量到多变量目标分布的高效采样。
2016-01-02 stat.CO stat.ML
Likelihood-free MCMC with Amortized Approximate Ratio Estimators
University of Liège（列日大学）；University of Vienna（维也纳大学）
在依赖复杂计算机模拟的科学领域，具有难以处理的可能性的后验推理正成为越来越常见的任务。通常，这些正演模型不承认易处理的密度，迫使从业者使用近似。这项工作介绍了一种新的方法来解决棘手的可能性和边际模型。我们通过学习一个灵活的摊销估计量来实现这一点，该估计量近似于似然证据比。我们证明了学习的比率估计器可以嵌入MCMC采样器中，以近似马尔可夫链中连续状态之间的似然比，使我们能够从难以处理的后验中提取样本。提出了提高数值稳定性和测量近似质量的技术。我们的方法的准确性证明了各种基准对完善的技术。在物理学中的科学应用表明了它的适用性。
2020-06-26 cs.LG stat.ML
Parallelizing MCMC with Machine Learning Classifier and Its Criterion Based on Kullback-Leibler Divergence
University of Toyama（富山大学）
本研究提出基于KL散度的机器学习分类器方法，用于加速MCMC并行计算，通过识别可重构区域近似目标后验分布，简化超参数调整。
2024-11-07 stat.CO
Diffusive Gibbs Sampling
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）
针对传统MCMC在多模态分布上混合不足的问题，提出扩散吉布斯采样（DiGS），利用高斯卷积桥接模态并交替采样，显著提升混合性能，优于并行回火等方法。
2024-05-29 cs.LG stat.CO stat.ML
Stop the Sampler! Classifier-Based Adaptive Stopping for Sampling Kernels
Stanford University（斯坦福大学）
提出将MCMC轨迹终止作为可学习组件，利用非循环生成流网络训练状态依赖分类器，在保证详细平衡条件下自适应停止采样，显著缩短轨迹长度并改善模式覆盖与混合。
2026-07-20 cs.LG stat.ML
High-Order Langevin Diffusion Yields an Accelerated MCMC Algorithm
UC Berkeley（加州大学伯克利分校）；Voleon Group（Voleon集团）
提出了一种基于三阶朗之万动力学的马尔可夫链蒙特卡罗（MCMC）算法，用于对数凹光滑密度分布的采样。高阶动力学允许更灵活的离散方案，我们开发了一种具体的方法，结合分裂更准确的整合。对于广泛的一类$d$ -维分布所产生的广义线性模型，我们证明了由此产生的三阶算法产生的样本从一个分布，这是最多$\varepsilon > 0$在瓦瑟斯坦距离距离从目标分布在$O\left(\frac{d^{1/4}}{ \varepsilon^{1/2}} \right)$步骤。这个结果只需要梯度上的Lipschitz条件。对于一般的强凸势函数，证明了其混合时标为$α$.
2020-05-26 cs.DS cs.LG math.OC
Robust Coordinate Ascent Variational Inference with Markov chain Monte Carlo simulations
变分推断（VI）是一种使用表现更好的分布族来近似难以计算的后验密度的方法。VI是一种替代已经研究得很好的马尔可夫链蒙特卡罗（MCMC）方法近似密度。每种算法都有优点和缺点;是否存在两者的组合，以减轻两者的缺陷？提出了一种将坐标上升变分推断（CAVI）与MCMC相结合的方法。这种新的方法，称为混合CAVI，旨在提高初始化和收敛问题的CAVI的敏感性，提出了一个初始化使用的矩估计方法从一个短的MCMC老化期间。与CAVI不同的是，混合CAVI被证明在后验不是来自条件共轭指数族时也是有效的。
2022-03-23 stat.CO
Learning variational autoencoders via MCMC speed measures
Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）
针对深度潜变量模型中基于梯度的MCMC提议分布自适应方法研究不足的问题，提出基于熵的短程MALA/HMC链自适应策略，优化更紧的变分界，提升了VAEs的留出对数似然与生成性能，可适配复杂后验几何结构。
2023-08-26 cs.CV cs.LG stat.ML
Building a Telescope to Look Into High-Dimensional Image Spaces
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
图像模式可以由其密度集中在高维图像空间中的不同低维子空间上的概率分布来表示。这样的概率密度有天文数字的本地模式对应于典型的模式外观。相关的模式组可以结合起来，形成代表模式概念的宏观图像盆地。最近的工作使用神经网络，捕捉高阶图像统计学习吉布斯模型能够合成许多模式的现实图像。然而，表征学习的概率密度来揭示由局部模式的结构编码的模型的Hopfield记忆，仍然是一个开放的挑战。在这项工作中，我们提出了新的计算实验，映射和可视化吉布斯密度的局部模式结构。有效的测绘需要确定全球流域，而不需要列举无数的模式。受Grenander跳跃扩散方法的启发，我们提出了一种新的MCMC工具，称为吸引扩散（AD），可以通过测量局部模式的亚稳性来捕获高度非凸密度的宏观结构。AD涉及改变目标密度，其中磁化电势惩罚与已知模式的距离，并运行改变的密度的MCMC样本以测量初始链状态的稳定性。使用低维生成器网络来促进探索，我们映射了多达12，288维的图像空间（RGB中的64 $\times$ 64像素）。我们的工作表明：（1）AD可以有效地映射高度非凸的概率密度，（2）模式概率密度的亚稳区域包含相干的图像组，以及（3）训练图像之间的差异的可感知性影响图像盆的亚稳性。
2018-03-02 cs.LG stat.ML
Approximate spectral gaps for Markov chains mixing times in high dimensions
本文引入近似谱隙的概念，分析了通常谱隙为退化或几乎退化的马尔可夫链蒙特卡罗（MCMC）算法的混合时间。我们使用的想法来分析一类MCMC算法的样本从混合密度。作为应用，我们研究了线性回归模型中变量选择Gibbs抽样的混合时间。在回归问题的信号和设计矩阵满足一定的正则条件的情况下，我们证明了对于精心选择的初始分布，Gibbs采样器的混合时间在空间维数上是多项式的.
2019-08-22 stat.CO
A theoretical comparison of the data augmentation, marginal augmentation and PX-DA algorithms
数据增强（DA）算法是一种广泛使用的马尔可夫链蒙特卡罗（MCMC）算法，其基于$p(x|x')=\int_{\mathsf{Y}}f_{X|Y}(x|y)f_{Y|X}(y|x') dy$形式的马尔可夫转移密度，其中$f_{X|Y}$和$f_{Y|X}$是条件密度。Liu和Wu的PX-DA和边际增强算法[J. Amer. Statistic. Assoc.94（1999）1264- 1274]以及Meng和van Dyk [Biometrika 86（1999）301- 320]是DA的替代方案，它们通常收敛得更快，并且仅在计算上要求稍高。这些替代算法的转换密度可以写成$p_R(x|x')=\int_{\mathsf{Y}}\int _{\mathsf{Y}}f_{X|Y}(x|y')R(y,dy')f_{Y|X}(y|x') dy$的形式，其中$R$是$\mathsf{Y}$上的马尔可夫转换函数。证明了当$R$满足一定条件时，由$p_R$驱动的MCMC算法在中心极限定理和算子范数意义下的性能至少与由$p$驱动的MCMC算法一样好.这些结果带来的DA，PX-DA和边缘增强算法的理论比较。我们的重点是刘和吴所利用的群体结构可用的情况。我们证明了基于Haar测度的PX-DA算法至少与任何使用适当的先验构造的PX-DA算法一样好。
2008-04-04 math.ST stat.TH
Optimal Scaling of the MALA algorithm with Irreversible Proposals for Gaussian targets
众所周知，在许多情况下，限制势中的可逆朗之万扩散以指数速度收敛到平衡。在朗之万扩散的漂移中加入不可逆的扰动，保持不变的测度，加速了它向平稳性的收敛。因此，许多现有的作品主张使用这种不可逆的动态采样。当使用这样的随机微分方程（SDEs）的时间离散化来实现马尔可夫链蒙特卡罗算法（MCMC）时，人们可以在离散化之后附加通常的Metropolis-Hastings接受-拒绝步骤，并且这在实践中经常这样做，因为接受-拒绝步骤消除了偏差。另一方面，这样的步骤使所得的链可逆。不知道增加接受-拒绝步骤是否保留了不可逆动力学的更快混合特性。在本文中，我们解决了理论和实践之间的差距，通过分析的最佳尺度的MCMC算法构建的建议移动，是时间步欧拉离散化的不可逆的，高维高斯目标措施。与经典的MALA算法（这里{ \em ip}表示不可逆的提议）相比，我们将得到的算法称为\imala。为了量化成本的算法规模与尺寸$N$，我们证明了适当的重新缩放链的不变性原则。与通常的MALA算法相反，我们表明，可能有两个制度渐近：（i）扩散制度，如在MALA算法和（ii）一个“流体”制度的限制是一个常微分方程。我们提供了具体的例子，限制是一个扩散，在标准的MALA，但可证明更高的限制接受概率。数值结果也证实了理论。
2019-07-01 math.PR math.ST stat.ME
Monte Carlo Co-Ordinate Ascent Variational Inference
在变分推断（VI）中，坐标上升和基于梯度的方法是两种主要类型的算法，用于近似难以计算的概率密度。在复杂模型的实际实现中，蒙特卡罗方法被广泛用于估计坐标上升方法中的期望值和导数驱动方法中的梯度。我们讨论了一个蒙特卡罗坐标上升VI（MC-CAVI）算法，利用马尔可夫链蒙特卡罗（MCMC）方法在计算内所需的期望坐标上升VI（CAVI）。我们表明，在正则条件下，MC-CAVI递归将得到任意接近最大化的证据下限（ELBO）与任何给定的高概率。在数值算例中，MC-CAVI算法的性能进行了比较，MCMC和-作为基于导数的VI方法的代表-黑盒VI（BBVI）。我们讨论和证明MC-CAVI的适用性与硬约束模型在模拟和真实的例子。我们比较MC-CAVI的性能与MCMC在一个重要的复杂的模型中使用的核磁共振（NMR）光谱数据分析- BBVI是几乎不可能在这种情况下，由于涉及的模型的硬约束。
2019-10-17 stat.CO
Stochastic Quasi-Newton Langevin Monte Carlo
最近，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法已被提出，用于将蒙特卡罗计算扩展到大数据问题。虽然这些方法已被证明在许多应用中是有用的，但当随机变量在目标密度或大尺度差异下表现出强耦合时，香草SG-MCMC可能会遭受差的混合速率。在这项研究中，我们提出了一种新的SG-MCMC方法，考虑到当地的几何形状，使用拟牛顿优化方法的想法。这些二阶方法通过使用有限的样本历史及其梯度直接近似逆Hessian。我们的方法使用的逆Hessian的密集近似，同时保持时间和内存的复杂性与问题的维度线性。我们提供了一个正式的理论分析，我们表明，所提出的方法是渐近无偏的，并与后验期望一致。我们说明了合成和真实数据集的方法的有效性。我们在两个具有挑战性的应用程序的实验表明，我们的方法实现了快速的收敛速度类似于黎曼方法，而在同一时间具有较低的计算要求类似于对角预处理方法。
2016-12-12 stat.ML
Monte Carlo on manifolds: sampling densities and integrating functions
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文提出在欧几里得空间中定义的流形上基于马尔可夫链蒙特卡洛的方法，用于采样概率分布和计算积分，并通过实验验证了其在硬球系统熵计算中的有效性。
2017-09-20 cond-mat.stat-mech cs.NA math.NA
A Brief Review of Optimal Scaling of the Main MCMC Approaches and Optimal Scaling of Additive TMCMC Under Non-Regular Cases
最近，Dutta和Bhattcharya（2013）提出了基于变换的马尔可夫链蒙特卡罗（TMCMC），作为梅特罗波利斯-黑斯廷斯算法，随机游动Metropolis（RWM）算法的有效替代方案，特别是在高维中。该算法的主要优点是通过对单个随机变量进行适当的确定性变换，同时更新高维参数的所有分量，从而降低了时间复杂度，提高了接受率。Dey和Bhattacharya（2013）已经针对高斯建议密度研究了加性TMCMC方法的最佳缩放。在本文中，我们讨论了基于扩散的最佳缩放行为的非高斯建议密度-特别是均匀，学生t和柯西建议。我们还考虑了基于扩散的最佳缩放的非高斯建议时，目标密度是不连续的。在随机游动大都会（RWM）算法的情况下，Neal和Roberts（2011）已经根据期望平方跳跃距离（ESJD）研究了这些非规则情况，但是没有考虑基于扩散的方法。虽然我们不能正式证明我们的扩散结果的柯西建议，模拟的结果使我们猜想，扩散结果仍然适用于柯西的情况。我们比较我们的扩散为基础的TMCMC方法与ESJD为基础的RWM方法非常具有挑战性的柯西提案的情况下，表明我们的前一种方法明显优于后者。
2017-07-25 stat.CO
Laplacian Smoothing Stochastic Gradient Markov Chain Monte Carlo
University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度朗之万动力学（SGLD）算法作为一种重要的马尔可夫链蒙特卡罗（MCMC）方法，在贝叶斯学习和后验抽样方面取得了巨大的成功。然而，SGLD通常遭受缓慢的收敛速度，由于其由随机梯度引起的大方差。为了缓解这些缺点，我们利用最近开发的拉普拉斯平滑（LS）技术，并提出了一个拉普拉斯平滑随机梯度朗之万动力学（LS-SGLD）算法。我们证明，从对数凹和非对数凹密度采样，LS-SGLD实现严格较小的离散误差在$2$ -Wasserstein距离，虽然它的混合速度可以稍微慢。在人工和真实数据集上的实验验证了我们的理论结果，并证明了LS-SGLD在不同机器学习任务上的优越性能，包括后验采样、贝叶斯逻辑回归和训练贝叶斯卷积神经网络。代码可在\url{https://github.com/BaoWangMath/LS-MCMC}上获得。
2019-11-02 cs.LG cs.NA math.NA
Layered Adaptive Importance Sampling
University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
蒙特卡罗方法代表了用于近似涉及多维目标分布的复杂积分的“事实上的”标准。为了从目标分布生成随机实现，蒙特卡罗技术使用更简单的提议概率密度来绘制候选样本。任何此类方法的性能都与建议分布的规格严格相关，因此不幸的选择很容易对结果估计造成严重破坏。在这项工作中，我们引入了一个分层（即，分层）过程来生成在蒙特卡罗方案内采用样本。这种方法确保总是自动获得适当的等效建议密度（从而消除灾难性性能的风险），尽管代价是复杂性的适度增加。此外，我们提供了一个通用的统一的重要性抽样（IS）框架，其中采用多个建议密度和几个IS计划引入所谓的确定性混合方法。最后，鉴于这些计划，我们还提出了一类新的自适应重要性采样器使用人口的建议，其中的适应是由独立的并行或相互作用的马尔可夫链蒙特卡罗（MCMC）链驱动。由此产生的算法有效地结合了IS和MCMC方法的优点。
2016-11-27 cs.LG stat.CO stat.ML
Optimal scaling of the independence sampler: Theory and Practice
独立采样器是最常用的MCMC算法之一，通常作为Metropolis-within-Gibbs算法的一个组成部分。独立抽样者的共同焦点是选择建议分布以获得尽可能高的接受率。在本文中，我们有一个有点不同的重点集中在使用的独立采样器更新增强数据的贝叶斯框架中存在的独立采样器的自然建议分布。因此，我们集中在比例的增广数据更新，以优化独立采样器。通用的准则，优化独立采样器获得独立和相同分布的产品密度镜像的随机游动大都会算法的调查结果。通用的指导方针是翔实的理想化的产品密度在两个流行病的例子超出了狭窄的范围。
2016-10-03 stat.CO
Does Hamiltonian Monte Carlo mix faster than a random walk on multimodal densities?
Harvard University（哈佛大学）；University of Ottawa（渥太华大学）
汉密尔顿蒙特卡罗（HMC）是一种非常流行且通用的马尔可夫链蒙特卡罗（MCMC）算法集合。HMC算法流行的一个解释是它们在目标的维度$d$变大时的优异性能：在满足许多常见统计模型的条件下，优化的HMC算法具有像$d^{0.25}$那样缩放的运行时间。与此形成鲜明对比的是，通常的随机行走大都会（RWM）算法的运行时间，优化调整，规模像$d$。这种优越的缩放的HMC算法的尺寸归因于这样一个事实，即它，不像RWM，在建议分布中的梯度信息。在本文中，我们调查了一个不同的缩放问题：高$\textit{multimodal}$目标的HMC击败RWM？我们发现答案往往是$\textit{no}$。我们计算的频谱间隙的算法为一个特定的类的多模态目标密度，并表明它们是相同的。关键原因在于，在一个模式内，梯度有效地忽略了其他模式，从而否定了HMC算法在单峰目标中享有的优势。我们也给启发式的论点表明，上述观察可能持有相当普遍。我们回答这个问题的主要工具是一个新的简单公式的HMC电导刘维尔定理。这一结果使我们能够计算谱间隙的HMC算法，为经典的HMC与各向同性的动量和最近的黎曼HMC，多模态目标。
2018-09-04 cs.LG math.PR stat.CO
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School（斯威本商学院）
变分贝叶斯（VB）是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗（MCMC），但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明，VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是，我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
Modeling with a Large Class of Unimodal Multivariate Distributions
在本文中，我们引入了一类新的多元单峰分布，Khintchine的表示的动机。首先，我们提出了一个单变量模型，其支持覆盖所有的实直线上的单峰分布。通过使用多元高斯copula，所提出的单峰分布类可以自然地扩展到高维。在单变量和多变量设置下，我们提供MCMC算法来执行关于模型参数和预测密度的推断。用单变量和双变量的例子，并从一个真正的数据集的变量说明的方法。
2015-06-24 stat.ME
Composing inference algorithms as program transformations
Indiana University（印第安纳大学）
对于每个目标模型和每个推理算法，概率推理过程通常都是从头开始精心编写的。我们通过自动从模型生成推理过程来减少这一工作。我们通过将推理算法分解为可重用的程序到程序转换来实现代码生成模块化。这些转换执行精确的推理，并生成计算期望值、密度和MCMC样本的概率程序。由此产生的推理过程是准确和快速的其他概率编程系统在现实世界中的问题。
2017-07-12 cs.AI stat.CO stat.ME
Stochastic Normalizing Flows
Tongji University（同济大学）；FU Berlin（柏林自由大学）
在机器学习和统计力学中，指定为归一化常数的概率分布的采样是一个重要的问题。虽然经典的随机抽样方法，如马尔可夫链蒙特卡罗（MCMC）或朗之万动力学（LD）可能会受到缓慢的混合时间，有越来越多的兴趣使用规范化流，以了解一个简单的先验分布的转换到给定的目标分布。在这里，我们提出了一种广义的和组合的方法来采样目标密度：随机归一化流（SNF）-确定性可逆函数和随机采样块的任意序列。我们发现，随机性克服了可逆性约束导致的归一化流的表达性限制，而采样步骤之间的可训练变换提高了纯MCMC/LD沿流的效率。通过调用非平衡统计力学的思想，我们推导出一个有效的训练过程，通过该过程，采样器和流的参数都可以端到端进行优化，并且通过该过程，我们可以计算精确的重要性权重，而不必边缘化随机块的随机性。我们说明了代表性的权力，抽样效率和渐近正确性的SNFs在几个基准，包括应用到采样分子系统的平衡。
2020-10-26 cs.LG physics.chem-ph physics.data-an
Local Sequential MCMC for Data Assimilation with Applications in Geoscience
本研究针对高维数据同化中的权重退化与效率问题，在SMCMC框架下提出局部化方法，通过限制转移密度至观测区域降低自由度，经地球科学相关高维模型与真实/合成观测测试，在高精度需求下效率与准确性优于对比方法。
2024-09-11 cs.NA math.NA stat.CO
Modular Markov chain Monte Carlo with application to multimodal sampling
University of Kansas（堪萨斯大学）
本文提出模块化MCMC方法，通过并行构建约束于目标空间子集的马尔可夫链，结合加权估计以减少方差，应用于多模分布的采样，提升温控方法的效率。
2026-05-02 stat.CO stat.ME
Dynamic density estimation with diffusive Dirichlet mixtures
在连续变密度空间上引入一类新的非参数先验分布，它是由随时间扩散的Dirichlet过程混合物引起的。这些选择时间索引的随机函数没有跳跃，其部分是连续或离散分布取决于内核的选择。该构造利用了Dirichlet过程的广泛使用的棒断裂表示，并通过用一维Wright-Fisher扩散替换棒断裂分量来诱导时间依赖性。这些功能相结合的模型，继承自赖特-费舍尔扩散和狄利克雷混合结构，具有很大的灵活性和后验计算的易处理性吸引人的属性。该结构可以很容易地扩展到多参数GEM边缘状态，其中包括，例如，Pitman-Yor过程。一个完整的推理策略，详细说明了模拟和真实数据。
2016-02-09 math.PR math.ST stat.ME
