大数据的重中心并行MCMC平均值

大规模复杂数据的分割和重组：使用MCMC建模似然函数

Divide and Recombine for Large and Complex Data: Model Likelihood Functions using MCMC

在Divide & Recombine（D&R）中，大数据被划分为子集，每种分析方法都被应用于子集，并重新组合输出。这使得深入的分析和实际的计算性能。提出了一种新的D\&R方法来计算大数据的数据模型（DM）参数的似然函数。似然模型（LM）是DM参数的参数概率密度函数。通过将密度拟合到由每个子集的DM似然函数绘制的MCMC中来估计密度参数，然后将拟合的密度重新组合。该程序说明使用正常和偏正态LM的逻辑斯谛回归DM。

MCMC驱动的学习

MCMC-driven learning

本文旨在将MCMC与机器学习交叉领域的多种问题统一在一个共同框架内，使各问题的理论和方法得以相互转化与推广。

并行顺序马尔可夫链蒙特卡罗求解大规模时间序列

Embarrassingly Parallel Sequential Markov-chain Monte Carlo for Large Sets of Time Series

贝叶斯计算关键依赖于马尔可夫链蒙特卡罗（MCMC）算法。在大规模数据集的情况下，运行Metropolis-Hastings采样器从后验分布中提取数据变得令人望而却步，因为每次迭代都需要计算大量的似然项。为了进行贝叶斯推断的一个大的时间序列，我们考虑了一个算法，结合了“分而治之”的想法，以前用于设计MCMC算法的大数据与顺序MCMC策略。该方法的性能说明了使用一个大的金融数据集。

基于主题层自适应随机梯度黎曼MCMC的深层潜在Dirichlet分配

Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC

针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。

DG-LMC: A Turn-key and Scalable Synchronous Distributed MCMC Algorithm via Langevin Monte Carlo within Gibbs

Performing reliable Bayesian inference on a big data scale is becoming a keystone in the modern era of machine learning. A workhorse class of methods to achieve this task are Markov chain Monte Carlo (MCMC) algorithms and their design to handle distributed datasets has been the subject of many works. However, existing methods are not completely either reliable or computationally efficient. In this paper, we propose to fill this gap in the case where the dataset is partitioned and stored on computing nodes within a cluster under a master/slaves architecture. We derive a user-friendly centralise…

通过校准放大数据增强MCMC

Scaling up Data Augmentation MCMC via Calibration

人们对使贝叶斯推断更具可扩展性有相当大的兴趣。在大数据环境下，大多数文献关注减少每次迭代的计算时间，较少关注减少马尔可夫链蒙特卡罗（MCMC）所需的迭代次数。本文重点介绍数据增强MCMC（DA-MCMC），这是一种广泛使用的技术。DA-MCMC样本在大数据样本中往往会变得高度自相关，这是由于条件后验分布在给定增广数据时过于集中的误校准问题。这使得有必要收集非常长的MCMC路径，以获得可接受的低MC误差。为了克服这种低效率，我们提出了一个家庭的校准数据增强算法，适当地调整条件后验分布的方差。Metropolis-Hastings步骤用于消除所得采样器的静态分布中的偏倚。与现有的替代方案相比，这种方法可以通过减少自相关性和增加每计算时间的DA-MCMC样本的有效数量来显着减少MC误差。该方法简单，适用于各种现有的数据增强算法，我们专注于三个流行的模型：概率，逻辑和泊松对数线性。在应用中显示出计算效率的显著提高。

基于MCMC的贝叶斯神经网络：一份基于Python的教程

Bayesian neural networks via MCMC: a Python-based tutorial

本文提供了一份基于Python的MCMC方法教程，涵盖贝叶斯线性、逻辑回归及贝叶斯神经网络，旨在通过代码实现弥合理论与应用鸿沟，并展示了MCMC在基准问题上的优劣及多模态后验采样的挑战。

Non-convex Learning via Replica Exchange Stochastic Gradient MCMC

Replica exchange Monte Carlo (reMC), also known as parallel tempering, is an important technique for accelerating the convergence of the conventional Markov Chain Monte Carlo (MCMC) algorithms. However, such a method requires the evaluation of the energy function based on the full dataset and is not scalable to big data. The naïve implementation of reMC in mini-batch settings introduces large biases, which cannot be directly extended to the stochastic gradient MCMC (SGMCMC), the standard sampling method for simulating from deep neural networks (DNNs). In this paper, we propose an adaptive repl…

基于分数匹配的变分哈密顿蒙特卡罗方法

Variational Hamiltonian Monte Carlo via Score Matching

传统上，计算贝叶斯统计领域被分为两个主要的子领域：变分方法和马尔可夫链蒙特卡罗（MCMC）。然而，近年来，已经提出了几种方法的基础上结合变分贝叶斯推断和MCMC模拟，以提高其整体精度和计算效率。这种快速评估和灵活近似的结合为设计可扩展的贝叶斯推断方法提供了一种很有前途的方法。在本文中，我们探讨了将变分逼近到最先进的MCMC方法，哈密顿蒙特卡罗（HMC），以减少所需的梯度计算在模拟哈密尔顿流，这是许多应用的瓶颈HMC在大数据问题。为此，我们使用一个{ \it自由形式}近似诱导的快速和灵活的代理函数的基础上单隐层前馈神经网络。代理提供足够准确的近似，同时允许快速探索参数空间，从而产生一个有效的近似推理算法。我们证明了我们的方法在合成和真实数据问题上的优势。

射电干涉成像的不确定性量化：I.近端MCMC方法

Uncertainty quantification for radio interferometric imaging: I. proximal MCMC methods

不确定性量化是无线电干涉成像中一个关键的缺失部分，随着无线电干涉测量的大数据时代的到来，它只会变得越来越重要。由于无线电干涉成像需要解决一个高维的，不适定的逆问题，不确定性量化是困难的，但也是至关重要的无线电观测的准确的科学解释。执行贝叶斯推断的统计采样方法，如马尔可夫链蒙特卡罗（MCMC）采样，原则上可以恢复图像的完整后验分布，然后可以量化不确定性。然而，传统的高维采样方法通常限于平滑（例如高斯）先验，不能与稀疏促进先验一起使用。稀疏先验，压缩感知理论的动机，已被证明是非常有效的无线电干涉成像。在这篇文章中，近端MCMC方法开发的无线电干涉成像，利用近端演算支持非差分先验，如稀疏先验，在贝叶斯框架。此外，三种策略，以量化的不确定性，使用恢复后的分布开发：（i）本地（像素）可信区间，为每个单独的像素提供误差条;（ii）最高后验密度可信区域;和（iii）假设检验的图像结构。这些形式的不确定性量化提供了丰富的信息，用于以统计稳健的方式分析无线电干涉观测。

基于参数空间正则性的Hamilton蒙特卡洛方法预计算策略

Precomputing Strategy for Hamiltonian Monte Carlo Method Based on Regularity in Parameter Space

本文提出利用参数空间的正则性提升MCMC算法效率，通过预计算几何信息和插值技术加速HMC采样，适用于高维问题。

通过Wasserstein距离的马尔可夫链扰动理论

Perturbation theory for Markov chains via Wasserstein distance

本文研究了马尔可夫链扰动理论，通过Wasserstein距离提供灵活的分布距离界，适用于几何递减的马尔可夫链，并展示了在自回归模型中无法进一步改进的界。

随机拟牛顿朗之万蒙特卡罗

Stochastic Quasi-Newton Langevin Monte Carlo

最近，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法已被提出，用于将蒙特卡罗计算扩展到大数据问题。虽然这些方法已被证明在许多应用中是有用的，但当随机变量在目标密度或大尺度差异下表现出强耦合时，香草SG-MCMC可能会遭受差的混合速率。在这项研究中，我们提出了一种新的SG-MCMC方法，考虑到当地的几何形状，使用拟牛顿优化方法的想法。这些二阶方法通过使用有限的样本历史及其梯度直接近似逆Hessian。我们的方法使用的逆Hessian的密集近似，同时保持时间和内存的复杂性与问题的维度线性。我们提供了一个正式的理论分析，我们表明，所提出的方法是渐近无偏的，并与后验期望一致。我们说明了合成和真实数据集的方法的有效性。我们在两个具有挑战性的应用程序的实验表明，我们的方法实现了快速的收敛速度类似于黎曼方法，而在同一时间具有较低的计算要求类似于对角预处理方法。

SIMD并行MCMC采样及大数据贝叶斯分析应用

SIMD Parallel MCMC Sampling with Applications for Big-Data Bayesian Analytics

统计学和机器学习中贝叶斯方法估计技术的计算强度和顺序性质，以及它们在大数据分析中日益增加的应用，需要识别并行化技术（如MCMC采样）的潜在机会，以及将这种并行算法映射到现代CPU的一般策略的开发，以便引出基于计算和/或存储器的性能-基于硬件限制。两个机会的单指令多数据（SIMD）并行MCMC采样概率图形模型。在具有许多观测的可交换模型（如贝叶斯广义线性模型）中，可以同时计算子节点对每个节点的条件后验的贡献。在具有离散节点的无向图中，条件独立节点的并发采样可以转换为SIMD形式。具有多线程和向量化功能的高性能库可以很容易地应用于这样的SIMD机会，以获得适当的加速，而一系列高级源代码和运行时修改通过减少并行化开销和增加NUMA架构的数据本地性来提供进一步的性能提升。对于大数据贝叶斯GLM图，最终结果是一个用于评估条件后验及其梯度向量的例程，其速度比使用（内置）多线程英特尔MKL BLAS的简单实现快5倍，并且在内存带宽引起的硬件限制的影响范围内。所提出的优化策略提高了性能随内核数量和向量单元宽度的扩展（适用于众核SIMD处理器，如英特尔至强融核和GPU），从而在多核x86处理器上实现成本效益、能源效率和更高的速度。

Zig-Zag过程的极限定理

Limit theorems for the Zig-Zag process

马尔可夫链蒙特卡罗方法提供了一个重要的统计工具，从复杂的概率分布抽样。虽然MCMC的标准方法涉及构造离散时间可逆马尔可夫链，其转移核通过梅特罗波利斯-黑斯廷斯算法获得，但最近人们对基于分段确定性马尔可夫过程（PDMP）的替代方案感兴趣。其中一种方法是基于Bierkens和Roberts（2016）中介绍的Zig-Zag过程，该过程被证明为大数据体系中的采样提供了高度可扩展的采样方案（Bierkens，Fearnhead和Roberts（2016））。在本文中，我们研究的Zig-Zag采样器的性能，侧重于一维的情况下。特别是，我们确定的条件下，一个中心极限定理（CLT）持有和特征的渐近方差。此外，我们研究的切换率上的Zig-Zag过程的扩散率的影响，通过确定一个扩散极限的切换率趋于无穷大。根据我们的研究结果，我们比较现有的蒙特卡罗方法，分析和模拟的锯齿形采样器的性能。

Improved Modeling of Persistence Diagram

High-dimensional reduction methods are powerful tools for describing the main patterns in big data. One of these methods is the topological data analysis (TDA), which modeling the shape of the data in terms of topological properties. This method specifically translates the original data into two-dimensional system, which is graphically represented via the 'persistence diagram'. The outliers points on this diagram present the data pattern, whereas the other points behave as a random noise. In order to determine which points are significant outliers, replications of the original data set are nee…

Projected support points：一种新的高维数据约简方法

Projected support points: a new method for high-dimensional data reduction

在一个大数据和高维数据随时可用的时代，数据科学家不可避免地面临着减少这些数据以进行昂贵的下游计算或分析的挑战。为此，我们在这里提出了一种新的方法，用于将高维大数据减少到一个有代表性的点集，称为投影支持点（PSP）。我们的方法中的一个关键成分是所谓的稀疏诱导（SpIn）内核，它鼓励在减少高维数据时保留低维特征。我们首先介绍了一个统一的理论框架，数据减少，连接PSP的基本抽样原则，从试验设计和准蒙特卡罗。通过这个框架，我们然后得到稀疏条件下，可以解除我们的方法在数据约简的维数灾难。接下来，我们提出了两种通过PSP进行一次性和顺序减少的算法，这两种算法都利用大数据子采样和优化最小化来进行有效的优化。最后，我们证明了PSP在两个实际应用中的实用性，第一个用于内核学习中的数据减少，第二个用于减少马尔可夫链蒙特卡罗（MCMC）链。

网格化与参数扩展：面向空间多变量数据的可扩展潜高斯模型

Gridding and Parameter Expansion for Scalable Latent Gaussian Models of Spatial Multivariate Data

本文提出网格化与参数扩展方法，改进基于稀疏DAG的可扩展空间高斯过程MCMC算法，提升ESS/s，并在合成数据与G-LiHT林业数据上验证有效性。

Approximate Methods for Bayesian Computation

Rich data generating mechanisms are ubiquitous in this age of information and require complex statistical models to draw meaningful inference. While Bayesian analysis has seen enormous development in the last 30 years, benefitting from the impetus given by the successful application of Markov chain Monte Carlo (MCMC) sampling, the combination of big data and complex models conspire to produce significant challenges for the traditional MCMC algorithms. We review modern algorithmic developments addressing the latter and compare their performance using numerical experiments.

大数据贝叶斯分层模型的并行马尔可夫链蒙特卡罗，分两个阶段

Parallel Markov Chain Monte Carlo for Bayesian Hierarchical Models with Big Data, in Two Stages

由于近年来大数据集的不断增长，新的贝叶斯马尔可夫链蒙特卡罗（MCMC）并行计算方法已经被开发出来。这些方法通过观察将大数据集划分为子集。然而，对于贝叶斯嵌套分层模型，通常只有少数参数对整个数据集是通用的，大多数参数是特定于组的。因此，并行贝叶斯MCMC方法考虑到模型的结构，并按组而不是按观察值划分完整的数据集，是一种更自然的分析方法。在这里，我们适应和扩展了最近推出的两阶段贝叶斯分层建模方法，我们划分完整的数据集组。在阶段1中，独立地并行估计组特异性参数。阶段1后验被用作阶段2中的建议分布，其中目标分布是完整模型。使用三层和四层模型，我们在模拟和真实数据的研究表明，我们的方法的结果与完整的数据分析，大大提高了MCMC的效率，大大减少了计算时间。我们的方法与现有的并行MCMC计算方法的优点也被描述。

Metropolis-Hastings关于变分推断和对抗训练的观点

Metropolis-Hastings view on variational inference and adversarial training

MCMC方法的一个重要部分可以被认为是具有不同建议分布的Metropolis-Hastings（MH）算法。从这个角度来看，构造采样器的问题可以归结为这样一个问题--如何为MH算法选择一个方案？为了解决这个问题，我们建议学习一个独立的采样器，最大限度地提高MH算法的接受率，正如我们所证明的，这是高度相关的传统的变分推断。对于贝叶斯推断，所提出的方法相比有利的替代品，从后验分布的样本。在同样的方法下，我们超越了经典MCMC方法的范围，从头开始推导生成对抗网络（GANs）框架，将生成器视为提案，将测试作为验收测试。在真实世界的数据集上，我们改进了Frechet Inception Distance和Inception Score，使用不同的GANs作为MH算法的建议分布。特别是，我们在ImageNet上展示了最近提出的BigGAN模型的改进。

递归最近邻协同克里金模型用于大规模多保真度空间数据集

Recursive Nearest Neighbor Co-Kriging Models for Big Multiple Fidelity Spatial Data Sets

针对大规模多保真度空间数据，提出递归最近邻协同克里金模型，并开发折叠与共轭两种高效推断方法，显著降低计算时间并保持预测精度。

连续时间蒙特卡罗中的分段确定马尔可夫过程

Piecewise Deterministic Markov Processes for Continuous-Time Monte Carlo

最近有令人兴奋的发展，在蒙特卡罗方法，与新的MCMC和序贯蒙特卡罗（SMC）算法的发展是基于连续时间，而不是离散时间，马尔可夫过程。这导致了一些全新的蒙特卡罗算法，可以用来从后验分布中进行采样。有趣的是，连续时间算法似乎特别适合大数据环境中的贝叶斯分析，因为它们在每次迭代时只需要访问一小部分数据点，但仍然可以保证以真实的后验分布为目标。虽然连续时间MCMC和SMC方法已经独立开发，我们在这里表明，它们是相关的事实，都涉及到模拟一个分段确定性的马尔可夫过程。此外，我们表明，迄今为止开发的方法只是一个潜在的更广泛的一类连续时间蒙特卡罗算法的具体情况。我们给出了一个非正式的介绍分段确定性马尔可夫过程，涵盖这些新的蒙特卡罗算法的相关方面，以期使新的连续时间蒙特卡罗的发展更容易。我们专注于如何以及为什么子采样的想法可以与这些算法一起使用，并旨在深入了解这些新算法可以如何实现，以及影响其效率的一些问题。

大数据贝叶斯分析的Zig-Zag过程和超有效抽样

The Zig-Zag Process and Super-Efficient Sampling for Bayesian Analysis of Big Data

标准MCMC方法在大数据设置中的扩展性很差，因为需要在每次迭代时评估可能性。已经有许多近似MCMC算法使用子采样思想来减少这种计算负担，但是这些算法的缺点是不再以真实的后验分布为目标。我们引入了一种新的蒙特卡罗方法，该方法基于（Bierkens，Roberts，2017）的Zig-Zag过程的多维版本，这是一种连续时间分段确定性马尔可夫过程。虽然传统的MCMC方法是可逆的建设（一个属性，这是已知的抑制快速收敛）的Zig-Zag过程提供了一个灵活的不可逆的替代方案，我们观察到往往有良好的收敛性能。我们展示了如何曲折的过程可以模拟没有离散化误差，并给出条件的过程是遍历的。最重要的是，我们引入了一个子采样版本的锯齿形过程，这是一个{ \em精确近似方案}的例子，即所得的近似过程仍然具有后验作为其平稳分布。此外，如果我们使用控制变量的想法来减少我们的无偏估计量的方差，那么Zig-Zag过程可以是超高效的：在初始预处理步骤之后，从后验分布获得基本独立的样本，其计算成本不依赖于数据的大小。

贝叶斯Lévy动态时空过程：面向大数据分析

Bayesian Levy-Dynamic Spatio-Temporal Process: Towards Big Data Analysis

针对时空统计中现有方法难同时兼顾真实拟合与低计算成本的问题，提出基于Lévy随机场的贝叶斯非参数动态时空模型及并行MCMC算法，在大规模海温数据上验证了高效性，有望支持太字节级时空大数据分析。

基于随机基替代函数的哈密顿蒙特卡罗加速

Hamiltonian Monte Carlo Acceleration Using Surrogate Functions with Random Bases

在大数据分析中，贝叶斯方法计算量大，限制了其在实际中的应用。近年来，已经有许多尝试来提高贝叶斯推断的计算效率。在这里，我们提出了一个有效的和可扩展的计算技术的国家的最先进的马尔可夫链蒙特卡罗（MCMC）方法，即哈密顿蒙特卡罗（HMC）。其核心思想是探索和利用潜在概率模型的参数空间的结构和规律性，以构建其几何属性的有效近似。为此，我们建立了一个代理函数，使用适当选择的随机基和有效的优化过程来近似目标分布。由此产生的方法提供了一个灵活的，可扩展的，高效的采样算法，收敛到正确的目标分布。我们表明，通过选择不同的基函数和优化过程，我们的方法可以与其他方法的替代功能，如广义可加模型或高斯过程模型的建设。基于模拟和真实数据的实验表明，我们的方法导致更有效的采样算法相比，现有的国家的最先进的方法。