Leveraging the coherent exploration of Hamiltonian flow, Hamiltonian Monte Carlo produces computationally efficient Monte Carlo estimators, even with respect to complex and high-dimensional target distributions. When confronted with data-intensive applications, however, the algorithm may be too expensive to implement, leaving us to consider the utility of approximations such as data subsampling. In this paper I demonstrate how data subsampling fundamentally compromises the efficient exploration of Hamiltonian flow and hence the scalable performance of Hamiltonian Monte Carlo itself.
Spectral subsampling MCMC for Lévy-driven continuous-time ARMA models with expensive likelihood contributions
Human Technology Institute, University of Technology Sydney（悉尼科技大学人类技术研究所）；School of Mathematical and Physical Sciences, University of Technology Sydney（悉尼科技大学数理科学学院）；School of Economics, University of New South Wales（新南威尔士大学经济管理学院）；Guanghua School of Management, Peking University（北京大学光华管理学院）
Stabilised weighted data subsampling for accelerated Bayesian inference in models with recursive likelihoods
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Human Technology Institute, University of Technology Sydney（悉尼科技大学人类技术研究所）
Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients
Georgia Institute of Technology（佐治亚理工学院）；Google Inc.（谷歌公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
许多马尔可夫链蒙特卡罗（MCMC）方法利用目标分布的势函数的梯度信息来有效地探索样本空间。然而，计算梯度对于大规模应用（诸如当代机器学习中的那些应用）而言通常在计算上是昂贵的。随机梯度（SG-）MCMC方法通常通过均匀子采样的数据点通过随机梯度来近似梯度，并且实现了提高的计算效率，但是以引入采样误差为代价。我们提出了一种非均匀子采样方案，以提高采样精度。提出的指数加权随机梯度（EWSG）的设计，使一个非均匀SG-MCMC方法模仿的批量梯度MCMC方法的统计行为，因此，由于SG近似的不准确性减少。EWSG不同于经典的方差缩减（VR）技术，因为它关注的是整个分布而不仅仅是方差;尽管如此，它的局部方差也被证明了。EWSG也可以被看作是重要性采样思想的扩展，成功的随机梯度为基础的优化，采样任务。在EWSG的实际实现中，非均匀子采样通过数据索引上的Metropolis-Hastings链有效地执行，该链与MCMC算法耦合。数值实验不仅证明了EWSG的有效性，而且还指导超参数的选择，并验证我们的\emph{non-asymptotic global error bound}，尽管在实现中的近似。值得注意的是，虽然统计精度得到了提高，但收敛速度可以与统一版本相媲美，这使得EWSG成为VR的实用替代方案（但EWSG和VR也可以组合）。
University of Halmstad（哈尔姆斯塔德大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
Stochastic Langevin Monte Carlo for (weakly) log-concave posterior distributions
ISAE-SUPAERO, Université de Toulouse（图卢兹大学ISAE-高等航空与空间学院）；Toulouse School of Economics (CNRS UMR 5314), Université Toulouse I Capitole（图卢兹第一大学图卢兹经济学院（法国国家科学研究中心 UMR 5314））；Institut Universitaire de France（法国大学研究院）
在本文中，我们研究了一个连续时间版本的随机Langevin蒙特卡罗方法，在[WT 11]中介绍，其中包括一个随机采样步骤内的传统过阻尼Langevin扩散。该方法是机器学习中常用的后验分布采样方法。在我们的工作中，我们将特别关注$n$（产生后验分布的观测数）和$d$（感兴趣的参数存在的环境空间的维数）方面的计算成本。我们推导出我们的分析弱凸框架，这是参数化的帮助下的Kurdyka-Eschojasiewicz（KL）不等式，允许处理消失的曲率设置，这是远远没有那么严格相比，简单的强凸的情况下。我们建立的模拟，以获得一个$\varepsilon$近似（在熵方面）的最后地平线是顺序$( d \log(n)^2 )^{(1+r)^2} [\log^2(\varepsilon^{-1}) + n^2 d^{2(1+r)} \log^{4(1+r)}(n) ]$与泊松亚采样参数$\left(n ( d \log^2(n))^{1+r}\right)^{-1}$，其中参数$r$涉及KL不等式和$0$（强凸的情况下）和$1$（限制拉普拉斯情况）之间变化。
