Pseudo-Marginal Slice Sampling
马尔可夫链蒙特卡罗(MCMC)方法从复杂的概率分布中渐进地采样。伪边际MCMC框架只需要一个无偏估计量的非归一化概率分布函数,以构建一个马尔可夫链。然而,与传统MCMC相比,所产生的链更难调整到目标分布,并且可用的更新类型有限。我们描述了一种通用的方法来钳位和更新用于伪边际方法的无偏估计量的随机数。在这个框架中,我们可以使用切片采样和其他自适应方法。我们得到更强大的马尔可夫链,往往混合更快。
2016-05-24 stat.CO
Quantile Slice Sampling
本研究提出分位数切片抽样方法,通过概率积分变换推广Neal收缩算法,引入伪目标提升抽样效率,给出两种近似质量评估指标,验证了其在单变量、多变量及贝叶斯Gibbs抽样场景下的有效性,并配套了R包qslice。
2025-06-13 stat.CO
Generalized Elliptical Slice Sampling with Regional Pseudo-priors
本文提出了一种基于椭圆切片采样的MCMC算法,旨在提高抽样效率。在采样期间,混合分布被周期性地拟合到先前的样本。混合分布的分量被称为区域伪先验,因为每个分量都充当采样空间的子区域的伪先验。采用期望最大化算法、变分推断算法和随机逼近算法进行参数估计。同时,采用并行计算的方法减轻了计算负担.算法的遍历性在数学上得到了证明。在一个合成数据集和两个真实数据集上的实验结果表明,该算法具有以下优点:在相同的起始点下,该算法可以发现更多的距离较远的模式,该算法具有较低的拒绝率,在对单峰后验分布进行贝叶斯推断时,该算法可以给出更精确的估计,并且该算法具有更好的泛化能力。在对多模态后验分布进行贝叶斯推断时,该算法能够很好地发现不同的模态,并且混合分布的估计均值能够为模态的定位提供额外的信息。
2019-03-13 stat.CO
Weak Poincaré inequality comparisons for ideal and hybrid slice sampling
本文利用弱庞加莱不等式框架比较混合与理想切片抽样的狄利克雷型,证明二者在适当条件下可相互继承快速收敛性,并应用于分析多种切片抽样算法的收敛行为。
2025-08-22 math.PR stat.CO stat.ME
Transitional annealed adaptive slice sampling for Gaussian process hyper-parameter estimation
代理模型在科学和工程中已经变得无处不在,因为它们能够模拟昂贵的计算机代码,这是建模和研究复杂现象所必需的。基于高斯过程的贝叶斯仿真器充分量化了由原始仿真器的成本导致的不确定性,从而无法在整个输入空间上对其进行评估。然而,在文献中常见的是,仅进行部分贝叶斯分析,由此通过无梯度优化或遗传算法来估计潜在的超参数,仅举几个方法。另一方面,最大后验概率(MAP)估计可能会丢弃超参数空间的重要区域。在本文中,我们进行了一个更完整的贝叶斯推断,结合切片抽样与最近发展的序贯蒙特卡罗抽样。由此产生的算法通过延迟拒绝,包括类似于渐近独立马尔可夫采样和并行化通过过渡马尔可夫链蒙特卡罗的退火方案,提高了混合的采样。给出了与高斯过程超参数估计有关的实例。出于可重复性、进一步开发和在其他应用中使用的目的,本文中生成示例的代码可从http://github.com/agarbuno/ta2s2_codes免费下载
2017-08-01 stat.CO
Optimisation via Slice Sampling
在本文中,我们开发了一种基于模拟的方法,使用切片采样多模态函数的优化。我们的方法指定的目标函数作为玻尔兹曼分布的能量潜力,然后我们使用辅助指数切片变量提供各种能量水平的样本。我们的切片采样器在增强切片区域上均匀绘制。我们通过将链的路径投影回底层空间来识别全局模式。四个标准的检验函数被用来说明的方法:Rosenbrock,Himmelblau,Rastrigin,和舒伯特。这些功能证明了我们的方法的灵活性,因为它们包括功能与长脊(Rosenbrock),多模态(Himmelblau,舒伯特)和许多本地模式占主导地位的一个全球(Rastrigin)。此处描述的方法在{ \tt R}软件包{ \tt McmcOpt}中实现。
2012-12-10 math.OC stat.CO
Optimal Slice-Adaptive Tuning of Hybrid Slice Sampling
UBC(不列颠哥伦比亚大学)
本文分析混合切片采样的计算成本,提出自动切片自适应调优方案,具有次优性界限和收敛保证,模拟显示其性能近乎最优且不依赖初始参数。
2026-09-09 cs.LG stat.CO stat.ML
Robust Covariance Adaptation in Adaptive Importance Sampling
重要性抽样(IS)是一种蒙特卡罗方法,允许使用从另一个建议分布生成的加权样本来近似目标分布。自适应重要性抽样(AIS)实现了IS的迭代版本,其适应提议分布的参数以改进目标的估计。虽然已经在很大程度上研究了建议的位置(平均值)的适应,但是AIS的重要挑战涉及适应尺度参数(协方差阵)的困难。在权值退化的情况下,使用经验协方差对协方差阵进行自适应会导致奇异矩阵,这会导致算法在后续迭代中性能较差。在本文中,我们提出了一种新的计划,利用IS文献的最新进展,以防止所谓的重量退化。该方法有效地适应人口的建议分布的协方差阵,并实现了显着的性能改善,在高维场景。我们通过计算机模拟验证了新的方法。
2018-05-31 stat.CO
Delayed Acceptance Slice Sampling
TU Bergakademie Freiberg(弗莱贝格工业大学);Universität Passau(帕绍大学)
本文提出延迟接受切片采样方法,通过确定性近似提高计算效率,适用于贝叶斯推断中的昂贵似然函数场景。
2026-09-21 math.ST stat.CO stat.TH
Adaptive Generalized Elliptical Slice Sampling
Duke University(杜克大学);Department of Statistical Science, Duke University(杜克大学统计科学系)
针对无梯度MCMC中手动调参、维度扩展和局部几何适应性的挑战,提出自适应广义椭圆切片采样(AGESS),通过结合椭圆切片采样与衰减自适应,实现从慢混合到快混合的自校正,并保持遍历性。
2026-08-04 stat.CO
Transport Elliptical Slice Sampling
我们提出了一个新的框架,用于使用归一化流和椭圆切片采样的组合从复杂的概率分布中有效地采样(Murray等人,2010年)。其中心思想是通过规范化流来学习一个自同构,将目标分布的非高斯结构映射到近似高斯分布。然后,我们使用椭圆切片采样器,一个有效的和调谐免费的马尔可夫链蒙特卡罗(MCMC)算法,从转换后的分布样本。然后使用逆归一化流将样本拉回,从而产生近似于感兴趣的固定目标分布的样本。我们的传输椭圆切片采样器(TESS)是针对现代计算机架构进行优化的,其自适应机制利用并行内核快速运行多个马尔可夫链进行几次迭代。数值模拟表明,TESS产生蒙特卡罗样本的目标分布与较低的自相关性相比,非变换采样器,并表现出显着的效率提高相比,基于梯度的建议设计的并行计算机架构,给出了一个足够灵活的仿射。
2023-03-27 stat.CO stat.ME
Geodesic slice sampling on Riemannian manifolds
本文提出测地切片采样方法,将 Hit-and-run 切片采样推广到黎曼流形,用于矩阵值参数贝叶斯推断,无需梯度信息即可稳健处理各向异性目标分布。
2025-08-22 math.PR stat.AP stat.CO
Nested Slice Sampling: Vectorized Nested Sampling for GPU-Accelerated Inference
Kavli Institute for Cosmology Cambridge(剑桥卡维利宇宙研究所);Institute of Astronomy, University of Cambridge(剑桥大学天文研究所);Cavendish Laboratory and Department of Engineering, University of Cambridge(剑桥大学卡文迪许实验室和工程系)
本文提出嵌套切片采样,一种适用于GPU的向量化嵌套采样方法,通过Hit-and-Run切片采样实现约束更新,提升高维问题的计算效率和稳定性,实验表明其在复杂多模态问题中表现优异。
2026-05-10 cs.LG stat.CO stat.ML
Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions
Institute for Astronomy, University of Edinburgh(爱丁堡大学天文研究所)
切片采样已经成为一种强大的马尔可夫链蒙特卡罗算法,它以最小的手动调整适应目标分布的特征。然而,切片采样的性能对用户指定的初始长度尺度超参数高度敏感,并且该方法通常难以处理尺度差或强相关的分布。本文介绍了Ensemble切片采样(ESS),一类新的算法,绕过这样的困难,通过自适应调整的初始长度尺度和利用合奏的并行步行者,以有效地处理参数之间的强相关性。这些仿射不变的算法是平凡的构造,不需要手动调整,可以很容易地实现在并行计算环境中。实证测试表明,包围切片采样可以提高效率超过一个数量级相比,传统的MCMC方法在广泛的高度相关的目标分布。在强多模态目标分布的情况下,Enhancement切片采样即使在高维中也可以有效地采样。我们认为,并行,黑盒和梯度的方法的性质使其理想的用于科学领域,如物理学,天体物理学和宇宙学,这些领域主要是由各种各样的计算昂贵和不可微的模型。
2021-10-03 astro-ph.CO astro-ph.IM cs.LG
Elliptical slice sampling
许多概率模型使用潜在多变量高斯分布或高斯过程在变量之间引入强依赖性。提出了一种新的马尔可夫链蒙特卡罗算法,用于对具有多元高斯先验的模型进行推理。其主要特性是:1)它有简单的通用代码,适用于许多模型,2)它没有自由参数,3)它适用于各种基于高斯过程的模型。这些属性使我们的方法非常适合在模型构建时使用,无需花费时间来推导和调整更复杂算法的更新。
2010-03-19 stat.CO stat.ML
Reversibility of elliptical slice sampling revisited
Faculty of Computer Science and Mathematics, Universität Passau(帕绍大学计算机科学与数学系);Expert Analytics GmbH(Expert Analytics 公司)
本文将椭圆切片采样推广到无穷维可分希尔伯特空间,通过分析收缩马尔可夫链重新证明其可逆性,并证明其诱导半正定马尔可夫算子。
2024-05-06 cs.LG math.ST stat.CO
Parallel MCMC with Generalized Elliptical Slice Sampling
概率模型在概念上是发现数据结构的强大工具,但它们的实际有效性往往受到我们对其进行推理的能力的限制。精确推理通常是难以处理的,因此近似推理通常使用马尔可夫链蒙特卡罗(MCMC)来执行。为了从MCMC获得最佳可能的结果,我们希望有效地模拟快速混合马尔可夫链的许多步骤,使目标分布保持不变。在这方面,特别感兴趣的是如何利用多核计算来加速基于MCMC的推理,以改善混合并分配计算负载。在本文中,我们提出了一个可并行马尔可夫链蒙特卡罗算法,有效地从连续概率分布,可以利用数百个核心的采样。该方法在并行马尔可夫链之间共享信息,以建立目标分布密度函数的高斯混合尺度近似。我们结合这种近似与最近的方法称为椭圆切片采样创建一个马尔可夫链没有步长参数,可以快速混合,而不需要梯度或曲率计算。
2014-07-24 stat.CO stat.ML
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程(HDP)及其相关混合模型的精确切片采样器(Teh等人,2006年)。虽然有现有的MCMC算法的采样从HDP,切片采样器已失踪的文献。切片采样以其理想的特性而闻名,包括其快速混合和其自然的并行化潜力。另一方面,HDPs的分层性质对采用成熟的切片采样器提出了挑战,该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中,我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量,我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点,如(1)快速混合;(2)保持精确,同时允许自然截断的基础无限维措施,如(Kalli等人,2011),导致在每次迭代中仅更新有限数量的必要原子和权重;以及(3)自然地适合于并行实现。全似然联合因子分解的基本原理很简单,可以应用于许多其他设置,例如为一般相关Dirichlet过程(DDP)模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models
Kavli Institute for Cosmology Cambridge, University of Cambridge(剑桥大学卡弗里宇宙学研究所);Institute of Astronomy, University of Cambridge(剑桥大学天文学研究所)
NS-SwiG是一种用于分层贝叶斯模型的高效证据计算算法,通过切片内吉布斯核和似然预算分解提升高维模型的采样效率和证据估计精度。
2026-02-19 astro-ph.IM stat.CO stat.ME
Active Sampling Count Sketch (ASCS) for Online Sparse Estimation of a Trillion Scale Covariance Matrix
估计和存储高维数据的协方差(或相关性)矩阵在计算上是具有挑战性的,因为存储器和计算需求都与维度成二次比例。幸运的是,在文本、点击、元基因组数据集等中观察到的高维协方差矩阵通常是稀疏的。在本文中,我们考虑的问题,有效的稀疏估计的协方差矩阵与可能的数万亿元。我们目标数据集的大小要求算法在线,因为超过一次的数据传递是禁止的。在本文中,我们提出了主动采样计数素描(ASCS),在线和一遍素描算法,准确地恢复协方差矩阵的大条目。计数草图(CS),和其他次线性压缩感知算法,提供了一个自然的解决方案,在理论上的问题。然而,由于低信噪比(SNR),普通CS在实践中不能很好地工作。在我们的方法的核心是一种新的主动采样策略,增加了经典CS的SNR。我们证明了我们的算法的实用性与合成数据和现实世界的高维数据集。ASCS显着改善了香草CS,证明了我们的主动采样策略的优点。
2021-06-11 cs.DS stat.CO
Comparison of Step Samplers for Nested Sampling
使用嵌套抽样的贝叶斯推断需要似然限制先验抽样方法,该方法从超过似然阈值的先验分布中抽取样本。对于高维问题,已经提出了马尔可夫链蒙特卡罗导数。我们数值研究了基于切片采样,打了就跑和差分进化算法在椭球,非椭球和非凸问题从2到100维的10个算法。混合能力的评价与嵌套抽样收缩试验。这使得我们的结果有效的独立于如何重尾后验。给定相同数目的步骤,切片采样的性能优于打了就跑和白化切片采样,而白化打了就跑不提供良好的结果。沿着活点对的差分向量提出也导致了最高的效率,并且对于多模态问题似乎很有希望。在UltraNest嵌套采样包中实现了测试建议,从而实现了与天文学,宇宙学,粒子物理学和天文学相关的一大类实际推理问题的有效低维和高维推理。
2023-02-10 astro-ph.IM stat.CO
Slice Sampling for General Completely Random Measures
University of British Columbia(不列颠哥伦比亚大学)
完全随机度量提供了一种创建灵活的无监督模型的原则性方法,其中潜在特征的数量是无限的,并且影响数据的特征数量随着数据集的大小而增长。由于潜在特征的无限性,后验推理需要边缘化-导致依赖结构,通过并行化和共轭性防止有效计算-或有限截断,这任意限制了模型的灵活性。在本文中,我们提出了一种新的马尔可夫链蒙特卡罗算法的后验推理,自适应设置截断水平使用辅助切片变量,使高效,并行计算,而不牺牲灵活性。在过去的工作中,实现了这一点的模型的基础上,我们提供了一个通用的配方,适用于广泛的类完全随机测量为基础的先验。几个流行的非参数模型,所提出的算法的有效性进行评估,表现出更高的有效样本量每秒相比,使用边缘化算法以及更高的预测性能相比,采用固定截断模型。
2020-06-25 cs.LG stat.CO stat.ME
Adaptive Multiple Importance Sampling for Gaussian Processes
在高斯过程应用中,不确定性的量化是一个严格的要求,它是必要的,以准确地描述后验分布的高斯过程协方差参数。通常,这通过标准的马尔可夫链蒙特卡罗(MCMC)算法来完成。出于与计算边际可能性的复杂性相关的问题(可能导致MCMC算法效率低下)的动机,本文开发了一种基于自适应多个重要性抽样(AMIS)的替代推理框架。本文研究了AMIS在高斯似然情况下的应用,提出了非高斯似然情况下的伪边缘AMIS,其中边缘似然是无偏估计的。结果表明,所提出的框架优于MCMC为基础的协方差参数的推断在广泛的情况下,并保持竞争力的适度大尺寸的参数空间。
2016-03-31 stat.CO
Covariance Expressions for Multi-Fidelity Sampling with Multi-Output, Multi-Statistic Estimators: Application to Approximate Control Variates
本文推导了多保真度采样中多输出、多统计量估计量的协方差表达式,并在approximate control variate方案中证明利用多输出能显著降低估计量方差。
2024-06-28 stat.CO stat.ME
Slice Monte Carlo Integration
Graz University of Technology(格拉茨工业大学);University of Oxford(牛津大学);GraML – Graz Center for Machine Learning(格拉茨机器学习中心)
提出切片蒙特卡洛积分(SℓMC),利用代理模型进行嵌套采样式空间划分,实现分层蒙特卡洛积分,有效降低方差并高效分配计算资源。
2026-10-01 math.ST stat.CO stat.ME
Fast sampling of parameterised Gaussian random fields
高斯随机场是空间变化不确定性的流行模型,例如在岩土工程、水文或图像处理中出现。一个高斯随机场完全由它的均值函数和协方差算子来刻画。在更复杂的模型中,这些也可以部分未知。在这种情况下,我们需要处理一族用超参数索引的高斯随机场。由于许多经典协方差算子的非局部性质,对超参数的固定配置进行采样已经非常昂贵。从多个配置采样严重增加了总计算成本。在本报告中,我们采用参数化Karhunen-Loève展开进行采样。为了降低成本,我们构建了一个减少的基础代理从Karhunen-Loève特征向量的快照。特别是,我们考虑Matérn型协方差算子未知的相关长度和标准差。我们建议线性化的协方差函数,并描述相关的在线离线分解。在数值实验中,我们研究了约化特征对的近似误差。作为一个应用,我们考虑前向不确定性传播和贝叶斯反演与椭圆偏微分方程的扩散系数的对数是一个参数化的高斯随机场。在贝叶斯逆问题中,我们采用马尔可夫链蒙特卡罗的减少空间产生样本的后验测量。所有的数值实验都是在二维物理空间中进行的,具有不可分离的协方差算子,以及具有$\sim 10^4$自由度的有限元网格。
2018-12-12 cs.NA math.NA stat.CO
Improving the stability of the covariance-controlled adaptive Langevin thermostat for large-scale Bayesian sampling
School of Mathematics, University of Birmingham(数学系,伯明翰大学)
本文提出改进的CCAdL热力学以提升大规模贝叶斯采样中的稳定性与精度。
2025-12-30 cs.LG stat.CO stat.ME
Adaptive posterior distributions for uncertainty analysis of covariance matrices in Bayesian inversion problems for multioutput signals
本文针对多输出非线性模型参数与噪声协方差矩阵的贝叶斯反演问题,提出自适应目标自适应重要性采样(ATAIS)方法,通过分块推断与样本回收重加权实现完整贝叶斯分析,并辅以ILIS算法验证其优势。
2025-01-02 cs.CE stat.CO stat.ML
Sampling Spiked Wishart Eigenvalues
该研究将现有Wishart矩阵特征值高效采样方案推广到任意尖峰数的spiked Wishart及pseudo-Wishart分布,并给出采样过程的求导方法以支持随机梯度下降拟合目标分布。
2024-09-25 math.ST stat.CO stat.TH