Variational Rejection Sampling
Stanford University（斯坦福大学）；Vicarious；University of Alberta（阿尔伯塔大学）
当近似后验距离真实后验很远时，由于梯度估计的高方差，使用随机变分推断学习潜变量模型具有挑战性。我们提出了一种新的拒绝抽样步骤，丢弃样本的变分后，这是分配低似然模型。我们的方法提供了一个任意精确的近似真实的后，额外的计算为代价。使用一个新的梯度估计所产生的未规范化的建议分布，我们实现了3.71 nats和0.21 nats的平均改进，分别超过最先进的单样本和多样本的替代方案，用于估计边缘对数似然使用S形信念网络的MNIST数据集。
2018-04-05 cs.AI cs.LG cs.NE
Bayesian model-based spatiotemporal survey design for log-Gaussian Cox process
在地质统计学中，数据收集的设计是精确预测和参数推断的核心。一类重要的地质统计模型是对数高斯Cox过程（LGCP），它被广泛使用，例如，在生态学中。然而，没有正式的分析LGCP模型的最优设计。在这项工作中，我们开发了一种新的基于模型的试验设计时空点过程数据的LGCP建模。我们提出了一个新的空间平衡的拒绝抽样设计，直接采样的时空位置，是一个先验的预期提供最多的信息。我们比较了拒绝抽样设计传统的平衡和均匀随机设计，使用平均预测方差损失函数和库尔贝克-莱布勒散度之间的先验和后验的LGCP强度函数。我们的研究结果表明，拒绝抽样方法优于相应的平衡和均匀随机抽样设计LGCP，而后者的工作更好的模型与高斯模型。我们进行了一个案例研究，应用我们的新的抽样设计，计划对芬兰沿海地区的两个商业上重要的鱼类种群的幼虫区的物种分布建模的调查。实例研究结果表明，与传统设计相比，拒绝抽样设计具有相当大的优势。结果还表明，最佳性能的设计可能会有很大的不同目标物种。
2018-08-28 stat.ME
Multilevel rejection sampling for approximate Bayesian computation
无似然方法，如近似贝叶斯计算，是解决具有复杂似然函数的实际推理问题的有力工具。近似贝叶斯计算的马尔可夫链蒙特卡罗和序贯蒙特卡罗变体可以是在近似贝叶斯计算设置中对后验分布进行采样的有效技术。然而，如果不仔细考虑收敛标准和建议内核的选择，这种方法可能会导致非常有偏见的推理或计算效率低下的采样。相比之下，用于近似贝叶斯计算的拒绝抽样尽管计算密集，但会导致来自近似后验的独立的、相同分布的样本。提出了一种加速无似然贝叶斯推断的替代方法，该方法将多级蒙特卡罗方差缩减技术直接应用于拒绝抽样。所得到的方法保留了拒绝抽样的精度优势，同时显着提高了计算效率。
2018-02-28 stat.CO
Adaptive Rejection Sampling with fixed number of nodes
自适应拒绝抽样（ARS）算法是一种通用的随机发生器，用于从单变量对数凹目标概率密度函数（pdf）中有效地抽取样本。ARS通过具有高接受率的拒绝抽样从目标生成独立样本。事实上，ARS产生一系列向目标pdf收敛的建议函数，因此接受样本的概率接近1。然而，每次更新时，从建议pdf中采样变得更具计算性。在这项工作中，我们提出了一种新的ARS计划，称为廉价的自适应拒绝抽样（CARS），其中的计算工作量从该提案中绘制保持不变，提前由用户决定。对于生成大量所需的样本，CARS比ARS更快。
2017-10-08 stat.CO
Parsimonious Adaptive Rejection Sampling
蒙特卡罗（MC）方法在过去的几十年中已经成为信号处理中非常流行的方法。自适应拒绝抽样（ARS）算法是一种著名的MC技术，它能从单变量目标密度中有效地抽取独立样本。ARS方案产生一系列向目标收敛的建议函数，使得接受样本的概率接近1。然而，每次更新时，从建议pdf中进行采样的计算量都变得更大。我们提出了简约自适应拒绝抽样（PARS）方法，在接受率和建议的复杂性之间获得了有效的权衡。因此，所得到的算法比标准ARS方法更快。
2017-10-13 stat.CO
Sampling via Rejection-Free Partial Neighbor Search
Metropolis算法涉及产生马尔可夫链以收敛到指定的目标密度$π$。为了提高其效率，我们可以使用Metropolis算法的Rejection-Free版本，它通过评估所有邻居来避免拒绝的低效率。通过使用并行硬件可以使拒绝自由更有效。然而，对于一些专用硬件，例如数字退火单元，单元的数量将限制在每个步骤中考虑的邻居的数量。因此，我们提出了一个增强版本的拒绝免费称为部分邻居搜索，它只考虑一部分的邻居，而使用拒绝免费技术。通过几个实例来验证该方法在不同情况下的有效性和优越性。
2022-10-19 stat.CO
An Analysis of Ensemble Sampling
Columbia University（哥伦比亚大学）；DeepMind（深度思维）
当在模型参数上保持精确的后验分布在计算上难以处理时，包围采样作为汤普森采样的实际近似。在本文中，我们建立了一个遗憾的界限，确保所需的行为时，集成采样应用于线性强盗问题。这是第一次严格的遗憾分析合奏抽样，并利用信息理论的概念和新的分析技术，可能会证明有用的超出本文的范围。
2023-03-01 cs.LG stat.ML
Ensemble Sampling
针对Thompson采样在复杂模型中后验采样难以处理的问题，本文提出集成采样以近似该算法，扩展其适用范围，并提供理论基础与计算验证。
2023-04-25 cs.AI cs.LG stat.ML
Bayesian reliability acceptance sampling plan with optional warranty under hybrid censoring
本文针对可选保修下销售的产品，提出在混合删失寿命试验中设计贝叶斯可靠性验收抽样方案，通过消费者与制造商的先验信念差异和保修博弈，确定最优寿命试验方案。
2024-02-14 stat.AP
An Easy Rejection Sampling Baseline via Gradient Refined Proposals
本文提出一种仅需目标分布可微的近似拒绝采样基线，通过接受阈值损失梯度精炼参数化提议分布，在基准上将接受率最高提升至7.3倍。
2023-09-30 stat.CO
Rejection Sampling for Tempered Levy Processes
我们将回火稳定Levy过程的概念推广到回火更一般的Levy过程类。我们证明了原过程可以分解为调和过程和一个独立的大跳跃点过程之和。然后，我们使用它来建立一个拒绝采样算法，从回火过程中进行采样。一个小规模的仿真研究，以帮助了解该算法的性能。
2018-06-02 math.PR stat.CO
Simple rejection Monte Carlo algorithm and its application to multivariate statistical inference
本文针对拒绝蒙特卡洛算法应用较少的问题，提出一种简化版本，并以多元分布抽样和多元积分为例展示其在统计推断中的具体应用。
2024-02-27 stat.CO
Sampling From Multiscale Densities With Delayed Rejection Generalized Hamiltonian Monte Carlo
Flatiron Institute（平顿研究所）；New York University（纽约大学）
DR-G-HMC通过动态步长选择解决多尺度密度采样问题，提升广义HMC效率并使其与No-U-Turn采样器竞争。
2026-02-05 stat.CO
Particle Filtering and Smoothing Using Windowed Rejection Sampling
“粒子方法”是序贯蒙特卡罗算法，通常涉及重要性抽样，用于估计和抽样联合和边际密度从一个集合，大概增加，随机变量的数量。特别地，粒子滤波器旨在通过估计后验分布$π(x_{n}|y_{1},y_{2}, \ldots, y_{n})$来估计不可直接观察的随机系统的当前状态$X_{n}$，其中$\{Y_{n}\}$是通过某种测量模型$π(y_{n}|x_{n})$与$\{X_{n}\}$相关的观测。粒子平滑器旨在估计$1 \leq i < n$的边缘分布$π(x_{i}|y_{1},y_{2}, \ldots, y_{n})$。粒子方法广泛用于隐马尔可夫模型，其中$\{X_{n}\}$是马尔可夫链，以及用于更一般的状态空间模型。现有的粒子滤波算法速度非常快，易于实现。虽然它们遭受退化和“样本退化”的问题，但可以采取措施来最大限度地减少这些问题，总体而言，它们是推理的优秀工具。然而，如果希望从感兴趣的后验分布中采样，则粒子滤波器仅能够产生相关绘制。粒子平滑算法是复杂的，并且远没有那么鲁棒，通常需要繁琐的后处理、“向前-向后”递归和多次通过子例程。在本文中，我们介绍了一种替代算法的滤波和平滑，是基于拒绝抽样“窗口”。我们比较了传统的粒子滤波器和这种“窗口拒绝采样器”（WRS）的速度和精度的几个例子，并显示出良好的估计平滑分布，在没有额外的成本。
2014-07-16 stat.CO
Privacy-Aware Rejection Sampling
差分隐私（DP）提供了强有力的理论隐私保证，但DP机制的实现可能容易受到侧信道攻击，如定时攻击。当使用MCMC或拒绝采样等采样方法来实现某个机制时，运行库可能会泄漏私有信息。我们的特点是额外的隐私成本，由于拒绝采样器的运行时间方面的$(ε,δ)$ -DP以及$f$ -DP。我们还表明，除非接受概率是恒定的数据库，拒绝采样器的运行时间不满足$ε$ -DP的任何$ε$。我们发现，有一个类似的故障在隐私与自适应拒绝采样器。我们提出了三个修改的拒绝采样算法，不同的假设，以防止定时攻击，使运行时独立的数据。最弱假设的修改是近似采样器，引入了隐私成本的小幅增加，而其他修改给出了完美的采样器。我们还使用我们的技术来开发一个自适应拒绝采样器的log-Hölder密度，它也有数据独立的运行时间。我们给出了几个DP机制的例子，适合我们的方法的假设，因此可以使用我们的采样器来实现。
2022-09-29 cs.CR cs.CY stat.CO
Generalized Rejection Sampling Schemes and Applications in Signal Processing
贝叶斯方法及其通过复杂的蒙特卡罗技术（例如，马尔可夫链蒙特卡罗（MCMC）和粒子滤波器）的实现在过去几年中在信号处理中已经变得非常流行。然而，在许多问题的实际利益，这些技术的要求程序的采样概率分布与非标准形式，因此，我们经常被带回到考虑的基本模拟算法，如拒绝抽样（RS）。不幸的是，RS技术的使用需要计算目标概率密度函数（pdf）与从中提取候选样本的建议密度的比率的严格上限。除了类的对数凹目标PDF的，其中存在一个有效的算法，有没有一般的方法来分析确定这个界限，这必须从头开始为每个特定的情况下。在本文中，我们介绍了新的计划（a）获得上界的似然函数和（b）自适应计算建议密度接近目标PDF。前一类方法提供了通过从先验分布中提取候选项来容易地从后验概率分布（在信号处理问题中经常出现）中采样的工具。然而，他们是更有用的时候，他们被利用来推导出的广义自适应RS（GARS）算法的第二部分中介绍的文件。建议的GARS方法产生一系列的建议密度，收敛到目标PDF，并使一个非常有效的采样广泛的一类概率分布，可能有多种模式和非标准形式。
2009-04-08 stat.CO
On the Generalized Ratio of Uniforms as a Combination of Transformed Rejection and Extended Inverse of Density Sampling
在这项工作中，我们研究了三个经典的抽样技术之间的关系：密度的倒数（欣钦定理），变换拒绝（TR）和广义均匀比（GRoU）。给出了一个单调的概率密度函数（PDF），证明了利用广义均匀比方法得到的变换面积可以等价地通过将变换后的拒绝抽样方法应用于目标密度的反函数而得到.然后，我们提供了一个扩展的经典逆密度的想法，表明它是完全等价的单调密度的GRoU方法。虽然我们专注于单调的概率密度函数（PDF），我们也讨论了如何在这里提出的结果可以扩展到任何非单调的PDF，可以分解成一个集合的区间，它是单调增加或减少。在这种一般情况下，我们显示与某些随机变量和广义逆PDF与GRoU技术的转换的连接。最后，我们还介绍了一个GRoU技术来处理无界目标密度。
2013-07-16 stat.CO stat.ME
Rejection Sampling with Vertical Weighted Strips
Center for Statistical Research and Methodology, U.S. Census Bureau（美国人口普查局统计研究与方法中心）
针对加权密度分布采样难的问题，提出基于权重函数优控、按上界贡献划分支撑集的拒绝采样方法，可在自适应拒绝采样假设不满足时使用，还能预评估采样效率，并用von Mises Fisher分布实例验证了框架。
2025-03-14 stat.CO stat.ME
Two adaptive rejection sampling schemes for probability density functions log-convex tails
蒙特卡罗方法通常是实现最优贝叶斯估计所必需的。一个基本的技术，可以用来从几乎任何目标概率分布产生样本是所谓的拒绝抽样方法，它产生候选样本的建议分布，然后接受他们或不通过测试的目标和建议的密度比。自适应拒绝抽样（ARS）算法是一类特别有趣的，因为它们可以实现高的接受率。然而，标准ARS方法只能用于对数凹目标密度。为此，已经提出了许多概括。在这项工作中，我们研究了两种不同的自适应方案，可以用来准确地从一个大家庭的单变量概率密度函数（PDF），不一定是对数凹，可能是多模态和尾巴的任意的双曲。这些技术是自适应的，在这个意义上，每次候选样本被拒绝，接受率提高。这两个算法可以正常工作时，目标PDF是多模态的，与一阶和二阶导数解析棘手，当尾巴是对数凸的无限域。因此，它们可以应用于标准ARS的其他概括失败的许多场景中。两个说明性的数值例子。
2011-11-21 stat.AP stat.CO
Regenerative Rejection Sampling
EPFL, Insitute of Mathematics – CSQI Chair（洛桑联邦理工学院数学研究所CSQI讲席）；UNSW Sydney, School of Mathematics and Statistics（新南威尔士大学悉尼分校数学与统计学院）
本文提出再生拒绝采样算法，基于经典拒绝采样和MCMC方法，构建连续时间再生过程，其平稳分布与目标密度一致。该方法无需有限上界常数，收敛速度更快，实验显示其具有更低的自相关性和更快的混合速度。
2026-03-31 math.PR stat.CO
Reparameterized Variational Rejection Sampling
Generate Biomedicines（生成生物医药公司）；Google Research（谷歌研究院）
本文改进 Variational Rejection Sampling，通过低方差重参数化梯度估计器优化提议分布，提出 RVRS，在连续及局部潜变量模型的黑箱推断中兼顾计算成本与后验近似质量。
2023-09-26 cs.LG stat.CO stat.ML
The Coupled Rejection Sampler
本文提出了一种耦合拒绝抽样方法，用于任意分布耦合的抽样。该方法依赖于接受或拒绝来自主导边缘的耦合样本。与现有的接受-拒绝耦合方法相反，所提出的方法的执行时间的方差是有限的，并且当两个目标边缘在总变差范数的意义上彼此接近时保持有限。在重要的特殊情况下，耦合多变量高斯与不同的手段和协方差，我们推导出积极的下限，我们的算法产生的耦合概率，然后我们展示了如何耦合方法可以优化在封闭的形式。最后，我们展示了如何修改耦合拒绝采样方法，从耦合的建议合奏，以便渐近恢复最大耦合。然后，我们将该方法应用到耦合罕见事件采样器的问题，推导出一个并行耦合拒绝算法用于粒子滤波，并显示如何耦合拒绝采样器可以用来加速基于耦合的无偏MCMC方法。
2022-03-10 math.PR stat.CO stat.ME
The Snake Algorithm: A Rejection-Free Sampler for Binary Matrices with Fixed Margins
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rutgers University–New Brunswick（罗格斯大学新不伦瑞克校区）
针对固定行和列和的二元矩阵均匀采样问题，提出无拒绝的马尔可夫链蒙特卡罗蛇形算法，证明其快速混合性，经对比实验显示在采样效率等方面优于多种现有算法。
2026-08-19 stat.CO
Semigroups and sequential importance sampling for multiway tables
当下界$l_i$和上界$u_i$之间的整数区间是边缘分布$n_i|(n_{i-1}, ...,n_1)$的支持时，Chen等人（2005）注意到，对于顺序重要性采样（SIS）过程中的$n_i$，在每一步从区间采样总是产生满足边际约束的表。但是，一般来说，区间可能不等于边缘分布的支持度。在这种情况下，SIS过程可能会产生不满足边际约束的表，导致拒绝Chen et al 2006。在本文中，我们考虑均匀分布作为目标分布。首先，我们表明，如果我们固定的行数和列数的列联表模型的设计矩阵，然后存在一个多项式时间算法的输入大小方面的抽样表从一组所有表满足所有边际定义的给定模型通过SIS过程没有拒绝。然后，我们实验表明，在一般的SIS程序可能有很大的拒绝率，即使是小表。此外，我们表明，在一般情况下，经典的SIS程序在陈等人，2005年可以有一个大的拒绝率，其限制是1。在我们的模拟研究中估计表的数量时，我们使用了单变量和双变量逻辑斯谛回归模型，因为在该模型下，SIS程序似乎具有更高的拒绝率，即使表很小。
2018-01-18 math.CO stat.CO
Self-Tuned Rejection Sampling within Gibbs and a Case Study in Small Area Estimation
Center for Statistical Research and Methodology, U.S. Census Bureau（美国人口普查局统计研究与方法中心）；Department of Biostatistics, University at Buffalo（布法罗大学生物统计学系）
本研究针对吉布斯采样中陌生条件分布的抽样问题，提出自调垂直加权条带（VWS）拒绝采样方法，将其应用于县级学龄贫困儿童人口的小区域估计，在控制计算量的同时实现精确抽样。
2026-10-05 stat.AP stat.CO stat.ME
Improved Adaptive Rejection Metropolis Sampling Algorithms
马尔可夫链蒙特卡罗（MCMC）方法，例如Metropolis-Hastings（MH）算法，被广泛用于贝叶斯推断。对于任何MCMC方法来说，最重要的问题之一是马尔可夫链的收敛性，这在很大程度上取决于建议密度的适当选择。自适应拒绝Metropolis采样（ARMS）是一种众所周知的MH方案，其利用使用从拒绝的样本中获取的支持点构造的自适应分段建议从一维目标密度生成样本。在这项工作中，我们指出了一个关键的缺点，在自适应过程中的ARMS：支持点可能永远不会被添加到区域内的建议是低于目标。当这种情况在许多区域发生时，它会导致ARMS的表现不佳，提案永远不会收敛到目标。为了克服这一限制，我们提出了两个改进的自适应方案，用于构建的建议。第一个是一个直接修改的ARMS程序，将支持点的区域内的建议是低于目标，同时满足递减适应性，所需的条件之一，以确保收敛的马尔可夫链。第二种是自适应独立MH算法，能够从所有先前的样本中学习，除了链的当前状态，从而也保证收敛到不变密度。这两个新方案改进了ARMS的自适应策略，从而简化了构造方案的复杂性。数值结果表明，新技术提供了更好的性能w.r.t.标准的武器。
2012-10-08 stat.CO stat.ME
Efficient Rejection Sampling in the Entropy-Optimal Range
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种新的采样算法，在线性ithmic空间下实现高效采样，同时在熵最优范围内达到最优性能，优于别名方法。
2026-04-24 cs.DM cs.DS cs.IT
Direct Sampling with a Step Function
本文提出一种基于阶跃函数近似增广随机变量密度的直接抽样变体，通过策略性放置节点实现可靠抽样并减少手动调参，并以较低拒绝概率换取精确抽样，应用于Conway-Maxwell Poisson分布及多个Gibbs抽样场景。
2022-03-29 stat.CO stat.ME
On a Metropolis-Hastings importance sampling estimator
函数期望近似的经典方法。部分已知的分布是计算沿着Metropolis-Hastings（MH）马尔可夫链的轨迹的函数值的平均值。MH算法中的关键部分是对所提出的状态的适当接受/拒绝，这确保了所得到的马尔可夫链的正确平稳分布。然而，拒绝提案会导致高度相关的样本。特别是，当一个状态被拒绝时，它不会被进一步考虑。与此相反，我们考虑一个MH重要性抽样估计，它明确地将所有建议的状态产生的MH算法。估计满足强大数定律以及中心极限定理，并且，除此之外，我们提供了一个明确的均方误差界。值得注意的是，MH重要性抽样估计量的渐近方差不涉及任何相关项，与其经典的对应。此外，虽然分析估计使用相同的信息量的经典MH估计，它可以优于后者的情况下，中等尺寸的数值实验表明。
2020-02-04 cs.NA math.NA math.PR
ParaDRAM: A Cross-Language Toolbox for Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulations
我们推出了ParaDRAM，这是一款高性能并行延迟拒绝自适应大都会马尔可夫链蒙特卡罗软件，用于科学推理中遇到的数学目标函数的优化、采样和集成。ParaDRAM目前可以从几种流行的程序设计语言访问，包括C/C++，Fortran，MATLAB，Python，并且是ParaMonte开源项目的一部分，具有以下主要设计目标：1.蒙特卡洛模拟的全自动化，2。核心库与尽可能多的程序设计语言的互操作性，从而提供跨所有程序设计语言的统一应用程序编程接口和蒙特卡罗模拟环境，3.高性能4.从个人笔记本电脑到超级计算机的模拟的并行性和可扩展性，5。对外部库的依赖几乎为零，6.模拟的完全确定性再现性，7.仿真结果的自动综合报告和后处理。我们提出并讨论了几种新的技术，在ParaDRAM中实现自动和动态地确保良好的混合和减少适应所产生的伪马尔可夫链从ParaDRAM。我们还讨论了一个有效的数据存储方法中使用的ParaDRAM，减少了平均内存和存储要求的算法，简单的模拟问题的一个因素为4，一个数量级和更多的采样复杂的高维数学目标函数的实现。最后，我们讨论了ParaDRAM的设计目标如何帮助用户在各种计算平台上轻松有效地解决各种机器学习和科学推理问题。
2020-08-21 astro-ph.IM cs.CE physics.data-an
