Optimal Budgeted Rejection Sampling for Generative Models
LAMSADE, CNRS, Université Paris-Dauphine, Université PSL(LAMSADE实验室、法国国家科学研究中心、巴黎多芬大学、巴黎文理大学)
本文针对有限采样预算下基于判别器的生成模型,提出对任意 f-散度最优的 OBRS 方案,并将其端到端融入训练,显著提升样本质量与多样性。
2024-03-01 cs.LG
Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs
University of Amsterdam(阿姆斯特丹大学);NAVER Labs Europe(NAVER实验室欧洲)
基于能量的模型(EBM)允许非常灵活的概率分布规范。然而,它们没有提供从这些分布获得精确样本的机制。蒙特卡罗技术可以帮助我们获得样本,如果一些建议分布,我们可以很容易地抽样。例如,拒绝抽样可以提供精确的样本,但由于需要找到一个建议分布,该分布在任何地方都是目标分布的上限,因此通常很难或不可能应用。近似马尔可夫链蒙特卡罗抽样技术(如Metropolis-Hastings)通常更容易设计,利用局部建议分布对不断变化的样本进行局部编辑。然而,由于建议分布的局部性质,这些技术可能是低效的,并且不提供对它们的样本的质量的估计。在这项工作中,我们提出了一种新的近似采样技术,准拒绝采样(QRS),允许采样效率和采样质量之间的权衡,同时提供明确的收敛范围和诊断。QRS利用了从深度学习模型获得的高质量全局建议分布的可用性。我们证明了QRS采样的有效性,离散EBM的文本控制文本生成与分布约束和释义生成的任务。我们表明,我们可以从这样的EBM采样任意精度的采样效率的成本。
2021-12-10 cs.CL cs.LG cs.NE
Pliable rejection sampling
INRIA Lille - Nord Europe(INRIA里尔-北欧洲)
本文提出可塑性拒绝采样方法,通过核估计学习采样提议,提高拒绝率并保证接受样本数量。
2026-04-24 cs.LG stat.ML
Implicit Variational Rejection Sampling
RIKEN iTHEMS;RIKEN AIP;South China University of Technology(华南理工大学);Xiamen University(厦门大学);Columbia University(哥伦比亚大学)
提出隐式变分拒绝采样(IVRS),结合隐式分布与拒绝采样,通过神经网络构建提议分布并用判别器估计密度比来改进后验近似,引入IR-ELBO作为质量度量,实验优于传统变分推断。
2026-06-15 cs.LG
A minimax near-optimal algorithm for adaptive rejection sampling
Numberly (1000mercis Group)(Numberly(1000mercis 集团));Otto-von-Guericke University(奥托·冯·格里克大学);Potsdam University(波茨坦大学)
拒绝抽样是一种基本的蒙特卡罗方法。它用于从允许概率密度函数的分布中采样,该概率密度函数可以在任何给定点精确地进行评估,尽管计算成本很高。然而,如果没有适当的调整,这种技术意味着高拒绝率。已经探索了几种方法来应对这个问题,基于通过一个简单的函数,使用以前的样本的信息,自适应地估计密度的原则。它们中的大多数要么依赖于对密度形式的强假设,要么不提供任何理论性能保证。我们给出了第一个自适应拒绝抽样问题的理论下限,并引入了一个新的算法,保证了一个接近最优的拒绝率在极大极小意义上。
2018-10-22 cs.LG stat.ML
Bayesian inference via rejection filtering
Microsoft Research(微软研究院);University of Sydney(悉尼大学)
我们提供了一种近似贝叶斯推理的方法,使用拒绝抽样。我们不仅使过程高效,而且还大大减少了所需的内存相对于传统的方法相结合的拒绝采样与粒子滤波。我们还提供了一个近似形式的拒绝采样,使拒绝滤波易于处理的情况下,精确拒绝采样是没有效率的。最后,我们提出了几个数值例子的拒绝过滤,显示其跟踪时间依赖的参数在在线设置的能力,也基准测试其性能的MNIST分类问题。
2015-12-03 cs.LG quant-ph stat.ML
Amortized Rejection Sampling in Universal Probabilistic Programming
University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所)
在具有无限循环的概率规划中,摊销推理的朴素方法可以产生具有无穷方差的估计量。这是特别真实的重要性采样推理程序,明确包括拒绝抽样的一部分,用户编程的生成过程。本文提出了一种新的有效的摊余重要性采样估计量。我们证明了我们的估计有限方差和经验证明我们的方法的正确性和效率相比,现有的替代品生成程序包含拒绝采样循环,并讨论如何实现我们的方法在一个通用的概率编程框架。
2022-03-29 cs.AI cs.LG stat.ML
Delayed rejection Hamiltonian Monte Carlo for sampling multiscale distributions
Flatiron Institute(熨斗研究所)
针对多尺度分布中 HMC 步长受高曲率区域限制的问题,提出几何递减步长的延迟拒绝 HMC,并扩展重试概率机制,最高带来五倍采样效率提升。
2021-10-01 cs.LG stat.ML
Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The Chinese University of Hong Kong(香港中文大学)
针对大语言模型难以生成符合概率分布的真实样本的问题,提出言语化拒绝采样方法,通过自然语言适配经典拒绝采样机制,在无需访问模型内部的情况下大幅降低采样偏差,验证了经典概率工具嵌入LLM工作流的有效性。
2025-06-11 cs.CL cs.LG
Rejection sampling from shape-constrained distributions in sublinear time
MIT(麻省理工学院)
我们考虑的任务,从一个目标分布,已知的归一化,在一个有限的字母表生成精确的样本。该任务的经典算法是拒绝采样,尽管它已在实践中使用了几十年,但令人惊讶的是,对其基本局限性的研究却很少。在这项工作中,我们研究了查询的复杂性拒绝抽样在一个极大极小的框架,各类离散分布。我们的研究结果提供了新的算法采样的复杂度与字母表的大小呈次线性关系。当应用于对抗土匪,我们表明,略有修改的Exp3算法减少了每次迭代的复杂度从$\mathcal O(K)$到$\mathcal O(\log^2 K)$,其中$K$是武器的数量。
2021-05-29 cs.LG math.ST stat.ML
Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
Department of Electrical and Computer Engineering, University of Toronto(电气与计算机工程系,多伦多大学)
本文提出基于集成拒绝采样的信道模拟与分布式匹配方案,实现近最优编码速率,并首次在拒绝采样家族中达到接近泊松匹配引理的匹配概率,通过分布式压缩实验验证有效性。
2025-10-07 cs.IT cs.LG math.IT
Fast and Accurate $k$-means++ via Rejection Sampling
Google Research(谷歌研究院);University of Cologne(科隆大学);EPFL(洛桑联邦理工学院)
$k$ -means++ \cite{arthur2007k}是一种应用广泛的聚类算法,它易于实现,具有良好的理论保证和较强的经验性能。尽管它被广泛采用,但$k$ -means++有时在大型数据集上速度很慢,因此一个自然的问题是获得具有类似保证的更有效的算法。在本文中,我们提出了一个近线性时间算法的$k$ -均值++播种。有趣的是,我们的算法获得了与$k$ -means++相同的理论保证,并显着改善了快速$k$ -means++播种的早期结果。此外,我们的经验表明,我们的算法是显着快于$k$ -手段++,并获得同等质量的解决方案。
2020-12-22 cs.DS cs.LG
Variational Rejection Sampling
Stanford University(斯坦福大学);Vicarious;University of Alberta(阿尔伯塔大学)
当近似后验距离真实后验很远时,由于梯度估计的高方差,使用随机变分推断学习潜变量模型具有挑战性。我们提出了一种新的拒绝抽样步骤,丢弃样本的变分后,这是分配低似然模型。我们的方法提供了一个任意精确的近似真实的后,额外的计算为代价。使用一个新的梯度估计所产生的未规范化的建议分布,我们实现了3.71 nats和0.21 nats的平均改进,分别超过最先进的单样本和多样本的替代方案,用于估计边缘对数似然使用S形信念网络的MNIST数据集。
2018-04-05 cs.AI cs.LG cs.NE
Ada-RS: Adaptive Rejection Sampling for Selective Thinking
PayPal AI
Ada-RS通过自适应拒绝采样提升LLMs在延迟敏感场景下的推理效率与准确性。
2026-02-23 cs.AI cs.LG
TabNAS: Rejection Sampling for Neural Architecture Search on Tabular Datasets
Google Research(谷歌研究院);Stanford University(斯坦福大学)
给定机器学习问题的最佳神经架构取决于许多因素:不仅数据集的复杂性和结构,而且还取决于资源约束,包括延迟,计算,能耗等。以前的NAS算法设计的图像搜索空间将资源约束直接到强化学习(RL)的奖励。然而,对于表格数据集上的NAS,此协议通常会发现次优架构。本文开发了TabNAS,这是一种新的更有效的方法,可以使用RL控制器来处理表格NAS中的资源约束,该控制器的灵感来自拒绝采样的思想。TabNAS会立即丢弃任何违反资源约束的架构,而无需对该架构进行培训或学习。TabNAS对RL策略梯度更新使用基于蒙特卡罗的校正,以解决此额外筛选步骤。在多个表格数据集上的结果证明了TabNAS相对于以前的奖励整形方法的优越性:它找到了更好的遵守约束的模型。
2022-10-20 cs.LG stat.ML
Constrained Adaptive Rejection Sampling
University of California, Berkeley(加州大学伯克利分校)
提出约束自适应拒绝采样(CARS),通过自适应剪枝无效前缀来提高拒绝采样的样本效率,同时保持无分布扭曲,在程序模糊测试和分子生成等任务中优于现有方法。
2026-06-02 cs.AI cs.CL cs.LG
The Sample Complexity of Approximate Rejection Sampling with Applications to Smoothed Online Learning
MIT(麻省理工学院)
本文刻画了在有界 f-散度条件下近似拒绝采样的最优样本复杂度,并将其应用于放宽对手约束的平滑在线学习场景,同时比较了重要性采样与拒绝采样的效果。
2024-02-23 cs.LG stat.ML
Refined $α$-Divergence Variational Inference via Rejection Sampling
IIT Kanpur(印度理工学院坎普尔分校);Google Research(谷歌研究院)
我们提出了一种近似推理方法,基于Rényi $α$ -发散变分推理(RDVI)和拒绝抽样(RS)的协同组合。RDVI基于真实分布$p(x)$和变分近似$q(x)$之间的Rényi $α$ -散度$D_α(p||q)$的最小化; RS使用提议$p(x) = \tilde{p}(x)/Z_{p}$,s.t. $Mq(x) \geq \tilde{p}(x), \forall x$。我们的推理方法是基于一个重要的观察,即$D_\infty(p||q)$等于$\log M(θ)$,其中$M(θ)$是给定建议$q_θ(x)$的RS常数的最佳值。这使我们能够开发一个\emph{two-stage}混合推理算法。阶段1执行RDVI以通过最小化$D_α(p||q)$的估计器来学习$q_θ$,并且使用学习的$q_θ$来找到(近似)最佳$\tilde{M}(θ)$。阶段2使用常数$\tilde{M}(θ)$执行RS以改进近似分布$q_θ$并获得基于样本的近似。我们证明,这两个阶段的方法,使我们能够学习更准确的近似相比,RDVI的目标分布。我们证明了我们的方法的有效性,通过几个实验合成和真实的数据集。
2019-10-29 cs.LG stat.ML
Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling
Qwen Team, Alibaba Inc(阿里巴巴集团 Qwen 团队)
针对强化学习训练中多令牌预测接受率因熵波动而下降的问题,提出Bebop方法,采用概率拒绝采样和端到端TV损失优化,实现高达95%接受率和1.8倍加速。
2026-06-11 cs.CL cs.LG
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法,通过引入可微的接受门替代重要性采样比,统一了TRPO、PPO和REINFORCE的策略梯度,并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
Building Reliable Long-Form Generation via Hallucination Rejection Sampling
Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);University of Cambridge(剑桥大学);DeepMind(深度思维)
提出分段幻觉拒绝采样框架SHARS,利用任意幻觉检测器在生成过程中拒绝并重采样幻觉片段,以缓解长文本生成中的幻觉累积问题,提升事实一致性。
2026-06-02 cs.AI cs.CL cs.LG
Sample-Rank: Weak Multi-Objective Recommendations Using Rejection Sampling
Swiggy(Swiggy公司)
在线食品订购市场是一个多利益相关者的系统,其中的建议会影响系统中每个参与者的体验和成长。在这种情况下,推荐系统必须封装不同利益相关者的目标和约束,以便找到推荐项目的实用性。针对该问题的基于约束优化的方法通常涉及复杂的公式,并且在涉及数百万实体的生产设置中具有高计算复杂性。简化和松弛技术(例如,标量化)有助于但会引入次优性,并且由于需要大量的调优而可能非常耗时。在本文中,我们介绍了一种方法,涉及多目标采样,然后对用户相关性进行排名(Sample-Rank),以推动市场的多目标(MO)目标的建议。该方法的新颖之处在于,它减少了MO推荐问题,从一个期望的多目标分布采样,然后使用它来建立一个生产友好的学习排名(LTR)模型。在离线实验中,我们表明,我们能够偏向于MO标准的建议与可接受的权衡指标,如AUC和NDCG。我们还展示了一个大规模在线A/B实验的结果,与基线排名方法相比,这种方法在统计学上显著提高了2.64%的平均每单收入(RPO)(目标#1),而转化率(CR)(目标#2)没有下降,同时保持了平均最后一英里的水平(目标#3)。这种方法还显著减少了MO设置中的模型开发和部署时间,并允许对更多目标和其他类型的LTR模型进行简单的扩展。
2020-08-24 cs.LG stat.ML
RCT Rejection Sampling for Causal Estimation Evaluation
Williams College(威廉姆斯学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Michigan(密歇根大学)
针对高维协变量场景下因果估计方法实证评估困难的问题,提出RCT拒绝采样算法,构建带混杂的观测数据集并保证因果识别成立,结合公开的真实RCT数据验证有效性,助力因果估计的实证评估。
2024-01-31 cs.AI cs.CL cs.LG
RS-DPO: A Hybrid Rejection Sampling and Direct Preference Optimization Method for Alignment of Large Language Models
Amazon(亚马逊公司)
本文提出RS-DPO方法,通过将拒绝采样与直接偏好优化相结合,从监督微调策略模型采样对比样本并进行偏好对齐,从而在有限资源下提升大语言模型对齐效果并优于RS、PPO和DPO。
2024-03-30 cs.AI cs.CL cs.CV
The OS* Algorithm: a Joint Approach to Exact Optimization and Sampling
Xerox Research Centre Europe(施乐欧洲研究中心);University of Amsterdam(阿姆斯特丹大学)
目前大多数高维分布的采样算法都是基于MCMC技术,并且在某种意义上说,它们只是渐近有效的。另一方面,拒绝采样产生有效的样本,但在高维空间中速度慢得不切实际。我们提出的OS* 算法是一种统一的方法,精确的优化和采样,基于功能上界的增量细化,它结合了自适应拒绝采样和A* 优化搜索的思想。我们表明,选择的细化可以在一种方式,确保在高维空间中的易处理性,我们提出了第一个实验在两个不同的设置:推理高阶Hynomial和大型离散图形模型。
2012-07-03 cs.AI cs.CL cs.LG
Uniform Race: Parameter-Free Approximate Rejection Sampling
Pohang University of Science and Technology(浦项科技大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对近似拒绝采样需预设阈值的局限,提出无参数算法均匀竞赛(UR),通过重要性权重除以均匀随机变量选取最大分数样本,在任意预算下同时达到所有阈值的最优误差界,且优于现有基线,并在LLM数学推理任务中验证有效性。
2026-11-05 cs.LG stat.ML
A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce
Salesforce AI Research(Salesforce AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究从类reinforce视角分析GRPO的有效性来源,发现仅用正样本训练的RAFT基线性能可与GRPO、PPO媲美,进而提出同时过滤全错和全对样本的Reinforce-Rej算法,提升了KL效率与稳定性,为LLM后训练提供了轻量方案与研究指导。
2025-06-12 cs.AI cs.CL cs.LG
Learnable Chernoff Baselines for Inference-Time Alignment
Ohio State University(俄亥俄州立大学)
本文提出可学习的Chernoff基线,通过高效采样实现生成模型的推理时间对齐,减少计算成本并提升对齐效果。
2026-11-10 cs.AI cs.LG
Let AI Entertain You: Increasing User Engagement with Generative AI and Rejection Sampling
Nextdoor(邻门)
针对生成式AI内容难以提升用户参与度的问题,提出利用用户反馈和拒绝采样技术的通用框架,在邮件主题行生成中实现会话数+1%和周活跃用户+0.4%的提升。
2023-12-16 cs.AI cs.HC cs.LG
Post-Rejection Follow-up Sampling: Measuring Outcomes of Rejected Decisions in Algorithmic DEX Trading
Independent Researcher(独立研究者)
提出拒绝后跟踪采样(PRFS)方法,通过独立跟踪子系统采样被拒绝代币的价格和流动性,以评估过滤器精度,数据集包含2997个拒绝事件的67000条观测记录。
2026-10-14 cs.LG q-fin.CP q-fin.ST
Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sampling and RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce AI Research(Salesforce人工智能研究)
本文提出 GVM-RAFT 动态样本分配策略,通过监测提示接受率与梯度范数最小化随机梯度方差,在数学推理上较 RAFT 实现 2-4 倍加速和准确率提升,并可推广至 GRPO 等强化学习算法。
2025-05-05 cs.AI cs.CL cs.LG
Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling
MIT(麻省理工学院);ETH Zürich(苏黎世联邦理工学院);McGill(麦吉尔大学);Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席);Mila(蒙特利尔人工智能研究院);Johns Hopkins(约翰霍普金斯大学);Yale(耶鲁大学);CHI FRO
本文提出自适应加权拒绝采样算法,通过大幅减少约束评估次数并生成无偏重要性权重估计,解决了局部约束解码中计算开销大和全局分布扭曲的问题,在多个任务上优于现有基线并提升运行效率。
2025-08-18 cs.AI cs.CL cs.LG
A New Rejection Sampling Approach to $k$-$\mathtt{means}$++ With Improved Trade-Offs
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文提出基于拒绝采样的新方法加速 $k$-means++,在保持 $O(\log k)$ 期望竞争力的同时显著降低计算代价,并给出改进的代价与质量权衡,通过实验验证了其有效性。
2025-02-04 cs.DS cs.LG
Alternating Diffusion for Proximal Sampling with Zeroth Order Queries
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院);Institute of High Performance Computing, Agency for Science, Technology and Research(科技研究局高性能计算研究所);Centre for Frontier AI Research, Agency for Science, Technology and Research(科技研究局前沿人工智能研究中心);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文提出一种仅利用零阶信息的近端采样器,通过直接模拟动力学而非拒绝采样,将中间粒子分布视为高斯混合分布,从而获得蒙特卡洛分数估计器,在等周条件下继承指数收敛性,并通过并行计算实现快速收敛。
2026-03-20 cs.LG stat.ML
On the Query Complexity of Verifier-Assisted Language Generation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research NYC(微软研究院纽约)
本文建立数学框架研究验证器辅助受约束语言生成的查询复杂度,证明验证器访问可将棘手问题转化为可处理问题,并提出带回溯的逐令牌拒绝采样方法,在效率、准确性和多样性上优于基线。
2025-06-06 cs.CL cs.LG