Let AI Entertain You: Increasing User Engagement with Generative AI and Rejection Sampling
Nextdoor(邻门)
针对生成式AI内容难以提升用户参与度的问题,提出利用用户反馈和拒绝采样技术的通用框架,在邮件主题行生成中实现会话数+1%和周活跃用户+0.4%的提升。
2023-12-16 cs.AI cs.HC cs.LG
Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sampling and RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce AI Research(Salesforce人工智能研究)
本文提出 GVM-RAFT 动态样本分配策略,通过监测提示接受率与梯度范数最小化随机梯度方差,在数学推理上较 RAFT 实现 2-4 倍加速和准确率提升,并可推广至 GRPO 等强化学习算法。
2025-05-05 cs.AI cs.CL cs.LG
Thompson Sampling is Asymptotically Optimal in General Environments
Australian National University(澳大利亚国立大学);University of Alberta(阿尔伯塔大学);Google DeepMind(谷歌DeepMind)
本文讨论了在可数类一般随机环境下的非参数强化学习中的一种Thompson采样方法。这些环境可以是非马尔可夫、非遍历和部分可观测的。我们表明,汤普森采样学习环境类的意义上,(1)渐近收敛到最优值的平均值和(2)给定的可恢复性假设后悔是次线性的。
2016-06-03 cs.AI cs.LG stat.ML
Distributed Online Bandit Submodular Maximization with Bounded Sampling Violations
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化学院);School of Artificial Intelligence and Automation at the Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);School of Aeronautics and Astronautics, Purdue University(普渡大学航空航天学院)
针对划分拟阵约束下的分布式在线子模最大化问题,提出统一算法框架,在全信息和赌博机反馈下实现次线性(1-1/e)-遗憾,并通过有界随机管道舍入方案使采样违规概率渐近消失。
2026-07-02 cs.LG
Pliable rejection sampling
INRIA Lille - Nord Europe(INRIA里尔-北欧洲)
本文提出可塑性拒绝采样方法,通过核估计学习采样提议,提高拒绝率并保证接受样本数量。
2026-04-24 cs.LG stat.ML
Bayesian inference via rejection filtering
Microsoft Research(微软研究院);University of Sydney(悉尼大学)
我们提供了一种近似贝叶斯推理的方法,使用拒绝抽样。我们不仅使过程高效,而且还大大减少了所需的内存相对于传统的方法相结合的拒绝采样与粒子滤波。我们还提供了一个近似形式的拒绝采样,使拒绝滤波易于处理的情况下,精确拒绝采样是没有效率的。最后,我们提出了几个数值例子的拒绝过滤,显示其跟踪时间依赖的参数在在线设置的能力,也基准测试其性能的MNIST分类问题。
2015-12-03 cs.LG quant-ph stat.ML
A minimax near-optimal algorithm for adaptive rejection sampling
Numberly (1000mercis Group)(Numberly(1000mercis 集团));Otto-von-Guericke University(奥托·冯·格里克大学);Potsdam University(波茨坦大学)
拒绝抽样是一种基本的蒙特卡罗方法。它用于从允许概率密度函数的分布中采样,该概率密度函数可以在任何给定点精确地进行评估,尽管计算成本很高。然而,如果没有适当的调整,这种技术意味着高拒绝率。已经探索了几种方法来应对这个问题,基于通过一个简单的函数,使用以前的样本的信息,自适应地估计密度的原则。它们中的大多数要么依赖于对密度形式的强假设,要么不提供任何理论性能保证。我们给出了第一个自适应拒绝抽样问题的理论下限,并引入了一个新的算法,保证了一个接近最优的拒绝率在极大极小意义上。
2018-10-22 cs.LG stat.ML
Amortized Rejection Sampling in Universal Probabilistic Programming
University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所)
在具有无限循环的概率规划中,摊销推理的朴素方法可以产生具有无穷方差的估计量。这是特别真实的重要性采样推理程序,明确包括拒绝抽样的一部分,用户编程的生成过程。本文提出了一种新的有效的摊余重要性采样估计量。我们证明了我们的估计有限方差和经验证明我们的方法的正确性和效率相比,现有的替代品生成程序包含拒绝采样循环,并讨论如何实现我们的方法在一个通用的概率编程框架。
2022-03-29 cs.AI cs.LG stat.ML
Optimal Budgeted Rejection Sampling for Generative Models
LAMSADE, CNRS, Université Paris-Dauphine, Université PSL(LAMSADE实验室、法国国家科学研究中心、巴黎多芬大学、巴黎文理大学)
本文针对有限采样预算下基于判别器的生成模型,提出对任意 f-散度最优的 OBRS 方案,并将其端到端融入训练,显著提升样本质量与多样性。
2024-03-01 cs.LG
Discriminator Rejection Sampling
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
我们提出了一种拒绝抽样方案,使用GAN的采样近似校正GAN生成器分布中的误差。我们表明,在相当严格的假设下,这将使我们能够准确地恢复数据分布。然后,我们研究这些严格的假设打破,并设计一个实用的算法-称为鉴别器拒绝抽样(DRS)-可用于真实的数据集。最后,我们证明了DRS对高斯混合模型和SAGAN模型的有效性,这是开发这项工作时图像生成任务的最新技术。在ImageNet上,我们训练了一个改进的基线,将Inception Score从52.52提高到62.36,并将Frechet Inception Distance从18.65降低到14.79。然后,我们使用DRS来进一步改善这个基线,将Inception Score提高到76.08,FID提高到13.75。
2019-02-26 cs.LG stat.ML
Delayed rejection Hamiltonian Monte Carlo for sampling multiscale distributions
Flatiron Institute(熨斗研究所)
针对多尺度分布中 HMC 步长受高曲率区域限制的问题,提出几何递减步长的延迟拒绝 HMC,并扩展重试概率机制,最高带来五倍采样效率提升。
2021-10-01 cs.LG stat.ML
Diffusion Rejection Sampling
KAIST(韩国科学技术院)
本文提出扩散拒绝采样(DiffRS),通过在每个时间步对齐采样转移核与真实核并拒绝低质量样本,实现更紧的采样误差上界,在基准数据集和快速采样器及文本到图像模型中达到最先进性能。
2024-05-28 cs.LG
Variational Rejection Sampling
Stanford University(斯坦福大学);Vicarious;University of Alberta(阿尔伯塔大学)
当近似后验距离真实后验很远时,由于梯度估计的高方差,使用随机变分推断学习潜变量模型具有挑战性。我们提出了一种新的拒绝抽样步骤,丢弃样本的变分后,这是分配低似然模型。我们的方法提供了一个任意精确的近似真实的后,额外的计算为代价。使用一个新的梯度估计所产生的未规范化的建议分布,我们实现了3.71 nats和0.21 nats的平均改进,分别超过最先进的单样本和多样本的替代方案,用于估计边缘对数似然使用S形信念网络的MNIST数据集。
2018-04-05 cs.AI cs.LG cs.NE
Exact sampling of determinantal point processes with sublinear time preprocessing
University of California, Berkeley(加州大学伯克利分校);Istituto Italiano di Tecnologia(意大利技术研究院);DeepMind(深度思维)
我们研究的复杂性,从分布在所有的指数子集的集合$\{1,...,n\}$与概率的子集$S$成比例的子矩阵$\mathbf{L}_S$的一些$n\times n$ p.s.d.的行列式。矩阵$\mathbf{L}$,其中$\mathbf{L}_S$对应于由$S$索引的$\mathbf{L}$的条目。这种分布被称为决定点过程,在机器学习中用于诱导子集选择的多样性。在实践中,我们经常希望从非常大的矩阵$\mathbf{L}$中采样具有小的预期大小$k = E[|S|] \ll n$的多个子集$S$,因此重要的是最小化过程的预处理成本(执行一次)以及采样成本(重复执行)。为此,我们提出了一种新的算法,该算法在访问$\mathbf{L}$的情况下,精确地从一个决定点过程采样,同时满足以下两个性质:(1)它的预处理成本是$n \cdot \text{poly}(k)$,即,$\mathbf{L}$的大小是次线性的,以及(2)其采样成本是$\text{poly}(k)$,即,与$\mathbf{L}$的大小无关。在我们的研究结果之前,最先进的精确采样器需要$O(n^3)$预处理时间和采样时间在$n$中是线性的,或者依赖于$\mathbf{L}$的光谱特性。我们还给出了一个减少,允许使用我们的算法从基数约束的行列式点过程与$n\cdot\text{poly}(k)$时间预处理的精确采样。
2019-07-08 cs.LG stat.ML
Reparameterized Variational Rejection Sampling
Generate Biomedicines(生成生物医药公司);Google Research(谷歌研究院)
本文改进 Variational Rejection Sampling,通过低方差重参数化梯度估计器优化提议分布,提出 RVRS,在连续及局部潜变量模型的黑箱推断中兼顾计算成本与后验近似质量。
2023-09-26 cs.LG stat.CO stat.ML
Faster Sublinear Algorithms using Conditional Sampling
MIT(麻省理工学院)
概率分布D的条件采样预言机返回来自限制于域的指定子集的D的条件分布的样本。最近的一系列工作(Chakraborty et al. 2013和Cannone et al. 2014)表明,访问这样的条件抽样oracle只需要多对数甚至常数数量的样本来解决分布测试问题,如同一性和均匀性。这大大改善了标准采样模型,其中多项式许多样本是必要的。受这些结果的启发,我们引入了一个计算模型的基础上,条件采样开发次线性算法与指数更快的运行时间相比,标准的次线性算法。本文主要研究高维欧氏空间中点集上的几何优化问题。访问这些点是通过一个有条件的采样预言机提供的,该预言机将域的子集的简洁表示作为输入,并输出该子集中的均匀随机点。我们研究了两个很好的研究问题:k-均值聚类和估计的最小生成树的重量。与经典模型的已有算法相比,我们的算法具有时间、空间和样本复杂度,即维数为多项式,点数为多对数。最后,我们评论了该模型的适用性,并与现有的流,并行和分布式计算模型。
2016-08-16 cs.DS cs.LG
Sublinear iterations can suffice even for DDPMs
UToronto(多伦多大学);CMU(卡内基梅隆大学);Harvard(哈佛大学);Yale(耶鲁大学)
本文针对DDPM采样提出去噪扩散随机中点法(DDRaM),利用随机中点更好地近似SDE,首次证明纯DDPM采样只需次线性评分评估次数即可收敛,并通过实验验证了其在实际预训练图像合成模型中的有效性。
2025-11-06 cs.LG math.ST stat.TH
Implicit Variational Rejection Sampling
RIKEN iTHEMS;RIKEN AIP;South China University of Technology(华南理工大学);Xiamen University(厦门大学);Columbia University(哥伦比亚大学)
提出隐式变分拒绝采样(IVRS),结合隐式分布与拒绝采样,通过神经网络构建提议分布并用判别器估计密度比来改进后验近似,引入IR-ELBO作为质量度量,实验优于传统变分推断。
2026-06-15 cs.LG
Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
Department of Electrical and Computer Engineering, University of Toronto(电气与计算机工程系,多伦多大学)
本文提出基于集成拒绝采样的信道模拟与分布式匹配方案,实现近最优编码速率,并首次在拒绝采样家族中达到接近泊松匹配引理的匹配概率,通过分布式压缩实验验证有效性。
2025-10-07 cs.IT cs.LG math.IT
TabNAS: Rejection Sampling for Neural Architecture Search on Tabular Datasets
Google Research(谷歌研究院);Stanford University(斯坦福大学)
给定机器学习问题的最佳神经架构取决于许多因素:不仅数据集的复杂性和结构,而且还取决于资源约束,包括延迟,计算,能耗等。以前的NAS算法设计的图像搜索空间将资源约束直接到强化学习(RL)的奖励。然而,对于表格数据集上的NAS,此协议通常会发现次优架构。本文开发了TabNAS,这是一种新的更有效的方法,可以使用RL控制器来处理表格NAS中的资源约束,该控制器的灵感来自拒绝采样的思想。TabNAS会立即丢弃任何违反资源约束的架构,而无需对该架构进行培训或学习。TabNAS对RL策略梯度更新使用基于蒙特卡罗的校正,以解决此额外筛选步骤。在多个表格数据集上的结果证明了TabNAS相对于以前的奖励整形方法的优越性:它找到了更好的遵守约束的模型。
2022-10-20 cs.LG stat.ML
Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The Chinese University of Hong Kong(香港中文大学)
针对大语言模型难以生成符合概率分布的真实样本的问题,提出言语化拒绝采样方法,通过自然语言适配经典拒绝采样机制,在无需访问模型内部的情况下大幅降低采样偏差,验证了经典概率工具嵌入LLM工作流的有效性。
2025-06-11 cs.CL cs.LG
Query-Efficient Rejection Sampling for Parallel Masked Diffusion
University of California, Los Angeles(加州大学洛杉矶分校)
针对掩码扩散模型并行采样忽略token相关性的问题,提出单增量拒绝采样器SIRS,通过单次查询估计对数接受概率并结合Rao-Blackwell化减少截断,降低了查询成本且界定了KL散度。
2026-10-16 cs.LG math.PR stat.ML
The Sample Complexity of Approximate Rejection Sampling with Applications to Smoothed Online Learning
MIT(麻省理工学院)
本文刻画了在有界 f-散度条件下近似拒绝采样的最优样本复杂度,并将其应用于放宽对手约束的平滑在线学习场景,同时比较了重要性采样与拒绝采样的效果。
2024-02-23 cs.LG stat.ML
Refined $α$-Divergence Variational Inference via Rejection Sampling
IIT Kanpur(印度理工学院坎普尔分校);Google Research(谷歌研究院)
我们提出了一种近似推理方法,基于Rényi $α$ -发散变分推理(RDVI)和拒绝抽样(RS)的协同组合。RDVI基于真实分布$p(x)$和变分近似$q(x)$之间的Rényi $α$ -散度$D_α(p||q)$的最小化; RS使用提议$p(x) = \tilde{p}(x)/Z_{p}$,s.t. $Mq(x) \geq \tilde{p}(x), \forall x$。我们的推理方法是基于一个重要的观察,即$D_\infty(p||q)$等于$\log M(θ)$,其中$M(θ)$是给定建议$q_θ(x)$的RS常数的最佳值。这使我们能够开发一个\emph{two-stage}混合推理算法。阶段1执行RDVI以通过最小化$D_α(p||q)$的估计器来学习$q_θ$,并且使用学习的$q_θ$来找到(近似)最佳$\tilde{M}(θ)$。阶段2使用常数$\tilde{M}(θ)$执行RS以改进近似分布$q_θ$并获得基于样本的近似。我们证明,这两个阶段的方法,使我们能够学习更准确的近似相比,RDVI的目标分布。我们证明了我们的方法的有效性,通过几个实验合成和真实的数据集。
2019-10-29 cs.LG stat.ML
Constrained Adaptive Rejection Sampling
University of California, Berkeley(加州大学伯克利分校)
提出约束自适应拒绝采样(CARS),通过自适应剪枝无效前缀来提高拒绝采样的样本效率,同时保持无分布扭曲,在程序模糊测试和分子生成等任务中优于现有方法。
2026-06-02 cs.AI cs.CL cs.LG
Fast and Accurate $k$-means++ via Rejection Sampling
Google Research(谷歌研究院);University of Cologne(科隆大学);EPFL(洛桑联邦理工学院)
$k$ -means++ \cite{arthur2007k}是一种应用广泛的聚类算法,它易于实现,具有良好的理论保证和较强的经验性能。尽管它被广泛采用,但$k$ -means++有时在大型数据集上速度很慢,因此一个自然的问题是获得具有类似保证的更有效的算法。在本文中,我们提出了一个近线性时间算法的$k$ -均值++播种。有趣的是,我们的算法获得了与$k$ -means++相同的理论保证,并显着改善了快速$k$ -means++播种的早期结果。此外,我们的经验表明,我们的算法是显着快于$k$ -手段++,并获得同等质量的解决方案。
2020-12-22 cs.DS cs.LG
Ada-RS: Adaptive Rejection Sampling for Selective Thinking
PayPal AI
Ada-RS通过自适应拒绝采样提升LLMs在延迟敏感场景下的推理效率与准确性。
2026-02-23 cs.AI cs.LG
Building Reliable Long-Form Generation via Hallucination Rejection Sampling
Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);University of Cambridge(剑桥大学);DeepMind(深度思维)
提出分段幻觉拒绝采样框架SHARS,利用任意幻觉检测器在生成过程中拒绝并重采样幻觉片段,以缓解长文本生成中的幻觉累积问题,提升事实一致性。
2026-06-02 cs.AI cs.CL cs.LG
Sample-Rank: Weak Multi-Objective Recommendations Using Rejection Sampling
Swiggy(Swiggy公司)
在线食品订购市场是一个多利益相关者的系统,其中的建议会影响系统中每个参与者的体验和成长。在这种情况下,推荐系统必须封装不同利益相关者的目标和约束,以便找到推荐项目的实用性。针对该问题的基于约束优化的方法通常涉及复杂的公式,并且在涉及数百万实体的生产设置中具有高计算复杂性。简化和松弛技术(例如,标量化)有助于但会引入次优性,并且由于需要大量的调优而可能非常耗时。在本文中,我们介绍了一种方法,涉及多目标采样,然后对用户相关性进行排名(Sample-Rank),以推动市场的多目标(MO)目标的建议。该方法的新颖之处在于,它减少了MO推荐问题,从一个期望的多目标分布采样,然后使用它来建立一个生产友好的学习排名(LTR)模型。在离线实验中,我们表明,我们能够偏向于MO标准的建议与可接受的权衡指标,如AUC和NDCG。我们还展示了一个大规模在线A/B实验的结果,与基线排名方法相比,这种方法在统计学上显著提高了2.64%的平均每单收入(RPO)(目标#1),而转化率(CR)(目标#2)没有下降,同时保持了平均最后一英里的水平(目标#3)。这种方法还显著减少了MO设置中的模型开发和部署时间,并允许对更多目标和其他类型的LTR模型进行简单的扩展。
2020-08-24 cs.LG stat.ML
Optimal Sublinear Sampling of Spanning Trees and Determinantal Point Processes via Average-Case Entropic Independence
Stanford University(斯坦福大学)
我们设计了强瑞利分布(包括随机生成树分布和决定点过程)中重复采样的快速算法。对于图$G=(V, E)$,我们展示了如何近似采样均匀随机生成树从$G$在$\widetilde{O}(\lvert V\rvert)$时间每个样本后,初始$\widetilde{O}(\lvert E\rvert)$时间预处理。对于$n$元素的基集的大小$k$的子集上的行列式点过程,我们展示了如何在初始$\widetilde{O}(nk^{ω-1})$时间预处理后在$\widetilde{O}(k^ω)$时间内近似采样,其中$ω<2.372864$是矩阵乘法指数。我们甚至改进了从行列式点过程获得单个样本的现有技术,从$\widetilde{O}(\min\{nk^2, n^ω\})$的先前运行时间改进为$\widetilde{O}(nk^{ω-1})$。在我们的主要技术成果中,我们实现了强瑞利分布域稀疏化的最佳极限。在域稀疏化中,从$\binom{[n]}{k}$上的分布$μ$的采样被简化为从$t\ll n$的$\binom{[t]}{k}$上的相关分布的采样。我们证明了对于强瑞利分布,我们可以实现最优的$t=\widetilde{O}(k)$。我们的减少涉及从$\widetilde{O}(1)$域稀疏分布,所有这些都可以有效地假设方便地访问近似高估的边缘$μ$的采样。有机会获得边际类似于有机会获得一个连…
2022-09-18 cs.DS cs.LG math.PR
Learning Determinantal Point Processes in Sublinear Time
INRIA(法国国家信息与自动化研究所);Technicolor R&D France(法国特艺研发中心);École Normale Supérieure Paris(巴黎高等师范学院)
我们提出了一类新的决定点过程(DPP),可以操纵的推理和参数学习在潜在的次线性时间的项目数。这个类,基于一个特定的低秩因式分解的边缘内核,特别适合于一个子类的连续DPP和DPP定义指数许多项目。我们应用这个新的类建模文本文件作为采样的DPP的句子,并提出了一个有条件的极大似然制定模型的主题比例,这是可能的,没有近似我们的类DPP。我们提出了一个应用程序,以文件摘要与DPP的$2^{500}$项目。
2016-10-19 cs.LG stat.ML
Importance Corrected Neural JKO Sampling
University College London(伦敦大学学院)
本文提出将连续正则化流与基于重要性权重的拒绝-重采样步骤相结合以从未归一化密度采样,通过交替局部与非局部步骤克服多峰分布的收敛问题,在多种测试分布上显著优于现有技术。
2025-08-13 cs.LG math.PR stat.ML
The query complexity of sampling from strongly log-concave distributions in one dimension
MIT(麻省理工学院)
我们建立了$Ω(\log\logκ)$的第一个紧下界的查询复杂度的抽样从一类强对数凹和对数光滑分布的条件数$κ$在一维。而现有的保证MCMC为基础的算法规模多项式在$κ$,我们引入了一种新的算法,拒绝采样,关闭这个双指数差距的基础上。
2021-06-09 cs.LG math.ST stat.TH
Faster polytope rounding, sampling, and volume computation via a sublinear "Ball Walk"
Worcester Polytechnic Institute(伍斯特理工学院);Yale University(耶鲁大学)
研究了多面体$K\subset\mathbb{R}^n$的“各向同性舍入”问题,即计算一个线性变换,使多面体上的均匀分布具有大致相同的协方差矩阵。我们假设$K$是由$m$线性不等式定义的,并保证$rB\subset K\subset RB$,其中$B$是单位球。我们引入了一个新的变种的球走马尔可夫链,并表明,粗略地说,该马尔可夫链的每一步的算术运算的预期数量是$O(m)$是次线性的输入大小$mn$-每一步的时间,所有先验马尔可夫链。随后,我们给出了一个舍入算法,成功的概率$1-\varepsilon$在$\tilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$算术运算。这给出了$\sqrt{n}$对用于舍入的$\tilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$的先前界限的改进因子,其使用打了就跑算法。由于四舍五入的预处理步骤在许多情况下,在提高采样或体积计算的瓶颈,我们的研究结果意味着这些任务也可以实现在大致$\tilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})+mn^4δ^{-2})$操作计算$K$的体积高达一个因素$1+δ$和$\tild…
2019-09-15 cs.DS cs.LG math.PR
Uniform Race: Parameter-Free Approximate Rejection Sampling
Pohang University of Science and Technology(浦项科技大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对近似拒绝采样需预设阈值的局限,提出无参数算法均匀竞赛(UR),通过重要性权重除以均匀随机变量选取最大分数样本,在任意预算下同时达到所有阈值的最优误差界,且优于现有基线,并在LLM数学推理任务中验证有效性。
2026-11-05 cs.LG stat.ML
Quantum-inspired sublinear algorithm for solving low-rank semidefinite programming
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Maryland(马里兰大学)
半定规划问题是数学优化领域的一个重要课题,其有效求解方法的研究也越来越多。在本文中,我们提出了一个证明的原则的次线性时间算法求解SDP与低秩约束,具体地说,给定一个SDP与$m$约束矩阵,每个维度$n$和秩$r$,我们的算法可以计算任何条目和有效的描述的谱分解的解决方案矩阵。该算法运行在时间$O(m\cdot\mathrm{poly}(\log n,r,1/\varepsilon))$给定访问基于采样的低开销数据结构的约束矩阵,其中$\varepsilon$是解决方案的精度。此外,我们将我们的算法应用于量子态学习任务作为应用。从技术上讲,我们的方法与1)基于Arora和Kale [TOC '12]的矩阵乘性权重(MMW)框架的SDP求解器一致; 2)Tang [STOC '19]开创的基于采样的反量化框架。为了计算矩阵指数所需的毫米波框架中,我们引入了两种新的技术,可能是独立的兴趣:$\bullet$加权采样:假设采样访问每个单独的约束矩阵$A_{1},\ldots,A_τ$,我们提出了一个程序,给出了一个很好的近似$A=A_{1}+\cdots+A_τ$。$\bullet$对称近似:我们提出了一个采样过程,给出了一个低秩厄米矩阵$A$的\emph{spectral decomposition}。据我们所知,这是第一个基于采样的谱分解算法,因为以前的作品只给出奇异值和向量。
2020-08-05 cs.DS cs.LG math.OC
RCT Rejection Sampling for Causal Estimation Evaluation
Williams College(威廉姆斯学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Michigan(密歇根大学)
针对高维协变量场景下因果估计方法实证评估困难的问题,提出RCT拒绝采样算法,构建带混杂的观测数据集并保证因果识别成立,结合公开的真实RCT数据验证有效性,助力因果估计的实证评估。
2024-01-31 cs.AI cs.CL cs.LG
Sublinear Time Quantum Sensitivity Sampling
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出统一的量子敏感性采样框架,在k-中位数/k-均值聚类、ℓp回归和低秩近似等问题上构造核心集,实现了亚线性时间复杂度和对已有量子采样方法的改进。
2026-11-10 cs.DS cs.LG quant-ph
Rejection Sampling IMLE: Designing Priors for Better Few-Shot Image Synthesis
Simon Fraser University(西蒙弗雷泽大学)
针对少样本图像合成中隐码对应不足导致测试性能次优的问题,提出 RS-IMLE 方法通过改变训练先验分布,在九个数据集上显著提升了图像生成质量。
2024-09-26 cs.CV cs.LG
Sublinear Optimization for Machine Learning
IBM Almaden Research Center(IBM阿尔马登研究中心);Technion - Israel Institute of Technology(以色列理工学院)
对于机器学习中的一些优化问题,如线性分类器的训练和最小包围球的寻找,我们给出了次线性时间近似算法。我们的算法可以扩展到这些问题的一些核化版本,如SVDD,硬边距SVM和L2-SVM,其中子线性时间算法是未知的。这些新的算法使用一种新的采样技术和一个新的乘法更新算法的组合。我们给出了下界,这表明我们的许多算法的运行时间几乎是最好的可能在单位成本RAM模型。我们还给出了我们的算法在半流设置的实现,获得了第一个低通多对数空间和次线性时间算法实现任意逼近因子。
2010-10-21 cs.LG
Fast Length-Squared Sampling for Positive-Semidefinite Matrices
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of California Berkeley(加州大学伯克利分校)
本研究提出一种期望O(n)时间的半正定矩阵快速长度平方采样算法,消除了需获取矩阵列范数的假设,可应用于鲁棒半正定低秩近似等问题,效果接近文献中的复杂方法。
2026-08-14 cs.DS cs.LG
Faster Algorithms for Testing under Conditional Sampling
University of California, San Diego(加州大学圣地亚哥分校)
最近有相当大的兴趣,分布测试的运行时间和样本的要求是次线性的域大小$k$。我们研究了两个最重要的测试下的条件抽样模型,每个查询指定一个子集$S$的域,和响应是一个样本从$S$根据底层的分布。对于身份测试,它询问是否底层分布等于一个特定的给定分布或$ε$ -不同于它,我们减少了已知的时间和样本的复杂性从$\tilde{\mathcal{O}}(ε^{-4})$到$\tilde{\mathcal{O}}(ε^{-2})$,从而匹配的信息理论下限。对于接近性测试,它询问两个分布的基础上观察到的数据集是相等还是不同的,我们减少现有的复杂性从$\tilde{\mathcal{O}}(ε^{-4} \log^5 k)$到一个偶数次对数$\tilde{\mathcal{O}}(ε^{-5} \log \log k)$,从而提供了一个更好的约束到一个开放的问题在Bertinoro研讨会上的次线性算法[Fisher,2004]。
2015-04-16 cs.CC cs.DS cs.LG
Post-Rejection Follow-up Sampling: Measuring Outcomes of Rejected Decisions in Algorithmic DEX Trading
Independent Researcher(独立研究者)
提出拒绝后跟踪采样(PRFS)方法,通过独立跟踪子系统采样被拒绝代币的价格和流动性,以评估过滤器精度,数据集包含2997个拒绝事件的67000条观测记录。
2026-10-14 cs.LG q-fin.CP q-fin.ST
The OS* Algorithm: a Joint Approach to Exact Optimization and Sampling
Xerox Research Centre Europe(施乐欧洲研究中心);University of Amsterdam(阿姆斯特丹大学)
目前大多数高维分布的采样算法都是基于MCMC技术,并且在某种意义上说,它们只是渐近有效的。另一方面,拒绝采样产生有效的样本,但在高维空间中速度慢得不切实际。我们提出的OS* 算法是一种统一的方法,精确的优化和采样,基于功能上界的增量细化,它结合了自适应拒绝采样和A* 优化搜索的思想。我们表明,选择的细化可以在一种方式,确保在高维空间中的易处理性,我们提出了第一个实验在两个不同的设置:推理高阶Hynomial和大型离散图形模型。
2012-07-03 cs.AI cs.CL cs.LG
Exhaustive Neural Importance Sampling applied to Monte Carlo event generation
Aplicaciones en Informática Avanzada (AIA)(高级信息应用公司);University of Geneva(日内瓦大学)
为中微子振荡实验提供精确的中微子-核截面模型,需要同时描述多个自由度和精确计算以模拟核响应。完整模型的详细计算使得Monte Carlo生成器缓慢且不实用。我们提出了穷举神经重要性采样(ENIS),一种基于规范化流的方法,自动有效地找到一个合适的建议密度拒绝采样,并讨论了这种技术如何解决拒绝算法的常见问题。
2020-07-21 cs.LG hep-ex
Quantum-inspired sublinear classical algorithms for solving low-rank linear systems
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了经典的次线性时间算法求解低秩线性方程组。我们的算法的灵感来自HHL量子算法解决线性系统和最近的突破唐的量子算法的推荐系统。令$A \in \mathbb{C}^{m \times n}$是秩- $k$矩阵,并且$b \in \mathbb{C}^m$是向量。我们提出了两种算法:提供来自$A^{-1}b$的样本的“采样”算法和输出$A^{-1}b$的条目的估计的“查询”算法,其中$A^{-1}$表示Moore-Penrose伪逆。我们的两个算法都有查询和时间复杂度$O(\mathrm{poly}(k, κ, \|A\|_F, 1/ε)\,\mathrm{polylog}(m, n))$,其中$κ$是$A$的条件数,$ε$是精度参数。注意,我们考虑的算法是次线性时间,所以它们不能写入和读取整个矩阵或向量。在本文中,我们假设$A$和$b$具有众所周知的低开销数据结构,使得$A$和$b$的条目可以根据某些自然概率分布进行采样。或者,当$A$是半正定的,我们的算法可以适应,使采样假设$b$是不需要的。
2018-11-12 cs.DS cs.IR cs.LG
Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling
MIT(麻省理工学院);ETH Zürich(苏黎世联邦理工学院);McGill(麦吉尔大学);Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席);Mila(蒙特利尔人工智能研究院);Johns Hopkins(约翰霍普金斯大学);Yale(耶鲁大学);CHI FRO
本文提出自适应加权拒绝采样算法,通过大幅减少约束评估次数并生成无偏重要性权重估计,解决了局部约束解码中计算开销大和全局分布扭曲的问题,在多个任务上优于现有基线并提升运行效率。
2025-08-18 cs.AI cs.CL cs.LG
Learnable Chernoff Baselines for Inference-Time Alignment
Ohio State University(俄亥俄州立大学)
本文提出可学习的Chernoff基线,通过高效采样实现生成模型的推理时间对齐,减少计算成本并提升对齐效果。
2026-11-10 cs.AI cs.LG
Sampling-based sublinear low-rank matrix arithmetic framework for dequantizing quantum machine learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);Alfréd Rényi Institute of Mathematics(阿尔弗雷德·雷尼数学研究所);California Institute of Technology(加州理工学院);University of Maryland(马里兰大学);University of Washington(华盛顿大学)
本文提出基于ℓ²-范数采样的经典SVT框架,在近似低秩矩阵上实现与维度无关的矩阵运算,推广并改进多类量子机器学习算法的去量子化结果。
2023-07-10 cs.DS cs.LG quant-ph
Sublinear Time Algorithms for Several Geometric Optimization (With Outliers) Problems In Machine Learning
University of Science and Technology of China(中国科学技术大学)
本文研究了机器学习中几个重要的几何优化问题。首先,我们重新审视欧氏空间$\mathbb{R}^d$中的最小包围球(MEB)问题。这个问题以前已经被广泛研究过,但是现实世界的机器学习任务通常需要处理大规模的数据集,以至于我们甚至负担不起线性时间算法。受最近关于{ \em beyond the worst case analysis}的研究的启发,我们引入了MEB稳定性的概念,这是自然的,易于理解的。粗略地说,MEB的实例是稳定的,如果结果球的半径不能通过移除一小部分输入点来显著减小。在稳定性假设下,我们提出了两种计算半径近似MEB的采样算法,其采样复杂度与输入点的数目无关$n$。特别地,第二算法具有甚至独立于维度$d$的样本复杂度。我们还考虑了没有稳定性假设的一般情况。我们提出了一种混合算法,可以输出半径近似MEB或覆盖近似MEB。我们的算法改善了以前的次线性MEB算法的运行时间和通过次数。我们的方法依赖于两个新的技术,均匀自适应采样方法和三明治引理。此外,我们观察到,这两种技术可以推广到设计次线性时间算法的更广泛的几何优化问题的离群值在高维,包括MEB离群值,一类和二类线性支持向量机离群值,$k$中心聚类离群值,和平坦拟合离群值。我们提出的算法也适用于内核。
2023-01-07 cs.CG cs.DS cs.LG
A New Rejection Sampling Approach to $k$-$\mathtt{means}$++ With Improved Trade-Offs
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文提出基于拒绝采样的新方法加速 $k$-means++,在保持 $O(\log k)$ 期望竞争力的同时显著降低计算代价,并给出改进的代价与质量权衡,通过实验验证了其有效性。
2025-02-04 cs.DS cs.LG
SubGen: Token Generation in Sublinear Time and Memory
Yale University(耶鲁大学);Google Research(谷歌研究院)
SubGen提出一种基于在线聚类与ℓ2采样的KV缓存压缩方法,实现亚线性内存与时间复杂度的注意力解码,在长上下文问答中优于现有压缩方法。
2024-02-08 cs.AI cs.DS cs.LG
Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs
University of Amsterdam(阿姆斯特丹大学);NAVER Labs Europe(NAVER实验室欧洲)
基于能量的模型(EBM)允许非常灵活的概率分布规范。然而,它们没有提供从这些分布获得精确样本的机制。蒙特卡罗技术可以帮助我们获得样本,如果一些建议分布,我们可以很容易地抽样。例如,拒绝抽样可以提供精确的样本,但由于需要找到一个建议分布,该分布在任何地方都是目标分布的上限,因此通常很难或不可能应用。近似马尔可夫链蒙特卡罗抽样技术(如Metropolis-Hastings)通常更容易设计,利用局部建议分布对不断变化的样本进行局部编辑。然而,由于建议分布的局部性质,这些技术可能是低效的,并且不提供对它们的样本的质量的估计。在这项工作中,我们提出了一种新的近似采样技术,准拒绝采样(QRS),允许采样效率和采样质量之间的权衡,同时提供明确的收敛范围和诊断。QRS利用了从深度学习模型获得的高质量全局建议分布的可用性。我们证明了QRS采样的有效性,离散EBM的文本控制文本生成与分布约束和释义生成的任务。我们表明,我们可以从这样的EBM采样任意精度的采样效率的成本。
2021-12-10 cs.CL cs.LG cs.NE