DreamSampler: Unifying Diffusion Sampling and Score Distillation for Image Manipulation
KAIST(韩国科学技术院);Kim Jae Chul AI graduate school, KAIST(金在哲人工智能研究生院(韩国科学技术院))
本文提出DreamSampler框架,通过正则化潜在优化将逆向扩散采样与分数蒸馏无缝集成,解决现有方法需调整架构或易模式崩溃的问题,实现图像编辑与重建。
2024-09-23 cs.AI cs.CV cs.LG
The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis
Instituto de Matemática, Universidade Federal do Rio de Janeiro(数学研究所,里约热内卢联邦大学)
研究基于分数的扩散采样中随机性对生成过程的影响,通过KL散度演变分析,得出对精确和近似分数函数的不同影响,经实验验证理论,还给出解析示例及最优随机性函数表征。
2026-07-17 cs.LG
Gradient-Free Score-Based Sampling Methods with Ensembles
Aeolus Labs(Aeolus实验室)
针对目标分布梯度不可用的科学工程应用,提出基于集成的无梯度得分采样方法,利用粒子集体动力学计算近似反向扩散漂移,在多维度及贝叶斯反演问题中验证了其有效性。
2025-05-31 cs.LG stat.CO
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven(鲁汶大学);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
通常,机器学习模型最小化经验期望。因此,经过训练的模型通常对大多数数据表现良好,但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程,与标准方法相比,该方法显着提高了模式覆盖率,并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图,或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时,使用建议的采样策略。
2021-07-21 cs.LG stat.ML
Temporal Score Rescaling for Temperature Sampling in Diffusion and Flow Models
School of Computer Science, Carnegie Mellon University, Pittsburgh, USA(计算机科学系,卡内基梅隆大学,匹兹堡,美国);Department of Computer Science, Stanford University, California, USA(计算机科学系,斯坦福大学,加利福尼亚,美国)
提出一种无需微调或改变训练策略的方法,通过重缩放噪声数据的得分函数来调控扩散和流模型的采样多样性,实现局部温度控制,并在图像生成、姿态估计、深度预测、机器人操作和蛋白质设计等任务中验证了有效性。
2026-05-22 cs.LG
SCORENF: Score-based Normalizing Flows for Sampling Unnormalized distributions
Department of Electrical Engineering, IIT Kanpur, India(印度IIT坎浦尔电子工程系)
本文提出ScoreNF,结合归一化流与独立Metropolis-Hastings模块,实现非归一化分布的高效无偏采样,并在小训练集下保持高性能,同时评估模式覆盖与崩溃。
2026-09-29 cs.LG hep-lat quant-ph
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego(加州大学圣地亚哥分校)
针对流匹配模型在有限采样预算下估计函数期望难的问题,提出非IID采样框架,用分数正则化平衡多样性与质量,还开发非IID流样本重要性加权方法,提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
A Stochastic Analysis Perspective on Diffusion Models
本文从随机分析视角研究基于分数的生成模型,结合经典采样理论等思想,关联朗之万采样与分数匹配,提出扩散时间反转的路径空间处理,连接理想反向扩散与实际生成算法。
2026-10-14 cs.LG math.PR stat.ML
Posterior Sampling by Combining Diffusion Models with Annealed Langevin Dynamics
UT Austin(得克萨斯大学);Microsoft Research(微软研究院)
针对后验采样的计算难题,聚焦对数凹分布$p(x)$,提出结合扩散模型与退火朗之万动力学的方法,仅需得分误差$L^4$界即可在多项式时间内实现条件采样,解决朗之万动力学对得分估计误差敏感的问题。
2025-11-18 cs.AI cs.DS cs.LG
From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
ENS Paris, PSL, CNRS(巴黎高等师范学院、巴黎综合理工学院、国家科学研究中心);Univ. Paris-Saclay, Inria, CEA(巴黎萨克雷大学、法国国家信息与自动化技术研究所、法国原子能委员会)
本文研究了在高斯设定下使用扩散采样器时的采样误差,分析了分数匹配和扩散过程中的四个主要误差源,并揭示了数据分布各向异性与端到端采样方法关键参数之间的相互作用。
2026-05-19 cs.LG math.OC
Tensor Train Diffusion: Leveraging Low-Rank Structures for High-Dimensional Score-Based Sampling
研究如何利用低秩结构进行高维基于分数的采样,提出基于函数张量列车格式求解HJB方程的方法,结合反向迭代方案,克服现有技术瓶颈,实现从复杂目标分布高效高保真采样。
2026-07-09 cs.LG stat.ML
Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models
Center for Advanced Intelligence Project, RIKEN(RIKEN先进人工智能项目中心);The University of Tokyo(东京大学)
本文针对高维对数凹采样提出一种基于科学计算并行模拟技术的新方法,将自适应复杂度对维度的依赖从 $\widetilde{\mathcal{O}}(\log^2 d)$ 降至最优的 $\widetilde{\mathcal{O}}(\log d)$,显著提升了并行采样效率。
2025-09-22 cs.DC cs.DS cs.LG
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA;MIT(麻省理工学院)
本文提出Audio-SDS,将分数蒸馏采样推广到文本条件音频扩散模型,利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务,无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
Bridging data-driven priors via the score function for posterior sampling -- Comparative review and experimental study
IDP, Univ Orléans(IDP,奥尔良大学);LITIS, Univ Rouen Normandie(LITIS,鲁昂-诺曼底大学);Bureau de Recherches Géologiques et Minières Orléans, France(奥尔良地质与矿业研究局,法国);IRIT, Univ Toulouse(图卢兹大学IRIT)
本文综述了贝叶斯逆问题中多种数据驱动先验如何通过得分函数统一,并展示其在采样算法中的有效集成,通过图像修复和超分辨率实验验证了方法的效率与通用性。
2026-06-16 cs.LG eess.IV stat.ME
An Efficient Conditional Score-based Filter for High Dimensional Nonlinear Filtering Problems
Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Yau Mathematical Sciences Center, Tsinghua University(清华大学叶中伟数学科学中心);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京燕琦湖数学科学与应用研究所)
针对高维非线性滤波难题,提出条件分数滤波器(CSF),利用集合变换器编码器和条件扩散模型,实现无需重训的高效准确后验采样,并在基准测试中展现优越性能。
2025-09-24 cs.LG
Sharp Convergence and Sampling Trade-offs for Riemannian Diffusion under Nonnegative Ricci Curvature
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
本文提出通用框架分离分数离散化与布朗运动模拟,在非负Ricci曲率下证明黎曼扩散模型仅需O~(d/ε²)次分数评估即可达到ε² KL散度,并给出测地线随机游走步数上界,匹配欧几里得扩散模型的收敛速率。
2026-09-30 cs.LG
Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion
University of California, Davis(加州大学戴维斯分校);Luddy School of Informatics, Computing, and Engineering, Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校卢迪信息学、计算与工程学院);The Ohio State University(俄亥俄州立大学)
本文针对零样本条件离散扩散中得分不匹配问题,首次进行理论分析并推导KL散度上界,提出RHC采样器,经实验验证其有效性。
2026-10-16 cs.LG stat.ML
Exploiting the Exact Denoising Posterior Score in Training-Free Guidance of Diffusion Models
PhysicsX Ltd.(PhysicsX有限公司)
本研究提出纯去噪任务下精确后验分数的可求解新表达式,分析DPS分数的时间相关误差并动态计算步长最小化误差,该方法性能比肩SOTA且采样步数少于DPS,步长可迁移至多种图像逆问题。
2025-06-16 cs.CV cs.LG stat.ML
SciRE-Solver: Accelerating Diffusion Models Sampling by Score-integrand Solver with Recursive Difference
South China University of Technology(华南理工大学)
本文提出基于递归差分(RD)方法的SciRE-Solver和SciREI-Solver,通过计算score函数导数并利用截断Taylor展开,在多种预训练扩散模型上以极少的NFE实现了SOTA的FID。
2023-09-11 cs.LG math.DS stat.CO
Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
不完美的分数匹配导致扩散模型的训练分布和采样分布之间的偏移。由于生成过程的递归性质,先前步骤中的错误会产生偏离训练分布的采样迭代。然而,通过去噪得分匹配(DSM)的标准训练目标仅被设计为在非漂移数据上进行优化。为了在漂移数据上进行训练,我们建议强制执行\emph{consistency}属性,该属性声明模型对自己生成的数据的预测在时间上是一致的。从理论上讲,我们表明,如果在一些非漂移点上(通过DSM)完美地学习了分数,并且如果到处都强制执行一致性属性,那么在任何地方都可以准确地学习分数。从经验上讲,我们表明,我们的新的训练目标产生了最先进的结果,在CIFAR-10和AFHQ和FFHQ的基线改进的条件和无条件生成。我们开源我们的代码和模型:https://github.com/giannisdaras/cdm
2023-02-17 cs.AI cs.CV cs.IT
Picard Proximal Monte Carlo for Parallel Bayesian Imaging with Score-Based Generative Priors
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对贝叶斯成像逆问题采样成本高的痛点,提出基于近端朗之万动力学与Picard迭代的并行采样框架PiX-MC,实现50倍加速且保持重建质量
2026-08-19 cs.LG
A Practical Diffusion Path for Sampling
ENSAE(法国国立统计与经济管理学校);CREST(CREST(法国统计与经济研究中心));IP Paris(巴黎理工学院)
针对无目标分布样本时扩散模型得分估计困难的问题,提出基于膨胀路径的闭式得分向量计算方法及自适应步长朗之万动力学实现,在多任务上性能优于经典方法。
2024-06-20 cs.LG stat.ML
Consistent Sampling and Simulation: Molecular Dynamics with Energy-Based Diffusion Models
Freie Universität Berlin(柏林自由大学);Zuse School ELIZA(祖泽ELIZA学院);Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Shanghai Jiao Tong University(上海交通大学);Technische Universität München(慕尼黑工业大学);Rice University(莱斯大学);Microsoft Research AI4Science(微软研究院AI4Science)
本文提出了一种基于能量的扩散模型,通过福克-普朗克方程导出的正则化项来提高分子动力学模拟中的一致性和采样效率。
2026-01-14 cs.AI cs.LG physics.chem-ph
Score-based Diffusion Models via Stochastic Differential Equations -- a Technical Tutorial
Department of Industrial Engineering and Operations Research, Columbia University(工业工程与运筹学系,哥伦比亚大学)
本文是一篇技术教程,系统介绍基于随机微分方程的得分扩散模型,重点阐述采样与得分匹配两大核心方法,并讨论一致性模型和强化学习等相关技术。
2025-07-05 cs.LG math.HO
Potential Score Matching: Debiasing Molecular Structure Sampling with Potential Energy Guidance
Yau Mathematical Sciences Center, Tsinghua University(清华大学姚数学科学中心);Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Microsoft Research AI4Science, Beijing, China(微软研究院AI4Science,北京,中国);School of Computer Science, Peking University(北京大学计算机科学学院);Beijing, China(中国北京)
本文提出势能分数匹配(PSM),利用势能梯度引导生成模型,无需精确能量函数即可在有限且有偏差的数据上消除采样偏差,在LJ势及MD17/22数据集上优于现有最先进模型,生成的分子分布更接近玻尔兹曼分布。
2025-08-05 cs.AI cs.LG
From optimal score matching to optimal sampling
Yale University(耶鲁大学);University of Chicago(芝加哥大学)
该研究针对基于得分的扩散模型的得分估计最优统计速率问题,推导了光滑紧支撑密度下得分估计的精确极小极大速率,证明扩散模型生成样本分布可达无对数项、无需提前停止的最优密度估计速率。
2024-09-11 cs.LG stat.ML
The Score Hamiltonian: Mapping Diffusion Models to Adiabatic Transport
Computer Science Department, Princeton University(普林斯顿大学计算机科学系);ORFE Department, Princeton University(普林斯顿大学ORFE系)
本文通过构建得分哈密顿量,建立了基于得分的扩散模型采样与薛定谔算子基态绝热输运之间的精确对应关系,并利用绝热定理推导了密度重建误差界和退火调度方案。
2026-07-30 cs.AI cs.LG math-ph
Measurement Score-Based Diffusion Model
Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出MSM框架,仅利用含噪欠采样测量学习部分测量分数,并通过随机采样与后验采样实现无干净训练数据的图像生成和逆问题求解。
2025-05-17 cs.LG eess.IV
Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction
Carnegie Mellon University(卡内基梅隆大学)
针对一般非线性逆问题,本文提出交替调用近端一致性采样器与扩散去噪采样器的DPnP框架,并给出渐近及非渐近鲁棒性保证。
2024-06-12 cs.CV cs.LG eess.IV
Score-based Generative Modeling in Latent Space
NVIDIA(英伟达)
基于分数的生成模型(SGM)最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而,它们通常直接应用于数据空间,并且通常需要数千个网络评估来进行采样。在这里,我们提出了基于潜在分数的生成模型(LSGM),这是一种在潜在空间中训练SGM的新方法,依赖于变分自动编码器框架。从数据转移到潜在空间,使我们能够训练更具表现力的生成模型,将SGM应用于非连续数据,并在更小的空间中学习更平滑的SGM,从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端,我们(i)引入适合LSGM设置的新的分数匹配目标,(ii)提出一种新的得分函数参数化,使SGM能够专注于目标分布相对于简单正态分布的不匹配,以及(iii)分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数,优于该数据集上所有现有的生成结果。在CelebA-HQ-256上,LSGM在采样质量上与之前的SGM相当,而在采样时间上则超过它们两个数量级。在对二值图像建模时,LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University(四川大学);Huazhong University of Technology(华中理工大学);New York University(纽约大学)
生成对抗网络(GAN)的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法,这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲,重要性采样通过对训练样本进行优先排序,加快了监督学习中的随机优化。在本文中,我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中,用重要性采样代替均匀采样和高斯采样,用归一化流密度估计逼近潜空间后验分布。从经验上讲,MNIST和Fashion-MNIST的结果表明,我们的方法显着加快了GAN的优化,同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
The Tractability Landscape of Sampling with Inexact Scores
University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究使用不精确分数进行采样时,给出允许以消失总变差偏差采样的不精确得分预言机访问类型刻画,指出比[YW26]次高斯假设更弱误差会排除无偏采样可处理性,加强相关结论。
2026-07-22 cs.LG math.ST stat.ML
Fast Score-Based Sampling via Log-Concave Reductions
提出将分数扩散采样问题约简为一系列强对数凹子问题,利用任意强对数凹采样器实现高效采样,并给出采样复杂度界限。
2026-07-02 cs.LG math.ST stat.ML
Sampling Multimodal Distributions with the Vanilla Score: Benefits of Data-Based Initialization
Stanford University(斯坦福大学)
针对原始分数匹配难以采样多峰分布的问题,该研究证明以经验分布初始化、带提前停止的朗之万扩散结合数据估计的分数函数,可成功生成对数凹分布混合类的自然多峰分布。
2023-10-03 cs.DS cs.LG math.ST
On Fast Leverage Score Sampling and Optimal Learning
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);Istituto Italiano di Tecnologia(意大利理工学院);MIT(麻省理工学院);Università degli Studi di Genova(热那亚大学)
利用分数抽样提供了一种吸引人的方法来执行大型矩阵的近似计算。事实上,它允许获得忠实的近似与适应手头的问题的复杂性。然而,执行杠杆分数抽样本身就是一个挑战,需要进一步的近似。本文研究了由核定义的正定矩阵的杠杆分数抽样问题。我们的贡献是双重的。首先,我们提供了一种新的算法,利用分数采样,其次,我们利用所提出的方法在统计学习,推导出一种新的求解器内核岭回归。我们的主要技术贡献是表明,所提出的算法是目前最有效和准确的这些问题。
2019-01-24 cs.DS cs.LG stat.ML
Score-based deterministic density sampling
Department of Mathematics, University of Washington(华盛顿大学数学系);Allen Institute for AI(人工智能研究院);Department of Applied Mathematics, University of Washington(华盛顿大学应用数学系)
提出基于分数传输建模的确定性采样框架,通过即时分数匹配近似 KL 的 Wasserstein 梯度流,实现平滑、单调、无噪声且样本高效的收敛。
2025-10-20 cs.LG math.PR math.ST
Generalized Leverage Score Sampling for Neural Networks
Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Institute for Advanced Study(高等研究院);Columbia University(哥伦比亚大学)
杠杆分数抽样是一种源于理论计算机科学的强有力的技术,它可以用来加速大量的基本问题,如线性回归、线性规划、半定规划、割平面法、图稀疏化、最大匹配和最大流等。最近,已经表明,利用分数采样有助于加速内核方法[Avron,Kapralov,Musco,Musco,Velingker和Zandieh 17]。在这项工作中,我们将[Avron,Kapralov,Musco,Musco,Velingker和Zandieh 17]中的结果推广到更广泛的一类内核。我们进一步将杠杆分数抽样引入到深度学习理论领域。$\bullet$我们展示了神经网络训练的初始化和用随机特征逼近神经切线核之间的联系。$\bullet$我们证明了正则化神经网络和神经切线核岭回归在经典随机高斯和杠杆分数采样初始化下的等价性。
2020-09-21 cs.LG stat.ML
Constrained Sampling for Language Models Should Be Easy: An MCMC Perspective
UCSD(加州大学圣地亚哥分校);Peking University(北京大学)
本文提出基于MCMC的约束采样框架,通过Metropolis-Hastings准则在满足硬约束的同时保持语言模型原始分布,兼顾约束满足、单调收敛和高效采样,在合成基准和程序模糊测试中优于现有方法。
2025-06-06 cs.AI cs.CL cs.LG
On tuning consistent annealed sampling for denoising score matching
Dolby Laboratories(杜比实验室)
基于得分的生成模型为图像和音频合成提供最先进的质量。从这些模型的采样迭代地执行,通常采用一系列离散化的噪声水平和预定义的方案。在本文中,我们首先概述了三种常见的采样方案,用于使用去噪得分匹配训练的模型。接下来,我们将重点放在其中之一,一致退火采样,并研究其超参数边界。然后,我们强调了这种超参数的可能配方,明确考虑这些边界,并方便调整时,使用很少或可变数量的步骤。最后,我们强调了与其他抽样方案的制定的一些连接。
2021-04-08 cs.AI cs.CV cs.LG
Easy attention: A simple attention mechanism for temporal predictions with transformers
KTH Royal Institute of Technology(皇家理工学院);Instituto Universitario de Matemática Pura y Aplicada, Universitat Politècnica de València(瓦伦西亚理工大学数学与应用数学研究院);Technical University Munich(慕尼黑技术大学);University of Michigan(密歇根大学)
本文提出简易注意力机制,将注意力分数直接作为可学习参数,在混沌系统时序重建与预测中比自注意力和LSTM更鲁棒且复杂度更低。
2025-06-04 cs.LG
Improved Active Learning via Dependent Leverage Score Sampling
New York University(纽约大学)
本文提出一种基于关键采样的非独立杠杆分数采样主动学习方法,通过增强空间覆盖在对抗噪声下将所需样本数最多减少50%,并给出线性函数和多项式回归的理论样本复杂度保证。
2024-05-04 cs.LG
Sampling from Energy distributions with Target Concrete Score Identity
Applied AI Institute(应用人工智能研究所)
本文提出目标具体分数恒等式采样器(TCSIS),通过神经网络学习连续时间马尔可夫链的逆动力学,在离散状态空间上无需目标样本或配分函数即可从非归一化密度采样,并在统计物理问题中验证其有效性。
2025-10-27 cs.LG
Proposal of a Score Based Approach to Sampling Using Monte Carlo Estimation of Score and Oracle Access to Target Density
Yale University(耶鲁大学)
基于分数的采样方法作为生成算法已经显示出很大的成功,以在给定初始样本池的情况下从目标密度产生新样本。在这项工作中,我们考虑,如果我们没有从目标密度的初始样本,而是$0^{th}$和$1^{st}$命令oracle访问的日志可能性。这样的问题可能会出现在贝叶斯后验抽样,或在近似最小化的非凸函数。仅使用这些知识,我们提出了一个蒙特卡罗方法来估计分数经验作为一个特定的期望的随机变量。使用这个估计器,我们可以运行一个离散版本的反向流迭代,从目标密度中产生样本。该方法的优点在于不依赖于来自目标密度的初始样本池,并且它不依赖于神经网络或其他黑盒模型来估计分数。
2022-12-06 cs.LG stat.ME stat.ML
Revisiting Score Function Estimators for $k$-Subset Sampling
KTH Royal Institute of Technology(皇家理工学院)
针对$k$-子集采样不可微、阻碍梯度优化的问题,本文重审得分函数估计器,提出用离散傅里叶变换高效计算其得分函数、控制变量降方差的方法,兼具精确采样、无偏梯度且适配不可微下游模型,特征选择实验效果可比现有方法。
2024-08-16 cs.LG stat.ML
Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling
Google Research(谷歌研究院);Georgia Tech(佐治亚理工学院)
低秩张量分解推广了低秩矩阵近似,是发现高维数据中低维结构的有力技术。在本文中,我们研究了塔克分解,并使用随机数值线性代数的工具,称为岭杠杆分数,以加速核心张量更新步骤中广泛使用的交替最小二乘(ALS)算法。更新核心张量是ALS中的一个严重瓶颈,是一个高度结构化的岭回归问题,其中设计矩阵是因子矩阵的克罗内克积。我们展示了如何使用近似的岭杠杆分数来构造任何岭回归问题的草图实例,使得草图问题的解向量是原始实例的$(1+\varepsilon)$近似。此外,我们表明,经典的杠杆分数足以作为近似值,这使我们能够利用克罗内克结构并及时更新核心张量,这主要取决于秩和草图参数(即,在输入张量的大小上是次线性的)。我们还给出了脊杠杆分数的上限,因为行从设计矩阵中删除(例如,如果张量有丢失的条目),我们证明了我们的近似岭回归算法的有效性大,低秩塔克分解合成和真实世界的数据。
2021-07-22 cs.DS cs.LG math.ST
Variance-Reduced Diffusion Sampling via Target Score Identity
The Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所)
本文提出通过目标分数身份实现扩散采样中的方差缩减,结合非参数重要性采样和状态依赖的混合规则,提升样本质量。
2026-01-22 cs.LG stat.ML
On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees
Texas A&M University(得克萨斯农工大学);HRL Laboratories, LLC.(HRL实验室有限责任公司)
随机特征为大规模核近似和监督学习提供了一个实用的框架。已经表明,使用杠杆分数的随机特征的数据相关采样可以显着减少实现最佳学习边界所需的特征数量。杠杆分数引入了基于无限维积分算子(取决于输入分布)的优化特征分布,这是不切实际的采样。在本文中,专注于经验杠杆分数,我们建立了一个样本外的性能界,揭示了一个有趣的权衡近似内核和另一个内核的特征值衰减的随机特征定义的基础上,数据分布的域。我们的实验验证了经验算法始终优于香草蒙特卡罗采样,并且通过微小的修改,该方法甚至可以与监督数据依赖的内核学习竞争,而无需使用输出(标签)信息。
2019-03-20 cs.AI cs.LG stat.ML
Sample complexity bounds for categorical Markov random fields via Discrete Diffusions
Booth School of Business, University of Chicago(芝加哥大学布斯商学院)
针对局部依赖的高维类别分布采样,提出基于离散扩散的端到端学习方法,通过钉扎分解和权重共享得分网络获得显式样本复杂度保证,并在实验中优于全连接网络。
2026-10-02 cs.LG math.ST stat.ML
Sampling Binary Data by Denoising through Score Functions
Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);Université PSL(巴黎文理研究大学);Genentech(基因泰克公司)
本文将基于得分的去噪采样范式从高斯噪声扩展到伯努利噪声,用于布尔超立方体上的二进制数据分布学习与采样,推导了类 TMF 最优去噪器,提出类朗之万采样器及二进制顺序多次测量采样方法,并通过实验验证了其有效性。
2025-02-01 cs.LG stat.ML
Efficient Weighted Sampling via Score-based Generative Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出一种无需训练的加权采样框架,通过轻量级引导近似和不确定性感知调度器,在预训练分数生成模型上实现高效、稳定的采样,并在大规模设置中取得1.2至4.7倍加速。
2026-06-01 cs.AI cs.LG
Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling
Hitachi, Ltd.(日立有限公司)
Meta-强化学习(meta-RL)获取在宽任务分布中对任务表现出良好性能的元策略。然而,传统的元RL通过随机采样任务来学习元策略,据报道,它对某些任务表现出元过拟合,特别是对于代理可以轻松获得高分的简单任务。为了减少元过拟合的影响,我们考虑了基于任务抽样的元RL。我们的方法是鲁棒Meta强化学习与引导任务采样(RMRL-GTS),这是一个有效的方法,限制基于分数和时代的任务采样。我们表明,为了实现强大的元RL,它不仅是必要的,以集中的样本得分低的任务,但也要限制和扩大任务区域的任务进行采样。
2022-03-31 cs.LG
Parallel Sampling for Efficient High-dimensional Bayesian Network Structure Learning
Queen Mary University of London(伦敦玛丽女王大学)
学习贝叶斯网络结构的基于分数的算法可用于精确和近似解决方案。虽然近似学习随着变量的数量而更好地扩展,但在存在高维数据的情况下,它在计算上可能是昂贵的。本文描述了一个近似算法,执行并行采样的候选父集(CPS),并可以被视为一个扩展的MINOBS,这是一个国家的最先进的算法,从高维数据的结构学习。修改后的算法,我们称之为并行采样MINOBS(PS-MINOBS),构造的图形,通过采样CPS为每个变量。假设CPS的分布按每个变量的贝叶斯评分排序时为半正态分布,平行进行采样。从半正态分布中抽样可确保抽样的CPS可能是产生较高分数的CPS。实证结果表明,在大多数情况下,该算法发现更高的分数结构比MINOBS时,这两种算法被限制到相同的运行时间限制。
2022-02-19 cs.AI cs.LG
Score-Based Diffusion meets Annealed Importance Sampling
DeepMind(深度思维)
退火重要性抽样(Annealed Importance Sampling,AIS)在提出二十多年后,仍然是最有效的边缘似然估计方法之一。它依赖于一系列的分布之间的一个听话的初始分布和目标分布的兴趣,我们模拟从近似使用非齐次马尔可夫链。为了获得边缘似然的重要性抽样估计,AIS引入扩展的目标分布来重新加权马尔可夫链建议。虽然已经投入了大量的努力来改善AIS所使用的建议分布,但一个未被充分认识的问题是AIS使用了方便但次优的扩展目标分布。在这里,我们利用最近的进展,基于分数的生成建模(SGM)近似的最佳扩展目标分布最小化的方差的边缘似然估计AIS建议对应的离散化的朗之万和汉密尔顿动力学。我们证明了这些新的,可微的,AIS程序的一些合成基准分布和变分自动编码器。
2022-10-24 cs.LG stat.ML