Path-dependent Discrete Amortized Inference
针对从未归一化后验采样组合离散对象的问题,提出依赖路径的离散摊销推理方法,通过可学习潜动力学系统提升MDP,解决马尔可夫假设的缺陷,实验显示其学习收敛更快、状态空间探索更优。
2026-08-11 cs.LG
Learning GFlowNets from partial episodes for improved convergence and stability
Mila – Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Recursion(Recursion公司);Politehnica University of Bucharest(布加勒斯特理工大学)
本文针对 GFlowNet 局部目标与全轨迹目标的梯度偏差—方差权衡,提出受 TD(λ) 启发的 SubTB(λ),使其从不同长度的部分子序列学习,从而提升收敛速度、稳定性及稀疏长序列任务的可训练性。
2023-06-03 cs.LG stat.ML
IFlowNets: Extending Generative Samplers to Learn Strategies in Incomplete Information Games
该研究将AFlowNets扩展为适用于不完美信息博弈的IFlowNets,解决了原有约束无法得到有效密度与训练目标的问题,在标准博弈环境中性能与速度优于或相当于OSMCCFR等方法。
2026-08-07 cs.LG cs.MA
Proximal Diffusion Neural Sampler
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种名为近端扩散神经采样器(PDNS)的框架,通过在路径测度空间上应用近端点方法,解决神经采样器在训练过程中遇到的多模式目标分布和模式崩溃问题,通过分阶段的简单子问题逐步逼近目标分布,促进模式的全面探索。
2026-05-19 cs.AI cs.LG stat.ML
PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching
Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China(清华大学交叉信息研究院)
提出PowerFlow框架,将无监督微调重构成分布匹配问题,利用GFlowNet和长度感知轨迹平衡目标,通过调整α-幂分布方向性激发LLMs的逻辑推理或创造性。
2026-05-25 cs.AI cs.CL cs.LG
Continuously Tempered Diffusion Samplers
CSAIL, Massachusetts Institute of Technology(计算机科学与人工智能实验室,麻省理工学院)
针对现有基于退火的神经采样器提议分布探索性不足的问题,提出连续回火扩散采样器,引入跨温分布族结合分子动力学探索技术改进提议分布,实验验证了性能提升。
2025-08-30 cs.AI cs.LG
Training Neural Samplers with Reverse Diffusive KL Divergence
University of Cambridge(剑桥大学);MPI for Intelligent Systems(智能系统马克斯·普朗克研究所);University College London(伦敦大学学院)
针对反向KL散度模式寻找行为导致难以近似多模态分布的问题,提出反向扩散KL散度目标,训练神经采样器一步高效生成样本,在多种Boltzmann分布上显著提升采样性能。
2025-03-03 cs.LG stat.ML
A Neural Network MCMC sampler that maximizes Proposal Entropy
Redwood Center for theoretical Neuroscience(雷德伍德理论神经科学中心);Department of Physics(物理系);University of California Berkeley(加州大学伯克利分校);Berkeley AI Research(伯克利人工智能研究中心);Helen Wills Neuroscience Institute(海伦·威尔斯神经科学研究所)
马尔可夫链蒙特卡罗(MCMC)方法从非标准化概率分布中采样,并提供精确采样的保证。然而,在连续的情况下,不利的几何目标分布可以大大限制MCMC方法的效率。用神经网络增强采样器可以潜在地提高它们的效率。以前的基于神经网络的采样器是用不明确鼓励探索的目标训练的,或者使用只能应用于结构良好的分布的L2跳跃目标。因此,似乎有希望最大化建议熵,以使建议适应任何形状的分布。为了允许直接优化的建议熵,我们提出了一个神经网络MCMC采样器,具有灵活和易于处理的建议分布。具体来说,我们的网络架构利用目标分布的梯度来生成建议。我们的模型实现了显着更高的效率比以前的神经网络MCMC技术在各种采样任务。此外,采样器应用于自然图像的收敛的基于能量的模型的训练。自适应采样器实现了无偏采样,具有显着更高的建议熵比Langevin动态采样器。
2020-10-07 cs.LG stat.ME stat.ML
Diffusion-PINN Sampler
Peking University(北京大学)
本文提出 Diffusion-PINN Sampler(DPS),利用物理信息神经网络求解对数密度偏微分方程以估计逆向 SDE 漂移项,并给出收敛性保证,在含孤立分量的采样任务中表现优异。
2024-10-20 cs.LG stat.ML
End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
针对扩散模型在先验与目标分布支撑差异大时面临的探索困难、离散化误差及模式崩溃问题,提出端到端可学习的高斯混合先验(GMPs)及迭代细化策略,无需额外目标评估即可显著提升多基准下的性能。
2025-03-01 cs.AI cs.LG stat.ML
Particle Denoising Diffusion Sampler
University of Oxford(牛津大学);CNRS(法国国家科学研究中心);ENS Ulm(巴黎高等师范学院乌尔姆校区)
针对未归一化概率密度采样及归一化常数计算问题,提出基于新型分数匹配损失的迭代粒子方案PDDS,可在温和假设下给出渐近一致估计。
2024-06-15 cs.LG stat.CO stat.ML
Non-equilibrium Annealed Adjoint Sampler
Georgia Institute of Technology(佐治亚理工学院);FAIR at Meta(Meta的FAIR)
非平衡退火共轭采样器通过引入退火参考动力学,提升扩散模型在学习控制的稳定性和效率,适用于多种采样任务。
2025-11-25 cs.AI cs.LG
Rethinking Losses for Diffusion Bridge Samplers
Technical University Munich, Chair of Robotics, Artificial Intelligence and Embedded Systems(慕尼黑技术大学机器人、人工智能与嵌入式系统教研室);ELLIS Unit Linz, LIT AI Lab, Johannes Kepler University Linz, Austria(林茨ELLIS单位,LIT人工智能实验室,林茨约翰内斯·开普勒大学,奥地利);NXAI Lab & NXAI GmbH, Linz, Austria(NXAI实验室及NXAI GmbH,林茨,奥地利)
针对扩散桥采样器,研究发现LV损失与rKL损失的梯度等价性在扩散桥或学习扩散系数时不成立,提出用对数导数技巧的rKL-LD损失,其性能更优、超参数优化更少且训练更稳定。
2025-11-11 cs.AI cs.LG stat.ML
Fixed-point neural samplers on discrete spaces
University of Cambridge(剑桥大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT(麻省理工学院);Microsoft Research New England(微软研究院新英格兰分院)
本文提出离散吉布斯迭代神经采样器,一种定点神经采样器,解决现有离散神经采样器的模式崩溃、无收敛保证和依赖特定参考过程等问题,实现高效可扩展学习,并扩展到高维系统和合金相图估计。
2026-11-06 cs.LG
Progressive Tempering Sampler with Diffusion
Department of Computer Science, Aalto University, Finland(阿姆斯特丹大学计算机科学系,芬兰);Department of Engineering, University of Cambridge, United Kingdom(剑桥大学工程系,英国);Department of Empirical Inference, Max Planck Institute for Intelligent Systems, Tübingen, Germany(智能系统研究所经验推断系,德国)
针对神经采样器目标评估效率不及 PT、而 PT 样本相关且重复计算成本高的问题,提出 PTSD,按温度顺序训练扩散模型并复用样本信息,以少量 MCMC 精化生成不相关样本,提升评估效率。
2025-10-20 cs.LG stat.ML
Improved off-policy training of diffusion samplers
Mila, Université de Montréal(米拉-蒙特利尔大学);Jagiellonian University(雅盖隆大学);KAIST(韩国科学技术院);Ciela Institute(塞拉研究所);Dreamfold(德里姆福尔德公司);CIFAR(加拿大高级研究院);University of Edinburgh(爱丁堡大学)
该研究针对扩散模型的离策略训练问题,提出结合重放缓冲区的目标空间局部搜索探索策略,提升了样本质量,同时阐明了现有算法的相对优势并质疑了过往部分结论,相关代码已公开。
2026-08-31 cs.LG stat.ML
Liouville Flow Importance Sampler
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出刘维尔流重要性采样器(LFIS),通过神经网络学习满足特定偏微分方程结构的速度场,沿退火路径将简单分布确定性地输运到复杂目标分布,并利用轨迹误差累积计算样本权重,实现无偏一致的重要性采样估计,在多个基准问题上取得最先进性能。
2024-06-10 cs.LG math.PR physics.data-an
Ai-Sampler: Adversarial Learning of Markov kernels with involutive maps
University of Amsterdam(阿姆斯特丹大学);VISLab(视觉智能实验室)
本文提出 Ai-Sampler 方法,通过可逆神经网络构建对合 Metropolis-Hastings 核来参数化和训练 Markov 链转移核,最小化平稳分布与经验分布的总变差距离,实现高效采样。
2024-06-04 cs.LG stat.ML
On scalable and efficient training of diffusion samplers
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出一种结合MCMC搜索器与扩散采样器的可扩展训练框架,利用离策略样本扩大能量景观覆盖,并通过周期性重新初始化解决首因偏差导致的模式坍缩,显著提升高维采样和分子构象生成效率。
2025-11-06 cs.LG
Adjoint Schrödinger Bridge Sampler
FAIR at Meta(Meta 的 FAIR);Georgia Institute of Technology(佐治亚理工学院)
ASBS是一种基于施罗德inger桥的新型扩散采样器,通过伴随匹配方法实现高效采样,无需估计目标样本,适用于多种能量函数和分子分布。
2025-11-24 cs.LG math.OC stat.ML
Denoising Diffusion Samplers
University of Cambridge(剑桥大学);DeepMind(深度思维)
本文提出 Denoising Diffusion Samplers(DDS),通过近似目标密度向高斯扩散过程的时间反演,实现非归一化密度采样与归一化常数估计,并给出理论联系及实验验证。
2023-08-16 cs.LG stat.ML
Adversarial Contrastive Estimation
Borealis AI;University of Toronto(多伦多大学)
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计(NCE)和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中,我们将对比学习视为所有此类方法的抽象,并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本,这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入,顺序嵌入和知识图谱嵌入的建议,并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
Bridge Matching Sampler: Scalable Sampling via Generalized Fixed-Point Diffusion Matching
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);NVIDIA(英伟达);Zuse Institute Berlin(柏林泽尼克研究所)
桥梁匹配采样器通过广义固定点扩散匹配方法,实现了在保持模式多样性的同时可扩展的高质量采样。
2026-10-12 cs.LG
Convergence Analysis of Schr{ö}dinger-F{ö}llmer Sampler without Convexity
Wuhan University(武汉大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
Schrödinger-Föllmer采样器(SFS)是一种新颖而有效的方法,用于从可能未归一化的分布中采样,而没有遍历性。SFS是基于单位区间上的Schrödinger-Föllmer扩散过程$$\mathrm{d} X_{t}=-\nabla U\left(X_t, t\right) \mathrm{d} t+\mathrm{d} B_{t}, \quad t \in[0,1],\quad X_0=0$$的Euler-Maruyama离散化,将时间0的退化分布转化为时间1的目标分布.在\cite{sfs21}中,SFS的一致性是在一个限制性假设下建立的,即漂移项$b(x,t)$和势$U(x,t)$的%一致(在$t$上)是强%凹凸(在$x$上)。本文在目标分布与标准正态分布的密度比为光滑有界的条件下,给出了SFS在瓦瑟斯坦距离下的非渐近误差界,但不要求势函数是强凸的.
2021-07-10 cs.LG stat.CO
Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior
University of Technology Sydney(悉尼科技大学);Amazon Web Services(亚马逊云科技)
众所周知,深度神经网络易受对抗性噪声的影响,这些噪声是微小且难以察觉的扰动。以往对对抗攻击的研究主要集中在图像模型上,而对视频模型的脆弱性研究较少。在本文中,我们的目标是攻击视频模型,利用内在的运动模式和区域之间的相对运动的视频帧。我们提出了一种有效的运动激励采样器,以获得运动感知噪声先验,我们称之为火花先验。我们的启发式先验强调帧相关性,并通过相对运动利用视频动态。通过在梯度估计中使用火花先验,我们可以用较少的查询次数成功地攻击各种视频分类模型。在四个基准数据集上的实验结果验证了该方法的有效性。
2020-10-06 cs.CV cs.LG eess.IV
Learning to Draw Samples: With Application to Amortized MLE for Generative Adversarial Learning
Dartmouth College(达特茅斯学院)
我们提出了一个简单的算法来训练随机神经网络从给定的目标分布中抽取样本进行概率推理。我们的方法是基于迭代调整的神经网络参数,使输出变化沿Stein变分梯度,最大限度地减少库尔贝克-莱布勒散度与目标分布。我们的方法适用于任何由其非归一化密度函数指定的目标分布,并且可以训练任何黑盒架构,这些架构在我们想要适应的参数方面是可微的。作为该方法的应用,我们提出了一种用于训练深度能量模型的摊销MLE算法,其中神经采样器被自适应地训练以近似似然函数。我们的方法模拟了深度能量模型和神经采样器之间的对抗游戏,并获得了与最先进的结果相竞争的逼真图像。
2016-11-26 cs.LG stat.ML
Sampling with Shielded Langevin Monte Carlo Using Navigation Potentials
Rice University, USA 4cm \' E cole polytechnique, Institut Polytechnique de Paris, FR
本文提出屏蔽Langevin蒙特卡洛方法,通过结合空间自适应温度和排斥漂移,实现对非凸空间中约束分布的有效采样,并在高斯混合和MIMO检测中验证了其有效性。
2025-12-15 cs.LG stat.CO stat.ML
Path Integral Sampler: a stochastic control approach for sampling
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种从非归一化概率密度函数中抽取样本的新算法--路径积分采样器PIS。PIS是建立在薛定谔桥问题,其目的是恢复最有可能的扩散过程的初始分布和终端分布的演变。PIS从初始分布中提取样本,然后通过薛定谔桥传播样本以到达终端分布。应用Girsanov定理,通过一个简单的先验扩散,将PIS表示为一个随机最优控制问题,其运行成本为控制能量,终端成本根据目标分布选择。通过将控制建模为神经网络,我们建立了一个采样算法,可以训练端到端。我们提供了理论依据的采样质量的PIS的Wasserstein距离时,使用次最优控制。此外,路径积分理论被用来计算样本的重要性权重,以补偿由控制器的次优性和时间离散化引起的偏差。我们通过实验证明了PIS与其他最先进的采样方法相比在各种任务上的优势。
2022-03-10 cs.LG
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
Microsoft Research(微软研究院)
生成式神经采样器是使用前馈神经网络实现采样的概率模型:它们采用随机输入向量并从由网络权重定义的概率分布中产生样本。这些模型具有表达能力,可以有效地计算样本和导数,但不能用于计算似然性或边缘化。生成对抗训练方法允许通过使用辅助判别神经网络来训练这样的模型。我们表明,生成对抗的方法是一个特殊的情况下,现有的更一般的变分散度估计方法。我们证明了任何f-发散都可以用于训练生成神经采样器。我们讨论了不同的发散函数选择对训练复杂性和生成模型质量的好处。
2016-06-02 cs.LG stat.ME stat.ML
Stein Neural Sampler
Purdue University(普渡大学);UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校)
我们提出了两种新的采样器,从一个给定的(未归一化)概率密度生成高质量的样本。受生成对抗网络成功的启发,我们使用深度神经网络构建采样器,将参考分布转换为目标分布。训练计划的开发,以尽量减少两个变化的斯坦差异,这是设计用于与非归一化密度。一旦经过训练,我们的采样器就能够立即生成样本。我们表明,所提出的方法在理论上是合理的,经验较少的收敛问题相比,传统的采样方法,根据我们的实证研究。
2021-02-09 cs.LG stat.ML
Metropolis-Hastings view on variational inference and adversarial training
National Research University Higher School of Economics(国家研究型高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Samsung AI Center Moscow(三星莫斯科人工智能中心);HSE(高等经济学院);Skoltech(斯科尔科沃科学技术研究院)
MCMC方法的一个重要部分可以被认为是具有不同建议分布的Metropolis-Hastings(MH)算法。从这个角度来看,构造采样器的问题可以归结为这样一个问题--如何为MH算法选择一个方案?为了解决这个问题,我们建议学习一个独立的采样器,最大限度地提高MH算法的接受率,正如我们所证明的,这是高度相关的传统的变分推断。对于贝叶斯推断,所提出的方法相比有利的替代品,从后验分布的样本。在同样的方法下,我们超越了经典MCMC方法的范围,从头开始推导生成对抗网络(GANs)框架,将生成器视为提案,将测试作为验收测试。在真实世界的数据集上,我们改进了Frechet Inception Distance和Inception Score,使用不同的GANs作为MH算法的建议分布。特别是,我们在ImageNet上展示了最近提出的BigGAN模型的改进。
2019-06-09 cs.AI cs.LG stat.ML
Exponential Family Estimation via Adversarial Dynamics Embedding
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University College London(伦敦大学学院);Georgia Institute of Technology(佐治亚理工学院);Ant Financial(蚂蚁金服);University of Alberta(阿尔伯塔大学);Google Research Brain Team(谷歌研究大脑团队);Mila(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学)
提出了一种指数族模型极大似然估计的有效算法,该算法对包含神经网络的能量函数进行了一般参数化。我们利用原对偶视图的MLE与动力学增强模型,以获得与对抗性双采样器相关的估计。为了代表这个采样器,我们引入了一种新的神经架构,动力学嵌入,概括了汉密尔顿蒙特卡洛(HMC)。所提出的方法继承了HMC的灵活性,同时使易于处理的熵估计的增强模型。通过同时学习双采样器和原始模型,并在它们之间共享参数,我们消除了在模型训练完成后设计单独采样过程的要求,从而实现更有效的学习。我们发现,许多现有的估计,如对比发散,伪/复合似然,得分匹配,最小斯坦差异估计,非本地对比目标,噪声对比估计,最小概率流,所提出的方法的特殊情况下,每个表示不同的(固定)双采样器。一项实证研究表明,在极大似然估计过程中调整采样器可以显着提高最先进的估计量。
2020-03-30 cs.LG stat.CO stat.ML
Adjoint Sampling: Highly Scalable Diffusion Samplers via Adjoint Matching
FAIR at Meta(Meta 的 FAIR 部门);University of Illinois(伊利诺伊大学);New York University(纽约大学);Microsoft Research New England(微软研究院新英格兰分部)
提出Adjoint Sampling算法,通过伴随匹配学习扩散过程,实现比能量评估更多的梯度更新,在无需纠正措施的情况下高效从未归一化密度采样,并成功应用于分子构象生成。
2025-05-28 cs.AI cs.LG
NETS: A Non-Equilibrium Transport Sampler
本研究提出基于Jarzynski等式的非平衡输运采样器NETS,通过添加可学习漂移项降低退火重要性采样的去偏权重影响,具备无偏性和可调扩散系数,在多项测试任务中性能优于现有基线。
2025-01-12 cond-mat.stat-mech cs.LG hep-lat
Adversarial Stein Training for Graph Energy Models
University of Massachussets(马萨诸塞大学)
在图结构数据上学习分布是一项具有挑战性的任务,在生物学和化学中有许多应用。在这项工作中,我们使用基于能量的模型(EBM)的多通道图神经网络(GNN)的基础上学习图上的排列不变的非归一化密度函数。与标准的EBM训练方法不同,我们的方法是通过最小化对抗性斯坦差异来学习模型。该模型的样本可以通过基于Langevin动力学的MCMC获得。我们发现,这种方法实现了竞争力的结果相比,基准模型的图形生成。
2021-08-30 cs.LG
Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);The School of Statistics and Data Science, LPMC & KLMDASR, Nankai University(南开大学统计与数据科学学院)
本文提出重要性加权分数匹配方法,通过重加权分数匹配损失优化前向KL目标,训练扩散采样器以增强模式覆盖,在复杂多模态分布上取得最优性能。
2025-05-26 cs.LG
Balanced Training of Energy-Based Models with Adaptive Flow Sampling
CMAP;CNRS(法国国家科学研究中心);Ecole Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
提出一种利用normalizing flows辅助采样的EBMs最大似然训练新算法,通过训练时将NF拟合到EBM以提供准确梯度,最终实现快速生成新数据的采样器。
2024-02-18 cs.LG stat.ML
Non-native Quantum Generative Optimization with Adversarial Autoencoders
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔家族电气与计算机工程学院);Purdue Quantum Science and Engineering Institute(普渡量子科学与工程研究所);Purdue University(普渡大学);Quantum Science Center(量子科学中心);Oak Ridge National Laboratory(橡树岭国家实验室);QuEra Computing Inc.(QuEra计算公司);School of Computer Science(计算机科学学院);Department of Chemistry(化学系)
针对大规模优化问题难以映射到现有量子采样器且约束不兼容的挑战,提出对抗量子自编码器模型(AQAM),通过潜在量子增强玻尔兹曼采样同时优化,在中性原子采样器上验证了更低Renyi散度和更大谱间隙。
2024-07-18 cs.LG quant-ph
Sampling via Stochastic Interpolants by Langevin-based Velocity and Initialization Estimation in Flow ODEs
本文提出了一种基于Langevin采样器和概率流ODE的方法,用于高效采样复杂分布并提升贝叶斯推断性能。
2026-08-10 cs.LG cs.NA math.NA
Learned Reference-based Diffusion Sampling for multi-modal distributions
针对基于得分的扩散采样方法依赖真实样本调优超参数的问题,尤其在多模态分布上的挑战,本研究提出LRDS,通过学习定制化参考扩散模型并用于采样器训练,提升对目标分布先验知识的利用效率。
2025-04-12 cs.LG stat.CO stat.ML
Iterated Denoising Energy Matching for Sampling from Boltzmann Densities
Mila – Québec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Dreamfold;Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学);Ciela Institute(Ciela研究所);Center for Computational Astrophysics, Flatiron Institute(弗拉铁隆研究所计算天体物理中心);Jagiellonian University(雅盖隆大学);CIFAR(加拿大高级研究所)
提出迭代去噪能量匹配(iDEM),利用能量函数及其梯度训练扩散采样器,无需数据样本,实现高效采样,性能最优且训练快2-5倍,首次用于55粒子Lennard-Jones系统。
2024-06-26 cs.LG stat.ML
SCORENF: Score-based Normalizing Flows for Sampling Unnormalized distributions
Department of Electrical Engineering, IIT Kanpur, India(印度IIT坎浦尔电子工程系)
本文提出ScoreNF,结合归一化流与独立Metropolis-Hastings模块,实现非归一化分布的高效无偏采样,并在小训练集下保持高性能,同时评估模式覆盖与崩溃。
2026-09-29 cs.LG hep-lat quant-ph
A Generative Sampler for distributions with possible discrete parameter based on Reversibility
School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai, 200240, P.R.China(上海交通大学数学科学学院);Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University, Shanghai, 200240, P.R.China(上海交通大学自然科学研究院)
本文提出了一种基于可逆性的生成采样器,适用于具有离散参数分布的复杂系统,通过最小化MMD来实现高效的采样方法。
2026-03-10 cs.LG cs.NA math.NA
Adversarial Fisher Vectors for Unsupervised Representation Learning
Apple Inc.(苹果公司)
我们通过基于能量的深度模型(EBM)的镜头来研究生成对抗网络(GANs),目的是利用这种公式所遵循的密度模型。与传统的观点相反,在传统的观点中,当达到收敛时,神经网络学习一个常数函数,在这里,我们表明它可以为下游任务提供有用的信息,例如,用于分类的特征提取。具体地说,在EBM公式中,学习器学习未归一化的密度函数(即,负能量项),其表征数据流形。我们建议通过从循证医学中获得相应的Fisher分数和Fisher信息来评估生成器和生成器。我们表明,通过假设生成的示例形成学习密度的估计,Fisher信息和归一化Fisher向量都很容易计算。我们还表明,我们能够得到一个例子之间的距离度量和例子集之间。我们进行的实验表明,GAN诱导的Fisher向量作为分类和感知相似性任务的无监督特征提取器表现出竞争力。代码可在\url{https://github.com/apple/ml-afv}上获得。
2019-10-29 cs.LG stat.ML
GAT: Generative Adversarial Training for Adversarial Example Detection and Robust Classification
University of Virginia(弗吉尼亚大学);HRL Laboratories, LLC.(HRL实验室有限责任公司)
深度神经网络对抗对抗性示例的脆弱性已经成为在敏感领域部署这些模型的重要问题。设计针对此类攻击的明确防御被证明是具有挑战性的,并且依赖于检测对抗性样本的方法仅在攻击者不注意检测机制时才有效。在本文中,我们提出了一个原则性的对抗性的例子检测方法,可以抵御范数约束的白盒攻击。受one-versus-the-rest分类的启发,在K类分类问题中,我们训练K个二元分类器,其中第i个二元分类器用于区分类别i的干净数据和其他类别的反向扰动样本。在测试时,我们首先使用一个训练好的分类器来获得输入的预测标签(比如k),然后使用第k个二元分类器来确定输入是干净的样本(k类)还是被干扰的样本(其他类)。我们进一步设计了一种生成方法来检测/分类对抗性的例子,通过解释每个二元分类器作为类条件数据的非归一化密度模型。我们对上述对抗性示例检测/分类方法进行了全面评估,并展示了它们的竞争性能和引人注目的特性。
2022-10-01 cs.CR cs.LG stat.ML
Progressive Inference-Time Annealing of Diffusion Models for Sampling from Boltzmann Densities
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind);AITHYRA;Valence Labs(Valence实验室);Institut Courtois(Courtois研究所)
本文提出PITA框架,通过结合玻尔兹曼分布退火与扩散平滑,并利用Feynman-Kac PDE和序贯蒙特卡洛进行推理时退火,首次实现分子系统的高效平衡采样。
2025-11-06 cs.AI cs.LG
Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler
Central South University(中南大学);Tongji University(同济大学)
本文提出SA-Roundtrip深度生成先验,结合自注意力双向GAN学习数据内在维度,并在低维潜在空间用HMC-pCN算法进行贝叶斯推断,在CT重建实验中优于现有方法并实现精确不确定性量化。
2023-10-24 cs.AI cs.LG math.PR
Neural Pushforward Samplers for the Fokker-Planck Equation on Embedded Riemannian Manifolds
Department of Mathematics, Southern Methodist University(数学系,南方 Methodist 大学)
本文扩展了弱对抗神经推前方法,用于嵌入黎曼流形上的福克-计划克方程,通过神经推前映射和重traction层约束流形,实现概率守恒,采用弱对抗目标训练,无需网格或坐标图,验证了方法在曲面多模态不变分布中的能力。
2026-03-18 cs.LG cs.NA math.NA
Adversarial Likelihood Estimation With One-Way Flows
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Perceive Inc.(Perceive公司)
针对GAN无法估计样本概率密度的问题,提出基于单向流网络的对抗似然估计方法,通过显式计算生成样本密度实现配分函数无偏估计与生成器熵最大化,收敛更快、样本质量相当且能避免过拟合、生成平滑低维隐表示。
2023-10-02 cs.AI cs.LG
Adversarial Sampling for Solving Differential Equations with Neural Networks
Indian Institute of Technology, Varanasi(印度理工学院(瓦拉纳西));Harvard University(哈佛大学)
基于神经网络的求解微分方程的方法越来越受到关注。它们的工作原理是在每次迭代中改进神经网络在点样本上的微分方程残差。然而,他们中的大多数采用标准的采样方案,如均匀或扰动等间距的点。我们提出了一种新的采样方案,样本点逆向最大化当前解决方案估计的损失。一个采样器的架构,以及用于训练的损失条款。最后,我们证明了这个计划优于预先存在的计划,通过比较两者的一些问题。
2021-11-20 cs.AI cs.LG cs.NA
Dihedral angle prediction using generative adversarial networks
University of Copenhagen(哥本哈根大学)
二面角的预测方法已被发展用于蛋白质结构预测及其其他应用。然而,预测角度的分布将不类似于真实角度的分布。为了解决这个问题,我们采用了生成对抗网络(GAN)。生成对抗网络由两个对抗训练的网络组成:一个生成器和一个生成器。当生成器生成真实的样本时,样本生成器区分来自数据集的样本和生成的样本。虽然GANs的神经网络被训练来估计密度,但是GAN模型是难以处理的。另一方面,噪声对比估计(NCE)被引入到估计一个未归一化的统计模型的归一化常数,从而密度函数。在这篇论文中,我们介绍了噪声对比估计生成对抗网络(NCE-GAN),它可以显式估计GAN模型的密度。并提出了一种新的发电机损耗。我们还提出了辅助分类器GAN(AC-GAN)和半监督GAN的残差变体,以处理窗口中的序列信息。在我们的实验中,条件生成对抗网络(C-GAN),AC-GAN和半监督GAN进行了比较。并在改进的条件下进行了实验。我们发现了AC-GAN的一种现象,即其预测角度的分布由不寻常的簇组成。半监督GAN的预测角度的分布与Ramachandran图最相似。我们发现,将NCE的输出添加为SVM的额外输入有助于稳定GANs的训练并捕获详细结构。加入回归损失和使用回归损失模型预测角度可以提高C-GAN和AC-GAN的条件生成性能。
2018-03-29 cs.LG q-bio.BM stat.ML
Implicit Variational Inference for High-Dimensional Posteriors
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学)
该研究提出基于神经采样器局部线性化的隐式变分推断方法及新型采样器架构,可处理数千万潜变量的高维后验,能恢复大型贝叶斯神经网络跨层相关性,在下游任务上的不确定性量化效果优于现有最优方法。
2023-11-09 cs.LG stat.ML
When Metropolis and Hastings Meet Bradley and Terry: Exact MCMC From Preference Voting
Technion – Israel Institute of Technology(以色列理工学院)
该研究针对生成建模中条件采样的挑战,提出基于偏好投票的精确MH采样器Pref-MH,利用成对比较反馈实现最优条件采样,在多模态生成任务中验证了其实用性。
2026-09-02 cs.LG stat.CO stat.ML
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley(加州大学伯克利分校)
在本文中,我们研究了生成对抗网络(GANs)对现代说话人识别系统合成欺骗攻击的能力。我们首先证明,使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数,利用数据是真实的,但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击,提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS