Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling
Technicolor(特艺集团);INRIA(法国国家信息与自动化研究所)
我们研究大规模潜变量模型中的参数推断。我们首先提出了一个统一的治疗在线推理的潜变量模型从一个非典型的指数家庭,并绘制明确的链接之前提出的几个频率或贝叶斯方法。然后,我们提出了一种新的推理方法的频率估计的参数,适应MCMC方法在线推理的潜变量模型与适当使用的本地吉布斯抽样。然后,对于潜在的Dirich-let分配,我们提供了一组广泛的实验和与现有工作的比较,我们的新方法优于所有以前提出的方法。特别是,使用吉布斯抽样潜变量推理优于变分推理的测试对数似然。此外,贝叶斯推理通过变分方法执行差,有时会导致更高维度的潜在变量更差的拟合。
2018-01-31 cs.LG stat.ML
Projected Latent Markov Chain Monte Carlo: Conditional Sampling of Normalizing Flows
Department of Electrical and Computer Engineering(电气与计算机工程系);Duke University(杜克大学)
我们介绍了投影隐马尔可夫链蒙特卡罗(PL-MCMC),一种从归一化流学习的高维条件分布中采样的技术。我们证明了一个大都会黑斯廷斯实施PL-MCMC渐近样本从与规范化流的确切条件分布。作为一种条件采样方法,PL-MCMC支持蒙特卡洛期望最大化(MC-EM)训练,从不完整的数据中规范化流。通过对各种数据集的缺失数据任务应用规范化流的实验测试,我们证明了PL-MCMC对规范化流的条件采样的有效性。
2021-02-26 cs.LG stat.ML
On Recovering Latent Factors From Sampling And Firing Graph
Laboratoire d’Informatique Gaspard Monge(加斯帕尔·蒙日计算机实验室)
考虑一组潜在因素,其可观察到的激活效应在测量空间上被捕获,该测量空间在$\{0, 1 \}$中显示为位跟踪值的网格。本文旨在提供一个理论和实践的答案的问题:鉴于我们有机会获得一个完美的指标的激活的潜在因素,标签网格的活动的有限数据集,我们可以想象一个程序来建立一个通用的标识符的因素的激活?
2019-09-20 cs.LG stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago(芝加哥大学)
在本文中,我们提出了一种通用的方法,可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数,该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型,并且在训练之后,从基于能量的模型生成潜在空间中的新样本,并通过生成器以在观察空间中产生样本。我们表明,使用我们提出的方法,我们可以大大提高流行的基于似然的生成模型,如规范化流和VAE,与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University(四川大学);Huazhong University of Technology(华中理工大学);New York University(纽约大学)
生成对抗网络(GAN)的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法,这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲,重要性采样通过对训练样本进行优先排序,加快了监督学习中的随机优化。在本文中,我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中,用重要性采样代替均匀采样和高斯采样,用归一化流密度估计逼近潜空间后验分布。从经验上讲,MNIST和Fashion-MNIST的结果表明,我们的方法显着加快了GAN的优化,同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
Latent Annealed Posterior Sampling with a Variance-Preserving Local Gaussian Approximation for Sparsely Observed Random Fields
School of Statistics and Mathematics, Yunnan University of Finance and Economics(云南财经大学统计与数学学院)
针对稀疏观测随机场后验推断的两大挑战,本文提出带方差保持桥的潜在退火后验采样(LAPS)方法,实验表明其在后验准确性、不确定性校准与计算效率间实现了良好权衡。
2026-11-17 cs.LG stat.ML
The Infinite Latent Events Model
Massachusetts Institute of Technology(麻省理工学院)
我们提出了无限潜在事件模型,一个非参数的分层贝叶斯分布在无限维动态贝叶斯网络与二进制状态表示和噪声或类转换。该分布可用于通过同时推断一组潜在事件来学习离散时间序列数据中的结构,这些事件在每个时间步触发,以及这些事件如何因果联系。我们说明了一个健全的因式分解任务,网络拓扑结构识别任务和视频游戏任务的模型。
2012-05-09 cs.LG stat.ML
MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC
Google Research(谷歌研究院);Salesforce Research(赛富时研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
学习基于能量的模型(EBM)需要MCMC采样的学习模型作为一个内部循环的学习算法。然而,高维数据空间中EBM的MCMC采样通常不是混合的,因为通常由深度网络参数化的能量函数在数据空间中是高度多模态的。这对循证医学的理论和实践都是一个严重的障碍。在本文中,我们建议学习EBM与流为基础的模型(或在一般的潜变量模型)作为骨干,使EBM是一个校正或指数倾斜的流为基础的模型。我们发现,该模型具有一个特别简单的形式在空间的潜变量的骨干模型,MCMC采样的EBM在潜在的空间混合以及遍历模式的数据空间。这使得能够对EBM进行适当的采样和学习。
2022-03-16 cs.LG stat.ML
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology(视觉计算研究所,格拉茨技术大学)
本文提出高斯潜在机,通过统一和泛化现有采样算法,实现高效逆问题采样,适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Understanding Latent Flow Models for Tabular Data Synthesis: Targets, Paths, and Sampling
Department of Social Statistics, The University of Manchester, UK(英国曼彻斯特大学社会统计系)
本文通过实证研究表格数据潜在流模型,发现学习目标决定效用-风险权衡,速度与后验匹配提高效用,分数与噪声匹配降低泄露风险;路径与采样选择影响性能,OT路径允许提前停止节省计算。
2026-06-23 cs.LG stat.ML
Control-Geometry Straightening for Sampling-Based Latent Planning
Texas A&M University(德克萨斯农工大学)
本文提出控制几何拉直(CGS)辅助损失,通过匹配动作与潜在差异的余弦相似度,在多个控制环境中提升采样型规划器的成功率,并给出理论保证。
2026-10-08 cs.LG stat.ML
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出首个利用预训练潜在扩散模型求解线性逆问题的框架,通过理论分析证明了线性模型设置下的样本恢复,并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
A Latent Variable Approach for Non-Hierarchical Multi-Fidelity Adaptive Sampling
Northwestern University(西北大学)
提出基于潜变量高斯过程的非分层多保真自适应采样框架,利用预后验分析捕捉保真度间相关性,两步采样优化效益成本比,在全局拟合和贝叶斯优化中提升收敛速度与鲁棒性。
2024-01-22 cs.LG stat.ML
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London(帝国理工学院)
我们专注于生成式自动编码器,例如变分或对抗式自动编码器,它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布,它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗(MCMC)采样过程,相当于迭代解码和编码,这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射,因此我们可以使用MCMC来提高从生成模型提取的样本的质量,特别是当学习的潜在分布远离先验时。使用MCMC采样,我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Google Brain(谷歌大脑)
我们表明,一个GAN的隐式生成器的对数密度$\log p_g$与logit得分的ESTA定义的能量函数,产生真正的数据密度时,发电机是不完美的,但ESTA是最佳的,从而使它有可能改善典型的发电机(与隐式密度$p_g$)。为了实现这一点,我们表明,从这个修改后的密度采样可以通过根据潜在先验对数密度和潜在输出分数之和引起的基于能量的模型在潜在空间中进行采样来实现。这可以通过在潜在空间中运行Langevin MCMC,然后应用生成器函数来实现,我们称之为鉴别器驱动潜在采样~(DDLS)。我们表明,DDLS是非常有效的相比,以前的方法,工作在高维像素空间,可以应用于改善以前训练的GANs的许多类型。我们评估DDLS的合成和现实世界的数据集定性和定量。在CIFAR-10上,DDLS大大提高了现成的预训练SN-GAN~ \citep{sngan}的初始得分,从$8.22$到$9.09$,甚至可以与类条件BigGAN~ \citep{biggan}模型相媲美。这在无条件图像合成设置中实现了新的最先进技术,而无需引入额外的参数或额外的训练。
2021-07-07 cs.AI cs.LG stat.ML
Theoretical guarantees for sampling and inference in generative models with latent diffusions
University of Illinois(伊利诺伊大学)
引入并研究了一类概率生成模型,其中潜在对象是有限时间间隔上的有限维扩散过程,观测变量是在扩散的终点上有条件地抽取的.我们做了以下贡献:我们提供了一个统一的观点,通过镜头的随机控制在这种生成模型的采样和变分推理。我们量化了基于扩散的生成模型的表现力。具体而言,我们表明,可以有效地从广泛的终端目标分布的类选择漂移的潜在扩散的多层前馈神经网络,采样的准确性测量的Kullback-Leibler发散的目标分布。最后,我们提出并分析了一个无偏模拟生成模型与潜在扩散的计划,并提供了所得到的估计方差的界限。该方案可以实现为具有随机数层的深度生成模型。
2019-05-31 cs.LG math.OC math.PR
Exploring and Exploiting Hubness Priors for High-Quality GAN Latent Sampling
Cardiff University(卡迪夫大学)
尽管对生成对抗网络(GANs)进行了广泛的研究,但如何从其潜在空间中可靠地采样高质量图像仍然是一个未充分探索的话题。在本文中,我们提出了一种新的GAN潜在的抽样方法,通过探索和利用的hubness先验GAN潜在的分布。我们的关键见解是,GAN潜在空间的高维性将不可避免地导致中心潜在空间的出现,这些中心潜在空间通常具有比潜在空间中的其他潜在空间大得多的采样密度。因此,这些中心潜伏期得到了更好的训练,从而为高质量图像的合成做出了更多贡献。与后验“樱桃采摘”不同,我们的方法是高效的,因为它是一种先验方法,在合成图像之前识别高质量的潜伏期。此外,我们还证明了著名的纯经验截断技巧是对中心潜伏期的中心聚类效应的一种朴素近似,这不仅揭示了截断技巧的基本原理,也表明了我们方法的优越性和基础性.大量的实验结果证明了该方法的有效性。
2022-06-13 cs.CV cs.LG
Scan-Parallel Variational Inference for event-driven Latent Jump Models
UT Austin(德克萨斯大学奥斯汀分校)
该研究针对不规则时间序列建模问题,提出隐式跳跃模型(LJMs),并引入扫描并行变分推断(SPVI)实现其高效训练,在预测精度相当的前提下大幅提升训练速度。
2026-10-12 cs.LG stat.ML
Learning Latent Space Energy-Based Prior Model
University of California, Los Angeles(加州大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
我们建议在发电机模型的潜在空间中学习基于能量的模型(EBM),这样EBM就可以作为发电机模型自顶向下网络上的先验模型。潜在空间EBM和自上而下的网络都可以通过极大似然联合学习,这涉及从潜在向量的先验分布和后验分布进行短期MCMC采样。由于潜在空间的低维性和自顶向下网络的表达能力,潜在空间中的简单EBM可以有效地捕获数据中的错误,并且潜在空间中的MCMC采样是有效的并且混合良好。我们表明,学习模型在图像和文本生成和异常检测方面表现出很强的性能。单页代码可以在补充材料中找到。
2020-10-29 cs.LG stat.ML
Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces
University of Edinburgh(爱丁堡大学);CIFAR Fellow(卡尔·弗里德里希·列文森研究员)
提出离策略训练技术改进离散扩散采样器性能,并首次引入离散域的数据到能量薛定谔桥训练,应用于图像生成模型的离散潜在空间中的无数据后验采样。
2026-05-28 cs.LG stat.ML
Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states
Harvard University(哈佛大学);Duke University(杜克大学);Google(谷歌公司)
针对隐马尔可夫模型中稀有隐状态导致数据不平衡的问题,提出目标子采样(TASS)方法,通过过采样稀有状态观测值并构建权重降低梯度估计方差,显著提升了稀有事件的预测和推断准确性。
2024-07-25 cs.LG stat.ML
Latent Guided Sampling for Combinatorial Optimization
Sorbonne Université and Université Paris Cité, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, F-75005 Paris, France(索邦大学和巴黎Cité大学,法国国家科学研究中心,概率、统计与建模实验室,法国巴黎F-75005);LOPF, Califrais' Machine Learning Lab, Paris, France(LOPF,Califrais机器学习实验室,法国巴黎)
提出LGS-Net潜在空间模型,结合马尔可夫链蒙特卡洛与随机逼近的潜在引导采样方法,在路由任务上达到最先进性能。
2026-06-09 cs.LG math.OC stat.ML
Enhanced Importance Sampling through Latent Space Exploration in Normalizing Flows
Stanford University(斯坦福大学)
针对重要性采样中提议分布覆盖不足的问题,本文提出在 normalizing flow 潜空间中更新并探索提议分布,再经可逆映射恢复目标空间样本,并在机器人仿真任务中验证其有效性。
2025-05-13 cs.AI cs.LG cs.RO
Sampling via Decision-Flow: Training-Free Extraction of Improved Latent Reasoning Paths in Large Language Models
Stevens Institute of Technology(史蒂文斯理工学院)
提出无需训练的决策流采样(DF-Sample)框架,通过构建层次化推理树并执行全局轨迹评估,解锁基座模型中潜在的高质量推理路径,在GPQA上以45.6%准确率超越GRPO等基线。
2026-09-14 cs.LG
Diversity-Promoting Bayesian Learning of Latent Variable Models
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Petuum Inc.(Petuum 公司)
为了解决隐变量模型(LVMs)中涉及的三个重要问题,包括捕获不频繁模式、实现小规模但具有表达力的模型和减轻过拟合,一些研究致力于“多样化”LVMs,旨在鼓励LVMs中的组件多样化。大多数现有的研究都属于频率主义风格的正则化框架,其中组件是通过点估计来学习的。在本文中,我们研究了如何在贝叶斯学习的范式中“多样化”LVMs。我们提出了两种具有互补优势的方法。一种是定义一个多样性促进的相互角先验,它将较大的密度分配给具有较大相互角的分量,并使用此先验通过贝叶斯规则影响后验。我们开发了两个有效的近似后验推理算法的基础上变分推理和MCMC抽样。另一种方法是直接在组件的后数据分布上施加多样性促进正则化。我们还扩展了我们的方法,“多样化”贝叶斯非参数模型的组件的数量是无限的。提出了一种基于切片采样和哈密顿蒙特卡罗的采样算法。我们将这些方法应用于“多样化”贝叶斯混合专家模型模型和无限潜在特征模型。在不同数据集上的实验证明了该方法的有效性和效率。
2017-11-23 cs.LG stat.ML
Bipartite Graph Variational Auto-Encoder with Fair Latent Representation to Account for Sampling Bias in Ecological Networks
agroparistech(巴黎农业学院);MNHN, CNRS, SU(法国国家自然博物馆、国家科学研究中心、苏弗尔(SU));Sorbonne Université, CNRS, IRD, INRAE, Université Paris Est Créteil, Université Paris Cité, Institute of Ecology and Environmental Sciences (iEES-Paris)(索邦大学、国家科学研究中心、国际发展研究所、法国国家农业食品研究咨询中心、巴黎东部大学、巴黎城市大学、生态与环境科学研究所(iEES-巴黎))
本文提出了一种双图变分自编码器,通过引入HSIC来处理生态网络中的采样偏差,以获得公平的潜在表示。
2025-11-20 cs.LG cs.SI stat.ML
Latent Block-Diffusion Temporal Point Processes: A Semi-Autoregressive Framework for Asynchronous Event Sequence Generation
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出潜在块扩散时间点过程(LBDTPP),通过潜在空间中的块级自回归和块内高斯扩散,实现可变长度、高质量的事件序列生成,理论证明可减少误差累积,实验优于现有方法。
2026-06-25 cs.LG stat.ML
Semantic Step Prediction: Multi-Step Latent Forecasting in LLM Reasoning Trajectories via Step Sampling
Home Team Science and Technology Agency(家庭团队科技机构)
本文通过步采样改进语义管预测方法,提升多步潜在预测的准确性,并提出新的评估指标。
2026-04-20 cs.LG
Score-based Generative Modeling in Latent Space
NVIDIA(英伟达)
基于分数的生成模型(SGM)最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而,它们通常直接应用于数据空间,并且通常需要数千个网络评估来进行采样。在这里,我们提出了基于潜在分数的生成模型(LSGM),这是一种在潜在空间中训练SGM的新方法,依赖于变分自动编码器框架。从数据转移到潜在空间,使我们能够训练更具表现力的生成模型,将SGM应用于非连续数据,并在更小的空间中学习更平滑的SGM,从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端,我们(i)引入适合LSGM设置的新的分数匹配目标,(ii)提出一种新的得分函数参数化,使SGM能够专注于目标分布相对于简单正态分布的不匹配,以及(iii)分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数,优于该数据集上所有现有的生成结果。在CelebA-HQ-256上,LSGM在采样质量上与之前的SGM相当,而在采样时间上则超过它们两个数量级。在对二值图像建模时,LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
Multinomial Sampling for Hierarchical Change-Point Detection
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
贝叶斯变点检测,连同潜在变量模型,允许在高维时间序列上执行分割。我们假设变点位于低维流形上,我们的目标是推断离散潜变量的子集。对于该模型,完全推断在计算上是不可行的,而是使用基于点估计的伪观测。然而,如果估计不够确定,变点检测受到影响。为了避免这个问题,我们提出了一个多项式采样方法,提高了检测率,减少了延迟,同时保持复杂性稳定和推理分析易处理。我们的实验结果优于基线方法,我们还提供了一个面向人类行为研究的例子。
2020-11-03 cs.LG stat.ML
A Variational Autoencoder for Neural Temporal Point Processes with Dynamic Latent Graphs
Great Bay University(大湾区大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对事件动力学的时变混合特征,提出一种带动态潜图的神经时间点过程变分自编码器,通过分子区间学习维度依赖图剔除无关影响,提升了事件间隔与类型的预测精度。
2024-03-08 cs.LG stat.ML
Latent Diffusion Posterior Sampling with Surrogate Likelihood Guidance for PDE Inverse Problems
Department of Civil and Environmental Engineering(土木与环境工程系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出L-DPS框架,结合VAE、潜扩散模型和可微代理,高效求解PDE逆问题,在达西流逆问题中优于现有方法。
2026-06-26 cs.CE cs.LG
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations
University of Oxford(牛津大学)
生成式潜变量模型正在成为机器人和强化学习中很有前途的工具。然而,即使在这些领域的任务通常涉及不同的对象,最先进的生成模型没有明确捕捉视觉场景的组成性质。最近的两个例外,MONet和IODINE,以无监督的方式将场景分解为对象。然而,它们的基本生成过程并不考虑组件的相互作用。因此,它们都不允许对小说场景进行有原则的采样。在这里,我们提出了GENESIS,第一个以对象为中心的生成模型的3D视觉场景能够分解和生成场景捕捉场景组件之间的关系。GENESIS参数化的空间GMM的图像是从一组以对象为中心的潜在变量,要么推断顺序摊销的方式或从自回归先验采样解码。我们训练GENESIS几个公开可用的数据集,并评估其性能的场景生成,分解,和半监督学习。
2020-11-23 cs.CV cs.LG cs.NE
On the Shape of Latent Variables in a Denoising VAE-MoG: A Posterior Sampling-Based Study
本文针对 GW150914 引力波数据训练的去噪 VAE-MoG,利用 HMC 后验样本检验潜空间,发现良好去噪效果并不保证潜表示可靠。
2025-09-29 cs.AR cs.LG
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Microsoft AI & Research(微软人工智能与研究);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系)
基于生成对抗网络(GANs)的最新技术,如周期一致性GANs,能够通过生成器和判别器之间的最小-最大优化游戏,学习从未配对数据集构建的不同域之间的映射。然而,它仍然具有挑战性,以稳定的训练过程,从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题,我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础,通过对潜在变量进行采样,探索循环模型的全后验,并利用最大后验概率(MAP)估计对模型进行优化。因此,我们将其命名为Bayesian CycleGAN。此外,原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN,包括Cityscapes,Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%,在所提出的集成框架内提高了20%,表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Selecting Belief-State Approximations in Simulators with Latent States
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种在具有潜在状态的模拟器中选择信念状态近似的方法,通过归约条件分布选择任务,探讨了两种不同的形式化方法及其在不同roll-out方法下的表现差异。
2025-11-25 cs.AI cs.LG stat.ML
Sampling From Autoencoders' Latent Space via Quantization And Probability Mass Function Concepts
PSL University(巴黎文理研究大学);ÉNS(巴黎高等师范学院);CNRS(法国国家科学研究中心)
本研究针对自编码器生成模型隐空间采样生成逼真图像的问题,提出结合概率质量函数与量化的训练后采样算法,优化了时间复杂度,在多数据集上的图像生成效果优于高斯混合模型采样方法。
2023-08-21 cs.AI cs.CV cs.LG
GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler
Department of Data Science & AI, Monash University(墨尔本大学数据科学与人工智能系);Faculty of Medicine Dentistry and Health Sciences, University of Melbourne(墨尔本大学医学牙科与健康科学学院);Department of Computer Science, University College London(伦敦大学学院计算机科学系)
本文提出GTS,通过学习条件分布实现更可控的推理时缩放,改进了传统启发式扰动方法,提升了推理质量与稳定性。
2026-03-18 cs.CL cs.LG
Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling
South China University of Technology(华南理工大学);Tsinghua University(清华大学);Columbia University(哥伦比亚大学)
本研究提出了一种基于退火重要性采样的方法,用于改进高斯过程潜在变量模型的变分推断,通过重新参数化ELBO提升效率,并在多个数据集上验证了其优越的性能。
2026-03-07 cs.AI cs.LG stat.ML
Automatic Laplace Collapsed Sampling: Scalable Marginalisation of Latent Parameters via Automatic Differentiation
Institute of Astronomy, University of Cambridge(剑桥大学天文学研究所);Kavli Institute for Cosmology, University of Cambridge(剑桥大学卡夫利宇宙学研究所)
本文提出ALCS框架,通过自动微分结合嵌套采样,高效稳健地进行贝叶斯模型中潜在参数的边缘化,支持高维场景下的证据计算,并展示自动微分在局部近似中的应用。
2026-03-27 astro-ph.IM cs.LG stat.ME
Latent Event-Predictive Encodings through Counterfactual Regularization
Cluster of Excellence – Machine Learning for Science(卓越集群——科学机器学习)
任何智能系统的一个关键挑战是从连续的数据流中推断结构。事件预测认知理论认为,大脑将感觉运动信息分割成紧凑的事件编码,用于预测和解释环境动态。在这里,我们介绍了一个SUrprise-Gated递归神经网络(SUGAR),它使用了一种新的反事实正则化形式。我们测试模型的层次序列预测任务,其中序列生成交替隐藏图结构。我们的模型学习将任务的时间动态压缩为潜在的事件预测编码,并在正确的时刻预测事件转换,给出关于它们的噪声隐藏信号。反事实正则化项的添加确保了从一个潜在代码到下一个潜在代码的流体转换,由此得到的潜在代码表现出组成特性。所实现的机制在其他领域提供了许多有用的应用,包括层次推理,规划和决策。
2021-05-12 cs.LG
Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
University of Glasgow(格拉斯哥大学);University of Edinburgh(爱丁堡大学)
本研究提出仅用2D图像训练的3D场景潜在扩散模型,通过自编码器构建3D高斯泼溅的潜在表示并训练多视图扩散模型,在两个大规模数据集上实现0.2秒生成高质量3D场景,速度较同类模型快一个数量级。
2024-06-18 cs.CV cs.LG
Sampling Generative Networks
Victoria University of Wellington(惠灵顿维多利亚大学)
我们介绍了几种技术的采样和可视化生成模型的潜在空间。用球面线性插值替换线性插值可防止偏离模型的先验分布,并生成更清晰的样本。J-Diagrams和MINE grids被引入作为由类比和最近邻创建的流形的可视化。我们展示了两种新的技术,用于获得属性向量:偏差校正向量与数据复制和合成向量与数据增强。使用属性向量的二进制分类作为一种技术,支持定量分析的潜在空间。大多数技术旨在独立于模型类型,并且在变分自编码器和生成对抗网络上都显示了示例。
2016-12-06 cs.LG cs.NE stat.ML
Inverse Problem Sampling in Latent Space Using Sequential Monte Carlo
Faculty of Engineering, Bar-Ilan University, Israel(工程学院,巴伊兰大学,以色列)
本文提出LD-SMC方法,在扩散模型潜空间中利用序贯蒙特卡洛进行后验推断,以解决图像逆问题条件采样难题,并在ImageNet和FFHQ上验证其在修复等任务中的优势。
2025-08-21 cs.CV cs.LG eess.IV
Latent Variables on Spheres for Autoencoders in High Dimensions
Xiaomi AI Lab(小米人工智能实验室);Chinese University of Hong Kong(香港中文大学)
变分自动编码器(VAE)作为机器学习中的一种基本生成模型得到了广泛的应用。然而,对于像图像对象或场景这样的复杂样本,VAE遭受需要高维潜在代码的重建精度和有利于低维潜在空间的概率推理之间的维度困境。凭借高维几何,我们提出了一个非常简单的算法,称为球面自动编码器(SAE),完全不同于现有的VAE来解决这个问题。SAE本质上是对潜在空间进行球形归一化的香草自动编码器。我们分析了球上的随机变量在高维空间中的独特特征,并认为当维数足够高时,球上的随机变量对各种先验分布和数据模式是不可知的。因此,SAE可以利用一个高维的潜在空间,以提高潜在代码的推理精度,同时保持从先验随机抽样的性质。抽样和推理实验验证了理论分析和SAE的优越性。
2020-02-17 cs.CV cs.LG stat.ML
Accelerating the Generation of Molecular Conformations with Progressive Distillation of Equivariant Latent Diffusion Models
Stanford University(斯坦福大学);NVIDIA(英伟达公司)
本研究将快速采样方法应用于 3 维分子构象生成,提出 Equivariant Latent Progressive Distillation 算法,在保持几何等变性的同时实现高达 7.5 倍的采样加速,且分子稳定性下降有限,为高通量分子筛选提供了巨大潜力。
2024-04-21 cs.LG q-bio.QM
Personal Dynamic Cost-Aware Sensing for Latent Context Detection
Ben-Gurion University of the Negev(本-古里安大学)
在过去的十年中,移动设备的使用已经远远超出了打电话和发短信等简单活动。如今,智能手机包含多个嵌入式传感器,能够收集有关用户的有用传感数据并推断用户的上下文。感知越频繁,上下文就越准确。然而,连续感测会导致巨大的能量消耗,从而降低电池的寿命。我们提出了一种新的方法进行连续的潜在上下文检测时,成本感知。该方法基于三个因素动态地确定用户的传感器采样策略:(1)用户最后已知的上下文;(2)使用KL-发散预测的信息丢失;(3)传感器的采样成本。目标函数的目标是最小化采样成本和信息损失。该方法基于各种机器学习技术,包括用于潜在上下文检测的自动编码器神经网络、用于信息丢失预测的线性回归和用于确定最优采样策略的凸优化。为了评估所提出的方法,我们对以高频率记录的真实数据进行了一系列测试;这些数据是在一周内从20名用户的6个手机传感器收集的。结果表明,通过采用动态采样策略,我们的方法自然地平衡了信息损失和能量消耗,并且优于静态方法。我们比较了我们的方法与另一个国家的最先进的动态采样方法的性能,并证明其在各种措施的一致优势。%我们的方法优于,并且能够改进我们在采样成本或信息损失方面取得了更好的结果,并且在某些情况下,我们同时改进了两者。
2019-03-13 cs.CY cs.LG
Parallel Test-Time Scaling for Latent Reasoning Models
Hong Kong Polytechnic University(香港理工大学);Shandong Jianzhu University(山东建筑大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出通过改进采样和聚合方法,使潜在推理模型能有效利用并行测试时缩放,提升连续空间中的推理能力。
2026-04-19 cs.AI cs.CL cs.LG
DLow: Diversifying Latent Flows for Diverse Human Motion Prediction
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
深度生成模型通常用于人体运动预测,因为它们能够对多模态数据分布进行建模并表征各种人类行为。虽然在设计和学习深度生成模型时已经非常小心,但如何在训练后从深度生成模型中有效地生成不同的样本仍然是一个未被探索的问题。为了从预训练的生成模型中获取样本,大多数现有的生成式人体运动预测方法都会提取一组独立的高斯潜码并将其转换为运动样本。显然,这种随机抽样策略不能保证产生多样化的样本,原因有二:(1)独立抽样不能强制样本多样化;(2)抽样仅基于可能性,可能只产生与数据分布的主要模式相对应的样本。为了解决这些问题,我们提出了一种新的采样方法,多样化的潜在流(DLow),从预训练的深度生成模型中生成一组多样化的样本。与随机(独立)采样不同,所提出的DLow采样方法对单个随机变量进行采样,然后用一组可学习的映射函数将其映射到一组相关的潜在代码。相关的潜在代码然后被解码成一组相关的样本。在训练过程中,DLow使用样本上的多样性促进先验作为目标来优化潜在映射以提高样本多样性。现有技术的设计是高度灵活的,并且可以定制以产生具有共同特征的不同运动(例如,相似的腿部运动但不同的上身运动)。我们的实验表明,DLow在样本多样性和准确性方面优于最先进的基线方法。我们的代码发布在项目页面:https://www.ye-yuan.com/dlow。
2020-07-22 cs.CV cs.LG eess.IV
Transition Path Sampling with Boltzmann Generator-based MCMC Moves
School of Computation, Information and Technology, TUM(慕尼黑工业大学计算、信息与技术学院);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室);Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系)
本文提出一种基于玻尔兹曼生成器的MCMC方法,在潜空间中采样分子过渡路径,无需分子动力学模拟,并在丙氨酸二肽上验证了精确采样和不同提议机制。
2024-05-28 cs.LG q-bio.QM
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge(剑桥大学);HHMI Janelia Research Campus(HHMI珍妮亚研究园区)
变分自动编码器(VAE)的每个训练步骤都需要我们从近似后验中进行采样,因此我们通常选择简单(例如因子分解)的近似后验,其中采样是一种充分利用GPU并行性的有效计算。然而,这种简单的近似后验往往是不够的,因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验,但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布,但是从这样的分布中进行采样本质上是顺序的,因此速度很慢。我们开发了一个快速,并行采样程序的自回归分布的基础上的固定点迭代,使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界,我们考虑了两种方法来评估概率:将松弛样本直接插入到离散分布的pmf中,或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现,转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验,这导致有偏见的推断,因此,我们使用前一种方法。使用我们的快速采样程序,我们能够实现相关后验的好处,包括一个细胞的准确不确定性估计,以及多个细胞的准确连接估计,在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Bigger is not Always Better: Scaling Properties of Latent Diffusion Models
Johns Hopkins University(约翰斯·霍普金斯大学);Texas A&M University(德克萨斯农工大学);Google(谷歌公司)
本文实证研究文本到图像 LDM 的模型规模与采样效率关系,发现固定推理预算下小模型常优于大模型,并在多种采样器、下游任务、蒸馏模型及训练算力比较中验证其普适性。
2024-12-10 cs.CV cs.LG
Density estimation using Real NVP
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);Google Brain
概率模型的无监督学习是机器学习中的一个核心而又具有挑战性的问题。具体来说,设计具有易处理的学习、采样、推理和评估的模型对于解决这一任务至关重要。我们使用实值非体积保持(真正的NVP)变换,一组强大的可逆和可学习的变换,从而在一个无监督学习算法与精确的对数似然计算,精确采样,精确推断的潜在变量,和一个可解释的潜在空间扩展这样的模型的空间。我们证明了它的能力,通过采样,对数似然评估和潜变量操作的自然图像模型的四个数据集。
2017-02-27 cs.AI cs.LG cs.NE
The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
ETH Zürich(苏黎世联邦理工学院)
本文通过测度论框架形式化对比学习中的多样性条件,提出支持校正的InfoNCE变体,并实验验证了采样多样性与编码器归纳偏置的相互作用。
2026-06-02 cs.AI cs.IR cs.LG