PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors
Center of Excellence for Generative AI, KAUST(生成人工智能卓越中心,KAUST);The Swiss AI Lab, IDSIA-USI/SUPSI(瑞士人工智能实验室,IDSIA-USI/SUPSI);NNAISENSE Principia-AI/PhysGym(NNAISENSE 原初人工智能/PhysGym)
PhysGym是一个交互式物理发现基准,通过精细控制先验知识水平,评估LLM智能体在不同任务复杂性下的科学推理能力,并提供标准化评估协议以区分模型性能。
2025-10-26 cs.AI cs.LG physics.soc-ph
LMEMs for post-hoc analysis of HPO Benchmarking
University of Freiburg(弗赖堡大学);Mila(米拉研究所);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所)
本文提出用线性混合效应模型对HPO基准测试进行事后显著性检验,以揭示平均性能掩盖的方法间差异,并通过PriorBand数据案例验证其能发现新见解。
2024-08-05 cs.LG
RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis
本文提出基于 Roofline 模型的统一框架,通过操作强度(OI)统一架构原语和硬件约束,引入相对推理潜力作为新指标,分析不同 LLMs 在相同硬件上的效率差异,并揭示序列长度和模型深度对性能和 OI 的影响。
2026-08-06 cs.AI cs.AR cs.LG
Fluid Language Model Benchmarking
Allen Institute for AI(阿尔伦人工智能研究所);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对语言模型基准测试成本高、易饱和等问题,提出基于项目响应理论动态选择评估项目的 Fluid Benchmarking 方法,在效率、有效性、方差和饱和度四个维度上均取得更优表现。
2025-09-14 cs.AI cs.CL cs.LG
Community detection in small-sample ordinal regimes: A benchmarking framework for Delphi data
Universitas Mercatorum(Mercatorum大学);University "G. d'Annunzio"(G. d'Annunzio大学)
针对德尔菲数据高维小样本导致的秩亏问题,提出从变量中心协方差模型转向网络中心连接模型,利用社区检测算法识别潜在主题结构,实现结构稳定的降维。
2026-06-19 stat.AP stat.ME
FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);BAAI(北京智源人工智能研究院);Shanghai Qi Zhi Institute(上海期智研究院)
Few-Shot自然语言理解(NLU)任务最近引起了很多关注。然而,先前的方法是在一组不同的协议下进行评估的,这阻碍了公平的比较和测量该领域的进展。为了解决这个问题,我们引入了一个评估框架,在三个关键方面改进了以前的评估程序,即,测试性能、开发测试相关性和稳定性。在这个新的评估框架下,我们重新评估了几个国家的最先进的Few-Shot方法的NLU任务。我们的框架揭示了新的见解:(1)在以前的文献中,方法的绝对性能和相对差距都没有准确估计;(2)没有一种方法在大多数任务中具有一致的性能;(3)随着预训练模型的增大,某些方法的改进会减少;以及(4)来自不同方法的增益通常是互补的,并且最佳组合模型的性能接近于强的全监督基线。我们开源了我们的工具包FewNLU,它实现了我们的评估框架以及一些最先进的方法。
2022-03-15 cs.CL cs.LG
Benchmarking Generative Models for Near-Surface Data Assimilation on Real Station Observations
Massachusetts Institute of Technology(麻省理工学院)
该研究首次在真实站点观测上对生成式天气数据同化进行受控基准测试,发现生成先验优于3D-Var,全梯度引导最有效,扩散与流匹配性能相当,并建立了标准化基准。
2026-10-08 cs.AI cs.LG
The Right Call for Software Benchmarking: Consistent Decisions in Stateful Environments
Google DeepMind(谷歌DeepMind)
针对有状态环境下基准测试偏差问题,提出基于对比估计量的实验设计,消除程序特定偏差,实现渐近正确决策。
2026-06-17 cs.PF cs.SE stat.AP
Benchmarking Generative Latent Variable Models for Speech
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学)
随机潜变量模型(LVMs)在自然图像生成上实现了最先进的性能,但在语音上仍然不如确定性模型。在本文中,我们开发了一个流行的时间LVMs的语音基准,并将其与最先进的确定性模型进行比较。我们报告的可能性,这是一个经常使用的度量在图像域中,但很少,或无与伦比的,报告的语音模型。为了评估质量的学习表示,我们还比较它们的有用性音素识别。最后,我们适应的发条VAE,一个国家的最先进的时间视频生成的LVM,语音域。尽管自回归只在潜在的空间,我们发现,发条VAE可以优于以前的LVMs和减少差距,确定性模型通过使用层次结构的潜在变量。
2022-04-05 cs.AI cs.LG cs.SD
Data Envelopment Analysis with Robust and Closest Targets:Integrating Full-Dimensional Efficient Facets for Risk-Resilient Benchmarking
针对数据包络分析中基准目标忽视风险的问题,提出由最大全维有效面交集定义的鲁棒目标及新效率度量,并在38所985大学数据上验证。
2025-06-19 math.OC stat.AP
Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University(台湾交通大学)
存在许多形式的深层潜变量模型,例如变分自编码器和对抗自编码器。无论模型的具体类别如何,都存在一个隐含的共识,即潜在分布应该朝着先验进行正则化,即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时,我们的结果表明,在学习了充分表达的先验知识的情况下,潜在正则化是不必要的,并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处:潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
Regularized Small Area Estimation with Graph Laplacian Benchmarking priors
University of California, Davis(加州大学戴维斯分校);George Mason University(乔治梅森大学)
该研究提出带图拉普拉斯基准先验的贝叶斯框架,用于小区域估计,通过定制MCMC算法实现后验计算,经模拟和哥伦比亚市级平均家庭规模估计验证,多视图模型表现更优。
2026-10-09 stat.CO stat.ME stat.ML
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架,用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验,替代标准正态先验,并引入潜在缩放因子控制采样方差,平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Learning Latent Space Energy-Based Prior Model
University of California, Los Angeles(加州大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
我们建议在发电机模型的潜在空间中学习基于能量的模型(EBM),这样EBM就可以作为发电机模型自顶向下网络上的先验模型。潜在空间EBM和自上而下的网络都可以通过极大似然联合学习,这涉及从潜在向量的先验分布和后验分布进行短期MCMC采样。由于潜在空间的低维性和自顶向下网络的表达能力,潜在空间中的简单EBM可以有效地捕获数据中的错误,并且潜在空间中的MCMC采样是有效的并且混合良好。我们表明,学习模型在图像和文本生成和异常检测方面表现出很强的性能。单页代码可以在补充材料中找到。
2020-10-29 cs.LG stat.ML
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院)
生成对抗网络(GAN)的生成器经过训练,可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的,但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间,并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
A prior-based approximate latent Riemannian metric
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
随机生成模型使我们能够通过潜在空间中的黎曼度量来捕获位于高维空间中的数据流形的几何结构。然而,它的实际应用是相当有限的,主要是由于不可避免的复杂性。在这项工作中,我们提出了一个替代共形黎曼度量的生成模型,是简单,有效和强大的潜在空间。这个指标是基于一个可学习的先验知识,我们建议使用一个基本的基于能量的模型来学习。我们从理论上分析了所提出的度量的行为,并表明它是明智的,在实践中使用。我们证明实验的效率和鲁棒性,以及新的近似度量的行为。此外,我们显示了所提出的方法在生命科学中的数据分析的适用性。
2021-03-09 cs.LG stat.ML
Learning Correlated Latent Representations with Adaptive Priors
Columbia University(哥伦比亚大学);Netflix Inc.(奈飞公司);The University of Texas at Dallas(得克萨斯大学达拉斯分校);Spotify Inc.(声田公司)
变分自动编码器(VAE)已被广泛应用于学习高维数据的紧凑,低维的潜在表示。当数据点之间的相关性结构可用时,以前的工作提出了相关变分自动编码器(CVAE),它采用结构化混合模型作为先验,并为每个混合成分采用结构化变分后验,以强制学习的潜在表示遵循相同的相关性结构。然而,正如我们在这项工作中所证明的那样,这样的选择不能保证CVAE捕获所有的相关性。此外,它阻止我们获得一个易于处理的联合和边际变分分布。为了解决这些问题,我们提出了自适应相关变分自动编码器(ACVAE),它应用了一个自适应先验分布,可以在训练过程中进行调整,并可以学习一个易于处理的联合变分分布。其易于处理的形式还可以通过置信传播进行进一步细化。链接预测和层次聚类的实验结果表明,ACVAE显着优于其他基准之间的CVAE。
2019-12-18 cs.LG stat.ML
Variational Autoencoder with Learned Latent Structure
Georgia Institute of Technology(佐治亚理工学院)
流形假设指出,高维数据可以被建模为位于或靠近低维非线性流形。变分自动编码器(VAE)通过学习从低维潜在向量到高维数据的映射来近似该流形,同时通过使用指定的先验分布来鼓励潜在空间中的全局结构。当这种先验与真实数据流形的结构不匹配时,它可能导致数据的模型不太准确。为了解决这种不匹配,我们引入了变分自动编码器与学习的潜在结构(VAELLS),它将一个可学习的流形模型到潜在的VAE空间。这使我们能够从数据中学习非线性流形结构,并使用该结构来定义潜在空间中的先验。潜在流形模型的集成不仅确保我们的先验与数据匹配良好,而且还允许我们在潜在空间中定义生成变换路径,并使用源于每个类的示例的变换来描述类流形。我们在具有已知潜在结构的示例上验证了我们的模型,并在真实世界的数据集上展示了其功能。
2021-03-02 cs.LG stat.ML
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE,通过为每个潜在维度分配自适应的隐马尔可夫先验,实现无监督盲源分离的端到端学习,学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
Comparative Benchmarking of Causal Discovery Techniques
TCS Research(塔塔咨询服务研究部)
在本文中,我们提出了一个全面的观点突出的因果发现算法,分为两个主要类别(1)假设无循环和无潜变量,(2)允许循环和潜变量,以及实验结果比较他们从三个角度:(a)结构准确性,(b)标准预测准确性,(c)准确性的反事实推理。对于(b)和(c),我们训练具有由每种因果发现技术预测的结构的因果贝叶斯网络,以执行反事实或标准预测推理。我们比较了两个publicly可用的因果算法和一个模拟数据集具有不同的样本大小:小,中,大。实验表明,技术的结构准确性并不一定与推理任务的更高准确性相关。此外,在具有大量变量的数据集的情况下,调查的结构学习算法在结构准确性方面表现不佳。
2017-09-12 cs.AI stat.ML
The Phylogenetic Indian Buffet Process: A Non-Exchangeable Nonparametric Prior for Latent Features
University of California(加利福尼亚大学)
非参数贝叶斯模型通常基于被建模的对象是可交换的假设。虽然在某些应用中是适当的(例如,文档的词袋模型),有时仅仅出于计算原因而假设可交换;对于基于主题的应用程序,不可交换模型可能是更好的选择。利用图形模型和遗传学的思想,我们描述了一类非参数潜在特征模型的不可交换先验,其计算效率几乎与其可交换的对应物一样。我们的模型是适用于一般的设置中,对象之间的依赖关系可以表示使用树,其中边的长度表示的关系的强度。我们展示了一个应用程序建模概率选择。
2012-06-13 cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University(香港理工大学);Wuhan University of Technology(武汉理工大学);The University of Hong Kong(香港大学)
本文提出AR-Flow VAE,通过自回归流先验提升潜变量建模灵活性,有效捕捉复杂非高斯行为和结构依赖,验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva(日内瓦大学)
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器,条件先验VAE(CP-VAE),它学会区分各个混合成分,因此允许从分布式数据集群的世代。我们假设一个两级的生成过程,连续(高斯)的潜变量采样条件上的离散(分类)的潜在成分。新的变分目标自然地耦合后验和先验条件的学习,以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后,当从对应于原始数据的多模态结构的各个混合成分生成新样本时,数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
Variational Autoencoders with Riemannian Brownian Motion Priors
Technical University of Denmark(丹麦技术大学);Research Institutes of Sweden(瑞典研究院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
变分自编码器(VAE)表示低维潜在空间中的给定数据,该潜在空间通常被假设为欧几里得。这个假设自然会导致对连续潜变量的标准高斯先验的共同选择。然而,最近的工作表明,这种先验对模型容量有不利影响,导致性能低于标准。我们建议,欧几里德假设在于这种故障模式的核心。为了解决这个问题,我们假设一个黎曼结构的潜在空间,这构成了一个更有原则的几何视图的潜在代码,并取代标准高斯先验与黎曼布朗运动先验。我们提出了一个有效的推理方案,不依赖于这个先验的未知归一化因子。最后,我们证明了这一先验显着增加模型容量,只使用一个额外的标量参数。
2020-08-07 cs.LG stat.ML
Learning Hierarchical Priors in VAEs
Volkswagen Group(大众汽车集团);Technical University of Munich(慕尼黑工业大学)
我们建议在变分自编码器的背景下学习分层先验,以避免标准正态先验分布导致的过度正则化。为了激励数据的信息潜在表示,我们通过将驯服VAE框架扩展到两级分层模型来将学习问题制定为约束优化问题。我们介绍了一种基于图形的插值方法,它表明,学习的潜在表示的拓扑结构对应于数据流形的拓扑结构-并提出了几个例子,其中所需的属性的潜在表示,如平滑度和简单的解释因素是由事先学习。
2019-10-05 cs.LG stat.ML
Effect of The Latent Structure on Clustering with GANs
IIT Jodhpur(印度理工学院焦特布尔分校);Flipkart Internet Pvt Ltd(Flipkart互联网私人有限公司);IIT Delhi(印度理工学院德里分校)
生成对抗网络(GANs)在从自然数据流形(如图像)生成数据方面取得了显着的成功。在一些场景中,生成的数据最好是很好的聚类,特别是当存在严重的类不平衡时。本文重点研究了GANs生成空间中的聚类问题,并揭示了其与潜在空间特征的关系。我们从第一原理,必要和充分条件需要实现忠实的聚类在GAN框架:(i)存在一个多模态的潜在空间与可调先验,(ii)存在一个潜在的空间反转机制和(iii)强加所需的集群先验的潜在空间。我们还确定了部分满足这些条件的文献中的GAN模型,并通过对多个真实世界图像数据集的烧蚀研究证明了所需所有组件的重要性。此外,我们描述了一个程序来构建一个多模态的潜在空间,便于学习集群先验稀疏监督。
2020-05-05 cs.LG stat.ML
Dimension-reduced KRnet maps for high-dimensional Bayesian inverse problems
ShanghaiTech University(上海科技大学);Changsha Institute for Computing and Digital Economy, Peking University(北京大学长沙计算与数字经济研究院);Louisiana State University(路易斯安那州立大学)
我们提出了一个降维KRnet地图的方法(DR-KRnet)高维贝叶斯逆问题,这是基于一个明确的建设的地图,推动前的措施,在潜在空间的后验措施。我们的方法包括两个主要部分:数据驱动的VAE先验和潜变量后验的密度近似。实际上,初始化一个与可用先验数据一致的先验分布可能并不简单;换句话说,复杂的先验信息通常超出简单的手工先验。我们采用变分自动编码器(VAE)来近似先验数据集的底层分布,这是通过一个潜在变量和一个解码器来实现的。使用VAE先验提供的解码器,我们在低维潜在空间中重新表达问题。特别地,我们寻求由KRnet给出的可逆运输映射来近似潜变量的后验分布。此外,一个有效的物理约束的代理模型没有任何标记的数据被构造,以减少计算成本的解决前向和伴随问题的似然计算。通过数值实验,我们证明了DR-KRnet的精度和效率的高维贝叶斯反问题。
2023-03-08 cs.LG stat.ML
Recovering Latent Signals from a Mixture of Measurements using a Gaussian Process Prior
Center for Mathematical Modeling (CMM), Universidad de Chile(智利大学数学建模中心);Universidad de Chile(智利大学);Advanced Mining Technology Center, Universidad de Chile(智利大学先进采矿技术中心)
在传感应用中,传感器不能总是以所需的分辨率测量感兴趣的潜在量,有时由于传感器的传递函数,它们只能获得模糊的版本。为了恢复潜在的信号时,只有嘈杂的混合测量的信号是可用的,我们提出了高斯过程混合测量(GPMM),该模型的潜在信号作为一个高斯过程(GP),并允许我们执行贝叶斯推断这样的信号条件的一组嘈杂的混合测量。我们描述了如何训练GPMM,也就是说,找到超参数的GP和混合权重,以及如何执行推断的潜在信号下GPMM;此外,我们确定的解决方案欠定线性系统作为一个特殊的情况下,从传感应用程序的GPMM。该模型在三个信号的恢复:一个平滑的合成信号,一个真实世界的心率时间序列和一个阶跃函数,其中GPMM优于标准GP的估计误差,不确定性表示和恢复的潜在信号的频谱内容。
2017-07-19 cs.LG stat.ML
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
变分自编码器(VAE)是一类强大的深度生成潜变量模型,用于高维数据的无监督表示学习。为了确保计算的易处理性,VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关,原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架,张量变量高斯过程先验变分自编码器(tvGP-VAE),它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子,我们表明,选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院)
研究了在发电机模型的隐空间中学习基于能量的模型(EBM)的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗(MCMC)。相反,我们建议使用噪声对比估计(NCE)通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而,NCE通常不能准确地估计这样的密度比,给定两个密度之间的大差距。为了有效地解决这个问题,并学习更具表现力的先验模型,我们开发了自适应多阶段密度比估计,将估计分解为多个阶段,并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习,使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息,并且可以有效地训练。我们的实验表明,强大的性能,在图像生成和重建,以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单元);Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park(马里兰大学帕克分校数学系与科学计算与数学建模中心)
虽然变分自编码器在若干任务中已经成功,但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器,其中一个额外的先验编码器网络学习数据流形的嵌入,保留了数据的拓扑和几何属性,从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的,测地线生成的样本位于数据流形上,因此与欧几里得插值相比更真实。为此,我们引入了一个基于图形的算法,探索数据流形和插值沿网络测地线在潜在的空间,最大限度地提高密度的样本沿路径,同时最大限度地减少总能量。我们使用的3D螺旋数据显示,与传统的自动编码器不同,先验编码的几何基础的数据,并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集,以展示学习数据表示在离群值生成,潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
Hong Kong Polytechnic University(香港理工大学)
本文提出PDGMM-VAE,通过为每个潜在维度分配独立的高斯混合模型先验,实现非线性ICA中的源分离。模型通过自适应学习先验参数,提升对非高斯源统计的捕捉能力,实验表明其在非线性和线性混合问题中表现优异。
2026-03-20 cs.LG stat.ML
Learning Latent Space Hierarchical EBM Diffusion Models
Stevens Institute of Technology(史蒂文斯理工学院)
针对多层生成模型中的先验空洞问题,本文提出利用扩散概率方案辅助EBM先验学习,实验证明其性能优越。
2024-05-27 cs.CV cs.LG stat.ML
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology(视觉计算研究所,格拉茨技术大学)
本文提出高斯潜在机,通过统一和泛化现有采样算法,实现高效逆问题采样,适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
LIMP: Learning Latent Shape Representations with Metric Preservation Priors
Sapienza University of Rome(罗马第一大学);University of Lugano(卢加诺大学);Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们主张通过度量保存作为一个强大的先验学习潜在的变形三维形状的表示。我们的建设的关键是引入一个几何失真的标准,直接定义的解码形状,翻译保存的度量解码的线性路径的形成在底层的潜在空间。我们的基本原理在于观察到,单独的训练样本通常不足以赋予生成模型高保真度,从而激发了对大型训练数据集的需求。相比之下,度量保留提供了一种严格的方法来控制潜在空间的构造中产生的几何失真的量,从而导致更高质量的合成样本。我们进一步证明,第一次,通过可微的内在距离的测地线损失的反向传播。我们的几何先验在缺乏训练数据的情况下特别相关,在这种情况下,学习任何有意义的潜在结构都特别具有挑战性。我们的生成模型的有效性和潜力展示在风格转移,内容生成和形状完成的应用程序。
2020-09-02 cs.CG cs.GR cs.LG
To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs
IIT Delhi(印度理工学院德里分校);TIFR Mumbai(塔塔基础研究院孟买分院)
正则化自动编码器(Regularized Auto-Encoders,RAE)是一类丰富的神经生成模型。它们使用编码器-解码器组合有效地对数据和潜在空间之间的联合分布进行建模,并根据潜在空间的先验进行正则化。尽管它们具有诸如训练稳定性等优点,但基于AE的模型的性能尚未达到诸如生成对抗网络(GANs)等其他生成模型的性能的优越标准。基于此,本文研究了潜在先验对确定性声发射模型生成质量的影响。具体而言,我们认为类的RAE确定性编码器-解码器对,Wasserstein自动编码器(WAE),并表明,有一个固定的先验分布,\textit{a priori},无视的“真正的”潜在空间的维数,将导致考虑的优化问题的不可行性。此外,我们表明,在有限的数据制度,尽管知道正确的潜在维度,存在一个偏差方差权衡与任何任意的先验强加。作为对上述两个问题的补救措施,我们在WAE的优化目标中以灵活学习的潜在先验的形式引入了额外的状态空间。我们隐式地学习潜在先验的分布与AE训练,这不仅使学习目标可行,而且便于在偏差-方差曲线的不同点上进行操作。我们通过在多个数据集上的几个实验展示了我们的模型(称为FlexAE)的有效性,并证明了它是基于AE的生成模型的最新技术水平。
2020-09-19 cs.CV cs.LG stat.ML
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology(韩国科学技术院)
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器(Variational Autoencoder,VAE)是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标,可以很容易地优化。然而,这个目标并没有提供一个明确的措施,潜在的变量表示的质量,这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比,它提供了一个明确的目标,最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在变量,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明,所提出的方法加强了潜在代码和观察之间的关系,并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London(帝国理工学院)
我们专注于生成式自动编码器,例如变分或对抗式自动编码器,它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布,它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗(MCMC)采样过程,相当于迭代解码和编码,这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射,因此我们可以使用MCMC来提高从生成模型提取的样本的质量,特别是当学习的潜在分布远离先验时。使用MCMC采样,我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
A Gradient Flow Approach to Solving Inverse Problems with Latent Diffusion Models
提出免训练的扩散正则化Wasserstein梯度流方法,利用预训练潜变量扩散模型作为先验,通过梯度流求解不适定逆问题,并在标准基准上验证了性能。
2026-09-17 cs.LG stat.CO stat.ML
Optimal transport maps for distribution preserving operations on latent spaces of Generative Models
ETH Zurich(苏黎世联邦理工学院);Merantix GmbH(梅兰蒂克斯有限责任公司);KU Leuven(鲁汶大学)
诸如变分自动编码器(VAE)和生成对抗网络(GANs)之类的生成模型通常针对潜在空间中的固定先验分布(诸如均匀或高斯分布)进行训练。在获得训练模型之后,可以以各种形式对生成器进行采样以进行探索和理解,例如在两个样本之间进行插值,在样本附近进行采样或探索应用于第三个样本的一对样本之间的差异。在本文中,我们表明,到目前为止,文献中使用的潜在空间操作会导致结果输出和模型训练的先验分布之间的分布不匹配。为了解决这个问题,我们建议使用分布匹配传输映射来确保这种潜在空间操作保持先验分布,同时最小限度地修改原始操作。我们的实验结果验证了所提出的操作提供更高质量的样本相比,原来的操作。
2018-01-24 cs.CV cs.LG stat.ML
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction
Insight Research Centre, National University of Ireland, Galway(爱尔兰国立高威大学Insight研究中心);Aylien Ltd.(Aylien有限公司);The Computer Laboratory, University of Cambridge(剑桥大学计算机实验室);Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
提出结合二分匹配词典先验与基于表示方法的新型判别式隐变量模型,推导高效Viterbi EM算法,经6种语言对实验验证其先验可提升双语词典质量,且可将过往相关研究归为同类结构的隐变量模型。
2026-08-26 cs.CL cs.LG stat.ML
Ordinal-Content VAE: Isolating Ordinal-Valued Content Factors in Deep Latent Variable Models
Samsung AI Center Cambridge(三星人工智能中心剑桥);Rutgers University(罗格斯大学)
在深度表征学习中,通常希望将特定因素(称为{ \em content})与其他因素(称为{ \em style})隔离。内容的构成通常由用户通过数据中的显式标签指定,而所有未标记/未知的因素都被视为风格。最近,已经表明可以通过修改深度潜在因素模型(例如,VAE),使风格和内容在潜在的表征中很好地分离。然而,该方法假设内容因子是分类值的(例如,面部图像数据中的受试者ID,或MNIST数据集中的数字类)。在某些情况下,内容是序值的,也就是说,内容因子采用的值是{ \em有序的}而不是分类的,使得内容标记的VAE,包括它们推断的潜在空间,是次优的。在本文中,我们提出了一种新的VAE扩展,它在内容潜在空间中施加了偏序集(偏序集)结构,同时使其与有序内容值对齐。为此,而不是在现有的方法中采用的iid高斯潜在先验,我们引入了一个条件高斯间距先验模型。该模型承认一个听话的联合高斯先验,但也有效地将可以忽略不计的密度值的内容潜在的配置,违反偏序集约束。为了评估这个模型,我们考虑两个特定的顺序结构的问题:估计一个主题的年龄在一张脸的图像和阐明的热量在一个食物餐图像。我们展示了显着的改进,在内容风格的分离比以前的非有序方法。
2020-09-07 cs.AI cs.LG stat.ML
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST(韩国科学技术院)
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标,可以很容易地优化。然而,它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标,最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在的代码,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
Inference with correlated priors using sisters cells
本研究受嗅球架构启发,提出利用姊妹细胞实现无需潜在原因单元直接交互的相关先验推理方法,验证了其噪声环境推理有效性,可推广至多类感觉系统。
2025-05-20 q-bio.NC stat.ML
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain(谷歌大脑)
最近的神经文本转语音(TTS)模型与细粒度的潜在功能,使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器(VAE)结构,提取每个输入令牌处的潜在特征(例如,音素)。然而,使用标准VAE先验生成样本通常会导致不自然和不连续的语音,令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验,可以生成更自然的声音样本。这是通过使用矢量量化(VQ)对潜在特征进行离散化,并针对结果单独训练自回归(AR)先验模型来实现的。我们评估的方法,使用听力测试,客观指标的自动语音识别(ASR)的性能,和韵律属性的测量。实验结果表明,该模型显著提高了随机样本生成的自然度。此外,初步的实验表明,从所提出的模型中随机采样可以作为数据增强,以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
Aggregated Posterior Predictive Checks for Generative Modeling
Rutgers University(罗格斯大学)
针对潜变量生成模型中先验与聚合后验不匹配的问题,提出聚合后验预测检验(APPC)方法,理论上证明其渐近校准性,实验表明聚合后验采样能改善生成质量。
2026-09-21 cs.LG math.ST stat.ME
Compound Poisson Processes, Latent Shrinkage Priors and Bayesian Nonconvex Penalization
本文讨论了稀疏学习问题的贝叶斯非凸惩罚问题。我们探索了一个非参数的潜在收缩参数使用从属,这是一维的Lévy过程。我们特别研究了一族连续复合Poisson从属算子和一族离散复合Poisson从属算子。我们提出了四个具体的从属:伽玛,泊松,负二项和平方贝塞尔从属。从属子的Laplace指数是Bernstein函数,因此它们可以用作稀疏诱导非凸罚函数。我们利用这些从属回归问题,产生一个层次模型与多个正则化参数。我们设计了ECME(Expectation/Conditional Maximization Either)算法来同时估计回归系数和正则化参数。模拟数据的实证评价表明,该方法在高维数据分析中是可行和有效的。
2015-05-15 stat.ME stat.ML