Stein Latent Optimization for Generative Adversarial Networks
Seoul National University(首尔大学)
具有聚类潜在空间的生成对抗网络(GANs)可以以完全无监督的方式执行条件生成。在现实世界中,未标记数据的显著属性可能是不平衡的。然而,大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性,因为它们假设属性的均匀分布。为了解决这个问题,我们从理论上推导出Stein潜在优化,该优化提供了潜在分布参数的可重新参数化的梯度估计,假设在连续潜在空间中存在高斯混合。在结构上,我们引入了一个编码器网络和新的无监督条件对比损失,以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认,所提出的方法,命名为斯坦潜在优化GANs(SLOGAN),成功地学习平衡或不平衡的属性,并实现了最先进的无监督条件生成性能,即使在没有属性信息的情况下(例如,不平衡度)。此外,我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Increasing the Generalisation Capacity of Conditional VAEs
Volkswagen Group(大众汽车集团)
我们解决了监督学习中的一对多映射问题,其中单个实例具有可能相等成本的许多不同解决方案。条件变分自编码器的框架描述了一类通过潜变量来处理这种结构化预测任务的方法。我们建议激励信息的潜在表示,以增加条件变分自编码器的泛化能力。为此,我们修改的潜在变量模型定义的可能性作为一个函数的潜在变量,并引入一个富有表现力的多模态之前,使模型捕捉语义有意义的功能的数据。为了验证我们的方法,我们训练我们的模型上的康奈尔机器人抓取数据集,并修改版本的MNIST和时尚MNIST获得的结果,显示出显着更高的泛化能力。
2019-09-10 cs.LG stat.ML
Sparse Ising Models with Covariates
University of Michigan(密歇根大学);Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心)
为了理解变量之间的条件依赖关系,已经有大量的工作将伊辛模型拟合到多变量二进制数据。然而,额外的协变量经常与二进制数据一起记录,并且可能影响依赖关系。出于这样一个数据集的基因组不稳定性收集的几种类型的肿瘤样本,我们提出了一个稀疏的协变量依赖伊辛模型研究的条件依赖性的二进制数据及其与其他协变量的关系。这导致了特定于受试者的伊辛模型,其中受试者的协变量影响基因之间的关联强度。在所有探索性数据分析中,结果的可解释性很重要,我们使用L1罚分来诱导拟合图和选定协变量数量的稀疏性。提出了两种模型拟合算法,并在一组模拟数据上进行了比较,建立了渐近结果。肿瘤数据集上的结果及其生物学意义进行了详细讨论。
2012-09-27 cs.LG stat.ML
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University(卡内基梅隆大学)
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而,一旦创建了条件生成模型,允许它适应新的条件控制通常是昂贵的,特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器(VAE)。有了这个框架,我们可以允许无条件训练的VAE在它的域中生成图像,条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
A non-parametric conditional factor regression model for high-dimensional input and response
University of Technology, Sydney(悉尼科技大学)
在本文中,我们提出了一个非参数条件因子回归(NCFR)模型的输入和响应的高维域。NCFR以两种方式增强了线性回归:a)引入低维潜在因子,导致降维; b)将印度巴菲特过程(Indian Buffet Process)集成为潜在因子的先验,以导出无限稀疏维度。实验结果比较NCRF的几个替代品提供证据显着的预测性能。
2013-07-02 cs.LG stat.ML
Exact Decoding on Latent Variable Conditional Models is NP-Hard
Peking University(北京大学)
隐变量条件模型,包括作为特殊情况的隐条件随机场,是许多自然语言处理和视觉处理任务的流行模型。潜条件随机场中精确解码/推断的计算复杂性尚不清楚。本文试图阐明精确译码的计算复杂性。我们分析的复杂性,并证明,这是一个NP-难的问题,即使在顺序标记设置。此外,我们提出了潜在的动态推理(LDI-Naive)方法及其有界版本(LDI-Bounded),这是能够执行精确推理或几乎精确推理,通过使用顶部$n$搜索和动态规划。
2014-06-18 cs.AI cs.CC cs.LG
Probabilistic QoS Metric Forecasting in Delay-Tolerant Networks Using Conditional Diffusion Models on Latent Dynamics
School of Computer Science Nanjing University of Posts(南京邮电大学计算机科学学院)
本文提出利用条件扩散模型结合潜在时间动态,对延迟容忍网络中的QoS指标进行概率预测,以量化不确定性并优于传统方法。
2025-10-15 cs.LG stat.ML
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University(哈佛大学)
最近有很多令人兴奋的工作,将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束,而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架,但存在困难:条件似然的深层参数化通常使后验推理变得棘手,而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Efficient Structured Prediction with Latent Variables for General Graphical Models
ETH Zurich(苏黎世联邦理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
在本文中,我们提出了一个统一的框架,结构化预测与潜在的变量,其中包括隐条件随机场和潜在的结构支持向量机作为特殊情况。我们描述了一个局部熵近似这个一般配方使用对偶,并推导出一个有效的消息传递算法,保证收敛。我们证明了它的有效性的任务,图像分割,以及3D室内场景理解从单一的图像,表明我们的方法是优于潜在的结构化支持向量机和隐藏的条件随机场。
2012-06-27 cs.LG stat.ML
Learning Exponential Family Graphical Models with Latent Variables using Regularized Conditional Likelihood
ETH Zürich(苏黎世联邦理工学院);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);Caltech(加州理工学院)
如果观测变量受潜在变量的影响,那么将图形模型拟合到给定样本观测的随机变量的集合是一项具有挑战性的任务,潜在变量可能会在观测变量之间引起显著的混淆统计依赖性。提出了一种新的基于正则化条件似然的凸松弛隐变量图模型框架,其中隐变量上观测变量的条件分布由指数族图模型给出.与以前提出的通过表征观测变量的边缘分布进行的易处理的方法相比,我们的方法适用于更广泛的设置,因为它不需要关于潜变量的特定形式的分布的知识,并且可以专门用于产生易处理的方法来解决观测数据没有很好地建模为高斯的问题。我们证明了我们的框架的实用性和灵活性,通过一系列的数值实验合成以及真实的数据。
2020-10-19 cs.LG math.OC stat.ME
Computationally Efficient PAC RL in POMDPs with Latent Determinism and Conditional Embeddings
Cornell University(康奈尔大学);Princeton University(普林斯顿大学)
研究了大规模部分可观测马尔可夫决策过程(POMDPs)的函数逼近强化学习,其中状态空间和观测空间都很大甚至是连续的。特别地,我们考虑POMDP的Hilbert空间嵌入,其中潜在状态的特征和观测的特征允许观测发射过程的条件Hilbert空间嵌入,并且潜在状态转移是确定性的。在最优潜在状态-动作$Q$ -函数在状态特征上是线性的,并且最优$Q$ -函数在动作上有间隙的函数近似设置下,我们提供了一个寻找\emph{exact optimal}策略的\emph{computationally and statistically efficient}算法.我们展示了我们的算法的计算和统计复杂性尺度多项式的地平线和内在维度的观察空间上的功能。此外,我们证明了确定性的潜在转移和间隙假设是必要的,以避免统计复杂性指数的水平或维度。由于我们的保证没有明确的依赖于状态和观测空间的大小,我们的算法可证明规模大规模POMDPs。
2022-06-24 cs.LG stat.ME stat.ML
Multivariate Latent Recalibration for Conditional Normalizing Flows
Department of Computer Science, University of Mons(蒙斯大学计算机科学系)
针对多变量条件分布校准问题,提出潜在重校准方法,在条件归一化流潜在空间中学习变换,生成带显式密度且高效的重校准分布,实验证明其提升校准误差与负对数似然。
2025-10-24 cs.LG
Learning Conditional Invariance through Cycle Consistency
University of Basel(巴塞尔大学);Harvard University(哈佛大学)
识别数据集中有意义且独立的变异因素是一项具有挑战性的学习任务,通常通过深度潜在变量模型来解决。这个任务可以被看作是学习对称变换,保持沿着潜在维度的所选属性的值。然而,现有的方法表现出严重的缺点,在执行的不变性属性的潜在空间。我们用一种新的方法来解决这些缺点周期的一致性。我们的方法涉及两个单独的潜在子空间的目标属性和剩余的输入信息,分别。为了加强不变性以及稀疏性的潜在空间,我们将语义知识,使用循环一致性约束依赖于属性侧信息。所提出的方法是基于深的信息瓶颈,与其他方法相比,允许使用连续的目标属性,并提供固有的模型选择能力。我们证明了合成和分子数据,我们的方法确定更有意义的因素,导致稀疏和更可解释的模型与改进的不变性。
2021-11-25 cs.LG stat.ML
Generative Latent Implicit Conditional Optimization when Learning from Small Sample
The Hebrew University(希伯来大学)
我们重新审视了长期存在的小样本学习问题,为此,我们提出了一种新的方法,称为GLICO(生成潜在隐式条件优化)。GLICO学习从训练样本到潜在空间的映射以及从潜在空间中的向量生成图像的生成器。与大多数依赖于访问大量未标记数据的最新作品不同,GLICO不需要访问除少量标记点之外的任何其他数据。事实上,GLICO学会了为每个类合成全新的样本,每个类使用5到10个样本,其中只有10个这样的类,而没有任何先验知识。然后,GLICO用于增强小训练集,同时在小样本上训练分类器。为此,我们提出的方法使用球面插值对学习的潜在空间进行采样,并使用训练的生成器生成新的示例。实验结果表明,新的采样集是足够多样的,导致改善图像分类与现有技术相比,当训练的小样本从CIFAR-10,CIFAR-100,和CUB-200。
2020-12-15 cs.CV cs.LG stat.ML
MUNITE: Unified Multimodal Latent Inference for Any-to-Any Multimodal Generation
KAIST(韩国科学技术院)
MUNITE提出统一潜在推理框架,将编码与生成视为同一推理问题,通过自蒸馏条件流匹配实现任意到任意多模态生成,在多个基准上取得更优质量与一致性。
2026-10-08 cs.LG
Latent Diffusion Model for Conditional Reservoir Facies Generation
Norwegian University of Science and Technology(挪威科技大学);BI Norwegian Business School(BI挪威商学院);Norwegian Computing Center(挪威计算中心)
提出一种用于条件储层相生成的潜在扩散模型,优于GAN方法,能生成高保真且严格保留条件数据的相实现。
2024-11-07 cs.LG physics.geo-ph stat.ML
On Statistical Rates of Conditional Diffusion Transformers: Approximation, Estimation and Minimax Optimality
Northwestern University(西北大学);National Taiwan University(台湾大学);National Center for Theoretical Sciences(国家理论科学中心)
该研究分析了带无分类器引导的条件扩散Transformer(DiTs)的逼近与估计速率,证明其在特定设置下的极小极大最优性,为DiT模型开发提供统计理论指导。
2024-11-26 cs.AI cs.CV cs.LG
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California(南加州大学);Stanford University(斯坦福大学)
在这项工作中,我们训练条件Wasserstein生成对抗网络,以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建,使用条件实例规范化注入潜在信息。前者便于多尺度逆映射,而后者使潜在空间维度与测量维度解耦,并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题,以证明我们的方法在量化推断领域的不确定性的性能。此外,我们还证明了生成器可以学习本质上是局部的逆映射,这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
Bayesian Inverse Problems with Conditional Sinkhorn Generative Adversarial Networks in Least Volume Latent Spaces
University of Maryland(马里兰大学);General Electric Vernova Advanced Research(通用电气维诺瓦先进研究院)
本文提出一种基于最小体积降维的潜条件Sinkhorn生成对抗网络框架,用于高效训练并解决高维非线性贝叶斯逆问题,在ODE参数反演和地下水流高维水力传导率反演中验证了其有效性。
2024-05-22 cs.LG
Decafs: Disentangled Conditional adversarial Flows
Aalto University(阿尔托大学);Orion Pharma(奥立安制药公司);ARF(未提及具体中文译名,保留英文缩写);University of Manchester(曼彻斯特大学);Yai Yai Ltd(未提及具体中文译名,保留英文缩写)
研究针对基于流的模型潜在嵌入难解释及生成因素纠缠问题,提出基于李群的新型条件生成器,通过对抗损失使替代潜在空间与潜在流空间对齐,实现可解释条件生成,在图像和分子生成任务中性能强大。
2026-07-22 cs.LG
Discriminative conditional restricted Boltzmann machine for discrete choice and latent variable modelling
Ryerson University(瑞尔森大学);Polytechnique Montréal(蒙特利尔高等理工学院)
估计潜在行为的传统方法通常使用主观的态度问题,并且这些调查问题可能并不总是可用的。我们假设,另一种方法可以用于潜变量估计通过无向图形模型。例如,非参数人工神经网络。在这项研究中,我们探索使用生成非参数建模方法来估计潜变量的先验选择分布,而无需传统的使用测量指标。一个受限制的玻尔兹曼机被用来表示潜在的行为因素,通过分析观察到的选择和解释变量之间的关系信息。该算法适用于离散选择场景中的潜在行为分析,我们使用一种图形化的方法来评估和理解估计参数向量值的语义含义。我们说明了我们的方法在金融工具选择数据集上,并对参数的敏感性和稳定性进行统计分析。我们的研究结果表明,通过非参数统计检验,我们可以提取有用的潜在信息的行为的潜在结构,通过机器学习方法,并提出强大的和显着的影响选择过程。此外,我们的建模框架通过采样和验证显示了输入可变性的鲁棒性。
2017-06-01 cs.LG
LatentHDR: Decoupling Exposure from Diffusion via Conditional Latent-to-Latent Mapping for Text/Image-to-Panoramic HDR
Monks AI Research Lab(Monks AI研究院)
本文提出LatentHDR框架,通过在潜在空间中解耦场景生成与曝光建模,实现高效且结构一致的HDR生成,实验表明其在动态范围和感知质量上优于现有方法,并显著降低计算成本。
2026-05-11 cs.CV cs.GR cs.LG
Latent-Constrained Conditional VAEs for Augmenting Large-Scale Climate Ensembles
Hong Kong Polytechnic University(香港理工大学);Georgia Institute of Technology(佐治亚理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);TomTom North America Inc.(TomTom北美公司)
本文提出潜在约束的条件变分自编码器,通过增强气候集合的潜在空间一致性来生成额外的气候变量实现。
2026-01-01 cs.LG
Conditional Generative Modeling via Learning the Latent Space
Australian National University(澳大利亚国立大学);CSIRO, Data61(澳大利亚联邦科学与工业研究组织数据61中心);University of Moratuwa(莫拉图瓦大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
虽然深度学习在几个机器学习任务上取得了令人瞩目的结果,但大多数模型在推理时都是确定性的,这将它们的应用限制在单模态设置上。我们提出了一种新的通用框架,在多模态空间中的条件生成,使用潜变量来建模可推广的学习模式,同时最小化一个家庭的回归成本函数。在推理时,优化潜变量以找到对应于多个输出模式的最优解。与现有的生成解决方案相比,在多模态空间中,我们的方法表现出更快和稳定的收敛性,并且可以为下游任务学习更好的表示。重要的是,它提供了一个简单的通用模型,可以击败使用领域专业知识在各种任务上定制的高度工程化的管道,同时生成不同的输出。我们的密码会被公开。
2020-10-09 cs.CV cs.LG
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling
School of Electrical and Electronic Engineering(电气与电子工程学院);Nanyang Technological University(南洋理工大学)
条件随机场(CRF)经常用于标记和分割序列数据。Mohammed等人(2007)在标记的CRF结构中引入了隐藏的状态变量,以便对类别标签中的潜在动态进行建模,从而提高标记性能。这种模型被称为潜在动态CRF(LDCRF)。我们提出了因子LDCRF(FLDCRF),一种结构,允许多个潜在的动态类标签相互作用。包括这样的潜在的动态相互作用导致单标签和多标签序列建模任务的标签性能的改善。我们将我们的FLDCRF模型应用于两个不同数据集的两个单标签(一个嵌套交叉验证)和一个多标签序列标记(嵌套交叉验证)实验- UCI手势相位数据和UCI机会数据。FLDCRF优于所有最先进的序列模型,即,CRF,LDCRF,LSTM,LSTM-CRF,析因CRF,耦合CRF和多标签LSTM模型。此外,基于LSTM的模型在验证数据和测试数据之间表现出不一致的性能,并且在我们的实验期间很难根据验证数据选择模型。FLDCRF提供了更简单的模型选择,验证和测试性能的一致性以及清晰的模型直觉。与LSTM相比,FLDCRF的训练速度也快得多,即使没有GPU。FLDCRF在UCI手势相位数据的单标签任务中比最佳LSTM模型突出约4%,在UCI机会数据的多标签序列标记实验中,在嵌套交叉验证测试集上平均比LSTM性能高约2%。FLDCRF的思想可以扩展到联合(多智能体交互)和异构(离散和连续)状态空间模型。
2019-11-12 cs.LG eess.SP stat.ML
CLDRoute: Conditional Latent Diffusion for Routability Map Generation in Physical Design
University of Connecticut(康涅狄格大学);Tufts University(塔夫茨大学);University of Minnesota Twin Cities(明尼苏达大学双城分校)
研究针对物理设计中可布线性估计问题,提出CLDRoute框架,将其作为条件生成问题,用物理感知条件和特定任务潜变量建模,支持样本推理,在CircuitNet 2.0上取得较好实验结果,能生成预期结果及其不确定性。
2026-07-21 cs.LG
A conditional latent autoregressive recurrent model for generation and forecasting of beam dynamics in particle accelerators
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of California, San Diego(加利福尼亚大学圣迭戈分校)
提出无监督深度学习框架CLARM,结合CVAE与LSTM学习加速器中带电粒子时空动力学,实现多模块束流相空间投影生成与未来状态预测。
2024-03-19 cs.CV cs.LG physics.acc-ph
Adaptive conditional latent diffusion maps beam loss to 2D phase space projections
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出用自适应条件潜扩散模型将加速器束流损失监测波形映射为6D相空间的2D投影,实现非侵入式束流诊断,并在LANSCE加速器模拟中验证。
2025-02-25 cs.LG physics.acc-ph
CTTVAE: Latent Space Structuring for Conditional Tabular Data Generation on Imbalanced Datasets
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究院)
CTTVAE通过潜在空间结构和目标采样策略,提升不平衡数据集下条件表格数据生成的下游实用性。
2026-02-03 cs.LG
Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models
Department of Statistics, University of California, Davis(加州大学戴维斯分校统计学系);Amazon Web Services(亚马逊网络服务)
本文提出基于Ising模型的依赖感知标签聚合方法,以解决LLM作为判断者时标注者间依赖性问题,通过改进的模型结构和实验验证提升了性能。
2026-01-29 cs.LG stat.ME stat.ML
Information Compensation for Deep Conditional Generative Networks
近年来,无监督/弱监督条件生成对抗网络(GANs)在建模和生成数据方面取得了许多成功。然而,它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题,我们提出了一种新的无监督条件GANs结构,该结构由一种新的信息补偿连接(IC-连接)驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外,为了量化离散和连续潜变量的解纠缠程度,我们设计了一个新的评估程序。我们的实证结果表明,与有条件生成设置中的最先进的GANs相比,我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Latent Class-Conditional Noise Model
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Hong Kong Baptist University(香港浸会大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
在大数据时代,使用嘈杂的标签进行学习已经变得势在必行,这节省了精确注释的昂贵人力。先前的基于噪声转换的方法已经在类别条件噪声模型(CCN)下实现了理论上的性能。然而,这些方法建立在理想但不切实际的锚点集之上,可用于预先估计噪声过渡。即使后续的工作适应的估计作为一个神经层,其参数在反向传播的不适定的随机学习很容易落入不希望的局部最小值。我们通过引入潜在类条件噪声模型(LCCN)在贝叶斯框架下参数化噪声转换来解决这个问题。通过将噪声过渡投影到Dirichlet空间中,学习被约束在由完整数据集表征的单纯形上,而不是由神经层包裹的一些ad-hoc参数空间。然后,我们推导出一个动态标签回归方法LCCN,其吉布斯采样器允许我们有效地推断潜在的真实标签训练分类器和建模的噪声。我们的方法保障了噪声过渡的稳定更新,避免了先前从小批量样本中任意调整。我们进一步将LCCN推广到与开集噪声标签,半监督学习以及跨模型训练兼容的不同同行。一系列实验证明了LCCN及其变体优于当前最先进方法的优点。
2023-02-19 cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Anomaly detection in time-series via inductive biases in the latent space of conditional normalizing flows
Department of Computer Science Norwegian University of Science and Technology(挪威科学技术大学计算机科学系);BCAM – Basque Center for Applied Mathematics University of Coimbra, CISUC/LASI, DEI(巴斯克应用数学中心,科英布拉大学,CISUC/LASI,DEI);IKERBASQUE — Basque Foundation for Science(巴斯克科学基金会)
本文通过在条件归一化流中引入显式归纳偏差,将异常检测从观测空间转移到潜在空间,以更准确地捕捉时间序列的结构动态,从而提高异常检测的鲁棒性和可解释性。
2026-07-09 cs.AI cs.LG
Embedded-State Latent Conditional Random Fields for Sequence Labeling
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
复杂的文本信息抽取任务通常被称为序列标记或\emph{shallow parsing},其中字段是使用局部标签提取的,这些标签通过在具有约束转换的图形模型中进行概率推理而变得一致。最近,使用递归神经网络(如LSTM)提取的丰富特征对这些模型进行局部参数化已经变得很常见,同时通过简单的线性链模型强制执行一致的输出,表示连续标签之间的马尔可夫依赖关系。然而,简单的图形模型结构掩盖了输出标签之间通常复杂的非局部约束。例如,许多字段(如名字)只能出现固定的次数,或者在存在其他字段的情况下出现。虽然RNN为序列标记提供了越来越强大的上下文感知局部特征,但它们尚未与输出分布中具有类似表达力的全局图形模型集成。我们的模型超越了线性链CRF,每个输出标签包含多个隐藏状态,但是用低秩对数势评分矩阵参数化它们的转换,有效地学习隐藏状态的嵌入空间。推理变量的这种增强的潜在空间补充了RNN的丰富特征表示,并允许精确的全局推理服从复杂的,学习的非局部输出约束。我们对几个数据集进行了实验,结果表明,当在推理时需要全局输出约束时,该模型的性能优于基线CRF+RNN模型,并探索了可解释的潜在结构。
2018-09-28 cs.CL cs.LG stat.ML
Selecting Optimal Variable Order in Autoregressive Ising Models
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论 division)
本文提出通过学习图结构来优化自回归伊辛模型中的变量顺序,以提高生成样本的保真度。
2026-03-02 cond-mat.stat-mech cs.LG stat.ML
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University(浙江大学);Kwai Inc.(快手公司)
多模态图像到图像翻译(I2 IT)旨在学习一种条件分布,该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络(cGAN)来对这种条件分布进行建模。然而,cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布,这也被称为GANs的模式坍塌问题。为了解决这个问题,我们提出了一种简单而有效的方法,该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性,这防止了生成器忽略潜在代码,并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角,而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Conditional Diffusion as Latent Constraints for Controllable Symbolic Music Generation
本文提出将条件扩散模型作为即插即用的潜在约束,用于无条件符号音乐生成,首次在音符密度、音高范围、轮廓和节奏复杂度等多种属性上验证其通用性,并证明其优于传统属性正则化方法,在保持生成质量与多样性的同时实现更强的属性控制相关性。
2025-11-10 cs.AI cs.LG eess.AS
Improved Anomaly Detection through Conditional Latent Space VAE Ensembles
Lund University(隆德大学)
提出条件潜在空间变分自编码器(CL-VAE),通过为每个类别拟合独特先验分布并集成潜在空间,显著提升了异常检测准确率,在 MNIST 上 AUC 达 97.4%。
2024-10-16 cs.CV cs.LG math.PR
Conditional Latent Space Molecular Scaffold Optimization for Accelerated Molecular Design
Nagoya University(名古屋大学);RIKEN(日本理化学研究所)
提出CLaSMO,结合条件变分自编码器与潜空间贝叶斯优化,在保持分子相似性约束下高效优化分子属性,实现样本高效且具有实际应用可行性的分子设计。
2025-09-26 cs.AI cs.LG q-bio.BM
Enhancing Conditional Image Generation with Explainable Latent Space Manipulation
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
本文提出结合扩散模型、潜在空间操控与 Grad-SAM 梯度选择性注意力的方法,通过在去噪特定时间步生成掩码保留主体并融合参考图像特征,在 places365 上取得最低 FID 和高 CLIP 分数,提升了文本到图像合成的保真度与文本一致性。
2024-08-29 cs.AI cs.CV cs.LG
Seismic Acoustic Impedance Inversion Framework Based on Conditional Latent Generative Diffusion Model
GeoAI-INV
针对现有扩散模型反演方法的局限,提出基于条件潜在生成扩散模型的地震声阻抗反演框架,通过小波模块与模型驱动采样策略提升精度、减少步骤,在合成与实际数据上均表现良好。
2026-08-25 cs.AI cs.LG
DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder
Hong Kong University of Science and Technology(香港科技大学);Clova AI Research, NAVER(NAVER Clova AI研究);CIFAR Azrieli Global Scholar(CIFAR Azrieli全球学者)
变分自编码器~(VAE)在数据驱动的对话建模中显示出了希望。然而,大多数VAE会话模型将潜在变量上的近似后验分布与简单先验(诸如标准正态分布)相匹配,从而将所生成的响应限制为相对简单的(例如,单峰)范围。在本文中,我们提出了DialogWAE,一个专门为对话建模而设计的条件Wasserstein自动编码器~(WAE)。与在潜在变量上施加简单分布的VAE不同,DialogWAE通过在潜在变量空间内训练GAN来对数据的分布进行建模。具体来说,我们的模型样本从先验和后验分布的潜在变量通过转换上下文相关的随机噪声使用神经网络,并最大限度地减少两个分布之间的Wasserstein距离。我们进一步开发了高斯混合先验网络来丰富潜在空间。在两个流行数据集上的实验表明,DialogWAE在生成更连贯、信息量更大和更多样化的响应方面优于最先进的方法。
2019-02-26 cs.AI cs.CL cs.LG
Improved Conditional VRNNs for Video Prediction
Mila - Université de Montréal(Mila - 蒙特利尔大学);Facebook AI Research(Facebook人工智能研究院);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
预测视频序列的未来帧是一项具有挑战性的生成建模任务。有前途的方法包括概率潜在变量模型,如变分自动编码器。虽然VAE可以处理不确定性并对多种可能的未来结果进行建模,但它们往往会产生模糊的预测。在这项工作中,我们认为这是一个迹象不足。为了解决这个问题,我们建议增加潜在分布的表现力,并使用更高的容量似然模型。我们的方法依赖于一个层次的潜变量,它定义了一个家庭的灵活的先验和后验分布,以更好地模拟未来序列的概率。我们通过一系列的消融实验来验证我们的建议,并将我们的方法与当前最先进的潜变量模型进行比较。我们的方法在三个不同的数据集的几个指标下表现良好。
2019-04-27 cs.CV cs.LG
Conditional Random Field Autoencoders for Unsupervised Structured Prediction
Carnegie Mellon University(卡内基梅隆大学)
我们介绍了一个框架,无监督学习的结构化预测重叠,全球功能。每个输入的潜在表示是预测的可观察的数据使用一个功能丰富的条件随机场的条件。然后,重建的输入(重新)生成,条件的潜在结构,使用模型的最大似然估计具有封闭形式。我们的自动编码器公式可以实现有效的学习,而不会做出不切实际的独立性假设或限制可以使用的特征种类。我们说明了与传统自动编码器,后验正则化和多视图学习的深刻联系。我们展示了两个典型NLP任务的模型实例的竞争结果:词性归纳和双文本单词对齐,并表明训练我们的模型可以比类似的特征丰富的基线更有效。
2014-11-10 cs.CL cs.LG
Canonical Latent Representations in Conditional Diffusion Models
Image and Visual Representation Lab(图像与视觉表示实验室);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文针对条件扩散模型中类别特征与无关上下文纠缠的问题,提出 CLAReps 规范潜在表示及 CaDistill 特征蒸馏范式,使学生模型仅借助相当于训练数据 10% 的表示获得更强对抗稳健性与泛化能力。
2025-06-11 cs.CV cs.LG
DSS-GAN: Directional State Space GAN with Mamba backbone for Class-Conditional Image Synthesis
Warsaw University of Technology(华沙技术大学);National Centre for Nuclear Research(国家核物理研究所)
DSS-GAN引入了定向潜在路由机制,通过分解潜在向量并结合类别嵌入,提升图像合成的FID、KID和精度召回率。
2026-03-18 cs.CV cs.LG
Conditional Probability Models for Deep Image Compression
ETH Zürich(苏黎世联邦理工学院)
作为图像自动编码器训练的深度神经网络最近已经成为推进图像压缩最新技术的一个有前途的方向。学习这种网络的关键挑战是双重的:处理量化,以及控制潜像表示的重建误差(失真)和熵(速率)之间的权衡。在本文中,我们专注于后者的挑战,并提出了一种新的技术,以浏览率失真权衡图像压缩自动编码器。其主要思想是通过使用上下文模型直接对潜在表示的熵进行建模:3D-CNN,它学习自动编码器潜在分布的条件概率模型。在训练期间,自动编码器利用上下文模型来估计其表示的熵,并且上下文模型被同时更新以学习潜在表示中的符号之间的依赖性。我们的实验表明,当在MS-SSIM中测量时,这种方法可以产生基于简单卷积自动编码器的最先进的图像压缩系统。
2019-06-04 cs.CV cs.LG
Latent Conditional Diffusion-based Data Augmentation for Continuous-Time Dynamic Graph Model
International Digital Economy Academy(国际数字经济学院);IDEA Research(IDEA研究院);Jiangxi Normal University(江西师范大学)
针对连续时间动态图模型面临噪声和历史数据有限的问题,提出基于潜在条件扩散的数据增强方法Conda,通过生成增强的历史邻居嵌入并交替训练,在六个真实数据集上持续提升性能。
2024-07-20 cs.AI cs.LG
OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs
University of Groningen(格罗宁根大学)
文本到图像生成旨在自动生成照片般逼真的图像,以文本描述为条件。它可以潜在地应用于艺术创作,数据增强,照片编辑等领域,虽然许多努力已经致力于这项任务,它仍然是特别具有挑战性的,以产生可信的,自然的场景。为了促进文本到图像合成的实际应用,我们重点研究了以下三个问题:1)如何确保生成的样本是可信的,真实的或自然的?2)如何开发生成器的潜在空间来编辑合成图像?3)如何提高文本到图像生成框架的可解释性?在这项工作中,我们构建了两个新的数据集(即,根据严格的标准,包括成功和不成功的生成样本的好鸟和坏鸟和脸数据集)。为了通过增加生成良好潜在代码的概率来有效地获取高质量图像,我们对生成的图像使用专用的好/坏分类器。它基于预先训练的前端,并根据建议的好与坏数据集进行微调。在此之后,我们提出了一种新的算法,该算法通过对生成器的预训练权重值进行独立分量分析来识别条件文本到图像GAN架构的潜在空间中的语义可理解方向。此外,我们开发了一个背景平坦损失(BFL),以改善编辑后的图像中的背景外观。随后,我们介绍了线性插值分析之间的关键字对。这是扩展到一个类似的三角形的“语言”插值,以深入了解什么是文本到图像的合成模型中学习的语言嵌入。我们的数据集可在https://zenodo.org/record/6283798#.YhkN_ujMI2w上获得。
2022-02-25 cs.CV cs.LG
Attribute2Image: Conditional Image Generation from Visual Attributes
University of Michigan(密歇根大学);Adobe Research(Adobe研究院);NEC Labs(NEC实验室)
本文研究了一个新的问题,从视觉属性生成图像。我们将图像建模为前景和背景的组合,并开发了一个分层的生成模型,该模型具有可以使用变分自动编码器进行端到端学习的解纠缠潜变量。我们的实验与自然图像的脸和鸟类,并证明所提出的模型能够产生现实和多样化的样本与解开潜在的代表。我们使用一个通用的能量最小化算法的后验推理的潜在变量给定的新图像。因此,学习的生成模型在属性条件图像重建和完成任务中表现出出色的定量和视觉效果。
2016-10-08 cs.AI cs.CV cs.LG
A Novel Sampling Scheme for Text- and Image-Conditional Image Synthesis in Quantized Latent Spaces
Technische Hochschule Ingolstadt(英戈尔施塔特工业大学);Wand Technologies Inc(Wand技术公司)
提出一种简化的文本到图像生成方法,涵盖训练范式和采样过程,仅需少量迭代即可生成高质量图像,并训练了十亿参数模型Paella验证其有效性。
2023-05-23 cs.CV cs.LG
Soft Prompts for Evaluation: Measuring Conditional Distance of Capabilities
Ross Nordby(独立研究者)
该研究提出用软提示作为模型与目标行为间条件距离的度量方法,用于挖掘语言模型潜在能力,在多任务验证框架有效性并扩展了广义条件软提示以辅助任务评估构建。
2025-05-20 cs.AI cs.LG