Learning Conditional Variational Autoencoders with Missing Covariates
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Bayer Pharmaceuticals(拜耳制药)
条件变分自编码器(CVAE)是通用的深度生成模型,通过用辅助协变量调节生成模型来扩展标准VAE框架。原始CVAE模型假设数据样本是独立的,而最近的条件VAE模型,如高斯过程(GP)先验VAE,可以解释所有数据样本的复杂相关结构。虽然已经提出了几种方法来从部分观察的数据集学习标准VAE,但这些方法不适合条件VAE。在这项工作中,我们提出了一种方法来学习条件VAE的数据集,其中辅助协变量可以包含缺失值以及。所提出的方法增加了条件VAE与先验分布的缺失协变量和估计其后使用摊销变分推断。在训练时,我们的方法将与缺失协变量相关的不确定性边缘化,同时最大化证据下限。我们开发了计算效率高的方法来学习CVAE和GP之前的VAE,是兼容的迷你。我们在模拟数据集以及临床试验研究上的实验表明,该方法在从非时间,时间和纵向数据集学习条件VAE方面优于以前的方法。
2022-03-02 cs.LG stat.ML
Conditional Constrained Graph Variational Autoencoders for Molecule Design
University of Padua(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
近年来,图的深度生成模型已被用于生成新分子。这些模型产生了良好的效果,导致在文献中的几个建议。然而,这些模型在学习控制化学世界的一些复杂规律时可能会遇到困难。在这项工作中,我们探索使用原子价态的直方图来驱动这种模型中分子的生成。我们提出了条件约束图变分自编码器(CCGVAE),一种在最先进的模型中实现这一关键思想的模型,并在两个常用的分子生成数据集上显示了几个评估指标的改进结果。
2020-09-01 cs.AI cs.LG
Conditional Image Generation by Conditioning Variational Auto-Encoders
University of British Columbia(不列颠哥伦比亚大学);Montréal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Inverted AI
我们提出了一个条件变分自动编码器(VAE),为了避免从头开始训练的大量成本,使用能够以预训练的无条件VAE的形式利用基础模型的架构和训练目标。为了训练条件VAE,我们只需要训练一个工件,以执行摊销的推断在无条件VAE的潜变量给定的条件输入。我们在包括图像修补在内的任务上展示了我们的方法,在忠实地表示固有的不确定性方面,它优于最先进的基于GAN的方法。最后,我们描述了我们的修复模型,它是用来执行贝叶斯实验设计的目的,指导传感器的一个可能的应用。
2022-05-28 cs.AI cs.CV
Conditional Image Generation with Score-Based Diffusion Models
University of Cambridge(剑桥大学);Deep Render
基于分数的扩散模型已经成为深度生成建模的最有前途的框架之一。在这项工作中,我们进行了系统的比较和理论分析的不同方法来学习条件概率分布与基于分数的扩散模型。特别是,我们证明的结果提供了一个最成功的估计的条件得分的理论依据。此外,我们引入了一个多速度扩散框架,这导致了一个新的估计的条件得分,表现与以前的国家的最先进的方法。我们的理论和实验研究结果是伴随着一个开源库MSDiff,它允许应用程序和多速度扩散模型的进一步研究。
2021-11-26 cs.CV cs.LG stat.ML
Variational Conditional GAN for Fine-grained Controllable Image Generation
Southeast University(东南大学);University of Warwick(华威大学)
在本文中,我们提出了一种新的变分生成器框架的条件GANs捕捉语义细节,以提高生成质量和多样性。条件GANs中的传统生成器简单地将条件向量与噪声连接起来作为输入表示,其直接用于上采样操作。然而,隐藏的条件信息没有被充分利用,特别是当输入是类标签时。因此,我们引入变分推理到生成器中,仅从条件输入推断潜变量的后验,这有助于实现用于图像生成的可变增强表示。定性和定量的实验结果表明,所提出的方法优于国家的最先进的方法,并实现了逼真的可控图像。
2019-09-22 cs.CV
Conditional Sampling of Variational Autoencoders via Iterated Approximate Ancestral Sampling
University of Edinburgh(爱丁堡大学)
针对变分自编码器条件采样计算难、现有Metropolis-within-Gibbs方法易因结构化潜在空间卡住的问题,本文梳理相关缺陷,提出两种原创改进方法,经实验验证其在采样任务上性能更优。
2023-11-08 cs.LG stat.ML
Variational Flow Maps: Make Some Noise for One-Step Conditional Generation
University of Oxford(牛津大学);California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);NVIDIA(英伟达公司)
变分流映射通过学习初始噪声分布,实现单步条件生成,提升逆问题求解效率和样本保真度。
2026-03-07 cs.CV cs.LG stat.ML
CVAE-H: Conditionalizing Variational Autoencoders via Hypernetworks and Trajectory Forecasting for Autonomous Driving
University of Michigan(密歇根大学)
预测道路智能体在不同环境中的随机行为是自动驾驶的一个挑战性问题。为了更好地理解场景上下文并在不同环境中自适应地产生道路智能体的各种可能的未来状态,预测模型应该是概率的,多模态的,上下文驱动的和通用的。我们通过超网络(CVAE-H)提出了条件化变分自编码器;一种条件VAE,广泛利用超网络并为预测任务等高维问题执行生成任务。我们首先评估CVAE-H简单的生成实验表明,CVAE-H是概率,多模态,上下文驱动,和一般。然后,我们证明了所提出的模型有效地解决了自动驾驶预测问题,在各种环境中产生准确的预测道路代理。
2022-01-24 cs.AI cs.LG cs.RO
D2C: Diffusion-Denoising Models for Few-shot Conditional Generation
Stanford University(斯坦福大学)
高维图像的条件生成模型有许多应用,但是从条件到图像的监督信号的获取可能是昂贵的。本文介绍了扩散解码模型与对比表示(D2C),训练无条件变分自编码器(VAE)的范例Few-Shot条件图像生成。D2C在潜在表示上使用学习的基于扩散的先验来改进生成,并使用对比自监督学习来提高表示质量。D2C可以适应以标签或操作约束为条件的新生成任务,只需从100个标记的示例中学习。在从新标签的条件生成上,D2C实现了优于最先进的VAE和扩散模型的性能。在条件图像处理方面,D2C生成比StyleGAN 2生成快两个数量级,并且在双盲研究中受到50% - 60%的人类评估者的青睐。
2021-06-12 cs.AI cs.CV cs.LG
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
HierCVAE: Hierarchical Attention-Driven Conditional Variational Autoencoders for Multi-Scale Temporal Modeling
HierCVAE通过层级注意力与条件变分自编码器结合,实现多尺度时间建模,在能源数据集上预测精度提升15-40%,并改善不确定性校准。
2025-08-26 cs.AI cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Hierarchical Conditional Variational Autoencoder Based Acoustic Anomaly Detection
Hitachi Ltd.(日立有限公司)
提出了一种基于声信号的无监督机器异常检测方法。现有的方法,例如深度自动编码器(DAE)、变分自编码器(VAE)、条件变分自编码器(CVAE)等在潜在空间中具有有限的表示能力,并且因此具有差的异常检测性能。必须为每种不同类型的机器训练不同的模型,以准确地执行异常检测任务。为了解决这个问题,我们提出了一种新的方法命名为分层条件变分自编码器(HCVAE)。该方法利用已有的工业设施分类层次知识,对潜在空间表示进行细化。这些知识也有助于模型提高异常检测性能。我们证明了一个单一的HCVAE模型的泛化能力,不同类型的机器,通过使用适当的条件。此外,为了证明所提出的方法的实用性,(i)我们评估HCVAE模型在不同的领域和(ii)我们检查部分层次知识的效果。我们的研究结果表明,HCVAE方法验证了这两点,它优于基线系统的异常检测任务的最大15%的AUC得分度量。
2022-06-11 cs.AI cs.LG eess.AS
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University(杜伦大学)
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题,在源域中更容易获得监督学习示例,在目标域中不存在或存在有限的此类示例的可用性。在分类问题中,领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而,一个常见的情况下,标记的样本可用于目标域类的子集已被忽视。在本文中,我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内,通过处理标记的源域样本的语义表示零样本学习。对于该特定问题,传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题,我们提出了一种新的耦合条件变分自编码器(CCVAE),它可以生成合成的目标域功能,从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验,其中包括一个定制的X射线安全检查点数据集,以模拟航空安全中的实际应用。结果表明,我们提出的方法的有效性,既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Hierarchically branched diffusion models leverage dataset structure for class-conditional generation
Genentech(基因泰克公司)
针对现有类别条件扩散模型忽略数据集内部结构的问题,提出分层分支扩散模型框架,按层级分支单独学习反向扩散,在新类别扩展、类比生成、可解释性上有优势,且经多模态数据集验证有效。
2024-02-01 cs.AI cs.LG
Generating Thematic Chinese Poetry using Conditional Variational Autoencoders with Hybrid Decoders
计算机诗歌生成是我们走向计算机写作的第一步。写作必须有主题。目前的方法使用序列到序列模型与注意往往产生非主题诗。我们提出了一种新的条件变分自编码器的混合解码器添加到一般的递归神经网络的反卷积神经网络充分学习主题信息通过潜变量。这种方法通过不仅以上下文敏感的方式而且以与给定关键字和所学主题高度相关的整体方式表示诗歌的每一行来显着提高所生成的诗歌的相关性。提出的增强word2vec模型进一步提高了韵律和对称性。测试结果表明,我们的方法生成的诗歌大多数是令人满意的规则和一致的主题,其中73.42%的人得到的总分不低于3(最高分为5)。
2020-03-05 cs.AI cs.CL cs.LG
Anomaly Detection With Conditional Variational Autoencoders
European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Laboratoire de Recherche en Informatique (LRI)(计算机科学研究实验室(LRI));Université Paris-Saclay(巴黎萨克雷大学)
利用概率推理的快速发展,特别是变分贝叶斯和变分自编码器(VAE),异常检测(AD)任务仍然是一个开放的研究问题。以往的工作认为,训练VAE模型只与内点是不够的,框架应显着修改,以区分异常的情况。在这项工作中,我们利用深度条件变分自编码器(CVAE),我们定义了一个原始的损失函数与一个指标,目标层次结构化的数据AD。我们的激励应用程序是一个现实世界的问题:监测触发系统,这是许多粒子物理实验在欧洲核子研究中心大型强子对撞机(LHC)的基本组成部分。在实验中,我们展示了这种方法的经典机器学习(ML)基准测试和我们的应用程序的优越性能。
2020-10-12 cs.LG hep-ex
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI,一种基于扩散模型的黑盒变分推断算法,通过迭代优化潜在空间后验,提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
Normative Modeling via Conditional Variational Autoencoder and Adversarial Learning to Identify Brain Dysfunction in Alzheimer's Disease
Lehigh University(利哈伊大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
规范模型是一种新兴的和有前途的方法,有效地研究个体参与者的障碍异质性。在这项研究中,我们提出了一种新的规范建模方法,结合条件变分自编码器与对抗学习(ACVAE),以识别阿尔茨海默病(AD)的脑功能障碍。具体而言,我们首先对健康对照(HC)组进行条件VAE训练,以创建以年龄、性别和颅内体积等协变量为条件的规范模型。然后,我们结合了一个对抗性训练过程来构建一个可以更好地推广到未知数据的判别特征空间。最后,我们在患者水平上计算与正常标准的偏差,以确定哪些大脑区域与AD相关。我们在OASIS-3数据库上的实验表明,与其他深度规范模型相比,我们的模型生成的偏差图对AD表现出更高的敏感性,并且能够更好地识别AD和HC组之间的差异。
2022-11-13 cs.AI cs.LG q-bio.QM
Learning Transition Kernels of Jump-Diffusion Processes with Conditional Diffusion Models
CNRS(法国国家科学研究中心);Universite Paris-Dauphine(巴黎第九大学);PSL(巴黎文理研究大学)
本文利用条件扩散模型学习跳跃扩散过程的转移核,从高频离散观测轨迹生成新样本路径,并给出理论误差界与数值验证。
2026-10-08 cs.LG stat.ML
A Conditional Flow Variational Autoencoder for Controllable Synthesis of Virtual Populations of Anatomy
University of Leeds(利兹大学);University of Manchester(曼彻斯特大学);KU Leuven(荷语鲁汶大学);Alan Turing Institute(艾伦·图灵研究所)
提出将条件变分自编码器与归一化流结合的条件流VAE,用于可控合成解剖虚拟人群,在2360名患者的心脏左心室数据上表现出优于cVAE的条件合成性能。
2023-07-28 cs.CV cs.LG eess.IV
Don't drop your samples! Coherence-aware training benefits Conditional diffusion
École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIX(LIX实验室);École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
针对条件扩散模型中条件信息噪声导致需丢弃数据的问题,提出一致性感知扩散(CAD)方法,通过集成一致性分数实现从噪声标注学习,理论合理且实证有效,生成样本更优。
2025-02-18 cs.CV cs.LG
Conditional sampling within generative diffusion models
Linköping University(林雪平大学);Uppsala University(乌普萨拉大学)
本文综述生成式扩散模型中的条件采样计算方法,梳理利用联合分布或带显式似然的预训练边缘分布构建条件采样器的关键技术。
2025-02-19 cs.LG stat.ML
Using conditional variational autoencoders to generate images from atmospheric Cherenkov telescopes
Skobeltsyn Institute of Nuclear Physics, Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科别利岑核物理研究所);Applied Physics Institute of Irkutsk State University(伊尔库茨克国立大学应用物理研究所);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
高能粒子撞击地球的高层大气会产生大范围的空气簇射,可以使用成像大气切伦科夫望远镜从地面上探测到。切伦科夫望远镜记录的图像可以被分析,以将伽马射线事件与背景强子事件分开。许多分析方法需要通过蒙特卡罗方法模拟大量的事件和相应的图像。然而,蒙特卡罗模拟在计算上是昂贵的。通过蒙特卡洛方法模拟的数据可以通过使用更快的机器学习方法(如生成对抗网络或条件变分自编码器)生成的图像来增强。我们使用一个条件变分自动编码器生成图像的伽马事件从切伦科夫望远镜的TAIGA实验。变分自动编码器在一组蒙特卡洛事件上进行训练,图像大小或像素幅度之和用作条件参数。我们使用经过训练的变分自动编码器来生成具有与伽马事件的蒙特卡罗模拟图像的尺寸分布相同的条件参数分布的新图像。生成的图像类似于蒙特卡洛图像:在伽马和质子事件上训练的分类器神经网络为它们分配了平均伽马分数0.984,其中不到3%的事件被分配了低于0.999的伽马分数。与此同时,生成的图像的大小与生成时使用的条件参数不匹配,平均误差为0.33。
2022-11-22 astro-ph.HE astro-ph.IM cs.LG
Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
扩散模型最近在社区内获得了显着的兴趣,由于其强大的性能作为生成模型。此外,它的反问题的应用已经证明了国家的最先进的性能。不幸的是,扩散模型有一个关键的缺点-它们本质上采样缓慢,需要几千步迭代才能从纯高斯噪声中生成图像。在这项工作中,我们表明,从高斯噪声是不必要的。相反,从具有更好初始化的单个前向扩散开始显著减少了反向条件扩散中的采样步骤的数量。这种现象可以用随机差分方程的收缩理论来正式解释,就像我们的条件扩散策略一样--反向扩散的交替应用,然后是非扩展性数据一致性步骤。新的采样策略被称为“靠近扩散更快”(CCDF),还揭示了关于如何将现有的逆问题前馈神经网络方法与扩散模型协同结合的新见解。超分辨率,图像修复,和压缩感知MRI的实验结果表明,我们的方法可以实现国家的最先进的重建性能在显着减少采样步骤。
2022-03-19 cs.CV cs.LG eess.IV
A Variational U-Net for Conditional Appearance and Shape Generation
Heidelberg Collaboratory for Image Processing(海德堡图像处理协作实验室);IWR, Heidelberg University, Germany(德国海德堡大学IWR研究所(注:根据机构粒度要求,提取到大学级别,此处IWR为海德堡大学下属研究机构,整体保留原机构名及大学级别信息))
深度生成模型在图像合成中表现出了出色的性能。然而,在空间变形的情况下,结果会恶化,因为它们直接生成对象的图像,而不是对其固有形状和外观的复杂相互作用进行建模。我们提出了一个有条件的U-网的形状引导图像生成,条件上的输出的变分自编码器的外观。该方法在图像上进行端到端的训练,而不需要具有不同姿势或外观的相同对象的样本。实验表明,该模型能够实现条件图像的生成和传输.因此,可以从查询图像中保留形状或外观,同时自由地改变另一个。此外,由于其随机潜在表示,外观可以被采样,同时保持形状。在对COCO、DeepFashion、鞋子、Market-1501和手袋的定量和定性实验中,该方法显示出比最先进的方法有显著的改进。
2018-04-12 cs.CV
Text to Image Synthesis using Stacked Conditional Variational Autoencoders and Conditional Generative Adversarial Networks
Institute of Digital Technologies, Loughborough University(拉夫堡大学数字技术研究所)
从文本描述合成真实感图像是计算机视觉的一个主要挑战。当前的文本到图像合成方法不能产生表示文本描述符的高分辨率图像。大多数现有的研究依赖于生成对抗网络(GANs)或变分自动编码器(VAE)。GANs有能力产生更清晰的图像,但缺乏输出的多样性,而VAE擅长产生各种各样的输出,但生成的图像往往是模糊的。考虑到GANs和VAE的相对优势,我们提出了一种新的堆叠条件VAE(CVAE)和条件GAN(CGAN)网络架构,用于合成以文本描述为条件的图像。本研究使用条件VAE作为初始生成器来生成文本描述符的高级草图。第一阶段的高级草图输出和文本描述符用作条件GAN网络的输入。第二级GAN产生256 × 256高分辨率图像。所提出的架构受益于条件增强和条件GAN网络上的残差块来实现结果。使用CUB和Oxford-102数据集进行了多个实验,并将所提出的方法的结果与StackGAN等最先进的技术进行了比较。实验结果表明,该方法在文本描述的条件下生成高分辨率图像,并在使用两个数据集的Inception和Frechet Inception Score的基础上产生有竞争力的结果
2022-08-15 cs.CV eess.IV
Bridging the inference gap in Mutimodal Variational Autoencoders
Inria Paris(法国国家信息与自动化研究所巴黎分部);Inserm(法国国家健康与医学研究院)
本文提出一种无需专家混合聚合的多模态变分自编码器,通过多阶段训练结合变分推断与归一化流,并利用模态间共享信息提升条件生成质量,在多个基准上达到最优性能。
2025-02-06 cs.LG stat.ML
Conditional Variational Autoencoder with Balanced Pre-training for Generative Adversarial Networks
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院)
类别不平衡发生在许多现实世界的应用中,包括图像分类,其中每个类别中的图像数量显著不同。对于不平衡的数据,生成对抗网络(GANs)倾向于多数类样本。最近提出的两种方法,平衡GAN(BAGAN)和改进的BAGAN(BAGAN-GP),作为一种增强工具来处理这个问题,并恢复平衡的数据。前者以无监督的方式预训练自动编码器权重。然而,当来自不同类别的图像具有相似的特征时,它是不稳定的。后者是在BAGAN的基础上改进的,通过促进监督自动编码器训练,但预训练偏向于大多数类。在这项工作中,我们提出了一种新的条件变分自编码器与平衡的预训练生成对抗网络(CAPGAN)作为增强工具,以生成逼真的合成图像。特别地,我们利用具有监督和平衡预训练的条件卷积变分自编码器来进行GAN初始化和具有梯度惩罚的训练。我们提出的方法在高度不平衡的MNIST,Fashion-MNIST,CIFAR-10和两个医学成像数据集上表现出其他最先进的方法的优越性能。我们的方法可以合成高质量的少数样本的Fréchet初始距离,结构相似性指标和感知质量。
2022-01-13 cs.CV cs.LG eess.IV
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University(复旦大学数学与交叉科学中心);Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)(上海数学与交叉科学研究院(SIMIS));Northeastern University(东北大学);Infectious Diseases Division, icddr,b(icddr,b传染病部门);Rutgers University(罗格斯大学)
研究证明,具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布,误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory
Peking University(北京大学);Yale University(耶鲁大学);Princeton University(普林斯顿大学)
本文提出了条件扩散模型的尖锐统计理论,给出了适应数据平滑性并匹配极小极大下界的样本复杂度界,并通过扩散泰勒近似技术分析条件得分函数,阐明了其在强化学习、逆问题和奖励条件生成等应用中的性能。
2024-03-18 cs.LG math.ST stat.ML
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva(日内瓦大学)
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器,条件先验VAE(CP-VAE),它学会区分各个混合成分,因此允许从分布式数据集群的世代。我们假设一个两级的生成过程,连续(高斯)的潜变量采样条件上的离散(分类)的潜在成分。新的变分目标自然地耦合后验和先验条件的学习,以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后,当从对应于原始数据的多模态结构的各个混合成分生成新样本时,数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
Conditional Diffusion with Less Explicit Guidance via Model Predictive Control
Genentech(基因泰克公司)
条件扩散需要多少明确的指导?我们考虑使用无条件扩散模型和有限显式指导(例如,噪声分类器或条件扩散模型),其被限制为少量的时间步长。我们探索了一种类似于模型预测控制(MPC)的近似制导方法,通过模拟无条件扩散前向和反向传播显式制导反馈。MPC近似的指南有很高的余弦相似性,真正的指南,即使在大的模拟距离。当显式指导限于五个时间步长时,添加MPC步骤可以提高生成质量。
2022-10-21 cs.LG
Capturing Conditional Dependence via Auto-regressive Diffusion Models
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
研究普通扩散模型难以捕捉条件依赖结构的问题,提出自回归扩散模型,在理论最弱假设下证明其采样误差更小,并实证其在存在条件依赖时优于DDPM。
2025-04-30 cs.LG stat.ML
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes
Yildiz Technical University(耶尔德兹理工大学)
自然语言处理任务的数据增强方法是近年来研究的热点,但其局限性较大,难以捕捉句子层次上的多样性。此外,并不总是能够对监督任务执行数据增强。为了解决这些问题,我们提出了一种神经数据增强方法,这是一个组合的条件变分自编码器和编码器-解码器Transformer模型。在对输入语句进行编码和解码的同时,我们的模型捕捉了输入语言的句法和语义表示及其类条件。根据过去几年在预训练语言模型上的发展,我们在几个基准上对我们的模型进行训练和评估,以加强下游任务。我们将我们的方法与3种不同的增强技术进行比较。所提出的结果表明,我们的模型增加了当前模型的性能相比,其他数据增强技术与少量的计算能力。
2022-05-19 cs.CL cs.LG
AdaSTI: Conditional Diffusion Models with Adaptive Dependency Modeling for Spatio-Temporal Imputation
本文提出基于条件扩散模型的时空插补方法AdaSTI,通过双向S4预插补、时空条件化器和噪声感知门控注意力网络自适应建模依赖关系,在三个真实数据集上显著降低插补误差。
2025-09-15 cs.AI cs.LG
Demystifying Diffusion Objectives: Reweighted Losses are Better Variational Bounds
本文提出了一种新的理论框架,通过构建时间依赖的变分下界,改进了扩散模型的训练目标,提升了图像生成质量。
2025-11-24 cs.LG stat.ML
Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder
Singapore University of Technology and Design(新加坡科技设计大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出基于条件变分自编码器的高效带口音TTS框架,可合成指定说话人声音并转换为任意目标口音,实验验证了其有效性和口音操控能力。
2024-09-29 cs.LG cs.SD eess.AS
Generating Contextual Load Profiles Using a Conditional Variational Autoencoder
Delft University of Technology(代尔夫特理工大学)
在电力系统规划和安全评估中,尤其是在历史数据不足的情况下,具有相似分布和相关性的发电系统状态是必不可少的。在本文中,我们描述了一个生成模型的工业和商业客户的负载配置文件,基于条件变分自编码器(CVAE)神经网络架构,这是具有挑战性的,由于高度可变的性质,这样的配置文件。生成的上下文负载配置文件以一年中的月份和与电网的典型功率交换为条件。此外,代的质量进行了视觉和统计评估。实验结果表明,我们提出的CVAE模型可以捕捉历史负荷曲线的时间特征,并生成“现实”的数据,具有令人满意的单变量分布和多变量依赖关系。
2022-12-13 cs.LG cs.SY eess.SY
Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
The Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学)
本文首次为分数不匹配扩散采样器提供显式维度依赖的性能保证,揭示渐近偏差与累积不匹配成正比,并据此设计偏差最优零样本条件采样器,适用于线性条件模型及多种目标分布。
2025-03-26 cs.LG stat.ML
Variational Gaussian Process Diffusion Processes
Aalto University(阿尔托大学);University Pompeu Fabra(庞培法布拉大学)
针对非线性扩散过程先验下推断不可处理的问题,本文提出基于位点指数族的高斯变分过程参数化,将不动点推断转化为类自然梯度的凸优化,并改善参数学习目标。
2024-02-27 cs.LG stat.ML
Diffusion Reward: Learning Rewards via Conditional Video Diffusion
Shanghai Qi Zhi Institute(上海期智研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Sichuan University(四川大学);Tsinghua University(清华大学)
本文提出 Diffusion Reward 框架,利用条件视频扩散模型从专家视频中学习奖励,并通过条件熵负值引导探索,在仿真与真实机器人操作及未知任务上显著优于基线。
2024-08-09 cs.CV cs.LG cs.RO
Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors
Johns Hopkins University(约翰斯·霍普金斯大学)
条件扩散概率模型可以模拟自然图像的分布,并可以根据给定的条件生成多样化和真实的样本。然而,通常他们的结果可能是不现实的,具有可观察到的颜色变化和纹理。我们认为,这个问题是由模型学习的概率分布与自然图像分布之间的分歧造成的。微妙的条件逐渐扩大的分歧,在每个采样时间步长。为了解决这个问题,我们引入了一种新的方法,使预测样本的训练数据流形使用预训练的无条件扩散模型。无条件模型充当正则化器,并减少条件模型在每个采样步骤中引入的发散。我们进行了全面的实验,以证明我们的方法在超分辨率,彩色化,湍流消除和图像去伪任务的有效性。通过我们的方法得到的改进表明,先验可以被纳入作为一个通用的插件,用于改善条件扩散模型。
2022-12-14 cs.CV
Modeling Spatio-temporal Extremes via Conditional Variational Autoencoders
本文提出一种基于条件变分自编码器的模型,用于建模时空极值,并通过实验展示其在现实场景中的应用价值。
2025-12-06 cs.LG stat.ME stat.ML
Learning the conditional law: signatures and conditional GANs in filtering and prediction of diffusion processes
Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
我们考虑扩散过程的滤波和预测问题。信号和观测由相关维纳过程驱动的随机微分方程(SDEs)建模。在经典估计理论中,测量值随机偏微分方程(SPDE)推导出的过滤和预测措施。这些方程可能很难用数值求解。我们提供了一个近似算法,使用条件生成对抗网络(GANs)结合签名,粗糙路径理论的对象。一条足够平滑的路径的特征完全决定了该路径。因此,在某些情况下,基于签名的GANs已被证明可以有效地近似随机过程的规律。对于我们的算法,我们扩展了这种方法的样本从条件的法律,噪声,部分观察。我们的发电机构造使用神经微分方程(NDEs),依靠其通用逼近器的属性。我们显示适定性提供了一个严格的数学框架。数值结果表明了算法的有效性。
2022-09-15 cs.LG math.OC stat.ML
Predicting Critical Heat Flux with Uncertainty Quantification and Domain Generalization Using Conditional Variational Autoencoders and Deep Neural Networks
North Carolina State University(北卡罗来纳州立大学)
本研究利用条件变分自编码器扩充临界热流密度数据,并与深度神经网络比较,CVAE在预测精度和不确定性量化上表现更优。
2025-02-24 cs.LG
Practical and Asymptotically Exact Conditional Sampling in Diffusion Models
Columbia University(哥伦比亚大学);University of Amsterdam(阿姆斯特丹大学)
本文提出扭曲扩散采样器(TDS),一种基于序贯蒙特卡洛的扩散模型条件采样方法,无需任务特定训练即可实现渐近精确采样,并在条件图像生成和蛋白质基序支架任务中优于现有启发式方法。
2024-11-23 cs.LG q-bio.BM stat.ML
Variational Masked Diffusion Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出变分掩码扩散(VMD),通过引入潜变量显式建模令牌间依赖,提升离散生成质量与全局一致性,在合成数据、数独和文本上验证有效。
2025-10-27 cs.AI cs.CL cs.LG
MGCVAE: Multi-objective Inverse Design via Molecular Graph Conditional Variational Autoencoder
Soongsil University(崇实大学)
各个领域的最终目标是直接生成具有所需性质的分子,如在药物开发中寻找水溶性分子,在新有机材料开发领域寻找适合有机发光二极管(OLED)或光敏剂的分子。在这方面,本研究提出了一个分子图生成模型的基础上的自动编码器的从头设计。通过与分子图变分自编码器(MGVAE)的比较,研究了分子图条件变分自编码器(MGCVAE)生成具有特定期望性质的分子的性能.此外,多目标优化MGCVAE适用于同时满足两个选定的属性。在这项研究中,两个物理性质- logP和摩尔的生物活性-被用作优化目标的目的从头设计的分子,特别是在药物发现。结果证实,在生成的分子中,MGCVAE中生成了25.89%的优化分子,而MGVAE中为0.66%。因此,它表明MGCVAE有效地产生具有两种靶向性质的药物样分子。这项研究的结果表明,这些基于图形的数据驱动模型是设计满足各种物理特性的新分子的有效方法之一,例如药物发现。
2022-02-14 cs.LG physics.chem-ph
Generating Multivariate Load States Using a Conditional Variational Autoencoder
Delft University of Technology(代尔夫特理工大学)
对于电力系统的规划和操作工具的校准,在大范围的代表性场景中分析系统性能是必不可少的。当可用的历史数据有限时,生成模型是一个很有前途的解决方案,但建模高维依赖性是具有挑战性的。提出了一种基于条件变分自编码(CVAE)神经网络的多变量负荷状态生成模型。超越常见的CVAE实现,该模型包括在给定的潜在向量下输出样本的随机变化,并共同优化该输出可变性的参数。结果表明,这提高了所生成的数据的统计特性。使用单变量和多变量性能度量来评估生成的多变量负载的质量。欧洲网络的发电充裕度的案例研究被用来说明模型的能力,以产生现实的尾部分布。实验结果表明,该生成器优于其他数据生成机制。
2022-12-14 cs.LG cs.SY eess.SY
Noise Conditional Variational Score Distillation
Department of Electronic Engineering, Shanghai Jiao Tong University, Shanghai, China(上海交通大学电子工程系);Department of Computer Science(计算机科学系);Engineering, Shanghai Jiao Tong University, Shanghai, China(工程系,上海交通大学)
本研究提出噪声条件变分分数蒸馏方法,利用无条件分数函数刻画去噪后验分数的特性,将预训练扩散模型蒸馏为兼具快速生成与迭代细化优势的生成式去噪器,在图像生成和逆问题任务上表现优异。
2025-06-11 cs.CV
GraphGUIDE: interpretable and controllable conditional graph generation with discrete Bernoulli diffusion
Genentech(基因泰克)
扩散模型在生成真实感对象方面具有最先进的性能,并已成功应用于图像、文本和视频。最近的工作表明,扩散也可以在图形上定义,包括药物样分子的图形表示。不幸的是,仍然很难以可解释和可控制的方式在图上执行条件生成。在这项工作中,我们提出了GraphGUIDE,一个新的框架,图形生成使用扩散模型,在图中的边缘翻转或设置在每个离散的时间步。我们在几个图形数据集上演示了GraphGUIDE,并表明它可以完全控制任意结构属性的条件生成,而无需依赖于预定义的标签。我们的图形扩散框架可以对图形的可解释条件生成产生很大的影响,包括以实验证据为依据的方式生成具有所需特性的药物样分子。
2023-02-07 cs.LG
Generating Long Financial Report using Conditional Variational Autoencoders with Knowledge Distillation
School of Computer Science, Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳)计算机科学与学院);Qianhai Financial Holdings Co., Ltd.(前海金融控股有限公司)
从一条新闻自动生成财务报告是一个相当具有挑战性的任务。显然,这项任务的困难在于缺乏足够的背景知识来有效地生成长财务报告。为了解决这个问题,本文提出了条件变分自编码器(CVAE)为基础的方法,从新闻报道数据的语料库中提取外部知识。特别地,我们选择Bi-GRU作为CVAE的编码器和解码器组件,并从输入新闻中学习潜在变量分布。从新闻报道数据的语料库集合中学习更高级别的潜变量分布,分别为每个输入新闻提取,以向先前学习的潜变量分布提供背景知识。然后,采用师生网络进行知识提取,以细化解码器组件的输出。为了评估所提出的方法的模型性能,在公共数据集和两个广泛采用的评估标准上进行了广泛的实验,即,实验中选用了BLEU和ROUGE。实验结果表明,该方法优于其他比较方法。
2020-10-23 cs.LG