CVAE-H: Conditionalizing Variational Autoencoders via Hypernetworks and Trajectory Forecasting for Autonomous Driving
University of Michigan(密歇根大学)
预测道路智能体在不同环境中的随机行为是自动驾驶的一个挑战性问题。为了更好地理解场景上下文并在不同环境中自适应地产生道路智能体的各种可能的未来状态,预测模型应该是概率的,多模态的,上下文驱动的和通用的。我们通过超网络(CVAE-H)提出了条件化变分自编码器;一种条件VAE,广泛利用超网络并为预测任务等高维问题执行生成任务。我们首先评估CVAE-H简单的生成实验表明,CVAE-H是概率,多模态,上下文驱动,和一般。然后,我们证明了所提出的模型有效地解决了自动驾驶预测问题,在各种环境中产生准确的预测道路代理。
2022-01-24 cs.AI cs.LG cs.RO
Conditional Sampling of Variational Autoencoders via Iterated Approximate Ancestral Sampling
University of Edinburgh(爱丁堡大学)
针对变分自编码器条件采样计算难、现有Metropolis-within-Gibbs方法易因结构化潜在空间卡住的问题,本文梳理相关缺陷,提出两种原创改进方法,经实验验证其在采样任务上性能更优。
2023-11-08 cs.LG stat.ML
Anomaly Detection With Conditional Variational Autoencoders
European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Laboratoire de Recherche en Informatique (LRI)(计算机科学研究实验室(LRI));Université Paris-Saclay(巴黎萨克雷大学)
利用概率推理的快速发展,特别是变分贝叶斯和变分自编码器(VAE),异常检测(AD)任务仍然是一个开放的研究问题。以往的工作认为,训练VAE模型只与内点是不够的,框架应显着修改,以区分异常的情况。在这项工作中,我们利用深度条件变分自编码器(CVAE),我们定义了一个原始的损失函数与一个指标,目标层次结构化的数据AD。我们的激励应用程序是一个现实世界的问题:监测触发系统,这是许多粒子物理实验在欧洲核子研究中心大型强子对撞机(LHC)的基本组成部分。在实验中,我们展示了这种方法的经典机器学习(ML)基准测试和我们的应用程序的优越性能。
2020-10-12 cs.LG hep-ex
Learning Conditional Variational Autoencoders with Missing Covariates
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Bayer Pharmaceuticals(拜耳制药)
条件变分自编码器(CVAE)是通用的深度生成模型,通过用辅助协变量调节生成模型来扩展标准VAE框架。原始CVAE模型假设数据样本是独立的,而最近的条件VAE模型,如高斯过程(GP)先验VAE,可以解释所有数据样本的复杂相关结构。虽然已经提出了几种方法来从部分观察的数据集学习标准VAE,但这些方法不适合条件VAE。在这项工作中,我们提出了一种方法来学习条件VAE的数据集,其中辅助协变量可以包含缺失值以及。所提出的方法增加了条件VAE与先验分布的缺失协变量和估计其后使用摊销变分推断。在训练时,我们的方法将与缺失协变量相关的不确定性边缘化,同时最大化证据下限。我们开发了计算效率高的方法来学习CVAE和GP之前的VAE,是兼容的迷你。我们在模拟数据集以及临床试验研究上的实验表明,该方法在从非时间,时间和纵向数据集学习条件VAE方面优于以前的方法。
2022-03-02 cs.LG stat.ML
Implicit Autoencoders
Vector Institute for Artificial Intelligence(向量人工智能研究院);University of Toronto(多伦多大学)
在本文中,我们描述了“隐式自动编码器”(IAE),生成自动编码器中的生成路径和识别路径参数化的隐式分布。我们使用两个生成对抗网络来定义隐式自编码器的重构和正则化代价函数,并基于最大似然学习推导出学习规则。使用隐式分布允许我们为自动编码器学习更具表达力的后验和条件似然分布。学习表达性条件似然分布使潜在代码仅捕获数据的抽象和高级信息,而其余的低级信息由隐式条件似然分布捕获。我们展示了隐式自动编码器在解开内容和风格信息,聚类,半监督分类,学习表达变分分布和多模式图像到图像的翻译中的应用。
2019-02-07 cs.LG stat.ML
HierCVAE: Hierarchical Attention-Driven Conditional Variational Autoencoders for Multi-Scale Temporal Modeling
HierCVAE通过层级注意力与条件变分自编码器结合,实现多尺度时间建模,在能源数据集上预测精度提升15-40%,并改善不确定性校准。
2025-08-26 cs.AI cs.LG
Conditional Inference in Pre-trained Variational Autoencoders via Cross-coding
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Massachusetts(马萨诸塞大学)
变分自动编码器(VAE)是一种流行的生成模型,但其中条件推理可能具有挑战性。如果分解成查询和证据变量是固定的,条件VAE提供了一个有吸引力的解决方案。为了支持任意查询,通常简化为马尔可夫链蒙特卡罗采样方法,该方法可能遭受长混合时间。在本文中,我们提出了一个想法,我们术语交叉编码近似分布的潜在变量的条件后,证据分配给一些子集的变量。这允许生成查询样本,而无需重新训练完整的VAE。我们通过实验评估了交叉编码的三种变化,表明(i)它们可以快速优化证据和查询的不同分解,(ii)它们在定量和定性上优于哈密顿蒙特卡罗。
2018-10-03 cs.CV cs.LG stat.ML
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
Conditional Variational Autoencoder with Balanced Pre-training for Generative Adversarial Networks
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院)
类别不平衡发生在许多现实世界的应用中,包括图像分类,其中每个类别中的图像数量显著不同。对于不平衡的数据,生成对抗网络(GANs)倾向于多数类样本。最近提出的两种方法,平衡GAN(BAGAN)和改进的BAGAN(BAGAN-GP),作为一种增强工具来处理这个问题,并恢复平衡的数据。前者以无监督的方式预训练自动编码器权重。然而,当来自不同类别的图像具有相似的特征时,它是不稳定的。后者是在BAGAN的基础上改进的,通过促进监督自动编码器训练,但预训练偏向于大多数类。在这项工作中,我们提出了一种新的条件变分自编码器与平衡的预训练生成对抗网络(CAPGAN)作为增强工具,以生成逼真的合成图像。特别地,我们利用具有监督和平衡预训练的条件卷积变分自编码器来进行GAN初始化和具有梯度惩罚的训练。我们提出的方法在高度不平衡的MNIST,Fashion-MNIST,CIFAR-10和两个医学成像数据集上表现出其他最先进的方法的优越性能。我们的方法可以合成高质量的少数样本的Fréchet初始距离,结构相似性指标和感知质量。
2022-01-13 cs.CV cs.LG eess.IV
MGCVAE: Multi-objective Inverse Design via Molecular Graph Conditional Variational Autoencoder
Soongsil University(崇实大学)
各个领域的最终目标是直接生成具有所需性质的分子,如在药物开发中寻找水溶性分子,在新有机材料开发领域寻找适合有机发光二极管(OLED)或光敏剂的分子。在这方面,本研究提出了一个分子图生成模型的基础上的自动编码器的从头设计。通过与分子图变分自编码器(MGVAE)的比较,研究了分子图条件变分自编码器(MGCVAE)生成具有特定期望性质的分子的性能.此外,多目标优化MGCVAE适用于同时满足两个选定的属性。在这项研究中,两个物理性质- logP和摩尔的生物活性-被用作优化目标的目的从头设计的分子,特别是在药物发现。结果证实,在生成的分子中,MGCVAE中生成了25.89%的优化分子,而MGVAE中为0.66%。因此,它表明MGCVAE有效地产生具有两种靶向性质的药物样分子。这项研究的结果表明,这些基于图形的数据驱动模型是设计满足各种物理特性的新分子的有效方法之一,例如药物发现。
2022-02-14 cs.LG physics.chem-ph
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research(Adobe研究院)
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法,如生成对抗网络(GANs)和变分自编码器(VAE)已被提出。最近,AutoVC,一个条件自动编码器(CAE)为基础的方法取得了国家的最先进的成果,通过解开使用信息约束瓶颈的说话人身份和语音内容,它实现了zero-shot转换,通过交换在不同的说话人的身份嵌入合成一个新的声音。然而,我们发现,虽然说话人身份从语音内容中解脱出来,但大量的韵律信息,如源F0,通过瓶颈泄漏,导致目标F0不自然地波动。此外,AutoVC无法控制转换后的F0,因此不适用于许多应用。在本文中,我们修改和改进了基于自动编码器的语音转换,以同时解开内容,F0和说话人身份。因此,我们可以控制F0轮廓,生成与目标说话人F0一致的语音,并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder
Singapore University of Technology and Design(新加坡科技设计大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出基于条件变分自编码器的高效带口音TTS框架,可合成指定说话人声音并转换为任意目标口音,实验验证了其有效性和口音操控能力。
2024-09-29 cs.LG cs.SD eess.AS
Generating Contextual Load Profiles Using a Conditional Variational Autoencoder
Delft University of Technology(代尔夫特理工大学)
在电力系统规划和安全评估中,尤其是在历史数据不足的情况下,具有相似分布和相关性的发电系统状态是必不可少的。在本文中,我们描述了一个生成模型的工业和商业客户的负载配置文件,基于条件变分自编码器(CVAE)神经网络架构,这是具有挑战性的,由于高度可变的性质,这样的配置文件。生成的上下文负载配置文件以一年中的月份和与电网的典型功率交换为条件。此外,代的质量进行了视觉和统计评估。实验结果表明,我们提出的CVAE模型可以捕捉历史负荷曲线的时间特征,并生成“现实”的数据,具有令人满意的单变量分布和多变量依赖关系。
2022-12-13 cs.LG cs.SY eess.SY
Predicting Critical Heat Flux with Uncertainty Quantification and Domain Generalization Using Conditional Variational Autoencoders and Deep Neural Networks
North Carolina State University(北卡罗来纳州立大学)
本研究利用条件变分自编码器扩充临界热流密度数据,并与深度神经网络比较,CVAE在预测精度和不确定性量化上表现更优。
2025-02-24 cs.LG
Generating Thematic Chinese Poetry using Conditional Variational Autoencoders with Hybrid Decoders
计算机诗歌生成是我们走向计算机写作的第一步。写作必须有主题。目前的方法使用序列到序列模型与注意往往产生非主题诗。我们提出了一种新的条件变分自编码器的混合解码器添加到一般的递归神经网络的反卷积神经网络充分学习主题信息通过潜变量。这种方法通过不仅以上下文敏感的方式而且以与给定关键字和所学主题高度相关的整体方式表示诗歌的每一行来显着提高所生成的诗歌的相关性。提出的增强word2vec模型进一步提高了韵律和对称性。测试结果表明,我们的方法生成的诗歌大多数是令人满意的规则和一致的主题,其中73.42%的人得到的总分不低于3(最高分为5)。
2020-03-05 cs.AI cs.CL cs.LG
Conditional Flow Variational Autoencoders for Structured Sequence Prediction
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Bosch Center for Artificial Intelligence(博世人工智能中心);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
预测环境和交互代理的未来状态是自主智能体在现实世界中成功运行所需的关键能力。基于潜变量模型的结构化序列预测的先前工作对潜变量施加了单峰标准高斯先验。这导致了强烈的模型偏差,这使得完全捕获未来状态分布的多模态具有挑战性。在这项工作中,我们介绍了条件流变分自编码器(CF-VAE)使用我们的新的条件规范化流之前捕获复杂的多模态条件分布有效的结构化序列预测。此外,我们提出了两个新的正则化方案,稳定训练和处理后验崩溃的稳定训练和更好地适应目标数据分布。我们在三个多模态结构化序列预测数据集- MNIST Sequences,Stanford Drone和HighD -上的实验表明,所提出的方法在不同的评估指标上获得了最先进的结果。
2020-08-18 cs.CV cs.LG stat.ML
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
Conditional Denoising Diffusion Autoencoders for Wireless Semantic Communications
Centre for Wireless Communications University of Oulu, Finland(无线通信中心 奥卢大学,芬兰)
本文提出条件去噪扩散自编码器用于无线语义通信,通过语义编码与条件扩散解码学习从语义空间到真实值分布的映射,并在CIFAR-10、MNIST及多用户场景中验证其优于传统自编码器和VAE的性能。
2025-09-26 cs.LG
Normative Modeling via Conditional Variational Autoencoder and Adversarial Learning to Identify Brain Dysfunction in Alzheimer's Disease
Lehigh University(利哈伊大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
规范模型是一种新兴的和有前途的方法,有效地研究个体参与者的障碍异质性。在这项研究中,我们提出了一种新的规范建模方法,结合条件变分自编码器与对抗学习(ACVAE),以识别阿尔茨海默病(AD)的脑功能障碍。具体而言,我们首先对健康对照(HC)组进行条件VAE训练,以创建以年龄、性别和颅内体积等协变量为条件的规范模型。然后,我们结合了一个对抗性训练过程来构建一个可以更好地推广到未知数据的判别特征空间。最后,我们在患者水平上计算与正常标准的偏差,以确定哪些大脑区域与AD相关。我们在OASIS-3数据库上的实验表明,与其他深度规范模型相比,我们的模型生成的偏差图对AD表现出更高的敏感性,并且能够更好地识别AD和HC组之间的差异。
2022-11-13 cs.AI cs.LG q-bio.QM
Generating Long Financial Report using Conditional Variational Autoencoders with Knowledge Distillation
School of Computer Science, Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳)计算机科学与学院);Qianhai Financial Holdings Co., Ltd.(前海金融控股有限公司)
从一条新闻自动生成财务报告是一个相当具有挑战性的任务。显然,这项任务的困难在于缺乏足够的背景知识来有效地生成长财务报告。为了解决这个问题,本文提出了条件变分自编码器(CVAE)为基础的方法,从新闻报道数据的语料库中提取外部知识。特别地,我们选择Bi-GRU作为CVAE的编码器和解码器组件,并从输入新闻中学习潜在变量分布。从新闻报道数据的语料库集合中学习更高级别的潜变量分布,分别为每个输入新闻提取,以向先前学习的潜变量分布提供背景知识。然后,采用师生网络进行知识提取,以细化解码器组件的输出。为了评估所提出的方法的模型性能,在公共数据集和两个广泛采用的评估标准上进行了广泛的实验,即,实验中选用了BLEU和ROUGE。实验结果表明,该方法优于其他比较方法。
2020-10-23 cs.LG
Generating Multivariate Load States Using a Conditional Variational Autoencoder
Delft University of Technology(代尔夫特理工大学)
对于电力系统的规划和操作工具的校准,在大范围的代表性场景中分析系统性能是必不可少的。当可用的历史数据有限时,生成模型是一个很有前途的解决方案,但建模高维依赖性是具有挑战性的。提出了一种基于条件变分自编码(CVAE)神经网络的多变量负荷状态生成模型。超越常见的CVAE实现,该模型包括在给定的潜在向量下输出样本的随机变化,并共同优化该输出可变性的参数。结果表明,这提高了所生成的数据的统计特性。使用单变量和多变量性能度量来评估生成的多变量负载的质量。欧洲网络的发电充裕度的案例研究被用来说明模型的能力,以产生现实的尾部分布。实验结果表明,该生成器优于其他数据生成机制。
2022-12-14 cs.LG cs.SY eess.SY
Diversifying Reply Suggestions using a Matching-Conditional Variational Autoencoder
Microsoft Search, Assistance and Intelligence(微软搜索、辅助与智能部门(Microsoft Search, Assistance and Intelligence))
我们认为,多样化的自动回复建议的商业即时消息(IM)系统(Skype)的问题。我们的会话模型是一个标准的匹配为基础的信息检索架构,它由两个并行的编码器到项目的消息和答复到一个共同的特征表示。在推理过程中,我们使用特征空间中的最近邻居从固定的响应集中选择响应。为了使响应多样化,我们将模型制定为具有条件变分自动编码器(M-CVAE)的生成潜变量模型。我们提出了一个约束抽样的方法,使变分推理M-CVAE有效的生产系统。在离线实验中,M-CVAE始终将多样性增加约30-40%,而对相关性没有显著影响。这意味着我们的在线制作系统的点击率增加了5%。
2019-03-25 cs.AI cs.CL cs.LG
A Conditional Flow Variational Autoencoder for Controllable Synthesis of Virtual Populations of Anatomy
University of Leeds(利兹大学);University of Manchester(曼彻斯特大学);KU Leuven(荷语鲁汶大学);Alan Turing Institute(艾伦·图灵研究所)
提出将条件变分自编码器与归一化流结合的条件流VAE,用于可控合成解剖虚拟人群,在2360名患者的心脏左心室数据上表现出优于cVAE的条件合成性能。
2023-07-28 cs.CV cs.LG eess.IV
Detecting Adversaries, yet Faltering to Noise? Leveraging Conditional Variational AutoEncoders for Adversary Detection in the Presence of Noisy Images
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
随着图像识别中深度学习模型的快速发展和越来越多的使用,安全性成为其在安全关键系统中部署的主要问题。由于深度学习模型的准确性和鲁棒性主要取决于训练样本的纯度,因此深度学习架构通常容易受到对抗攻击的影响。对抗攻击通常是通过对正常图像进行微妙的扰动来获得的,这些扰动大多是人类无法感知的,但会严重混淆最先进的机器学习模型。在正常图像上最轻微的智能扰动或噪声添加中,有什么特别之处会导致深层神经网络的灾难性分类?使用统计假设检验,我们发现,条件变分自编码器(CVAE)是令人惊讶的好,在检测难以察觉的图像扰动。在本文中,我们展示了CVAE如何有效地用于检测图像分类网络上的对抗攻击。我们在MNIST,CIFAR-10数据集上展示了我们的结果,并展示了我们的方法如何在检测对手方面与最先进的方法具有可比的性能,同时不会与噪声图像混淆,其中大多数现有方法都不稳定。
2021-12-09 cs.LG
Bi-Level Optimization Augmented with Conditional Variational Autoencoder for Autonomous Driving in Dense Traffic
University of Tartu(塔尔图大学);University of Naples Federico II(那不勒斯费德里科二世大学)
自动驾驶具有天然的双层结构。上层行为层的目标是提供适当的车道变换、加速和制动决策,以优化给定的驾驶任务。然而,这一层只能通过较低级别的轨迹规划器间接影响驾驶效率,轨迹规划器接收行为输入以产生运动命令。现有的基于采样的方法没有充分利用行为层和规划层之间的强耦合。另一方面,端到端强化学习(RL)可以学习行为层,同时结合来自较低级别规划器的反馈。然而,纯数据驱动的方法在看不见的环境中的安全指标往往失败。本文提出了一种新的替代方案;一个参数化的双层优化,共同计算最佳的行为决策和由此产生的下游轨迹。我们的方法使用自定义GPU加速的批处理优化器和条件变分自编码器学习的热启动策略实时运行。大量的仿真结果表明,我们的方法优于国家的最先进的模型预测控制和RL方法的碰撞率,同时具有竞争力的驾驶效率。
2022-12-05 cs.LG cs.RO
Design Space Exploration and Explanation via Conditional Variational Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center (SDSC)(瑞士数据科学中心)
本文提出一个基于条件变分自编码器的性能驱动设计探索框架,用于行人桥概念设计,作为前向性能预测器和逆设计特征预测器,并通过敏感性分析提供解释,案例研究显示其作为未来设计协同驾驶员的潜力。
2022-11-29 cs.LG
Multimodal Deep Generative Models for Trajectory Prediction: A Conditional Variational Autoencoder Approach
Stanford University(斯坦福大学)
人类行为预测模型使机器人能够预测人类对其行为的反应,因此有助于设计安全和主动的机器人规划算法。然而,建模复杂的互动动态和捕捉在这种互动环境中的许多可能的结果的可能性是非常具有挑战性的,这促使最近的几种不同的方法的研究。在这项工作中,我们提供了一个独立的教程有条件的变分自编码器(CVAE)的方法来预测人类的行为,在其核心,可以产生一个多模态概率分布在未来的人类轨迹上的条件,过去的相互作用和候选机器人未来的行动。具体来说,本教程的目标是审查和建立人类行为预测中最先进的方法的分类,从基于物理的方法到纯粹的数据驱动的方法,提供严格但易于访问的数据驱动的描述,基于CVAE的方法,突出重要的设计特征,使其成为一个有吸引力的模型,用于基于模型的人机交互规划,并在使用这类模型时提供重要的设计考虑。
2020-11-21 cs.HC cs.LG cs.RO
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University(杜伦大学)
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题,在源域中更容易获得监督学习示例,在目标域中不存在或存在有限的此类示例的可用性。在分类问题中,领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而,一个常见的情况下,标记的样本可用于目标域类的子集已被忽视。在本文中,我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内,通过处理标记的源域样本的语义表示零样本学习。对于该特定问题,传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题,我们提出了一种新的耦合条件变分自编码器(CCVAE),它可以生成合成的目标域功能,从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验,其中包括一个定制的X射线安全检查点数据集,以模拟航空安全中的实际应用。结果表明,我们提出的方法的有效性,既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Causal Inference with Conditional Front-Door Adjustment and Identifiable Variational Autoencoder
University of South Australia(南澳大利亚大学);Hefei University of Technology(合肥工业大学)
针对未观测混杂下因果效应估计难题,提出条件前门调整概念及可识别性定理,设计CFDiVAE模型从数据学习调整变量,实验验证其有效性与对混杂强度的低敏感性。
2023-10-03 cs.LG
Bridging the inference gap in Mutimodal Variational Autoencoders
Inria Paris(法国国家信息与自动化研究所巴黎分部);Inserm(法国国家健康与医学研究院)
本文提出一种无需专家混合聚合的多模态变分自编码器,通过多阶段训练结合变分推断与归一化流,并利用模态间共享信息提升条件生成质量,在多个基准上达到最优性能。
2025-02-06 cs.LG stat.ML
Degradation Prediction of Semiconductor Lasers using Conditional Variational Autoencoder
Vertilas GmbH(Vertilas有限公司);ADVA Optical Networking SE(ADVA光网络股份公司);Kiel University (CAU)(基尔大学(克里斯蒂安-阿尔布雷希茨大学))
半导体激光器已经快速发展以满足下一代光网络的需求。这对激光器的可靠性提出了更严格的要求,这些要求由退化机制(例如,突然退化)限制了半导体激光器的寿命。基于物理的方法通常用于分析表征降解行为,但需要明确的领域知识和精确的数学模型。由于缺乏对在各种操作条件下引起降解的复杂物理过程的充分理解,建立这样的模型可能非常具有挑战性。为了克服上述限制,我们提出了一种新的数据驱动方法,从运行监测数据中提取有用的见解来预测退化趋势,而不需要任何特定的知识或使用任何物理模型。所提出的方法是基于一种无监督的技术,一个有条件的变分自编码器,并验证使用垂直腔面发射激光器(VCSEL)和可调边缘发射激光器的可靠性数据。实验结果证实,我们的模型(i)通过产生95.3%的F1分数实现了良好的退化预测和泛化性能,(ii)优于几种基于基线ML的异常检测技术,并且(iii)通过在测试结束之前早期预测故障设备来帮助缩短老化测试,从而节省成本
2022-11-05 cs.LG
Conditional Deep Hierarchical Variational Autoencoder for Voice Conversion
DeNA Co., Ltd.(DeNA有限公司);University of Tokyo(东京大学);The University of Electro-Communications(电气通信大学)
基于变分自编码器的语音转换(VAE-VC)具有仅需要成对的语音和说话者标签用于训练的优点。与大多数VAE-VC的研究,重点是利用辅助损失或离散化的潜变量,本文研究了如何增加模型的表现力有好处和影响的VAE-VC。具体来说,我们首先分析VAE-VC从率失真的角度来看,并指出,模型的表现力是重要的VAE-VC,因为率和失真反映的相似性和自然的转换语音。基于分析,我们提出了一种新的VC方法,使用一个深层次的VAE,它具有高的模型表现力,以及由于其非自回归解码器具有快速的转换速度。此外,我们的分析还揭示了另一个问题,即当VAE的潜变量具有冗余信息时,相似性会降低。我们解决这个问题,通过使用$β$ -VAE目标控制包含在潜变量中的信息。在使用VCTK语料库的实验中,所提出的方法在跨性别设置中的自然度和相似度上的平均意见得分均高于3.5,高于现有的基于自动编码器的VC方法的得分。
2021-12-06 cs.LG cs.SD eess.AS
Analysis of training and seed bias in small molecules generated with a conditional graph-based variational autoencoder -- Insights for practical AI-driven molecule generation
IBM Thomas J. Watson Research(IBM托马斯·J·沃森研究中心)
深度学习在生成性分子设计中的应用已经显示出加速铅系列开发的早期前景。然而,关于训练、数据集和种子偏差等因素如何影响该技术对医学和计算化学家的效用,仍然存在问题。在这项工作中,我们分析了种子和训练偏差对基于活动条件图的变分自编码器(VAE)输出的影响。利用与多巴胺D2受体相对应的大量标记数据集,我们的基于图形的生成模型在生成分子中产生所需的条件活性和有利的非条件物理性质方面表现出色。我们实现了一种活动交换方法,该方法允许激活、停用或保留分子种子的活动,并且我们应用独立的深度学习分类器来验证生成结果。总的来说,我们揭示了噪声、分子种子和训练集选择之间在一系列潜在空间采样过程中的关系,为实际的人工智能驱动的分子生成提供了重要的见解。
2021-09-03 cs.LG physics.bio-ph q-bio.BM
Modeling Spatio-temporal Extremes via Conditional Variational Autoencoders
本文提出一种基于条件变分自编码器的模型,用于建模时空极值,并通过实验展示其在现实场景中的应用价值。
2025-12-06 cs.LG stat.ME stat.ML
Multi-modal anticipation of stochastic trajectories in a dynamic environment with Conditional Variational Autoencoders
The University of Hull(赫尔大学);University of Sunderland(桑德兰大学)
预测附近车辆的短期运动提出了一个固有的挑战性问题,因为它们可能的未来运动的空间并不严格限于一组单一的轨迹。最近提出的技术,证明合理的结果主要集中在预测一个固定数量的确定性预测,或分类在各种各样的轨迹,以前产生的使用,例如动态模型。本文的重点是解决与所讨论的任务相关的不确定性,利用生成模型的随机性,以产生一组不同的合理路径方面的履带车辆。更具体地说,我们建议考虑到多模态的问题,使用条件变分自编码器(C-VAE)的条件代理的过去的运动,以及光栅化的场景上下文与胶囊网络(CapsNet)编码。此外,我们还展示了采用最小N(MoN)成本函数的优势,该函数测量了地面实况和N个生成的样本之间的距离,并试图最大限度地减少最接近样本的损失,从而有效地实现更多样化的预测。我们在一个公开的数据集上对我们的网络进行了检查,并表明我们的方法在许多情况下都优于这些技术,同时显着减少了可训练参数的数量,并允许对任意数量的不同轨迹进行采样。
2021-03-05 cs.AI cs.LG
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab(Sber AI实验室)
本文提出cNVAE-ECG模型,通过生成多病理心电图提升诊断准确性,在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
Stellar Cluster Detection using GMM with Deep Variational Autoencoder
Indian Institute of Space Science and Technology(印度空间科学与技术学院)
星团的探测一直是天文学的重要研究课题。虽然图像在检测恒星密度增强方面没有传达非常详细的信息,但我们试图了解新的机器学习技术是否可以揭示有助于从可用图像数据中得出更好推断的模式。提出了一种基于深度变分自编码器和高斯混合模型的无监督星团检测方法。我们表明,我们的方法的效果显着以及在识别各种星团,即使在存在噪声和失真的状态的最先进的检测算法相比。
2018-09-05 astro-ph.GA astro-ph.SR cs.LG
Theoretical Insights into the Use of Structural Similarity Index In Generative Models and Inferential Autoencoders
University of Waterloo(滑铁卢大学)
生成式模型和推理式自动编码器在其优化目标中大多使用$\ell_2$范数。为了生成感知更好的图像,本文从理论上讨论了如何在生成模型和推理自动编码器中使用结构相似性指数(SSIM)。我们首先回顾SSIM、SSIM距离度量和SSIM内核。我们表明,SSIM内核是一个通用的内核,因此可以用于无条件和有条件生成的矩匹配网络。然后,我们解释如何在变分和对抗自动编码器以及无条件和条件生成对抗网络(GANs)中使用SSIM距离。最后,我们建议在最小二乘GAN中使用SSIM距离而不是$\ell_2$范数。
2020-04-04 cs.CV cs.LG eess.IV
Generative Inverse Design: From Single Point Optimization to a Diverse Design Portfolio via Conditional Variational Autoencoders
Faculty of Electrical Engineering, Universiti Teknologi Malaysia(电子工程学院,马来西亚技术大学)
本文提出基于条件变分自编码器的生成式逆向设计框架,将单点优化转为多样化设计组合生成,在翼型降噪中生成256个设计,77.2%优于SBO基线,支持多准则决策。
2025-10-03 cs.AI cs.LG
Learning Manifold Dimensions with Conditional Variational Autoencoders
Purdue University(普渡大学);Amazon Web Services(亚马逊云科技);Shanghai University of Finance and Economics(上海财经大学)
该研究严格证明了VAE全局最小值可恢复正确流形维度,并将结论推广至CVAE,证实条件变量可让模型自适应学习不同维度的流形,相关分析得到合成与真实数据集实验支持。
2023-06-13 cs.AI cs.LG stat.ML
Synthetic Electric Vehicle Charging Session Generation Using a Conditional Variational Autoencoder
University College Cork(科克大学);MaREI Centre(MaREI中心);Sustainability Institute(可持续发展研究所)
本文提出一种条件变分自编码器,从真实交易数据生成合成电动汽车充电会话,保留关键统计特性并支持预测建模,以解决真实数据稀缺问题。
2026-09-17 cs.LG cs.SY eess.SY
Prior Flow Variational Autoencoder: A density estimation model for Non-Intrusive Load Monitoring
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
非侵入式负载监测(NILM)是一种计算技术,用于根据单个仪表测量的整个消耗量来估计逐个设备的电力负载。在本文中,我们提出了一种基于深度神经网络的条件密度估计模型,该模型将条件变分自编码器与条件可逆归一化流模型相结合,以估计单个设备的电力需求。所得到的模型称为先验流变分自编码器,或者为简单起见称为PFVAE。因此,不是每个设备具有一个模型,而是所得到的模型负责一次逐个设备地估计功率需求。我们训练和评估我们提出的模型在一个公开的数据集组成的电力需求的措施,位于巴西的家禽饲料厂。该模型的质量进行评估,通过比较获得的归一化解聚误差(NDE)和信号聚合误差(SAE)与以前的工作值在同一数据集上。我们的建议取得了极具竞争力的结果,对于属于数据集的八台机器中的六台,我们观察到NDE从28%到81%,SAE从27%到86%的持续改进。
2021-06-27 cs.AI cs.CV cs.LG
Univariate Conditional Variational Autoencoder for Morphogenic Patterns Design in Frontal Polymerization-Based Manufacturing
National Center for Supercomputing Applications, University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心);Beckman Institute for Advanced Science and Technology, University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼先进科学技术研究所);Grainger College of Engineering, University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校);Kansas State University(堪萨斯州立大学);Massachusetts Institute of Technology(麻省理工学院)
针对正面聚合制造中图案逆向设计的映射难题,提出仅编码设计空间的单变量条件变分自编码器UcVAE,在减少参数量、缩短训练时间的同时,可生成多组能产出高保真层级图案的工艺条件解。
2024-10-31 cs.LG physics.comp-ph
Increasing the Generalisation Capacity of Conditional VAEs
Volkswagen Group(大众汽车集团)
我们解决了监督学习中的一对多映射问题,其中单个实例具有可能相等成本的许多不同解决方案。条件变分自编码器的框架描述了一类通过潜变量来处理这种结构化预测任务的方法。我们建议激励信息的潜在表示,以增加条件变分自编码器的泛化能力。为此,我们修改的潜在变量模型定义的可能性作为一个函数的潜在变量,并引入一个富有表现力的多模态之前,使模型捕捉语义有意义的功能的数据。为了验证我们的方法,我们训练我们的模型上的康奈尔机器人抓取数据集,并修改版本的MNIST和时尚MNIST获得的结果,显示出显着更高的泛化能力。
2019-09-10 cs.LG stat.ML
Adjoint-based shape optimization of a ship hull using a Conditional Variational Autoencoder (CVAE) assisted propulsion surrogate model
Institute for Fluid Dynamics and Ship Theory, Hamburg University of Technology(流体动力学与船舶理论研究所,汉堡技术大学)
本文提出利用条件变分自编码器构建推进代理模型,通过优化船舶船体形状,实现阻力降低超过8%。
2026-09-29 cs.LG physics.flu-dyn
Conditional variational autoencoder with Gaussian process regression recognition for parametric models
Tongji University(同济大学)
针对含噪参数化模型,提出CVAE-GPRR框架,结合POD与GPR降低模型复杂度并缓解噪声影响,在保持精度的同时减少参数,实现全物理空间预测并缓解过拟合。
2023-05-16 cs.CE cs.LG
Synthesising Counterfactual Explanations via Label-Conditional Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院伦敦分校);J.P. Morgan AI Research(摩根大通人工智能研究);King’s College London(伦敦国王学院)
LAPACE通过标签条件高斯混合变分自编码器生成稳健且多样化的反事实解释路径,实现高效且模型无关的CE合成。
2026-02-27 cs.LG
Uncertainty-Aware Generative Oversampling Using an Entropy-Guided Conditional Variational Autoencoder
针对高维生物医学数据的类别不平衡问题,提出融合局部不确定性的LEO-CVAE生成式过采样框架,通过熵加权损失和熵引导采样提升分类性能,优于传统与生成式基线方法。
2025-10-04 cs.AI cs.LG
EVA: Generating Longitudinal Electronic Health Records Using Conditional Variational Autoencoders
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院);Vanderbilt University(范德堡大学);Sutter Health(萨特健康);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究人员需要及时访问真实世界的纵向电子健康记录(EHR),以开发、测试、验证和实施机器学习解决方案,从而提高医疗保健的质量和效率。相比之下,卫生系统非常重视患者隐私和数据安全。去识别化的电子健康记录不能充分满足卫生系统的需求,因为去识别化的数据容易被重新识别,而且其数量也有限。合成EHR提供了一个潜在的解决方案。在本文中,我们提出了EHR变分自编码器(EVA),用于合成离散EHR相遇序列(例如,临床访问)和遭遇特征(例如,诊断、药物、程序)。我们说明,EVA可以产生现实的EHR序列,占患者之间的个体差异,并可以根据特定的疾病条件,从而使疾病特异性研究。我们设计了高效,准确的推理算法相结合的随机梯度马尔可夫链蒙特卡罗与摊销变分推理。我们评估了该方法在包含超过25万名患者的大型真实世界EHR库上的实用性。我们的实验,其中包括用户研究与知识渊博的临床医生,表明生成的EHR序列是现实的。我们证实了在合成数据上训练的预测模型的性能与在真实EHR上训练的预测模型的性能相似。此外,我们的研究结果表明,用合成EHR增强真实数据可以获得最佳预测性能-在前20名回忆中将最佳基线提高了8%。
2020-12-18 cs.AI cs.LG
Inverse Synthesis of Shock Time Series from Shock Response Spectra Using Ensembles of Conditional Variational Autoencoders
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Rochester(罗切斯特大学);Avinc(艾文克公司)
该研究提出一种基于条件变分自编码器集成的方法,用于从冲击响应谱逆合成冲击时间序列,在多个基准数据集上的频谱误差更低、推理速度更快,性能优于基线方法。
2026-10-12 cs.LG eess.SP
MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation
University of Science and Technology of China(中国科学技术大学)
现有的大多数用于音乐生成的神经网络模型探索如何生成音乐小节,然后直接将音乐小节拼接成歌曲。但是,这些方法没有探索小节之间的关系,连接的歌曲作为一个整体没有音乐形式结构和音乐方向感。为了解决这个问题,我们提出了一个多模型多任务层次条件VAE-GAN(变分自动编码器生成对抗网络)网络,名为MIDI-Sandwich,它结合了音乐知识,如音乐形式,主音和旋律运动。MIDI-Sandwich有两个子模型:分层条件变分自编码器(HCVAE)和分层条件生成对抗网络(HCGAN)。HCVAE使用分层结构。HCVAE的底层使用局部条件变分自动编码器(L-CVAE)来生成由第一个和最后一个音符(FLN)预先指定的音乐条。HCVAE的上层使用全局变分自编码器(G-VAE)对L-CVAE编码器生成的特征向量序列进行分析,挖掘小节之间的音乐关系,产生由L-CVAE解码器生成的多个音乐小节拼接而成的歌曲,使歌曲既有音乐结构又有方向感。与此同时,HCVAE与HCGAN共享其自身的一部分,以进一步提高所生成音乐的性能。MIDI-Sandwich在Nottingham数据集上进行了验证,能够生成单音轨旋律序列(17 x8拍),这优于大多数生成的模型(8到32拍)的长度。同时,参考多种经典文献的实验方法,对生成的音乐进行了质量评价。以上实验证明了该模型的有效性。
2019-07-04 cs.LG cs.MM cs.SD
End-to-end Sinkhorn Autoencoder with Noise Generator
Warsaw University of Technology(华沙理工大学);CERN(欧洲核子研究组织);Tooploox
在这项工作中,我们提出了一种新的端到端的sinkhorn自动编码器与噪声发生器有效的数据汇集模拟。模拟旨在收集实验数据的过程对于多种现实应用至关重要,包括核医学,天文学和高能物理。当代的方法,如蒙特卡罗算法,提供高保真度的结果,在高计算成本的代价。采取多种尝试来减少这种负担,例如,使用基于生成对抗网络或变分自编码器的生成方法。虽然这些方法要快得多,但它们在训练中通常不稳定,并且不允许从整个数据分布中采样。为了解决这些缺点,我们引入了一种称为端到端Sinkhorn Autoencoder的新方法,该方法利用Sinkhorn算法来显式对齐编码的真实数据示例和生成的噪声的分布。更准确地说,我们通过添加一个确定性的神经网络训练,以映射噪声从一个已知的分布到自动编码器的潜在空间表示数据分布,扩展自动编码器的架构。我们共同优化整个模型。我们的方法优于竞争的方法在一个具有挑战性的数据集的模拟数据从零度量热仪的ALICE实验在LHC。以及标准基准,如MNIST和CelebA。
2020-06-11 cs.LG stat.ML
Tree Variational Autoencoders
ETH Zurich(苏黎世联邦理工学院)
提出树变分自编码器(TreeVAE),通过层次聚类学习树状后验分布,自适应发现最优树结构,利用叶解码器提升生成性能,在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG