Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Stanford University（斯坦福大学）；Stanford Stroke Center（斯坦福中风中心）；Institute for Biomedical Engineering（生物医学工程研究所）
我们表明，高质量，多样化和逼真的扩散加权磁共振图像可以使用深生成模型合成。基于专业神经放射学家的评价和不同的指标，就所生成的合成脑图像的质量和多样性，我们提出了两个网络，内省变分自编码器和基于样式的GAN，有资格在医疗领域的数据增强，其中信息被保存在一个调度和不均匀的方式和访问它是在许多方面受到限制。
2020-06-24 cs.CV cs.LG eess.IV
Creativity: Generating Diverse Questions using Variational Autoencoders
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
为给定图像生成不同的问题是计算教育，娱乐和AI助手的重要任务。与许多传统的预测技术不同的是，需要算法来生成一组不同的合理问题，我们称之为“创造力”。在本文中，我们提出了一个创造性的算法，结合了变分自编码器与长短期记忆网络的优势，视觉问题的生成。我们证明，我们的框架是能够生成一个大的一组不同的问题，给定一个单一的输入图像。
2017-04-11 cs.CV
Predicting Visual Memory Schemas with Variational Autoencoders
University of York（约克大学）
视觉记忆图式（VMS）图显示了图像的哪些区域导致该图像被记住或错误地记住。先前的工作已经成功地使用卷积神经网络生成低分辨率VMS图。相反，我们将此问题作为一个图像到图像的翻译任务，利用变分自编码器。这种方法使我们能够生成代表视觉记忆图式的更高分辨率的双通道图像，使我们能够分别评估预测的真实记忆力和错误记忆力。我们还评估了VMS地图，预测VMS地图，地面实况记忆分数和预测记忆分数之间的关系。
2019-07-19 cs.CV
Semi-Supervised Variational Autoencoder for Survival Prediction
Technical University of Denmark（丹麦技术大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
在本文中，我们提出了一个半监督的变分自编码器的总体生存组的肿瘤分割掩模分类。该模型可以使用任何肿瘤分割算法的输出，消除扫描平台上的所有假设和所使用的特定类型的脉冲序列，从而提高其泛化性能。由于其半监督性质，该方法可以通过使用相对少量的标记主题来学习对生存时间进行分类。我们在2019年多模态脑肿瘤分割挑战（BraTS）的公开数据集上验证了我们的模型。
2019-10-10 cs.CV
Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder
Capgemini Engineering（凯捷工程）；Massachusetts Institute of Technology（麻省理工学院）
本文提出将变分自编码器与神经回路策略控制器结合，直接从摄像头图像生成转向指令，并设计自动潜在扰动工具以揭示潜在变量对模型行为的影响，从而提升自动驾驶系统的可解释性。
2024-04-02 cs.CV
Visual anomaly detection in video by variational autoencoder
yahoo（雅虎）；Stanford University（斯坦福大学）
视频异常检测是异常检测和视觉智能的交叉点。它在监控、安全、自动驾驶汽车和作物监测方面具有商业应用。视频可以捕捉到各种异常情况。由于需要对训练数据进行标记，因此用于视频的训练异常检测模型的无监督方法更实用。自动编码器是一种神经网络，其被训练为使用输入的潜在表示（也称为瓶颈层）来重新创建其输入。变分自编码器使用分布（均值和方差）作为瓶颈层，可以有更好的正则化效果。在本文中，我们展示了卷积LSTM与变体卷积LSTM自动编码器之间的性能比较。
2022-03-08 cs.AI cs.CV
Adversarial Attacks on Variational Autoencoders
University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp））
对抗攻击是破坏机器学习模型的恶意输入。我们提出了一个方案来攻击自动编码器，以及一个定量的评估框架，以及相关的定性评估的攻击。我们评估-统计验证实验-三个变分自编码器（简单，卷积，和DRAW）在三个数据集（MNIST，SVHN，CelebA）的攻击的抵抗力，表明DRAW的复发和注意力机制导致更好的抵抗力。由于自动编码器被提出用于压缩数据-在这种情况下，它们的安全性是至关重要的-我们预计更多的关注将给予对它们的对抗攻击。
2018-06-12 cs.CV cs.LG cs.NE
Controlling Weather Field Synthesis Using Variational Autoencoders
IBM-Research（IBM研究院）
气候变化的后果之一是极端气候事件的频率明显增加。这对天气预报和生成算法提出了挑战，这些算法从历史数据中学习，但应该嵌入通常不确定的偏见来创建正确的场景。本文研究了如何使用变分自编码器将气候数据映射到已知分布，从而有助于探索此类偏差，并控制天气场的合成，使其更接近极端气候情景。我们使用印度西南部受季风影响的降水数据集进行了试验，这应该能给出一个大致稳定的晴天模式，便于我们的调查。我们报告令人信服的结果表明，映射复杂的天气数据到一个已知的分布implementersan有效的控制天气场合成到更多（或更少）的极端情况。
2021-07-30 cs.CV
Factorized Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
变分自动编码器通常假设各向同性高斯先验和平均场后验，因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题，但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型，利用独立的辅助功能，这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核，导致了显着的加速（理论和实践），同时根据经验对现有的不可扩展方法进行了改进。此外，我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Unsupervised Multiple-Object Tracking with a Dynamical Variational Autoencoder
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立理工学院）
提出了一种基于动态变分自编码器（DVAE）的多目标跟踪（MOT）无监督概率模型及其估计算法（DVAE-UMOT）。DVAE是一种潜在变量深度生成模型，可以被视为用于时间序列建模的变分自编码器的扩展。它包含在DVAE-UMOT中，在对单对象轨迹的未标记合成数据集进行预训练后，对对象的动态进行建模。然后利用变分推理的原理：定义隐变量的近似后验分布，最大化数据似然函数的相应证据下界，在每个待跟踪的多目标序列上估计DVAE-UMOT的分布和参数。DVAE-UMOT的实验结果表明，竞争以及甚至超过两个国家的最先进的概率MOT模型的性能。代码和数据是公开的。
2022-02-21 cs.CV cs.LG
Inducing Interpretable Representations with Variational Autoencoders
University of Oxford（牛津大学）；Northeastern University（东北大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了一个框架，将结构化的图形模型的变分自编码器（VAE）的\emph{encoders}，使我们能够通过近似变分推断诱导可解释的表示。这使得我们既可以在给定图形模型的结构约束下执行推理（例如分类），又可以使用深度生成模型来处理混乱的高维域，在这些域中通常很难对所有变化进行建模。在这个框架中的学习是端到端进行的，具有变分目标，适用于无监督和半监督方案。
2016-11-22 cs.CV cs.LG stat.ML
GraphVAE: Towards Generation of Small Graphs Using Variational Autoencoders
Université Paris Est（巴黎东部大学）；École des Ponts ParisTech（巴黎高科桥路学校）
图上的深度学习已经成为一个热门的研究课题，具有许多应用。然而，过去的工作集中在学习图嵌入任务上，这与图像和文本生成模型的进步形成了鲜明对比。有没有可能将这一进展转移到图形领域？我们建议回避与线性化的这种离散结构的解码器输出一个概率完全连接图的预定义的最大尺寸直接在一次相关的障碍。我们的方法被公式化为一个变分自编码器。我们评估了分子生成的挑战性任务。
2018-02-09 cs.CV cs.LG cs.NE
Variational Autoencoders Without the Variation
University of Exeter（埃克塞特大学）；College of Engineering, Mathematics and Physical Sciences（工程、数学与物理科学学院）
变分自动编码器（VAE）是生成式建模的一种流行方法。然而，在实践中利用VAE的能力可能是困难的。最近关于正则化和熵自动编码器的工作已经开始探索生成建模的潜力，即去除变分方法并返回到经典的确定性自动编码器（DAE），并使用额外的新正则化方法。在本文中，我们经验性地探讨了DAE的能力，无需额外的新方法和大型网络的隐式正则化和平滑的影响图像生成。我们发现DAE可以成功地用于图像生成，而无需额外的损失项，并且当在CIFAR-10和CelebA上训练时，VAE的许多有用属性可以隐含地从足够大的卷积编码器和解码器中产生。
2022-03-01 cs.CV cs.LG stat.ML
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Affine Variational Autoencoders: An Efficient Approach for Improving Generalization and Robustness to Distribution Shift
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在这项研究中，我们提出了仿射变分自编码器（AVAE），一个变种的变分自编码器（VAE），旨在提高鲁棒性，克服VAE无法推广到分布移位的仿射扰动的形式。通过优化仿射变换以最大化ELBO，所提出的AVAE将输入变换为训练分布，而不需要增加模型复杂度来对仿射变换的完整分布进行建模。此外，我们还引入了一个训练过程，通过学习训练分布的子集来创建一个有效的模型，并使用AVAE来提高测试时分布偏移的泛化能力和鲁棒性。仿射扰动实验表明，所提出的AVAE显着提高了泛化能力和鲁棒性的仿射扰动形式的分布移位，而不增加模型的复杂性。
2019-05-13 cs.CV cs.LG cs.NE
Continual Learning of Predictive Models in Video Sequences via Variational Autoencoders
University of Genova（热那亚大学）
本文提出了一种用于执行预测模型的持续学习的方法，该预测模型促进了对视频序列中的未来帧的推断。对于第一给定经验，利用初始变分自编码器以及一组完全连接的神经网络来分别学习视频帧的外观及其在潜在空间级的动态。通过采用自适应马尔可夫跳跃粒子滤波器，所提出的方法识别新的情况，并将它们集成为预测模型，避免灾难性遗忘以前学习的任务。为了评估所提出的方法，本文使用的视频序列，从车辆在受控环境中执行不同的任务。
2020-06-02 cs.CV cs.LG
Branched Variational Autoencoder Classifiers
University of Waterloo（滑铁卢大学）
本文提出一种带额外神经网络分支的改进型变分自编码器（BVAE），通过在总损失中加入分类组件将类别信息引入潜在表示，分离并排序潜在空间分布，在MNIST数据集上显著提升了分类精度及多种输出分布下的性能。
2024-01-04 cs.CV cs.LG
Multi-Adversarial Variational Autoencoder Networks
University of California, Los Angeles（加州大学洛杉矶分校）
GANs和VAE的无监督训练使它们能够生成模仿真实世界分布的逼真图像，并执行基于图像的无监督聚类或半监督分类。结合这两种生成模型的功能，我们引入了多对抗变分自编码器网络（MAVEN），这是一种新型的网络架构，在VAE-GAN网络中集成了一系列鉴别器，同时具有对抗学习和变分推理。我们应用MAVENs的合成图像的生成，并提出了一个新的分布措施来量化生成的图像的质量。我们的实验结果使用来自计算机视觉和医学成像领域的数据集--街景门牌号，CIFAR-10和胸部X射线数据集-在图像生成和分类任务中表现出与最先进的半监督模型相比的竞争力。
2019-06-14 cs.CV cs.LG stat.ML
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
The artificial synesthete: Image-melody translations with variational autoencoders
Technische Universität München（慕尼黑工业大学）；Deutsches Museum（德意志博物馆）
摘要本计画提出一个神经网络系统，用以在影像与旋律之间进行翻译。自动编码器将样本中的信息压缩为抽象表示。翻译网络从重复的联合曝光中学习音乐和视觉概念之间的一组对应关系。由此产生的“人工联觉”产生简单的旋律灵感来自图像，和图像的音乐。这些是新颖的解释（不是转置的数据），表达了机器的感知和理解。观察工作，一个人探索机器的感知，因此，相比之下，一个人自己的。
2021-12-06 cs.CV cs.SD eess.AS
Variational Autoencoders Pursue PCA Directions (by Accident)
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
变分自编码器（VAE）是一种能够进行表示学习和生成式建模的强大架构。当涉及到学习可解释（解纠缠）表示时，VAE及其变体表现出无与伦比的性能。然而，其原因尚不清楚，因为需要非常特定的潜在嵌入对齐，但VAE的设计并不以任何明确的方式鼓励它。我们解决这个问题，并提供以下解释：在编码器中的对角线近似加上固有的随机性力本地正交的解码器。促进重建和正交性的局部行为与PCA嵌入的选择密切匹配。除了提供一个直观的理解，我们证明了充分的理论分析以及实验的声明。
2019-04-16 cs.CV cs.LG stat.ML
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University（西北大学）
在推理中，开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器，在某些情况下，分离地利用重建，我们发现稀释了潜在的表示的能力，以区分未知的类。相比之下，我们训练我们的模型来合作学习重建，并在潜在空间中执行基于类的聚类。有了这个，我们的高斯混合变分自编码器（GMVAE）实现了更准确和更强大的开集分类结果，平均F1提高了29.5%，通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
Implicit Discriminator in Variational Autoencoder
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
最近，生成模型的重点是结合变分自编码器（VAE）和生成对抗网络（GAN）的优点，以获得良好的重建和生成能力。在这项工作中，我们介绍了一种新的混合架构，隐式鉴别变分自编码器（IDVAE），它结合了VAE和GAN，它不需要一个显式的递归网络。IDVAE架构的基本前提是VAE的编码器和GAN的编码器利用共同的特征，因此可以作为共享网络进行训练，而VAE的解码器和GAN的生成器可以组合起来学习单个网络。这导致了具有VAE和GAN两者的属性的简单的两层架构。在真实世界基准数据集上的定性和定量实验表明，IDVAE的性能优于最先进的混合方法。我们通过实验验证了IDVAE可以很容易地扩展到条件设置中，并在复杂数据集上展示了其性能。
2019-09-28 cs.CV cs.LG stat.ML
An attempt to generate new bridge types from latent space of variational autoencoder
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先导数智交通科技有限公司）
本研究基于3dsMax和OpenCV构建四类桥梁图像数据集，利用Python、TensorFlow和Keras训练变分自编码器获得低维桥型潜在空间，证明生成式AI能组合现有桥型生成新桥型，辅助设计师创新。
2024-01-01 cs.AI cs.CV cs.LG
Learning variational autoencoders via MCMC speed measures
Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）
针对深度潜变量模型中基于梯度的MCMC提议分布自适应方法研究不足的问题，提出基于熵的短程MALA/HMC链自适应策略，优化更紧的变分界，提升了VAEs的留出对数似然与生成性能，可适配复杂后验几何结构。
2023-08-26 cs.CV cs.LG stat.ML
