Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density
EPFL（洛桑联邦理工学院）；City University of Hong Kong（香港城市大学）
本文提出基于最近邻信息的伪密度度量，通过逐样本扰动、重要性采样及微调三种技术控制深度生成模型的保真度与多样性，并可在少量迭代下改善预训练模型的FID。
2024-10-03 cs.CV cs.LG
Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints
UC Irvine（加州大学欧文分校）；Nazarbayev University（纳扎尔巴耶夫大学）；Tufts University（塔夫茨大学）
我们开发了一个新的框架，用于学习变分自编码器和其他深度生成模型，以平衡生成和区分目标。我们的框架优化了模型参数，以最大限度地提高观测数据可能性的变化下限，并受到特定于任务的预测约束，以防止模型错误指定导致不准确的预测。我们进一步强制执行一个一致性约束，该约束自然来自生成模型，需要对重建数据进行预测以匹配原始数据。我们表明，这两个贡献-预测约束和一致性约束-导致有前途的图像分类性能，特别是在半监督的情况下，类别标签稀疏，但未标记的数据是丰富的。我们的方法使生成建模的进步能够直接提高半监督分类性能，我们通过使用捕获空间变换的潜变量来增强深度生成模型来证明这一能力。
2020-12-12 cs.CV cs.LG stat.ML
Understanding Deep Generative Models with Generalized Empirical Likelihoods
DeepMind（深度思维）；University College London（伦敦大学学院）
本文提出用广义经验似然方法诊断深度生成模型的模式丢弃、模式不平衡和类内多样性不足等问题，并结合最大均值差异构建可解释检验，预测效果比改进精确率/召回率最多提升60%。
2023-08-07 cs.CV cs.LG
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research（IBM研究院）
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而，只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果，使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器：IBMWeathergen（Weathergen库的扩展）和RGeneratePrec，以及两个深度生成模型：GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
When and How Can Deep Generative Models be Inverted?
Technion, Israel（以色列理工学院）
近年来，深度生成模型（例如GANs和VAE）得到了广泛的发展。最近，人们对这种模型的反演越来越感兴趣，即给定一个（可能损坏的）信号，我们希望恢复生成它的潜在向量。基于稀疏表示理论，我们定义了适用于任何反演算法（梯度下降，深度编码器等）的条件，在该条件下，这种生成模型是可逆的，具有唯一解。重要的是，所提出的分析适用于任何训练模型，并且不依赖于高斯i.i.d.。权重此外，我们为任意深度的训练生成网络引入了两种逐层反演追踪算法，并伴随着恢复保证。最后，我们验证了我们的理论结果数值，并表明我们的方法优于梯度下降时，反转这样的发电机，无论是干净的和损坏的信号。
2020-06-28 cs.CV cs.LG stat.ML
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo（纽约州立大学布法罗分校）
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核，需要仔细选择超参数。为了减轻这一负担，我们在本文中提出了一个框架，以构建和学习一个数据依赖的内核的基础上，随机特征和隐式谱分布参数化的深度神经网络。构建的网络（称为KernelNet）可以应用于各种场景中的深度生成建模，包括深度生成模型中两种流行的学习范式，MMD-GAN和隐式变分自编码器（VAE）。我们表明，我们提出的内核确实存在于应用程序中，并保证是正定的。此外，诱导的最大平均离散（MMD）可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明，与相关方法相比，我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
Rewriting a Deep Generative Model
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe 研究院）
像GAN这样的深度生成模型学习对关于目标分布的一组丰富的语义和物理规则进行建模，但到目前为止，这些规则如何在网络中编码，或者如何改变规则，还不清楚。在本文中，我们介绍了一个新的问题设置：操纵由深度生成模型编码的特定规则。为了解决这个问题，我们提出了一个公式，其中所需的规则是通过操纵一层深度网络作为线性联想记忆来改变的。我们推导出一个算法，用于修改一个条目的联想记忆，我们证明了几个有趣的结构规则可以定位和修改层内的国家的最先进的生成模型。我们提出了一个用户界面，使用户能够交互式地改变生成模型的规则，以达到预期的效果，我们展示了几个概念验证的应用程序。最后，多个数据集上的结果表明，我们的方法对标准的微调方法和编辑传输算法的优势。
2020-07-30 cs.CV cs.GR cs.LG
A survey of multimodal deep generative models
The University of Tokyo（东京大学）
多模态学习是一个用于构建模型的框架，该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而，实现这一目标需要考虑多模态数据的异构性。近年来，深度生成模型，即，其中分布由深度神经网络参数化的生成模型已经吸引了很多关注，特别是变分自编码器，其适合于完成上述挑战，因为它们可以考虑异质性并推断数据的良好表示。因此，近年来已经提出了各种基于变分自编码器的多模态生成模型，称为多模态深度生成模型。在本文中，我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
Generative Deep Learning Techniques for Password Generation
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Federal Criminal Police Office（联邦刑事警察局）
最近已经研究了通过深度学习的密码猜测方法，其在生成新颖的、现实的密码候选者的能力方面具有重大突破。在目前的工作中，我们研究了广泛的深度学习和基于概率的模型，根据密码猜测：基于注意力的深度神经网络，自动编码机制和生成对抗网络。我们在变分自编码器方面提供了新的生成式深度学习模型，表现出最先进的采样性能，产生额外的潜在空间特征，如插值和目标采样。最后，我们在一个统一的控制框架中对知名数据集（RockYou，LinkedIn，Youku，Zomato，Pwnd）进行了全面的实证分析。我们的研究结果不仅确定了由深度神经网络驱动的最有前途的方案，而且还说明了每种方法在生成变异性和样本唯一性方面的优势。
2020-12-16 cs.AI cs.CL cs.CR
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater（威斯康星大学白水分校）
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题，我们可以更好地理解生成的作品所需的参数，这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
Deep Generative Design: Integration of Topology Optimization and Generative Models
Sookmyung Women’s University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
深度学习最近已被应用于设计优化的各个研究领域。本研究提出了采用深度学习进行生成式设计（或设计探索）研究的必要性和有效性。这项工作提出了一个基于人工智能（AI）的设计自动化框架，该框架能够生成许多设计选项，这些选项不仅美观，而且还针对工程性能进行了优化。所提出的框架集成了拓扑优化和深度生成模型（例如，生成对抗网络（GANs））以迭代方式探索新的设计选项，从而从有限的先前设计数据开始生成大量设计。此外，异常检测可以评估所生成的设计的新颖性，从而帮助设计师在设计选项中进行选择。二维车轮设计问题作为一个案例研究，验证所提出的框架。该框架体现了更好的美学，多样性和鲁棒性的生成设计比以前的生成设计方法。
2019-05-20 cs.CE cs.LG cs.NE
Deep generative models as the probability transformation functions
Cherkasy State Technological University（切尔卡西国立技术大学）；Cherkasy Bohdan Khmelnytsky National University（切尔卡斯比多曼·赫梅尔尼茨基国立大学）
本文提出统一理论视角，将深度生成模型视为概率变换函数，揭示不同架构（自编码器、自回归模型、生成对抗网络、归一化流、扩散模型和流匹配）本质上均通过将简单预定义分布变换为复杂目标数据分布来运作。
2025-06-20 cs.LG
Competency Assessment for Autonomous Agents using Deep Generative Models
University of Colorado Boulder（科罗拉多大学博尔德分校）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
对于自主智能体来说，作为人类用户值得信赖的合作伙伴，它们必须能够可靠地传达它们被要求执行的任务的能力。为了实现这一目标，我们开发了基于深度生成建模的概率世界模型，该模型允许模拟代理轨迹和精确计算任务结果概率。通过将条件变分自编码器的优势与递归神经网络相结合，深度生成世界模型可以概率地预测长期任务完成的轨迹。我们展示了这些预测的轨迹如何用于计算结果概率分布，从而能够精确评估特定任务和初始设置的代理能力。
2022-03-23 cs.AI cs.HC cs.LG
Deep Generative Models for Geometric Design Under Uncertainty
Northwestern University（西北大学）
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性，这些设计表示显着改善了几何设计优化。然而，这些模型不考虑制造或制造引入的不确定性。过去量化这种不确定性的工作往往对几何变化进行简化假设，而“真实世界”的不确定性及其对设计性能的影响由于高维数而难以量化。为了解决这个问题，我们提出了一个基于生成对抗网络的不确定性框架下的设计（GAN-DUF），它包含一个深度生成模型，可以同时学习标称（理想）设计的紧凑表示和给定任何标称设计的制造设计的条件分布。我们在两个实际的工程设计实例中展示了该框架，并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-03-09 cs.LG
Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks
University College London（伦敦大学学院）
深度生成模型提供了一套强大的工具来理解真实世界的数据。但随着这些模型的改进，它们的大小和复杂性也会增加，因此它们在内存和执行时间上的计算成本也会增加。在神经网络中使用二进制权重是一种有望降低这种成本的方法。然而，二进制神经网络是否可以用于生成模型是一个悬而未决的问题。在这项工作中，我们表明，第一次，我们可以成功地训练生成模型，利用二进制神经网络。这大大降低了模型的计算成本。我们开发了一类新的二进制权重归一化，并为这些二进制生成模型的架构设计提供了见解。我们证明了两个最先进的深度生成模型，ResNet VAE和Flow++模型，可以使用这些技术有效地二进制化。我们训练二进制模型，使其损失值接近常规模型的损失值，但大小要小90%-94%，并且还允许显著加快执行时间。
2021-05-03 cs.LG
On the Statistical Capacity of Deep Generative Models
Stanford University（斯坦福大学）；Duke University（杜克大学）
本研究构建统一框架，证明含VAE、GAN、扩散模型的大类深度生成模型非通用生成器，在多种潜变量分布下仅能生成轻尾集中样本，揭示其处理重尾分布的容量局限，并用模拟和金融数据验证。
2025-01-14 cs.AI cs.LG math.ST
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing（北京科技大学）；Technical University of Denmark（丹麦技术大学）
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而，这些表示往往会扭曲点之间的关系，即成对距离往往不能很好地反映语义相似性。这使得无监督的任务，如聚类，在使用潜在表示时变得困难。我们证明，考虑到生成模型的几何形状是足够的，使简单的聚类算法的工作以及潜在的表示。依靠最近的发现，深生成模型构成随机浸入黎曼流形，我们提出了一个有效的算法，用于计算测地线（最短路径）和计算潜在空间中的距离，同时考虑到它的失真。我们进一步提出了一种新的架构，用于对变分自编码器中的不确定性进行建模，这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
Design Target Achievement Index: A Differentiable Metric to Enhance Deep Generative Models in Multi-Objective Inverse Design
Massachusetts Institute of Technology（麻省理工学院）
深度生成机器学习模型在设计界越来越受欢迎，这要归功于它们学习和模拟复杂数据分布的能力。虽然早期的工作是有希望的，进一步的进步将取决于解决几个关键的考虑因素，如设计质量，可行性，新颖性和有针对性的逆向设计。我们提出了设计目标实现指数（DTAI），一个可区分的，可调的指标，得分设计的能力，实现设计师指定的最低性能目标。我们证明了DTAI在直接用作深度生成模型中的训练损失时可以大大提高生成设计的性能。我们将DTAI损失应用于性能增强的多样性GAN（PaD GAN），并与一组基线深度生成模型（包括多目标PaD GAN和专用表格生成算法，如条件表格GAN（CT GAN））相比，表现出卓越的生成性能。我们进一步增强PaDGAN与辅助可行性分类器，以鼓励可行的设计。为了评估方法，我们提出了一套全面的评估指标的生成方法，专注于可行性，多样性和满意度的设计性能目标。方法进行测试的一个具有挑战性的基准问题：FRAMED自行车车架设计数据集具有混合数据类型的参数数据，严重偏斜和多模态分布，和十个竞争的性能目标。
2022-05-06 cs.LG
Deep Generative Video Compression
Dartmouth College（达特茅斯学院）；Disney Research LA（迪士尼研究院洛杉矶）；DisneyResearch|Studios（迪士尼研究工作室）；University of California, Irvine（加州大学欧文分校）
深度生成模型在图像压缩中的应用已经使传统编解码器获得了令人印象深刻的性能提升，而神经视频压缩仍处于起步阶段。在这里，我们提出了一种端到端的深度生成建模方法来压缩时间序列，重点是视频。我们的方法建立在变分自编码器（VAE）模型的顺序数据，并结合他们最近的工作神经图像压缩。该方法共同学习将原始序列转换为低维表示，以及根据序列VAE的预测对该表示进行离散化和熵编码。对来自不同复杂性和多样性的公共数据集的小视频进行的率失真评估表明，我们的模型在对通用视频内容进行训练时会产生有竞争力的结果。在专门的内容上训练模型时，可以实现极高的压缩性能。
2019-11-01 cs.CV cs.LG eess.IV
Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data
University of Maryland（马里兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
由于生成对抗网络（GANs）的突破，真实感图像生成已经达到了一个新的质量水平。然而，这种deepfakes的黑暗面，恶意使用生成的媒体，引起了人们对视觉错误信息的担忧。虽然现有的deepfake检测研究工作具有很高的准确性，但它受制于生成技术的进步和检测对策技术的对抗性迭代。因此，我们寻求一种主动和可持续的深度伪造检测解决方案，即通过将人工指纹引入模型，对生成模型的演变不可知。我们的方法简单而有效。我们首先将人工指纹嵌入到训练数据中，然后验证这种指纹从训练数据到生成模型的可转移性，这反过来又出现在生成的deepfake中。实验表明，我们的指纹识别解决方案（1）适用于各种尖端的生成模型，（2）对生成质量产生的副作用可以忽略不计，（3）对图像级和模型级扰动保持鲁棒性，（4）难以被对手检测到，（5）将deepfake检测和归因转换为琐碎的任务，并优于最近最先进的基线。我们的解决方案关闭了发布预训练的生成模型发明及其可能的滥用之间的责任循环，这使得它独立于当前的军备竞赛。代码和型号可在https://github.com/ningyu1991/ArtificialGANFingerprints上获得。
2022-03-17 cs.CR cs.CV cs.CY
DeepFlow: History Matching in the Space of Deep Generative Models
Imperial College London（帝国理工学院）
利用观测到的流体压力和速率的瞬态数据校准储层模型是获得地球地下的流动和输运行为的预测模型的关键任务。模型校准任务，通常被称为“历史匹配”，可以被形式化为一个不适定的逆问题，我们的目标是找到解释所观察到的动态数据的岩石物理性质的基本空间分布。我们使用在基于地质统计对象的模型上预训练的生成对抗网络来表示油气藏合成模型的岩石性质分布。油藏流体的动态行为是使用瞬态两相不可压缩达西公式建模。我们首先使用预训练的生成模型对属性分布进行建模，然后使用正问题的伴随方程对控制生成模型输出的潜变量执行梯度下降，从而反演底层储层属性。除了动态观测数据，我们包括井岩石类型的限制，通过引入一个额外的目标函数。我们的贡献表明，对于合成测试用例，我们能够通过在深层生成模型的潜变量空间中进行优化来获得反问题的解决方案，给出了一组非线性正问题的瞬态观测。
2019-06-12 cs.CV cs.LG physics.comp-ph
Generating and designing DNA with deep generative models
University of Toronto（多伦多大学）
我们提出了生成神经网络方法来生成DNA序列，并调整它们具有所需的属性。我们提出三种方法：使用生成对抗网络创建合成DNA序列;基于DNA的激活最大化（“深梦”）设计方法的变体;以及将这两种方法结合在一起的联合程序。我们发现，这些工具捕捉到的数据的重要结构，当应用于设计探针的蛋白质结合微阵列，使我们能够产生新的序列，其属性估计是优于那些发现在训练数据。我们相信，这些结果为应用深度生成模型推进基因组学研究打开了大门。
2017-12-17 cs.LG q-bio.GN stat.ML
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data
University of Cambridge（剑桥大学）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）
由于自然数据集的异质性，深度生成模型在现实世界的应用中通常表现不佳。异质性来自于包含不同类型特征的数据（分类、有序、连续等）。并且相同类型的特征具有不同的边缘分布。我们提出了一个扩展的变分自编码器（VAE）称为VAEM处理这样的异构数据。VAEM是一种深度生成模型，它以两阶段的方式进行训练，使得第一阶段为第二阶段提供更统一的数据表示，从而避免了异构数据引起的问题。我们提供了扩展VAEM处理部分观察到的数据，并证明其在数据生成，丢失的数据预测和顺序特征选择任务的性能。我们的研究结果表明，VAEM拓宽了可以成功部署深度生成模型的现实世界应用范围。
2020-06-21 cs.LG stat.ML
Roundtrip: A Deep Generative Neural Density Estimator
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
密度估计是统计学和机器学习中的一个基本问题。在这项研究中，我们提出了Roundtrip作为基于深度生成模型的通用神经密度估计器。Roundtrip保留了生成对抗网络（GANs）的生成能力，但也提供了密度值的估计。与以前的神经密度估计器不同，它对从潜在空间到数据空间的转换提出了严格的条件，Roundtrip允许使用更一般的映射。在一系列实验中，Roundtrip在各种密度估计任务中实现了最先进的性能。
2020-09-04 cs.LG stat.ME stat.ML
Deep Structured Generative Models
Tsinghua University（清华大学）
深度生成模型在生成逼真图像方面表现出了良好的效果，但生成具有复杂结构的图像仍然是不平凡的。其主要原因是目前的生成模型大多未能探索图像中的结构，包括空间布局和对象之间的语义关系。为了解决这个问题，我们提出了一种新的深度结构化生成模型，该模型在结构信息的帮助下增强生成对抗网络（GANs）。特别地，场景的布局或结构由随机与或图（sAOG）编码，其中终端节点表示单个对象，边缘表示对象之间的关系。通过适当地利用sAOG，我们的模型可以成功地捕获场景中的内在结构，并相应地生成复杂场景的图像。此外，引入检测网络来从图像中推断场景结构。实验结果表明，我们提出的方法的有效性的建模的内在结构，并产生真实感的图像。
2018-07-10 cs.LG stat.ML
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg（卢森堡大学）
缺失值的数据集在行业应用中非常常见，它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果，但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的：我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较，并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验，随机删除值并使用几种插补技术重建它们。我们的研究结果表明，分类变量的存在或不存在可以改变最佳模型的选择，并且在使用不同的随机数生成器种子进行类似运行后，某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
On Memorization in Probabilistic Deep Generative Models
The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
深度生成模型的最新进展在各种应用领域取得了令人印象深刻的结果。由于深度学习模型可能会记住部分输入数据，人们越来越多地努力了解记忆是如何产生的。在这项工作中，我们将最近提出的监督学习记忆措施（Feldman，2019）扩展到无监督密度估计问题，并使其在计算上更有效。接下来，我们提出了一项研究，展示了记忆如何发生在概率深度生成模型中，如变分自编码器。这表明，这些模型所受的记忆形式与模式坍塌和过拟合有着根本的不同。此外，我们表明，建议的记忆分数措施的现象，是没有捕获常用的最近邻测试。最后，我们讨论了几个策略，可以用来限制记忆在实践中。因此，我们的工作提供了一个框架，理解有问题的记忆概率生成模型。
2021-12-29 cs.LG stat.ML
Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System
传统的基于视觉的手势识别系统在黑暗环境下具有局限性。本文构建了一个基于微波收发器和深度学习算法的手势识别系统。采用5.8GHz双接收通道多普勒雷达传感器采集大量手势信号。然后对接收到的手势信号进行时频分析。基于这些大的手势数据库，我们提出了一种新的机器学习架构，称为可变形深度卷积生成对抗网络。实验结果表明，新的结构可以提高识别率10%，变形核可以减少测试时间成本30%。
2017-11-22 cs.LG stat.ML
A Comprehensive Benchmarking Platform for Deep Generative Models in Molecular Design
Bennett University（贝内特大学）
针对分子设计深度生成模型缺乏标准化评估的问题，本研究全面分析MOSES基准平台，评估多种生成架构的分子生成能力，揭示其指标互补性与化学空间探索利用的权衡，为AI药物发现发展奠基。
2025-05-19 cs.LG physics.atom-ph
Designing nanophotonic structures using conditional-deep convolutional generative adversarial networks
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
基于深度学习的数据驱动设计方法已被引入纳米光子学，以减少耗时的迭代模拟，这一直是一个重大挑战。在这里，我们报告了第一次使用条件深度卷积生成对抗网络来设计不受预定义形状约束的纳米光子天线。对于给定的输入反射光谱，网络生成图像形式的理想设计;这种形式允许建议不能由结构参数表示的新结构。从生成的设计得到的仿真结果与输入反射谱吻合得很好。这种方法通过提供一种快速方便的方法来设计具有所需光学特性的复杂纳米光子结构，为纳米光子学的发展开辟了新的途径。
2019-03-20 cs.LG physics.optics
Unsupervised Learning of Global Factors in Deep Generative Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
我们提出了一种新的基于非独立同分布的深度生成模型。变分自编码器以完全无监督的方式捕获观测之间的全局依赖性。与最近在深度生成模型中进行全局建模的半监督替代方案相比，我们的方法结合了局部或数据依赖空间中的混合模型和全局高斯潜变量，这使我们获得了三个特定的见解。首先，诱导的潜在全局空间捕获可解释的解纠缠表示，在证据下限中没有用户定义的正则化（如$β$ -VAE及其推广）。其次，我们表明，该模型执行域对齐，以找到相关性和不同的数据库之间的插值。最后，我们研究了全局空间区分具有非平凡底层结构的观测组的能力，例如具有共享属性的人脸图像或定义的数字图像序列。
2020-12-16 cs.LG stat.ML
Evaluating Lossy Compression Rates of Deep Generative Models
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究院）；Borealis AI（博瑞利斯人工智能研究所）
深度生成建模领域已经成功地产生了非常逼真的图像和音频，但定量评估仍然是一个挑战。对数似然是一个有吸引力的度量，由于其在统计学和信息论的基础，但它可能是具有挑战性的估计隐式生成模型，标量值度量给出了一个不完整的图片模型的质量。在这项工作中，我们建议使用率失真（RD）曲线来评估和比较深度生成模型。虽然估计RD曲线似乎比对数似然估计的计算要求更高，但我们表明，我们可以使用与以前用于实现单个对数似然估计的几乎相同的计算来近似整个RD曲线。我们在MNIST和CIFAR10数据集上评估了VAE、GANs和对抗自动编码器（AAE）的有损压缩率。测量整个RD曲线给出了比标量值度量更完整的图像，并且我们得出了一些仅从对数似然性无法获得的见解。
2020-08-15 cs.LG stat.ML
Study of Deep Generative Models for Inorganic Chemical Compositions
Panasonic Corporation（松下公司）
基于生成对抗网络（GANs）和变分自编码器（VAE）的生成模型在图像生成、语音生成和药物发现领域得到了广泛的研究，但是，只有少数研究关注无机材料的生成。这些研究使用材料的晶体结构，但材料研究人员很少存储这些信息。因此，我们在不使用晶体信息的情况下生成化学组成。我们使用一个条件VAE（CondVAE）和一个条件GAN（CondGAN），并表明CondGAN使用袋的原子表示与物理描述符生成更好的组合物比其他生成模型。此外，我们评估的有效性的Metropolis-Hastings为基础的原子价修改和外推性能，这是重要的材料发现。
2019-10-25 cond-mat.mtrl-sci cs.LG physics.comp-ph
Generative Models For Deep Learning with Very Scarce Data
Universitat Politècnica de València（瓦伦西亚理工大学）；Universidad Autónoma de Madrid（马德里自治大学）
本文的目标是处理深度学习技术失败的数据稀缺场景。我们比较了两种成熟的技术，限制玻尔兹曼机和变分自动编码器，作为生成模型，以增加分类框架中的训练集。从本质上讲，我们依靠马尔可夫链蒙特卡罗（MCMC）算法来生成新的样本。我们表明，推广可以提高这种方法相比，其他国家的最先进的技术，例如半监督学习与梯形网络。此外，我们表明，RBM是优于VAE生成新的样本训练分类器具有良好的泛化能力。
2019-03-21 cs.LG stat.ML
Algorithms that get old : the case of generative deep neural networks
CEREMADE（CEREMADE（巴黎多芬大学数学与决策研究中心））；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；CNRS（法国国家科学研究中心）
机器学习中使用的生成式深度神经网络，如变分自动编码器（VAE）和生成式对抗网络（GANs），每次被要求这样做时都会产生新对象，约束条件是新对象与作为输入的一些示例列表保持相似。然而，这种行为与人类艺术家的行为不同，人类艺术家会随着时间的推移改变他们的风格，很少回到最初的创作风格。我们调查的情况下，VAE是用来从一些经验数据集描述的概率测度的样本。基于最近的工作Radon-Sobolev统计距离，我们提出了一个数值范例，与生成算法结合使用，满足以下两个要求：创建的对象不重复和发展，以填补整个目标概率分布。
2022-09-29 cs.LG stat.ML
Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations
German Research Center for AI（德国人工智能研究中心）；Nvidia（英伟达）；Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Georgia Institute of Technology（佐治亚理工学院）
本文综述了深度生成模型在机器人多模态演示学习中的应用，涵盖模型类型、应用场景及泛化改进，并指出研究挑战与未来方向。
2024-08-21 cs.LG cs.RO
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley（加州大学伯克利分校）
在本文中，我们研究了生成对抗网络（GANs）对现代说话人识别系统合成欺骗攻击的能力。我们首先证明，使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数，利用数据是真实的，但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击，提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
Multi-fidelity Generative Deep Learning Turbulent Flows
University of Notre Dame（圣母大学）
在计算流体动力学中，准确性和计算成本之间存在不可避免的权衡。在这项工作中，一种新的多保真度的深度生成模型被引入到高保真度的湍流场的代理建模中，给出了一个计算上便宜但不准确的低保真度求解器的解决方案。由此产生的代理是能够产生物理上准确的湍流实现的计算成本的幅度低于高保真模拟。开发的深度生成模型是一个条件可逆神经网络，使用规范化流构建，具有循环LSTM连接，允许以高预测精度稳定训练瞬态系统。该模型使用变分损失进行训练，该变分损失结合了数据驱动和物理约束学习。该模型适用于非平凡的高雷诺数流动的纳维-斯托克斯方程，包括湍流在一个向后面对的步骤，在不同的雷诺数和湍流尾迹后的钝体阵列。对于这两个例子，该模型能够生成独特的但物理上准确的湍流流体流动的条件下，一个廉价的低保真度的解决方案。
2020-12-11 cs.LG physics.comp-ph physics.flu-dyn
Deep Learning Convective Flow Using Conditional Generative Adversarial Networks
Carnegie Mellon University（卡内基梅隆大学）
本文提出FluidGAN，一个数据驱动的条件生成对抗网络框架，用于学习和预测与能量传输耦合的对流流动，无需物理先验知识，并捕捉速度、压力与温度场的耦合。
2023-06-18 cs.LG physics.comp-ph physics.flu-dyn
Transitive Vision-Language Prompt Learning for Domain Generalization
Xiamen University（厦门大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
本文提出一种新颖的提示学习策略，利用深度视觉提示提取领域不变特征，结合语言提示确保类可分离性及自适应加权机制平衡二者，在三个数据集上实现了最先进的领域泛化性能。
2024-04-29 cs.CV cs.LG
Deep Generative Classifiers for Thoracic Disease Diagnosis with Chest X-ray Images
Northwestern University（西北大学）
胸部疾病是非常严重的健康问题，困扰着大量的人。胸部X射线是目前最流行的诊断胸部疾病的方法之一，在医疗保健工作流程中发挥着重要作用。然而，阅读胸部X射线图像并给出准确的诊断仍然是放射科专家的挑战性任务。随着深度学习在计算机视觉中的成功，越来越多的深度神经网络架构被应用于胸部X射线图像分类。然而，大多数以前的深度神经网络分类器都是基于确定性架构的，这些架构通常对噪声非常敏感，并且可能会加剧过拟合问题。在本文中，为了使深度架构对噪声更具鲁棒性并减少过拟合，我们提出使用深度生成分类器从胸部X射线图像中自动诊断胸部疾病。与传统的确定性分类器不同，深度生成式分类器在深度神经网络中具有分布中间层。然后，采样层从分布层中抽取随机样本，并将其输入到下一层进行分类。分类器是生成的，因为类标签是从相关分布的样本中生成的。通过训练具有一定随机性的模型，深度生成分类器有望对噪声具有鲁棒性，并可以减少过拟合，从而获得良好的性能。我们基于许多众所周知的确定性神经网络架构实现了我们的深度生成分类器，并在胸部X射线14数据集上测试了我们的模型。结果表明，与相应的深度确定性分类器相比，深度生成分类器的优越性。
2018-11-08 cs.AI cs.CV cs.LG
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology（麻省理工学院）；SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题，但它需要大量内存，甚至更糟的是，在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发，我们提出了深度生成重播，这是一种新颖的框架，具有合作双模型架构，由深度生成模型（“生成器”）和任务求解模型组成（“求解器”）。只有这两个模型，以前任务的训练数据可以很容易地被采样，并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
Max-margin Deep Generative Models
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
深度生成模型（DGMs）在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而，很少有工作已经做了检查或授权的判别能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型（mmDGMs），该模型探索了最大间隔学习的强区分原则，以提高DGMs的区分能力，同时保留生成能力。针对分段线性目标，提出了一种有效的双随机次梯度算法。在MNIST和SVHN数据集上的实验结果表明，（1）最大间隔学习可以显着提高DGMs的预测性能，同时保持生成能力;（2）通过采用深度卷积神经网络（CNN）作为识别和生成模型，mmDGMs与最先进的完全判别网络相比具有竞争力。
2015-12-15 cs.CV cs.LG
Building LEGO Using Deep Generative Models of Graphs
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）
生成模型现在用于创建各种高质量的数字工件。然而，它们在设计物理对象中的应用却很少受到关注。在本文中，我们主张建设玩具，乐高，作为一个平台，开发生成模型的顺序组装。我们开发了一个基于图结构神经网络的生成模型，它可以从人类建造的结构中学习，并产生视觉上引人注目的设计。我们的代码发布于：https://github.com/uoguelph-mlrg/GenerativeLEGO。
2020-12-21 cs.AI cs.LG
Network Bending: Expressive Manipulation of Deep Generative Models
Goldsmiths, University of London（伦敦大学金史密斯学院）；University of The Arts London（伦敦艺术大学）
我们引入了一个新的框架，用于操纵和与深度生成模型交互，我们称之为网络弯曲。我们提出了一套全面的确定性转换，可以插入到一个训练有素的生成神经网络的计算图，并在推理过程中应用的不同层。此外，我们提出了一种新的算法，用于分析深度生成模型和基于空间激活图的聚类特征。这允许以无监督的方式基于空间相似性将特征分组在一起。这导致对对应于生成的图像的大量语义上显著的特征的生成的特征集的有意义的操纵。我们概述了这个框架，展示了我们在几个图像数据集上训练的最先进的深度生成模型的结果。我们展示了它如何允许直接操纵语义有意义的方面的生成过程，以及允许广泛的表达结果。
2021-03-12 cs.CV cs.LG
Generative Counterfactual Introspection for Explainable Deep Learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在这项工作中，我们提出了一种用于深度神经网络的内省技术，该技术依赖于生成模型来煽动对输入图像进行显着编辑以进行模型解释。这种修改提供了基本的干预操作，使我们能够获得反事实调查的答案，即，可以对输入图像进行什么有意义的改变以改变预测。我们演示了如何通过利用MNIST和CelebA数据集上提出的内省方法来揭示给定分类器的有趣特性。
2019-07-06 cs.AI cs.CV cs.LG
Theory of Generative Deep Learning : Probe Landscape of Empirical Error via Norm Based Capacity Control
University of Chinese Academy of Sciences（中国科学院大学）
尽管深度学习作为人工智能的一个极具竞争力的分支，在经验上取得了显著的成功，但它经常因其广为人知的低解释性和缺乏坚实严谨的数学基础而受到指责。然而，大多数理论研究都集中在判别式深度学习的情况下，其补充部分是生成式深度学习。据我们所知，我们首先突出景观的经验错误生成的情况下，完成完整的图片，通过精致的设计图像超分辨率下基于范数的容量控制。我们在解释训练动态方面的理论进展是从数学和生物学两个方面实现的。
2018-10-03 cs.CV cs.LG
Deep Verifier Networks: Verification of Deep Discriminative Models with Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce Research（赛富时研究院）；Harvard Medical School, Harvard University（哈佛医学院（哈佛大学））；Fanhan Tech.（泛函科技）
AI安全是自动驾驶等许多深度学习应用中的主要问题。给定一个经过训练的深度学习模型，一个重要的自然问题是如何可靠地验证模型的预测。在本文中，我们提出了一种新的框架-深度验证器网络（DVN），以验证深度生成模型的深度判别模型的输入和输出。我们提出的模型是基于条件变分自动编码器与解纠缠约束。我们给出了直观和理论的理由模型。我们的验证者网络是独立于预测模型进行训练的，这消除了为新模型重新训练验证者网络的需要。我们测试了验证器网络的分布外检测和对抗性示例检测问题，以及结构化预测任务（如图像标题生成）中的异常检测问题。我们在所有这些问题上都取得了最先进的成果。
2021-01-01 cs.AI cs.CV cs.LG
DeepCancer: Detecting Cancer through Gene Expressions via Deep Generative Learning
University of Florida（佛罗里达大学）
在微阵列上进行转录谱分析以获得基因表达已被用于促进癌症诊断。我们提出了一种深度生成机器学习架构（称为DeepCancer），它从未标记的微阵列数据中学习特征。这些模型已经与常规分类器结合使用，所述常规分类器将组织样本分类为癌性或非癌性。该模型已在两个不同的临床数据集上进行了测试。评估表明，DeepCancer模型达到了非常高的精度分数，同时显著控制了假阳性和假阴性分数。
2016-12-13 cs.AI cs.LG q-bio.GN
