Graphite: Iterative Generative Modeling of Graphs
Stanford University（斯坦福大学）
图是关系数据建模的基本抽象。然而，图本质上是离散的和组合的，并且适合于机器学习任务的学习表示提出了统计和计算挑战。在这项工作中，我们提出了Graphite，这是一种使用深度潜变量生成模型对大型图中的节点表示进行无监督学习的算法框架。我们的模型参数化变分自编码器（VAE）与图神经网络，并使用一种新的迭代图细化策略启发低秩近似解码。在各种各样的合成和基准数据集上，Graphite在密度估计、链接预测和节点分类等任务上优于竞争方法。最后，我们推导出图神经网络中的消息传递和平均场变分推断之间的理论联系。
2019-05-15 cs.LG cs.NE cs.SI
GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Microsoft Research（微软研究院）
图神经网络（GNN）已被证明是强大的建模图结构的数据。然而，训练GNN通常需要大量特定于任务的标记数据，而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型，然后将学习到的模型转移到只有几个标签的下游任务。在本文中，我们提出了GPT-GNN框架，通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN，以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分：1）属性生成和2）边生成。通过对这两个组件进行建模，GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明，GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型，最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
GIN-Graph: A Generative Interpretation Network for Model-Level Explanation of Graph Neural Networks
本文提出GIN-Graph生成式解释网络，利用免似然生成对抗网络和动态损失权重方案生成可靠且高质量的图神经网络模型级解释图，解决了现有方法生成无效解释图及缺乏可靠性的问题。
2025-09-18 cs.LG
Will More Expressive Graph Neural Networks do Better on Generative Tasks?
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
本文通过将图生成模型中的底层GNN替换为更具表达力的GNN，在ZINC-250k上系统评估六种GNN在自回归与一次性生成框架下的表现，证明更强GNN可提升分子生成性能并取得领先结果，但表达能力并非优秀生成模型的必要条件。
2024-02-20 cs.AI cs.LG q-bio.BM
Discovering Graph Generation Algorithms
ETH Zurich（苏黎世联邦理工学院）
本文提出用进化搜索配合随机初始化图神经网络作为适应度函数，自动发现可解释为 Python 函数的图生成算法，并证明其可媲美甚至超越深度生成模型。
2023-04-25 cs.LG cs.NE
Graph-based Deep Generative Modelling for Document Layout Generation
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
任何深度学习方法的主要先决条件之一是大规模训练数据的可用性。当在现实世界中处理扫描的文档图像时，其内容的主要信息存储在布局本身中。在这项工作中，我们提出了一个自动化的深度生成模型，使用图神经网络（GNNs）来生成具有高度可变和合理的文档布局的合成数据，这些文档布局可用于训练文档解释系统，在这种情况下，特别是在数字邮件收发室应用中。这也是第一个基于图形的方法，用于在管理文档图像（在本例中为发票）上进行的文档布局生成任务。
2021-07-09 cs.CV cs.LG
Graph Generative Model for Benchmarking Graph Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对GNN领域基准图数据集少且隐私受限的问题，提出隐私可控的图生成模型CGT，可生成与源图性能表现相近的大规模基准图，经实验验证效果优于现有同类模型。
2023-06-09 cs.AI cs.CR cs.LG
Labeled Graph Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
\emph{generative adversarial networks}（GANs）作为一种新的生成模型训练方法，在图像生成方面取得了巨大的成功。这个框架最近也被应用于具有图形结构的数据。我们提出了标记图生成对抗网络（LGGAN）来训练具有节点标签的图结构数据的深度生成模型。我们在各种类型的图形数据集上测试了该方法，例如引文网络和蛋白质图的集合。实验结果表明，该模型能够生成与训练数据结构特征相匹配的标记图，在质量和通用性上优于其他方法。为了进一步评估生成的图的质量，我们将它们用于图分类的下游任务，结果表明LGGAN可以忠实地捕获图结构的重要方面。
2021-02-25 cs.LG stat.ML
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Are generative deep models for novelty detection truly better?
UTIA CAS（捷克科学院信息理论与自动化研究所）；FEL CTU Prague（布拉格捷克理工大学电气工程学院）
最近已经提出了许多用于异常检测的深度模型。本文在大量非图像基准数据集上比较了选定的生成深度模型和经典异常检测方法。我们提供所选模型的统计比较，在许多配置，架构和hyperparamaters。我们得出的结论是，生成模型的性能是由其超参数的选择过程。具体而言，深度生成模型的性能随着超参数选择中使用的异常样本量的减少而恶化。在异常检测的实际场景中，没有一个深度生成模型系统地优于kNN。
2018-07-13 cs.LG stat.ML
A Systematic Survey on Deep Generative Models for Graph Generation
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Emory University（埃默里大学）
图是描述对象及其关系的重要数据表示，这些对象及其关系出现在各种各样的现实世界场景中。图的生成是这一领域的关键问题之一，它考虑的是学习给定图的分布，从而生成更多的新图。由于其广泛的应用，图的生成模型，这有着丰富的历史，然而，传统上是手工制作的，只能建模的一些统计特性的图。用于图形生成的深度生成模型的最新进展是朝着提高生成图形的保真度迈出的重要一步，并为新类型的应用铺平了道路。本文对用于图生成的深度生成模型领域的文献进行了广泛的概述。首先，形式化地定义了用于图生成的深度生成模型，并提供了初步的知识。其次，分别对无条件图生成和有条件图生成的深度生成模型进行了分类，并对各自的已有工作进行了比较和分析。在此之后，在这个特定的领域的评估指标的概述。最后，总结了深度图生成的应用，并强调了五个有前途的未来研究方向。
2022-10-04 cs.LG stat.ML
A survey of multimodal deep generative models
The University of Tokyo（东京大学）
多模态学习是一个用于构建模型的框架，该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而，实现这一目标需要考虑多模态数据的异构性。近年来，深度生成模型，即，其中分布由深度神经网络参数化的生成模型已经吸引了很多关注，特别是变分自编码器，其适合于完成上述挑战，因为它们可以考虑异质性并推断数据的良好表示。因此，近年来已经提出了各种基于变分自编码器的多模态生成模型，称为多模态深度生成模型。在本文中，我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
On Hierarchical Multi-Resolution Graph Generative Models
Noah’s Ark Lab（诺亚方舟实验室）
本文提出一种分层多分辨率图生成模型，通过从粗到细递归生成社区结构并支持并行生成子结构，有效捕捉图的层次结构并提升生成性能与可扩展性。
2023-05-30 cs.LG stat.ML
Deep Generative Model for Sparse Graphs using Text-Based Learning with Augmentation in Generative Examination Networks
Firmenich SA（芬美意公司）
图形和网络是各种科学领域的关键研究工具，最显着的是化学，生物学，工程和社会科学。图的建模和生成与有效的采样是一个关键的挑战图。特别地，顶点的非唯一性、高维度和边缘的局部依赖性可能使任务具有挑战性。我们应用我们最近引入的方法，生成检查网络（GENs）创建第一个基于文本的生成图模型，使用单行文本格式作为图形表示。在我们的GEN中，单行文本格式的RNN生成模型自主学习预测下一个可用字符。通过检查机制来停止训练，该检查机制检查验证所生成的有效图的百分比。我们使用密集的g6字符串实现了中度到高度的有效性（随机67.8 +/- 0.6，规范99.1 +/- 0.2）。基于这些结果，我们已经适应了广泛使用的SMILES表示分子的一种新的输入格式，我们称之为线性图输入（LGI）。除了简短的可压缩文本格式的好处之外，一个主要的优点包括可以随机化和增加格式。生成模型的整体性能和属性空间的重建进行评估。结果表明，LGI字符串非常适合机器学习，增强是必不可少的有效性，唯一性和新颖性方面的模型的性能。最后，该格式可以解决更小和更大的图形数据集，并且该格式可以很容易地适应于定义在LGI字符串中使用的字符的另一种含义，并且可以解决在其他科学领域中使用的稀疏图问题。
2019-09-24 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
Scalable Generative Models for Graphs with Graph Attention Mechanism
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
图是普遍存在的真实世界的数据结构，并且近似图上的分布并从中导出新样本的生成模型具有显著的重要性。在图生成任务中的已知挑战中，大型图和数据集的可扩展性处理是实际应用中最重要的挑战之一。最近，越来越多的图生成模型已经被提出，并表现出令人印象深刻的结果。然而，由于生成过程复杂或训练并行化困难，可扩展性仍然是一个未解决的问题。在本文中，我们首先从三个不同的角度定义可扩展性：节点数量，数据和节点/边缘标签。然后，我们提出了一种生成模型，它可以在所有三种情况下扩展，特别是在训练中。我们的目标是实现可扩展性，采用一种新的图形注意力机制，制定一个简单和一般的方式的可能性图。此外，我们应用两种技术来减少计算复杂性。此外，我们构建了一个统一的和非特定领域的评价指标，在节点/边标记图生成任务相结合的图形内核和最大均值离散。我们在合成图和真实世界图上的实验证明了我们模型的可扩展性和与基线方法相比的优越性能。
2019-10-03 cs.LG stat.ML
A generative neural network model for random dot product graphs
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了GraphMoE，一种新的基于神经网络的方法来学习随机图的生成模型。神经网络被训练成通过矩估计器来匹配一类随机图的分布。用于训练的特征是graphlets，小顺序的子图计数。神经网络接受随机噪声作为输入，并输出图中节点的矢量表示。然后通过将核应用于表示来实现随机图。通过这种方式生成的图表被证明能够模仿来自化学、医学和社交网络的数据。生成的图与目标数据足够相似，从而能够欺骗能够分离随机图类别的随机神经网络。
2022-04-15 cs.LG stat.ML
Learning Deep Generative Models with Annealed Importance Sampling
The University of Chicago（芝加哥大学）；The Grossman Institute for Neuroscience, Quantitative Biology and Human Behavior（格罗斯曼神经科学、定量生物学与人类行为研究所）
变分推断（VI）和马尔可夫链蒙特卡罗（MCMC）是通过最大化边际似然来学习深度生成模型的两种主要近似方法。在本文中，我们提出使用退火重要性抽样来学习深度生成模型。我们提出的方法桥VI与MCMC。它概括了VI方法，如变分自动编码器和重要性加权自动编码器（IWAE）以及（Hoffman，2017）中提出的MCMC方法。它还提供了为什么运行多个短MCMC链可以帮助学习深度生成模型的见解。通过实验，我们表明，我们的方法产生更好的密度模型比IWAE，可以有效地贸易模型精度的计算，而不增加内存成本。
2020-11-30 cs.LG stat.ML
GLAD: Improving Latent Graph Generative Modeling with Simple Quantization
Geneva School for Business Administration (HES-SO)（日内瓦工商管理学院（HES-SO））；University of Geneva（日内瓦大学）
本文提出 GLAD，一种在离散潜空间中运行、利用扩散桥学习先验的等变图生成模型，并在多个图基准上达到与最先进方法相竞争的性能。
2025-02-17 cs.LG stat.ML
Flexible Prior Distributions for Deep Generative Models
ETH Zurich（苏黎世联邦理工学院）
我们考虑用深度神经网络作为生成器来训练生成模型的问题，即将潜在代码映射到数据点。虽然占主导地位的范例结合了简单的先验代码与复杂的确定性模型，我们认为，它可能是有利的，使用更灵活的代码分布。我们演示了如何可以直接从数据中诱导这些分布。好处包括：更强大的生成模型，更好的潜在结构建模和显式控制的泛化程度。
2018-01-07 cs.LG stat.ML
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University（斯坦福大学）
在高维环境中，密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功，深生成模型的归纳偏差还没有得到很好的理解。在本文中，我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发，我们使用精心设计的训练数据集来探索每种学习算法，以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处，并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing（北京科技大学）；Technical University of Denmark（丹麦技术大学）
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而，这些表示往往会扭曲点之间的关系，即成对距离往往不能很好地反映语义相似性。这使得无监督的任务，如聚类，在使用潜在表示时变得困难。我们证明，考虑到生成模型的几何形状是足够的，使简单的聚类算法的工作以及潜在的表示。依靠最近的发现，深生成模型构成随机浸入黎曼流形，我们提出了一个有效的算法，用于计算测地线（最短路径）和计算潜在空间中的距离，同时考虑到它的失真。我们进一步提出了一种新的架构，用于对变分自编码器中的不确定性进行建模，这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
MolGAN: An implicit generative model for small molecular graphs
University of Amsterdam（阿姆斯特丹大学）
图结构数据的深度生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可微模型，可以在离散和巨大的化学结构空间中避开昂贵的搜索程序。我们引入MolGAN，一个隐式的，无可能性的生成模型的小分子图，避免了昂贵的图匹配程序或节点排序算法以前的可能性为基础的方法的需要。我们的方法适应生成对抗网络（GANs）直接对图结构数据进行操作。我们将我们的方法与强化学习目标相结合，以鼓励生成具有特定所需化学性质的分子。在QM9化学数据库上的实验中，我们证明了我们的模型能够生成接近100%的有效化合物。MolGAN与最近提出的使用基于字符串（SMILES）的分子表示和直接生成图形的基于可能性的方法相比都很有利，尽管容易受到模式崩溃的影响。代码https://github.com/nicola-decao/MolGAN
2022-09-27 cs.LG stat.ML
TG-GAN: Continuous-time Temporal Graph Generation with Deep Generative Models
George Mason University（乔治梅森大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
最近正在积极开发的静态图的深度生成模型在分子设计等领域取得了重大成功。然而，许多现实世界的问题涉及时序图，其拓扑结构和属性值随时间动态演变，包括重要的应用，如蛋白质折叠，人类移动网络和社交网络增长。到目前为止，用于时间图的深度生成模型尚未得到很好的理解，并且用于静态图的现有技术不足以用于时间图，因为它们不能1）按时间顺序编码和解码连续变化的图拓扑，2）通过时间约束强制有效性，或者3）确保信息无损时间分辨率的效率。为了解决这些挑战，我们提出了一个新的模型，称为“时间图生成对抗网络"（TG-GAN）的连续时间时间图生成，通过建模截断时间随机游走及其组成的深层生成过程。具体来说，我们首先提出了一种新的时间图生成器，联合模型截断边序列，时间预算，和节点属性，与新的激活函数，执行时间有效性约束下经常性架构。此外，提出了一种新的时间图编码，它结合了时间和节点编码操作的递归架构，以区分所产生的序列从一个新开发的截断时间随机游走采样器采样的真实的。在合成数据集和真实数据集上的大量实验表明，TG-GAN在效率和有效性方面明显优于比较方法。
2020-06-09 cs.LG stat.ML
An Efficient Explorative Sampling Considering the Generative Boundaries of Deep Generative Neural Networks
Ulsan National Institute of Science and Technology（蔚山国立科学技术研究院）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
深度生成神经网络（DGNN）已经实现了真实和高质量的数据生成。特别是，对抗训练方案已应用于许多DGNN，并表现出强大的性能。尽管生成网络最近取得了进展，但识别图像生成机制仍然具有挑战性。本文提出了一种探索性抽样算法来分析DGNN的生成机制。我们的方法有效地从训练模型的角度从查询图像中获得具有相同属性的样本。我们定义了生成边界，它决定了内部层中节点的激活，并利用这些信息在模型内部进行探测。为了处理大量的边界，我们使用优化来获得基本的边界集。通过在生成边界包围的区域内收集样本，我们可以凭经验揭示DGNN内部层的特征。我们还表明，我们的算法可以找到更均匀的，模型特定的样本相比，基于ε的采样方法的变化。
2019-12-12 cs.LG stat.ML
Source Separation with Deep Generative Priors
尽管在信号声源分离方面取得了实质性的进展，但丰富结构化数据的结果仍然包含可感知的伪像。相比之下，最近的深度生成模型可以在各种领域中产生真实的样本，这些样本与数据分布的样本无法区分。本文介绍了一种贝叶斯方法，声源分离，使用生成模型作为先验的混合源的组成部分，和噪声退火Langevin动力学样本的混合源的后验分布。这解决了生成建模的声源分离问题，使我们能够直接使用最先进的生成模型作为先验。该方法实现了最先进的性能MNIST数字分离。我们引入了新的方法来评估更丰富的数据集上的分离质量，提供CIFAR-10上的分离结果的定量评估。我们还提供LSUN的定性结果。
2020-09-21 cs.LG stat.ML
VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data
University of Cambridge（剑桥大学）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）
由于自然数据集的异质性，深度生成模型在现实世界的应用中通常表现不佳。异质性来自于包含不同类型特征的数据（分类、有序、连续等）。并且相同类型的特征具有不同的边缘分布。我们提出了一个扩展的变分自编码器（VAE）称为VAEM处理这样的异构数据。VAEM是一种深度生成模型，它以两阶段的方式进行训练，使得第一阶段为第二阶段提供更统一的数据表示，从而避免了异构数据引起的问题。我们提供了扩展VAEM处理部分观察到的数据，并证明其在数据生成，丢失的数据预测和顺序特征选择任务的性能。我们的研究结果表明，VAEM拓宽了可以成功部署深度生成模型的现实世界应用范围。
2020-06-21 cs.LG stat.ML
Concept-Oriented Deep Learning: Generative Concept Representations
IBM（IBM（国际商业机器公司））
与判别式概念表示相比，生成式概念表示具有三大优势：能够表示不确定性，支持学习和推理的集成，有利于无监督和半监督学习。我们讨论了生成概念表示所基于的概率和生成深度学习，以及使用变分自编码器和生成对抗网络来学习生成概念表示，特别是对于数据是序列，结构化数据或图形的概念。
2018-11-15 cs.AI cs.LG stat.ML
Generative Deep Deconvolutional Learning
Duke University（杜克大学）
生成贝叶斯模型被开发用于深度（多层）卷积字典学习。一种新的概率池化操作被集成到深度模型中，从而产生高效的自下而上和自上而下的概率学习。在学习深度卷积字典之后，通过解卷积推理来实现测试。为了加快这种推理，提出了一种新的统计方法，将顶层字典元素投影到数据级。在此之后，在测试期间仅需要一层去卷积。实验结果表明，该模型具有强大的能力，从图像中学习多层特征。在MNIST和Caltech 101数据集上都获得了很好的分类结果。
2015-02-22 cs.LG stat.ML
Deep Structured Generative Models
Tsinghua University（清华大学）
深度生成模型在生成逼真图像方面表现出了良好的效果，但生成具有复杂结构的图像仍然是不平凡的。其主要原因是目前的生成模型大多未能探索图像中的结构，包括空间布局和对象之间的语义关系。为了解决这个问题，我们提出了一种新的深度结构化生成模型，该模型在结构信息的帮助下增强生成对抗网络（GANs）。特别地，场景的布局或结构由随机与或图（sAOG）编码，其中终端节点表示单个对象，边缘表示对象之间的关系。通过适当地利用sAOG，我们的模型可以成功地捕获场景中的内在结构，并相应地生成复杂场景的图像。此外，引入检测网络来从图像中推断场景结构。实验结果表明，我们提出的方法的有效性的建模的内在结构，并产生真实感的图像。
2018-07-10 cs.LG stat.ML
Graph-Driven Generative Models for Heterogeneous Multi-Task Learning
Duke University（杜克大学）；Infinia ML, Inc（Infinia ML公司）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Facebook, Inc（脸书公司）
我们提出了一种新的图驱动的生成模型，将多个异构的学习任务统一到同一个框架中。所提出的模型是基于这样一个事实，即异构的学习任务，对应于不同的生成过程，往往依赖于共享的图形结构的数据。因此，我们的模型将图卷积网络（GCN）与多个变分自编码器相结合，从而嵌入图的节点，即，任务的样本），同时将它们的组织和使用专门化到不同的任务。我们专注于医疗保健应用程序（任务），包括临床主题建模，程序推荐和入院类型预测，我们证明了我们的方法成功地利用了不同任务的信息，提高了所有任务的性能，并优于现有的最先进的方法。
2019-11-20 cs.LG stat.ML
Scalable Deep Generative Modeling for Sparse Graphs
Google Research（谷歌研究院）；DeepMind
学习图生成模型对于深度学习来说是一项具有挑战性的任务，并且在化学、生物学和社会科学等一系列领域具有广泛的适用性。然而，当前的深度神经方法具有有限的可扩展性：对于具有$n$节点和$m$边的图，现有的深度神经方法需要通过建立邻接矩阵来实现$Ω(n^2)$复杂度。另一方面，许多现实世界的图实际上是稀疏的，在这个意义上，$m\ll n^2$。在此基础上，我们开发了一种新的自回归模型，命名为BiGG，利用这种稀疏性，以避免生成完整的邻接矩阵，并大大降低了图形生成的时间复杂度$O((n + m)\log n)$。此外，在训练期间，该自回归模型可以与$O(\log n)$同步阶段并行化，这使得它比需要$Ω(n)$的其他自回归模型更有效。在几个基准上的实验表明，所提出的方法不仅可以扩展到比以前的深度自回归图生成模型更大的图形数量级，而且可以产生更好的图形生成质量。
2020-06-28 cs.LG stat.ML
DeepCloud. The Application of a Data-driven, Generative Model in Design
Carnegie Mellon University（卡内基梅隆大学）
生成系统具有合成创新设计方案的巨大潜力。尽管如此，大多数在设计中采用的通用系统要求设计者明确定义程序的规范，在某些情况下还需要定义设计空间。相比之下，生成系统可以通过处理现有解决方案的数据库来学习这两个方面，而无需设计师的监督。为了探索这种可能性，我们回顾了机器学习中生成模型的最新进展以及学习技术在设计中的当前应用。然后，我们描述了一个名为DeepCloud的数据驱动生成系统的开发。它将点云自动编码器架构与基于Web的界面和模拟输入设备相结合，为数据驱动的设计方案生成提供直观体验。我们描述了DeepCloud的两个原型的实现，它们的贡献以及生成设计的潜力。
2019-04-01 cs.LG stat.ML
Physics-informed deep generative models
University of Pennsylvania（宾夕法尼亚大学）
我们考虑了深层生成模型在复杂物理系统中传播不确定性的应用。具体来说，我们提出了一个隐式的变分推断制定约束生成模型的输出，以满足给定的物理定律表示的偏微分方程。这样的物理通知约束提供了一种正则化机制，用于有效地训练深度概率模型，用于对物理系统进行建模，其中数据采集的成本很高，并且训练数据集通常很小。这提供了一个可扩展的框架，用于表征由于输入的随机性或观测中的噪声而导致的物理系统输出的不确定性。我们证明了我们的方法的有效性，通过一个典型的例子在运输动力学。
2018-12-09 cs.LG stat.ML
Provably robust deep generative models
Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）
最近在对抗攻击方面的工作已经开发出可证明鲁棒的方法来训练深度神经网络分类器。然而，尽管它们经常在鲁棒性的背景下被提及，但深度生成模型本身在形式上分析其鲁棒性方面受到的关注相对较少。在本文中，我们提出了一种训练可证明鲁棒的生成模型的方法，特别是变分自动编码器（VAE）的可证明鲁棒版本。要做到这一点，我们首先正式定义一个（可证明的）鲁棒下界的似然变分下界，然后展示如何在训练过程中优化这个界，以产生一个鲁棒的VAE。我们在简单的例子上评估了该方法，并表明它能够产生对对抗攻击更加鲁棒的生成模型（即，对手试图扰乱输入，以便显著降低它们在模型下的可能性）。
2020-04-22 cs.LG stat.ML
Deep generative LDA
Tsinghua University（清华大学）
线性判别分析（LDA）是一种流行的分类和降维工具。然而，受限于其线性形式和潜在的高斯假设，LDA不适用于数据分布复杂的情况。最近，我们提出了一个判别归一化流（DNF）模型。在这项研究中，我们将DNF重新解释为一个深度生成LDA模型，并研究其在表示复杂数据时的特性。我们进行了仿真实验和说话人识别实验。结果表明，DNF及其子空间版本是更强大的比传统的LDA在复杂的数据建模和检索低维表示。
2020-10-30 cs.LG stat.ML
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法，该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开，并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练，而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Towards Robust Classification with Deep Generative Forests
Eindhoven University of Technology（埃因霍温理工大学）
决策树和随机森林是最广泛使用的机器学习模型之一，并且通常在表格，领域不可知的数据集中实现最先进的性能。尽管如此，作为主要的判别模型，它们缺乏原则性的方法来操纵预测的不确定性。在本文中，我们利用生成森林（GeFs），最近一类的深度概率模型，通过将随机森林扩展到表示特征空间上的完整联合分布的生成模型来解决这些问题。我们证明了GeFs是不确定性感知的分类器，能够测量每个预测的鲁棒性以及检测出的分布样本。
2020-07-11 cs.LG stat.ML
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg（卢森堡大学）
缺失值的数据集在行业应用中非常常见，它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果，但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的：我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较，并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验，随机删除值并使用几种插补技术重建它们。我们的研究结果表明，分类变量的存在或不存在可以改变最佳模型的选择，并且在使用不同的随机数生成器种子进行类似运行后，某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
Deep Generative Quantile-Copula Models for Probabilistic Forecasting
Amazon（亚马逊）
我们介绍了一类新的多变量条件生成模型，并证明其性能和通用性的概率时间序列预测和模拟。具体地说，分位数回归网络的输出通过从潜在均匀分布到目标分布的单变量映射从一组固定分位数扩展到整个分位数函数。然后，通过学习每个维度的边缘分布的分位数函数，然后估计条件Copula来关联这些潜在的均匀随机变量，来解决多变量的情况。分位数函数和copula一起定义联合预测分布，可以通过单个隐式生成深度神经网络来参数化。
2019-07-24 cs.LG stat.ML
Generative Graph Convolutional Network for Growing Graphs
Walmart Labs（沃尔玛实验室）
对生长图的生成过程建模在社交网络和推荐系统中有着广泛的应用，其中冷启动问题导致新节点从现有图中分离出来。尽管在学习图表示和图生成的新兴文献，其中大多数不能处理孤立的新节点没有非平凡的修改。挑战的出现是由于这样一个事实，即学习生成表示的观察图中的节点在很大程度上依赖于拓扑特征，而对于新的节点，只有节点属性可用。在这里，我们提出了一个统一的生成图卷积网络，学习所有节点的节点表示自适应生成模型框架，通过采样从观察到的图形数据构建的图形生成序列。我们优化的变分下界，由一个图重建项和自适应Kullback-Leibler发散正则化项。我们证明了我们的方法在几个基准引文网络数据集上的优越性能。
2019-03-06 cs.LG cs.SI stat.ML
On Memorization in Probabilistic Deep Generative Models
The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
深度生成模型的最新进展在各种应用领域取得了令人印象深刻的结果。由于深度学习模型可能会记住部分输入数据，人们越来越多地努力了解记忆是如何产生的。在这项工作中，我们将最近提出的监督学习记忆措施（Feldman，2019）扩展到无监督密度估计问题，并使其在计算上更有效。接下来，我们提出了一项研究，展示了记忆如何发生在概率深度生成模型中，如变分自编码器。这表明，这些模型所受的记忆形式与模式坍塌和过拟合有着根本的不同。此外，我们表明，建议的记忆分数措施的现象，是没有捕获常用的最近邻测试。最后，我们讨论了几个策略，可以用来限制记忆在实践中。因此，我们的工作提供了一个框架，理解有问题的记忆概率生成模型。
2021-12-29 cs.LG stat.ML
Semi-unsupervised Learning of Human Activity using Deep Generative Models
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了“半无监督学习”，这是一种与迁移学习和zero-shot学习相关的问题机制，在训练数据中，一些类是稀疏标记的，而另一些则完全没有标记。能够从这种类型的训练数据中学习的模型可能非常有用，因为许多真实世界的数据集都是这样的。在这里，我们展示了一个新的深度生成模型在这个政权的分类。我们的模型是一个高斯混合深度生成模型，在MNIST上展示了优于Kingma和Welling（2014）的M2模型的半无监督分类性能。我们将该模型应用于人体加速度计数据，在时间序列数据的窗口上进行活动分类和结构发现。
2018-12-11 cs.LG stat.ML
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Towards quantitative methods to assess network generative models
Shahid Beheshti University G.C（沙希德·贝赫什提大学 G.C）
评估生成模型不是一件容易的事。生成模型应该合成不是真实网络的复制，但显示出类似于真实图的拓扑特征的图。我们介绍了一种使用图分类器来评估图生成模型的方法。一个既定的图形分类器区分真实和合成的图形的能力，可以被认为是一个性能测量的图形生成器。
2018-09-05 cs.LG cs.PF cs.SI
Curvature Filtrations for Graph Generative Model Evaluation
Imperial College London（帝国理工学院）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
本文提出将图曲率描述子与拓扑数据分析方法结合，构建稳健且高表达力的描述子，用于改进图生成模型的评估。
2023-10-26 cs.LG math.AT stat.ML
Generative Code Modeling with Graphs
Microsoft Research（微软研究院）
源代码的生成模型是一个有趣的结构化预测问题，需要对严格的语法和语义约束以及自然的、可能的程序进行推理。我们提出了一个新的模型，这个问题，使用一个图形来表示所生成的输出的中间状态。生成过程将语法驱动的扩展步骤与图形增强和神经消息传递步骤交织在一起。实验评估表明，我们的新模型可以生成语义上有意义的表达式，优于一系列强基线。
2019-04-16 cs.LG cs.PL stat.ML
Evaluation Metrics for Graph Generative Models: Problems, Pitfalls, and Practical Solutions
ETH Zürich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
图生成模型是机器学习的一个非常活跃的分支。鉴于不断发展的新模式日益复杂，有必要提供一个原则性的方法来评价和比较它们。在本文中，我们列举了理想的标准，这样的比较度量，并提供了一个概述的现状，图生成模型比较在今天使用，主要依赖于最大平均差异（MMD）。我们在图生成模型比较的背景下对MMD进行了系统的评估，突出了研究人员无意中可能遇到的一些挑战和陷阱。在对MMD在合成生成的扰动图以及最近提出的图生成模型上的行为进行彻底分析后，我们能够提供一个合适的程序来减轻这些挑战和陷阱。我们将我们的研究结果汇总为一系列实用建议，供研究人员在评估图生成模型时使用。
2022-03-18 cs.LG cs.SI stat.ML
A Generative Model for Deep Convolutional Learning
Duke University（杜克大学）
为深度（多层）卷积字典学习开发了一个生成模型。一种新的概率池化操作被集成到深度模型中，产生了高效的自底向上（预训练）和自顶向下（细化）的概率学习。实验结果表明，该模型具有强大的能力，从图像中学习多层特征，并在MNIST和Caltech 101数据集上获得了良好的分类结果。
2015-04-15 cs.LG cs.NE stat.ML
Probabilistic Generative Deep Learning for Molecular Design
IBM（国际商业机器公司）
用于分子设计的概率生成深度学习涉及使用深度学习方法通过概率生成模型发现和设计新分子并分析其结构、性质和活性。它利用现有的庞大数据库和实验结果的出版物，以及量子力学计算，来学习和探索分子结构，性质和活动。讨论了分子设计概率生成深度学习的主要内容，包括分子结构、分子表征、深度生成模型、分子潜在表征和潜在空间、分子结构-性质和结构-活性关系、分子相似性和分子设计。我们强调了最近使用或适用于这种新方法的重要工作。
2019-02-11 cs.LG
Auxiliary Deep Generative Models
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
由神经网络参数化的深度生成模型最近在无监督和半监督学习中取得了最先进的性能。我们扩展了具有辅助变量的深度生成模型，从而提高了变分近似。辅助变量保持生成模型不变，但使变分分布更具表现力。受辅助变量结构的启发，我们还提出了一个具有两个随机层和跳跃连接的模型。我们的研究结果表明，更具表达力和适当指定的深度生成模型收敛得更快，结果更好。我们在MNIST、SVHN和NORB数据集上展示了半监督学习的最新性能。
2016-06-16 cs.AI cs.LG stat.ML
Layer-wise learning of deep generative models
当使用深层多层架构来构建数据的生成模型时，很难同时训练所有层。我们提出了一个分层的培训过程承认的性能保证相比，全球最佳。它是基于未来业绩的乐观代理，即最佳潜在边际。我们解释自动编码器在此设置为生成模型，通过显示他们训练这个标准的下限。我们测试了新的学习过程对最先进的方法（堆叠RBM），并发现它可以提高性能。理论和实验都强调了在训练深度架构时，使用比生成模型（从隐变量到数据）更丰富的推理模型（从数据到隐变量）的重要性。
2013-02-16 cs.LG cs.NE stat.ML
Deep S$^3$PR: Simultaneous Source Separation and Phase Retrieval Using Deep Generative Models
Stanford University（斯坦福大学）
本文提出并解决了同时声源分离和相位恢复（S $^3$ PR）问题。S $^3$ PR是一个重要的，但在很大程度上未解决的问题，在一些应用领域，包括显微镜，无线通信，并通过散射介质成像，其中一个有多个独立的相干源，其相位是难以测量。一般来说，S $^3$ PR是高度欠定的、非凸的并且难以求解。在这项工作中，我们证明，通过限制的解决方案，躺在一个深生成模型的范围内，我们可以充分约束搜索空间，以解决S $^3$ PR。
2020-10-14 cs.LG eess.IV stat.ML
