Learning Generative Models across Incomparable Spaces
Eidgenössische Technische Hochschule (ETH)（苏黎世联邦理工学院）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
生成对抗网络在学习一个完整的参考分布方面取得了显著的成功。然而，在某些情况下，我们可能只想学习某些方面（例如，簇或歧管结构），同时修改其它结构（例如，样式、方向或尺寸）。在这项工作中，我们提出了一种在这种无与伦比的空间中学习生成模型的方法，并演示了如何将学习的分布转向目标属性。我们模型的一个关键组成部分是Gromov-Wasserstein距离，这是一个差异的概念，它比较了相关而不是绝对的分布。虽然该框架将当前的生成模型包含在相同的再生分布中，但其固有的灵活性允许应用于流形学习，关系学习和跨域学习中的任务。
2019-05-15 cs.LG stat.ML
An Auxiliary Classifier Generative Adversarial Framework for Relation Extraction
University of California, Santa Barbara（加州大学圣巴巴拉分校）
关系抽取模型受到有限的合格训练数据的影响。使用人类注释器来标记句子太昂贵，并且不能很好地扩展，特别是在处理大型数据集时。在本文中，我们使用辅助分类器生成对抗网络（AC-GANs）来生成高质量的关系语句，并提高端到端模型中关系分类器的性能。在AC-GAN中，递归不仅给出了真实源的概率分布，而且给出了关系标签的概率分布。这有助于生成有意义的关系句子。实验结果表明，我们提出的数据增强方法显着提高性能的关系抽取相比，国家的最先进的方法
2019-09-06 cs.CL cs.LG stat.ML
Relational Constraints for Metric Learning on Relational Data
LS2N, UMR CNRS 6004（LS2N，法国国家科学研究中心联合研究单位6004）；University of Nantes（南特大学）
大多数度量学习方法都致力于应用于由特征向量描述的数据，但也有一些值得注意的例外，如时间序列，树或图。本文的目的是提出一个度量学习算法，专门考虑关系数据。所提出的方法可以同时利用数据的拓扑结构和监督标签。为了选择表示关系信息的相对约束，我们引入了一个链接强度函数，该函数通过它们的共同父节点的边信息来度量实体之间的关系链接的强度。我们使用两种不同的经典学习算法，这是ITML（信息理论度量学习）和LSML（最小二乘度量学习）的性能，并在几个真实世界的数据集上进行测试。实验结果表明，使用关系信息提高了学习度量的质量。
2018-07-02 cs.LG stat.ML
A Bayesian Matrix Factorization Model for Relational Data
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
关系学习可以用来用其他相关的信息源来增强一个数据源，以提高预测的准确性。我们框架的关系学习问题的一大类矩阵分解问题，并提出了一个层次贝叶斯模型。使用随机行走Metropolis-Hastings训练我们的贝叶斯模型是不切实际的慢，所以我们开发了一个块Metropolis-Hastings采样器，它使用梯度和Hessian的可能性来动态调整建议。我们证明，大脑对刺激的反应的预测模型可以通过增加有关刺激的边信息来改善。
2012-03-15 cs.LG stat.ML
Learning Autoencoders with Relational Regularization
Duke University（杜克大学）；Infinia ML Inc.（Infinia ML公司）
提出了一种新的算法框架，用于学习数据分布的自编码器。我们最小化模型和目标分布之间的差异，在可学习的潜在先验上使用\emph{relational regularization}。这种正则化惩罚了潜在先验与其相应的后验之间的融合Gromov-Wasserstein（FGW）距离，允许人们灵活地学习与生成模型相关的结构化先验分布。此外，它有助于多个自动编码器的联合训练，即使它们具有异构的架构和无与伦比的潜在空间。我们实现了两个可扩展的算法的框架，使其适用于概率和确定性的自动编码器。我们的关系正则化自动编码器（RAE）优于现有的方法，$e.g.$，变分自编码器，Wasserstein自动编码器，及其变种，生成图像。此外，我们针对自动编码器的关系协同训练策略在合成和现实世界的多视图学习任务中都取得了令人鼓舞的结果。代码在https://github.com/HongtengXu/上。
2020-06-26 cs.LG stat.ML
Learning Deep Generative Models of Graphs
DeepMind（深度思维）
图是基本的数据结构，它简明地捕捉了许多重要的现实世界领域中的关系结构，例如知识图谱、物理和社会交互、语言和化学。在这里，我们介绍了一种强大的新方法，用于在图上学习生成模型，它可以捕获它们的结构和属性。我们的方法使用图神经网络来表达图的节点和边之间的概率依赖关系，并且原则上可以学习任何任意图上的分布。在一系列的实验中，我们的结果表明，一旦经过训练，我们的模型可以无条件地和以数据为条件地生成合成图和真实分子图的高质量样本。与不使用图结构表示的基线相比，我们的模型通常表现得更好。我们还探讨了学习图形生成模型的关键挑战，例如如何在图形生成过程中处理元素的对称性和排序，并提供可能的解决方案。我们的工作是第一个也是最普遍的方法学习生成模型在任意图形，并打开了新的方向，从向量和序列的限制一样的知识表示，向更有表现力和灵活的关系数据结构。
2018-03-08 cs.LG stat.ML
The Multivariate Community Hawkes Model for Dependent Relational Events in Continuous-time Networks
University of Toledo（托莱多大学）；The Ohio State University（俄亥俄州立大学）
随机块模型（SBM）是网络数据最广泛使用的生成模型之一。许多连续时间动态网络模型建立在与SBM相同的假设之上：给定块或社区成员资格，所有节点对之间的边或事件是有条件独立的，这阻止了它们再现更高阶的图案，例如在真实网络中常见的三角形。我们提出了多变量社区霍克斯（MULCH）模型，一个非常灵活的基于社区的连续时间网络模型，使用结构化的多变量霍克斯过程引入节点对之间的依赖关系。我们使用谱聚类和基于似然的局部细化过程来拟合模型。我们发现，我们提出的MULCH模型比现有的预测和生成任务模型更准确。
2022-07-07 cs.LG cs.SI stat.ME
MoReL: Multi-omics Relational Learning
Texas A&M University（德州农工大学）
多组学数据分析具有发现隐藏的分子相互作用的潜力，在研究生命和疾病系统时揭示感兴趣的细胞过程的潜在调控和/或信号转导途径。当处理真实世界的多组学数据时的关键挑战之一是，它们可能表现出异构结构和数据质量，因为对于每种类型的组学数据，通常现有的数据可能在不同的条件下从不同的受试者收集。我们提出了一种新的深度贝叶斯生成模型，可以有效地推断出编码这种异质视图之间分子相互作用的多部图，在相应视图的潜在表示之间使用融合的Gromov-Wasserstein（FGW）正则化进行综合分析。通过深度贝叶斯生成模型中的这种最佳传输正则化，它不仅允许将视图特定的边信息与不同视图中的图形结构化或非结构化数据结合起来，而且还通过基于分布的正则化增加了模型的灵活性。与现有的基于点的图嵌入方法相比，这允许异构潜变量分布的有效对齐以获得可靠的交互预测。我们在几个真实世界数据集上的实验表明，与现有基线相比，MoReL在推断有意义的相互作用方面的性能有所增强。
2022-03-15 cs.LG q-bio.QM stat.ML
Propositionalization and Embeddings: Two Sides of the Same Coin
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；University of Nova Gorica（新戈里察大学）；International Postgraduate School Jožef Stefan（约瑟夫·斯特凡国际研究生院）；University of Ljubljana（卢布尔雅那大学）
数据预处理是机器学习流水线的重要组成部分，需要大量的时间和资源。预处理的一个组成部分是将数据转换为给定学习算法所需的格式。本文概述了关系学习中使用的一些现代数据处理技术，这些技术可以将不同类型和格式的输入数据融合为单个表数据表示，重点是命题化和嵌入数据转换方法。虽然这两种方法都旨在将数据转换为表格数据格式，但它们使用不同的术语和任务定义，被认为是针对不同的目标，并且在不同的上下文中使用。本文提供了一个统一的框架，允许这两个数据转换技术的统一定义，并通过解释这两种方法之间的相似性和差异，作为一个统一的复杂的数据转换任务的变体，以提高理解。除了统一的框架之外，本文的新颖之处在于结合了命题化和嵌入的统一方法，这得益于两者在解决复杂数据转换和学习任务方面的优势。我们提出了两个有效的实现统一的方法：一个基于实例的PropDRM方法，和一个基于特征的PropStar方法的数据转换和学习，以及他们的经验评估几个关系问题。结果表明，新的算法可以优于现有的关系学习器，可以解决更大的问题。
2020-06-08 cs.LG stat.ML
Hierarchical Infinite Relational Model
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了层次无限关系模型（HALF），一个新的概率生成模型的噪声，稀疏，异构关系数据。给定一组定义在域集合上的关系，该模型首先使用顶级中餐馆过程推断多个不重叠的关系集群。在每个关系集群内，然后使用Dirichlet过程混合来划分域实体并对关系值的概率分布进行建模。该模型概括了标准的无限关系模型，可用于各种数据分析任务，包括依赖检测，聚类和密度估计。我们提出了新的算法完全贝叶斯后验推理通过吉布斯抽样。我们说明了该方法的有效性的密度估计基准的20个对象属性数据集高达18万个细胞，并使用它来发现现实世界的数据集从政治和基因组学的关系结构。
2021-08-16 cs.AI cs.LG stat.ME
Knowledge Graph Completion to Predict Polypharmacy Side Effects
NEC Laboratories Europe（NEC欧洲实验室）
多药副作用预测问题考虑的情况下，两种药物单独服用不会导致特定的副作用，但是，当两种药物联合服用，副作用的表现。在这项工作中，我们证明了多关系知识图谱完成实现了最先进的结果的多药副作用预测问题。实验结果表明，我们的方法是特别有效的蛋白质靶点的药物是很好的特点。与之前的工作相比，我们的方法为湿实验室验证提供了更多可解释的预测和假设。
2018-10-22 cs.DB cs.LG stat.ML
Topological Relational Learning on Graphs
Princeton University（普林斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
图神经网络（GNN）已经成为图分类和表示学习的强大工具。然而，GNN往往会遭受过度平滑问题，并且容易受到图形扰动的影响。为了解决这些挑战，我们提出了一种新的拓扑关系推理（TRI）的拓扑神经框架，它允许将高阶图信息集成到GNN中，并系统地学习局部图结构。该算法的核心思想是利用节点邻域的持续同调性对原图进行重新布线，然后将提取的拓扑摘要作为边信息加入局部算法。因此，新的框架使我们能够利用传统的信息图的结构和信息图的高阶拓扑性质。我们推导出新的局部拓扑表示的理论稳定性保证，并讨论了它们对图代数连通性的影响。节点分类任务的实验结果表明，新的TRI-GNN优于所有14个国家的最先进的基线6出7图，并表现出更高的鲁棒性扰动，产生高达10%的噪声情况下的性能提高。
2021-10-29 cs.LG stat.ML
Context-aware learning for generative models
这项工作研究了一类学习算法的边信息，通过扩展生成模型与嵌入式上下文相关的变量。使用有限混合模型（FMM）的原型贝叶斯网络，我们表明，极大似然估计（MLE）的参数通过期望最大化（EM）提高了常规无监督的情况下，可以接近监督学习的性能，尽管没有任何明确的地面真理数据标记。通过直接应用缺失信息原理（MIP），算法的性能被证明范围之间的传统的监督和无监督的MLE极端成比例的上下文援助提供的信息内容。所获得的好处是更高的估计精度，更小的标准误，更快的收敛速度和改进的分类精度或回归适应度在各种情况下显示，同时还突出了重要的属性和所概述的情况之间的差异。适用性展示了三个现实世界的无监督分类方案，采用高斯混合模型。重要的是，我们通过为变分自编码器（VA）导出等效的上下文感知算法，将这种方法自然扩展到任何类型的生成模型，从而拓宽了人工神经网络无监督深度学习的适用范围。后者与利用边信息的神经符号算法形成对比。
2020-08-14 stat.ML
A Mutually Exciting Latent Space Hawkes Process Model for Continuous-time Networks
University of Toledo（托莱多大学）；The Ohio State University（俄亥俄州立大学）
网络和时间点过程是在各种领域中对复杂动态关系数据建模的基本构建块。我们提出了潜在空间霍克斯（LSH）模型，一种新的生成模型的连续时间网络的关系事件，使用潜在空间表示的节点。我们使用相互激励的霍克斯过程与基线强度依赖于节点之间的距离在潜在的空间和发送者和接收者的具体影响节点之间的关系事件建模。我们证明了我们提出的LSH模型可以复制在真实时间网络中观察到的许多特征，包括互惠性和传递性，同时还实现了更高的预测精度，并提供了比现有模型更可解释的拟合。
2022-07-07 cs.LG cs.SI stat.ML
Graphite: Iterative Generative Modeling of Graphs
Stanford University（斯坦福大学）
图是关系数据建模的基本抽象。然而，图本质上是离散的和组合的，并且适合于机器学习任务的学习表示提出了统计和计算挑战。在这项工作中，我们提出了Graphite，这是一种使用深度潜变量生成模型对大型图中的节点表示进行无监督学习的算法框架。我们的模型参数化变分自编码器（VAE）与图神经网络，并使用一种新的迭代图细化策略启发低秩近似解码。在各种各样的合成和基准数据集上，Graphite在密度估计、链接预测和节点分类等任务上优于竞争方法。最后，我们推导出图神经网络中的消息传递和平均场变分推断之间的理论联系。
2019-05-15 cs.LG cs.NE cs.SI
Nonparametric Relational Topic Models through Dependent Gamma Processes
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）
传统的关系主题模型提供了一种从文档网络中发现隐藏主题的方法。许多理论和实际的任务，如降维，文档聚类，链接预测，受益于这些揭示的知识。然而，现有的关系主题模型是基于一个假设，即隐藏主题的数量是已知的，这是不切实际的，在许多现实世界的应用。因此，为了放松这一假设，本文提出了一个非参数关系主题模型。在其生成模型中，我们使用随机过程，而不是使用固定维的概率分布。具体地，伽马过程被分配给每个文档，其表示该文档的主题兴趣。虽然这种方法提供了一种优雅的解决方案，但在对典型文档网络的固有网络结构进行数学建模时，它带来了额外的挑战，即，两个空间上更接近的文档往往具有更相似的主题。此外，我们要求所有文档共享主题。为了解决这些挑战，我们使用一个子采样策略，每个文件分配一个不同的伽玛过程从全局伽玛过程，和子采样概率的文件分配与马尔可夫随机场约束，继承了文件的网络结构。通过设计的后验推理算法，可以同时发现隐藏主题及其数量。在合成和真实网络数据集上的实验结果表明，该算法能够学习隐藏主题，更重要的是学习主题的数量。
2015-03-30 cs.CL cs.IR cs.LG
An Online Learning Approach to Generative Adversarial Networks
ETH Zürich（苏黎世联邦理工学院）
我们考虑用生成对抗网络（GAN）训练生成模型的问题。虽然GANs可以精确地模拟复杂的分布，但由于困难的极大极小优化问题导致的不稳定性，它们很难训练。在本文中，我们将训练GANs的问题视为在零和游戏中找到混合策略。基于在线学习的思想，我们提出了一种名为Chekhov GAN 1的新训练方法。在理论方面，我们证明了我们的方法可证明收敛到半浅GAN架构的平衡，即架构中的网络是一个单层网络和发电机是任意的。在实践方面，我们开发了一个有效的启发式指导我们的理论结果，我们适用于常用的深GAN架构。在几个现实世界的任务，我们的方法表现出改进的稳定性和性能相比，标准的GAN训练。
2017-06-10 cs.LG stat.ML
Wasserstein-2 Generative Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们提出了一种新的端到端的非极小极大算法训练最佳的传输映射的二次成本（Wasserstein-2距离）。该算法使用输入凸神经网络和循环一致性正则化来近似Wasserstein-2距离。与流行的熵和二次正则化相反，循环一致性不会引入偏差，并且可以很好地扩展到高维。从理论上，我们估计的生成映射适合我们的算法的性质。从实际的一面，我们评估我们的算法在广泛的任务：图像到图像的颜色转移，潜在的空间最佳运输，图像到图像的风格转移，和领域自适应。
2020-12-10 cs.CV cs.LG stat.ML
I Don't Need u: Identifiable Non-Linear ICA Without Side Information
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们研究了具有深度生成模型的无监督表示学习的算法稳定性，作为在相同输入数据上重复重新训练的函数。学习低维线性表示的算法-例如主成分分析（PCA）或线性独立成分分析（ICA）-保证它们总是揭示相同的潜在表示（可能是任意旋转或排列）。不幸的是，对于非线性表示学习，例如在由随机梯度下降训练的变分自动编码器（VAE）模型中，我们没有这样的保证。最近关于非线性ICA中的可识别性的工作引入了一系列具有可识别潜在表示的深度生成模型，这些表示通过对边信息（例如信息标签）进行调节来实现。我们根据经验评估了这些模型在重复重新估计参数时的稳定性，并将其与标准VAE和深度生成模型进行了比较，这些模型在其潜在空间中学习聚类。令人惊讶的是，我们发现边信息对于算法的稳定性并不是必需的：使用标准的可识别性定量度量，我们发现具有潜在聚类的深度生成模型在经验上与依赖辅助标签的模型具有相同的可识别性。我们将这些结果与可识别的非线性ICA的可能性。
2022-07-04 cs.CV cs.LG eess.SP
A Flexible Generative Framework for Graph-based Semi-supervised Learning
University of Michigan（密歇根大学）
我们考虑一系列问题，这些问题涉及基于一小部分标记样本对大多数未标记的图结构数据样本进行预测。数据样本之间的关系信息，通常编码在图/网络结构中，被证明是有助于这些半监督学习任务。然而，传统的基于图的正则化方法和最近的图神经网络没有充分利用特征、图和标签之间的相互关系。在这项工作中，我们提出了一个灵活的生成框架，基于图的半监督学习，它接近的节点特征，标签和图结构的联合分布。借用网络科学文献中随机图模型的见解，这种联合分布可以使用各种分布族来实例化。对于缺失标签的推理，我们利用最新进展的可扩展变分推理技术来近似贝叶斯后验。我们对基于图的半监督学习的基准数据集进行了深入的实验。结果表明，所提出的方法优于国家的最先进的模型在大多数情况下。
2019-11-02 cs.LG stat.ML
SAG-VAE: End-to-end Joint Inference of Data Representations and Feature Relations
Rutgers University - New Brunswick（罗格斯大学新布朗斯维克分校）；Rutgers University（罗格斯大学）
变分自编码器（VAE）在数据表示推理方面非常强大，但它无法学习具有普通形式和常见变体的特征之间的关系。捕获数据中关系的能力可以提供构建更强大的机器学习算法所需的归纳偏差，这些算法具有更可解释的结果。在本文中，受最新进展的启发，关系学习使用图神经网络，我们提出了自注意图变分自编码器（SAG-VAE）网络，可以同时学习功能关系和数据表示在一个端到端的方式。SAG-VAE通过联合推断两种类型的潜变量的后验分布来训练，这两种类型的潜变量分别表示数据表示和共享图结构。此外，我们引入了一种新的自注意图网络，通过参数化生成分布来提高SAG-VAE的生成能力，从而允许SAG-VAE通过图卷积生成新数据，同时仍然可以通过反向传播进行训练。可学习的关系图表示增强了SAG-VAE对扰动和噪声的鲁棒性，同时还提供了对模型性能的更深层次的直觉。基于图的实验表明，SAG-VAE能够近似检索边缘和节点之间的链接完全基于特征观察。最后，图像数据上的结果表明，SAG-VAE是相当强大的图像重建和采样的扰动。
2020-07-22 cs.LG stat.ML
