A Probit Tensor Factorization Model For Relational Learning
North Carolina State University（北卡罗来纳州立大学）；Fudan University（复旦大学）
随着知识图谱的大量涌现，对具有复杂多关系结构的数据进行建模在统计关系学习领域得到了越来越多的关注。统计关系学习最重要的目标之一是链接预测，即，预测所述知识图谱中是否存在某些关系。已经提出了大量的模型和算法来执行链接预测，其中张量因子分解方法已被证明在计算效率和预测精度方面达到最先进的性能。然而，现有的张量分解模型的一个共同的缺点是，以相同的方式处理缺失的关系和不存在的关系，这导致信息的丢失。为了解决这个问题，我们提出了一个二进制张量因式分解模型与概率链接，它不仅继承了经典的张量因式分解模型的计算效率，但也占关系数据的二进制性质。我们提出的概率单位张量因子分解（PTF）模型在预测精度和可解释性方面都具有优势
2021-11-09 cs.LG stat.CO stat.ML
Modeling Relational Data with Graph Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；VU Amsterdam（阿姆斯特丹自由大学）；CIFAR（加拿大高等研究院）
知识图谱支持各种各样的应用，包括问答和信息检索。尽管在创建和维护方面投入了巨大的努力，但即使是最大的（例如，Yago、DBPedia或Wikidata）仍然不完整。我们介绍了关系图卷积网络（R-GCN），并将其应用于两个标准的知识库完成任务：链接预测（恢复丢失的事实，即主谓宾三元组）和实体分类（恢复丢失的实体属性）。R-GCN与最近一类在图上操作的神经网络相关，并且专门开发用于处理现实知识库的高度多关系数据特性。我们证明了R-GCN作为实体分类的独立模型的有效性。我们进一步表明，通过使用编码器模型来丰富它们，以在关系图中的多个推理步骤中积累证据，可以显着改进用于链接预测的因子分解模型（如DistMult），与仅解码器基线相比，FB 15 k-237有29.8%的大幅改进。
2017-10-26 cs.AI cs.DB cs.LG
Relational Graph Convolutional Networks for Sentiment Analysis
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出利用关系图卷积网络（RGCNs）结合BERT和RoBERTa等预训练语言模型进行情感分析，有效捕捉实体间复杂关系，并在Amazon和Digikala数据集上验证了其有效性。
2024-04-16 cs.CL cs.LG
Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness
Arizona State University（亚利桑那州立大学）
神经张量网络（NTN）被构造为编码实体对之间的关系程度，用于逻辑张量网络（LTN）中，以促进一阶逻辑中的统计关系学习（SRL）。在本文中，我们提出了随机加权张量网络（RWTNs），它将随机抽取的未训练张量与训练的解码器网络合并到NTN编码器网络中。我们表明，RWTN满足或超过传统训练的LTNs的语义图像判读（SII）的任务，已被用作一个代表性的例子，LTNs如何利用推理超过一阶逻辑的性能，超过单纯的数据驱动的方法的性能。我们证明了RWTN优于LTNs的检测对象之间的关系的相关部分，我们表明，RWTN可以实现类似的性能LTNs的对象分类，同时使用更少的参数进行学习。此外，我们证明，由于随机化的权重不依赖于数据，几个解码器网络可以共享一个NTN，使RWTN的同步分类任务的空间规模的独特经济。
2020-10-03 cs.LG stat.ML
Searching to Sparsify Tensor Decomposition for N-ary Relational Data
The Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式）；Tsinghua University（清华大学）
张量是向量和矩阵在多维情况下的扩展，是描述N元关系数据的一种自然方法。最近，张量分解方法被引入到N元关系数据中，并成为嵌入学习的最新技术。然而，现有的张量分解方法的性能并不理想。首先，它们遭受数据稀疏性问题，因为它们只能从具有特定arity的N元关系数据中学习，即，常见的N元关系数据的一部分。此外，由于过度参数化问题，它们既不有效也不有效，无法进行训练。在本文中，我们提出了一种新的方法，即，S2 S，用于有效且高效地从N元关系数据中学习。具体来说，我们提出了一个新的张量分解框架，它允许嵌入共享从混合元的事实中学习。由于核心张量仍然可能遭受过度参数化，我们建议通过稀疏化核心张量来减少参数，同时使用神经架构搜索（NAS）技术来保留它们的表达能力，该技术可以搜索数据依赖的架构。因此，所提出的S2S不仅保证了表达能力，而且还有效地从混合元中学习。最后，实验结果表明，S2S是有效的训练，并达到最先进的性能。
2021-04-21 cs.LG
Tensor Decomposition with Relational Constraints for Predicting Multiple Types of MicroRNA-disease Associations
Huazhong Agriculture University（华中农业大学）；The Ohio State University（俄亥俄州立大学）
microRNAs（miRNAs）在与人类疾病相关的多种生物学过程中起着至关重要的作用。识别潜在的miRNA-疾病关联有助于理解miRNA相关疾病的分子机制。现有的大多数计算方法主要集中在预测是否存在miRNA与疾病的关联。然而，miRNAs在疾病中的作用是显著分歧的，例如，miRNAs的遗传变异体（mir-15）可能影响miRNAs的表达水平，导致B细胞慢性淋巴细胞白血病，而循环miRNAs（包括mir-1246、mir-1307- 3 p等）可能影响miRNAs的表达水平，导致B细胞慢性淋巴细胞白血病。具有早期发现乳腺癌的潜力。在本文中，我们的目标是预测多种类型的miRNA与疾病的关联，而不是将它们视为二元的。为此，我们创新性地将miRNA疾病类型三联体表示为张量，并引入张量分解方法来解决预测任务。在两个广泛采用的miRNA疾病数据集：HMDD v2.0和HMDD v3.2上的实验结果表明，张量分解方法在很大程度上改善了最近的基线（在top-1 F1中高达38%）。我们进一步提出了一种新的方法，张量分解与关系约束（TDRC），它结合了生物特征的关系约束，进一步现有的张量分解方法。与现有的两种张量分解方法相比，TDRC具有更好的性能和更高的效率。
2020-03-09 cs.LG q-bio.QM stat.ML
Relational Graph Convolutional Neural Networks for Multihop Reasoning: A Comparative Study
University of Cambridge（剑桥大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多跳问答是一个复杂的自然语言处理任务，需要多个推理步骤来找到给定问题的正确答案。以前的研究已经探索了使用基于图神经网络的模型来解决这一任务。已经提出了各种架构，包括关系图卷积网络（RGCN）。对于这些许多节点类型和它们之间的关系已经被引入，例如简单的实体同现，建模共引用，或通过中间实体从问题到答案的“推理路径”。然而，关于哪些关系、节点类型、嵌入和架构对这项任务最有益的深入分析仍然缺失。在本文中，我们探索了一些基于RGCN的多跳QA模型，图关系和节点嵌入，并实证探索每个对WikiHop数据集上的多跳QA性能的影响。
2022-10-13 cs.AI cs.CL cs.LG
Learning Hierarchical Relational Representations through Relational Convolutions
Yale University（耶鲁大学）；Wu Tsai Institute（吴蔡研究院）
本文提出“关系卷积网络”，通过组合图元滤波器与输入子集卷积来捕获对象群体中的关系模式，构建深度架构以学习高阶层次关系表示，为层次结构关系任务提供有效建模框架。
2024-09-26 cs.LG
Tensor Relational Algebra for Machine Learning System Design
Rice University（莱斯大学）；Arizona State University（亚利桑那州立大学）
我们考虑的问题是：什么是抽象，应该由一个机器学习系统的计算引擎实现？当前的机器学习系统通常通过一系列计算内核（如矩阵乘法或激活函数）推动整个张量，其中每个内核都在AI加速器（ASIC）（如GPU）上运行。这种实现抽象几乎没有为ML系统提供内置支持，以扩展到单个机器，或者处理具有矩阵或张量的大型模型，这些模型不容易放入ASIC的RAM中。在本文中，我们提出了一个替代的实现抽象称为张量关系代数（TRA）。TRA是基于关系代数的集合代数。TRA中的表达式在二元张量关系上操作，其中键是多维数组，值是张量。TRA在并行或分布式环境中易于高效执行，并且易于自动优化。我们的实证研究表明，优化的基于TRA的后端可以显著优于在分布式集群中运行ML工作流的替代方案。
2021-08-09 cs.DB cs.LG
Edge Attention-based Multi-Relational Graph Convolutional Networks
图卷积网络（GCN）是卷积神经网络（CNN）的推广，可以处理任意结构的图。二进制邻接矩阵通常用于训练GCN。最近，注意力机制允许网络学习邻域的动态和自适应聚合。我们提出了一个新的GCN模型的图，其边缘的特点是在多个视图或精确的多个关系。例如，在化学图论中，化合物结构通常由氢耗尽的分子图表示，其中节点对应于原子，边对应于化学键。多个属性对于表征化学键可能很重要，例如原子对（键连接的原子类型），芳香性以及键是否在环中。不同的属性导致相同分子的不同图形表示。在化学和机器学习领域，人们越来越感兴趣的是从分子图中直接学习化合物的分子性质，而不是从化学家预先定义的指纹中。所提出的GCN模型，我们称之为基于边缘注意力的多关系GCN（EAGCN），在图卷积中联合学习注意力权重和节点特征。对于每个键属性，使用实值注意矩阵来代替二进制邻接矩阵。通过为边缘注意力设计字典，并通过查找字典形成每个分子的注意力矩阵，EAGCN利用不同分子中键之间的对应关系。化合物性质的预测是基于聚合的节点特征，这是独立的变化的分子（图）的大小。我们证明了EAGCN对多个化学数据集的有效性：Tox21，HIV，Freesolv和亲脂性，并解释了由此产生的注意力权重。
2018-05-20 cs.LG stat.ML
Regularized Orthogonal Tensor Decompositions for Multi-Relational Learning
The Chinese University of Hong Kong（香港中文大学）
多元关系学习受到了各个研究领域的研究者的广泛关注。大多数现有的方法要么遭受超线性每次迭代成本，或者对给定的秩敏感。为了解决这两个问题，我们提出了一个可扩展的核心张量迹范数正则化正交迭代分解（ROID）方法，用于完整或不完整的张量分析，它可以通过使用辅助信息或稀疏高阶正交迭代（SHOOI）版本推广为图拉普拉斯正则化版本。首先导出了低多线性秩张量的Schatten p范数（0<p< \infty）与其核张量的等价关系。然后，我们实现了一个更小的矩阵迹范数最小化问题。最后，我们开发了两个有效的增广拉格朗日乘子算法来解决我们的问题的收敛保证。使用真实和合成数据集进行的大量实验，即使只有很少的观察结果，也验证了我们方法的效率和有效性。
2016-01-16 cs.AI cs.LG
GNN4PPM: Multi-Target Predictive Process Monitoring with Relational Graph Convolutional Networks
Technical University of Munich（慕尼黑工业大学）
GNN4PPM利用关系图卷积网络和异构知识图谱，实现多目标预测性流程监控，一次性预测所有下一事件及其数据负载，实验证明其准确性和适用性。
2026-09-15 cs.LG
Neural Tensor Factorization
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）
神经协同过滤（NCF）和递归推荐系统（RRN）已经成功地建模用户项关系数据。然而，它们也局限于它们对关系数据的静态或顺序建模的假设，因为它们不考虑随着时间的推移而演变的用户偏好以及驱动用户-项目关系随着时间的推移而变化的潜在因素的变化。我们通过提出一个神经张量因子分解（NTF）模型来解决这些限制，用于动态关系数据的预测任务。NTF模型从两个方面推广了传统的张量分解：首先，它利用长短期记忆架构来表征关系数据上的多维时态交互。其次，它采用了多层感知器结构，用于学习不同潜在因素之间的非线性。我们的大量实验表明，显着改善评级预测和链接预测的动态关系数据，我们的NTF模型比基于神经网络的因子分解模型和其他传统的方法。
2018-02-13 cs.LG
Scalable Label Propagation for Multi-relational Learning on the Tensor Product of Graphs
University of Minnesota Twin Cities（明尼苏达大学双城分校）
知识图谱上的多关系学习推断跨图的实体之间的高阶关系。该学习任务可以通过在知识图谱的张量积上的标签传播来解决，以学习作为张量的高阶关系。在本文中，我们推广了广泛使用的标签传播模型的归一化张量积图，并提出了一个优化配方和可扩展的基于低秩张量的标签传播算法（LowrankTLP）推断多关系的两个学习任务，超链接预测和多图对齐。优化配方最大限度地减少噪音张量估计误差的上界多图对齐，通过学习与归一化张量积图的频谱中的特征对的子集。我们还提供了一个数据依赖的二进制超链接预测的转导Rademacher绑定。我们加速LowrankTLP与并行张量计算，使标签传播的张量积的100个图，每个大小为1000在不到半小时的模拟。LowrankTLP还被应用于预测出版记录中的作者-论文-地点超链接，多达26个CT扫描图像的分割区域的对齐以及多个物种的蛋白质-蛋白质相互作用网络的对齐。实验表明，LowrankTLP确实很好地近似原始标签传播，具有更好的可扩展性和准确性。
2020-05-18 cs.LG
Multi-relational Learning Using Weighted Tensor Decomposition with Modular Loss
University of Maryland（马里兰大学）
我们通过张量分解提出了一个多关系学习的模块化框架。在我们的学习设置中，训练数据包含一组对象之间的多种类型的关系，我们用稀疏的三模式张量表示。目标是预测缺失条目的值。为此，我们将每个关系建模为潜在因素的线性组合的函数。我们通过计算低秩张量分解，使用加权目标函数的拟牛顿优化来学习这种潜在表示。通过加权目标捕获观测数据中的稀疏性，从而在训练数据有限时提高精度。利用稀疏性也提高了效率，可能比未加权的方法高出一个数量级。此外，我们的框架可以容纳平滑的、特定于任务的损失函数的任意组合，使其更适合于学习不同类型的关系。对于实值函数和二元关系的典型情况，我们提出了几个损失函数，并导出了相关的参数梯度。我们评估我们的方法在合成和真实数据，显示出显着的改进，在准确性和可扩展性相关的因式分解技术。
2013-05-31 cs.LG
Probabilistic Latent Tensor Factorization Model for Link Pattern Prediction in Multi-relational Networks
LIP6 - UPMC（LIP6实验室 - 皮埃尔和玛丽·居里大学）
本文针对多个关系类型连接的对象集合中的链接模式预测问题，其中每种类型都可能扮演不同的角色。虽然常见的链接分析模型仅限于单一类型的链接预测，我们试图在这里捕捉不同的关系类型之间的相关性，并揭示各种关系类型对性能质量的影响。为此，我们将对象对之间的整体关系定义为\textit{link pattern}，它由网络中的交互模式和连接结构组成，然后使用张量形式化来联合建模和预测链接模式，我们称之为\textit{Link Pattern Prediction}（LPP）问题。为了解决这个问题，我们提出了一个概率潜在张量分解（PLTF）模型，通过引入另一个潜在的因素，多个关系类型，并提供层次贝叶斯处理所提出的概率模型，以避免过拟合解决LPP问题。为了学习所提出的模型，我们开发了一个有效的马尔可夫链蒙特卡罗抽样方法。在几个真实世界的数据集上进行了大量的实验，并证明了对现有的几种最先进的方法的显着改进。
2012-04-11 cs.LG cs.SI stat.ML
Relational Extraction on Wikipedia Tables using Convolutional and Memory Networks
University of Alberta（阿尔伯塔大学）
针对维基百科表格中的关系抽取，提出结合 CNN 与 BiLSTM 的神经模型，实验显示其性能稳定优于既有方法，并通过消融与错误分析验证各组件贡献。
2023-07-11 cs.AI cs.CL cs.IR
Relational Graph Attention Networks
Babylon Health（巴比伦健康）
我们研究关系图注意力网络，一类模型，扩展非关系图注意力机制，将关系信息，开放这些方法，以更广泛的各种问题。对这些模型进行了全面的评价，并与既定的基准进行了比较。为了提供有意义的比较，我们重新训练关系图注意力网络的光谱对应物-关系图卷积网络，并在相同条件下对其进行评估。我们发现，关系图注意力网络的表现比预期的要差，尽管有些配置对建模分子特性略有好处。我们提供的见解，为什么这可能是，并建议修改评估策略，以及方向，以调查未来的工作。
2019-04-11 cs.AI cs.LG stat.ML
Diffusion-Convolutional Neural Networks
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
我们提出了扩散-卷积神经网络（DCNNs），一种新的模型的图形结构的数据。通过引入扩散卷积运算，我们展示了如何从图结构数据中学习基于扩散的表示，并将其用作节点分类的有效基础。DCNN有几个有吸引力的品质，包括在同构下不变的图形数据的潜在表示，以及可以表示为张量运算并在GPU上有效实现的多项式时间预测和学习。通过对真实结构化数据集的几个实验，我们证明了DCNN在关系节点分类任务中的性能优于概率关系模型和图上核方法。
2016-07-08 cs.LG
Relational graph convolutional networks for predicting blood-brain barrier penetration of drug molecules
The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
评价药物分子的血脑屏障（BBB）通透性是脑药物开发的关键步骤。传统的评价方法需要复杂的体外或体内测试。或者，基于机器学习的计算机预测已被证明是补充体外和体内方法的具有成本效益的方法。然而，所建立的模型的性能受到限制，他们无法处理药物和蛋白质之间的相互作用，这在BBB穿透行为背后的机制中起着重要作用。为了解决这一限制，我们采用了关系图卷积网络（RGCN）来处理药物-蛋白质相互作用以及每种药物的性质。RGCN模型的总体准确度为0.872，AUROC为0.919，AUPRC为0.838，用于药物-蛋白质相互作用和Mordred描述符作为输入的测试数据集。引入药物-药物相似性来连接数据图中结构相似的药物进一步改善了测试结果，总体准确度为0.876，AUROC为0.926，AUPRC为0.865。特别是，RGCN模型被发现大大优于LightGBM基础模型时，与药物的BBB渗透依赖于药物-蛋白质相互作用进行评估。我们的模型有望提供高置信度的预测血脑屏障渗透性的药物优先级在实验筛选血脑屏障穿透药物。
2022-04-06 cs.LG q-bio.QM
Relational Pooling for Graph Representations
Purdue University（普渡大学）
这项工作概括了图神经网络（GNN），超越了那些基于Weisfeiler-Lehman（WL）算法，图拉普拉斯算子和扩散。我们的方法，表示关系池（RP），从有限的部分交换的理论，提供了一个框架，最大的代表性权力的图形。RP可以与现有的图表示模型一起工作，并且有点违反直觉，可以使它们比原始的WL同构测试更强大。此外，RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；The Swiss AI Lab IDSIA / USI / SUPSI（瑞士人工智能实验室IDSIA / 瑞士意大利语大学 / 瑞士南方应用科技大学）
我们在Transformer中加入了张量积表示，以便更好地支持关系结构的显式表示。我们的Tensor-Product Transformer（TP-Transformer）在最近推出的包含56类自由形式数学应用题的数学数据集上开创了新的艺术水平。该模型的基本组成部分是一种新的注意力机制，称为TP-注意力，它明确编码每个Transformer细胞和其他细胞之间的关系，从这些细胞中的值已被检索的注意。TP-Attention超越了检索值的线性组合，加强了表征构建并解决了多层标准注意力引入的歧义。TP-Transformer的注意力地图可以更好地了解它如何能够解决数学数据集的挑战性问题。预训练的模型和代码将在发布后提供。
2020-11-04 cs.LG stat.ML
ColdGuess: A General and Effective Relational Graph Convolutional Network to Tackle Cold Start Cases
Amazon Inc.（亚马逊公司）；AWS AI Education and Research（AWS人工智能教育与研究部门）
在线零售网站中的低质量列表和不良行为威胁着电子商务业务，因为这些导致次优的购买体验并侵蚀客户信任。当一个新的列表被创建时，如何判断它具有良好的质量？该方法是否有效、快速且可扩展？先前的方法通常具有三个限制/挑战：（1）不能处理新卖家/列表缺乏足够的销售历史的冷启动问题。(2)无法大规模地对数亿个列表进行评分，或者在可扩展性方面牺牲性能。(3)具有巨大的电子商务业务规模的大规模图的空间挑战。为了克服这些限制/挑战，我们提出了ColdGuess，这是一种基于异构卖家产品图的基于归纳图的风险预测器，它可以有效地识别大规模的风险卖家/产品/列表。ColdGuess通过合并节点来处理大规模图，并使用齐次影响来解决冷启动问题1。对真实数据的测试表明，随着未知特征数量的增加，ColdGuess算法具有稳定的性能。在新卖家销售新产品的冷启动情况下，它比lightgbm 2高出34 pcp ROC-AUC。由此产生的系统ColdGuess是有效的，能够适应不断变化的风险卖方行为，并且已经投入生产
2022-05-26 cs.AI cs.LG
Tensor tree learns hidden relational structures in data to construct generative models
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；The University of Tokyo（东京大学）；Institute for Physics of Intelligence, The University of Tokyo（东京大学智能物理研究所）；Institute for Solid State Physics, The University of Tokyo（东京大学固态物理研究所）；Trans-scale Quantum Science Institute, The University of Tokyo（东京大学跨尺度量子科学研究所）
提出基于张量树网络与Born machine框架的生成模型构建方法，通过动态优化树结构最小化键互信息，提升了性能并揭示了数据中的隐藏关系结构。
2025-04-03 cond-mat.stat-mech cs.AI cs.LG
Tensor Convolutional Sparse Coding with Low-Rank activations, an application to EEG analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Centre Borelli（博雷利中心）；Université Sorbonne Paris Nord（索邦巴黎北大学）；L2TI（L2TI实验室）；eXascale Infolab；University of Fribourg（弗里堡大学）
近年来，人们对脑电图（EEG）谱图的分析越来越感兴趣，特别是研究全麻（GA）期间意识（无）的神经相关性。事实上，已经证明，三阶张量（通道x频率x时间）是这些信号的自然和有用的表示。然而，这种编码带来了很大的困难，特别是对于卷积稀疏编码（CSC），因为现有的方法没有利用张量表示的特殊性，例如秩结构，并且容易受到医疗行为期间EEG固有的高水平噪声和扰动的影响。为了解决这个问题，在本文中，我们引入了一个新的CSC模型，命名为Kruskal CSC（K-CSC），它使用激活张量的Kruskal分解来利用这些表示的内在低秩性质，以提取相关和可解释的编码。我们的主要贡献，TC-FISTA，使用多种工具来有效地解决由此产生的优化问题，尽管张量表示引起的复杂性增加。然后，我们评估TC-FISTA的合成数据集和真实的EEG记录在GA。结果表明，TC-FISTA对噪声和扰动具有鲁棒性，从而实现了信号的精确、稀疏和可解释的编码。
2020-07-10 cs.LG eess.SP stat.ML
Multivariate Convolutional Sparse Coding with Low Rank Tensor
Ecole Normale Supérieure de Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Université Paris 13（巴黎第十三大学）
本文介绍了一种新的多元卷积稀疏编码的基础上张量代数的一般模型，同时执行元素的稀疏性和低秩的激活张量。通过使用CP分解，该模型实现了多变量信号的显著更有效的编码-特别是在高阶/维数设置中-从而产生更好的性能。我们证明，我们的模型是密切相关的Kruskal张量回归问题，提供有趣的理论保证，我们的设置。在此基础上，提出了一种基于交替优化的高效优化算法来求解该模型。最后，我们评估我们的算法与大范围的实验，突出其优点和局限性。
2019-08-09 cs.LG stat.ML
Convolutional Dictionary Learning through Tensor Factorization
University of California Irvine（加州大学欧文分校）
张量方法已经成为许多潜在变量模型（如主题模型，独立成分分析和字典学习）的一致性学习的强大范例。模型参数估计通过CP分解所观察到的高阶输入的时刻。然而，在许多领域中，存在额外的不变性，例如移位不变性，通过卷积字典学习等模型来实施。在本文中，我们开发了新的张量分解算法的卷积模型的参数估计。我们的算法是基于流行的交替最小二乘法，但有效的投影到堆叠循环矩阵的空间。我们的方法是并行的，由简单的操作，如快速傅立叶变换和矩阵乘法。我们的算法收敛到字典更快，更准确地相比，交替最小化过滤器和激活映射。
2015-06-18 cs.LG stat.ML
A Statistical Relational Approach to Learning Distance-based GCNs
Technical University of Darmstadt（达姆施塔特工业大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文研究了基于距离的关系数据图卷积网络的学习问题。具体地说，我们首先嵌入到欧几里德空间$\mathbb{R}^m$使用的关系密度估计技术，从而构建一个辅助欧几里德图的原始图。图的顶点对应于目标三元组，边表示目标三元组之间的欧几里得距离。我们强调学习二次欧几里德图的重要性和采用距离矩阵的优势，通常使用的邻接矩阵。我们全面的实证评估表明，我们的方法优于$12$不同的GCN模型，关系嵌入技术和规则学习技术。
2021-10-12 cs.LG
Tensor decomposition to Compress Convolutional Layers in Deep Learning
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Rutgers University（罗格斯大学）
张量数据的特征提取是异常检测、过程监控、图像分类和质量控制等许多任务中的重要步骤。虽然已经提出了许多方法来进行张量特征提取，仍然有两个挑战需要解决：1）如何减少高维和大体积张量数据的计算成本; 2）如何解释输出特征并评估其重要性。{The最近的深度学习方法，如卷积神经网络（CNN），在分析张量数据方面表现出了出色的性能，但它们的广泛采用仍然受到模型复杂性和缺乏可解释性的阻碍。为了填补这一研究空白，我们提出在深度学习中使用CP分解来近似压缩卷积层（CPAC-Conv层）。我们的工作可以概括为三个方面：（1）我们采用CP分解来压缩卷积核，并推导出我们提出的CPAC-Conv层的前向和后向传播表达式;（2）与原始卷积层相比，我们提出的CPAC-Conv层可以减少参数的数量，而不会降低预测性能。它可以与其他层相结合，构建新的深度神经网络;（3）分解的内核的值指示相应特征图的重要性，这为我们提供了指导特征选择的见解。
2021-05-31 cs.LG stat.ML
Discovering Molecular Functional Groups Using Graph Convolutional Neural Networks
官能团是分子的亚结构，是分析和预测分子化学性质的基础。FG的自动发现将通过减少发现或合成新分子所需的实验室实验量来影响各个研究领域，包括药物化学和材料科学。在本文中，我们研究的方法的基础上，图卷积神经网络（GCNN）的本地化的FG，有助于特定的化学性质的利益。在我们的框架中，分子被建模为无向关系图，原子作为节点，键作为边。使用这种关系图结构，我们在实验验证的分子训练集上以监督的方式训练GCNN，以预测特定的化学性质，例如，毒性在学习GCNN时，我们分析了它的激活模式，使用我们开发的四种不同的可解释性方法自动识别FG：基于梯度的显着性图，类激活映射（CAM），梯度加权CAM（Grad-CAM）和激励反向传播。虽然这些方法最初是为卷积神经网络（CNN）推导的，但我们对其进行了调整，以开发相应的GCNN合适版本。我们评估了这些方法的对比能力，确定的分子亚结构的特异性和化学功能的相关性。梯度CAM具有最高的对比度，并产生定性最好的FG。这项工作为新分子的自动分析和设计铺平了道路。
2019-10-09 cs.LG stat.ML
T- Hop: Tensor representation of paths in graph convolutional networks
我们描述了一种方法，用于将图中的路径信息编码为3-d张量。我们展示了引入的路径表示方案和动力邻接矩阵之间的连接。为了减轻繁重的计算需求的工作与三维张量，我们建议应用降维的深度轴的张量。然后，我们描述了我们的简化的3-D矩阵可以通过将其注入到已建立的图卷积网络框架（如MixHop）中，从而将其转化为一个合理的图卷积层。
2022-04-11 cs.LG
Share the Tensor Tea: How Databases can Leverage the Machine Learning Ecosystem
Microsoft（微软）；University of Washington（华盛顿大学）
我们演示了张量查询处理器（TQP）：一个查询处理器，自动编译成张量程序的关系运算符。通过利用PyTorch等张量运行时，TQP能够：（1）与ML工具集成（例如，Pandas用于数据摄取，Tensorboard用于可视化）;（2）针对不同的硬件（例如，CPU、GPU）和软件（例如，浏览器）后端;以及（3）端到端加速包含关系和ML运算符的查询。TQP足够通用，可以支持TPC-H基准测试，它提供的性能可以与专用CPU和GPU查询处理器相媲美，甚至更好。
2022-09-10 cs.DB cs.LG
RBA-GCN: Relational Bilevel Aggregation Graph Convolutional Network for Emotion Recognition
提出RBA-GCN，通过图生成、相似性聚类和双层聚合模块，解决传统GCN信息冗余和模态交互弱的问题，在IEMOCAP和MELD上F1提升2.17%-5.21%。
2023-08-31 cs.AI cs.LG
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加利福尼亚大学）
本文研究了深度卷积神经网络的权值学习问题。我们考虑一个网络，其中卷积是在每层都有一个内核的非重叠补丁上进行的。我们开发了一个算法，同时学习所有的内核从训练数据。我们的方法被称为深度张量分解（DeepTD）是基于秩1张量分解。我们在理论上研究DeepTD下的训练数据的可实现模型，其中输入是独立同分布选择的。从高斯分布，并且根据种植的卷积核生成标签。我们证明了DeepTD是数据高效的，并且只要样本大小超过网络中卷积权重的总数，就可以证明它是有效的。我们进行了各种数值实验，以研究DeepTD的有效性，并验证我们的理论研究结果。
2018-05-16 cs.LG math.OC stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
The Tensor Data Platform: Towards an AI-centric Database System
Microsoft（微软）
数据库引擎在历史上吸收了数据处理中的许多创新，增加了处理图形数据、XML、面向对象和文本等的功能。在本文中，我们提出了这样一个观点，即现在是时候为人工智能做同样的事情了--但要有一个转折！虽然现有的方法试图通过将数据库与外部ML工具集成来实现这一目标，但在本文中，我们声称实现真正以AI为中心的数据库需要将DBMS引擎从其核心从关系抽象转移到张量抽象。这使我们能够：（1）支持多模态数据处理，例如图像、视频、音频、文本以及关系数据;（2）利用HW和运行时中的创新源泉进行张量计算;以及（3）利用自动微分来实现可以学习执行任务的新型“可训练”查询。为了支持上述场景，我们引入了TDP：一个建立在我们之前将关系查询映射到张量的工作基础上的系统。由于与张量运行时更紧密地集成，TDP能够更广泛地覆盖需要访问多模态数据和自动微分的新兴场景。
2022-11-04 cs.DB cs.LG
Deep convolutional tensor network
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
神经网络已经在许多领域取得了最先进的成果，这可能是由于参数共享、局部性和深度。张量网络是基于纠缠结构的量子多体态的线性代数表示。TN已经在机器学习中得到应用。我们设计了一种新的基于TN的模型称为深度卷积张量网络（DCTN）的图像分类，它具有参数共享，局部性和深度。它是基于纠缠元格态（EPS）TN。我们展示了如何EPS可以实现为一个反向传播层。我们在MNIST，FashionMNIST和CIFAR10数据集上测试DCTN。浅DCTN在MNIST和FashionMNIST上表现良好，并且具有小的参数计数。不幸的是，深度增加过拟合，从而降低测试精度。此外，由于过拟合，任何深度的DCTN在CIFAR10上的表现都很差。原因尚待确定。我们讨论了DCTN的超参数如何影响其训练和过拟合。
2020-11-14 cs.LG stat.ML
Einconv: Exploring Unexplored Tensor Network Decompositions for Convolutional Neural Networks
Preferred Networks（优选网络公司）；The University of Tokyo（东京大学）
张量分解方法被广泛用于卷积神经网络（CNN）中的模型压缩和快速推理。虽然许多分解是可以想象的，但只有CP分解和少数其他分解已被应用于实践，并且没有在可用方法之间进行广泛的比较。以前的研究没有确定有多少分解是可用的，也没有确定哪一个是最佳的。在这项研究中，我们首先通过采用灵活的图形符号来描述特定于CNN的分解类。该类包括众所周知的CNN模块，如深度可分离卷积层和瓶颈层，但也包括以前未知的具有非线性激活的模块。我们还通过实验比较了预测精度和时间/空间复杂度之间的权衡，通过枚举所有可能的分解，或通过使用神经架构搜索发现的模块。我们发现一些非线性分解优于现有的。
2019-11-27 cs.LG stat.ML
Lossless Compression of Structured Convolutional Models via Lifting
Czech Technical University in Prague（捷克布拉格技术大学）
提升是一种有效的技术，通过利用底层的对称性来扩展推广到关系域的图形模型。同时，神经模型不断从网格状张量数据扩展到结构化表示，例如各种属性图和关系数据库。为了解决数据的不规则结构，模型通常基于卷积的思想进行外推，有效地在其动态展开的计算图中引入参数共享。然后，计算图本身反映了底层数据的对称性，类似于提升的图模型。受提升的启发，我们引入了一种简单有效的技术来检测对称性并压缩神经模型，而不会丢失任何信息。我们通过实验证明，这种压缩可以导致结构化卷积模型的显着加速，例如各种图神经网络，跨各种任务，例如分子分类和知识库完成。
2021-01-18 cs.AI cs.LG
TCN: Table Convolutional Network for Web Table Interpretation
University of Notre Dame（圣母大学）
半结构化网页的信息抽取为知识图谱的扩充提供了有价值的长尾事实。关系Web表是一个关键组件，其中包含丰富多样知识的附加实体和属性。然而，从关系表中提取知识是具有挑战性的，因为稀疏的上下文信息。现有的工作线性化表格单元格，并且严重依赖于修改深度语言模型，例如BERT，其仅捕获同一表格中的相关单元格信息。在这项工作中，我们提出了一种新的关系表表示学习方法，同时考虑表内和表间的上下文信息。一方面，所提出的表卷积网络模型采用注意力机制自适应地关注同一行或列的最具信息量的表内单元格;另一方面，它从不同表的单元格之间的各种类型的隐式连接中聚合表间上下文信息。具体来说，我们提出了三个新的聚合模块（一）相同值的细胞，（二）相同的模式位置的细胞，（三）细胞链接到同一页面主题。我们进一步设计了一个监督多任务训练目标，用于联合预测列类型和成对列关系，以及用于预训练的表单元格恢复目标。在真实Web表数据集上的实验表明，该方法在列类型预测和成对列关系预测方面分别比竞争基线的F1和F1高出+4.8%和+4.1%。
2021-02-17 cs.IR cs.LG
Ultimate tensorization: compressing convolutional and FC layers alike
Moscow State University（莫斯科国立大学）；Yandex；National Research University Higher School of Economics（国家研究型大学高等经济学院）；Institute of Numerical Mathematics of the Russian Academy of Sciences（俄罗斯科学院数值数学研究所）
卷积神经网络在图像识别任务中表现出色，但这是以高计算和存储复杂性为代价的。为了解决这个问题，[1]开发了一个张量分解框架来压缩全连接层。在本文中，我们专注于压缩卷积层。我们表明，虽然直接将张量框架[1]应用于卷积的4维核确实压缩了层，但我们可以做得更好。我们将卷积核重塑为高阶张量并对其进行因子分解。我们将所提出的方法与之前的工作相结合，以压缩网络的卷积层和全连接层，并在CIFAR-10数据集上实现80倍的网络压缩率，准确率下降1.1%。
2016-11-10 cs.LG
Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
China University of Geosciences（中国地质大学）
卷积神经网络是目前非常流行的一种神经网络。训练神经网络并不是一件容易的事。每个卷积对应于一个结构化的变换矩阵。为了帮助避免梯度爆炸/消失问题，期望每个变换矩阵的奇异值在训练过程中不大/不小。我们为卷积核张量提出了三个新的正则化项来约束每个变换矩阵的奇异值。我们展示了如何执行梯度类型的方法，这提供了新的见解的训练卷积神经网络。
2021-02-05 cs.LG cs.NA math.NA
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
A Review of Relational Machine Learning for Knowledge Graphs
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Siemens AG, Corporate Technology（西门子公司企业技术部）；Google Inc.（谷歌公司）
关系机器学习研究关系或图形结构数据的统计分析方法。在本文中，我们回顾了如何在大型知识图上“训练”这种统计模型，然后用于预测关于世界的新事实（相当于预测图中的新边缘）。特别是，我们讨论了两种根本不同的统计关系模型，这两种模型都可以扩展到大规模数据集。第一种是基于潜在的特征模型，如张量分解和多路神经网络。第二种是基于图中可观察模式的挖掘。我们还展示了如何结合这些潜在的和可观察的模型，以获得更好的建模能力，降低计算成本。最后，我们将讨论如何将这种图的统计模型与基于文本的信息提取方法相结合，从Web上自动构建知识图。为此，我们还讨论了谷歌的知识库项目作为这种组合的一个例子。
2015-09-28 cs.LG stat.ML
Convolutional Tensor-Train LSTM for Spatio-temporal Learning
University of Maryland（马里兰大学）；NVIDIA Research（英伟达研究院）
时空数据学习在人类行为分析、目标跟踪、视频压缩、物理仿真等领域有着广泛的应用，但现有的时空数据学习方法在长时间预测等视频任务中表现不佳。这是因为这些具有挑战性的任务需要学习视频序列中的长期时空相关性。在本文中，我们提出了一个高阶卷积LSTM模型，可以有效地学习这些相关性，以及历史的简洁表示。这是通过一个新的张量训练模块来实现的，该模块通过组合跨时间的卷积特征来执行预测。为了使这在计算和内存需求方面可行，我们提出了一种新的高阶模型的卷积张量-训练分解。这种分解通过将卷积核序列联合近似为低秩张量训练因子分解来降低模型复杂度。因此，我们的模型优于现有的方法，但只使用了一小部分参数，包括基线模型。我们的结果在广泛的应用程序和数据集上实现了最先进的性能，包括Moving-MNIST-2和KTH动作数据集上的多步视频预测以及Something-Something V2数据集上的早期活动识别。
2020-10-04 cs.CV cs.LG stat.ML
Tensor Graph Convolutional Network for Dynamic Graph Representation Learning
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chinese Academy of Sciences（中国科学院）；Southwest University（西南大学）
本文提出张量图卷积网络，通过张量形式表示动态图并利用张量积在单一卷积框架中同时建模时空特征，在真实数据集上取得了最先进性能。
2024-01-13 cs.AI cs.LG
Dynamic Graph Convolutional Networks Using the Tensor M-Product
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research（IBM研究院）；Tufts University（塔夫茨大学）；Tel Aviv University（特拉维夫大学）
许多不规则的领域，如社交网络，金融交易，神经元连接，和自然语言结构使用图结构表示。近年来，各种图神经网络（GNN）已成功地应用于此类图的表示学习和预测。在许多现实世界的应用中，底层图随着时间的推移而变化，然而，大多数现有的GNN不足以处理这种动态图。在本文中，我们提出了一种新的技术学习嵌入的动态图使用张量代数框架。我们的方法扩展了流行的图卷积网络（GCN）的学习表示的动态图使用最近提出的张量M-产品技术。理论结果建立了张量方法和张量谱卷积之间的联系。所提出的方法TM-GCN是一致的消息传递神经网络（MPNN）的框架，占空间和时间的消息传递。在真实数据集上的数值实验证明了所提出的方法在动态图上的边缘分类和链接预测任务的性能。我们还考虑了与COVID-19大流行相关的应用，并展示了我们的方法如何用于从接触者追踪数据中早期检测感染者。
2021-01-23 cs.LG stat.ML
Answering Visual-Relational Queries in Web-Extracted Knowledge Graphs
NEC Labs Europe（欧洲NEC实验室）；University of Alcalá（阿尔卡拉大学）
视觉关系知识图谱（KG）是其实体与图像相关联的多关系图。我们探索新的机器学习方法来回答网络提取的知识图谱中的视觉关系查询。为此，我们创建了ImageGraph，这是一个KG，包含1，330个关系类型，14，870个实体和829，931个从Web上抓取的图像。使用视觉关系KG（如ImageGraph），可以引入新的概率查询类型，其中图像被视为一等公民。不可见图像之间的关系预测以及多关系图像检索都可以用特定的视觉关系查询族来表示。我们引入卷积网络和知识图谱嵌入方法的新组合来回答此类查询。我们还探讨了一个零样本学习的情况下，一个全新的实体的图像与现有KG的实体的多个关系。所得到的将看不见的实体图像到知识图谱中的多关系基础用作语义实体表示。我们进行实验，以证明所提出的方法可以回答这些视觉关系查询有效和准确。
2019-05-03 cs.AI cs.LG
Cross-Graph Learning of Multi-Relational Associations
Carnegie Mellon University（卡内基梅隆大学）
跨图关系学习（Cross-graph Relational Learning，CGRL）是指通过在多个图上进行联合推理来预测异构对象类型的多关系元组的强度或标签的问题。CGRL是机器学习中的一个开放性挑战，因为当多个图中的节点数量很大时，需要处理的所有可能的元组的数量令人生畏，并且因为标记的训练实例通常非常稀疏。诸如张量因式分解或张量核机器的现有方法不能很好地工作，因为缺乏用于CGRL模型优化的凸公式，算法在处理元组的组合数量时的可扩展性差，和/或学习方法的非转导性质限制了它们在训练中利用未标记数据的能力。本文提出了一种新的框架，制定CGRL作为一个凸优化问题，使转导学习使用标记和未标记元组，并提供了一个可扩展的算法，保证最优解，并享有线性时间复杂度的输入图的大小。在我们的实验与DBLP出版记录的子集和酶多源数据集，所提出的方法成功地扩展到大型交叉图推理问题，并优于其他代表性的方法显着。
2016-05-06 cs.LG
Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis
Gdańsk University of Technology（格但斯克工业大学）；Medical University of Gdańsk（格但斯克医科大学）
本研究提出双层级关系框架，结合隐式图像块关系建模与显式图结构消息传递，在ISIC-2018、ISIC-2019皮肤病变诊断基准上提升了平衡准确率，其中集成网格结构的图注意力网络表现最优。
2026-08-07 cs.AI cs.CV cs.LG
Spatially-Aware Graph Neural Networks for Relational Behavior Forecasting from Sensor Data
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们解决了从传感器数据的关系行为预测的问题。为了实现这一目标，我们提出了一种新的空间感知图神经网络（SpAGNN），模型代理在场景中的相互作用。具体来说，我们利用一个卷积神经网络来检测演员和计算他们的初始状态。然后，图神经网络通过消息传递过程迭代地更新参与者状态。受高斯信念传播的启发，我们将消息设计为邻近代理的输出分布的空间变换参数。我们的模型是完全可区分的，从而实现端到端的培训。重要的是，我们的概率预测可以在轨迹层面上对不确定性进行建模。我们通过在两个现实世界的自动驾驶数据集：ATG4D和nuScenes上实现对最先进技术的显著改进来证明我们方法的有效性。
2019-10-18 cs.CV cs.LG cs.RO
A simple neural network module for relational reasoning
DeepMind
关系推理是一般智能行为的核心组成部分，但已证明神经网络难以学习。在本文中，我们描述了如何使用关系网络（RN）作为一个简单的即插即用模块来解决从根本上依赖于关系推理的问题。我们在三个任务上测试了RN增强的网络：使用一个名为CLEVR的具有挑战性的数据集进行视觉问答，我们在此基础上实现了最先进的超人性能;使用bAbI任务套件进行基于文本的问答;以及对动态物理系统进行复杂推理。然后，使用一个名为Sort-of-CLEVR的策划数据集，我们证明了强大的卷积网络不具备解决关系问题的一般能力，但在使用RN增强时可以获得这种能力。我们的工作展示了配备RN模块的深度学习架构如何隐式地发现和学习推理实体及其关系。
2017-06-05 cs.CL cs.LG
High-Order Tensor Regression in Sparse Convolutional Neural Networks
本文提出一种面向卷积的通用高阶张量方法，构建稀疏卷积神经网络的理性回归理论框架，并据此重新定义以最简单通用形式呈现的反向传播算法。
2025-08-28 cs.LG
