kLog: A Language for Logical and Relational Learning with Kernels
Università degli Studi di Firenze(佛罗伦萨大学);KU Leuven(鲁汶大学);Albert-Ludwigs-Universität(阿尔伯特-路德维希大学)
我们介绍kLog,一种新的统计关系学习方法。与标准方法不同,kLog不直接表示概率分布。它更像是一种在表达性逻辑和关系表示上执行基于内核的学习的语言。kLog允许用户以声明的方式指定学习问题。它建立在简单但强大的概念上:从解释中学习,实体/关系数据建模,逻辑编程和演绎数据库。内核对丰富表示的访问是通过一种我们称为图形化的技术来进行的:关系表示首先被转换成一个图-特别是一个接地的实体/关系图。随后,图核的选择定义特征空间。kLog支持混合的数字和符号数据,以及以Prolog或Datalog程序形式存在的背景知识,如归纳逻辑程序设计系统。kLog框架可以应用于处理使统计关系学习如此流行的相同范围的任务,包括分类,回归,多任务学习和集体分类。我们还报告了经验比较,表明kLog可以更准确,或者在相同的精度水平下比Tilde和Alchemy快得多。kLog是GPL v3许可的,可在http://klog.dinfo.unifi.it上获得,并附有教程。
2014-07-28 cs.AI cs.LG cs.PL
GMNN: Graph Markov Neural Networks
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);University of Montréal(蒙特利尔大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院);HEC Montréal(蒙特利尔高等商学院)
本文研究了关系数据中的半监督对象分类问题,这是关系数据建模中的一个基本问题。这个问题已经在统计关系学习(例如关系马尔可夫网络)和图神经网络(例如图卷积网络)的文献中得到了广泛的研究。统计关系学习方法可以通过条件随机场有效地对对象标签的依赖性进行建模,以进行集体分类,而图神经网络通过端到端训练来学习有效的对象表示以进行分类。在本文中,我们提出了图马尔可夫神经网络(GMNN),结合了这两个世界的优点。一个GMNN模型的对象标签的联合分布与条件随机场,它可以有效地训练与变分EM算法。在E步骤中,一个图神经网络学习有效的对象表示,用于近似对象标签的后验分布。在M-步骤中,另一个图神经网络被用来模拟本地标签依赖。在对象分类、链接分类和无监督节点表示学习上的实验表明,GMNN取得了最好的结果。
2020-07-23 cs.LG cs.SI stat.ML
Composition-based Multi-Relational Graph Convolutional Networks
Indian Institute of Science(印度科学学院);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
图卷积网络(GCN)最近被证明是非常成功的建模图结构的数据。然而,主要的焦点是处理简单的无向图。多关系图是一种更普遍和流行的图,其中每个边都有一个标签和方向与之相关联。大多数现有的方法来处理这类图遭受过度参数化,并仅限于学习节点的表示。在本文中,我们提出了CompGCN,一种新的图卷积框架,它联合嵌入节点和关系图中的关系。CompGCN利用来自知识图谱嵌入技术的各种实体-关系组合操作,并随关系的数量而缩放。它还推广了现有的几个多关系GCN方法。我们评估我们提出的方法在多个任务,如节点分类,链接预测,和图形分类,并取得了明显的优越的结果。我们提供CompGCN的源代码,以促进可重复的研究。
2020-01-18 cs.LG stat.ML
A Comparative Study of Distributional and Symbolic Paradigms for Relational Learning
KU Leuven(鲁汶大学);EPFL(洛桑联邦理工学院);NEC Labs(日本电气实验室)
许多现实世界的领域可以表示为图,更一般地,表示为多关系知识图谱。虽然知识图谱的推理和学习传统上是通过符号方法来解决的,但(深度)表示学习的最新方法已经显示出对专门任务(如知识库完成)有希望的结果。这些方法摒弃了传统的符号范式,用欧氏空间中的向量代替符号。除了少数例外,象征性和分配性办法在不同社区得到探讨,但对它们各自的优缺点知之甚少。在这项工作中,我们比较表示学习和关系学习的各种关系分类和聚类任务,并分析这些方法隐式使用的规则的复杂性。初步结果揭示了可能的指标,有助于为特定的知识图谱选择一种方法而不是另一种方法。
2020-03-24 cs.AI cs.LG stat.ML
HEHRGNN: A Unified Embedding Model for Knowledge Graphs with Hyperedges and Hyper-Relational Edges
organization= Department of Computer Science;Engineering Indian Institute of Technology Palakkad , country= India
HEHRGNN是一种统一的嵌入模型,用于处理具有超边和超关系边的n-元关系知识图谱,通过统一的事实表示格式和新型消息传播模型,提升链接预测性能。
2026-02-21 cs.AI cs.LG
Superpixel-based Knowledge Infusion in Deep Neural Networks for Image Classification
BITS Pilani, Goa Campus(比特斯皮拉尼大学果阿校区);Savitribai Phule Pune University(萨维特里巴伊·普莱浦那大学)
超像素是图像中像素的高阶感知组,通常携带比原始像素更多的信息。图像的不同超像素之间的关系存在固有的关系结构,例如相邻的超像素是彼此的邻居。我们在这里的兴趣是将这些不同超像素的相对位置视为图像的关系信息。该关系信息可以传达关于图像的高阶空间信息,例如表示猫的图像中的两只眼睛的超像素之间的关系。也就是说,两只眼睛在直线上彼此相邻放置,或者嘴在鼻子下面。我们在这篇论文中的动机是帮助计算机视觉模型,特别是那些基于深度神经网络(DNN)的模型,通过整合来自超像素的高阶信息。我们构建了一个混合模型,利用(a)卷积神经网络(CNN)来处理图像中的空间信息和(b)图神经网络(GNN)来处理图像中的关系超像素信息。所提出的模型是学习使用一个通用的混合损失函数。我们的实验是广泛的,我们评估了我们提出的混合视觉模型的预测性能七个不同的图像分类数据集,从各种领域,如数字和对象识别,生物识别,医学成像。结果表明,GNN处理的相关超像素信息可以提高基于标准CNN的视觉系统的性能。
2022-02-23 cs.CV cs.LG eess.IV
Topological Relational Learning on Graphs
Princeton University(普林斯顿大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
图神经网络(GNN)已经成为图分类和表示学习的强大工具。然而,GNN往往会遭受过度平滑问题,并且容易受到图形扰动的影响。为了解决这些挑战,我们提出了一种新的拓扑关系推理(TRI)的拓扑神经框架,它允许将高阶图信息集成到GNN中,并系统地学习局部图结构。该算法的核心思想是利用节点邻域的持续同调性对原图进行重新布线,然后将提取的拓扑摘要作为边信息加入局部算法。因此,新的框架使我们能够利用传统的信息图的结构和信息图的高阶拓扑性质。我们推导出新的局部拓扑表示的理论稳定性保证,并讨论了它们对图代数连通性的影响。节点分类任务的实验结果表明,新的TRI-GNN优于所有14个国家的最先进的基线6出7图,并表现出更高的鲁棒性扰动,产生高达10%的噪声情况下的性能提高。
2021-10-29 cs.LG stat.ML
Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness
Arizona State University(亚利桑那州立大学)
神经张量网络(NTN)被构造为编码实体对之间的关系程度,用于逻辑张量网络(LTN)中,以促进一阶逻辑中的统计关系学习(SRL)。在本文中,我们提出了随机加权张量网络(RWTNs),它将随机抽取的未训练张量与训练的解码器网络合并到NTN编码器网络中。我们表明,RWTN满足或超过传统训练的LTNs的语义图像判读(SII)的任务,已被用作一个代表性的例子,LTNs如何利用推理超过一阶逻辑的性能,超过单纯的数据驱动的方法的性能。我们证明了RWTN优于LTNs的检测对象之间的关系的相关部分,我们表明,RWTN可以实现类似的性能LTNs的对象分类,同时使用更少的参数进行学习。此外,我们证明,由于随机化的权重不依赖于数据,几个解码器网络可以共享一个NTN,使RWTN的同步分类任务的空间规模的独特经济。
2020-10-03 cs.LG stat.ML
A Locality Radius Framework for Understanding Relational Inductive Bias in Database Learning
Vishwakarma Institute of Technology(维什瓦卡玛技术学院)
本文提出局部半径框架,用于分析数据库学习中关系归纳偏置的影响,通过实验揭示任务局部半径与架构聚合深度的对齐关系。
2026-02-19 cs.LG
Relational Pooling for Graph Representations
Purdue University(普渡大学)
这项工作概括了图神经网络(GNN),超越了那些基于Weisfeiler-Lehman(WL)算法,图拉普拉斯算子和扩散。我们的方法,表示关系池(RP),从有限的部分交换的理论,提供了一个框架,最大的代表性权力的图形。RP可以与现有的图表示模型一起工作,并且有点违反直觉,可以使它们比原始的WL同构测试更强大。此外,RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
Multi-Relational Knowledge Graph Enhanced Embedding for Trajectory-User Linking
the College of Information, Mechanical and Electrical Engineering, Shanghai Normal University(上海师范大学信息与机电工程学院);Shanghai Urban-Rural Construction & Transportation Development Institute(上海城乡建设与交通发展研究院);Zhongke Zidong Information Technology(中科紫东信息技术(北京)有限公司)
MakeTUL首次将知识图谱表示学习引入TUL,通过多关系移动知识图谱和双分支分类层,解决现有TUL方法特征利用不足等问题,提升轨迹用户链接性能。
2026-08-11 cs.CV cs.LG
A Collective Learning Framework to Boost GNN Expressiveness
Purdue University(普渡大学)
图神经网络(GNN)最近已被用于节点和图分类任务,并取得了巨大的成功,但GNN模型之间的依赖关系附近的相邻节点的属性,而不是观察到的节点标签之间的依赖关系。在这项工作中,我们考虑在监督和半监督环境中使用GNN进行归纳节点分类的任务,目标是纳入标签依赖性。因为当前的GNN不是通用的(即,最具表现力)的图形表示,我们提出了一种通用的集体学习方法来提高任何现有GNN的表示能力。我们的框架结合了集体分类与自监督学习的思想,并使用蒙特卡罗方法对图中的归纳学习进行采样嵌入。我们评估了五个真实网络数据集的性能,并证明了各种最先进的GNN在节点分类准确性方面的一致,显著的改进。
2020-09-28 cs.LG stat.ML
Weisfeiler and Leman Go Relational
Institute for Mathematical and Computational Engineering, PUC Chile(智利天主教大学数学与计算工程研究所);IMFD Chile(智利数据基础研究所);CENIA Chile(智利国家人工智能中心);Mila Quebec AI Institute(魁北克人工智能研究所Mila);McGill University(麦吉尔大学);RWTH Aachen University(亚琛工业大学);Universidad Adolfo Ibáñez(阿道夫·伊瓦涅斯大学)
知识图谱,建模多关系数据,改善了许多应用程序,如问答或图形逻辑推理。最近出现了许多用于此类数据的图神经网络,它们的性能通常优于浅层架构。然而,这种多关系图神经网络的设计是特别的,主要由直觉和经验见解驱动。到目前为止,他们的表现力,他们之间的关系,他们的(实际)学习表现知之甚少。在这里,我们开始研究多关系图神经网络获得更有原则的理解。也就是说,我们研究了著名的关系型GCN和组合型GCN架构的表达能力的局限性,并揭示了它们的实际学习性能。通过将两种架构与Weisfeiler-Leman测试的合适版本对齐,我们建立了在哪些条件下两种模型在区分具有不同结构角色的非同构(多关系)图或顶点时具有相同的表达能力。此外,通过利用最新的进展,设计表达图神经网络,我们介绍了$k$ -RN架构,证明克服了上述两种架构的表达能力的限制。从经验上讲,我们证实了我们的理论研究结果,在一个顶点分类设置在小型和大型多关系图。
2022-11-30 cs.LG cs.NE stat.ML
Revisiting Simple Baselines for Relational Deep Learning
University of Würzburg(维尔茨堡大学);Seamless Labs, Inc.(Seamless Labs 公司);Stanford University(斯坦福大学)
本研究重新探索简单传播方法作为关系深度学习基线的有效性,提出适配关系实体图的低通特征传播与MLP结合,结合Correct-and-Smooth优化预测,在RelBench任务上表现优异,明确元图构建是关键挑战。
2026-10-14 cs.LG
Collectively Embedding Multi-Relational Data for Predicting User Preferences
University of Washington(华盛顿大学)
矩阵分解作为一种基于协同过滤的推荐方法已经取得了令人难以置信的成功和广泛的应用。不幸的是,纳入额外的证据来源,特别是那些不完整和嘈杂的,是很难在这样的模型中实现,然而,往往是至关重要的,以获得进一步的收益的准确性。例如,应该利用来自评论、类别和属性的关于业务的附加信息来预测用户偏好,即使这些信息通常是不准确的并且是部分观察到的。而不是创建定制的方法,是特定于每种类型的证据,在本文中,我们提出了一个通用的方法,因式分解的关系数据,集体建模数据库中的所有关系。通过学习一组在所有关系中共享的嵌入,模型能够合并来自所有关系的观察信息,同时还预测所有感兴趣的关系。我们对多个亚马逊和Yelp数据集的评估表明,我们有效地利用了额外的信息来进行偏好预测,但此外,我们甚至为我们没有观察到任何评级或评论的冷启动业务和产品提供了准确的模型。我们还说明了该模型的能力,在填补缺失的信息和联合可视化的话,类别和属性因素。
2015-04-23 cs.IR cs.LG
Graph-Based Feature Augmentation for Predictive Tasks on Relational Datasets
Beijing Institute of Technology(北京理工大学)
本文提出端到端自动化特征增强框架 ReCoGNN,通过表内语义依赖建模、异质加权图构建与消息传递 GNN 传播关系信息,在多表数据上自动选择并增强特征,实验表明其在分类和回归任务上稳定优于现有方法。
2025-08-28 cs.DB cs.LG
Relational Graph Neural Networks for Fraud Detection in a Super-App environment
Rappi(拉匹(Rappi公司));University of California Berkeley(加州大学伯克利分校);University of California, San Diego(加州大学圣地亚哥分校)
大型数字平台创建了捕获不同类型用户交互的环境,这些关系为欺诈检测问题提供了新的信息来源。在本文中,我们提出了一个框架的关系图卷积网络方法的欺诈行为预防的金融服务的超级应用程序。为此,我们将该框架应用于不同的异构图的用户,设备和信用卡;最后使用一个可解释性算法的图神经网络,以确定最重要的关系的分类任务的用户。我们的研究结果表明,当考虑利用超级应用程序的替代数据以及在其高连接性中发现的交互的模型时,会有附加价值,进一步证明他们如何利用这些数据来做出更好的决策和欺诈检测策略。
2021-07-30 cs.LG q-fin.GN
Relational Learning between Multiple Pulmonary Nodules via Deep Set Attention Transformers
Shanghai Jiao Tong University(上海交通大学);Diannei Technology(电内科技);Huawei Hisilicon(华为海思)
多发性肺结节的诊断和治疗具有重要的临床意义和挑战性。以往的结节定性研究多采用孤立结节的方法,忽略了结节之间的关系。在这项研究中,我们提出了一种多实例学习(MIL)方法,并实证证明了学习多个结节之间的关系的好处。通过将来自同一患者的多个结节作为整体来处理,提取孤立结节体素之间的关键关系信息。据我们所知,这是第一个研究,以了解肺多发结节之间的关系。受自然语言处理(NLP)领域最新进展的启发,我们引入了一种配备3D CNN的自注意力Transformer,命名为{NoduleSAT},以取代多实例学习中典型的基于池的聚合。在LUNA 16数据库上进行肺结节假阳性减少实验,在LIDC-IDRI数据库上进行恶性肿瘤分类实验,验证了该方法的有效性。
2020-04-12 cs.CV cs.LG eess.IV
Rel-HNN: Split Parallel Hypergraph Neural Network for Learning on Relational Databases
University of Dhaka(达卡大学);Brac University(布拉克大学)
本文提出超图神经网络框架 rel-HNN,将属性-值对建模为节点、元组建模为超边以捕捉细粒度关系结构,并通过分割并行多 GPU 训练算法解决大规模关系数据库的可扩展性问题,在分类和回归任务上显著优于现有方法。
2025-07-16 cs.DB cs.DC cs.LG
Integrating Association Rules with Decision Trees in Object-Relational Databases
研究提供的证据表明,与其他分类模型相比,关联分类产生更准确的结果。基于关联的分类(CBA)是一种著名的关联分类算法,它可以产生精确的分类器。然而,当前的关联分类算法驻留在数据库外部,这降低了企业分析系统的灵活性。本文采用两种不同的模型在Oracle数据库中实现了CBA:将CBA硬编码在Oracle数据采掘(ODM)包中,以及将Oracle Apriori模型与Oracle决策树模型相结合。我们在UCI的18个数据集上比较了所提出的模型与朴素贝叶斯、支持向量机、随机森林和决策树的性能。结果表明,我们的模型比原始CBA模型的性能高出1%,并且与基准数据集上的选定分类模型相比具有竞争力。
2019-04-21 cs.AI cs.IR
Exact and efficient top-K inference for multi-target prediction by querying separable linear relational models
Poznan University of Technology(波兹南理工大学);Ghent University(根特大学)
许多涉及大目标空间的复杂多目标预测问题的特征在于需要有效的预测策略,以避免明确计算所有目标的预测。这些问题的例子出现在机器学习的几个子领域,如协同过滤,多标签分类,二元预测和生物网络推理。在这篇文章中,我们分析了高效和精确的算法,用于计算上述问题设置中的前$K$预测,使用我们称为可分离线性关系模型的一般类模型。我们展示了如何使用这些推理算法,这是众所周知的信息检索方法的修改,在各种机器学习设置。此外,我们还研究了项目评分不完全的可能性,同时仍然保留了一个确切的前K检索。在几个应用领域的实验结果表明,所谓的阈值算法是非常可扩展的,执行往往比天真的方法更有效的许多数量级。
2016-06-14 cs.IR cs.LG