Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London(伦敦大学学院)
尽管近年来强化学习在许多领域得到了成功的应用,但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力,但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中,我们表明,我们可以将关系归纳偏见,编码的关系图的形式,到代理。基于这一见解,我们提出了网格到图(GTG),从网格结构到关系图的映射,当通过关系图卷积网络(R-GCN)处理时,关系图携带有用的空间关系归纳偏差。我们表明,与基于卷积神经网络和神经逻辑机的基线相比,在具有挑战性的程序生成环境和MinAtar上,R-GCN在分布内和分布外都具有更好的泛化能力。此外,我们表明,GTG产生的代理,可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Relational recurrent neural networks
DeepMind;University College London(伦敦大学学院)
基于记忆的神经网络通过利用长时间记忆信息的能力来对时态数据进行建模。然而,目前还不清楚他们是否也有能力用他们记住的信息进行复杂的关系推理。在这里,我们首先证实了我们的直觉,即标准的内存架构可能会在大量涉及理解实体连接方式的任务中挣扎-即,涉及关系推理的任务。然后,我们通过使用一种新的记忆模块--\textit{Relational Memory Core}(RMC)--来改善这些缺陷,这种记忆模块采用多头点积注意力来允许记忆相互作用。最后,我们在一系列任务上测试了RMC,这些任务可能会从跨序列信息的更强大的关系推理中受益,并在RL域(例如Mini PacMan),程序评估和语言建模中显示出巨大的收益,在WikiText-103,Project Gutenberg和GigaWord数据集上实现了最先进的结果。
2018-06-28 cs.LG stat.ML
Domain-Liftability of Relational Marginal Polytopes
Czech Technical University in Prague(布拉格捷克理工大学);ETH Zurich(苏黎世联邦理工学院)
我们研究的计算方面的关系边际多面体的统计关系学习对应的边际多面体,众所周知的概率图形模型。在这里,给定某个一阶逻辑公式,我们可以将其关系边际统计量定义为在给定的可能世界中使该公式为真的基础的分数。对于一阶逻辑公式列表,关系边际多面体是对应于可实现的关系边际统计量的期望值的所有点的集合。在本文中,我们研究了以下两个问题:(i)域提升的结果的划分功能的马尔可夫逻辑网络(MLNs)结转到问题的关系边际多面体的建设?(ii)在一些合理的复杂性理论假设下,关系边际多面体包容问题是困难的吗?我们的积极成果有后果的MLN举重学习。特别是,我们证明了MLN的权重学习是可提升的,只要相应MLN的配分函数的计算是可提升的(这个结果之前没有得到严格的证明)。
2020-01-15 cs.AI cs.LG
PAC-Reasoning in Relational Domains
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院);Cardiff University(卡迪夫大学)
我们考虑的问题,在关系数据中预测似是而非的缺失事实,给定一组不完美的逻辑规则。特别是,我们的目标是提供的(预期)数量的不正确的推断,以这种方式的界限。由于经典推理一般不可能以非平凡的方式约束这个数,我们考虑两个推理关系,它们削弱了经典推理,但在精神上仍然接近经典推理。
2018-07-04 cs.AI cs.LG
Relational Neural Markov Random Fields
University of Texas at Dallas(德克萨斯大学达拉斯分校)
统计关系学习(SRL)模型由于其在处理不确定性的同时对复杂数据建模的能力而引起了人们的极大关注。然而,大多数这些模型已被限制到离散域,由于其有限的潜在功能。我们引入关系神经马尔可夫随机场(RN-MRFs),它允许处理复杂的关系混合域。我们的模型的主要优点是,它使最小的数据分布假设,并可以无缝地允许人类的知识,通过潜力或关系规则。我们提出了一种基于最大伪像估计的重要性采样学习算法来训练神经电位参数。我们在不同领域的经验评估,如图像处理和关系对象映射,清楚地证明了其对非神经同行的有效性。
2021-10-18 cs.AI cs.LG
Multi-Relational Graph Neural Network for Out-of-Domain Link Prediction
Universitá di Pisa(比萨大学);H&M Group(H&M集团)
针对动态多关系图中的域外链接预测任务,提出GOOD模型,通过解耦关系嵌入混合比例实现泛化,在零售领域基准上取得最优结果。
2024-03-17 cs.AI cs.LG
HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
在许多自然语言处理任务中,大型预训练语言模型(PLM)与传统的神经网络方法相比表现出了压倒性的性能。然而,它们庞大的模型大小和较低的推理速度在实践中阻碍了在资源有限的设备上的部署。在本文中,我们的目标是压缩PLM与知识蒸馏,并提出了一个层次关系知识蒸馏(HRKD)的方法来捕获层次和领域的关系信息。具体来说,为了增强模型的能力和可移植性,我们利用元学习的思想并建立域关系图来捕获不同域之间的关系信息。为了动态地为每个领域选择最具代表性的原型,我们提出了一种层次比较聚合机制来捕获层次关系。在公共多领域数据集上的实验表明,我们的HRKD方法的优越性能以及其强大的少样本学习能力。为了重现性,我们在https://github.com/cheneydon/hrkd上发布代码。
2021-10-16 cs.AI cs.CL cs.LG
Cross-Domain Molecular Relational Learning: Leveraging Chemical Structure-Activity Analysis
Wuhan University of Technology(武汉理工大学);Yonsei University(延世大学);Hubei Key Laboratory of Transportation Internet of Things(湖北省交通运输物联网重点实验室);State Key Laboratory of Silicate Materials for Architectures(建筑硅酸盐材料国家重点实验室);City University of Macau(澳门城市大学);Kyung Hee University(庆熙大学);Dalian University(大连大学)
提出域对抗训练网络与结构语义迁移差异(DisTrans),通过结构-活性分析优化分子结构与视觉图像的跨域自适应表示,在跨域分子关系学习中优于16种基线方法。
2026-05-22 cs.AI cs.LG
SCGFM-ART: Amortized Relational Transport for Structure-Centric Graph Foundation Models
University of Electronic Science and Technology of China(电子科技大学)
提出SCGFM-ART框架,通过摊销关系传输将任意图对齐到共享关系图谱,实现跨域图表示学习,在14个任务上取得最优迁移性能,并大幅加速推理。
2026-09-18 cs.AI cs.LG
Guided Exploration for Efficient Relational Model Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对关系模型学习中随机探索效率低的问题,提出演示初始化算子与前置条件定向引导两项原则,并在 Baking-Large 上验证其可提升样本效率与泛化性。
2025-05-10 cs.AI cs.LG
Neural Networks for Relational Data
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon Inc.(亚马逊公司);TU Darmstadt(达姆施塔特工业大学)
虽然深度网络在过去十年中取得了巨大的成功,但它们依赖于平面特征向量表示,这使得它们不适用于结构丰富的领域,例如社会网络分析等应用中出现的领域。这些领域依赖于关系表示来捕获实体及其属性之间的复杂关系。因此,我们考虑学习神经网络的关系数据的问题。我们将自己与当前依赖于专家手工编码规则的方法区分开来,这些方法通过学习基于关系随机游走的特征来捕获局部结构相互作用和由此产生的网络架构。我们进一步利用所得到的关系神经网络的网络权重的参数绑定,其中相同类型的实例共享参数。我们在几个标准关系数据集上的实验结果证明了所提出的方法在多个神经网络基线以及最先进的统计关系模型上的有效性。
2020-01-13 cs.AI cs.LG
Relational Graph Representation Learning for Open-Domain Question Answering
Autodesk AI Lab(欧特克人工智能实验室)
本文提出了一种具有双向注意力机制和分层表示学习的关系图神经网络,用于解决开放域问答问题。我们的模型可以通过联合学习和更新查询、知识图谱和文档表示来学习上下文表示。实验表明,我们的模型达到了国家的最先进的WebtagesSP基准。
2019-10-18 cs.CL cs.LG
VC-Dimension Based Generalization Bounds for Relational Learning
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院);Cardiff University(卡迪夫大学)
在关系学习的许多应用中,可用数据可以被视为来自更大关系结构的样本(例如,我们可能会从一些社交网络中获得一个小片段)。在本文中,我们特别关注的情况下,我们可以假设(i)出现在给定的样本中的域元素已被均匀采样,而没有从(未知的)完整域中替换,以及(ii)样本对于这些域元素是完整的(即,它是由这些元素引起的完整子结构)。在这种情况下,我们研究的误差界限充分统计的关系模型,估计可用的数据。作为我们的主要结果,我们证明了一个绑定的基础上的一个变种的Vapnik-Chervonenkis维,这是适合于关系数据。
2018-07-04 cs.AI cs.LG stat.ML
Inter-domain Multi-relational Link Prediction
Kyoto University(京都大学);Fujitsu Research, Fujitsu Ltd.(富士通研究,富士通有限公司)
多关系图是一种普遍而重要的数据结构,它允许灵活地表示实体之间的多种类型的交互和关系。与其他图结构数据类似,链接预测是多关系图上最重要的任务之一,通常用于知识补全。当相关图共存时,通过集成较小的图来构建较大的图是非常有益的。集成需要预测属于不同图的实体之间的隐藏关系连接(域间链接预测)。然而,这对仅为同一图的实体之间的链接预测专门设计的现有方法(域内链接预测)提出了真正的挑战。在这项研究中,我们提出了一种新的方法来解决域间链接预测问题,软对齐不同域之间的实体分布与最佳的运输和最大平均差异正则化。在真实世界数据集上的实验表明,最优传输正则化器是有益的,并大大提高了基线方法的性能。
2021-07-09 cs.LG
Demand-Driven Clustering in Relational Domains for Predicting Adverse Drug Events
KU Leuven(鲁汶大学);CRACS INESC-TEC and FCUP Universidade do Porto(CRACS INESC-TEC与波尔图大学理学院);Marshfield Clinic(马什菲尔德诊所);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
从电子病历(EMR)中学习是具有挑战性的,因为它们的关系性质和患者过去和未来健康状态之间的不确定依赖性。统计关系学习是分析电子病历的天然选择,但不太擅长处理其固有的潜在结构,例如相关药物或疾病之间的联系。捕获潜在结构的一种方法是通过对象的关系聚类。我们提出了一种新的方法,而不是预先聚类的对象,在学习过程中进行需求驱动的聚类。我们在三个现实世界的任务中评估我们的算法,其目标是使用EMR来预测患者是否会对药物产生不良反应。我们发现,我们的方法是更准确的比不执行聚类,预聚类,并使用专家构建的医疗异质性。
2012-06-27 cs.AI cs.LG stat.ML
Grounded Relational Inference: Domain Knowledge Driven Explainable Autonomous Driving
Honda Research Institute(本田研究所);UT Austin(得克萨斯大学奥斯汀分校);JPMorgan Chase(摩根大通);Amazon Web Services(亚马逊网络服务);UC Berkeley(加州大学伯克利分校)
本文提出接地关系推断(GRI)模型,通过将关系潜空间与专家领域知识定义的语义交互行为对齐,实现多智能体交互建模与可解释的自动驾驶行为解释。
2024-07-06 cs.AI cs.LG cs.RO
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London(伦敦大学学院);Institute of Health Informatics(健康信息学研究所)
学习知识表示是一种越来越重要的技术,适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时,嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集,导致训练过程中的信息丢失,并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型,该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明,新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Relational GNNs Cannot Learn $C_2$ Features for Planning
Dillon Z. Chen(独立研究者)
该研究指出关系图神经网络(R-GNNs)虽以GNN表达能力与$C_2$逻辑的关联为理论基础用于规划值函数学习,但实际无法学习$C_2$特征定义的值函数,并提出更适配的既有GNN架构方向。
2025-06-13 cs.AI cs.LG
A Theory of Relation Learning and Cross-domain Generalization
The University of Edinburgh(爱丁堡大学);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Radboud University(拉德堡德大学);University of Illinois(伊利诺伊大学)
该研究提出了一种基于类比推理的关系学习模型,能够从非关系性输入中学习结构化关系表示,并实现跨领域零样本学习。
2021-12-07 cs.AI cs.LG cs.NE
Spontaneous Analogy by Piggybacking on a Perceptual System
Naval Research Laboratory(海军研究实验室);Navy Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心)
大多数类比的计算模型假设它们被给予一个划定的源域,并且通常是一个指定的目标域。这些系统没有解决类似物如何从大的域中分离出来,并从长期记忆中自发地提取出来,我们称之为自发类比的过程。我们提出了一个系统,代表关系结构的功能袋。使用这种表示,我们的系统利用感知算法自动创建一个本体的关系结构,并有效地检索类似的新的关系结构从长期记忆。我们提供了一个演示我们的方法,需要一组未分割的故事,构建一个本体的类比模式(对应于情节设备),并使用此本体有效地找到新的故事中的类似物,产生显着的时间节省线性模拟检索在一个小的精度成本。
2013-10-10 cs.AI cs.LG
Probabilities of the Third Type: Statistical Relational Learning and Reasoning with Relative Frequencies
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出函数式提升贝叶斯网络,将相对频率的连续依赖纳入统计关系AI,并给出渐近概率分布表示,支持跨规模参数估计,且收敛在参数上一致。
2024-08-20 cs.AI cs.LG cs.LO
Hierarchical Infinite Relational Model
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了层次无限关系模型(HALF),一个新的概率生成模型的噪声,稀疏,异构关系数据。给定一组定义在域集合上的关系,该模型首先使用顶级中餐馆过程推断多个不重叠的关系集群。在每个关系集群内,然后使用Dirichlet过程混合来划分域实体并对关系值的概率分布进行建模。该模型概括了标准的无限关系模型,可用于各种数据分析任务,包括依赖检测,聚类和密度估计。我们提出了新的算法完全贝叶斯后验推理通过吉布斯抽样。我们说明了该方法的有效性的密度估计基准的20个对象属性数据集高达18万个细胞,并使用它来发现现实世界的数据集从政治和基因组学的关系结构。
2021-08-16 cs.AI cs.LG stat.ME
Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases
Kumo.ai, Stanford University(Kumo.ai,斯坦福大学)
PQL是一种用于关系数据库预测建模的声明式语言,通过单个查询自动计算训练标签,支持多种机器学习任务,已在金融欺诈、推荐系统等领域应用。
2026-07-27 cs.AI cs.DB cs.LG
Ensemble Relational Learning based on Selective Propositionalization
University of Bari ``Aldo Moro''(巴里大学“阿尔多·莫罗”)
处理结构化数据需要使用表达性表示形式,然而,这将问题置于处理机器学习过程的计算复杂性。此外,现实世界的领域需要能够管理其典型不确定性的工具。许多统计关系学习方法试图通过将相关关系特征的构建与概率工具相结合来处理这些问题。当组合是静态的(静态命题化)时,构造的特征被认为是布尔特征,并离线用作统计学习器的输入;而当组合是动态的(动态命题化)时,特征构造和概率工具被组合成一个过程。在本文中,我们提出了一种选择性命题化方法,搜索的最佳的一组关系的功能,以使用的概率学习,以最小化损失函数。新的命题化方法已与随机子空间集成方法相结合。在真实数据集上的实验表明了该方法的有效性。
2013-11-15 cs.AI cs.LG
Learning sparse relational transition models
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个表示在复杂的不确定领域的关系规则描述的过渡模型。对于任何操作,规则选择一组相关对象,并计算结果状态中仅这些对象的属性的分布,给定它们在先前状态中的属性。一个迭代的贪心算法被用来构造一组指示参考,确定哪些对象在任何给定的状态是相关的。前馈神经网络用于学习相关对象属性的转移分布。这种策略被证明是更通用和更有效的样本比学习一个整体的过渡模型在一个模拟的域中,机器人推一堆的对象在一个杂乱的表。
2018-10-26 cs.AI cs.LG cs.RO
Relational Similarity Machines
Palo Alto Research Center(帕洛阿尔托研究中心);Intel Labs(英特尔实验室)
本文提出了关系相似机(RSM):一个快速,准确,灵活的关系学习框架的监督和半监督学习任务。尽管关系学习的重要性,大多数现有的方法很难适应不同的设置,由于处理各种各样的分类问题,数据,约束和任务的效率,可扩展性,准确性和灵活性的问题。例如,许多现有的方法对于多类分类问题、稀疏标记的图或具有低关系自相关的网络数据表现不佳。相比之下,所提出的关系学习框架被设计为(i)以实时交互速率快速学习和推理,以及(ii)灵活的各种学习设置(多类问题),约束(很少标记的实例)和应用领域。实验证明了响应面方法对各种任务和数据的有效性。
2016-08-02 cs.AI cs.LG stat.ML
Learning Neuro-Symbolic Relational Transition Models for Bilevel Planning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在机器人领域,学习和规划由于连续的状态空间、连续的动作空间和长的任务范围而变得复杂。在这项工作中,我们用神经符号关系转换模型(NSRT)来解决这些挑战,NSRT是一类新型的模型,它具有数据学习效率,与强大的机器人规划方法兼容,并可在对象上推广。NSRT具有符号和神经组件,实现了双层规划方案,其中外循环中的符号AI规划指导内环中的神经模型的连续规划。在四个机器人规划领域的实验表明,NSRT可以在数十或数百次训练后学习,然后用于快速规划新任务,这些任务需要多达60个动作,涉及的对象比训练期间看到的要多得多。视频:https://tinyurl.com/chitnis-nsrts
2022-06-30 cs.AI cs.LG cs.RO
Knowledge Enhanced Neural Networks for relational domains
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
在最近的过去,对神经符号积分框架的兴趣越来越大,即,结合联结主义和符号方法的混合系统,以获得两个世界的最佳效果。在这项工作中,我们专注于一个特定的方法,KENN(知识增强神经网络),神经符号架构,注入到一个神经网络的顶部添加一个剩余层,修改相应的知识的初始预测的先验逻辑知识。在这种策略的优点中,包括子句权重,代表子句强度的可学习参数,这意味着模型可以学习每个规则对最终预测的影响。作为一种特殊情况,如果训练数据与约束相矛盾,KENN会学习忽略它,使系统对错误知识的存在具有鲁棒性。在本文中,我们提出了一个扩展的KENN的关系数据。KENN的主要优势之一在于其可扩展性,这要归功于对通过堆叠多个逻辑层获得的规则之间的依赖关系的灵活处理。我们的实验表明,这种策略的有效性。结果表明,KENN能够提高底层神经网络的性能,获得更好的或相当的精度方面的其他两个相关的方法,结合学习与逻辑,需要显着更少的时间学习。
2022-05-31 cs.AI cs.LG cs.LO
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);NAVER Corporation(NAVER公司)
多模态关系数据分析近年来变得越来越重要,用于探索不同领域的数据,诸如从社交网络服务(例如,Flickr)。已经开发了各种数据分析方法用于可视化;举一个例子,t-随机邻居嵌入(t-SNE)计算低维特征向量,以便它们的相似性保持观察到的数据向量。然而,t-SNE是专为一个单一的数据域,但不是多模态数据,本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE,本文提出了多模态关系随机邻居嵌入(MR-SNE),即(1)首先计算增强关系,其中我们观察跨域的关系,并通过观察到的数据向量计算每个域内的关系,以及(2)将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集,建议MR-SNE与其他基于图嵌入的方法进行了比较,MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Graph-Relational Domain Adaptation
Rutgers University(罗格斯大学);Massachusetts Institute of Technology(麻省理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出Graph-Relational Domain Adaptation,利用域图与图判别器实现按拓扑关系灵活对齐,理论与实验均验证其优于统一域适应方法。
2023-04-21 cs.AI cs.CV cs.LG
Generating Contrastive Explanations for Inductive Logic Programming Based on a Near Miss Approach
University of Bamberg(班贝格大学)
在最近的研究中,人类可以理解的机器学习模型解释受到了广泛关注。解释通常以模型简化或可视化的形式给出。然而,正如认知科学和早期人工智能研究所显示的那样,概念理解也可以通过将概念的给定实例与类似的反例对齐来提高。将一个给定的实例与一个结构相似但不属于该概念的实例进行对比,突出了概念成员资格所必需的特征。温斯顿(Winston,1970)提出了这种近乎失败的学习方法,作为关系领域学习的有效指导。我们介绍了一个解释生成算法的关系概念与归纳逻辑程序设计(\textsc{GeNME})。该算法从给定的一组实例中识别出近距离错过的实例,并根据这些实例与特定正实例的接近程度对这些实例进行排名。一个修改后的规则,它涵盖了近距离错过,但不是原来的情况下,作为一个解释。我们说明\textsc{GeNME}与著名的家庭域组成的亲属关系,视觉关系温斯顿拱门域和现实世界的域处理文件管理。我们还提出了一个心理实验,比较人类的偏好,基于规则的,基于例子的,和近错过的解释在家庭和拱门域。
2021-06-15 cs.AI cs.LG
Rethinking Feature Alignment in Generalist Graph Anomaly Detection: A Relational Fingerprint-based Approach
Griffith University, Gold Coast, Australia(格里菲斯大学,澳大利亚黄金海岸);Tongji University, Shanghai, China(同济大学,上海,中国)
针对通用图异常检测中特征对齐忽略语义导致负迁移的问题,提出基于关系指纹的通用方法ReFi-GAD,通过编码上下文和结构异常指示线索的语义感知指纹,结合Transformer编码器和SNR引导的领域自适应模块,在14个数据集上显著超越现有方法。
2026-05-25 cs.LG
Compiling Relational Database Schemata into Probabilistic Graphical Models
University of Massachusetts(马萨诸塞大学);Microsoft Research(微软研究院)
在这项工作中,我们提出了一种方法,使用关系数据库模式自动构建贝叶斯图形模型的数据库,而不是需要一个领域的专家来指定的数据的概率依赖关系。此生成的模型包含列的自定义分布、对数据进行聚类的潜在变量以及反映和表示外键链接的因子。实验证明了该模型的准确性和推理的可扩展性的合成和真实世界的数据。
2012-12-05 cs.AI cs.DB cs.LG
Sequential RC-TGAN: Generating Relational Time Series with Spectral Envelope Loss
Mitacs
提出Seq. RC-TGAN框架,结合谱包络损失函数和变分高斯混合模型,有效生成含周期性和季节性的分类与连续时间序列,并引入两种新评估指标。
2026-07-01 cs.LG
Evaluating the Effectiveness of Margin Parameter when Learning Knowledge Embedding Representation for Domain-specific Multi-relational Categorized Data
HDR-UK Institute of Health Informatics(HDR-UK健康信息学研究所);University College London(伦敦大学学院)
学习知识表示是支持各种机器学习相关应用的日益重要的技术。然而,超参数的选择很少是合理的,通常依赖于穷举搜索。了解超参数组合对嵌入质量的影响对于避免低效过程和增强矢量表示方法的实用性至关重要。我们评估了不同的边缘参数值的影响,专注于多关系分类数据的平移嵌入表示模型。我们通过对比传统的链接预测任务与分类任务的准确性来评估嵌入模型质量的边际影响。这些发现提供了证据,证明较低的边缘值不足以帮助学习过程,而较大的值会产生很多噪音,将实体推到超空间的表面,因此需要不断正则化。最后,链接预测与分类精度的相关性表明,传统的嵌入模型验证协议是一种弱度量,不能很好地表征嵌入模型的质量。
2019-12-21 cs.LG stat.ML
RDBench: ML Benchmark for Relational Databases
本文提出 RDBench 基准,通过统一表格、同构图和异构图接口,首次支持 XGBoost 到图神经网络等不同领域方法在关系数据库预测任务上的可复现比较。
2023-10-30 cs.AI cs.DB cs.LG
A Semantic Matching Energy Function for Learning with Multi-relational Data
Université de Montréal(蒙特利尔大学);CNRS(法国国家科学研究中心);Université de Technologie de Compiègne(贡比涅技术大学);Google(谷歌)
大规模关系学习对于处理从计算生物学或信息检索到自然语言处理的许多应用领域中每天生成的大量结构化数据变得至关重要。在本文中,我们提出了一种新的神经网络架构,旨在嵌入多关系图到一个灵活的连续向量空间,在其中的原始数据保持和增强。该网络被训练来编码这些图的语义,以便将高概率分配给看似合理的组件。我们的经验表明,它达到竞争力的性能在链接预测标准数据集从文献。
2013-03-21 cs.LG
Dynamic Language Binding in Relational Visual Reasoning
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能学院)
我们提出了一种具有约束力的对象图网络,它是第一种在视觉和文本领域具有动态关系结构的神经推理方法,并应用于视觉问答。放松目前的模型,对象谓词预先存在,并保持静态,被动的推理过程的共同假设,我们建议,这些动态谓词扩展跨域边界,包括成对的视觉语言对象绑定。在我们的方法中,这些上下文对象的链接,积极发现在每个循环推理步骤,而不依赖于外部预测先验。这些动态结构反映了条件双域对象依赖性,通过共同注意推理的不断发展的背景。这种发现的动态图促进了多步骤知识组合和细化,其迭代地推导出最终答案的紧凑表示。该模型的有效性证明了图像问答表现出良好的性能上的主要VQA数据集。我们的方法优于其他方法在复杂的问答任务,其中涉及多个对象的关系。图结构有效地帮助训练的进展,因此与其他推理模型相比,网络学习效率更高。
2021-02-18 cs.CV cs.LG
Knowledge-Integrated Representation Learning for Crypto Anomaly Detection under Extreme Label Scarcity; Relational Domain-Logic Integration with Retrieval-Grounded Context and Path-Level Explanations
AI and Business Analytics, Ewha Womans University, Seoul, Republic of Korea(爱媛女子大学人工智能与商务分析系);Department of Business Administration, Kumoh National Institute of Technology, Gumi, Republic of Korea(Kumoh国立技术大学商业管理系);Coretrustlink, Seoul, Republic of Korea(Coretrustlink)
本文提出RDLI框架,通过整合领域逻辑与检索上下文,提升加密异常检测在极端标签稀缺下的准确性和可解释性。
2026-01-19 cs.LG q-fin.RM
Communicative Subgraph Representation Learning for Multi-Relational Inductive Drug-Gene Interaction Prediction
Sun Yat-sen University(中山大学);Galixir Technologies Ltd(Galixir科技有限公司)
阐明药物和基因之间的相互联系是药物开发和精准医学的重要课题。目前,药物-基因相互作用的计算预测主要集中在结合相互作用上,而不考虑其他关系类型,如激动剂,拮抗剂等。此外,现有的方法要么严重依赖于高质量的域特征,要么本质上是转导的,这限制了模型推广到缺乏外部信息或在训练过程中看不到的药物/基因的能力。为了解决这些问题,我们提出了一种新的通信子图表示学习的多关系诱导药物-基因相互作用预测(CoSMIG),其中药物-基因关系的预测是通过子图模式,因此是自然的诱导看不见的药物/基因,而无需重新训练或利用外部域功能。此外,该模型通过一个可通信的消息传递机制,加强了药物-基因图上的关系。为了评估我们的方法,我们从DrugBank和DGIdb编译了两个新的基准数据集。在两个数据集上的综合实验表明,我们的方法在转导场景中的性能优于最先进的基线,并在归纳场景中取得了优异的性能。进一步的实验分析,包括LINCS实验验证和文献验证也证明了我们的模型的价值。
2022-05-12 cs.LG
EGGS: A Flexible Approach to Relational Modeling of Social Network Spam
University of Oregon(俄勒冈大学)
社交网站面临着不断的垃圾邮件,不必要的信息,分散,骚扰,甚至欺骗诚实的用户。这些信息往往很短,很难单独识别。此外,垃圾邮件发送者伪装他们的邮件看起来合法,欺骗用户点击链接,欺骗垃圾邮件过滤器容忍他们的恶意行为。因此,一些垃圾邮件过滤器检查域中的关系结构,例如用户和消息之间的连接,以更好地识别欺骗性内容。然而,即使使用关系结构,它也经常以不完整或特别的方式被利用。在本文中,我们提出了扩展的基于组的图形模型的垃圾邮件(EGGS),一个通用的方法分类垃圾邮件在网上社交网络。我们不是单独标记每个消息,而是在相关消息具有相同作者、相同内容或其他特定于域的连接时将它们分组在一起。为了对相关消息进行推理,我们结合了两种流行的方法:堆叠图形学习(SGL)和概率图形模型(PGM)。这两种方法都捕捉到了这样一种想法,即当相关消息也是垃圾邮件时,消息更有可能是垃圾邮件,但它们的方式不同; SGL使用顺序分类器预测,而PGM使用概率推理。我们将我们的方法应用到四个不同的社交网络领域。在大多数实验环境中,EGGS比独立模型更准确,特别是当正确的标签不确定时。对于PGM的实现,我们比较了马尔可夫逻辑网络和概率软逻辑,发现两者都能很好地工作,没有一个占主导地位,SGL和PGM的组合通常比单独使用要好。
2020-01-28 cs.IR cs.LG cs.SI