A Novel Deep Reinforcement Learning Based Stock Direction Prediction using Knowledge Graph and Community Aware Sentiments
University of Kocaeli(科贾埃利大学)
股票市场预测一直是投资者、研究人员和分析师的重要课题。股票市场预测受诸多因素的影响,是一项比较困难的工作。在这项研究中,我们提出了一种新的方法,这是基于深度强化学习方法的方向预测的股票使用社区的情绪和知识图谱。为此,我们首先通过分析连接之间的关系来构建用户的社会知识图谱。在此基础上,将相关股票的时间序列分析和情感分析与深度强化方法相结合。土耳其版本的双向编码器表示从Transformers(BerTurk)的用户的情绪进行分析,而深度Q学习方法用于所提出的模型的深度强化学习侧,以构建深度Q网络。为了证明所提出的模型的有效性,Garanti银行(GARAN),Akbank(AKBNK),Türkiye银行(ISCTR)在伊斯坦布尔证券交易所的股票被用作案例研究。实验结果表明,该模型在股市预测中取得了显著的效果。
2021-07-02 cs.AI cs.CE cs.LG
Knowledge Hypergraphs: Prediction Beyond Binary Relations
University of British Columbia(英属哥伦比亚大学);Element AI
知识图谱使用两个实体之间的关系存储事实。在这项工作中,我们解决的问题,链接预测在知识超图的关系被定义在任何数量的实体。虽然存在的技术(如具体化),将非二进制关系转化为二进制的,我们表明,目前基于嵌入的知识图完成的方法不工作,以及开箱即用的知识图谱通过这些技术获得。为了克服这一点,我们引入了HSimple和HypE,这两种基于嵌入的方法直接与知识超图一起工作。在这两个模型中,预测是关系嵌入、实体嵌入及其在关系中的对应位置的函数。我们还开发了超图预测的公共数据集,基准和基线,并通过实验表明,所提出的模型比基线更有效。
2020-07-15 cs.AI cs.LG stat.ML
Interactive Elicitation of Knowledge on Feature Relevance Improves Predictions in Small Data Sets
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
当特征的数量大于数据中样本的数量时,提供准确的预测对于机器学习算法来说是具有挑战性的。先验知识可以通过指示相关变量和参数值来改进机器学习模型。然而,这种先验知识通常是隐性的,只能从领域专家那里获得。我们提出了一种新的方法,使用交互式可视化来引出隐性先验知识,并使用它来提高预测模型的准确性。我们的方法的主要组成部分是一个用户模型,该模型的领域专家的知识的预测任务的不同功能的相关性。特别地,基于专家的早期输入,用户模型引导接下来引出用户知识的特征的选择。一个受控的用户研究的结果表明,用户模型显着提高先验知识的启发和预测精度时,预测在特定领域的科学文献的相对引用计数。
2017-01-16 cs.AI cs.LG stat.ML
Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR(挪威地震阵列研究所);City, University of London(伦敦大学城市学院);Norwegian Institute for Water Research(挪威水研究所);University of Oslo(奥斯陆大学);University of Oxford(牛津大学);Norwegian University of Life Sciences(挪威生命科学大学);Norwegian Geotechnical Institute(挪威岩土工程研究所)
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务,即化学效应预测。我们已经评估了九个知识图谱嵌入模型,这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明,使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外,我们还实现了一个微调架构,使知识图谱嵌入适应效果预测任务,并带来更好的性能。最后,我们评估了知识图谱嵌入模型的某些特征,以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Refining neural network predictions using background knowledge
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
最近的工作表明,逻辑背景知识可以用于学习系统,以弥补缺乏标记的训练数据。许多方法通过创建编码该知识的损失函数来工作。然而,通常逻辑在训练后被丢弃,即使它在测试时仍然有用。相反,我们通过使用额外的计算步骤来细化预测,以确保神经网络预测满足知识。我们引入可微细化函数,找到一个接近原始预测的校正预测。我们研究如何有效地和高效地计算这些细化功能。使用一种名为迭代局部细化(ILR)的新算法,我们结合细化函数来找到任何复杂度的逻辑公式的精确预测。ILR在复杂的SAT公式上发现了明显更少的迭代,并且经常找到梯度下降不能找到的解决方案。最后,ILR在MNIST加法任务中产生了有竞争力的结果。
2022-09-02 cs.AI cs.LG cs.LO
From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction
Tsinghua University(清华大学)
知识图谱嵌入的目的是通过将实体和关系转换到连续的向量空间中来提供一种数值化的知识表示范式。然而,现有的方法不能对知识图谱进行精细的描述,从而不能做出精确的预测。其原因有二:一是作为一个不适定的代数系统,二是应用了过于严格的几何形式。由于精确的预测是至关重要的,我们提出了一个基于流形的嵌入原则(\textbf{ManifoldE}),它可以被视为一个适定的代数系统,扩展的位置黄金三元组从一个点在当前的模型在我们的流形。大量的实验表明,所提出的模型实现了对国家的最先进的基线,特别是对于精确的预测任务的实质性改善,但仍保持高效率。
2017-06-17 cs.AI cs.LG
Trust from the past: Bayesian Personalized Ranking based Link Prediction in Knowledge Graphs
Pacific Northwest National Laboratory(太平洋西北国家实验室);Washington State University(华盛顿州立大学)
链接预测,即根据知识图谱中的链接的存在状态预测其可能性,是一项关键的研究任务。它与传统的链接预测任务的不同之处在于,知识图中的链接被分类为不同的谓词,并且知识图谱中的不同谓词的链接预测性能通常变化很大。在这项工作中,我们提出了一个潜在的特征嵌入为基础的链接预测模型,认为预测任务的每个谓词分开。为了学习模型参数,它利用基于贝叶斯个性化排名的优化技术。大规模的知识库,如YAGO2的实验结果表明,我们的链接预测方法实现了更高的性能比几个国家的最先进的方法。我们还表明,对于一个给定的谓词的知识图的拓扑性质所引起的给定的谓词边缘的链接预测性能的关键指标,该谓词在知识图谱。
2016-02-15 cs.AI cs.IR cs.LG
Knowledge Elicitation via Sequential Probabilistic Inference for High-Dimensional Prediction
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
在小样本和大量协变量的情况下进行预测,即“小n,大p”问题,是一个具有挑战性的问题。这种设置在多种应用中遇到,例如精密医学,其中获得额外的样本可能非常昂贵甚至不可能,并且最近已经致力于寻找准确预测的原则性解决方案。然而,一个有价值的额外信息来源,领域专家,尚未得到有效利用。我们制定的知识启发一般作为一个概率推理过程,专家知识依次查询,以提高预测。在稀疏线性回归的特定情况下,我们假设专家具有关于回归系数的值或关于特征的相关性的知识,我们提出了一种算法和计算近似,用于快速有效的交互,其顺序地识别最翔实的特征以查询专家知识。在模拟和真实用户的实验中,我们的方法的评估表明,预测精度已经提高了专家的一个小的努力。
2017-07-13 cs.AI cs.HC cs.LG
HYPER: A Foundation Model for Inductive Link Prediction with Knowledge Hypergraphs
University of Oxford(牛津大学);Google Research(谷歌研究);AITHYRA;TU Wien(维也纳技术大学)
HYPER是一种基础模型,能处理包含新实体和新关系的知识超图归纳链接预测,通过编码超边中的实体及其位置实现跨不同关系类型的迁移学习。
2026-05-08 cs.AI cs.LG
Maintaining prediction quality under the condition of a growing knowledge space
智能可以被理解为智能体预测其环境动态的能力,其精确度使其能够有效地预见机会和威胁。在这种智能依赖于知识空间的假设下,任何有效的推理都将受益于最大部分的有用知识片段和最小部分的误导性知识片段。这就引出了一个问题,即随着知识量的不断增长,如何保持这种知识空间的高质量。本文提出了一个数学模型来描述一般的原则,如何不断增长的知识空间的质量演变取决于出错率,错误传播和对策。也有延伸的质量的知识空间崩溃的低质量的知识碎片的去除发生太慢,对于一个给定的知识空间的增长速度。
2015-08-11 cs.AI cs.LG
OKG-LLM: Aligning Ocean Knowledge Graph with Observation Data via LLMs for Global Sea Surface Temperature Prediction
Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算系);Department of Computing, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算系);School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出OKG-LLM框架,通过构建海洋知识图谱并融合数值数据,利用预训练LLM提升全球海表温度预测的准确性与鲁棒性。
2025-07-31 cs.AI cs.LG
Knowledge Graph Representations to enhance Intensive Care Time-Series Predictions
ETH Zürich(苏黎世联邦理工学院)
提出将UMLS知识图谱与ICU时间序列及临床报告融合,增强预测性能并支持可解释性,尤其在数据缺失时表现更优。
2023-11-13 cs.AI cs.LG
Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction
KAIST(韩国科学技术院);AITRICS
许多实际的图问题,如知识图谱构建和药物相互作用预测,需要处理多关系图。然而,使用图神经网络(GNN)处理现实世界的多关系图通常具有挑战性,因为它们的演化性质,随着时间的推移,新的实体(节点)可能会出现。此外,新出现的实体往往没有什么联系,这使得学习更加困难。出于这一挑战,我们引入了一个现实的问题,Few-Shot出图链接预测,在那里我们不仅预测看到的和看不见的节点之间的链接,在传统的知识外链接预测任务,但也看不见的节点之间,每个节点只有很少的边缘。我们用一个新的转导元学习框架来解决这个问题,我们称之为图外推网络(GEN)。GEN元学习用于归纳推理(seen-to-unseen)的节点嵌入网络和用于转导推理(unseen-to-unseen)的链接预测网络。对于直推式链接预测,我们进一步提出了一个随机嵌入层来模拟未知实体之间的链接预测中的不确定性。我们在多个基准数据集上验证了我们的模型,用于知识图谱完成和药物相互作用预测。结果表明,我们的模型显着优于相关基线的图外链接预测任务。
2020-10-29 cs.LG stat.ML
Knowledge Graph Fact Prediction via Knowledge-Enriched Tensor Factorization
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们提出了一个家庭的新方法嵌入知识图谱到实值张量。这些基于张量的嵌入捕获了由语义Web语言(如RDF)表示的知识图谱中典型的有序关系。与许多以前的模型不同,我们的方法可以很容易地使用用户提供的或从现有的知识图谱自动提取的先验背景知识。除了为知识图谱嵌入提供更鲁棒的方法外,我们还提供了一个可证明收敛的线性张量分解算法。我们证明了我们的模型在预测八个不同知识图谱的新事实的任务中的有效性,与现有的最先进的知识图谱嵌入技术相比,实现了5%到50%的相对改进。我们的实证评估表明,当图中实体的平均度很高时,所有的张量分解模型都表现良好,基于约束的模型在具有少量高度相似关系的图上表现更好,而基于正则化的模型在具有不同相似度关系的图中占主导地位。
2019-02-08 cs.AI cs.CL cs.LG
A Knowledge-Guided Cross-Modal Feature Fusion Model for Local Traffic Demand Prediction
Shandong University(山东大学);Southern University of Science and Technology(南方科技大学);Northwest University(西北大学);Didi Chuxing(滴滴出行);Renmin University of China(中国人民大学);Jilin University(吉林大学)
本文提出知识引导的跨模态特征融合模型(KGCM),结合时间序列交通数据与文本知识,利用局部和全局自适应图网络及动态更新策略,提升交通需求预测准确性,优于现有SOTA模型。
2025-08-29 cs.AI cs.LG
SimplE Embedding for Link Prediction in Knowledge Graphs
University of British Columbia(不列颠哥伦比亚大学)
知识图谱包含关于世界的知识,并提供这些知识的结构化表示。目前的知识图谱只包含世界上真实知识的一小部分。链接预测方法的目标是在给定实体之间的现有链接的情况下预测知识图的新链接。张量分解方法已被证明是有前途的链接预测问题。在1927年提出的,典型的Polyadic(CP)分解是最早的张量分解方法之一。CP通常在链接预测方面表现不佳,因为它为每个实体学习两个独立的嵌入向量,而它们实际上是绑定的。我们提出了一个简单的增强CP(我们称之为SimpleE),让每个实体的两个嵌入学习依赖。SimpleE的复杂度随着嵌入的大小线性增长。通过SimpleE学习的嵌入是可解释的,某些类型的背景知识可以通过权重绑定并入这些嵌入。我们证明了SimplE是完全表达的,并推导出一个充分表达的嵌入大小的界限。我们的经验表明,尽管它的简单性,简单优于几个国家的最先进的张量因式分解技术。SimplE的代码可以在GitHub上找到,网址是https://github.com/Mehran-k/SimplE。
2018-10-26 cs.LG stat.ML
Explainable Representations for Relation Prediction in Knowledge Graphs
LASIGE, Faculdade de Ciências(理学院LASIGE实验室);Universidade de Lisboa(里斯本大学)
SEEK通过识别实体间共享语义子图并学习其表示,为知识图谱关系预测提供可解释的多方面表示,在蛋白质相互作用和基因-疾病关联预测中显著优于标准方法。
2023-06-22 cs.AI cs.LG
Surrogate-assisted performance prediction for data-driven knowledge discovery algorithms: application to evolutionary modeling of clinical pathways
ITMO University(圣彼得堡国立信息技术机械与光学大学);Almazov National Medical Research Center(阿尔马佐夫国家医学研究中心)
提出并研究了一种基于代理的数据驱动知识发现算法性能预测方法。该方法基于代理模型的识别,用于预测目标算法的质量和性能。所提出的方法被实施和研究应用到一个进化算法,发现集群的可解释的临床路径在电子健康记录的急性冠状动脉综合征患者。多个聚类指标和执行时间分别作为目标质量和性能指标。一个分析软件原型的基础上提出的方法预测的算法特性和特征分析,提供了一个更可解释的预测目标算法的性能和质量,可以进一步用于参数调整。
2022-01-07 cs.LG stat.ML
Trustworthy Prediction with Gaussian Process Knowledge Scores
School of Engineering, The University of Edinburgh, Edinburgh, UK(工程学院,爱丁堡大学,爱丁堡,英国)
本文提出基于高斯过程回归的知识评分方法,用于评估预测的可信度,并在异常检测等任务中提升性能。
2025-06-23 cs.LG eess.SP stat.ML
Representing Knowledge as Predictions (and State as Knowledge)
本文展示了如何一个单一的机制允许知识直接从代理的原始感觉运动流逐层构建。这种机制,一般价值函数(GVF)或“预测”,捕捉高级,抽象的知识作为一组预测现有的功能和知识,完全基于代理的低层次的感觉和行动。因此,预测提供了一种将原始感觉运动数据组织成无限层数的有用抽象的表示-这是人工智能和认知科学长期追求的目标。本文的核心是一个详细的思想实验,提供了一个具体的,一步一步的正式说明人工代理如何建立真正的,有用的,抽象的知识,从其原始的感觉运动经验。知识表示为一组分层的预测(预报)的代理人的观察到的后果,其行动。这幅图显示了12个独立的层:最低层由原始像素、触摸和力传感器以及少量动作组成;较高的层在抽象中增加,最终产生了关于智能体世界的丰富知识,大致对应于门口、墙壁、房间和平面图。然后,我认为,这种一般的机制可能允许广泛的日常人类知识的代表。
2021-12-12 cs.AI cs.LG
Knowledge-Driven Modulation of Neural Networks with Attention Mechanism for Next Activity Prediction
Free University of Bozen-Bolzano(博尔扎诺自由大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Datalane SRL(Datalane SRL公司)
针对预测性流程监控中异常执行、概念漂移下预测质量不足及训练数据欠采样问题,提出融合程序化流程背景知识的带注意力机制神经网络Symbolic[Neuro]系统,在真实日志上验证了预测性能提升效果。
2023-12-14 cs.AI cs.LG cs.NE
Personalized Student Knowledge Modeling for Future Learning Resource Prediction
Department of Computer Science University at Albany - SUNY(计算机科学系大学阿尔巴尼 - 纽约州立大学)
针对教育领域学生知识追踪与行为建模存在的个性化不足、忽视非评估类学习活动等问题,提出有状态多任务模型KMaP,通过基于聚类的学生画像构建个性化表征,实现知识与行为同步建模,在真实数据集上验证了其预测学习资源偏好的有效性。
2025-05-20 cs.AI cs.LG
Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction
University of Tehran(德黑兰大学)
一些模型试图通过在更低的维度中嵌入知识图谱来解决链接预测问题,也称为知识图谱完成。然而,国家的最先进的结果是在相当大的增加嵌入的维数的成本,导致可扩展性问题的情况下,巨大的知识库。Transformers最近已经成功地用作知识图谱的强大编码器,但是可用的模型仍然具有可扩展性问题。为了解决这个问题,我们引入了一个基于transformer的模型来获得有表现力的低维嵌入。我们利用大量的自注意力头的关键应用查询相关的投影捕捉实体和关系之间的互信息。以WN 18 RR和FB 15 k-237作为标准链接预测基准测试的实验结果表明,该模型与当前最先进的模型具有相当的性能。值得注意的是,与最近五个最好的最先进的竞争对手相比,我们得到了令人鼓舞的结果,嵌入的维度平均减少了66.9%。
2022-11-26 cs.AI cs.LG
Explaining Link Predictions in Knowledge Graph Embedding Models with Influential Examples
Accenture Labs(埃森哲实验室)
研究了知识图谱嵌入模型中链接预测的解释问题。我们提出了一个基于实例的方法,利用潜在的空间表示的节点和边缘的知识图谱来解释预测。我们通过观察有影响力的三元组删除后模型性能的逐步退化来评估识别三元组的重要性。我们的实验表明,这种方法产生的解释优于基线KGE模型的两个公开可用的数据集。
2022-12-05 cs.LG
What's a Good Prediction? Challenges in evaluating an agent's knowledge
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);DeepMind(深度思维)
通过学习与任务无关的世界模型来构建通用知识,可以帮助智能体解决具有挑战性的问题。然而,构建和评估这些模型仍然是一个开放的挑战。评估模型的最常见方法是评估其相对于可观察值的准确性。然而,普遍依赖估计的准确性作为知识有用性的代理,有可能使我们误入歧途。我们展示了准确性和实用性之间的冲突,通过一系列说明性的例子,包括思想实验和经验的例子在MineCraft,使用一般价值函数框架(GVF)。在确定了评估代理的知识的挑战,我们提出了一种替代的评价方法,不断出现在网上持续学习设置,我们建议通过检查内部学习过程,特别是GVF的功能的相关性,预测任务在手的评价。本文通过使用预测,预测知识的一个组成部分,这是尚未探索的第一次看评估预测。
2021-04-13 cs.AI cs.LG
Confidence-Aware Multi-Teacher Knowledge Distillation
首先引入知识蒸馏,以利用来自单个教师模型的额外监督来进行学生模型训练。为了提高学生的成绩,最近的一些变体试图利用来自多个教师的不同知识来源。然而,现有的研究主要是整合来自不同来源的知识,通过平均多个教师的预测或结合他们使用其他各种无标签的策略,这可能会误导学生在低质量的教师预测的存在。为了解决这个问题,我们提出了置信度感知的多教师知识蒸馏(CA-MKD),它自适应地分配样本的可靠性为每个教师预测的帮助下,地面真理标签,与那些教师预测接近一个热标签分配大的权重。此外,CA-MKD还包括中间层,以稳定知识转移过程。大量的实验表明,我们的CA-MKD始终优于所有比较国家的最先进的方法在各种师生架构。
2022-02-14 cs.AI cs.LG
Node Classification Meets Link Prediction on Knowledge Graphs
University of Oxford(牛津大学)
节点分类和链接预测在图表示学习中得到了广泛的研究。虽然直推节点分类和链接预测都是在单个输入图上操作的,但到目前为止,它们被分别研究。节点分类模型采用具有节点特征和不完整节点标签的输入图,并隐含地假设该图是关系完整的,即,没有边缘缺失。相比之下,链接预测模型仅由输入图的关系不完整性驱动,并且通常不利用节点特征或类。我们提出了一个统一的观点和研究的问题(一)不完整的图和(二)链接预测的节点功能的图上的转导节点分类,介绍了一个新的数据集,维基校友,并进行了广泛的基准测试研究。
2021-08-30 cs.AI cs.LG
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh(爱丁堡大学);University of Victoria(维多利亚大学)
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能,实现HITS@10三倍提升,并通过规则方法提供可解释预测,验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Type-augmented Relation Prediction in Knowledge Graphs
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
知识图谱(KGs)对于许多现实世界的应用是非常重要的,但是它们通常遭受以实体之间的缺失关系的形式的不完整信息。知识图谱补全(也称为关系预测)是在现有事实的情况下推断缺失事实的任务。大多数现有的工作是通过最大限度地提高所观察到的实例级三元组的可能性。然而,没有太多的关注,支付的本体信息,如类型信息的实体和关系。在这项工作中,我们提出了一个类型增强的关系预测(TaRP)的方法,在那里我们同时适用于类型信息和实例级信息的关系预测。特别地,将类型信息和实例级信息分别编码为先验概率和关系似然,并按照贝叶斯规则进行组合。我们提出的TaRP方法在四个基准数据集上实现了比最先进方法更好的性能:FB 15 K,FB 15 K-237,YAGO 26 K-906和DB 111 K-174。此外,我们表明,TaRP实现了显着提高数据效率。更重要的是,从一个特定的数据集提取的类型信息可以很好地推广到其他数据集通过所提出的TaRP模型。
2021-02-26 cs.AI cs.CL cs.LG
Understanding Adverse Biological Effect Predictions Using Knowledge Graphs
Norwegian Institute for Water Research (NIVA)(挪威水研究所);NORSAR(挪威地震阵列研究所);University of Oslo(奥斯陆大学);City, University of London(伦敦大学城市学院);University of Oxford(牛津大学);Norwegian Geotechnical Institute (NGI)(挪威岩土工程研究所);Norwegian University of Life Sciences (NMBU)(挪威生命科学大学)
外推化学品的有害生物(毒性)效应是一项重要贡献,有助于扩大(生态)毒理学方面的现有危险数据,而无需在实验室实验中使用动物。在这项工作中,我们推断的基础上的知识图谱(KG)组成的最相关的影响数据作为特定领域的背景知识的影响。影响预测模型,有和没有背景知识,被用来预测平均不良生物效应浓度的化学品作为一个典型类型的压力。背景知识使模型预测性能在$R^2$(\ie决定系数)方面提高了40%。我们使用KG和KG嵌入来提供对预测的定量和定性见解。这些见解有望提高效果预测的置信度。通过简化和减少测试需求,预计此类外推模型的大规模实施将支持危害和风险评估。
2022-10-28 cs.AI cs.LG q-bio.QM
Regularizing Class-wise Predictions via Self-knowledge Distillation
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of California, Berkeley(加州大学伯克利分校)
具有数百万个参数的深度神经网络可能由于过拟合而具有较差的泛化能力。为了缓解这个问题,我们提出了一种新的正则化方法,惩罚相似样本之间的预测分布。特别是,我们在训练过程中提取了同一标签的不同样本之间的预测分布。这导致了对暗知识的正则化(即,关于错误预测的知识)(即,自我知识蒸馏),迫使它以类方式产生更有意义和一致的预测。因此,它减轻了过度自信的预测,并减少了类内变化。我们在各种图像分类任务上的实验结果表明,简单而强大的方法不仅可以显着提高现代卷积神经网络的泛化能力,但也校准性能。
2020-04-07 cs.CV cs.LG stat.ML
Link Prediction using Embedded Knowledge Graphs
Microsoft Research(微软研究院);Google Research(谷歌研究院)
由于大型知识库通常是不完整的,因此需要在称为知识库完成的任务中从观察到的事实推断缺失的事实。最成功的方法,这个任务通常探索显式路径通过序列的三元组。这些方法通常采用人为设计的采样程序,因为大型知识图谱会产生大量的可能路径,其中大多数是没有信息的。作为一种替代方法,我们建议执行一个单一的,短序列的交互式查找操作的嵌入式知识图谱已通过端到端的反向传播训练的初始知识库的优化和压缩版本。我们提出的模型,称为嵌入式知识图谱网络(EKGN),达到了新的国家的最先进的成果,流行的知识库完成基准。
2018-04-22 cs.AI cs.CL cs.LG
Knowledge transfer for surgical activity prediction
INSERM(法国国家健康与医学研究院);Université de Rennes 1(雷恩第一大学);CHU Rennes(雷恩大学医院)
缺乏训练数据阻碍了对情况感知手术室所必需的手术活动的自动识别和预测。我们建议使用知识转移来弥补数据不足并提高预测能力。我们使用两种方法来提取和传递手术过程知识。首先,我们使用词嵌入对外科术语的语义信息进行编码,以促进学习过程。其次,我们使用迁移学习在神经外科手术的不同临床数据集之间传递知识。迁移学习被证明比简单的数据组合更有效,特别是对于不太相似的程序。两种方法的组合提供了22%的活性预测的改善。我们还对手术实践进行了一些相关的观察。
2017-11-15 cs.LG
Semi-supervised Training for Knowledge Base Graph Self-attention Networks on Link Prediction
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University of Finance and Economics(南京财经大学)
链接预测的任务旨在解决由于难以从现实世界中收集事实而导致的知识不完整的问题。基于GCN的模型由于其复杂性而被广泛应用于解决链接预测问题,但基于GCN的模型在结构和训练过程中存在两个问题。1)在基于GCN的知识表示模型中,GCN各层的转换方法变得越来越复杂; 2)由于知识图谱收集过程的不完备性,在已标注的否定样本中存在大量未收集的真事实。为此,本文研究了GAT结构中相邻节点的信息聚集系数(自注意力)特性,并重新设计了GAT结构的自注意力机制。同时,受人类思维习惯的启发,我们设计了一种基于预训练模型的半监督自训练方法。在FB 15 k-237和WN 18 RR数据集上的实验结果表明,本文提出的自注意力机制和半监督自训练方法能够有效提高链接预测任务的性能.例如,如果您查看FB 15 k-237,则所提出的方法将Hits@1提高了约30%。
2022-09-03 cs.AI cs.LG
A Unified Framework for Rank-based Evaluation Metrics for Link Prediction in Knowledge Graphs
Harvard Medical School(哈佛医学院);LMU Munich(慕尼黑大学);Mila(米拉研究所);McGill University(麦吉尔大学);Siemens AG(西门子股份公司)
在训练数据中没有显式负三元组的知识图谱上的链接预测任务促使使用基于秩的度量。在这里,我们回顾现有的排名为基础的指标,并提出改进的指标,以解决缺乏解释性和现有指标的可比性,不同大小和属性的数据集的必要条件。我们介绍了一个简单的理论框架,基于排名的指标,我们调查两种途径,通过替代聚合函数和概率论的概念,以改善现有的指标。最后,我们提出了几个新的排名为基础的指标,更容易解释和比较伴随着示范他们的使用基准的知识图谱嵌入模型。
2022-04-19 cs.AI cs.LG
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London(伦敦大学学院);Institute of Health Informatics(健康信息学研究所)
学习知识表示是一种越来越重要的技术,适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时,嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集,导致训练过程中的信息丢失,并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型,该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明,新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Enhanced Drug-drug Interaction Prediction Using Adaptive Knowledge Integration
本文提出自适应知识整合框架,通过强化学习优化LLM策略空间,提升药物相互作用预测准确性。
2026-03-13 cs.LG
A Self-feedback Knowledge Elicitation Approach for Chemical Reaction Predictions
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
针对现有化学反应预测方法挖掘数据内在知识不足的问题,提出自反馈知识提取方法,通过迭代优化分子表示提取反应类型知识,结合自适应提示学习注入大语言模型,显著提升逆合成与试剂预测准确率,拓展多任务处理能力。
2024-04-15 cs.AI cs.LG q-bio.QM
GraphCare: Enhancing Healthcare Predictions with Personalized Knowledge Graphs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);GE Healthcare(GE医疗);OSF HealthCare(OSF医疗)
本文提出GraphCare框架,通过结合大语言模型与外部生物医学知识图谱构建患者个性化知识图谱,并训练BAT图神经网络,在MIMIC-III和MIMIC-IV上显著提升死亡率、再入院率、住院时长和药物推荐四项医疗预测任务性能。
2024-01-17 cs.AI cs.LG
KERAP: A Knowledge-Enhanced Reasoning Approach for Accurate Zero-shot Diagnosis Prediction Using Multi-agent LLMs
Emory University(埃默里大学);Stanford University(斯坦福大学)
KERAP通过知识图谱增强的多智能体大语言模型架构,结合属性映射、结构化知识检索与迭代预测优化,提升零样本医学诊断预测的可靠性与可解释性。
2025-07-06 cs.AI cs.LG cs.MA
Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A Relational Anonymous Walk-guided Neural Process Approach
Nanjing University of Science and Technology(南京理工大学);Monash University(莫纳什大学);Griffith University(格里菲斯大学)
本文提出RawNP方法,通过关系匿名游走提取少样本观测中的关系模体,并结合神经过程建模链接预测函数分布,以快速适应新实体并估计不确定性,从而在知识图谱少样本归纳式链接预测任务上取得最先进性能。
2023-06-26 cs.AI cs.LG
Knowledge Graph Embedding for Ecotoxicological Effect Prediction
Norwegian Institute for Water Research(挪威水研究所);University of Oslo(奥斯陆大学);Alan Turing Institute(艾伦·图灵研究所);University of Oxford(牛津大学)
探索一种化合物对一个物种的影响需要相当大的实验努力。估计和提出新效应的适当方法可以大大减少实验室需要做的工作。在本文中,我们探讨了使用知识图谱嵌入方法的生态毒理学效应预测的适用性。一个知识图谱已经从公开的数据集,包括物种分类和化学分类和相似性构建。使用本体对齐技术将公开可用的效果数据集成到知识图谱。我们的实验结果表明,基于知识图谱的方法提高了选定的基线。
2019-11-11 cs.AI cs.IR cs.LG
Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction
University of Michigan(密歇根大学);Bloomberg(彭博(公司))
关于知识图谱嵌入(KGE)模型预测的可信度知之甚少。在本文中,我们朝着这个方向采取初步措施,通过调查KGE模型的校准,或在何种程度上,他们输出的信心分数,反映了预期的正确性预测知识图谱三元组。我们首先进行评估下的标准封闭世界假设(CWA),其中预测的三元组还没有在知识图谱被认为是假的,并表明现有的校准技术是有效的KGE在这个共同的,但狭窄的假设。接下来,我们介绍更现实但具有挑战性的开放世界假设(OWA),其中未观察到的预测在获得地面真实标签之前不被认为是真的或假的。在这里,我们表明,现有的校准技术是有效的OWA下比CWA,并提供这种差异的解释。最后,为了从从业者的角度激励KGE校准的实用性,我们进行了一个独特的人类-AI协作案例研究,表明校准的预测可以提高人类在知识图谱完成任务中的表现。
2020-10-06 cs.AI cs.CL cs.LG
UUKG: Unified Urban Knowledge Graph Dataset for Urban Spatiotemporal Prediction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Alibaba Cloud Intelligence Group(阿里云智能事业群)
本文提出统一城市知识图谱数据集UUKG,通过连接异构城市实体构建数百万三元组,揭示高阶结构模式,并评估15种KG嵌入方法与9种时空模型在5个预测任务上的表现,为知识增强城市时空预测提供基准。
2023-10-22 cs.AI cs.LG
Learning Meta Representations of One-shot Relations for Temporal Knowledge Graph Link Prediction
LMU Munich(慕尼黑大学);Siemens AG(西门子公司);Technical University of Munich(慕尼黑工业大学)
针对时序知识图谱(TKGs)的单样本关系学习问题,本文将插值和extrapolated链接预测扩展到单样本设置,提出四个大规模基准数据集,并开发TKG推理模型以学习单样本关系,在所有数据集上均取得优越性能。
2023-05-24 cs.AI cs.LG
LinkLogic: A New Method and Benchmark for Explainable Knowledge Graph Predictions
Inbound Health;University of São Paulo(圣保罗大学);Nvidia(英伟达);BenevolentAI
本文提出LinkLogic链路预测解释方法,并基于FB13数据集构建了首个链路预测解释基准,通过定量和定性评估生成解释的保真度、选择性和相关性,为知识图谱预测解释方法的实证评估奠定基础。
2024-06-02 cs.AI cs.LG cs.SI
Context Pooling: Query-specific Graph Pooling for Generic Inductive Link Prediction in Knowledge Graphs
Nanyang Technological University(南洋理工大学)
提出Context Pooling方法,通过查询特定的图池化和邻居逻辑相关性评估,提升GNN在知识图谱链接预测中的性能,在48个设置中42个达到SOTA。
2025-07-10 cs.AI cs.LG
Scalable and interpretable rule-based link prediction for large heterogeneous knowledge graphs
Medical University of Vienna(维也纳医科大学);University Mannheim(曼海姆大学)
基于神经嵌入的机器学习模型已经显示出预测生物医学知识图谱中新链接的前景。不幸的是,它们的实际效用由于缺乏可解释性而减少。最近,完全可解释的,基于规则的算法AnyBURL在许多通用链接预测基准测试中产生了极具竞争力的结果。然而,它的适用性复杂的生物医学知识基础上的大规模预测任务是有限的推理时间长,并与聚合预测的多个规则的困难。我们通过引入SAFRAN规则应用框架来改进AnyBURL,该框架通过可扩展的聚类算法聚合规则。在已建立的通用基准FB 15 K-237和大规模生物医学基准OpenBioLink上,赛峰提供了完全可解释的链接预测的最新结果。此外,它超过了FB 15 K-237上多个已建立的基于嵌入的算法的结果,并缩小了OpenBioLink上基于规则和基于嵌入的算法之间的差距。我们还表明,赛峰智能推理系统将推理速度提高了两个数量级。
2020-12-10 cs.AI cs.IR cs.LG
Adaptive Data-Knowledge Alignment in Genetic Perturbation Prediction
Nanjing University(南京大学);EMBL-EBI(欧洲生物信息学研究所)
本文提出ALIGNED框架,通过整合数据驱动学习与现有知识,解决基因扰动预测中数据与知识不一致的问题,提升预测一致性与生物知识重构能力。
2026-04-01 cs.AI cs.LG q-bio.MN
CORE: A Knowledge Graph Entity Type Prediction Method via Complex Space Regression and Embedding
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
实体类型预测是知识图谱研究中的一个重要问题。提出了一种新的KG实体类型预测方法CORE(Complex space Regression and Embedding)。所提出的CORE方法利用了两个复杂空间嵌入模型的表达能力,即RotatE和ComplEx模型。它使用RotatE或ComplEx在两个不同的复杂空间中嵌入实体和类型。然后,我们推导出一个复回归模型来连接这两个空间。最后,介绍了一种机制,以优化嵌入和回归参数联合。实验表明,CORE优于基准测试方法在代表KG实体类型推断数据集。分析了各种实体类型预测方法的优缺点。
2021-12-19 cs.AI cs.LG cs.SI
ViPro: Enabling and Controlling Video Prediction for Complex Dynamical Scenarios using Procedural Knowledge
Institute for Applied AI, Hochschule der Medien Stuttgart(斯图加特媒体大学应用人工智能研究所);Institute of Industrial Manufacturing and Management IFF, University of Stuttgart(斯图加特大学工业制造与管理研究所);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所)
该研究提出ViPro架构,将过程性领域知识融入数据驱动视频预测模型的计算图,解决了复杂动态场景下现有预测器效果不佳的问题,还学习到可符号寻址的接口以支撑下游控制任务。
2024-06-26 cs.AI cs.CV cs.LG
CAST-CKT: Chaos-Aware Spatio-Temporal and Cross-City Knowledge Transfer for Traffic Flow Prediction
Griffith University(格里菲斯大学);Central South University(中南大学)
CAST-CKT通过混沌意识机制提升跨城市交通流预测的准确性和可解释性。
2026-02-04 cs.AI cs.LG
Methods for Acquiring and Incorporating Knowledge into Stock Price Prediction: A Survey
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
本文系统综述了从非结构化数据中获取外部知识并将其融入股价预测的方法,重点区分非图与图两类知识表示,并梳理融合策略、数据集及未来研究方向。
2023-08-09 cs.AI cs.LG q-fin.ST
Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning
Sun Yat-sen University(中山大学)
当前的深度学习模型在不断学习新知识时,经常会出现对旧知识的灾难性遗忘。现有的缓解这一问题的策略通常会在保持旧知识(稳定性)和学习新知识(可塑性)之间进行权衡。然而,在持续学习期间的稳定性-可塑性权衡可能需要动态地改变以获得更好的模型性能。在本文中,我们提出了两种新的方法来自适应平衡模型的稳定性和可塑性。第一种方法是自适应地整合多个层次的旧知识,并将其转移到新模型中的每个块层。第二种方法使用旧知识的预测不确定性来自然调整模型训练期间学习新知识的重要性。据我们所知,这是第一次将模型预测不确定性和知识蒸馏联系起来进行持续学习。此外,本文还特别采用了一种改进的CutMix算法来增加旧知识的数据,进一步缓解了灾难性遗忘问题。在CIFAR 100和ImageNet数据集上进行的广泛评估证实了所提出的持续学习方法的有效性。
2023-01-18 cs.CV cs.LG