Transformer-based Entity Typing in Knowledge Graphs
Shanxi University（山西大学）；Cardiff University（卡迪夫大学）；University of Edinburgh（爱丁堡大学）
我们研究了知识图谱实体分类任务，旨在推断合理的实体类型。在本文中，我们提出了一种新的基于转换器的实体类型（TET）的方法，有效地编码的内容的邻居的实体。更准确地说，TET由三种不同的机制组成：本地Transformer，允许通过独立地对由其每个邻居提供的信息进行编码来推断实体的缺失类型;全局Transformer，将实体的所有邻居的信息聚合成单个长序列以推理更复杂的实体类型;以及上下文转换器Transformer，其基于邻居内容通过邻居对之间的信息交换对类型推断的贡献来整合邻居内容。此外，TET使用关于类型的类成员关系的信息来在语义上加强实体的表示。在两个真实数据集上的实验表明，TET的性能优于最先进的。
2022-10-20 cs.AI
KGAlign: Joint Semantic-Structural Knowledge Encoding for Multimodal Fake News Detection
提出KGAlign框架，结合自底向上注意力、CLIP、RoBERTa及知识图谱实体选择，通过Transformer分类器实现多模态假新闻检测，优于现有方法。
2025-10-17 cs.AI cs.CL cs.CV
Query2Triple: Unified Query Encoding for Answering Diverse Complex Queries over Knowledge Graphs
The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统实验室，自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Meituan（美团）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出 Q2T，通过两阶段解耦训练将复杂知识图谱查询统一编码为三元组，并复用预训练神经链接预测器，在三个基准上实现高效且最先进的 CQA 性能。
2025-09-28 cs.AI
Auto-Encoding Knowledge Graph for Unsupervised Medical Report Generation
Peking University（北京大学）；Yale University（耶鲁大学）；Tencent（腾讯）；University of Washington（华盛顿大学）
医学报告生成是针对给定的医学图像自动生成长而连贯的报告的一种方法，已经受到越来越多的研究兴趣。现有的方法主要采用监督的方式，严重依赖于耦合的图像报告对。然而，在医学领域，构建大规模的图像-报告配对数据集既耗时又昂贵。为了放松对配对数据的依赖，我们提出了一个无监督模型知识图谱自动编码器（KGAE），它接受独立的图像和报告集的训练。KGAE由一个预先构造的知识图谱、一个知识驱动的编码器和一个知识驱动的解码器组成。知识图谱作为共享的潜在空间来桥接视觉域和文本域;知识驱动的编码器将医学图像和报告投影到该潜在空间中的相应坐标，并且知识驱动的解码器在该空间中给定坐标的情况下生成医学报告。由于知识驱动的编码器和解码器可以用独立的图像和报告集进行训练，因此KGAE是无监督的。实验表明，无监督KGAE生成理想的医疗报告，而不使用任何图像报告训练对。此外，KGAE还可以在半监督和监督设置下工作，并在训练中接受配对的图像和报告。通过对图像-报告对的进一步微调，KGAE在两个数据集上的表现始终优于当前最先进的模型。
2021-11-15 cs.AI cs.CL cs.CV
Symbolic-AI-Fusion Deep Learning (SAIF-DL): Encoding Knowledge into Training with Answer Set Programming Loss Penalties by a Novel Loss Function Approach
Department of Data Science, Faculty of Science and Technology, Norwegian University of Life Sciences（数据科学系，科学与技术学院，挪威生命科学大学）
提出 SAIF-DL 混合方法，利用本体和 ASP 将领域规则与逻辑约束编码为损失惩罚，以增强深度学习训练，并实现跨领域可扩展适配。
2024-12-18 cs.AI cs.ET
FITTER: Vocabulary-Agnostic Cross-Domain Inference on Temporal Knowledge Graphs
University of Stuttgart（斯图加特大学）；SAP SE（思爱普公司）；University of Southampton（南安普顿大学）
FITTER是首个支持跨域迁移的全归纳时序知识图谱链接预测模型，通过相对顺序编码与消息传递生成词汇无关嵌入，在6类基准上无需重训便优于归纳基线，为语义网异构知识图谱推理提供可行基础。
2026-08-12 cs.AI
A Relation-Interactive Approach for Message Passing in Hyper-relational Knowledge Graphs
Qtrade AI lab（Qtrade AI实验室）
针对超关系知识图谱，提出具备全局关系结构感知能力的消息传递图编码器 ReSaE，通过强化关系交互并优化读出结构，在多个链路预测基准上达到最先进性能。
2024-03-02 cs.AI
Neurosymbolic Deep Learning Semantics
本文提出一个基于逻辑的神经符号框架，为深度学习提供语义编码，明确神经网络与逻辑的映射，并探讨其在神经编码和知识提取中的应用及实践困难。
2025-11-04 cs.AI
ComDensE : Combined Dense Embedding of Relation-aware and Common Features for Knowledge Graph Completion
Kakao Enterprise（Kakao企业）；Korea University（高丽大学）
现实世界的知识图谱（KG）大多是不完整的。恢复缺失关系的问题，称为KG完成，最近已成为一个活跃的研究领域。知识图谱（KG）嵌入作为实体和关系的低维表示，是KG完备化的关键技术。诸如ConvE、SACN、InteractE和RGCN等模型中的卷积神经网络最近取得了成功。本文采取了不同的架构视图，并提出了ComDensE，它结合了关系感知和常见的功能，使用密集的神经网络。在关系感知的特征提取中，我们试图通过应用特定于每个关系的编码函数来创建关系归纳偏差。在公共特征提取中，我们将公共编码函数应用于所有输入嵌入。这些编码功能使用ComDensE中的密集层实现。与以前的基线方法相比，ComDensE在链接预测中的MRR、FB 15 k-237上的HIT@1和WN 18 RR上的HIT@1方面实现了最先进的性能。我们进行了广泛的消融研究，以检查ComDensE的关系感知层和公共层的影响。实验结果表明，在ComDensE实现的组合密集架构达到最佳性能。
2022-06-29 cs.AI cs.LG
Efficiency Analysis of ASP Encodings for Sequential Pattern Mining Tasks
AGROCAMPUS-OUEST（西部农业学院）；IRISA-UMR 6074（IRISA-UMR 6074 研究所）；Inria（法国国家信息与自动化研究所）；Inria – Centre de Rennes（法国国家信息与自动化研究所雷恩中心）；Potsdam University（波茨坦大学）
本文介绍了使用回答集编程（ASP）挖掘序列模式。ASP是一种高级说明性逻辑编程范例，用于高级编码、组合和优化问题求解以及知识表示和推理。因此，ASP是实现具有背景知识的模式挖掘的一个很好的候选者，这一直是数据采掘的问题。我们提出了编码的经典序列模式挖掘任务中的两种表示嵌入（填充间隙与跳过间隙）和各种模式：频繁，约束和浓缩。我们比较了这些编码的计算性能，以更好地了解ASP编码的效率。实验结果表明，在实际问题中，填充间隙策略具有更低的内存消耗。最后，相比约束编程方法（CPSM），另一个声明式编程范式，我们的建议表现出相当的性能。
2017-11-14 cs.AI cs.DB stat.ML
KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs
University of Southern California（南加州大学）；University of California, Riverside（加州大学河滨分校）
本文提出KG-LLM-Bench基准，系统评估五种知识图谱文本化策略在七种语言模型上的表现，为优化LLM知识图谱推理提供指导。
2025-04-09 cs.AI cs.CL cs.IR
Complexity and scalability of defeasible reasoning in many-valued weighted knowledge bases with typicality
Università della Calabria（卡拉布里亚大学）；Università del Piemonte Orientale（东皮埃蒙特大学）
加权知识库的描述逻辑的典型性下的“概念明智的”多优先语义提供了一个逻辑解释的多层感知器。在这种情况下，答案集编程（ASP）已被证明是适合于解决可撤销的推理在多值的情况下，提供了一个$Π^p_2$上限的问题的复杂性，但留下未知的确切的复杂性，只提供了一个概念验证的实现。本文通过提供一个$P^{NP[log]}$ -完备性结果和新的ASP编码来满足这一不足，该编码处理具有大搜索空间的加权知识库。
2023-03-27 cs.AI
A Temporal Knowledge Graph Completion Method Based on Balanced Timestamp Distribution
Huazhong University of Science and Technology（华中科技大学）；Hefei University of Technology（合肥工业大学）
通过知识图谱（KGE）的嵌入表示来实现知识完备化是近年来的一个研究热点。现实知识图谱大多与时间相关，而现有的KGE算法大多忽略了时间信息。现有的一些方法直接或间接地对时间信息进行编码，忽略了时间戳分布的均衡性，极大地限制了时态知识图谱补全（KGC）的性能。本文在直接编码时间信息框架的基础上，提出了一种基于时间的KGC方法，将给定的时间片作为时间戳均衡分布的最细粒度。在现实世界中提取的时态知识图谱数据集上的大量实验证明了该方法的有效性。
2021-11-06 cs.AI
Network Fragments: Representing Knowledge for Constructing Probabilistic Models
Information Extraction and Transport, Inc.（信息提取与传输公司）；George Mason University（乔治梅森大学）
在大多数当前的信度网络应用中，领域知识由适用于领域中所有问题实例的单个信度网络表示。在更复杂的领域中，特定问题的模型必须从编码域中的概率关系的知识库中构建。基于知识的模型构建大多以规则作为知识的基本单位。我们提出了一个知识表示框架，允许知识库设计师指定知识在更大的语义有意义的单位，我们称之为网络片段。我们的框架提供了不对称的独立性和典型的因果间的相互作用表示。我们讨论了网络片段的组合，以形成特定问题的模型来推理特定的问题实例。该框架说明了从军事态势感知领域的例子。
2013-02-06 cs.AI
MGSA: Multi-Granularity Graph Structure Attention for Knowledge Graph-to-Text Generation
Beijing Jiaotong University（北京交通大学）
本文提出多粒度图结构注意力模型MGSA，通过实体级和词级结构编码模块及聚合模块同时捕捉知识图谱的多粒度结构信息，显著提升了知识图谱到文本生成的质量。
2024-09-23 cs.AI cs.CL
JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs
Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
现有的用于知识图到文本（KG到文本）生成的预训练模型只是对KG到文本数据集上的文本到文本预训练模型（如BART或T5）进行微调，这些模型在编码过程中很大程度上忽略了图结构，并且缺乏详细的预训练任务来显式地对图-文本对齐进行建模。为了解决这些问题，我们提出了一个图-文本联合表示学习模型JointGT。在编码过程中，我们设计了一个结构感知的语义聚合模块，插入到每个Transformer层，以保持图的结构。此外，我们提出了三个新的预训练任务，以显式地增强图形-文本对齐，包括相应的文本/图形重建，以及通过最佳传输在嵌入空间中的图形-文本对齐。实验表明，JointGT在各种KG到文本数据集上获得了新的最先进的性能。
2021-06-19 cs.AI cs.CL
Property Invariant Embedding for Automated Reasoning
University of Innsbruck（因斯布鲁克大学）；Czech Technical Univ. in Prague（布拉格捷克理工大学）
自动推理和定理证明最近已经成为机器学习的主要挑战。在其他领域，能够抽象不重要的转换的表示，例如视觉中的平移和旋转抽象，变得越来越普遍。然而，嵌入用于学习定理证明的数学公式的标准方法还不能处理许多重要的变换。特别是，嵌入以前看不见的标签，经常出现在定义编码和Skolemization，到目前为止已经非常弱。在已知符号之间传递知识时也会出现类似的问题。我们提出了一种新的编码公式，扩展现有的图神经网络模型。这种编码仅通过图中的节点来表示符号，而不向网络提供原始标签的任何知识。我们在这些节点之间提供了额外的链接，使网络能够恢复意义，从而正确地嵌入这些节点，而不管给定的标签。我们测试所提出的编码在一个自动定理证明的基础上的tableaux连接演算，并表明，它提高了迄今为止使用的最佳表征。编码进一步评估的前提选择任务和新引入的符号猜测任务，并正确预测65%的符号名称。
2019-11-27 cs.AI cs.LG cs.LO
Weighted Conditional EL{^}bot Knowledge Bases with Integer Weights: an ASP Approach
Università del Piemonte Orientale（皮埃蒙特东方大学）
加权知识库的描述逻辑与典型性最近被认为是在一个“概念明智的”多偏好语义（在两个值和模糊的情况下），作为多层感知器的逻辑语义的基础。在本文中，我们考虑加权条件EL^bot知识库在两个值的情况下，并利用ASP和asprin编码概念明智的多偏好蕴涵加权知识库与整数权重。
2021-09-17 cs.AI cs.LO
BIRDNet: Mining and Encoding Boolean Implication Knowledge Graphs as Interpretable Deep Neural Networks
BITS Pilani, K K Birla Goa Campus（BITS 印度 Goa 分校）
提出BIRDNet，通过挖掘特征间的布尔蕴含关系并编码为稀疏可解释神经网络，在保持高精度的同时大幅减少参数，并在转录组和蛋白质组数据中恢复已知生物学特征。
2026-08-25 cs.AI cs.LG cs.NE
A Note on Reasoning on $\textit{DL-Lite}_{\cal R}$ with Defeasibility
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Technische Universität Wien（维也纳工业大学）
可废止信息的表示是描述逻辑中的一个重要问题，因为它涉及到在知识库中容纳例外实例的需要。在这个方向上，在我们以前的作品中，我们提出了一个数据库翻译推理（上下文）OWL RL知识库的概念，合理的例外可废止公理。虽然它涵盖了OWL的相关片段，但由此产生的推理过程需要复杂的编码，以便捕获对负面信息的推理。在本文中，我们考虑的情况下，知识库的$\textit{DL-Lite}_{\cal R}$，即语言的基础OWL QL。给出了具有可废止公理的$\textit{DL-Lite}_{\cal R}$知识库的定义，并研究了它们的性质。有限形式的$\textit{DL-Lite}_{\cal R}$公理允许我们制定一个更简单的编码到数据集（根据答案集语义）与直接规则推理的负面信息。由此产生的具体化方法产生了一个完整的推理过程，例如检查$\textit{DL-Lite}_{\cal R}$与可废止公理。
2019-05-22 cs.AI cs.LO
Spatial Symmetry Driven Pruning Strategies for Efficient Declarative Spatial Reasoning
University of Münster（明斯特大学）；The DesignSpace Group（DesignSpace集团）；University of Bremen（不来梅大学）
声明性空间推理表示能够（声明性地）指定和解决与标准知识表示和基于推理（KR）的方法（例如，逻辑编程和衍生物）。在声明式编程框架内编码空间关系语义的一种方法是多项式约束系统。然而，求解这样的约束在一般情况下是计算上难以处理的（即实闭域理论）。我们提出了一种新的算法，实现声明式空间推理系统CLP（QS），大大提高了性能，决定传统的多项式编码的空间约束图的一致性。我们开发修剪策略建立在空间对称性，形成等价类（基于仿射变换）在定性空间水平。此外，修剪策略本身被形式化为关于空间和空间对称性的知识。我们评估我们的算法使用一系列的基准类的接触问题，并证明在部分学和几何。实证结果表明，CLP（QS）与知识为基础的空间修剪优于传统的多项式编码的数量级，因此可以应用于在实践中，否则无法解决的问题。
2015-06-16 cs.AI cs.LO cs.PL
GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding
Pacific Northwest National Lab（太平洋西北国家实验室）
本文提出GLaM微调框架，将领域知识图谱转换为文本问答对以对齐LLM，增强其基于图谱结构的推理能力，并作为检索增强生成的高效替代方案。
2024-04-17 cs.AI
Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling
Amazon Alexa（亚马逊Alexa）
我们提出了一种新的Transformer编码器为基础的架构与语法知识编码的意图检测和插槽填充。具体来说，我们通过联合训练将语法知识编码到Transformer编码器中，以通过多任务学习预测每个标记的语法分析祖先和词性。我们的模型是基于自我注意和前馈层，并不需要外部的语法信息，在推理时间。实验表明，在两个基准数据集上，我们的模型只有两个Transformer编码器层达到最先进的结果。与之前没有预训练的最佳模型相比，我们的模型在SNIPS数据集上的插槽填充和意图检测的绝对F1得分和准确性分别提高了1.59%和0.85%。我们的模型在ATIS数据集上的插槽填充和意图检测的绝对F1得分和准确性分别提高了0.1%和0.34%，超过了以前表现最好的模型。此外，自我注意力权重的可视化说明了在训练期间结合句法信息的好处。
2020-12-21 cs.AI
Exploring the Advantages of Dense-Vector to One-Hot Encoding of Intent Classes in Out-of-Scope Detection Tasks
IBM Research（IBM研究院）
这项工作探讨了流行的独热编码方法的内在局限性时，检测范围外（OOS）的输入是必需的意图分类。虽然最近的工作表明，可以有显着的改善，在OOS检测时的意图类表示为密集向量的基础上特定领域的知识，我们认为，在本文中，这样的收益更可能是由于密集向量的优势，一热编码方法在表示的复杂性的OOS空间。我们首先展示了密集向量编码如何创建具有比one-hot编码方法更丰富拓扑的OOS空间。然后，我们使用四个标准意图分类数据集以经验证明，意图类的无知识、随机生成的密集向量编码可以比单热编码产生巨大的超过20%的收益，并且还优于之前的基于领域知识的SOTA其中一个数据集。最后，我们描述了一种新的算法来搜索良好的密集矢量编码，并提出了初步的，但有前途的实验结果，其使用。
2022-05-18 cs.AI cs.LG
CKH: Causal Knowledge Hierarchy for Estimating Structural Causal Models from Data and Priors
Oregon Clinical and Translational Research Institute（俄勒冈临床与转化研究所）；Oregon Health & Science University（俄勒冈健康与科学大学）；Purdue University（普渡大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Marquette University（马凯特大学）；Pennsylvania State University（宾夕法尼亚州立大学）
结构因果模型（SCM）提供了一种原则性的方法来识别从经济学到医学等学科的观察和实验数据中的因果关系。然而，SCM，这是典型的表示为图形模型，不能只依赖于数据，而需要支持的领域知识。这方面的一个关键挑战是缺乏一个方法框架，以系统的方式将先验知识（背景知识）编码为因果模型。我们提出了一个抽象的因果知识层次（CKH）编码先验因果模型。我们的方法是基于医学中的“证据水平”的基础，重点是对因果信息的信心。使用CKH，我们提出了一个方法框架编码因果先验从各种信息源，并结合它们来推导SCM。我们在模拟数据集上评估了我们的方法，并通过敏感性分析与地面真实因果模型相比展示了整体性能。
2022-09-01 cs.AI
MedKP: Medical Dialogue with Knowledge Enhancement and Clinical Pathway Encoding
Zhejiang University（浙江大学）；Tencent Youtu Lab（腾讯优图实验室）；Harvard University（哈佛大学）
针对LLM医疗对话知识不足与幻觉问题，提出融合医学知识图谱外部增强及医学实体、医生动作临床路径编码的MedKP框架，在MedDG和KaMed上达到新SOTA。
2024-03-11 cs.AI cs.CL
Structural Positional Encoding for knowledge integration in transformer-based medical process monitoring
Laboratorio Integrato di Intelligenza Artificiale e Informatica in Medicina DAIRI（人工智能与医学信息整合实验室DAIRI）；Azienda Ospedaliera SS. Antonio e Biagio e Cesare Arrigo（安东尼和比阿乔和卡雷罗医院）
本文提出基于Transformer的医疗过程监控方法，通过图位置编码整合领域知识，提升预测准确性与实用性。
2024-03-13 cs.AI cs.LG
Neural-encoding Human Experts' Domain Knowledge to Warm Start Reinforcement Learning
Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）
深度强化学习已经在各种任务中取得了成功，例如游戏和机器人操作。然而，试图学习\textit{tabula rasa}忽略了许多领域的逻辑结构以及来自领域专家的丰富的现成知识，这些知识可以帮助“热启动”学习过程。我们提出了一种新的强化学习技术，允许智能初始化的神经网络的权重和架构。我们的方法允许将领域知识直接编码到神经决策树中，并通过策略梯度更新来改进该知识。我们在两个OpenAI Gym任务和两个修改后的星际争霸2任务上实证验证了我们的方法，表明我们的新架构优于多层感知器和递归架构。我们的知识为基础的框架发现优越的政策相比，模仿学习为基础的和先验知识为基础的方法。重要的是，我们证明了我们的方法可以被未经训练的人使用，相对于训练前的基线，最初提供>80%的预期奖励增加（p < 0.001），这导致策略优化后的预期奖励增加>60%（p = 0.011）。
2020-09-23 cs.AI cs.LG stat.ML
Beyond Textual Context: Structural Graph Encoding with Adaptive Space Alignment to alleviate the hallucination of LLMs
Wuhan University of Technology（武汉理工大学）
提出 SSKG-LLM 架构，通过 KGR、KGE 与 KGA 模块对齐知识图谱结构、语义嵌入和 LLM 文本空间，以增强事实推理并缓解幻觉。
2025-09-26 cs.AI cs.CL
Stratified Knowledge Bases as Interpretable Probabilistic Models (Extended Abstract)
Cardiff University（卡迪夫大学）；KU Leuven（鲁汶大学）
在本文中，我们提倡使用分层逻辑理论来表示概率模型。我们认为，这样的编码可以比现有的框架，如马尔可夫逻辑网络中获得的更可解释。其中，这允许使用领域专家通过直接删除、添加或修改逻辑公式来改进学习的模型。
2016-11-18 cs.AI
A systematic review of biologically-informed deep learning models for cancer: fundamental trends for encoding and interpreting oncology data
University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
人们越来越关注使用基于深度学习（DL）的方法作为肿瘤学的支持分析框架。然而，DL的大多数直接应用将提供有限的透明度和可解释性的模型，这限制了它们在生物医学环境中的部署。这篇系统综述讨论了用于支持癌症生物学推断的DL模型，特别强调多组学分析。它侧重于现有的模型如何解决需要更好地对话与先验知识，生物可解释性和可解释性，在生物医学领域的基本属性。为此，我们检索和分析了42项研究，重点是新兴的架构和方法的进步，生物领域知识的编码和可解释性方法的整合。我们讨论了最近的进化拱DL模型的方向，整合以前的生物关系和网络知识，以支持更好的概括（例如，途径或蛋白质-蛋白质相互作用网络）和可解释性。这代表了一个基本的功能转移到模型，可以集成机械和统计推理方面。我们引入了生物中心的可解释性的概念，并根据其分类，我们讨论了在这样的模型中的领域先验知识的集成表示方法。本文提供了一个批判性的前景到当代方法的解释性和可解释性用于癌症的DL。分析点之间的收敛编码先验知识和改进的可解释性的方向。我们引入生物为中心的可解释性，这是对DL模型的生物可解释性的形式化和开发方法，是较少的问题或应用程序特定的重要一步。
2023-01-24 cs.AI cs.LG q-bio.QM
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation
Johns Hopkins University（约翰斯·霍普金斯大学）；North South University（北南大学）
提出基于知识蒸馏的框架，将经典CNN知识迁移至量子神经网络，通过实验证明其能在减少参数和量子资源需求下提升准确率，并确定全连接层降维与振幅编码为最优策略。
2025-03-01 cs.AI cs.LG quant-ph
DEXTER: Deep Encoding of External Knowledge for Named Entity Recognition in Virtual Assistants
Apple（苹果公司）
本文提出DEXTER系统，通过深度编码外部知识并结合搜索与间接标注技术，在虚拟助手噪声输入下将NER错误率降低约6%，并提升语义解析性能。
2021-08-15 cs.AI cs.CL cs.LG
RECKONING: Reasoning through Dynamic Knowledge Encoding
EPFL（洛桑联邦理工学院）；Stanford University（斯坦福大学）；Meta AI Research（Meta AI研究院）
针对语言模型上下文内推理易受干扰事实影响的问题，提出双层学习算法RECKONING，通过反向传播将上下文知识编码进模型参数实现推理，在多跳推理任务上性能、泛化性、鲁棒性和多问效率均优于基线。
2023-11-05 cs.AI cs.CL cs.LG
Clinical Camel: An Open Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding
Vector Institute for Artificial Intelligence（矢量人工智能研究所）；University of Toronto（多伦多大学）；Peter Munk Cardiac Centre, University Health Network（大学健康网络彼得·蒙克心脏中心）；McGill University（麦吉尔大学）；University Health Network（大学健康网络）
本文提出开放医学大语言模型 Clinical Camel，通过 QLoRA 微调 LLaMA-2 并引入基于对话的知识编码，在多项医学五样本基准上超过 GPT-3.5。
2023-08-17 cs.AI cs.CL
Drawing on Memory: Dual-Trace Encoding Improves Cross-Session Recall in LLM Agents
Tufts University（塔夫茨大学）
本文提出双轨迹编码方法，通过将事实与具体场景描述结合，提升LLM代理在跨会话中的回忆能力，实验显示在时间推理、知识更新追踪和多会话聚合方面有显著提升。
2026-04-14 cs.AI
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
研究旨在解构深度网络内部知识，提出HOPE数学框架，将网络压缩从离散域转至希尔伯特空间，统一剪枝与神经元合并为低秩子空间投影，引入宏块逐出涵盖多层结构，通过实验验证该无数据无超参数框架的实用潜力。
2026-07-24 cs.AI cs.LG stat.ML
Transformers and the representation of biomedical background knowledge
The University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
专门的基于transformers的模型（如BioBERT和BioMegatron）适用于基于公共生物医学语料库的生物医学领域。因此，它们有可能编码大规模的生物知识。我们研究了这些模型中生物学知识的编码和表示，以及它在支持癌症精准医学推理方面的潜在效用-即解释基因组改变的临床意义。我们比较了不同的Transformer基线的性能;我们使用探测来确定不同实体编码的一致性;我们使用聚类方法来比较和对比基因、变体、药物和疾病嵌入的内部属性。我们表明，这些模型确实编码生物知识，虽然其中一些是在微调特定的任务丢失。最后，我们分析了模型在数据集中的偏差和不平衡方面的表现。
2022-08-18 cs.AI cs.CL cs.LG
Knowledge-aware contrastive heterogeneous molecular graph learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
针对传统同构图分子表示学习的局限，提出知识感知对比异质分子图学习框架KCHML，通过多视角异质图与双消息传递结合对比学习融入外部知识，在分子性质预测等任务上性能优于现有最优模型。
2025-03-21 cs.AI cs.LG
Investigating the Encoding of Words in BERT's Neurons using Feature Textualization
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本研究提出特征文本化技术，将激活最大化适应于NLP，应用于BERT以探究单个神经元的知识可解释性，发现神经元不表示明确词汇符号，并量化编码词汇所需神经元数量。
2023-11-14 cs.AI cs.CL
Extracting and Encoding: Leveraging Large Language Models and Medical Knowledge to Enhance Radiological Text Representation
Pontificia Universidad Católica de Chile（智利天主教大学）；University of Pennsylvania（宾夕法尼亚大学）；KU Leuven（鲁汶大学）；Millennium Institute for Intelligent Healthcare Engineering (iHEALTH)（千禧智能医疗工程研究院（iHEALTH））；National Center for Artificial Intelligence (CENIA)（国家人工智能中心（CENIA））
本文提出两阶段框架，利用 LLM 从放射学报告提取事实，并训练 CXRFE 编码器与 CXRFEScore 指标，显著提升多项下游任务和报告生成评估效果。
2024-07-02 cs.AI cs.CL cs.LG
Let Your Graph Do the Talking: Encoding Structured Data for LLMs
Google Research（谷歌研究院）；Waymo Research（Waymo研究院）
提出GraphToken方法，通过参数高效的编码函数将图结构显式编码为提示，供LLM用于多种推理任务，在GraphQA基准上实现最高73个百分点的全面性能提升。
2024-02-08 cs.AI cs.LG cs.SI
Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework
Xi’an Jiaotong University（西安交通大学）；Arizona State University（亚利桑那州立大学）；Tongji University（同济大学）
针对 GNN 在大规模图推理中的高时空开销及图知识蒸馏到 MLP 时的位置信息丢失、泛化不足问题，提出融合位置编码、Neural Heat Kernels 与隐藏层匹配的三阶段多任务蒸馏框架。
2026-10-14 cs.AI cs.LG
Enhancing Knowledge Tracing through Leakage-Free and Recency-Aware Embeddings
该研究针对知识追踪模型的标签泄漏问题，提出含MASK标签的无泄漏嵌入与近期编码方法，融入DKT等模型后可提升预测准确性，方法高效且适用范围广。
2026-10-06 cs.AI cs.CY cs.LG
On Integrating Fuzzy Knowledge Using a Novel Evolutionary Algorithm
Khulna University of Engineering & Technology（库尔纳工程技术大学）
模糊系统可以被认为是基于知识的系统，它通过模糊规则和模糊隶属函数将人类知识纳入其知识库。本研究的目的是提出一个模糊知识集成框架，使用一种新的进化策略（NES），它可以同时集成多个模糊规则集及其隶属函数集。该方法包括两个阶段：模糊知识编码和模糊知识集成。四个应用领域，肝炎诊断，甘蔗育种预测，鸢尾属植物分类，井字棋残局被用来显示所提出的知识方法的性能。实验结果表明，该方法得到的模糊知识库比基于遗传算法的模糊知识库具有更好的性能。
2013-04-28 cs.AI cs.NE
SAT Encoding of Partial Ordering Models for Graph Coloring Problems
Department of Computer Science, University of Bonn（波恩大学计算机科学系）；Adesso SE（Adesso公司）
该研究提出图着色问题与带宽着色问题的基于偏序的新型SAT编码，经理论与实验验证，该编码在稀疏图和部分基准实例上性能优于现有最优方法，还首次求解了多个带宽着色问题的公开未解决实例。
2024-08-14 cs.AI cs.DM cs.DS
