Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR（挪威地震阵列研究所）；City, University of London（伦敦大学城市学院）；Norwegian Institute for Water Research（挪威水研究所）；University of Oslo（奥斯陆大学）；University of Oxford（牛津大学）；Norwegian University of Life Sciences（挪威生命科学大学）；Norwegian Geotechnical Institute（挪威岩土工程研究所）
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务，即化学效应预测。我们已经评估了九个知识图谱嵌入模型，这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明，使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外，我们还实现了一个微调架构，使知识图谱嵌入适应效果预测任务，并带来更好的性能。最后，我们评估了知识图谱嵌入模型的某些特征，以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法，以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University（南京大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加利福尼亚大学）；Alibaba Group（阿里巴巴集团）
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱（KG）的关联，使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后，我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中，我们提出了一个组理论的角度来看，知识图谱嵌入，连接以前的方法与不同的群体行动。此外，通过利用舒尔引理从群表示理论，我们表明，国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；Hokkaido University（北海道大学）
本文从word2vec中的二次抽样方法出发，介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
Neuro-Symbolic Process Anomaly Detection
RWTH Aachen University（亚琛工业大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种神经符号方法，利用逻辑张量网络和Declare约束，将领域知识整合到神经异常检测中，提升F1分数，尤其在少量符合轨迹时表现更优。
2026-04-01 cs.AI cs.LG cs.SC
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin（柏林工业大学）；Sapienza University of Rome（罗马第一大学）
知识图谱完成（又名~链接预测），即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的，因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果，使得这种解决方案不适用于关键领域，如医疗保健。为了进一步提高知识图谱完成的准确性，我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理（例如，OWL2）。通过这种方式，我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度，而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明，我们提高了香草知识图谱嵌入的MRR精度高达3倍，并优于混合解决方案，结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
$μ\text{KG}$: A Library for Multi-source Knowledge Graph Embeddings and Applications
Nanjing University（南京大学）
本文介绍了$μ\text{KG}$，一个开源的Python库，用于知识图谱上的表示学习。$μ\text{KG}$支持多源知识图谱（以及单个知识图谱）、多个深度学习库（PyTorch和TensorFlow 2）、多个嵌入任务（链接预测、实体对齐、实体类型和多源链接预测）以及多个并行计算模式（多进程和多GPU计算）的联合表示学习。它目前实现了26个流行的知识图谱嵌入模型，并支持16个基准数据集。$μ\text{KG}$提供嵌入技术的高级实现，简化了不同任务的流水线。它还提供了高质量的文档，便于使用。$μ\text{KG}$比现有的知识图谱嵌入库更全面。这对于深入比较和分析各种嵌入模型和任务非常有用。我们表明，联合学习的嵌入可以极大地帮助知识驱动的下游任务，如多跳知识图谱问答。我们会密切留意有关范畴的最新发展，并将其纳入$μ\text{KG}$。
2022-07-28 cs.AI cs.CL cs.LG
MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation
University of California, Irvine（加州大学尔湾分校）；Kookmin University（韩国庆北大学）
针对视频异常检测与识别中的数据不平衡和标注困难，提出基于分层GNN和多模态知识图谱的弱监督模型MissionGNN，实现高效全帧级训练，并在基准数据集上验证了性能。
2025-05-23 cs.LG
NagE: Non-Abelian Group Embedding for Knowledge Graphs
Boston College（波士顿学院）；Brandeis University（布兰迪斯大学）
我们证明了隐藏在关系知识嵌入问题中的群代数结构的存在，这表明基于群的嵌入框架对于设计嵌入模型至关重要。我们的理论分析只是探讨嵌入问题本身的内在属性，因此是模型无关的。在理论分析的基础上，提出了一种基于群论的知识图谱嵌入框架，将关系嵌入为群元素，实体用群行为空间中的向量表示。我们提供了一个通用的配方来构建嵌入模型与两个实例化的例子：SO3E和SU2E，这两个应用连续的非阿贝尔群作为关系嵌入。使用这两个示例模型的实证实验在基准数据集上显示了最先进的结果。
2020-09-03 cs.AI cs.LG math.GR
Universal Knowledge Graph Embeddings
Paderborn University（帕德博恩大学）
本文提出基于 owl:sameAs 融合 DBpedia 和 Wikidata 等大规模知识来源，学习跨知识图谱对齐的通用嵌入，覆盖约 1.8 亿实体，并通过链接预测实验验证其语义优于单图嵌入。
2024-07-05 cs.AI
Learning Embeddings from Knowledge Graphs With Numeric Edge Attributes
Accenture Labs（埃森哲实验室）
与知识图谱的边相关联的数值已被用于表示从遗传数据到社交网络的越来越多的场景中的不确定性、边重要性甚至带外知识。然而，传统的知识图谱嵌入模型并没有被设计成捕获这样的信息，这损害了预测能力。我们提出了一种新的方法，注入数字边缘属性到传统的知识图谱嵌入架构的评分层。公开的数字丰富的知识图谱的实验表明，我们的方法优于传统的数字不知道的基线，以及最近的UKGE模型。
2021-05-18 cs.AI
Efficient Parallel Translating Embedding For Knowledge Graphs
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
知识图嵌入是将知识图谱中的实体和关系嵌入到低维向量空间中。翻译嵌入方法将关系看作是头实体到尾实体的翻译，取得了知识图谱嵌入方法中最先进的结果。然而，这些方法的一个主要局限性是耗时的训练过程，对于大型知识图谱，可能需要几天甚至几周的时间，并且在实际应用中造成很大困难。在本文中，我们提出了一个高效的并行框架，翻译嵌入方法，称为ParTrans-X，它使方法被翻译没有锁，利用知识图谱的区别结构。在两个数据集上，采用三种典型的平移嵌入方法，TransE [3]，TransH [17]和更有效的变体TransE-AdaGrad [10]验证了ParTrans-X可以将训练过程加速超过一个数量级。
2018-01-09 cs.AI
ParaGraphE: A Library for Parallel Knowledge Graph Embedding
Nanjing University（南京大学）
知识图谱嵌入的目的是将知识图谱中的实体和关系转化为连续的低维向量，从而将知识图谱转化为数值表示。近年来，已有许多方法[1，5，3，2，6]被提出来解决这个问题，但现有的单线程实现方法对于大规模知识图谱来说是耗时的。在这里，我们设计了一个统一的并行框架来并行化这些方法，在不影响精度的情况下，实现了显着的时间减少。我们将我们的框架命名为ParaGraphE，它提供了一个并行知识图谱嵌入库。源代码可以从https://github.com/LIBBLE/LIBBLE-MultiThread/tree/master/ParaGraphE下载。
2017-04-05 cs.AI
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明，语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明，联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Domain Representation for Knowledge Graph Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而，大多数现有的模型忽略了表示层次知识，如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示，使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明，域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
A Survey of Knowledge Graph Embedding and Their Applications
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱嵌入提供了一种用于表示知识的通用技术。这些技术可以用于各种应用，如完成知识图谱预测丢失的信息，推荐系统，问答，查询扩展等嵌入在知识图谱中的信息，虽然是结构化的是具有挑战性的消费在现实世界中的应用。知识图谱嵌入使现实世界的应用程序能够使用信息来提高性能。知识图谱嵌入是一个活跃的研究领域。大多数嵌入方法都集中在基于结构的信息。最近的研究已经将边界扩展到包括基于文本的信息和基于图像的信息的实体嵌入。已经做出努力来增强具有上下文信息的表示。本文介绍了KG嵌入领域从简单的基于简化的模型到基于丰富的模型的增长。本文包括实用的知识图谱在现实世界中的应用。
2021-07-16 cs.AI cs.IR
ADKGD: Anomaly Detection in Knowledge Graphs with Dual-Channel Training
Jinan University（暨南大学）；South China Normal University（华南师范大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对知识图谱构建中易出现错误、影响下游任务及大语言模型可靠性的问题，本文提出双通道知识图谱异常检测算法ADKGD，通过双视角表示学习、跨层信息聚合及KL损失优化，在三个真实数据集上性能超越现有最优算法。
2025-01-13 cs.AI cs.DB
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota（明尼苏达大学）；BlueLightAI, Inc.（BlueLightAI公司）
知识图谱嵌入涉及学习实体（图的顶点）和关系（图的边）的表示，使得所得到的表示对由知识图谱表示的已知事实信息进行编码，并且可以用于新关系的推断。我们发现，知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言：一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中，与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架，并允许对嵌入的各种先验约束进行表达。此外，所得到的嵌入可以很容易地适应复合关系的推理，而无需特殊的训练。我们实现这些想法，以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision
Drexel University（德雷塞尔大学）
大多数知识图谱嵌入技术将实体和谓词视为单独的嵌入矩阵，使用聚合函数来构建输入三元组的表示。然而，这些聚合是有损的，即它们不捕获原始三元组的语义，例如谓词中包含的信息。为了克服这些缺点，目前的方法从头开始学习三重嵌入，而不利用来自预训练模型的实体和谓词嵌入。在本文中，我们设计了一种新的微调方法来学习三重嵌入创建弱监督信号从预训练的知识图谱嵌入。我们开发了一种从知识图谱中自动采样三元组并从预训练的嵌入模型中估计其成对相似性的方法。然后，这些成对的相似性得分被馈送到一个类似于Siamese的神经架构中，以微调三重表示。我们评估所提出的方法在两个广泛研究的知识图谱，并表现出一致的改进，比其他国家的最先进的三重嵌入方法的三重分类和三重聚类任务。
2022-08-22 cs.AI cs.CL
Global Context Enhanced Anomaly Detection of Cyber Attacks via Decoupled Graph Neural Networks
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
针对现有GNN异常检测模型无法捕捉非线性网络信息的问题，提出解耦GNN架构，分离节点表示与分类器学习，通过双模块聚合特征生成全局上下文增强嵌入，在AUC指标上优于现有模型。
2024-09-04 cs.CR cs.LG
Locally Adaptive Translation for Knowledge Graph Embedding
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）
知识图谱嵌入的目的是将大规模知识图谱中的实体和关系表示为连续向量空间中的元素。现有的方法，例如，transE和transH，通过在数据上定义一个基于全局边缘的损失函数来学习嵌入表示。然而，最佳损失函数是在实验期间确定的，实验的参数是在一组封闭的候选者中检查的。此外，在具有不同实体和关系的两个知识图谱上的嵌入共享相同的候选损失函数集合，忽略两个图的局部性。这导致嵌入相关应用程序的性能有限。在本文中，我们提出了一个局部自适应的翻译方法知识图谱嵌入，称为transA，找到最佳的损失函数，通过自适应地确定其边缘不同的知识图谱。在两个基准数据集上的实验表明，该方法的优越性，相比，国家的最先进的。
2015-12-04 cs.AI cs.CL
Dynamic Graph Embedding via LSTM History Tracking
York University（约克大学）；IBM
许多现实世界的网络非常庞大，并且随着时间的推移不断变化。这些动态网络存在于各种领域，如社交网络，交通网络和生物相互作用。为了在诸如链接预测和异常检测的下游应用中处理大型动态网络，必须将这样的网络转换到低维空间中。最近，网络嵌入，一种将大型图转换为低维表示的技术，由于其在保持网络结构方面的优势而变得越来越流行。然而，有效的动态网络嵌入尚未被充分探索。在本文中，我们提出了一个动态的网络嵌入方法，集成了历史的节点随着时间的推移到节点的当前状态。我们工作的主要贡献是：1）通过结合动态和静态节点信息生成动态网络嵌入; 2）使用LSTM跟踪节点邻居的历史; 3）通过使用时间遍历而不是图的邻接矩阵来训练自动编码器LSTM模型，从而显着减少时间和内存。我们评估我们的方法在多个应用程序，如异常检测，链接预测和节点分类数据集从各个领域。
2019-11-05 cs.LG cs.SI
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University（莱比锡大学）
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER，以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离，这是相对简单的。然而，以前的工作表明，单独使用图嵌入是不足以实现高ER质量。因此，我们提出了一个更全面的ER方法称为EAGER（嵌入辅助知识图谱实体解析）的知识图谱，灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法，并使用假设检验来确保我们的结果的统计显著性。此外，我们比较我们的方法与国家的最先进的ER解决方案，我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱，但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Siemens Corporate Technology（西门子企业技术）
神经网络的最新进展已经解决了常见的图形问题，如链接预测，节点分类，节点聚类，节点推荐，通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后，编码的嵌入可以用于预测图中丢失的链接。然而，获得最佳的嵌入图可以是一个具有挑战性的计算任务，特别是在嵌入式系统。我们在这项工作中关注的两个技术是1）基于随机游走的方法的节点嵌入和2）知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的，但是是次优的，而知识图谱嵌入表现更好，但是在计算上是昂贵的。在这项工作中，我们研究了一个转换模型，该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入，而不会增加计算成本。大量的实验表明，所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings
Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）
许多生物医学和医疗保健数据都以离散的符号形式编码，如文本和医疗代码。在知识库和本体中存储了大量的专家策划的生物医学领域知识，但是缺乏用于学习知识表示的可靠方法限制了它们在机器学习应用中的有用性。虽然近年来通过自然语言处理的进步，基于文本的表示学习有了显着的改进，但到目前为止，还缺乏学习生物医学概念嵌入的尝试。最近的一个家庭的模型称为知识图谱嵌入一般领域知识图谱显示出可喜的成果，我们探索其在生物医学领域的能力。我们在SNOMED-CT知识图谱上训练了几种最先进的知识图谱嵌入模型，提供了与现有方法进行比较的基准和对最佳实践的深入讨论，并证明了利用知识图谱的多关系性质学习生物医学知识表示的重要性。嵌入，代码和材料将提供给社区。
2020-06-24 cs.AI cs.CL
RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；SAP SE Product Engineering Financial Services（SAP SE 产品工程金融服务部）
知识图谱嵌入方法将图的节点和边表示为数学向量。当前的方法集中于嵌入完整的知识图谱，即所有节点和边。这导致对大型图（如DBpedia或Wikidata）的计算要求非常高。然而，对于大多数下游应用场景，只有一小部分概念是真正感兴趣的。在本文中，我们提出了RDF 2 Vec Light，一种基于RDF 2 Vec的轻量级嵌入方法，它只为实体的一个子集生成矢量。为此，RDF 2 Vec Light仅遍历和处理知识图谱的子图。我们的方法允许应用程序的嵌入非常大的知识图谱的情况下，这样的嵌入是不可能的，由于显着降低运行时间和显着降低硬件要求。
2020-09-17 cs.AI cs.CL
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna（维也纳医科大学）
近年来，基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用，并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上，但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中，我们提出了一个开源的评估管道，基准神经嵌入的准确性的情况下，知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施，使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults
University of Tehran（德黑兰大学）；Clarity Global Co.（Clarity全球公司）
提出SEMC-AD方法，利用深度神经网络监督嵌入和多元高斯聚类，在移动网络告警日志中高效识别异常，检测率达99%，优于随机森林和XGBoost。
2023-10-10 cs.AI cs.LG
Anomaly Detection in Complex Dynamical Systems: A Systematic Framework Using Embedding Theory and Physics-Inspired Consistency
JOANNEUM RESEARCH Forschungsgesellschaft mbH（JOANNEUM RESEARCH 研究所）；TU Graz（格拉茨技术大学）
提出基于嵌入理论与物理一致性原理的系统框架，引入TDC-AE模型，在C-MAPSS数据集上达到与LSTM相当且优于Transformer的性能，并实现近100倍计算量缩减，适用于边缘计算。
2025-09-24 cs.AI cs.LG
Text-ADBench: Text Anomaly Detection Benchmark Based on LLM Embeddings
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究构建了基于LLM嵌入的文本异常检测基准，通过多模型、多数据集的实验发现嵌入质量决定检测效果，深度学习方法在LLM嵌入下无性能优势，还提出了高效评估策略并开源工具包。
2026-08-25 cs.AI cs.CL cs.LG
The role of data embedding in quantum autoencoders for improved anomaly detection
Thomas Jefferson National Accelerator Facility（托马斯·杰斐逊国家加速器设施）；Institute for Particle Physics Phenomenology（粒子物理学现象研究所）；Durham University（达勒姆大学）
研究探讨了三种数据嵌入技术对量子自编码器异常检测性能的影响，发现改进的嵌入策略能显著提升检测准确性和数据表征能力。
2024-09-06 cs.AI cs.LG physics.data-an
Semi-orthogonal Embedding for Efficient Unsupervised Anomaly Segmentation
SK Telecom（SK电讯）
我们提出了无监督的异常分割的半正交嵌入的效率。来自预先训练的CNN的多尺度特征最近被用于局部化的Mahalanobis距离，具有显著的性能。然而，增加的特征大小对于扩展到更大的CNN是有问题的，因为它需要多维协方差张量的批量逆。在这里，我们推广了一个特设的方法，随机特征选择，到半正交嵌入鲁棒近似，降低计算成本的多维协方差张量的逆。通过对消融研究的详细审查，所提出的方法实现了MVTec AD、KolektorSDD、KolektorSDD2和mSTC数据集的最新技术水平和显著裕度。理论和实证分析提供了见解和验证我们的简单而具有成本效益的方法。
2021-05-31 cs.AI cs.CV cs.LG
ContraLog: Log File Anomaly Detection with Contrastive Learning and Masked Language Modeling
Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU München（慕尼黑大学）；German Research Center for Environmental Health, Helmholtz Zentrum München（德国环境健康研究中心，亥姆霍兹慕尼黑中心）
ContraLog通过对比学习和掩码语言模型实现日志文件异常检测，无需解析器即可预测连续消息嵌入，有效应对复杂日志数据。
2026-02-03 cs.AI cs.LG
Knowledge-Assisted Multi-Graph Dependency Learning for Multivariate Time Series Anomaly Detection in Multi-Stage Industrial Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对多阶段工业过程中多变量时间序列异常检测问题，提出知识辅助多图框架并构建三个互补图，利用多图注意力网络建模，通过纳入过程知识显著提升异常检测性能。
2026-07-20 cs.AI cs.LG
PIF: Anomaly detection via preference embedding
Politecnico di Milano (DEIB)（米兰理工学院（DEIB））；Università della Svizzera italiana（瑞士大学）
该研究提出结合自适应隔离与偏好嵌入的新型异常检测方法PIF，通过高维嵌入与PI-Forest计算异常分数，实验证明其性能优于现有先进技术。
2025-05-15 cs.AI cs.CV cs.LG
Anomaly Detection by Clustering DINO Embeddings using a Dirichlet Process Mixture
Computer Vision Lab, ETH Zurich（计算机视觉实验室，苏黎世联邦理工学院）
本研究提出用狄利克雷过程混合模型对DINOv2嵌入聚类，用于医学影像无监督异常检测，在保持性能的同时将推理时间减半。
2025-09-24 cs.CV cs.LG
Can We Predict Anomaly Detection Performance from Embedding-Space Geometry?
Aalborg University（奥尔堡大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）
本研究提出利用嵌入空间几何结构预测异常检测性能，通过推导AUC下界并引入伪异常探针，在DCASE基准上实现了无异常模型选择，优于传统开发集选择。
2026-09-23 cs.LG
Forewarned is Forearmed: When Non-Sequential Embedding Turns Into an Anomaly Detector
Orange Research（Orange研究院）
本文深入分析非序列多模态句子级嵌入（SONAR模型），发现某些嵌入维度对扰动敏感，可作为解码异常指标，并利用编解码一致性构建准确检测器，同时探索修正异常维度。
2026-06-29 cs.AI cs.CL cs.LG
SPEAR: Soft Prompt Enhanced Anomaly Recognition for Time Series Data
Department of Electrical and Software Engineering（电气与软件工程系）
针对传统时序异常检测方法难处理变长序列与上下文异常的问题，提出结合软提示与量化的SPEAR方法，将量化时序嵌入与可学习软提示结合输入冻结LLM，经交叉熵损失迭代更新软提示，有效提升了LLM时序异常检测性能。
2025-10-04 cs.AI cs.LG
Anomaly Detection Using the Knowledge-based Temporal Abstraction Method
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
存储的面向时间的数据的快速增长需要开发用于处理、处理和解释大量时态数据的新方法。这种处理的一个重要示例是检测面向时间的数据中的异常。基于知识的时态抽象方法是在预先定义的领域知识的基础上提出的时态数据的智能解释方法。在这项研究中，我们提出了一个框架，集成了KBTA方法与时间模式挖掘过程中的异常检测。根据所提出的方法的时间模式挖掘过程中应用的基本时间抽象数据库的数据集，以提取模式代表正常的行为。然后分析这些模式，以识别以极少数正常模式为特征的异常时间段。使用从真实服务器收集的数据集演示了所提出的方法。
2016-12-14 cs.AI cs.LG
Topological Data Analysis for Anomaly Detection in Host-Based Logs
The Alan Turing Institute（艾伦·图灵研究所）；The British Library（大英图书馆）
拓扑数据分析（TDA）使从业人员能够分析网络安全数据的全局结构。我们使用TDA在基于主机的日志中进行异常检测，这些日志是通过开源Logging Made Easy（LME）项目收集的。我们提出了一种方法，直接从Windows日志中建立单纯复合体的过滤，使其内在结构的分析，使用拓扑工具。我们比较持久的同源性和频谱图和超图拉普拉斯算子作为特征向量对标准日志嵌入计数事件的功效，并发现计算机日志的拓扑和频谱嵌入包含用于对异常日志进行分类的判别信息，该信息是标准嵌入的补充。最后，我们讨论了我们的方法被用作异常检测的一个可解释的框架的一部分的潜力。
2022-04-25 cs.AI cs.CR cs.LG
AnomalyDAE: Dual autoencoder for anomaly detection on attributed networks
Harbin University of Science and Technology（哈尔滨理工大学）；Minjiang University（闽江学院）
属性网络异常检测的目标是发现模式与大多数参考节点有显著偏离的节点，这在网络入侵检测和社交垃圾邮件检测等应用中非常普遍。然而，大多数现有的方法忽略了网络结构和节点属性之间复杂的跨模态相互作用。在本文中，我们提出了一个深度联合表示学习框架，用于通过双自动编码器（AnomalyDAE）进行异常检测，该框架捕获网络结构和节点属性之间的复杂交互，以获得高质量的嵌入。具体而言，AnomalyDAE由结构自动编码器和属性自动编码器组成，以在潜在空间中联合学习节点嵌入和属性嵌入。此外，在结构编码器中引入注意力机制，学习节点与其邻居节点之间的重要性，从而有效地捕获结构模式，这对异常检测具有重要意义。此外，通过将节点嵌入和属性嵌入作为属性解码器的输入，在节点属性重构过程中学习网络结构和节点属性之间的跨模态交互。最后，通过从结构和属性两个角度测量节点的重构误差，可以检测异常。在真实数据集上的大量实验证明了该方法的有效性。
2020-02-12 cs.LG stat.ML
Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability
Ostwestfalen-Lippe University of Applied Sciences（东威斯特伐利亚-利珀应用科学大学）；Phoenix Contact Electronics GmbH（菲尼克斯电气电子有限公司）
数字化为生产系统带来了数据透明性，我们可以通过神经网络等数据驱动的分析方法从中受益。例如，自动异常检测可以节省资源并优化生产。我们研究使用很少发生的信息标记的异常到变分自编码器神经网络结构，以克服信息赤字的监督和无监督的方法。该方法在准确度、精确度和召回率方面优于所有其他模型。我们评估了以下方法：主成分分析，隔离森林，分类神经网络和变分自编码器在七个时间序列数据集上找到最佳的检测方法。我们扩展这个想法，包括更不经常发生的Meta信息的生产过程。稀疏标签的这种使用（异常或生产数据两者）允许利用可用于提高异常检测性能的任何附加信息。
2021-06-22 cs.AI cs.LG
Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection
Zhejiang University（浙江大学）
针对少样本场景下自监督时间序列异常检测性能受限的问题，提出基于知识蒸馏的AnomalyLLM方法，借助预训练LLM教师网络指导学生网络学习，通过两项策略优化，在15个数据集上取得SOTA性能。
2024-01-26 cs.AI cs.LG
Robustness Testing of Data and Knowledge Driven Anomaly Detection in Cyber-Physical Systems
University of Virginia（弗吉尼亚大学）
网络物理系统（CPS）的复杂性日益增加，在确保安全性方面面临挑战，因此越来越多地使用深度学习方法来进行准确和可扩展的异常检测。然而，机器学习（ML）模型在预测意外数据时往往性能低下，并且容易受到意外或恶意扰动的影响。虽然深度学习模型的鲁棒性测试在图像分类和语音识别等应用中得到了广泛的探索，但对CPS中ML驱动的安全监控关注较少。本文提出了初步结果评估的鲁棒性ML为基础的异常检测方法在安全关键的CPS对两种类型的意外和恶意的输入扰动，使用基于高斯的噪声模型和快速梯度符号法（FGSM）。我们检验了整合领域知识（例如，对于不安全的系统行为）与ML模型的结合可以在不牺牲准确性和透明度的情况下提高异常检测的鲁棒性。针对糖尿病管理的人工胰腺系统（APS）的两个案例研究的实验结果表明，使用领域知识训练的基于ML的安全监控器可以平均减少高达54.2%的鲁棒性错误，并保持平均F1分数高，同时提高透明度。
2022-05-03 cs.AI cs.LG
Self-Supervised Anomaly Detection in the Wild: Favor Joint Embeddings Methods
EXIT83；Brown University（布朗大学）
该研究针对自监督学习在异常检测中应用不足的问题，基于下水道巡检场景开展250组实验，评估多种SSL框架与轻量模型，发现联合嵌入方法优于重构类方法，且模型选择比骨干架构更关键，为该领域后续研究提供参考。
2024-10-05 cs.AI cs.CV cs.LG
DeNoise: Learning Robust Graph Representations for Unsupervised Graph-Level Anomaly Detection
School of Computer, Electronics and Information, Guangxi University（广西大学计算机电子信息学院）；School of Computer Science and Technology, Hainan University（海南大学计算机科学与技术学院）；Guangxi Key Laboratory of Multi-Source Information Mining & Security, Guangxi Normal University（广西多源信息挖掘与安全重点实验室）
针对无监督图级异常检测中训练数据易受异常图污染的问题，提出DeNoise框架，通过对抗学习、锚点对齐去噪和对比学习学习抗噪声图表示，在多个数据集上显著优于现有方法。
2026-10-06 cs.AI cs.LG
Vision Foundation Model Embedding-Based Semantic Anomaly Detection
SETLabs Research GmbH；Graz University of Technology（格拉茨技术大学）；Stanford University（斯坦福大学）；Virtual Vehicle Research GmbH；NVIDIA（英伟达）
本文提出利用视觉基础模型嵌入，将运行时局部图像表示与安全标称场景库比对，并结合实例分割与误报过滤，实现可精确定位且性能媲美 GPT-4o 的自主系统语义异常检测。
2025-05-12 cs.CV cs.LG
Context-aware Domain Adaptation for Time Series Anomaly Detection
Rice University（莱斯大学）；Visa Research（维萨研究院）
本文提出一种上下文感知的时间序列领域自适应框架，将上下文采样建模为马尔可夫决策过程并用深度强化学习优化，以生成领域不变特征，缓解异常检测中的负向知识迁移问题。
2023-04-15 cs.AI cs.LG
Anomaly Detection by Leveraging Incomplete Anomalous Knowledge with Anomaly-Aware Bidirectional GANs
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
异常检测的目标是从正常样本中识别出异常样本。在本文中，假设少量异常在训练阶段可用，但假设它们仅从几种异常类型中收集，使得大多数异常类型根本不在所收集的异常数据集中表示。为了有效地利用这种由所收集的异常表示的不完整的异常知识，我们建议学习一种概率分布，该概率分布不仅可以对正常样本进行建模，而且还可以保证为所收集的异常分配低密度值。为此，开发了一种异常感知生成对抗网络（GAN），除了像大多数GANs那样对正常样本进行建模外，它还能够显式地避免为收集到的异常样本分配概率。此外，为了便于计算异常检测标准，如重建误差，所提出的异常感知GAN被设计为双向的，附加编码器的发生器。大量的实验结果表明，我们提出的方法是能够有效地利用不完整的异常信息，导致显着的性能增益相比，现有的方法。
2022-05-01 cs.LG
CausalTAD: Injecting Causal Knowledge into Large Language Models for Tabular Anomaly Detection
College of Computer Science and Electronic Engineering, Hunan University, China（计算机科学与电子工程学院，湖南大学）
CausalTAD通过注入因果知识提升表格异常检测性能，采用因果关系重构与加权策略，实验表明优于现有方法。
2026-02-08 cs.AI cs.LG
