Denoising Architecture for Unsupervised Anomaly Detection in Time-Series
Telekom Innovation Laboratories(电信创新实验室);Eötvös Loránd University(厄特沃什·罗兰大学)
时间序列中的异常提供了从银行和航空航天到信息技术、安全和医学等一系列行业的关键场景的见解。然而,识别时间序列数据中的异常是特别具有挑战性的,因为异常的定义不精确,标签的频繁缺失,以及这些数据中存在的极其复杂的时间相关性。LSTM自动编码器是一种基于长短期记忆网络的异常检测编码器-解码器方案,它学习重构时间序列行为,然后使用重构错误来识别异常。我们引入去噪架构作为对LSTM编码器-解码器模型的补充,并研究其对现实世界以及人工生成的数据集的影响。我们证明了所提出的架构提高了准确性和训练速度,从而使LSTM Autoencoder在无监督异常检测任务中更有效。
2022-08-30 cs.AI cs.LG
Unsupervised Anomaly Detection Ensembles using Item Response Theory
RMIT University(皇家墨尔本理工大学)
从一组异构的无监督异常检测方法构建集成是具有挑战性的,因为类标签或地面真相是未知的。因此,使用响应变量或类别标签的传统集成技术不能用于构建用于无监督异常检测的集成。我们使用项目反应理论(IRT)-一类用于教育心理测量学的模型,以评估学生和测试问题的特点-构建一个无监督的异常检测集成。IRT的潜在特征计算适合于异常检测,因为潜在特征可以用来揭示隐藏的地面真相。使用一种新的IRT映射到异常检测问题,我们构建了一个合奏,可以淡化嘈杂,非歧视性的方法,并强调尖锐的方法。我们证明了IRT合奏的有效性,广泛的数据存储库,通过比较其性能与其他合奏技术。
2021-06-11 cs.AI cs.LG stat.ML
Angel or Devil: Discriminating Hard Samples and Anomaly Contaminations for Unsupervised Time Series Anomaly Detection
本文提出PLDA方法,通过结合参数行为和损失行为,提升无监督时间序列异常检测中区分异常污染和困难正常样本的能力,实验表明其显著提升检测性能。
2024-10-26 cs.AI cs.LG
Rule Extraction in Unsupervised Anomaly Detection for Model Explainability: Application to OneClass SVM
Telefónica(西班牙电信);Universidad Politécnica de Madrid(马德里理工大学)
单类支持向量机是一种流行的无监督异常检测方法。与许多其他方法一样,它也存在黑箱问题:很难以直观和简单的方式证明为什么决策前沿将数据点识别为异常或非异常。这种类型的问题在监督模型中得到了广泛的解决。然而,它仍然是一个未知领域的无监督学习。在本文中,我们评估了OneClass SVM模型的几种规则提取技术,以及其中一些算法的替代设计。与此同时,我们提出了计算与可解释人工智能(XAI)相关的指标的算法,这些指标涉及提取规则的“可理解性”、“代表性”、“稳定性”和“多样性”。我们使用不同的数据集来评估我们的提案,包括来自行业的真实数据。有了这个,我们的建议有助于扩展XAI技术的无监督机器学习模型。
2021-04-01 cs.AI cs.LG
Unsupervised Anomaly Detection on Temporal Multiway Data
Applied AI Institute, Deakin University(迪肯大学应用人工智能研究所)
时间异常检测寻找时空上的不规则性。到目前为止,所采用的无监督时态模型通常工作在特征向量序列上,而很少工作在时态多路数据上。我们的研究集中在双向数据上,其中在每个时间步观察到一个数据矩阵。利用矩阵原生递归神经网络的最新进展,我们研究了用于时间多路异常检测的数据排列和无监督训练策略。这些包括压缩-解压缩、编码-预测和时间数据差分。我们进行了一系列全面的实验,以评估合成数据、移动数字和ECG记录在各种设置下的模型行为。我们发现了以前没有报道过的有趣现象。其中包括紧凑矩阵LSTM几乎完美地压缩噪声数据的能力,使得压缩-解压缩数据的策略不适合噪声下的异常检测。此外,长序列的向量可以直接通过矩阵模型来处理,该模型允许非常长的上下文和多步预测。总体而言,编码预测策略在所进行的实验中对于矩阵LSTM非常有效,这要归功于其紧凑性和更好地适应数据动态。
2020-09-20 cs.AI cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia(不列颠哥伦比亚大学)
本文提出了一种新的框架,称为ODDObjects,它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建,其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作,比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构,实验结果表明,内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
Unsupervised Model Selection for Time-series Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(AWS人工智能实验室)
时间序列的异常检测有着广泛的实际应用。虽然文献中已经提出了许多异常检测方法,但最近的一项调查得出结论,没有一种方法在各种数据集上是最准确的。更糟糕的是,异常标签很少,在实践中很少可用。在文献中,为没有标签的给定数据集选择最准确的模型的实际问题很少受到关注。本文回答了这个问题,即给定一个未标记的数据集和一组候选异常检测器,我们如何选择最准确的模型?为此,我们确定了三类替代(无监督)指标,即预测误差,模型中心性,和性能注入合成异常,并表明,一些指标是高度相关的标准监督异常检测性能指标,如$F_1$分数,但在不同程度上。我们制定度量组合与多个不完美的替代指标作为一个强大的秩聚合问题。然后,我们提出的方法背后的理论依据。在多个真实世界数据集上的大规模实验表明,我们提出的无监督方法与基于部分标记数据选择最准确的模型一样有效。
2023-01-24 cs.AI cs.LG
Rethinking the Unsupervised Paradigm in Time Series Anomaly Detection: An Empirical Study and Minimalist Baseline
School of Future Technology, South China University of Technology(华南理工大学未来技术学院);Pengcheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
本文挑战了时间序列异常检测中算法复杂度最优的假设,通过实验表明在有限标注预算下,简单监督模型优于复杂无监督方法,强调标签利用的重要性。
2026-11-04 cs.AI cs.LG
Graph Anomaly Detection at Group Level: A Topology Pattern Enhanced Unsupervised Approach
The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学);University of Warsaw(华沙大学)
针对现有图异常检测忽略异常群组的问题,提出一种拓扑模式增强的无监督框架Gr-GAD,通过GAE变体定位锚节点并结合TPGCL方法生成群组嵌入,有效识别和定位异常群组。
2023-08-02 cs.AI cs.LG
GeoChemAD: Benchmarking Unsupervised Geochemical Anomaly Detection for Mineral Exploration
The University of Western Australia(西澳大学)
本文提出GeoChemAD基准数据集,用于评估无监督地质异常检测方法,通过多区域、多采样源的数据提升模型泛化能力,提出GeoChemFormer框架在矿产勘探中表现优异。
2026-03-13 cs.AI cs.LG
Reinforcement Neighborhood Selection for Unsupervised Graph Anomaly Detection
Zhejiang University(浙江大学);New York University Shanghai(上海纽约大学);The Hong Kong Polytechnic University(香港理工大学)
针对无监督图异常检测中异常污染邻域的问题,本文提出RAND,通过强化学习选择可靠邻居并进行异常感知聚合,在合成与真实数据集上优于现有方法。
2023-12-09 cs.AI cs.LG
Enhancing Unsupervised Anomaly Detection with Score-Guided Network
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Industrial and Commercial Bank of China(中国工商银行)
针对无监督异常检测中过渡区域难区分、假设空间度量难定义的挑战,提出带分数引导正则化的评分网络及SG-AE等模型,在多数据集上取得SOTA性能。
2023-10-09 cs.AI cs.LG
Unsupervised Anomaly Detection in Stream Data with Online Evolving Spiking Neural Networks
Warsaw University of Technology(华沙理工大学);TECNALIA(泰克纳利亚);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
流数据中的无监督异常发现是一个具有实际应用价值的研究课题。然而,在许多情况下,不容易收集具有标记的异常的足够训练数据用于异常检测器的监督学习,以便稍后部署它来识别流数据中的真实异常。因此,重要的是设计能够在不访问标记的训练数据的情况下正确地检测异常的异常检测器。我们的想法是适应在线进化脉冲神经网络(OeSNN)分类器的异常检测任务。因此,我们提供了一个在线进化的脉冲神经网络的无监督异常检测算法(OeSNN-UAD),它,不像OeSNN,工作在一个无监督的方式,不分离输出神经元到不相交的决策类。OeSNN-UAD使用我们提出的新的两步异常检测方法。此外,我们推导出OeSNN的神经元模型和输入层编码的新的理论性质,这使得我们的OeSNN-UAD方法能够更有效地检测异常。所提出的OeSNN-UAD检测器与Numenta Anomaly Benchmark和Yahoo Anomaly Datasets存储库中的流数据中的异常的最先进的无监督和半监督检测器进行了实验比较。我们的方法优于文献中提供的其他解决方案的情况下,从Numenta异常基准存储库的数据流。此外,在雅虎异常基准存储库的真实数据文件的情况下,OeSNN-UAD优于其他选定的算法,而在雅虎异常基准合成数据文件的情况下,它提供了有竞争力的结果,最近在文献中报道的结果。
2021-03-08 cs.AI cs.LG cs.NE
Unsupervised Symbolic Anomaly Detection
TU Dortmund University, Dortmund, Germany Research Center Trustworthy Data Science(图鲁特大学,德国多特蒙德 Research Center Trustworthy Data Science)
SYRAN通过学习可读的符号方程来检测异常,利用近似常数的符号不变量,提供可解释的异常评分,实验表明其在可解释性和检测性能上表现优异。
2026-03-18 cs.AI cs.LG cs.SC
ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection
University of Montreal(蒙特利尔大学);Université de Montréal(蒙特利尔大学)
提出ASTER框架,在潜在空间生成伪异常训练Transformer分类器,结合预训练LLM增强表示,在三个基准数据集上达到最优性能。
2026-06-12 cs.AI cs.CV cs.LG
Attention and Autoencoder Hybrid Model for Unsupervised Online Anomaly Detection
Shiraz University(设拉子大学)
本文提出一种结合注意力机制与自编码器的混合模型,用于时间序列无监督在线异常检测,通过潜在空间预测及误差一阶统计矩分析提升检测准确率。
2024-01-06 cs.AI cs.LG eess.SP
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies(诺基亚技术)
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现,人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体,并使用编码器输出作为聚类的表示/特征。在本文中,我们证明了在自动编码器训练期间对这些表示的l2归一化约束,使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时,k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法,使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明,所提出的异常检测方法大大提高了准确性相比,以前提出的深层方法,如基于重建误差的异常检测。
2018-02-01 cs.LG
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法,该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开,并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练,而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Is it worth it? Comparing six deep and classical methods for unsupervised anomaly detection in time series
German Aerospace Center(德国航空航天中心);Friedrich-Schiller University(弗里德里希-席勒大学)
检测时间序列数据中的异常在各种领域都很重要,包括系统监控、医疗保健和网络安全。虽然可用方法的丰富性使得很难为给定的应用选择最合适的方法,但每种方法在检测某些类型的异常方面都有其优势。在这项研究中,我们比较了六种不同复杂度的无监督异常检测方法,以确定更复杂的方法是否通常表现更好,以及某些方法是否更适合某些类型的异常。我们使用UCR异常存档(最近的异常检测基准数据集)评估了这些方法。在调整每种方法所需的超参数后,我们分析了数据集和异常类型级别的结果。此外,我们评估了每种方法结合有关异常的先验知识的能力,并检查了逐点和逐序列特征之间的差异。我们的实验表明,经典的机器学习方法在一系列异常类型上通常优于深度学习方法。
2023-02-02 cs.AI cs.IR cs.LG
A Revealing Large-Scale Evaluation of Unsupervised Anomaly Detection Algorithms
Université de Sherbrooke(舍布鲁克大学)
异常检测有许多应用,从银行欺诈检测和网络威胁检测到设备维护和健康监控。然而,为给定的应用程序选择一个合适的算法仍然是一个具有挑战性的设计决策,通常由异常检测算法的文献。我们广泛地回顾了12种最流行的无监督异常检测方法。我们观察到,到目前为止,它们是使用不一致的协议进行比较的--选择感兴趣的类或阳性类,分割训练和测试数据,以及选择超参数--导致模糊的评估。这一观察使我们定义了一个连贯的评估协议,然后我们使用它来生成一个更新的和更精确的图片的相对性能的12种方法在五个广泛使用的表格数据集。虽然我们的评估无法确定一种方法在所有数据集上都优于所有其他方法,但它可以识别出那些突出的方法,并修改对其相对性能的错误认识。
2022-04-21 cs.AI cs.CR cs.LG
SoftPatch: Unsupervised Anomaly Detection with Noisy Data
Southern University of Science and Technology(南方科技大学);Tencent(腾讯);Youtu Lab(腾讯云优图实验室)
本文提出基于记忆的无监督异常检测方法SoftPatch,通过patch级去噪和软化检测边界解决含噪数据训练问题,在MVTecAD和BTAD基准上优于现有方法且在无噪声时表现相当。
2024-03-21 cs.AI cs.CV cs.LG
Topological Data Analysis for Unsupervised Anomaly Detection and Customer Segmentation on Banking Data
IMTF
本文将拓扑数据分析(TDA)的Mapper算法和持久同调应用于银行数据,开发无监督流程实现异常检测与客户细分,结合拓扑数学与行业用例提供可操作见解。
2025-08-19 cs.CG cs.LG
Explainable Unsupervised Anomaly Detection with Random Forest
Prospect 33, LLC(Prospect 33公司);BlackRock, Inc(BlackRock公司)
提出一种基于随机森林的无监督异常检测方法,通过区分真实与合成数据学习距离度量,提升检测精度,并支持基于特征重要性的局部可解释预测。
2025-04-22 cs.LG stat.ML
Quorum: Zero-Training Unsupervised Anomaly Detection using Quantum Autoencoders
Rice University(莱斯大学);Stanford University(斯坦福大学)
针对量子机器学习模型训练困难及异常检测需无监督方法的问题,提出首个无需训练的无监督量子异常检测框架Quorum,利用量子计算解决多行业关键异常检测挑战。
2025-04-17 cs.ET cs.LG
DiffGAD: A Diffusion-based Unsupervised Graph Anomaly Detector
University of Science and Technology of China(中国科学技术大学);New York University(纽约大学);China Academy of Electronics and Information Technology(中国电子科技集团公司电子科学研究院)
DiffGAD提出基于扩散的潜在空间学习范式,注入判别性内容并引入内容保留机制,在六个大规模数据集上显著提升无监督图异常检测性能。
2025-02-25 cs.AI cs.LG cs.SI
Physics-Informed Diffusion Models for Unsupervised Anomaly Detection in Multivariate Time Series
Fraunhofer IOSB-INA(弗劳恩霍夫研究所)
本文提出一种基于物理信息扩散模型的多元时间序列无监督异常检测方法,通过加权物理信息损失学习物理依赖的时间分布,实验表明其在F1分数、数据多样性和对数似然上优于基线及纯数据驱动扩散模型。
2025-08-15 cs.LG
TaskBridge: Bridging Unsupervised Tabular Anomaly Detection and In-Context Learning via Virtual Tasks
Seoul National University(首尔大学);KAIST(韩国科学技术院);Nums AI Inc.(Nums AI 公司)
TaskBridge通过构建虚拟监督任务,将无监督表格异常检测重构为上下文学习,无需异常预训练,在790个数据集上超越30个基线。
2026-09-30 cs.LG
AutoGraphAD: Unsupervised network anomaly detection using Variational Graph Autoencoders
Department of Computer Architecture(计算机架构系);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出AutoGraphAD,一种基于异构变分图自编码器的无监督网络异常检测方法,通过无监督和对比学习训练模型,无需标注数据,实现高效检测。
2026-07-13 cs.AI cs.CR cs.LG
Incorporating Privileged Information to Unsupervised Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
我们引入了一个新的无监督的异常检测集成称为SPI,它可以利用特权信息-数据仅适用于训练样本,但不适用于(未来)测试的例子。我们的想法建立在Vapnik等人开创的使用标记信息的学习(LUPI)范式上。[19,17],我们将其扩展到无监督学习,特别是异常检测。SPI(用于利用标记信息发现异常)构造多个知识帧/片段(即,密度估计),并通过仅使用可用于测试示例的部分信息的“模仿”函数将它们转移到异常评分空间。我们将LUPI范式推广到无监督异常检测,在几个关键方向上引导了该领域,包括(i)使用专家注释作为PI的领域知识增强检测,(ii)使用计算要求高的数据作为PI的快速检测,以及(iii)使用“历史未来”数据作为PI的早期检测。通过对模拟数据集和真实数据集的大量实验,我们证明了将特权信息扩展到异常检测可以显着提高检测性能。我们还展示了SPI在所有三种设置(i-iii)下的承诺; PI捕获专家知识,计算昂贵的功能,以及三个现实世界检测任务的未来数据。
2018-05-24 cs.LG stat.ML
Unsupervised Anomaly Detection in Multivariate Time Series across Heterogeneous Domains
Ecole Polytechnique(巴黎综合理工学院)
针对AIOps场景中多元时间序列正常行为域偏移问题,提出基于域泛化的DIVAD方法学习域不变表示,在Exathlon等基准上F1分数显著提升。
2025-03-29 cs.LG
AD-MERCS: Modeling Normality and Abnormality in Unsupervised Anomaly Detection
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven Institute for AI(鲁汶AI——鲁汶大学人工智能研究所)
本文提出无监督异常检测方法 AD-MERCS,通过同时识别实例空间中正常行为的模式子空间与表征异常偏离的条件,实现对正常与异常的双重建模,在多种异常类型上表现优异并提供可解释性。
2023-05-22 cs.LG
Anomaly Detection by Recombining Gated Unsupervised Experts
Fraunhofer AISEC(弗劳恩霍夫应用集成安全研究所)
异常检测已被认为是在几个程度的先验知识。无监督方法不需要任何标记的数据,而半监督方法利用一些已知的异常。受混合专家模型和对神经网络隐藏激活的分析的启发,我们提出了一种新的数据驱动的异常检测方法ARGUE。我们的方法不仅适用于无监督和半监督环境,而且还受益于自监督设置的先验知识。我们将ARGUE设计为专用专家网络的组合,这些专家网络专门处理部分输入数据。ARGUE采用门控混合专家体系结构,将分布在各专家系统中的知识进行融合,以做出最终决策。我们的评估动机,先验知识的正常数据分布可能是有价值的已知异常。
2022-05-23 cs.LG stat.ML
Unsupervised Anomaly Detection in ALS EPICS Event Logs
本文为ALS的EPICS控制系统提出一种无监督异常检测框架,通过语义嵌入和序列感知神经网络对实时事件日志进行异常评分,帮助操作员快速识别系统故障前的关键事件序列。
2025-09-17 cs.LG
Image-based Plant Disease Diagnosis with Unsupervised Anomaly Detection Based on Reconstructability of Colors
Kyushu Institute of Technology(九州工业大学)
本文提出了一种基于图像的植物病害诊断的无监督异常检测技术。构建包含健康和患病作物植物的标记图像的大型且公开可用的数据集导致对用于自动植物疾病诊断的计算机视觉技术的兴趣日益增长。虽然基于深度学习的监督图像分类器可以成为植物疾病诊断的强大工具,但它们需要大量的标记数据。异常检测的数据采掘技术包括不需要稀有样本来训练分类器的无监督方法。我们提出了一种基于颜色可重构性的无监督异常检测技术,用于基于图像的植物疾病诊断;训练用于重建\textit{healthy}植物图像颜色的深度编码器-解码器网络应该无法重建症状区域的颜色。我们提出的方法包括一个新的基于图像的植物病害检测框架,该框架利用了一个名为pix 2 pix的条件对抗网络和一个基于CIEDE 2000色差的新异常评分。与PlantVillage数据集的实验表明,我们提出的方法相比,现有的异常检测器在识别病害作物图像的准确性,可解释性和计算效率方面的优越性。
2021-09-08 cs.CV cs.LG
Unsupervised Anomaly Detection in Time-series: An Extensive Evaluation and Analysis of State-of-the-art Methods
University of Luxembourg(卢森堡大学);National School of Computer Science, University of Manouba(马努巴大学国立计算机科学学院)
本文对近期时间序列无监督异常检测方法进行深入评估,在标准指标之外引入时间序列专用指标、模型大小与稳定性分析及异常类型分析,并遵循统一实验协议,以评估方法成熟度和现实适用性。
2024-08-12 cs.LG
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
Context-Aware Graph Attention for Unsupervised Telco Anomaly Detection
Telenor Research and Innovation(Telenor研究与创新);Norwegian Research Council(挪威研究理事会);Telenor Denmark OSS & Tech Analytics Denmark(Telenor丹麦OSS与技术分析丹麦);Norwegian University of Science and Technology (NTNU)(挪威科学与技术大学(NTNU));SINTEF Digital(SINTEF数字技术);Hance
本文提出C-MTAD-GAT模型,结合图注意力与轻量上下文嵌入,通过确定性重建头和多步预测器生成异常分数,无需标签校准阈值,在公开TELCO数据集上优于现有基线方法。
2026-04-29 cs.LG
TPLogAD: Unsupervised Log Anomaly Detection Based on Event Templates and Key Parameters
School of Computer Science and Technology(计算机科学技术学院);Fudan University(复旦大学)
本文提出无监督日志异常检测方法TPLogAD,通过template2vec和para2vec分别建模事件模板与关键参数,在四个公开数据集上取得优于现有方法的效果。
2024-11-22 cs.AI cs.CL cs.CY
NK-GAD: Neighbor Knowledge-Enhanced Unsupervised Graph Anomaly Detection
College of Intelligence and Computing, Tianjin University, Tianjin, China(智能与计算学院,天津大学,天津,中国);School of New Media and Communication, Tianjin University, Tianjin, China(新媒体与传播学院,天津大学,天津,中国)
针对图数据中属性异质性问题,提出NK-GAD框架,通过联合编码器、邻居重建模块和双解码器提升异常检测性能,实验显示在七大数据集上平均AUC提升3.29%。
2026-04-17 cs.LG
Ymir: A Supervised Ensemble Framework for Multivariate Time Series Anomaly Detection
本文提出了一个多变量时间序列异常检测框架Ymir,它利用集成学习和监督学习技术有效地学习和适应真实世界系统应用中的异常。Ymir通过集成学习方法集成了目前广泛使用的几种无监督异常检测模型,从而可以在无监督场景下提供鲁棒的前端异常检测结果。在有监督的环境中,领域专家和系统用户讨论并提供训练数据的标签(异常或不异常),这反映了他们对特定系统的异常检测标准。Ymir使用上述无监督方法从原始多变量时间序列数据中提取丰富而有用的特征表示,然后将特征和标签与监督分类器相结合来进行异常检测。我们在来自大型监测系统的内部多变量时间序列数据集上评估了Ymir,并获得了良好的异常检测性能。
2021-12-09 cs.LG
Unsupervised anomaly detection for discrete sequence healthcare data
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
医疗保健中的欺诈行为很普遍,因为医生可以开不必要的治疗来增加账单。保险公司希望检测到这些异常的欺诈性账单,并减少他们的损失。传统的欺诈检测方法使用专家规则和人工数据处理。最近,机器学习技术使这一过程自动化,但手工标记的数据成本极高,而且通常已经过时。我们提出了一个机器学习模型,以无监督的方式自动化欺诈检测。两种深度学习方法包括用于预测下一次患者就诊的LSTM神经网络和seq2seq模型。为了对产生的异常分数进行标准化,我们提出了经验分布函数(EDF)方法。因此,该算法适用于高类别不平衡问题。我们使用安联公司的患者就诊数据序列的真实数据进行验证。这些模型为医疗保健中的欺诈检测提供了无监督异常检测的最新结果。我们的EDF方法进一步提高了LSTM模型的质量。
2020-10-12 cs.LG stat.ML
Deep Unsupervised Image Anomaly Detection: An Information Theoretic Framework
Shanghai Jiao Tong University(上海交通大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
代理任务为基础的方法,最近显示出很大的希望,无监督的图像异常检测。然而,不能保证代理任务与异常检测共享一致的优化方向。在本文中,我们回到一个直接的目标函数异常检测与信息论,最大限度地提高正常和异常数据之间的距离的联合分布的图像和他们的代表。不幸的是,这个目标函数在训练期间没有提供异常数据的无监督设置下不能直接优化。通过对上述目标函数的数学分析,我们将其分解为四个部分。为了在无监督的方式进行优化,我们表明,在正常和异常数据的分布在潜在空间中是可分离的假设下,其下限可以被认为是一个函数的权重之间的权衡互信息和熵。该目标函数能够解释基于代理任务的异常检测方法的有效性,并进一步指出了潜在的改进方向。基于这个目标函数,我们引入了一个新的信息理论框架的无监督图像异常检测。大量的实验表明,所提出的框架显着优于几个国家的最先进的多个基准数据集。
2020-12-09 cs.CV cs.LG stat.ML
Multi-Perspective Content Delivery Networks Security Framework Using Optimized Unsupervised Anomaly Detection
Western University(韦仕敦大学);Ericsson(爱立信)
内容分发网络(CDN)通过互联网提供高效的内容分发。CDN提高了全球通信的连通性和效率,但其缓存机制可能会被网络攻击者破坏。在安全机制中,有效的异常检测是CDN安全增强的重要组成部分。在这项工作中,我们提出了一个多角度的无监督学习框架的CDN异常检测。在该框架中,提出了一种多视角的特征工程方法、一种利用隔离森林和高斯混合模型的优化无监督异常检测模型以及一种多视角的验证方法,主要从客户端IP和节点的角度检测CDN中的异常行为,从而识别拒绝服务(DoS)和缓存污染攻击(CPA)模式。实验结果是基于一个主要的CDN运营商提供的八天的真实世界的CDN日志数据的分析。实验结果表明,该框架能够有效识别异常内容、入侵节点、恶意IP及其对应的攻击类型,并得到多位网络安全专家的验证。这表明了所提出的方法在应用于现实世界的CDN数据时的有效性。
2021-07-24 cs.AI cs.CR cs.LG
Anomaly Detection in Bitcoin Network Using Unsupervised Learning Methods
异常检测问题已经被研究了很长时间。简而言之,异常是不正常或不太可能的事情。在金融网络中,小偷和非法活动往往是反常的。网络成员希望尽快检测到异常,以防止它们损害网络的社区和完整性。许多机器学习技术已经被提出来处理这个问题,一些结果似乎是相当有前途的,但没有明显的优越的方法。在本文中,我们认为异常检测特定的比特币交易网络。我们的目标是检测哪些用户和交易是最可疑的;在这种情况下,异常行为是可疑行为的代理。为此,我们使用三种无监督学习方法,包括k-means聚类,Mahalanobis距离和无监督支持向量机(SVM)在比特币交易网络生成的两个图上:一个图以用户为节点,另一个图以交易为节点。
2017-02-25 cs.CR cs.LG
Diminishing Empirical Risk Minimization for Unsupervised Anomaly Detection
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);Centre for Medical Research, The University of Western Australia(西澳大学医学研究中心)
无监督异常检测在实际应用中是一项具有挑战性的任务。近年来,利用深度神经网络(DNN)检测异常的趋势越来越明显。然而,大多数流行的深度AD检测器不能保护网络免受异常数据带来的学习污染信息的影响,导致检测性能不理想和过拟合问题。在这项工作中,我们确定了阻碍大多数现有的基于DNN的异常检测方法执行的一个原因是经验风险最小化(ERM)的广泛采用。ERM假设算法在未知分布上的性能可以通过对已知训练集上的损失进行平均来近似。因此,这种平均方案忽略了正常情况和异常情况之间的区别。为了突破ERM的局限性,我们提出了一个新的递减经验风险最小化(DERM)框架。具体来说,DERM通过精心设计的聚合策略自适应地调整个人损失的影响。理论上,我们提出的DERM可以直接修改优化过程中每个个体损失的梯度贡献,以抑制离群值的影响,从而产生鲁棒的异常检测器。从经验上讲,DERM在由18个数据集组成的无监督AD基准测试中表现优于最先进的技术。
2022-05-29 cs.LG
Self-supervise, Refine, Repeat: Improving Unsupervised Anomaly Detection
Google Cloud AI(谷歌云人工智能)
异常检测(AD)将异常与正常数据分离,在从安全到医疗保健的各个领域都有许多应用。虽然大多数以前的工作被证明是有效的情况下,完全或部分标记的数据,该设置是在实践中不太常见,由于标记是特别繁琐的这项任务。在本文中,我们专注于完全无监督的AD,其中包含正常和异常样本的整个训练数据集是未标记的。为了有效地解决这个问题,我们建议使用数据细化过程来提高在自监督表示上训练的一类分类的鲁棒性。我们提出的数据细化方法是基于一类分类器(OCC),其中每一个训练的训练数据的不相交的子集的合奏。随着数据细化的改进,通过自监督学习对细化数据学习的表示会迭代更新。我们展示了我们的方法在各种无监督的AD任务与图像和表格数据。在CIFAR-10图像数据上的异常率为10%/甲状腺表格数据上的异常率为2.5%的情况下,所提出的方法以6.3 AUC和12.5平均精度/ 22.9 F1分数优于最先进的一类分类器。
2022-08-05 cs.LG
DQS: A Low-Budget Query Strategy for Enhancing Unsupervised Data-driven Anomaly Detection Approaches
Leiden University(莱顿大学);Mercedes-Benz AG(梅赛德斯-奔驰集团)
本研究提出低预算查询策略DQS,结合主动学习优化无监督异常检测的阈值,在低预算场景下表现最优,优于传统无监督阈值。
2026-08-12 cs.LG
Class Label-aware Graph Anomaly Detection
KAIST GSDS(韩国科学技术院数据科学研究生院);KAIST ISysE(韩国科学技术院工业与系统工程系);KAIST ISysE & AI(韩国科学技术院工业与系统工程系及人工智能学院)
本研究针对现有无监督图异常检测方法未利用类别标签的问题,提出CLAD框架,借助少量带标签节点提升检测性能,实验证明其在10个数据集上效果优于现有方法,且无需真实类别标签。
2023-08-22 cs.LG
Unsupervised Anomaly Detection Using Diffusion Trend Analysis for Display Inspection
Samsung Display(三星显示公司);Stanford University(斯坦福大学)
本文针对显示检测中重建式扩散模型异常检测的噪声参数难确定和正常区域误检问题,提出基于重建趋势分析的异常检测方法。
2025-08-18 cs.CV cs.LG
A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI
Southampton Solent University School of Technology and Maritime Industries(索尔森大学技术与海运学院)
提出一种无需标签数据的海事异常检测质量指标MADQI,通过结合四个子指标来评估无监督学习模型的异常检测性能。
2026-05-28 cs.LG
Data-driven Thermal Anomaly Detection for Batteries using Unsupervised Shape Clustering
Gotion Inc(国轩高科股份有限公司)
对于电动汽车(EV)和储能(ES)电池来说,热失控是一个关键问题,因为它可能导致无法控制的火灾甚至爆炸。热异常检测可以识别可能最终经历热失控的有问题的电池组。但是,存在一些常见的挑战,如数据不可用、环境和配置变化以及电池老化。我们提出了一种数据驱动的方法来检测电池的热异常的基础上比较热测量之间的形状相似性。基于它们的形状,测量值不断被分组到不同的集群中。异常是通过监视集群内的偏差来检测的。与基于模型或其他数据驱动的方法不同,所提出的方法对数据丢失具有鲁棒性,并且对于不同的包配置需要最少的参考数据。初步实验结果表明,该方法不仅比机载BMS更准确,而且可以在早期阶段检测到不可预见的异常。
2021-05-19 cs.AI cs.LG cs.SY
A Bayesian Ensemble for Unsupervised Anomaly Detection
Columbia University(哥伦比亚大学);Facebook Data Engineering(Facebook数据工程)
无监督异常检测方法的缺点是数据是未标记的,这使得难以评估检测算法的最优性。包围学习在分类和聚类问题中表现出了出色的结果,但在离群点检测方面的研究并不多。现有的方法侧重于结合输出分数的各个检测器,但这导致输出,是不容易解释。在本文中,我们介绍了一个理论基础,结合个人检测器与贝叶斯分类器组合。后验分布不仅很容易被解释为异常的概率分布,而且检测器的偏差、方差和个体错误率都很容易获得。在实际数据集上的性能表明,在不同类型的时间序列数据中具有很高的准确性。
2016-10-24 cs.LG stat.ML
Unsupervised Dictionary Learning for Anomaly Detection
University of Bucharest(布加勒斯特大学);The Research Institute of the University of Bucharest (ICUB)(布加勒斯特大学研究院(ICUB))
我们研究了采用字典学习来解决大多数异常检测应用程序的要求的可能性,例如缺乏监督,在线配方,低误报率。我们提出了新的结果,我们最近的半监督在线算法,TODDLeR,反洗钱的应用。我们还介绍了一种新的无监督的方法,使用性能的学习算法的样本的性质的指示。
2020-09-07 cs.CR cs.CV cs.LG
Hybrid Efficient Unsupervised Anomaly Detection for Early Pandemic Case Identification
Wright State University(怀特州立大学)
本文提出一种结合距离与密度度量的混合无监督异常检测方法,用于流行病早期病例识别,并在COVID-19胸部X光数据上取得77.43%的平均AUC,优于Isolation Forest和KNN。
2024-08-09 cs.LG eess.IV