Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection
German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ))
无监督学习可以利用大规模数据源,而无需注释。在这种背景下,基于深度学习的自动编码器在检测医学图像中的异常方面显示出巨大的潜力。然而,国家的最先进的异常分数仍然是基于重建错误,这缺乏在两个重要部分:它忽略了模型内部表示重建,它缺乏正式的断言和样本之间的可比性。我们通过提出上下文编码变分自编码器(ceVAE)来解决这些缺点,该上下文编码器将重建与基于密度的异常评分相结合。这改善了样本以及像素方面的结果。在我们对BraTS-2017和ISLES-2015分割基准的实验中,ceVAE分别实现了0.95和0.89的无监督ROC-AUC,从而大大优于最先进的方法。
2018-12-14 cs.LG stat.ML
Unsupervised anomaly detection for discrete sequence healthcare data
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
医疗保健中的欺诈行为很普遍,因为医生可以开不必要的治疗来增加账单。保险公司希望检测到这些异常的欺诈性账单,并减少他们的损失。传统的欺诈检测方法使用专家规则和人工数据处理。最近,机器学习技术使这一过程自动化,但手工标记的数据成本极高,而且通常已经过时。我们提出了一个机器学习模型,以无监督的方式自动化欺诈检测。两种深度学习方法包括用于预测下一次患者就诊的LSTM神经网络和seq2seq模型。为了对产生的异常分数进行标准化,我们提出了经验分布函数(EDF)方法。因此,该算法适用于高类别不平衡问题。我们使用安联公司的患者就诊数据序列的真实数据进行验证。这些模型为医疗保健中的欺诈检测提供了无监督异常检测的最新结果。我们的EDF方法进一步提高了LSTM模型的质量。
2020-10-12 cs.LG stat.ML
Unsupervised Anomaly Detection Ensembles using Item Response Theory
RMIT University(皇家墨尔本理工大学)
从一组异构的无监督异常检测方法构建集成是具有挑战性的,因为类标签或地面真相是未知的。因此,使用响应变量或类别标签的传统集成技术不能用于构建用于无监督异常检测的集成。我们使用项目反应理论(IRT)-一类用于教育心理测量学的模型,以评估学生和测试问题的特点-构建一个无监督的异常检测集成。IRT的潜在特征计算适合于异常检测,因为潜在特征可以用来揭示隐藏的地面真相。使用一种新的IRT映射到异常检测问题,我们构建了一个合奏,可以淡化嘈杂,非歧视性的方法,并强调尖锐的方法。我们证明了IRT合奏的有效性,广泛的数据存储库,通过比较其性能与其他合奏技术。
2021-06-11 cs.AI cs.LG stat.ML
A Bayesian Ensemble for Unsupervised Anomaly Detection
Columbia University(哥伦比亚大学);Facebook Data Engineering(Facebook数据工程)
无监督异常检测方法的缺点是数据是未标记的,这使得难以评估检测算法的最优性。包围学习在分类和聚类问题中表现出了出色的结果,但在离群点检测方面的研究并不多。现有的方法侧重于结合输出分数的各个检测器,但这导致输出,是不容易解释。在本文中,我们介绍了一个理论基础,结合个人检测器与贝叶斯分类器组合。后验分布不仅很容易被解释为异常的概率分布,而且检测器的偏差、方差和个体错误率都很容易获得。在实际数据集上的性能表明,在不同类型的时间序列数据中具有很高的准确性。
2016-10-24 cs.LG stat.ML
Transfer Learning from an Auxiliary Discriminative Task for Unsupervised Anomaly Detection
Center for Urban Science and Progress(城市科学与进步中心);New York University(纽约大学);Institute Of Design And Urbanism(设计与城市主义研究所);ITMO University(圣彼得堡国立信息技术机械与光学大学)
从移动网络等高维数据中进行无监督异常检测是一项具有挑战性的任务。如何从这些高维数据中提取特征是该领域的研究热点。本研究的目的是探讨网络分类学习到的特征在无监督异常检测中的可移植性。我们建议使用一个辅助分类任务提取特征,从无标记的数据通过监督学习,可用于无监督的异常检测。我们通过设计实验来检测来自纽约和台北的移动网络数据中的异常来验证这种方法,并将结果与PCA和自动编码器的传统无监督特征学习方法进行比较。我们发现,我们的特征学习方法对两个数据集都产生了最佳的异常检测性能,优于其他研究方法。这建立了这种方法的实用功能工程,它可以应用于其他类似性质的问题。
2019-12-05 cs.LG physics.soc-ph stat.ML
Estimating the Contamination Factor's Distribution in Unsupervised Anomaly Detection
KU Leuven(鲁汶大学);University of Stuttgart(斯图加特大学);University of Helsinki(赫尔辛基大学)
本文从贝叶斯视角提出一种估计无监督异常检测中污染因子后验分布的方法,利用多个检测器输出和混合公式,在22个数据集上验证了其校准性和性能提升。
2023-10-17 cs.LG stat.ML
NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection
近年来,人们利用变分自动编码器(VAE)进行了大量的时间序列异常检测研究。时间序列异常检测在网络监控、设备维护、信息安全等领域有着重要的作用,但由于时间序列中存在大量的噪声数据和复杂的异常模式,很难对时间序列进行高精度的异常检测。从最近的研究中,我们受到新VAE(NVAE)的启发,并提出了我们的异常检测模型:时间序列图像VAE(T2IVAE),一个无监督的模型,基于单变量序列的NVAE,将一维时间序列转换为二维图像作为输入,并采用重建误差来检测异常。此外,我们还将基于生成对抗网络的技术应用于T2IVAE训练策略,旨在减少过拟合。我们在三个数据集上评估了模型的性能,并使用F1得分将其与其他几种流行的模型进行了比较。T2IVAE在Numenta Anomaly Benchmark上达到0.639,在NASA的公共数据集上达到0.651,在我们收集的真实场景数据集上达到0.504,优于其他比较模型。
2021-01-08 cs.LG stat.ML
Anomaly Detection with Inexact Labels
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Software Innovation Center(NTT软件创新中心)
我们提出了一种监督异常检测方法的数据与不准确的异常标签,其中每个标签,这是分配给一组实例,表明至少有一个实例中的集合是异常的。虽然已经提出了许多异常检测方法,但它们不能处理不精确的异常标记。为了测量不精确异常标签的性能,我们定义了不精确AUC,这是我们对不精确标签的ROC曲线下面积(AUC)的扩展。所提出的方法训练异常得分函数,使得不精确AUC的平滑近似增加,而非异常实例的异常分数变低。我们通过基于神经网络的无监督异常检测方法对异常得分函数进行建模,例如,自动编码器。所提出的方法执行良好,即使只有少量的不精确的标签是通过将一个无监督的异常检测机制与不精确的AUC最大化。使用各种数据集,我们的实验证明,我们提出的方法提高了异常检测性能与不准确的异常标签,并优于现有的无监督和监督异常检测和多实例学习方法。
2019-09-11 cs.LG stat.ML
Graph Regularized Autoencoder and its Application in Unsupervised Anomaly Detection
Texas A&M University(德克萨斯农工大学);BAE Systems, Inc.(BAE系统公司)
对于包括异常检测和聚类在内的许多无监督学习任务来说,先验性降低是至关重要的第一步。自动编码器是一种流行的降维机制。为了对嵌入非线性低维流形的高维数据进行有效的降维,需要使用某种测地距离度量来区分数据样本。受测地线距离近似器(如ISOMAP)的成功启发,我们提出使用最小生成树(MST),一种基于图的算法,来近似局部邻域结构并生成数据点之间的结构保持距离。我们使用这种基于MST的距离度量来取代自编码器嵌入函数中的欧氏距离度量,并开发了一种新的图形正则化自编码器,该编码器在20个基准异常检测数据集上优于各种替代方法。我们进一步将MST正则化器纳入两个生成对抗网络,并发现使用MST正则化器大大提高了两个生成对抗网络的异常检测性能。我们还在聚类应用程序中的两个数据集上测试了我们的MST正则化自动编码器,并见证了其卓越的性能。
2021-03-11 cs.LG stat.ML
Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders
University of Maryland College Park(马里兰大学帕克分校);IBM Research(IBM研究院)
在所有机器学习应用中,检测出分布外(OOD)样本至关重要。深度生成建模已经成为一种主要的范式,可以对没有标签的复杂数据分布进行建模。然而,先前的工作已经表明,与训练它们的数据分布相比,生成模型倾向于为OOD样本分配更高的可能性。首先,我们提出了对抗性镜像自动编码器(AMA),这是对抗性自动编码器的一个变体,它在镜像中使用镜像Wasserstein损失来执行更好的语义级重建。我们还提出了一个潜在的空间正则化学习一个紧凑的流形分布样本。AMA的使用产生更好的特征表示,提高异常检测性能。其次,我们提出了一种替代措施的异常得分,以取代重建为基础的度量,这是传统上使用的生成模型为基础的异常检测方法。我们的方法优于当前国家的最先进的方法异常检测几个OOD检测基准。
2021-01-03 cs.LG stat.ML
Unsupervised Transfer Learning for Anomaly Detection: Application to Complementary Operating Condition Transfer
ETH Zürich(苏黎世联邦理工学院)
异常检测器在健康的操作条件数据上被训练,并且当测量的样本偏离训练数据分布时发出警报。这意味着用于训练模型的样本数量应足够,并能代表健康的操作条件。但是对于经受变化的操作条件的工业系统,获取这样全面的样本集需要长的收集周期,并且延迟了异常检测器可以被训练和投入操作的点。这个问题的解决方案是执行无监督迁移学习(UTL),以在不同单元之间传输互补数据。然而,在文献中,UTL的目的是找到数据集之间的共同结构,以执行聚类或降维。然而,传送和组合互补训练数据的任务尚未被研究。我们提出的框架旨在以完全无监督的方式在不同单元之间传输互补操作条件,以训练更强大的异常检测器。因此,它不同于其他无监督的迁移学习,因为它专注于一类分类问题。所提出的方法能够检测仅由其他单元经历的操作条件中的异常。所提出的端到端框架使用对抗性深度学习来确保不同单元分布的对齐。该框架引入了一种新的损失,灵感来自降维工具,以强制保护每个数据集的固有可变性,并使用最先进的一次类方法来检测异常。我们使用三个开源数据集证明了所提出的框架的好处。
2020-11-24 cs.LG stat.ML
Deep Unsupervised Image Anomaly Detection: An Information Theoretic Framework
Shanghai Jiao Tong University(上海交通大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
代理任务为基础的方法,最近显示出很大的希望,无监督的图像异常检测。然而,不能保证代理任务与异常检测共享一致的优化方向。在本文中,我们回到一个直接的目标函数异常检测与信息论,最大限度地提高正常和异常数据之间的距离的联合分布的图像和他们的代表。不幸的是,这个目标函数在训练期间没有提供异常数据的无监督设置下不能直接优化。通过对上述目标函数的数学分析,我们将其分解为四个部分。为了在无监督的方式进行优化,我们表明,在正常和异常数据的分布在潜在空间中是可分离的假设下,其下限可以被认为是一个函数的权重之间的权衡互信息和熵。该目标函数能够解释基于代理任务的异常检测方法的有效性,并进一步指出了潜在的改进方向。基于这个目标函数,我们引入了一个新的信息理论框架的无监督图像异常检测。大量的实验表明,所提出的框架显着优于几个国家的最先进的多个基准数据集。
2020-12-09 cs.CV cs.LG stat.ML
Manifolds for Unsupervised Visual Anomaly Detection
Augustus Intelligence(奥古斯都智能公司)
根据定义,异常是罕见的,因此标记的示例非常有限或不存在,并且可能不包括不可预见的场景。无监督学习方法在训练中不一定会遇到异常,这将是非常有用的。生成视觉模型在这方面可能是有用的,但不足以表示正常和异常的数据分布。为此,我们提出了常曲率流形嵌入数据分布在无监督的视觉异常检测。通过理论和经验探索的流形形状,我们开发了一种新的超球面变分自动编码器(VAE)通过赤平投影与gyroplane层-一个完全等效的庞加莱VAE。这种具有流形投影的方法在模型泛化方面是有益的,并且可以产生更多可解释的表示。我们展示了精密制造和检测中视觉异常基准的最新结果,展示了工业人工智能场景中的现实效用。我们进一步展示了组织病理学这一具有挑战性问题的方法:我们的无监督方法有效地从嘈杂的全切片图像中检测出癌性脑组织,学习组织类型的平滑、潜在组织,为医疗专业人员提供了一个可解释的决策工具。
2020-06-19 cs.CV cs.LG stat.ML
Unsupervised Anomaly Detection in NSL-KDD Using $β$-VAE: A Latent Space and Reconstruction Error Approach
Université de Reims Champagne-Ardenne(兰斯香槟-阿登大学);Seckiot
本文提出基于β-VAE的无监督异常检测方法,通过潜在空间结构和重构误差在NSL-KDD数据集上验证了其在网络流量异常检测中的有效性。
2026-02-23 cs.LG cs.NE stat.ML
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies(诺基亚技术)
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现,人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体,并使用编码器输出作为聚类的表示/特征。在本文中,我们证明了在自动编码器训练期间对这些表示的l2归一化约束,使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时,k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法,使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明,所提出的异常检测方法大大提高了准确性相比,以前提出的深层方法,如基于重建误差的异常检测。
2018-02-01 cs.LG
Unsupervised Anomaly Detection and Localization with Generative Adversarial Networks
Nokia Bell Labs(诺基亚贝尔实验室);Nokia(诺基亚)
本文提出一种基于生成对抗网络和SOP频谱图的无监督异常检测方法,在海底和陆地光纤链路数据集上实现超过97%的准确率,无需标记数据。
2024-09-05 cs.LG eess.SP
Unsupervised Anomaly Detection Using Flow Matching on Tabular Data
University of Mannheim(曼海姆大学);MPI for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
本研究针对受污染训练数据下的表格异常检测,对比TCCM与Forest-Flow,发现轨迹类异常评分更稳定,Forest-Flow表现可与TCCM媲美甚至更优,凸显异常评分的重要性。
2026-08-21 cs.LG
Topological Data Analysis for Unsupervised Anomaly Detection and Customer Segmentation on Banking Data
IMTF
本文将拓扑数据分析(TDA)的Mapper算法和持久同调应用于银行数据,开发无监督流程实现异常检测与客户细分,结合拓扑数学与行业用例提供可操作见解。
2025-08-19 cs.CG cs.LG
Quorum: Zero-Training Unsupervised Anomaly Detection using Quantum Autoencoders
Rice University(莱斯大学);Stanford University(斯坦福大学)
针对量子机器学习模型训练困难及异常检测需无监督方法的问题,提出首个无需训练的无监督量子异常检测框架Quorum,利用量子计算解决多行业关键异常检测挑战。
2025-04-17 cs.ET cs.LG
Robust Subspace Recovery Layer for Unsupervised Anomaly Detection
University of Minnesota(明尼苏达大学)
我们提出了一个神经网络的无监督异常检测与一个新的强大的子空间恢复层(RSR层)。该层试图从给定数据的潜在表示中提取底层子空间,并删除远离该子空间的离群值。它在自动编码器中使用。编码器将数据映射到潜在空间中,RSR层从潜在空间中提取子空间。解码器然后平滑地将底层子空间映射回接近原始内点的“流形”。根据原始位置和映射位置之间的距离区分内点和离群点(内点小,离群点大)。使用图像和文档数据集进行的大量数值实验证明了最先进的精确度和召回率。
2019-12-24 cs.CV cs.LG stat.ML
When Unsupervised Domain Adaptation meets One-class Anomaly Detection: Addressing the Two-fold Unsupervised Curse by Leveraging Anomaly Scarcity
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(安全、可靠性与信任跨学科研究中心(SnT),卢森堡大学);Cristal Laboratory, National School of Computer Sciences, University of Manouba(晶体实验室,国家计算机科学学校,曼努巴大学)
本文提出了一种基于异常稀有性的无监督领域自适应框架,用于解决无监督异常检测中的双重无监督诅咒问题。
2025-12-26 cs.CV cs.LG
Impact of Inaccurate Contamination Ratio on Robust Unsupervised Anomaly Detection
University of Sherbrooke(谢尔布鲁克大学);University of Kinshasa(金沙萨大学)
本研究针对无监督异常检测中污染率常不准确的问题,探究其对鲁棒无监督异常检测模型的影响,经6个基准数据集验证,模型不受错误污染率的不利影响,甚至性能可能提升。
2024-08-14 cs.AI cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia(不列颠哥伦比亚大学)
本文提出了一种新的框架,称为ODDObjects,它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建,其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作,比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构,实验结果表明,内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
RUAD: unsupervised anomaly detection in HPC systems
University of Bologna(博洛尼亚大学);CINECA consorzio interuniversitario(CINECA大学间联盟);ETH(苏黎世联邦理工学院)
现代高性能计算(HPC)系统的复杂性日益增加,需要引入自动化和数据驱动的方法来支持系统管理员提高系统可用性的努力。异常检测是提高可用性的一个组成部分,因为它减轻了系统管理员的负担,并减少了异常和解决异常之间的时间。然而,目前最先进的异常检测方法是监督和半监督的,因此它们需要人工标记的异常数据集-这通常在生产HPC系统中收集是不切实际的。基于聚类的无监督异常检测方法旨在减轻对准确异常数据的需求,迄今为止表现不佳。在这项工作中,我们克服了这些限制,提出了RUAD,一种新的循环无监督异常检测模型。RUAD比当前的半监督和无监督SoA方法取得了更好的结果。这通过考虑数据中的时间依赖性并在模型架构中包括长短期记忆单元来实现。所提出的方法进行了评估,一个完整的十个月的历史的Tier-0系统(Marconi 100从CINECA与980个节点)。RUAD在半监督训练中实现了0.763的曲线下面积(AUC),在无监督训练中实现了0.767的AUC,这改进了SoA方法,在半监督训练中实现了0.747的AUC,在无监督训练中实现了0.734的AUC。它还大大优于当前基于聚类的SoA无监督异常检测方法,实现了0.548的AUC。
2022-08-28 cs.AI cs.LG
Towards Unsupervised Validation of Anomaly-Detection Models
Harvard University(哈佛大学);Texas A&M University(德克萨斯农工大学)
本文受现实协作决策机制启发,提出一种新的无监督异常检测模型验证范式,在模型选择与模型评估两项任务上通过大量实验证明了其准确性和稳健性。
2024-10-18 cs.AI cs.LG
Physics-Informed Diffusion Models for Unsupervised Anomaly Detection in Multivariate Time Series
Fraunhofer IOSB-INA(弗劳恩霍夫研究所)
本文提出一种基于物理信息扩散模型的多元时间序列无监督异常检测方法,通过加权物理信息损失学习物理依赖的时间分布,实验表明其在F1分数、数据多样性和对数似然上优于基线及纯数据驱动扩散模型。
2025-08-15 cs.LG
Unsupervised and Semi-supervised Anomaly Detection with LSTM Neural Networks
Bilkent University(比尔肯特大学)
我们研究了无监督框架中的异常检测,并介绍了基于长短期记忆(LSTM)神经网络的算法。特别是,给定可变长度的数据序列,我们首先将这些序列通过基于LSTM的结构,并获得固定长度的序列。然后,我们找到一个决策函数,我们的异常检测器的基础上一类支持向量机(OC-SVM)和支持向量数据描述(SVDD)算法。作为文献中的第一次,我们使用基于高效梯度和二次规划的训练方法联合训练和优化LSTM架构和OC-SVM(或SVDD)算法的参数。为了应用基于梯度的训练方法,我们修改了OC-SVM和SVDD算法的原始目标标准,其中我们证明了修改后的目标标准的收敛性。我们还提供了我们的无监督制定的半监督和全监督框架的扩展。因此,我们得到的异常检测算法,可以处理可变长度的数据序列,同时提供高性能,特别是时间序列数据。我们的方法是通用的,因此我们也将这种方法应用于门控递归单元(GRU)架构,直接将基于LSTM的结构替换为基于GRU的结构。在我们的实验中,我们说明了我们的算法相对于传统方法实现的显着性能提升。
2017-10-25 cs.LG eess.SP stat.ML
Squeezed Convolutional Variational AutoEncoder for Unsupervised Anomaly Detection in Edge Device Industrial Internet of Things
Seoul National University(首尔大学);Samsung Electronics Co. Ltd.(三星电子株式会社)
在本文中,我们提出了压缩卷积变分自编码器(SCVAE),用于工业物联网(IIoT)边缘计算的时间序列数据中的异常检测。将该模型应用于UCI数据集的标记时间序列数据进行精确的性能评估,并应用于真实世界数据进行间接的模型性能比较。此外,通过比较应用来自SqueezeNet的Fire Modules之前和之后的模型,我们发现模型大小和推理时间都有所减少,同时保持了相似的性能水平。
2017-12-18 cs.LG
TaskBridge: Bridging Unsupervised Tabular Anomaly Detection and In-Context Learning via Virtual Tasks
Seoul National University(首尔大学);KAIST(韩国科学技术院);Nums AI Inc.(Nums AI 公司)
TaskBridge通过构建虚拟监督任务,将无监督表格异常检测重构为上下文学习,无需异常预训练,在790个数据集上超越30个基线。
2026-09-30 cs.LG
ASC-Net : Adversarial-based Selective Network for Unsupervised Anomaly Segmentation
University of Georgia(佐治亚大学);Shanghai Jiao Tong University(上海交通大学)
我们引入了一个神经网络框架,利用对抗学习将图像划分为两个切口,其中一个切口落入用户提供的参考分布。这个概念解决了无监督异常分割的任务,近年来由于其在无标记数据任务中的广泛应用而引起了越来越多的关注。这种基于对抗性的选择性切割网络(ASC-Net)桥接了基于集群的深度学习方法和基于对抗性的异常/新颖性检测算法这两个领域。我们在BraTS脑肿瘤分割、LiTS肝脏病变分割和MS-SEG 2015分割任务上评估了该无监督学习模型。与AnoGAN家族等现有方法相比,我们的模型在无监督异常分割任务中表现出巨大的性能提升。虽然与监督学习算法相比,仍有进一步提高性能的空间,但有希望的实验结果为使用用户定义的知识构建无监督学习算法提供了启示。
2021-07-09 cs.CV cs.LG eess.IV
Unsupervised Anomaly Detection in Multivariate Time Series across Heterogeneous Domains
Ecole Polytechnique(巴黎综合理工学院)
针对AIOps场景中多元时间序列正常行为域偏移问题,提出基于域泛化的DIVAD方法学习域不变表示,在Exathlon等基准上F1分数显著提升。
2025-03-29 cs.LG
AD-MERCS: Modeling Normality and Abnormality in Unsupervised Anomaly Detection
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven Institute for AI(鲁汶AI——鲁汶大学人工智能研究所)
本文提出无监督异常检测方法 AD-MERCS,通过同时识别实例空间中正常行为的模式子空间与表征异常偏离的条件,实现对正常与异常的双重建模,在多种异常类型上表现优异并提供可解释性。
2023-05-22 cs.LG
Unsupervised Anomaly Detection in ALS EPICS Event Logs
本文为ALS的EPICS控制系统提出一种无监督异常检测框架,通过语义嵌入和序列感知神经网络对实时事件日志进行异常评分,帮助操作员快速识别系统故障前的关键事件序列。
2025-09-17 cs.LG
Image-based Plant Disease Diagnosis with Unsupervised Anomaly Detection Based on Reconstructability of Colors
Kyushu Institute of Technology(九州工业大学)
本文提出了一种基于图像的植物病害诊断的无监督异常检测技术。构建包含健康和患病作物植物的标记图像的大型且公开可用的数据集导致对用于自动植物疾病诊断的计算机视觉技术的兴趣日益增长。虽然基于深度学习的监督图像分类器可以成为植物疾病诊断的强大工具,但它们需要大量的标记数据。异常检测的数据采掘技术包括不需要稀有样本来训练分类器的无监督方法。我们提出了一种基于颜色可重构性的无监督异常检测技术,用于基于图像的植物疾病诊断;训练用于重建\textit{healthy}植物图像颜色的深度编码器-解码器网络应该无法重建症状区域的颜色。我们提出的方法包括一个新的基于图像的植物病害检测框架,该框架利用了一个名为pix 2 pix的条件对抗网络和一个基于CIEDE 2000色差的新异常评分。与PlantVillage数据集的实验表明,我们提出的方法相比,现有的异常检测器在识别病害作物图像的准确性,可解释性和计算效率方面的优越性。
2021-09-08 cs.CV cs.LG
Unsupervised Surrogate Anomaly Detection
Department of Computer Science TU Dortmund University(计算机科学系多特蒙德大学)
本文提出代理异常检测方法论,将其形式化为最优代理模型公理并设计DEAN算法,在121个基准数据集上与19种现有方法相比表现出竞争性能,验证了可扩展性和可靠性。
2025-04-29 cs.AI cs.LG
Unsupervised Anomaly Detection in Time-series: An Extensive Evaluation and Analysis of State-of-the-art Methods
University of Luxembourg(卢森堡大学);National School of Computer Science, University of Manouba(马努巴大学国立计算机科学学院)
本文对近期时间序列无监督异常检测方法进行深入评估,在标准指标之外引入时间序列专用指标、模型大小与稳定性分析及异常类型分析,并遵循统一实验协议,以评估方法成熟度和现实适用性。
2024-08-12 cs.LG
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
Normality-Calibrated Autoencoder for Unsupervised Anomaly Detection on Data Contamination
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Harvard University(哈佛大学)
在本文中,我们提出了正常校准自动编码器(NCAE),它可以提高异常检测性能的污染数据集没有任何先验信息或显式异常样本在训练阶段。NCAE从具有低熵的潜在空间逆向生成高置信度的正常样本,并利用它们来预测训练数据集中的异常样本。NCAE经过培训,以最大限度地减少未污染样品中的重建误差,并最大限度地增加污染样品中的重建误差。实验结果表明,我们的方法优于浅层,混合和深层的方法进行无监督异常检测,并实现与半监督方法相比,在训练阶段使用标记的异常样本的性能。源代码可在`https://github.com/andreYoo/NCAE_UAD.git '上公开获取。
2021-10-28 cs.AI cs.LG
Context-Aware Graph Attention for Unsupervised Telco Anomaly Detection
Telenor Research and Innovation(Telenor研究与创新);Norwegian Research Council(挪威研究理事会);Telenor Denmark OSS & Tech Analytics Denmark(Telenor丹麦OSS与技术分析丹麦);Norwegian University of Science and Technology (NTNU)(挪威科学与技术大学(NTNU));SINTEF Digital(SINTEF数字技术);Hance
本文提出C-MTAD-GAT模型,结合图注意力与轻量上下文嵌入,通过确定性重建头和多步预测器生成异常分数,无需标签校准阈值,在公开TELCO数据集上优于现有基线方法。
2026-04-29 cs.LG
NK-GAD: Neighbor Knowledge-Enhanced Unsupervised Graph Anomaly Detection
College of Intelligence and Computing, Tianjin University, Tianjin, China(智能与计算学院,天津大学,天津,中国);School of New Media and Communication, Tianjin University, Tianjin, China(新媒体与传播学院,天津大学,天津,中国)
针对图数据中属性异质性问题,提出NK-GAD框架,通过联合编码器、邻居重建模块和双解码器提升异常检测性能,实验显示在七大数据集上平均AUC提升3.29%。
2026-04-17 cs.LG
Ymir: A Supervised Ensemble Framework for Multivariate Time Series Anomaly Detection
本文提出了一个多变量时间序列异常检测框架Ymir,它利用集成学习和监督学习技术有效地学习和适应真实世界系统应用中的异常。Ymir通过集成学习方法集成了目前广泛使用的几种无监督异常检测模型,从而可以在无监督场景下提供鲁棒的前端异常检测结果。在有监督的环境中,领域专家和系统用户讨论并提供训练数据的标签(异常或不异常),这反映了他们对特定系统的异常检测标准。Ymir使用上述无监督方法从原始多变量时间序列数据中提取丰富而有用的特征表示,然后将特征和标签与监督分类器相结合来进行异常检测。我们在来自大型监测系统的内部多变量时间序列数据集上评估了Ymir,并获得了良好的异常检测性能。
2021-12-09 cs.LG
Deep Autoencoding GMM-based Unsupervised Anomaly Detection in Acoustic Signals and its Hyper-parameter Optimization
Hitachi, Ltd.(日立株式会社)
工厂机械的故障或故障可能会给公司带来高昂的成本,因此对自动机器检测的需求越来越大。现有的基于声信号的无监督异常检测方法,例如使用深度自动编码器(DA)或高斯混合模型(GMM)的方法,异常检测性能较差。在这项工作中,我们提出了一种基于超参数优化的深度自动编码高斯混合模型(DAGMM-HO)的新方法。在我们的方法中,DAGMM-HO首次将传统的DAGMM应用于音频域,其思想是其在降维和统计建模方面的总体优化将提高异常检测性能。此外,DAGMM-HO通过基于间隙统计和累积特征值执行超参数优化来解决常规DAGMM的超参数敏感性问题。我们的评估所提出的方法与工业风扇的实验数据表明,它显着优于以前的方法,并实现了高达20%的改进的基础上的标准AUC得分。
2020-09-25 cs.LG cs.SD eess.AS
Anomaly Detection in Bitcoin Network Using Unsupervised Learning Methods
异常检测问题已经被研究了很长时间。简而言之,异常是不正常或不太可能的事情。在金融网络中,小偷和非法活动往往是反常的。网络成员希望尽快检测到异常,以防止它们损害网络的社区和完整性。许多机器学习技术已经被提出来处理这个问题,一些结果似乎是相当有前途的,但没有明显的优越的方法。在本文中,我们认为异常检测特定的比特币交易网络。我们的目标是检测哪些用户和交易是最可疑的;在这种情况下,异常行为是可疑行为的代理。为此,我们使用三种无监督学习方法,包括k-means聚类,Mahalanobis距离和无监督支持向量机(SVM)在比特币交易网络生成的两个图上:一个图以用户为节点,另一个图以交易为节点。
2017-02-25 cs.CR cs.LG
Unsupervised Anomaly Detection in Stream Data with Online Evolving Spiking Neural Networks
Warsaw University of Technology(华沙理工大学);TECNALIA(泰克纳利亚);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
流数据中的无监督异常发现是一个具有实际应用价值的研究课题。然而,在许多情况下,不容易收集具有标记的异常的足够训练数据用于异常检测器的监督学习,以便稍后部署它来识别流数据中的真实异常。因此,重要的是设计能够在不访问标记的训练数据的情况下正确地检测异常的异常检测器。我们的想法是适应在线进化脉冲神经网络(OeSNN)分类器的异常检测任务。因此,我们提供了一个在线进化的脉冲神经网络的无监督异常检测算法(OeSNN-UAD),它,不像OeSNN,工作在一个无监督的方式,不分离输出神经元到不相交的决策类。OeSNN-UAD使用我们提出的新的两步异常检测方法。此外,我们推导出OeSNN的神经元模型和输入层编码的新的理论性质,这使得我们的OeSNN-UAD方法能够更有效地检测异常。所提出的OeSNN-UAD检测器与Numenta Anomaly Benchmark和Yahoo Anomaly Datasets存储库中的流数据中的异常的最先进的无监督和半监督检测器进行了实验比较。我们的方法优于文献中提供的其他解决方案的情况下,从Numenta异常基准存储库的数据流。此外,在雅虎异常基准存储库的真实数据文件的情况下,OeSNN-UAD优于其他选定的算法,而在雅虎异常基准合成数据文件的情况下,它提供了有竞争力的结果,最近在文献中报道的结果。
2021-03-08 cs.AI cs.LG cs.NE
Unsupervised Symbolic Anomaly Detection
TU Dortmund University, Dortmund, Germany Research Center Trustworthy Data Science(图鲁特大学,德国多特蒙德 Research Center Trustworthy Data Science)
SYRAN通过学习可读的符号方程来检测异常,利用近似常数的符号不变量,提供可解释的异常评分,实验表明其在可解释性和检测性能上表现优异。
2026-03-18 cs.AI cs.LG cs.SC
ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection
University of Montreal(蒙特利尔大学);Université de Montréal(蒙特利尔大学)
提出ASTER框架,在潜在空间生成伪异常训练Transformer分类器,结合预训练LLM增强表示,在三个基准数据集上达到最优性能。
2026-06-12 cs.AI cs.CV cs.LG
Diminishing Empirical Risk Minimization for Unsupervised Anomaly Detection
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);Centre for Medical Research, The University of Western Australia(西澳大学医学研究中心)
无监督异常检测在实际应用中是一项具有挑战性的任务。近年来,利用深度神经网络(DNN)检测异常的趋势越来越明显。然而,大多数流行的深度AD检测器不能保护网络免受异常数据带来的学习污染信息的影响,导致检测性能不理想和过拟合问题。在这项工作中,我们确定了阻碍大多数现有的基于DNN的异常检测方法执行的一个原因是经验风险最小化(ERM)的广泛采用。ERM假设算法在未知分布上的性能可以通过对已知训练集上的损失进行平均来近似。因此,这种平均方案忽略了正常情况和异常情况之间的区别。为了突破ERM的局限性,我们提出了一个新的递减经验风险最小化(DERM)框架。具体来说,DERM通过精心设计的聚合策略自适应地调整个人损失的影响。理论上,我们提出的DERM可以直接修改优化过程中每个个体损失的梯度贡献,以抑制离群值的影响,从而产生鲁棒的异常检测器。从经验上讲,DERM在由18个数据集组成的无监督AD基准测试中表现优于最先进的技术。
2022-05-29 cs.LG
TabADM: Unsupervised Tabular Anomaly Detection with Diffusion Models
Tel Aviv University(特拉维夫大学);Playtika LTD(Playtika有限公司);Bar-Ilan University(巴伊兰大学)
针对真实表格数据含异常值影响下游分析的问题,提出基于扩散模型的无监督异常检测方法TabADM,通过独特拒绝机制学习正常样本密度以识别异常,检测效果优于基线且对数据维度稳定、调参需求少。
2023-07-23 cs.LG
Self-supervise, Refine, Repeat: Improving Unsupervised Anomaly Detection
Google Cloud AI(谷歌云人工智能)
异常检测(AD)将异常与正常数据分离,在从安全到医疗保健的各个领域都有许多应用。虽然大多数以前的工作被证明是有效的情况下,完全或部分标记的数据,该设置是在实践中不太常见,由于标记是特别繁琐的这项任务。在本文中,我们专注于完全无监督的AD,其中包含正常和异常样本的整个训练数据集是未标记的。为了有效地解决这个问题,我们建议使用数据细化过程来提高在自监督表示上训练的一类分类的鲁棒性。我们提出的数据细化方法是基于一类分类器(OCC),其中每一个训练的训练数据的不相交的子集的合奏。随着数据细化的改进,通过自监督学习对细化数据学习的表示会迭代更新。我们展示了我们的方法在各种无监督的AD任务与图像和表格数据。在CIFAR-10图像数据上的异常率为10%/甲状腺表格数据上的异常率为2.5%的情况下,所提出的方法以6.3 AUC和12.5平均精度/ 22.9 F1分数优于最先进的一类分类器。
2022-08-05 cs.LG
Unsupervised Anomaly Detection Using Diffusion Trend Analysis for Display Inspection
Samsung Display(三星显示公司);Stanford University(斯坦福大学)
本文针对显示检测中重建式扩散模型异常检测的噪声参数难确定和正常区域误检问题,提出基于重建趋势分析的异常检测方法。
2025-08-18 cs.CV cs.LG
DQS: A Low-Budget Query Strategy for Enhancing Unsupervised Data-driven Anomaly Detection Approaches
Leiden University(莱顿大学);Mercedes-Benz AG(梅赛德斯-奔驰集团)
本研究提出低预算查询策略DQS,结合主动学习优化无监督异常检测的阈值,在低预算场景下表现最优,优于传统无监督阈值。
2026-08-12 cs.LG
Graph Neural Network and Transformer Integration for Unsupervised System Anomaly Discovery
Georgia Institute of Technology(佐治亚理工学院);University of Pennsylvania(宾夕法尼亚大学);Rose-Hulman Institute of Technology(罗斯-霍曼理工学院);University of California, Berkeley(加利福尼亚大学伯克利分校)
本研究提出一种无监督异常检测方法,结合图卷积提取多跳拓扑结构表示与Transformer建模时序行为,通过可学习联合嵌入融合特征实现端到端检测,在真实云监控数据上优于现有模型。
2025-08-13 cs.LG
Class Label-aware Graph Anomaly Detection
KAIST GSDS(韩国科学技术院数据科学研究生院);KAIST ISysE(韩国科学技术院工业与系统工程系);KAIST ISysE & AI(韩国科学技术院工业与系统工程系及人工智能学院)
本研究针对现有无监督图异常检测方法未利用类别标签的问题,提出CLAD框架,借助少量带标签节点提升检测性能,实验证明其在10个数据集上效果优于现有方法,且无需真实类别标签。
2023-08-22 cs.LG
Unsupervised Dictionary Learning for Anomaly Detection
University of Bucharest(布加勒斯特大学);The Research Institute of the University of Bucharest (ICUB)(布加勒斯特大学研究院(ICUB))
我们研究了采用字典学习来解决大多数异常检测应用程序的要求的可能性,例如缺乏监督,在线配方,低误报率。我们提出了新的结果,我们最近的半监督在线算法,TODDLeR,反洗钱的应用。我们还介绍了一种新的无监督的方法,使用性能的学习算法的样本的性质的指示。
2020-09-07 cs.CR cs.CV cs.LG